इस भवन को गौथिक वास्तुकला के आधार पर बनाया गया है जिसे देखने पर अंग्रेजी वाले ई आकार का दिखाई देता है। इसका डिजाइन तैयार करने का श्रेय स्टेवंस और इंजीनियर एफ. ओ. ऑरटेर को जाता है। इस भवन को एच.डी. वाइल्डबल्ड की देखरेख में बनाया गया जो उस समय इसके मुख्य इंजीनियर थे।
राजभवन का क्षेत्र लगभग 220 एकड़ में फैला हुआ है। इसमें 8 एकड़ जमीन पर दो मंजिला मुख्य भवन निर्मित है जिसमें कुल 113 कमरे हैं तथा 50 एकड़ जमीन में गोल्फ फील्ड है। इस गोल्फ ग्राउंड में 18 होल हैं। सन् 1926 में उस समय के गर्वनर मैलकम ने इसमें गोल्फ की शुरूआत की थी। इस फील्ड का डिजाइन ब्रिटिश आर्मी के इंजीनियरों द्वारा तैयार किया गया। यह ग्राउंड इतनी उंचाई में स्थित सबसे सुन्दर और अद्भुद गोल्फ फील्ड में से एक है। उस समय इस भवन को बनाने में लगभग ७.५० लाख रुपयों का खर्च आया था और भवन के लिये बिजली, पानी की व्यव्स्था करने में ५० हजार रुपये खर्च हुए थे
इस इमारत को जनता के लिये सन् 1994 में खोला गया। तब से इसमें कई राष्ट्रीय स्तर की चैम्पयनशिप आयोजित की जा चुकी हैं। इसके अलावा बांकी की लगभग 160 एकड़ भूमि पर घना जंगल है जिसमें कई तरह के पेड़-पौंधे और पक्षी देखने को मिल जाते हैं। इस भवन के म्यूजियम में 10वीं व 20वीं सदी के हथियार, हाथी दांत, एन्टीक फर्नीचर, ट्रॉफियां व मेडल्स का भी अच्छा संग्रह है।
इस भवन के निर्माण में 3 वर्ष का समय लग गया था। इमारत के निर्माण में एक खास बात और है कि इसके निर्माण में प्रयुक्त सभी सामान स्थानीय है। चाहे वो लकड़ी हो, पत्थर हो या अन्य सामग्री सभी स्थानीय है सिर्फ शीशे और टाइल्स इंगलेंड से मंगवाये गये थे। इस भवन में रहने वाले सबसे पहले ब्रिटिश गर्वनर एन्टोनी मैक्डोनल तथा सबसे पहली भारतीय गर्वनर सरोजनी नायडू थी।
कहा जाता है कि सन् 1854 में उस समय के गर्वनर के लिये शेर का डांडा में अस्थायी रूप से गर्वनर हाउस किराये पर लिया गया जिसमें गर्वनर ग्रीष्मकाल के दौरान रहा करते थे। उसके बाद सन् 1865 में गर्वनर ई ड्रमेड ने यहां पर माल्डन इस्टेट नाम के भवन का निर्माण किया और बाद में इसे बेच भी दिया। कुछ समय पश्चात जॉर्ज कूपर ने नया गर्वनर हाउस सेंट लू के नजदीक बनवाया पर सन् 1880 में आये भूस्खलन में इस भवन के टूट जाने के बाद उन्होंने फिर से शेर का डांडा में ही गर्वनर हाउस का निर्माण किया। इस गर्वनर हाउस में उस समय के दो गर्वनर एल्फोर्ड तथा चाल्र्स क्रासवेट रहे थे। कुछ समय पश्चात इस गर्वनर हाउस में भी दरारें आने लगी थी और कभी भी इसके क्षतिग्रस्त हो जाने के संदेह के चलते गर्वनर एन्टोनी मक्डोनल ने इस इमारत को तुड़वा दिया और नये गर्वनर हाउस के लिये जमीन की तलाश की जाने लगी। इस बार इमारत बनवाने से पहले सभी भौगोलिक स्थितियों की अच्छे से जांच की गई जिसके चलते वर्तमान गर्वनर हाउस अस्तित्व में आया जो आज भी अपनी पूरी शानो-शौकत के साथ नैनीताल का गौरव बढ़ा रहा है।