Më 13 tetor 1792, presidenti George Washington vendosi në mënyrë ceremoniale gurin e parë në themelin e ndërtesës, e cila do të bëhej rezidenca zyrtare e presidentëve të Shteteve të Bashkuara
Arkitekt i ndërtesës, e cila u quajt ”Pallati i Presidentit”, ishte emigranti irlandez James Hoban, Ndihmësi tij ishte Benjamin Latrobe nga Pensilvania. Projekti ishte i ngjashëm me Pallatin e Dukës së Leinsterit, në Irlandë.
Presidenti i dytë i Shteteve të Bashkuara, John Adams, ishte banori i parë i Shtëpisë së Presidentit në vitin 1800. Që nga ajo kohë, të gjithë presidentët amerikanë kanë jetuar në këtë rezidencë. Ndërtesa origjinale u dogj nga trupat britanike gjatë luftës së vitit 1818.
Pasi u rindërtua dhe James Hoban urdhëroi që ndërtesa të lyhej me të bardhë, asaj iu dha emri që ka sot, ”Shtëpia e Bardhë”. Shtëpia e Bardhë është ndërtesa më e lashtë publike e Washingtonit.
Ajo shërben jo vetëm si shtëpi banimi dhe zyrë e presidentit, por edhe si muzeum i presidentëve amerikanë. Çdo vit Shtëpia e Bardhë vizitohet nga rreth 1 milionë e gjysmë turistë.
