George Washington è l'unico presidente degli Stati Uniti a non aver mai vissuto nella Casa Bianca.

La costruzione della Casa Bianca iniziò il 13 ottobre 1792. George Washington scelse personalmente l'ubicazione al numero 1600 di Pennsylvania Avenue. L'architetto James Hoban vinse il concorso per la progettazione dell'edificio, ispirandosi a una dimora di Dublino, in Irlanda. Il progetto richiese otto anni per essere completato e costò circa 232.372 dollari.John Adams divenne il primo presidente a risiedervi il 1° novembre 1800. L'edificio era ancora incompiuto al suo arrivo: le pareti erano umide e la East Room veniva utilizzata per stendere il bucato. Adams vi abitò solo per quattro mesi prima della fine del suo mandato.Washington visse nella Samuel Osgood House a New York dal 1789 al 1790, per poi trasferirsi nella Robert Morris House a Filadelfia fino al 1797. Morì nel dicembre 1799, appena undici mesi prima che la Casa Bianca fosse pronta. Nonostante non vi abbia mai abitato, supervisionò l'intero processo di progettazione e costruzione.L'edificio non si è sempre chiamato Casa Bianca; originariamente era noto come «Palazzo del Presidente» o «Casa del Presidente». Fu Theodore Roosevelt a rendere ufficiale il nome «White House» nel 1901. Un celebre ritratto di Washington è l'unico oggetto rimasto nell'edificio sin dalla sua apertura.