George Washington é o único presidente dos EUA que nunca morou na Casa Branca.

A construção da Casa Branca começou em 13 de outubro de 1792. George Washington escolheu pessoalmente o local no número 1600 da Pennsylvania Avenue. O arquiteto James Hoban venceu um concurso para projetar o edifício, baseando seu plano em uma mansão em Dublin, na Irlanda. O projeto levou oito anos para ser concluído e custou cerca de US$ 232.372.John Adams tornou-se o primeiro presidente a residir no local em 1º de novembro de 1800. O edifício ainda estava inacabado quando ele se mudou: as paredes estavam úmidas e o Salão Leste era usado para secar roupas. Adams viveu na casa por apenas quatro meses antes do fim de seu mandato.Washington morou na Samuel Osgood House, em Nova York, de 1789 a 1790. Depois, mudou-se para a Robert Morris House, na Filadélfia, onde ficou até 1797. Ele faleceu em dezembro de 1799, apenas onze meses antes de a Casa Branca ficar pronta. Embora nunca tenha morado lá, ele supervisionou todo o processo de design e construção.O edifício nem sempre foi chamado de Casa Branca; originalmente, era conhecido como "Palácio do Presidente" ou "Casa do Presidente". O presidente Theodore Roosevelt oficializou o nome Casa Branca apenas em 1901. Um famoso retrato de Washington é o único objeto que permanece no edifício desde a sua inauguração.