Джордж Вашингтон е единственият американски президент, който никога не е живял в Белия дом.

Строежът на Белия дом започва на 13 октомври 1792 г. Джордж Вашингтон лично избира мястото на Пенсилвания авеню 1600. Архитектът Джеймс Хоубан печели конкурса за проектиране на сградата, като базира плана си на имение в Дъблин, Ирландия. Проектът отнема осем години и струва около 232 372 долара.Джон Адамс става първият президент, който се нанася там на 1 ноември 1800 г. Сградата все още е била недовършена – стените били влажни, а Източната стая се използвала за сушене на пране. Адамс живее в къщата само четири месеца преди края на мандата си.Вашингтон живее в къщата на Самюъл Озгуд в Ню Йорк от 1789 до 1790 г., а след това в къщата на Робърт Морис във Филаделфия до 1797 г. Той умира през декември 1799 г., само единадесет месеца преди Белият дом да бъде готов. Въпреки че никога не е живял там, той активно надзирава целия процес по проектиране и изграждане.Първоначално сградата не се е наричала Белият дом, а „Президентският дворец“ или „Домът на президента“. Президентът Теодор Рузвелт прави името „Белият дом“ официално през 1901 г. Известен портрет на Вашингтон е единственият предмет, който се намира в сградата от самото ѝ откриване до днес.