Белым этот дом стали называть сразу – благодаря светлому песчанику, из которого он был выстроен. Но только в конце 20-х годов прошлого столетия, когда после пожара старейшее административное здание Америки под руководством архитектора дома, Хобэнса, отстроили заново и выкрасили в белый цвет, президент Теодор Рузвельт официально утвердил это название.
История здания началась с Джорджа Вашингтона, который собственноручно выбрал место для своего "президентского дома" и подписал акт Конгресса, предписывающий резиденции американского правительства находиться "на расстоянии не более 10 миль от реки Потомак".
В 1791 году был объявлен конкурс на лучший проект новой резиденции президента США, в котором победил американский архитектор Джеймс Хобэнс, а строительство началось в октябре 1792 года. И хотя Джордж Вашингтон сделал очень много для строительства одного из самых знаменитых зданий в мире, пожить там ему так и не удалось. Строительство затянулось до 1800 года, когда в президентском кресле уже сидел Джон Адамс. Он-то вместе со своей женой Абигейл и стал первым обитателем Белого дома. В ходе реконструкции Хобэнс добавил к зданию западную и восточную террасы, южный портик полукруглой формы и северный портик с колоннадой. А в 1948 году, при президенте Трумэне, был построен двухэтажный подвал, который до сих пор служит штабом оперативного руководства внешнеполитическими и военными акциями президента.
В настоящее время Белый дом занимает площадь около 7,2 гектаров. В нем 6 этажей (два из них подвальные) , 132 комнаты, 32 ванные комнаты, 147 окон, 412 дверей, 3 лифта, 7 лестниц.
Основное здание до сих пор остается жилым помещением, где находятся апартаменты президентской семьи, интерьер которых выдержан в стиле XVIII и XIX веков. Все президентские административные помещения "собраны" в западном крыле. В том числе и знаменитый Овальный кабинет.
Жаклин Кеннеди пыталась изменить внутренний дизайн Белого дома, в результате по ее желанию многие комнаты дворца изменили цвет. Красная комната стала темно-вишневой, Зеленая приобрела цвет ликера шартрез, а овальная Голубая комната стала белой. И только когда в Белый дом въехала Хиллари Клинтон, Голубая комната вновь обрела свой глубокий сапфировый цвет. Главной семье Америки разрешается переделывать интерьер. Первая леди страны, как всякая другая женщина в мире, начинает свое новоселье с ремонта и смены декораций.
В Государственном обеденном зале, на каминной доске выгравированы строки из письма президента Адамса его жене Абигейл, которые являются своеобразной "молитвой" Белого дома: "Я молюсь о том, чтобы небеса ниспослали все лучшие дары этому дому и всем, кто впоследствии будет здесь жить. Пусть под этой крышей правят только честные, мудрые люди".