Основание крепости Тауэр приписывается римскому императору Клавдию. Тогда он представлял собой деревянный форт, сооруженный в юго-восточном углу старой римской стены. После нормандского завоевания Англии, Вильгельм I принялся возводить оборонительные замки для устрашения покорённых англосаксов. Одним из самых больших стал Тауэр. Деревянный форт заменили громадной каменной постройкой — Великим Тауэром, представляющим собой четырехугольное сооружение, размерами 32 х 36 метров, высотой около 30 метров. Когда позднее новый король Англии приказал побелить здание, оно получило название — Белый Тауэр, или Белая Башня. Впоследствии были возведены еще несколько башен различной высоты и два ряда мощных крепостных стен. Вокруг крепости был вырыт глубокий ров, делающий её одной из самых неприступных крепостей в Европе.
Белый Тауэр был построен Вильгельмом Завоевателем (1066-1087) внутри существовавших укреплений. Точная дата начала строительства неизвестна, однако традиционно считается, что возведение Белого Тауэра началось в 1078 г.
Считается также, что строительство велось под началом Гандалфа, епископа Рочестерского, известного строителя замков и церквей.
Массивная прямоугольная башня (длина - 35,9 метра, ширина - 32,6 метра, высота 27,4 метра) должна была не только впечатлять, но и служить неприступной королевской резиденцией. Похожие замки в то время строились повсюду в Англии (например, донжон Дуврского замка) , однако Белый Тауэр - наиболее древний.
В 1399 г. в Белом Тауэре Король Ричард II был объявлен тираном и под напором своего двоюродного брата Генриха Болингбродского, ставшего впоследствии Королем Генрихом IV (1399-1413), был вынужден отречься от трона.
Происхождение архитектуры Белого Тауэра -загадка. Помимо масштабов и качества строительства, основной отличительной чертой Белого Тауэра является полукруглый выступающий юго-восточный угол, являющийся восточной стеной Часовни. В Англии подобная архитектурная особенность встречается лишь Колчестере (Эссекс) . Здания могли быть построены либо по совершенно новому архитектурному проекту, либо, и скорее всего так оно и было, по типичному проекту Нормандии, родины Вильгельма Завоевателя.
Внешний вид здания с XI века сильно изменился, однако общая его структура сохранилась. В средние века работы ограничивались в основном общим ремонтом, хотя нам известно, что Генрих III (1216 - 1272) перестроил часовню и побелил здание. Именно тогда Тауэр стал называться Белым. Крыша была полностью обновлена в 1490 году и установлена на более высоком уровне, чем раньше. В более поздние века большая часть первоначальных строительных камней из местечка Кап (в Нормандии) были заменены на более прочные, изготовленные из Портлендского камня (Дорсет) . Таким образом, от первоначальных стен крепости XI века осталось очень не многое. Большинство оконных и дверных проёмов были заменены на новые в XVII и XVIII веках. Были сделаны и новые входы. Окна Часовни были отреставрированы в романском стиле в 1864 году. Лишь четыре окна Часовни более-менее сохранили свой первоначальный облик (левые верхние, выходящие на реку) .