位于伦敦塔要塞中心的是诺曼底塔楼，这座最古老且最重要的建筑群主体，因其乳白色的石材而被称为白塔。白塔不仅是主人的居所，也是守备部队的驻地，因此格外坚固。这座塔楼高27.4米，东西长35.9米，南北长32.6米，底部墙厚达4.6米，顶部墙厚为3.3米，具有双层墙壁和小的窗户，由坚硬的毛石砌成。四个角落向外凸出，各有一座高塔，其中三座为方形，一座为圆形，设有螺旋楼梯连接各层。白塔共分为三层，配备了胸墙和雉堞，角落的小尖塔覆盖着葱头形状的小穹顶，是当时建筑技术的典范。特别是塔内的圣约翰小礼拜堂，这座仿罗马式的小教堂不仅用于宗教仪式，也是领主举行秘密会议的地方，因此不会有家臣出入。自12世纪至17世纪，白塔一直是英国国王重要的城堡之一。尽管在设计伦敦塔时并未打算将其用作监狱，但在白塔建设初期，由于伦敦其他监狱人满为患，政府开始将囚犯关押在白塔的地下室，最多时达1700人。随着时间的推移，伦敦塔逐渐演变为国家的监狱。位于整个要塞西南角的外城墙下有一道水门，这是要塞唯一的入口，被称为“叛逆者之门”，犯人经过法庭判决后，通过这道水门进入伦敦塔囚禁。