Theo Nguyễn Văn Siêu thì hồ Hoàn Kiếm xưa rất lớn, đến đời
Lê Trung Hưng chở đất về lấp, làm đường nên nửa hồ bên hữu gọi là Hữu
Vọng, nửa hồ bên tả gọi là Tả Vọng. Tại hồ Tả Vọng, các chúa Trịnh (thế
kỷ 18) xây những nguyệt đài, thủy tạ trên bờ làm nơi ngự chơi, đặc biệt
là xây một cái đình trên gò Rùa. Tháp Rùa xây trên gò Rùa, bên trên Tả
Vọng đình, nơi chúa Trịnh làm chỗ hóng mát vào mùa hè. Đời Lê Chiêu
Thống, các cung điện, dinh thự của chúa Trịnh đều bị đốt, chỉ còn sót
lại Tả Vọng đình ở ngoài hồ. Năm 1884, Bá Kim hay Thương Kim, xin bỏ
tiền nhà xây một ngọn tháp lên trên gò Rùa, làm hậu chẩm cho ngôi chùa
Báo Ân định đưa hài cốt cha mẹ ra táng ở đó, mảnh đất rất tốt theo
thuyết phong thủy. Tuy việc không thành nhưng Bá Kim vẫn tiếp tục phải
xây tháp theo như lời hứa. Vì xây dựng trên gò Rùa nên nhân dân thường
quen gọi là Tháp Rùa. Hiện nay, Tháp Rùa là một hình ảnh quen thuộc
trong tâm thức mỗi người Hà Nội.
Phía bắc Hồ Gươm có nổi lên gò đất, rộng khoảng ba bốn sào,
tương truyền là chỗ đài câu cá cuối thời Lê. Đầu thời Nguyễn, ông Tín
Trai, người làng Nhị Khê, sửa đền Quan Đế ở đó thành chùa Ngọc Sơn. Lâu
năm, chùa hư nát dần, các con ông Tín Trai nhường chỗ đất này cho Hội
hướng thiện. Năm 1841, hội cải tạo thành đền thờ Văn Xương Đế quân và
Trần Hưng Đạo, quy mô to và đẹp hơn trước rất nhiều. Đền thờ này sau đó
lại được án sát sứ tỉnh Hà Nội Đặng Văn Tá và Nguyễn Văn Siêu đứng ra tu
sửa. Phía trước kề bờ nước làm đình Trấn Ba, phía đông cầu Thê Húc dựng
Đài Nghiên. Phía đông trên núi Độc Tôn, xây ngọn tháp có hình bút, gọi
là Tháp Bút, với 3 chữ son "Tả thanh thiên" thể hiện ý tứ, tư tưởng,
hoài bão lớn lao của con người chân chính: Viết lên trời xanh. Trên thân
tháp có khắc bài văn bia kể lại nguồn gốc của ngọn núi Độc Tôn.
Tháp Bút - Đài Nghiên
Tháp Hòa Phong xây bằng gạch mộc, nằm bên bờ phía đông,
cạnh đường Đinh Tiên Hoàng, là phần còn lại duy nhất của chùa Báo Ân do
Tổng đốc Hà Nội Nguyễn Đăng Giai quyên tiền xây dựng năm 1848. Chùa có
tên là Sùng Hưng hoặc Báo Ân, dân quen gọi là chùa Quan Thượng. Đây là
ngôi chùa khá lớn, có kiến trúc độc đáo,
rộng 180 gian, có 36 nóc, mặt trước nhìn ra sông Hồng, mặt sau dựa vào
hồ Hoàn Kiếm, có nhiều tháp nhỏ. Bốn mặt chùa có hào nước uốn quanh,
trong có trồng sen nên còn gọi là chùa Liên Trì. Trong chùa có nhiều
tượng Phật đẹp và cảnh Thập điện Diêm vương. Dân gian có câu:
Gần xa nô nức tưng bừng
Vào chùa Quan Thượng xem bằng động tiên.
Năm 1883, chùa bị người Pháp chiếm làm trụ sở của quân đội.
Do không được bảo vệ nên chỉ sau vài năm chùa đã bị tàn phá. Bưu điện
TP và phủ Thống sứ đã được xây dựng lên trên nền đất của chùa. Sau khi
bị phá, cả ngôi chùa lớn đó chỉ còn sót lại ngọn tháp Hòa Phong.
Đến nay, Tháp Rùa, Tháp Bút và Tháp Hòa Phong là những hiện
vật quen thuộc không thể thiếu trong quần thể kiến trúc của Hồ Gươm,
lẵng hoa giữa lòng Hà Nội.