Do những thăng trầm của thời cuộc, sang thời nhà Nguyễn thì không còn dấu tích gì của các công trình trên gò. Dù bị bỏ không suốt nhiều năm, gò đất này vẫn có người nhớ đến.
Người đó là ông Nguyễn Hữu Kim, chức dịch làng Tự Tháp được cử làm trung gian giữa quân Pháp và người Việt. Được chính quyền mới tín nhiệm nên ít lâu sau ông trở thành bá hộ, tục gọi là Bá hộ Kim.
Dân gian kể rằng, các thầy phong thủy nói gò Rùa là đất "vạn đại công khanh", nhà nào để được hài cốt vào đó thì con cháu muôn đời làm quan. Bá hộ Kim tin vào điều này nên đã tính kế đưa hài cốt mẹ mình lên đó.Do không thể ngang nhiên đưa hài cốt lên chôn ở gò, ông bá hộ đã "lo lót" quan Kinh lược sứ và cả viên quan Pháp chỉ huy đội quân đóng ở Đồn Thủy để xây tháp làm "hậu chẩm" cho chùa Báo Ân.
Tháp Rùa được xây vào khoảng năm 1877. Khi bắt đầu xây móng, ông Bá hộ Kim chờ đêm khuya mới cho người nhà mang hài cốt của cha mẹ đựng trong quách chôn giữa gò.
Sáng hôm sau ông Bá hộ và gia nhân mới ra phủ đất lên quách. Nhưng khi mở cái quách thì thấy trống trơn, không biết cốt đã mất đâu. Dù không còn cốt nhưng việc xây tháp không thể dừng nên ông Bá Kim buộc phải xây tiếp...
Về câu chuyện “động trời” liên quan tới tháp Rùa kể trên, cách đây hơn chục năm, hậu duệ của Bá hộ Kim đã có những lời phản bác trên báo chí.
Theo đó, ông Nguyễn Đỗ Ngọc, chắt nội của của Bá hộ Kim đã dựa vào tư liệu còn lại và truyền thống thờ cúng của gia đình để khẳng định không thể có chuyện cụ nội mình mang hài cốt mẹ ra táng dưới chân tháp Rùa.
Ông Ngọc lập luận rằng, nếu có táng ở đó, thì mọi người trong gia đình sẽ phải có trách nhiệm ra đó hương khói hàng năm chứ không thể bỏ hoang được.
Hiện dòng họ Nguyễn Hữu chỉ có duy nhất một nhà thờ tổ tại số 29 phố Hai Bà Trưng, hàng năm cứ vào dịp lễ Tết, mọi người trong họ phải quay về đây để làm lễ, kính nhớ tới tổ tiên...
Trở lại với tháp Rùa, sau khi xây xong, công trình có dạng của một ngọn tháp ba tầng, mang phong cách kết hợp giữa kiến trúc cổ Việt Nam với phong cách Gothic châu Âu – thể hiện qua các vòm cửa có đỉnh nhọn.
Dù không phải là công trình kiến trúc quá đặc sắc nhưng tòa tháp làm cho khung cảnh hồ Gươm sinh động hơn hẳn. Với vị trí thu hút mọi ánh nhìn giữa trung tâm Hà Nội, tháp Rùa nhanh chóng trở nên nổi tiếng khắp gần xa.
Trong giai đoạn 1891-1896, đỉnh tháp từng được người Pháp dựng một phiên bản thu nhỏ của tượng Nữ Thần Tự Do, mà người dân Hà Nội gọi là tượng Đầm Xòe.
Do dư luận chê bai, tượng được dời về vườn hoa Neyret (nay là vườn hoa Cửa Nam). Đến năm 1945, tượng bị kéo đổ và đến năm 1952 thì bị nấu chảy để làm nguyên liệu đúc pho tượng Phật A Di Đà bằng đồng nổi tiếng của làng Ngũ Xã...
Mời quý độc giả xem video: Trường nữ sinh Hà Nội xưa | VTV24.