Khi Thái hậu Dương Vân Nga trao mũ áo long bào cho Thập đạo tướng quân Lê Hoàn, hai ông đã không khuất phục và tuẫn tiết tại khu vực này, nhân dân đã xây dựng ngôi Phủ bên sườn núi để thờ hai ông.

Năm 2010, nhân dân địa phương đã xây dựng thêm ở đây một đơn nguyên kiến trúc thờ “Tứ trụ triều đình” của Nhà Đinh là Định quốc công Nguyễn Bặc, Thái sư Trịnh Tú, Đại tư đồ Đinh Điền, Đô hộ phủ sĩ sư Lưu Cơ. Đền được xây dựng bên cạnh Phủ, về phía Đông nam, gồm 2 tòa: T.iền bái và hậu cung. Tòa hậu cung có tượng thờ “Tứ trụ triều đình” của nhà Đinh.