Đây là đền thuộc làng Kim Liên phường Phương Liên ở phía Nam thành phố. Đền xưa đã bị phá chỉ còn toà miếu nhỏ với tấm bia rất lớn được khắc và dựng từ năm Hồng Thuận 3 (1510) ghi lại bài văn dài Cao Sơn đại vương thần bi minh trích tự. Mặt sau ghi thêm ít dòng nữa vào năm Cảnh Hưng 33 (1772) cho biết bia này vốn ở Phụng Hoá, sau trôi nổi về bến Bồ Đề, vào đời Hoằng Định dân bản phường vớt lên đưa về chùa, sau thấy thiêng lại rước ra đặt ở bên trái đình, đúng như ngày nay còn thấy, có cây đa cổ thụ trùm lên càng tạo vẻ cổ kính và thiêng liêng, đúng là nơi cư trú của thần linh. Văn bia cho biết vị thần ở đây là Cao Sơn đại vương, một trong số trăm con của Lạc Long quân và Âu Cơ, là thần núi xa xưa đã giúp Sơn Tinh đánh thắng Thuỷ Tinh, đầu thế kỷ XVI lại giúp vua Lê dẹp loạn giữ yên ngai vàng. Thực chất đây là việc thờ thần Núi, vốn rất phổ biến ở xứ Đoài - nơi có núi chủ Tản Viên/Ba Vì, được khái quát là Tản Viên sơn thánh, một biểu hiện của việc thờ các thần tự nhiên.
Đưa hai thần Linh lang và Cao Sơn về trấn giữ các cửa tây và cửa nam của kinh thành chính là đã kéo các thần của cư dân phía bắc trũng thấp và của cư dân phía tây cao ráo là những vùng ngày nay đưọc xem là đất tổ, gắn kết sông với núi, đất với nước để trở thành Tổ quốc là một khái niệm thiêng liêng nhất, đồng thời cũng là sự khẳng định văn hoá truyền thống, lấy vốn cũ làm cơ sở để xây dựng bản sắc dân tộc.