Đây là hai ngôi đền nằm tách biệt khỏi khu vực định cư của dân làng Tràng Sơn, cả hai ngôi đền đều có kiến trúc giống nhau, đó là kiểu đền nhỏ một gian hai chái bằng gỗ rừng, chủ yếu là gỗ lim (xưa kia rừng Tràng Sơn có khá nhiều cây lim, gần đây, người dân sống dọc Khe Cát sau các cơn lũ lớn thỉnh thoảng vẫn thấy nhiều khúc gỗ lim khá lớn trôi về, đa phần đã mục nát, có một số ít còn dùng làm gỗ được). Mỗi đền có 4 cột chính, 4 cột chái ở hai đầu, trên lớp ngói âm dương. Thời gian xây dựng của hai ngôi đền này
không ai biết rõ, chỉ biết các thế hệ trước truyền lại là hai ngôi đền này được xây dựng cùng một lúc, thờ thần nam (Ông) và thần nữ (Bà). Đền Nhà Ông nay thuộc địa phận xóm 7, cách làng Tràng Sơn khoảng 1km; Đền Nhà Bà (còn được gọi là Đền Cửa Mụ) thuộc xóm 13, cách làng Tràng Sơn khoảng 2km.
Một số người già cho rằng hai ngôi đền này xa xưa do người Tàu xây nơi vùng rừng núi hoang vắng để dấu của, chúng chôn kèm theo đồng nam, trinh nữ rồi phù phép để họ trở thành thần giữ của cho chúng; một số người khác lại cho rằng hai đền này được dân làng xây dựng nên nhằm trấn yểm ở hai cửa rừng phía Đông Nam và Đông Bắc của làng, mong muốn được thần linh che chở bảo vệ cho dân làng khỏi nạn hổ dữ về làng bắt người và gia súc.
Hai ngôi đền nhỏ này bị thời gian tàn phá, đổ nát trong thời kỳ kháng chiến chống Pháp; cách đây khoảng gần 10 năm, nhân dân xóm 13 đã tự góp tiền dựng lại Đền Nhà Bà. Do hạn chế về tiền bạc nên ngôi đền chỉ được xây đơn giản bằng gạch táp lô, không có cột gỗ, chỉ có các đường hoành gác trực tiếp lên tường nhà, mái lợp ngói dập (thường gọi là ngói tây). Dân làng coi trọng sự linh thiêng của đền, vẫn thường đến thắp hương cầu cúng nhân ngày rằm, mùng một hoặc xin thần phù hộ gia đình vượt qua khó khăn trong cuộc sống. Còn Đền Nhà Ông thì chỉ còn dấu vết mờ nhạt tại xóm 7.