Tài liệu địa chất miền Bắc Việt Nam [38], cho thấy địa chất của khu vực Đồng Sơn - Kỳ Thượng hình thành từ kỷ Triat thuộc thời kỳ Đệ Tứ với các loại đá thuộc nhóm đá trầm tích chính : Phấn sa, Sa thạch, Sỏi sạn kết, Phù sa cổ, đôi chỗ có đá Phiến thạch sét xen kẽ. Trên các đỉnh núi, đá mẹ có nguồn gốc macma phun trào nhờ hoạt động tạo sơn Hymalaya thuộc kỷ Trias – Judava tạo nên.
Kết quả điều tra xây dựng bản đồ dạng đất do Viện Điều tra Quy hoạch rừng xây dựng tháng 4 năm 2001, đã phát hiện trong khu vực có 22 dạng đất trong 4 nhóm đất chính sau :
- Đất Feralit có mùn trên núi (độ cao trên 700m). Đất khá nhiều mùn nên có màu nâu nhạt, phát triển trên đá Sa thạch khối, có tầng đất mỏng đến trung bình hoặc rất mỏng, có nhiều đá lộ đầu, phân bố rải rác nhưng tập trung chủ yếu trên núi cao Thiên Sơn, Am Váp, Đèo Mo.
- Đất Feralit màu nâu vàng, vàng nhạt vùng đồi phát triển trên đá Phiến thạch sét, Sa thạch, Phấn sa, Sạn kết. Phân bố chủ yếu ở vùng thấp dưới 700m. Tầng đất dày đến trung bình, nơi đất mỏng thường là các đỉnh núi có đá Sa thạch khối phân bố, thành phần cơ giới trung bình, phân bố tập trung chủ yếu ở Đồng Sơn, Đồng Lâm, Kỳ Thượng và quanh núi Thiên Sơn (Vũ Oai).
- Đất Feralit màu vàng đỏ đến đỏ vàng hay xám vàng, phát triển trên Sa thạch, Sỏi kết của nền phù sa cổ thường phân bố trên các đồi thấp trong khu vực các xã Đồng Sơn, Đồng Lâm, Vũ Oai, Hòa Bình. Tầng đất mỏng đến trung bình, thành phần cơ giới nhẹ, đất nghèo dinh dưỡng.
- Nhóm đất thung lũng, đất đồng ruộng trên nền phù sa cổ và bồi tụ ven suối. Nhóm đất này nhỏ, tầng đất dày, chủ yếu là đất cát pha, thành phần cơ giới nhẹ, phân bố chủ yếu dọc theo các sông suối, thung lũng hẹp của các xã trong và quanh Khu bảo tồn.
Nhìn chung, đất đai trong KBTTN là đất Feralit màu đỏ vàng, vàng đỏ đến vàng nhạt có thành phần cơ giới nhẹ đến trung bình, khả năng kết dính kém, đất dễ bị rửa trôi xói mòn nếu mất rừng. Đất đai thuận lợi cho sản xuất nông lâm nghiệp nhưng đòi hỏi phải có phân bón.