Theo Phật thoại thì chùa Hương là nơi tu hành đắc đạo của Đức Quan Thế Âm Bồ Tát. Bồ Tát đã ứng thân làm Công chúa Diệu Thiện, thường gọi là Bà Chúa Ba, con vua Diệu Trang Vương ở nước Hưng Lâm. Bà được vua cha vô cùng yêu quý, cưng chiều nhưng bà không vâng lời cha lấy chồng mà quyết chí tu hành khiến Đức vua vô cùng tức giận sai người giết. Tuy nhiên, Ngọc Hoàng Thượng Đế sớm biết chuyện nên sai thần linh hóa thành mãnh hổ đến cứu bà đưa bà đến núi rừng Hương Sơn. Hang Thánh Mẫu hay còn gọi là Am Phật Tích chính là nơi đầu tiên bà đặt chân khi đến vùng đất này, tương truyền dấu chân của bà vẫn còn in trên đá cho đến ngày nay. Nơi bà tắm rửa, tẩy sạch bụi trần chính là chùa Giải Oan với giếng Thiên nhiên Thanh trì và dòng suối Giải Oan lượn quanh trước cửa động.
Sau chín năm tu hành, Bà Chúa Ba đã đắc đạo, trở thành Quan Thế Âm Bồ Tát. Khi đạt được chính quả, Bà Chúa Ba không về trời mà ở lại để phù hộ độ trì, cứu khổ, cứu nạn dân lành. Khi nghe tin phụ hoàng bị ốm nặng, bà trở về quê nhà chữa bệnh cho cha, trừ nghịch cho đất nước, phổ độ chúng sinh. Sau lại cứu cha mẹ và hai chị thoát khỏi tai ương yêu quái hãm hại, thuyết phục cả gia đình bỏ tà tâm ác nghiệp, bỏ lòng tham quyền lực, tâm hoàn lương thiện.
Câu chuyện về bà nhanh chóng lan truyền khắp mọi nơi đến tai các thiền sư và các nhà tu hành, rất nhiều người đã tới đây tìm chỗ thanh tịnh để tu hành. Đến đời vua Lê Thánh Tông (1442-1497) có ba vị hòa thượng đến đây, nương nhờ cửa Phật mong được đắc đạo. Ban ngày ba ngài lễ tụng, tọa thiền tại động Hương Tích, tối lại ra khu vực Thiên Trù ngủ, nghỉ. Để tránh mưa nắng ba vị hòa thượng đã dựng một thảo am. Sau một thời gian tu hành thì các ngài lần lượt viên tịch. Đến nay không ai còn biết được tên tuổi và dòng tu của các ngài nữa, các ngài chỉ được gọi bằng một cái tên chung là “Kị Tổ Bồ Tát”. Dấu tích còn sót lại là hai ngôi mộ cổ bằng đá xanh, đục đẽo thô sơ nằm trong vườn tháp.
Từ đó động Hương Tích được gọi là chùa Trong, Thiên Trù được gọi là chùa Ngoài, rồi người ta lấy tên chung cho cả hai chùa là chùa Hương, hay “Hương Thiên Bảo Sái”. Hương Tích có nghĩa là dấu vết thơm tho, ý nói đây từng là nơi tu hành của Bồ Tát Quan Thế Âm, còn Thiên Trù đọc theo âm Hán Việt nghĩa là Bếp Trời. Do đó nói đi trẩy hội chùa Hương tức là đi chiêm bái cả khu vực Hương – Thiên của vùng núi Hương Sơn.
Năm 1687, hòa thượng Trần Đạo Viên Quang ở Ty Tăng Lục (thời Lê lập ra Ty Tăng Lục để coi sóc và quản lý các vị tu hành) đã đến Hương Sơn lập ra cảnh Phật khiến vùng đất này trở thành nơi linh sơn phúc địa.
Tính đến năm 1947, đã có chín đời sư tổ nối tiếp đã trụ trì ở đây. Cũng năm đó, giặc Pháp đã tàn phá Thiên Trù và Tiên Sơn, khiến nơi này chỉ còn là đống đổ nát, hoang tàn. Sau khi hòa bình được lập lại, dưới sự lãnh đạo của các cấp chính quyền và sự đồng tâm hiệp lực của nhân dân, chùa Hương được xây dựng và tôn tạo lại để phát triển và mở rộng như ngày hôm nay.