Nằm ở bờ bắc sông hương, nay là ngôi chùa lớn nhất ở Huế, ngôi chùa hiện nay vốn được chúa Nguyễn Hoàng cho xây dựng lại nhưng thật sự năm 1558 đã có chùa ở đây rồi. Ngày trước ở vùng mà vị trí bây giờ của Chùa Thiên Mụ có một gò đất rất cao có tên là đồi Hà Khê, có hình dáng như con rùa đưa cái đầu ra sông hương và sông hương như con rồng uốn thân.
Truyền thuyết kể rằng vào thời Bắc thuộc đời nhà Đường có các vị thầy phong thuỷ sang Việt Nam, khi ngang qua đây đã thấy được vị thế ở
đây rất tốt và đã cho đào đất để cắt khí thiêng của đất Nam khiến Việt Nam không thể có nhân tài giúp nước. Sau khi lấp chặn xong thì nơi đây ban đêm thường có một bà lão mặc áo đỏ quần lục xuất hiện trên đồi, nói với mọi người: "Rồi đây sẽ có một vị chân chúa đến lập chùa để tụ linh khí, làm bền long mạch, cho nước Nam hùng mạnh". Vì thế, nơi đây còn được gọi là Thiên Mụ Sơn.
Năm 1558, khi chúa Nguyễn Hoàng vào làm Trấn thủ xứ Thuận Hóa kiêm trấn thủ Quảng Nam, ông đã đích thân đi xem xét địa thế ở đây nhằm chuẩn bị cho mưu đồ mở mang cơ nghiệp, xây dựng giang sơn cho dòng họ Nguyễn sau này. Trong một lần rong ruổi vó ngựa dọc bờ sông Hương ngược lên phía đầu nguồn, ông bắt gặp một ngọn đồi nhỏ nhô lên bên dòng nước trong xanh uốn khúc, thế đất như hình một con rồng đang quay đầu nhìn lại, ngọn đồi này có tên là đồi Hà Khê. Khi nghe dân chúng kể về câu chuyện trên, Nguyễn Hoàng cả mừng, và năm 1601 đã cho dựng một ngôi chùa trên đồi, ngoảnh mặt ra sông Hương, đặt tên là "Thiên Mụ".
Năm 1844, nhân dịp mừng lễ "bát thọ" của bà Thuận Thiên Cao Hoàng hậu (vợ vua Gia Long, bà nội của vua Thiệu Trị), vua Thiệu Trị kiến trúc lại ngôi chùa một cách quy mô hơn: xây thêm một ngôi tháp bát giác gọi là Từ Nhân (sau đổi là Phước Duyên), đình Hương Nguyện và dựng 2 tấm bia ghi lại việc dựng tháp, đình và các bài thơ văn của nhà vua.
Tháp Phước Duyên là một biểu tượng nổi tiếng gắn liền với chùa Thiên Mụ. Tháp cao 21 m, gồm 7 tầng, được xây dựng ở phía trước chùa vào năm 1844. Mỗi tầng tháp đều có thờ tượng Phật nhưng do chiến tranh nên đã bị mất. Bên trong có cầu thang hình xoắn ốc dẫn lên tầng trên cùng, nơi trước đây có thờ tượng Phật bằng vàng. Phía trước tháp là đình Hương Nguyện, trên nóc đặt Pháp luân (bánh xe Phật pháp, biểu tượng Phật giáo. Pháp luân đặt trên đình Hương Nguyện quay khi gió thổi). Tháp được coi là tháp cổ nhất Việt Nam.
Năm 1862, dưới thời vua Tự Đức, để cầu mong có con nối dõi, nhà vua sợ chữ "Thiên" phạm đến Trời nên cho đổi từ "Thiên Mụ" thành "Linh Mụ" (hay "Bà mụ linh thiêng"). Vấn đề kiêng cữ như đã nêu chỉ diễn tiến từ năm Nhâm Tuất (1862) cho tới năm Kỷ Tỵ (1869). Sau đó, người dân thoải mái gọi hai tên: chùa Thiên Mụ và chùa Linh Mụ. Vì rằng từ "Linh" đồng nghĩa với Thiêng", âm người Huế khi nói "Thiên" nghe tựa "Thiêng" nên khi người Huế nói "Linh Mụ", "Thiên Mụ" hay "Thiêng Mụ" thì người nghe đều hiểu là muốn nhắc đến chùa này.
Trận bão năm 1904 đã tàn phá nặng nề ngôi chùa. Nhiều công trình bị hư hỏng, trong đó đình Hương Nguyện bị sụp đổ hoàn toàn (nay vẫn
còn dấu tích). Năm 1907, vua Thành Thái cho xây dựng lại, nhưng chùa không còn được to lớn như trước nữa. Hai bên tháp có hai nhà tứ giác, đặt hai tấm bia đời Thiệu Trị. Sâu vào bên trong là hai nhà lục giác, một nhà để bia và một nhà để quả chuông đúc đời chúa Nguyễn Phúc Chu.
Chùa Thiên Mụ chính thức khởi lập năm Tân Sửu (1601), đời chúa Tiên - Nguyễn Hoàng.
Dưới thời chúa Quốc -Nguyễn Phúc Chu (1691-1725) theo đà phát triển và hưng thịnh của Phật giáo xứ Đàng Trong, chùa được xây dựng lại quy mô hơn. Năm 1710, chúa Quốc cho đúc một chiếc chuông lớn, nặng tới trên hai tấn, gọi là Đại Hồng Chung, có khắc một bài minh trên đó. Đến năm 1714, chúa Quốc lại cho đại trùng tu chùa với hàng chục công trình kiến trúc hết sức quy mô như điện Thiên Vương, điện Đại Hùng, nhà Thuyết Pháp, lầu Tàng Kinh, phòng Tăng, nhà Thiền... mà nhiều công trình trong số đó ngày nay không còn nữa. Chúa Quốc còn đích thân viết bài văn, khắc vào bia lớn (cao 2m60, rộng 1m2) nói về việc xây dựng các công trình kiến trúc ở đây, việc cho người sang Trung Quốc mua hơn 1000 bộ kinh Phật đưa về đặt tại lầu Tàng Kinh, ca tụng triết lý của đạo Phật, ghi rõ sự tích Hòa thượng Thạch Liêm - người có công lớn trong việc giúp chúa Nguyễn chấn hưng Phật giáo ở Đàng Trong. Bia được đặt trên lưng một con rùa đá rất lớn, trang trí đơn sơ.