Ra đời ngày 24/4/1956 với tên gọi là Trường Quốc gia Âm nhạc Sài Gịn. Năm 1960, Trường được đổi tên là Trường Quốc gia Âm nhạc và Kịch nghệ Sài Gịn. Từ năm 1975, Trường được đổi tên thành Trường Quốc gia Âm nhạc TP. HCM và sau đĩ là Trường Âm nhạc TP. HCM. Ngày 29/9/1981, Trường được đổi tên thành Nhạc viện TP. HCM
Từ hai ngành đào tạo: ngành Quốc nhạc và ngành nhạc Tây phương, (trong đĩ gần 20 chuyên ngành biểu diễn nhạc khí và lý thuyết âm nhạc) năm 1956, qua quá trình tồn tại và phát triển với nhiều thăng trầm của đất nước, Nhạc Viện TP. HCM hiện đang đào tạo hơn 50 chuyên ngành với các bậc trung cấp dài hạn 11, 9, 7, 6 năm, trung cấp 4 năm, bậc cao đẳng, đại học (chính qui, tại chức, chuyên tu, ...) và sau đại học. Nhạc viện TP. HCM đã trở thành một trong những cơ sở đào tạo âm nhạc lớn của cả nước, kết quả đào tạo của Nhạc viện được nhiều cơ sở đào tạo âm nhạc cĩ uy tín trên thế giới cơng nhận.
Năm 1975, đất nước thống nhất, đội ngũ giảng viên được bổ sung bởi các giảng viên từ Nhạc viện Hà Nội, và theo thời gian, Nhạc viện cĩ thêm những giảng viên tốt nghiệp trong và ngồi nước, tận tụy với nghề và giàu kinh nghiệm. Gần đây, Nhạc viện đã mời thêm nhiều giảng viên thỉnh giảng (những giảng viên cĩ chuyên mơn cao đã nghỉ hưu, một số giảng viên từ những cơ sở đào tạo khác, một số giảng viên Việt kiều như: GS.
TS. Trần Văn Khê, GS. TS. Nguyễn Thuyết Phong TS. Văn Hùng Cường,... ; giảng viên nước ngồi như: TS. Eun young Joo, Ths. Cho Hae Ryong – Hàn Quốc, Papp I Stván - Đức, ...) để phục vụ cơng tác giảng dạy.
Hàng ngàn văn nghệ sĩ đã tốt nghiệp từ Nhạc viện TP. HCM, đi đến mọi miền của tổ quốc, thậm chí ở nước ngài trong rất nhiều lĩnh vực. Tiêu biểu như: Hồng Tuấn Cương (Violon), Bùi Cơng Duy (Violon), Nguyễn Hữu Nguyên (Violon tại Pháp), nhạc sĩ Trần Long Ẩn, ...đã gĩp phần xây dựng, phát triển sự nghiệp văn hĩa – nghệ thuật của TP. HCM và cả nước.
Nhiều thế hệ HSSV theo học tại Nhạc viện đã đạt rất nhiều giải thưởng âm nhạc trong và ngồi nước như: Concours Per Giovan tại Ý, Concours Léopold Mozart tại CHLB Đức, Concours “Thầy và Trị” tại Moscow, các cuộc thi Tài năng trẻ Guitare, Piano, Violon ...
Với những nỗ lực của nhiều thế hệ, Nhạc viện TP. HCM đã ngày càng phát triển và được Đảng và Nhà nước tặng thưởng những phần thưởng cao quý như:
- Huân chương Lao động hạng ba (năm 1982). - Huân chương Lao động hạng nhì (năm 1985). - Huân chương Lao động hạng nhất (năm 1990). - Huân chương Lao động hạng nhất (năm 1995). - Huân chương Độc lập hạng ba (năm 2000). - Huân chương Độc lập hạng nhì (năm 2011).