TP. Hồ Chí Minh có lịch sử hình thành và phát triển gần 400 năm, được thành lập từ năm 1623 nhưng tới năm 1698, Chúa Nguyễn mới cử Thống soái Nguyễn Hữu Cảnh vào kinh lược đất Phương Nam, đặt cơ sở hành chính đầu tiên khai sinh ra thành phố Sài Gòn (tên gọi cũ của thành phố Hồ Chí Minh).
Trong quá trình hình thành và phát triển dưới thời nhà Nguyễn, đến thời Pháp thuộc, thời chính phủ Việt Nam Cộng Hòa thành phố đã trải qua nhiều lần thay đổi về tên gọi cũng như địa giới, diện tích và tổ chức hành chính, khi đất nước hoàn toàn độc lập, thành phố tiếp tục được cấu trúc lại. Cụ thể:
Ngày 10/05/1975 Hội nghị Ban Thường vụ Thành ủy Sài Gòn – Gia Định xác định tổ chức hành chính của thành phố bao gồm 21 quận, trong đó 14 quận nội thành gồm quận 1,2,3,4,5,6,7,8,9,10,11, Phú Nhuận, Bình Hòa, Thạnh Mỹ Tây và các quận ngoại thành gồm Thủ Đức, Nhà Bè, Bình Chánh, Tân Bình, Hóc Môn, Củ Chi.
Đến ngày 02/07/1976, Quốc Hội khóa VI nước Cộng hòa xã hội chủ nghĩa Việt Nam họp và chính thức đổi tên Sài Gòn thành Thành phố Hồ Chí Minh, các đơn vị hành chính có một số điều chỉnh so với nghị quyết ngày 10/05/1975. Theo đó, các quận ngoại thành Thủ Đức, Nhà Bè, Bình Chánh, Hóc Môn, Củ Chi đổi thành huyện; sát nhập một phần nhỏ thuộc tỉnh Long An vào huyện Hóc Môn, giải thể quận Gò Vấp cũ và thành lập quận Gò Vấp mới trên cơ sở 3 xã Hạnh Thông, An Nhơn và Thông Tây Hội; giải thể quận Tân Bình cũ và thành lập quận Tân Bình mới trên cơ sở các xã Tân Sơn Hòa, Tân Sơn Nhì, Phú Thọ Hòa và Tân Phú; 2 quận Bình Hoà và Thạnh Mỹ Tây hợp lại thành quận Bình Thạnh; quận 9 giải thể, trả 2 phường về huyện Thủ Đức; quận 1 và quận 2 nhập thành quận 1 mới; quận 8 và quận 7 sát nhập thành quận 8 mới. Như vậy, tính đến năm 1976 diện tích 11 quận nội thành và ven đô của TP. Hồ Chí Minh rộng khoảng 142,7 km2 và 5 huyện ngoại thành có diện tích tự nhiên khoảng 1.152,8 km2.
Ngày 29/12/1977 thành phố tiếp tục sát nhập huyện Duyên Hải của tỉnh Đồng Nai và năm 1991 đổi tên thành huyện Cần Giờ.
Ngày 06/01/1997, huyện Thủ Đức giải thể để thành lập các đơn vị hành chính gồm: quận Thủ Đức (trên cơ sở các xã Linh Đông, Linh Trung, Tam Bình, Tam Phú, Hiệp Bình Phước, Hiệp Bình Chính, thị trấn Thủ Đức, một phần các xã Hiệp Phú, Tân Phú, Phước Long); quận 2 (trên cơ sở các xã An Phú, An Khánh, Thủ Thiêm, Bình Trưng, Thạnh Mỹ Lợi); quận 9 (trên cơ sở các xã Long Bình, Long Thạnh Mỹ, Tăng Nhơn Phú, Long Phước, Long Trường, Phú Hữu, Phước Bình, phần còn lại của các xã Tân Phú, Phước Long, Hiệp Phú và Bình Trưng). Huyện Nhà Bè chia tách để thành lập Quận 7 (trên cơ sở các xã Tân Quy Đông, Tân Quy Tây, Tân Thuận Đông, Tân Thuận Tây, Phú Mỹ và một phần thị trấn Nhà Bè). Huyện Hóc Môn chia tách để thành lập quận 12 (trên cơ sở các xã Thạnh Lộc, An Phú Đông, Tân Thới Hiệp, Đông Hưng Thuận, Tân Thới Nhất, một phần các xã Tân Chánh Hiệp và Trung Mỹ Tây). Tính đến năm 1997, toàn thành phố gồm 17 quận và 5 huyện ngoại thành.
Ngày 05/11/2003, thành phố tiếp tục chia tách quận Tân Bình để thành lập thêm quận Tân Phú (trên cơ sở các phường 16, 17, 18, 19, 20 và một phần các phường 14, 15). Huyện Bình Chánh cũng chia tách để thành lập quận Bình Tân (trên cơ sở các xã Bình Hưng Hòa, Bình Trị Đông, Tân Tạo và thị trấn An Lạc) (Nguyễn Đình Đầu, 2007).
Tính đến năm 2016, TP. Hồ Chí Minh có tổng diện tích khoảng 2.095,4 km2, xếp thứ 2 về diện tích trong năm thành phố trực thuộc trung ương (so với thủ đô Hà Nội rộng 3.358,9 km2, TP. Hải Phòng 1.561,7 km2, TP. Đà Nẵng 1.284,7 km2 và TP. Cần Thơ 1.439,2 km2), chiếm khoảng 0,63% diện tích toàn quốc và bao gồm 24 quận huyện, với 19 quận nội thành rộng 494,0 km2, chiếm 23,57% tổng diện tích thành phố, gồm quận 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, Tân Bình, Bình Tân, Bình Thạnh, Tân Phú, Phú Nhuận, Thủ Đức, Gò Vấp và 5 huyện ngoại thành rộng 1.601,4 km2, chiếm 76,42% tổng diện tích, gồm Hóc Môn, Củ Chi, Bình Chánh, Nhà Bè, Cần Giờ.