Không có nước cung cấp theo mạng cấp nước, rất nhiều người dân thành phố đã phải tính đến việc sử dụng nguồn nước ngầm. Tuy nhiên, theo báo cáo của Sở Tài nguyên - Môi trường TPHCM, chất lượng nguồn nước ngầm có nhiều vấn đề đáng lo.
Hiện nay trong 3 tầng nước ngầm thì tầng 2 là tầng đang có chất lượng suy giảm, đặc biệt là vùng lộ của tầng chứa nước này. Một số nơi như Gò Vấp, quận 12, Thủ Đức, Tân Bình, Tân Phú, Bình Tân, quận 9, 10, 11 có hàm lượng chất nitơ cao. Đáng chú ý là quận Gò Vấp đã có hàm lượng NO3-vượt quá tiêu chuẩn nước uống. tầng chứa nước Pleistocen thường có pH thấp, đã bị nhiễm bẩn cục bộ mà chủ yếu là các hợp chất ni tơ và vi sinh. Thường các khu vực nhiễm bẩn ứng với khu vực đang khai thác tập trung đối với tầng này và các khu vục phát triển công nghiệp
Nguyên nhân của hiện tượng này là do nước mặt đang bị ô nhiễm nghiêm trọng thấm vào lòng đất mà trước hết là tầng nước thứ 2. Việc người dân đặt vị trí khoan nước giếng ngầm gần hầm vệ sinh, gần kênh rạch ô nhiễm cũng làm gia tăng mức độ ô nhiễm. Các tầng nước ngầm 3 và 4 chưa bị nhiễm bẩn do nằm sâu trong lòng đất.
Tuy nhiên, các tầng nước này cũng có nguy cơ bị ô nhiễm do trước kia thành phố có phát triển các loại giếng (khoan nước ngầm) đường kính nhỏ mà hiện nay phần lớn đã hư hỏng - sẽ là đường để các chất ô nhiễm xâm nhập vào tầng nước này.
Tổng lượng nước ngầm khai thác tại TP hiện nay khoảng 524,456m³/ngày, trong đó cho sản xuất khoảng 300,000m³/ngày, còn lại là nước sinh hoạt (các công ty khai thác nước ngầm, khai thác khoảng 100,000m³/ngày), người dân khai thác khoảng 125,000m³/ngày.