Tiền thân của công ty xi măng Hải Phòng là nhà máy xi măng Hải Phòng được khởi công xây dựng vào ngày 25/12/1899 trên vùng ngã ba sông Cấm và kênh đào Hạ lý Hải Phòng. Đây là nhà máy xi măng lớn đầu tiên tại Đông Dương được người Pháp khởi công xây dựng. Trong thời kỳ Pháp thuộc, xi măng Hải Phòng là cơ sở duy nhất ở Đông Dương sản xuất xi măng phục vụ chính cho chính sách khai thác thuộc địa của thực dân.
Đến năm 1955, Chính Phủ cách mạng tiếp quản và đưa vào sử dụng, sản lượng cao nhất trong thời kỳ Pháp thuộc là 39 vạn tấn.
Đến năm 1961, nhà máy khởi công xây dựng mới 2 dây chuyền lò quay. Đến năm 1964, với toàn bộ dây chuyền 7 lò quay, nhà máy đã sản xuất được 592.055 tấn xi măng, là mức cao nhất trong những năm hoà bình xây dựng. Với sự giúp đỡ của nước bạn Rumani, năm 1969 nhà máy sửa chữa và xây dựng được 3 lò nung mới. Thời kỳ này, sản lượng cao nhất là 67 vạn tấn. Tháng 8 năm 1993 theo quyết định của Nhà nước sáp nhập nhà máy xi măng Hải Phòng với ngành nghề sản xuất, kinh doanh xi măng vận tải, sửa chữa, khai thác đá.
Năm 1997, do dây chuyền sản xuất xi măng đã quá lạc hậu, bụi xi măng làm ảnh hưởng đến môi trường thành phố, công ty xi măng Hải Phòng được Chính phủ quyết định cho chuyển đổi sản xuất, đầu tư xây dựng nhà máy mới tại vùng núi đá Tràng Kênh – Minh Đức – Thuỷ Nguyên - Hải Phòng.
Ngày 30/11/2005, lò nung clinker của nhà máy xi măng Hải Phòng mới hoàn thành đưa vào sản xuất. Ngày 24/1/2006, nò nung nhà máy cũ dừng hoạt động.
Ngày 12/05/2006, hệ thống nghiền đóng bao của nhà máy mới hoàn thành đưa vào sản xuất, dây chuyền nhà máy mới đi vào hoạt động đồng bộ. Ngày 31/05/2006, hệ thống nghiền xi măng nhà máy cũ dừng hoạt động. Theo thông báo số 866/XMHP-KH ngày 27/05/2006, Công ty xi măng Hải Phòng chấm dứt toàn bộ hoạt động sản xuất tại nhà máy cũ ở số 1 đường Hà Nội thành phố Hải Phòng, chuyển về hoạt động tại nhà máy mới nằm trên địa bàn thị trấn Minh Đức - Thuỷ Nguyên - Hải Phòng.