Giai đoạn khởi tạo nhóm sẽ tạo ra số lượng lớn các nhóm nhỏ mà nó được xem như cùng màu với nhau. Để đồng nhất các
nhóm màu được xem như giống nhau về màu sắc, chúng ta phải biến đổi dữ liệu sang không gian màu CIE. Bước này rất cần thiết, bởi gì như đã phân tích ở mục 4.4, khoảng cách Euclidean trong không gian RGB thì không phản ánh được sự giống nhau của các màu sắc. Việc biến đổi dữ liệu thu được trong giai đoạn khởi tạo nhóm chỉ giữ lại các nhãn tương ứng của lớp đó. Ta đo
được sự khác biệt về màu sắc của tất cả các màu trong toàn bộ
các nhóm mà chúng thể hiện, từ các giá trị trung bình và trị riêng của từng nhóm, chúng ta kết hợp các nhóm với các màu khác nhau và giá trị này không lớn hơn giá trị của ngưỡng đã được
định trước. Khi hai nhóm bất kỳ được kết hợp lại, một nhãn mới của nhóm được ký hiệu lại, để tiếp tục kết nhóm cho nhóm mới. Nhóm mới này có trị trung bình là μkđược tính theo biểu thức
j i j j i i k N N N N + + = μ μ μ (4.2) Với μi,μj là trị trung bình của nhóm và Ni,Njlà số của các pixel trong nhóm thứ i và thứ j. Việc tính toán để cập nhật lại giá trị mới, nhằm tạo ra cho phép kết nhóm phù hợp hơn và cũng phù hợp với khoảng cách hình học trong không gian màu mà khi quan sát có thể phân biệt được sự khác nhau về màu sắc. Quá trình kết hợp là quá trình truy hồi và được lập lại nhiều lần đến khi không bỏ sót nhóm nào và đồng thời giảm nhỏ giá trị ngưỡng. Cuối cùng kết thúc quá trình kết hợp từng nhóm con, nhãn của nhóm từ các quá trình trên được lưu lại