Cĩ thể nĩi, vấn đề phát hiện khuơn mặt thực chất là bài tốn phân lớp: lớp khuơn mặt và lớp khơng phải khuơn mặt. Toàn bộ kiến trúc hệ thống phát hiện khuơn mặt trong ảnh màu, tĩnh dựa vào mạng neural và phương phương pháp phân vùng màu da được thể hiện như hình dưới đây.
Hệ thống bao gồm ba module chính.
Modue đầu tiên là module mạng huấn luyện nhận biết khuơn mặt, mạng neural được sử dụng ở đây là mạng MPL (Multi Perception Layer) với thuật tốn lan truyền ngược sử dụng phương pháp giảm gradient để giảm lỗi, hàm truyền được sử dụng ở đây là hàm sigmoid. Kết quả của module này sẽ cho ta bộ trọng số của mạng neural, từ bộ trọng số này sẽ giúp ta phân lớp được ảnh đầu vào cĩ phải là khuơn mặt hay khơng.
Module thứ hai là module huấn luyện phân vùng màu da dựa trên phân phối Gaussian. Kết quả của module sẽ cho ta bộ tham số bao gồm giá trị xác suất nhỏ nhất mà bộ phân vùng học được, vector trung bình và ma trận hiệp phương sai của phân phối. Từ bộ tham số này, với ảnh màu đầu vào, chúng ta cĩ thể tiến hành nhận biết và phân vùng màu da trên ảnh.
Module cuối cùng và là module xử lý trực tiếp phát hiện khuơn mặt. Ảnh đầu vào của module là ảnh màu, ảnh sẽ được tiến hành tiền xử lý. Tiền xử lý ở bước này đĩng vai trị rất quan trọng, vì ảnh sẽ được tăng cường độ sáng, cân bằng lược đồ và lọc nhiễu. Quá trình tiền xử lý tốt sẽ giúp cho quá trình phân vùng màu da sau này cĩ hiệu quả cso. Sau khi tiền xử lý, ảnh sẽ được đưa đi theo hai con đường, con đường thứ nhất là đưa vào bộ phân vùng để tiến hành phân vùng màu da, và kết quả của quá trình phân vùng này sẽ cho ta ảnh nhị phân cĩ các vùng màu da đã được phân biệt. Con đường thứ hai là ảnh sẽ được chuyển sang ảnh đa mức xám, sau đĩ kết hợp với ảnh đã được phân vùng màu da, sẽ trích xuất mọi cửa số cĩ kích thước 25 x 25 pixel trên vùng màu da để đưa vào mạng neural tiến hành phân lớp xem cửa sổ này cĩ phải là khuơn mặt hay khơng. Tại bước này, ta tiến hành xử lý đa phân giải với tỉ lệ chọn là 1.2 để cĩ thể tìm kiếm được các khuơn mặt tại các kích thước khác nhau.
Cĩ thể thấy trong kiến trúc này, mạng neural gồm ba lớp, lớp đầu vào cĩ 625 đầu ra tương ứng với cửa số kích thước 25 x 25, lớp ẩn cĩ 16 nút ẩn sử dụng kết nối đầy đủ tới 625 nút đầu vào và hai nút đầu ra để phân xử kết quả. Sở dĩ ở đây sử dụng đầu ra cĩ hai nút thay vì một nút thơng thương vì trong mơ hình này, chúng ta sẽ sử dụng thêm một mơ hình xác suất nhỏ để tiến hành phân xử kết quả ra. Việc sử dụng mơ hình xác suất ở đây giúp chúng ta cĩ thể tìm kết quả một cách mềm dẻo hơn và tránh được sai số khi thiết kế cài đặt trên máy tính. Mơ hình xác suất sẽ được đề cập đến trong phần sau của chương này. Cuối cùng sau quá trình phân xử kết quả, đầu ra của hệ thống sẽ cho ta câu trả lời, ảnh đầu vào cĩ khuơn mặt hay khơng, nếu cĩ thì cĩ bao nhiêu khuơn mặt và vị trí của từng khuơn mặt ở đâu trong ảnh.