Hệ thống phát hiện khuơn mặt của đồ án tiến hành dựa trên năm hoạt động chính sau đây:
Huấn luyện ảnh khuơn mặt và ảnh khơng phải khuơn mặt: Đây là quá trình hoạt động ngoại tuyến của hệ thống. Quá trình huấn luyện dựa trên cơ chế máy học mà cụ thể là mạng neural nhân tạo. Tập cơ sở dữ liệu được chuẩn hĩa về kích thước cửa số chuẩn được cho vào mạng neural để huấn luyện. Kết quả của huấn luyện sẽ cho ra bộ tham số của mạng. Bộ tham số này sẽ được dùng cho quá trình phát hiện khuơn mặt của hệ thống. Do ảnh cần phát hiện khuơn mặt là ảnh màu nên tập ảnh huấn luyện khuơn mặt là ảnh màu và sẽ được chuyển sang ảnh đa mức xám trước khi đưa vào huấn luyện.
Tiền xử lý: Đây là quá trình làm giảm sai khác gây ra do điều kiện sáng bằng phép cân bằng lược đồ mức xám, lọc nhiễu…của các ảnh được sử dụng để huấn luyện mạng neural cũng như huấn luyện phân vùng màu da. Các thuật tốn được sử dụng trong quá trình tiền xử lý này bao gồm cần bằng lược đồ mức xám, lọc thơng thấp.
Huấn luyện phân vùng màu da: Đây cũng là hoạt đơng ngoại tuyến của hệ thống. Phương pháp để phân vùng màu da được lựa chọn dựa trên mơ hình hĩa màu da cĩ tham số sử dụng phận phối Gaussian và trong khơng gian màu YCrCb. Quá trình huấn luyện từ bộ cơ sở dữ liệu các mẫu màu da của các chủng tộc châu lục Âu, Á, Mỹ , Phi, Châu đại dương…Kết quả của quá trình huấn luyện sẽ cho ra bộ tham số bao gồm xác suất ngưỡng nhỏ nhất mà mơ hình học được, vector trung bình và ma trận hiệp phương
sai. Đây là bộ tham số được dùng để tiến hành phân vùng màu da ảnh trước khi ảnh được đưa vào hệ thống phát hiện khuơn mặt.
Phát hiện khuơn mặt: Đây là hoạt trực tuyến của hệ thống. Trong hoạt động này, ảnh màu đầu vào cần phát hiện khuơn mặt trước khi phát hiện khuơn mặt sẽ được qua quá trình tiền xử lý như lọc nhiễu, cân bằng biểu đồ mức xám. Sau đĩ ảnh được phân vùng màu da và tạo ra một ảnh nhị phân ảnh phân vùng. Ảnh gốc sau quá trình phân vùng màu da sẽ được chuyển sang ảnh đa mức xám. Cuối cùng, sẽ là quá trình phát hiện khuơn mặt trong ảnh bằng cách trích mọi cửa sổ của ảnh theo khơng gian tìm kiếm của vùng da được phân vùng. Để cĩ thể phát hiện khuơn mặt của ảnh ở các kích thước khác nhau, trong quá trình này, ảnh cũng được xử lý đa phần giải.
Xử lý kết quả: Sau quá trình phát hiện, các cửa số được hệ thống phát hiện là khuơn mặt trước khi cho kết quả cuối cùng sẽ được xử lý bằng một vài heuristic để cĩ thể cho ra những cửa số được phát hiện khuơn mặt cĩ độ tin cậy cao nhất.
Tổng thể các hoạt động của hệ thống cĩ thể được mơ tả như sơ đồ thuật tốn sau đây