Hệ thống phát hiện khuôn mặt của đồ án tiến hành dựa trên năm hoạt động chính sau đây:
Huấn luyện ảnh khuôn mặt và ảnh không phải khuôn mặt: Đây là quá
trình hoạt động ngoại tuyến của hệ thống. Quá trình huấn luyện dựa trên cơ chế máy học mà cụ thể là mạng neural nhân tạo. Tập cơ sở dữ liệu được chuẩn hóa về kích thước cửa số chuẩn được cho vào mạng neural để huấn luyện. Kết quả của huấn luyện sẽ cho ra bộ tham số của mạng. Bộ tham số này sẽ được dùng cho quá trình phát hiện khuôn mặt của hệ thống. Do ảnh cần phát hiện khuôn mặt là ảnh màu nên tập ảnh huấn luyện khuôn mặt là ảnh màu và sẽ được chuyển sang ảnh đa mức xám trước khi đưa vào huấn luyện.
Tiền xử lý: Đây là quá trình làm giảm sai khác gây ra do điều kiện sáng
bằng phép cân bằng lược đồ mức xám, lọc nhiễu…của các ảnh được sử dụng để huấn luyện mạng neural cũng như huấn luyện phân vùng màu da. Các thuật toán được sử dụng trong quá trình tiền xử lý này bao gồm cần bằng lược đồ mức xám, lọc thông thấp.
Huấn luyện phân vùng màu da: Đây cũng là hoạt đông ngoại tuyến của
hệ thống. Phương pháp để phân vùng màu da được lựa chọn dựa trên mô hình hóa màu da có tham số sử dụng phận phối Gaussian và trong không gian màu YCrCb. Quá trình huấn luyện từ bộ cơ sở dữ liệu các mẫu màu da của các chủng tộc châu lục Âu, Á, Mỹ , Phi, Châu đại dương…Kết quả của quá trình huấn luyện sẽ cho ra bộ tham số bao gồm xác suất ngưỡng nhỏ nhất mà mô hình học được, vector trung bình và ma trận hiệp phương
sai. Đây là bộ tham số được dùng để tiến hành phân vùng màu da ảnh trước khi ảnh được đưa vào hệ thống phát hiện khuôn mặt.
Phát hiện khuôn mặt: Đây là hoạt trực tuyến của hệ thống. Trong hoạt
động này, ảnh màu đầu vào cần phát hiện khuôn mặt trước khi phát hiện khuôn mặt sẽ được qua quá trình tiền xử lý như lọc nhiễu, cân bằng biểu đồ mức xám. Sau đó ảnh được phân vùng màu da và tạo ra một ảnh nhị phân ảnh phân vùng. Ảnh gốc sau quá trình phân vùng màu da sẽ được chuyển sang ảnh đa mức xám. Cuối cùng, sẽ là quá trình phát hiện khuôn mặt trong ảnh bằng cách trích mọi cửa sổ của ảnh theo không gian tìm kiếm của vùng da được phân vùng. Để có thể phát hiện khuôn mặt của ảnh ở các kích thước khác nhau, trong quá trình này, ảnh cũng được xử lý đa phần giải.
Xử lý kết quả: Sau quá trình phát hiện, các cửa số được hệ thống phát
hiện là khuôn mặt trước khi cho kết quả cuối cùng sẽ được xử lý bằng một vài heuristic để có thể cho ra những cửa số được phát hiện khuôn mặt có độ tin cậy cao nhất.
Tổng thể các hoạt động của hệ thống có thể được mô tả như sơ đồ thuật toán sau đây