• Giới thiệu
Hơn một thập kỷ qua, có rất nhiều công trình nghiên cứu về bài toán xác định khuôn mặt người từ ảnh đen trắng, ảnh xám, đến ảnh màu như ngày nay. Các nghiên cứu đi từ bài toán đơn giản là ảnh chỉ chứa một khuôn mặt người nhìn thẳng vào thiết bị thu hình và đầu ở tư thế thẳng đứng, cho đến ảnh màu với nhiều khuôn mặt người trong cùng ảnh, khuôn mặt có quay một góc nhỏ, hay bị che khuất một phần, và với ảnh nền của ảnh phức tạp (ảnh chụp ngoài thiên nhiên) nhằm đáp ứng nhu cầu thật sự cần thiết của con người.
Bài toán xác định khuôn mặt người (Face detection) là một kỹ thuật máy tính để xác định các vị trí và các kích thước của khuôn mặt trong ảnh bất kỳ (ảnh kỹ thuật số). Kỹ thuật này nhận biết các đặc trưng khuôn mặt và bỏ qua những thứ khác như: toàn nhà, cây cối, cơ thể...
Một số ứng dụng của bài toán xác định khuôn mặt là: hệ thống tương tác giữa người và máy (điều kiển máy tính qua các cử động của khuôn mặt), hệ thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ thống quan sát theo dõi, hệ thống quản lý việc ra vào cho các cơ quan và công ty, hệ thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên khuôn mặt, và hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số...
Hiện nay có rất nhiều phương pháp nhận dạng khuôn mặt người, dựa vào các tính chất của các phương pháp, ta có thể chia ra làm bốn hướng tiếp cận chính như sau: Hướng tiếp cận dựa trên tri thức: mã hoá hiểu biết của con người về các loại khuôn mặt và tạo ra các tập luật để xác định khuôn mặt. Hướng tiếp cận dựa trên đặt tả không thay đổi: mục tiêu các thuật toán tìm ra các đặt trưng mô tả cấu trúc khuôn mặt người (các đặc trưng không thay đổi với tư thế, vị trí đặt thiết bị thu hình, độ sáng tối thay đối...). Hướng tiếp cận dựa trên so khớp mẫu: dùng các mẫu chuẩn hay các đặc trưng của khuôn mặt người. Hướng tiếp cận dựa trên diện mạo: phương pháp học từ một tập ảnh huấn luyện mẫu để xác định khuôn mặt người.
Chương trình xác định vị trí khuôn mặt người trong bài viết này sử dụng hướng tiếp cận dựa trên mạo, sử dụng bộ phân loại mạnh AdaBoost là sự kết hợp của các bộ phân loại yếu dựa trên các đặt trưng Haar-like để xác định khuôn mặt. Tốc độ xử lý khá nhanh và tỷ lệ chính xác hơn 80% trên ảnh xám.Mã nguồn được dựa trên thư viện mã nguồn mở OpenCV của Intel để cài đặt.
Thuật toán học máy Adaboost được phát triển thuật toán Boosting, do đó tôi sẽ trình bày một chút về thuật toán Boosting trước khi trình bầy về AdaBoost.
• Tiếp cận Boosting
Về lịch sử, boosting bắt nguồn từ câu hỏi nổi tiếng được đưa ra bời Kearns vào năm 1989 : “Liệu có thể tạo ra một strong classifier từ một tập các bộ phân loại yếu?”. Năm 1990, Robert Schapire đưa ra thuật toán boosting đầu tiên, tiếp đến năm 1993 thì nó được Drucker, Schapire và Simard kiểm nghiệm trong trong các chương trình nhận dạng ( OCR application ). Freund đã tiếp tục các nghiên cứu của Schaprire, và đến năm 1995 thì ông cùng với Schapire phát triển boosting thành adaboost.
Như vậy, nguyên lý cơ bản của boosting là sự kết hợp các weak classifiers thành một strong classifier. Trong đó, weak classifier là các bộ phân loại đơn giản chỉ cần có độ chính xác trên 50%. Bằng cách này, chúng ta nói bộ phân loại đã được “boost”.
Để hiểu cách hoạt động của thuật toán boosting, ta xét một bài toán phân loại 2 lớp (mẫu cần nhận dạng chỉ thuộc một trong hai lớp) với D là tập huấn luyện gồm có n
mẫu.Trước tiên, chúng ta sẽ chọn ngẫu nhiên ra n1 mẫu từ tập D (n1<n) để tạo tập
D1.Sau đó, chúng ta sẽ xây dựng weak classifier đầu tiên C1 từ tập D1. Tiếp theo, chúng ta xây dựng tập D2 để huấn luyện bộ phân loại C2. D2 sẽ được xây dựng sao cho một nửa số mẫu của nó được phân loại đúng bởi C1 và nửa còn lại bị phân loại sai bởi C1. Bằng cách này, D2 chứa đựng những thông tin bổ sung cho C1. Bây giờ chúng ta sẽ xây huấn luyện C2 từ D2.
Tiếp theo, chúng ta sẽ xây dựng tập D3 từ những mẫu không được phân loại tốt bởi sự kết hợp giữa C1 và C2: những mẫu còn lại trong D mà C1 và C2 cho kết quả khác
nhau. Như vậy, D3 sẽ gồm những mẫu mà C1 và C2 hoạt động không hiệu quả.Sau cùng, chúng ta sẽ huấn luyện bộ phân loại C3 từ D3.
Bây giờ chúng ta đã có một strong classifier: sự kết hợp C1, C2 và C3. Khi tiến hành nhận dạng một mẫu X, kết quả sẽ được quyết định bởi sự thỏa thuận của 3 bộ C1,
C2 và C3: Nếu cả C1 và C2 đều phân X vào cùng một lớp thì lớp này chính là kết quả phân loại của X; ngược lại, nếu C1 và C2 phân X vào 2 lớp khác nhau, C3 sẽ quyết định
X thuộc về lớp nào
Hình 2.1. Boosting
• Các yếu tố ảnh hưởng đến việc dò tìm khuôn mặt trên hình ảnh
Hình ảnh là những file phức tạp được lưu trữ trong máy tính với các định dạng như: JPG, PNG, PGM,....Mỗi loại định dạng có cách tổ chức, lưu trữ và phục vụ cho từng mục đích khác nhau. Do đó việc dò tìm khuôn mặt trên hình ảnh bị rất nhiều yếu tố ảnh hưởng đến như:
Định dạng của hình ảnh (JPG, PNG, PGM,...). Kích thước của hình ảnh. Bình thường để một thuật toán xử lý nhanh một hình ảnh, kích cở phù hợp nhất là từ 100x100 đến 500x500 pixel. Đối với việc dò tìm khuôn mặt trên hình ảnh, kích thước của hình ảnh
rất quan trọng. Nếu quá nhỏ sẽ không dò tìm được khuôn mặt, còn nếu quá lớn sẽ ảnh hưởng đến tốc độ xử lý.
Biến đổi mặt phẳng ảnh (quay, hướng,... của khuôn mặt). Các vị trí của khuông mặt trên hình ảnh thường là những vị trí sau.
Chính giữa
Hình 2.2. Khuôn mặt chính giữa Quay sang trái
Hình 2.3. Khuôn mặt bên phải
Các vị trí trên có thể dò tìm khuôn mặt một cách dể dàng. Tuy nhiên nếu quay sang trái hay sang phải quá nhiều thì việc dò tìm khuôn mặt có thể không được.
Biến đổi độ sáng tối và ngữ cảnh. Việc thay đổi độ sáng tối và ngữ cảnh trên hình ảnh chỉ ảnh hưởng rất nhỏ đến việc dò tìm khuôn mặt trên hình ảnh. Tuy nhiên nó chỉ ít ảnh hưởng ở một mức độ nào đó. Nếu quá sáng hoặc quá tối hay ngữ cảnh dể nhầm lẫn, nó sẽ dẫn đến việc dò tìm khuôn mặt không chính xác.
Biến đổi hình dáng của khuôn mặt (các sắc thái khác nhau của khuôn mặt). Khuôn mặt thường hay có những sắc thái, cảm xúc khác nhau (cười, nhắm mắt, mở mắt, ….) những sắc thái này thường ít ảnh hưởng đến việc dò tìm khuôn mặt trên hình ảnh.
Hình 2.4. Biến đổi sắc thái của khuôn mặt
Ngoài ra việc dò tìm khuôn mặt trên hình ảnh còn phục thuộc vào nhiều yếu tố khác như thuật toán dùng để xử lý hay là hướng tiếp cận.
• AdaBoost
Như đã biết, AdaBoost (Adaptive Boost) là một bộ phân loại mạnh phi tuyến phức dựa trên hướng tiếp cận Boosting được Freund và Schapire đưa ra vào năm 1995. AdaBoost hoạt động trên nguyên tắc kết hợp tuyến tính các weak classifier dựa trên các đặc trưng Haar- Like để hình thành một strong classifier.
Để có thể kết hợp các bộ phân loại yếu, Adaboost sử dụng một trọng số (weight) để đánh dấu các mẫu khó nhận dạng. Trong quá trình huấn luyện, cứ mỗi weak classifier được xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng weak classifier tiếp theo: tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi weak classifier vừa xây dựng. Bằng cách này, các weak classifier sau có thể tập trung vào các mẫu mà các weak classifier trước đó chưa thực hiện tốt. Sau cùng các weak classifier sẽ được kết hợp tùy theo mức độ ‘tốt’ của chúng để tạo nên một strong classifier.
Viola và Jones dùng AdaBoost kết hợp các bộ phân loại yếu sử dụng các đặc trưng Haar-like theo mô hình phân tầng (cascade) như sau:
Hình 2.5. Mô hình phân tần kết hợp các bộ phân loại yếu để xác định khuôn mặt
Trong đó, hk là các bộ phân loại yếu, được biểu diễn như sau:
x: cửa sổ con cần xét Ok: ngưỡng (O = teta)
fk: giá trị của đặc trưng Haar-like
pk: hệ số quyết định chiều của phương trình
AdaBoost sẽ kết hợp các bộ phân loại yếu thành bộ phân loại mạnh như sau: H(x) = sign(a1h1(x) + a2h2(x) + ... + anhn(x)) (a = alpha)
Với: at >= 0 là hệ số chuẩn hoá cho các bộ phân loại yếu
Hình 2.6. Kết hợp các bộ phân loại yếu thành bộ phân loại mạnh
• Các đặc trưng Haar-like
Do Viola và Jones công bố, gồm 4 đặc trưng cơ bản để xác định khuôn mặt người. Mỗi đặc trưng Haar–like là sự kết hợp của hai hay ba hình chữ nhật "trắng" hay "đen" như trong hình sau:
Hình 2.7. 4 đặc trưng Haar-like cơ bản
Để sử dụng các đặc trưng này vào việc xác định khuôn mặt người, 4 đặc trưng Haar-like cơ bản được mở rộng ra, và được chia làm 3 tập đặc trưng như sau:
• Đặc trưng đường (line features)
• Đặc trưng xung quanh tâm (center-surround features)
Hình 2.8. Các đặc trưng mở rộng của các đặc trưng Haar-like cơ bản
Dùng các đặc trưng trên, ta có thể tính được giá trị của đặc trưng Haar-like là sự chênh lệch giữa tổng của các pixel của các vùng đen và các vùng trắng như trong công thức sau:
f(x) = Tổngvùng đen(các mức xám của pixel) - Tổngvùng trắng(các mức xám của pixel)
Sử dụng giá trị này, so sánh với các giá trị của các giá trị pixel thô, các đặc trưng Haar-like có thể tăng/giảm sự thay đổi in-class/out-of-class (bên trong hay bên ngoài lớp khuôn mặt người), do đó sẽ làm cho bộ phân loại dễ hơn.
Như vậy ta có thể thấy rằng, để tính các giá trị của đặc trưng Haar-like, ta phải tính tổng của các vùng pixel trên ảnh. Nhưng để tính toán các giá trị của các đặc trưng Haar-like cho tất cả các vị trí trên ảnh đòi hỏi chi phí tính toán khá lớn, không đáp ứng được cho các ứng dụng đòi hỏi tính run-time. Do đó Viola và Jones đưa ra một khái niệm gọi là Integral Image, là một mảng 2 chiều với kích thước bằng với kích của ảnh cần tính các đặc trưng Haar-like, với mỗi phần tử của mảng này được tính bằng cách tính tổng của
điểm ảnh phía trên (dòng-1) và bên trái (cột-1) của nó. Bắt đầu từ vị trí trên, bên trái đến vị trí dưới, phải của ảnh, việc tính toán này đơn thuần chỉ đựa trên phép cộng số nguyên đơn giản, do đó tốc độ thực hiện rất nhanh.
Hình 2.9. Cách tính Integral Image của ảnh
Sau khi đã tính được Integral Image, việc tính tổng các giá trị mức xám của một vùng bất kỳ nào đó trên ảnh thực hiện rất đơn giản theo cách sau:
Giả sử ta cần tính tổng các giá trị mức xám của vùng D như trong hình 4, ta có thể tính như sau:
D = A + B + C + D – (A+B) – (A+C) + A
Với A + B + C + D chính là giá trị tại điểm P4 trên Integral Image, tương tự như vậy A+B là giá trị tại điểm P2, A+C là giá trị tại điểm P3, và A là giá trị tại điểm P1. Vậy ta có thể viết lại biểu thức tính D ở trên như sau:
Hình 2.10. Ví dụ cách tính nhanh các giá trị mức xám của vùng D trên ảnh
Tiếp theo, để chọn các đặc trưng Haar-like dùng cho việc thiết lập ngưỡng, Viola và Jones sử dụng một phương pháp máy học được gọi là AdaBoost. AdaBoost sẽ kết hợp các bộ phân loại yếu để tạo thành một bộ phân loại mạnh.Với bộ phân loại yếu chỉ cho ra câu trả lời chính xác chỉ hơn viện đoán một cách ngẫu nhiên một chút, còn bộ phân loại mạnh có thể đưa ra câu trả lời chính xác trên 60%.
• Hệ thống xác định vị trí khuôn mặt người
Hình 2.11. Hệ thống xác định vị trí khuôn mặt người (Face detection system)
Như trong hình trên, từ ảnh gốc ban đầu, ta sẽ được tính Integral Image, là mảng 2 chiều với phần tử (x, y) sẽ được tính bằng tổng của các phần tử (x', y') với x' < x và y' < y, mục đích là để tính nhanh tổng của các giá trị mức xám của một vùng hình chữ nhật bất kỳ trên ảnh gốc. Các vùng ảnh con này sẽ được đưa qua các hàm Haar cơ bản để ước lượng đặc trưng, kết quả ước lượng sẽ được đưa qua bộ điều chỉnh AdaBoost để loại bỏ nhanh các đặc trưng không có khả năng là đặc trưng của khuôn mặt người. Chỉ có một tập nhỏ các đặc trưng mà bộ điều chỉnh AdaBoost cho là có khả năng là đặc trưng của khuôn mặt người mới được chuyển sang cho bộ quyết định kết quả (là tập các bộ phân
loại yếu có cấu trúc như trong hình 5). Bộ quyết định sẽ tổng hợp kết quả là khuôn mặt người nếu kết quả của các bộ phân loại yếu trả về là khuôn mặt người.
Mỗi bộ phân loại yếu sẽ quyết định kết quả cho một đặc trưng Haar-like, được xác định ngưỡng đủ nhỏ sao cho có thể vượt được tất cả các bộ dữ liệu mẫu trong tập dữ liệu huấn luyện (số lượng ảnh khuôn mặt trong tập huấn luyện có thể rất lớn). Trong quá trình xác định khuôn mặt người, mỗi vùng ảnh con sẽ được kiểm tra với các đặc trưng trong chuỗi các đặc trưng Haar-like, nếu có một đặc trưng Haar-like nào cho ra kết quả là khuôn mặt người thì các đặc trưng khác không cần xét nữa. Thứ tự xét các đặc trưng trong chuỗi các đặc trưng Haar-like sẽ được dựa vào trọng số (weight) của đặc trưng đó do AdaBoost quyết định dựa vào số lần và thứ tự xuất hiện của các đặc trưng Haar-like. • Ưu điểm, khuyết điểm của thuật toán AdaBoost
• Ưu điểm
• Phương pháp cho độ chính xác khoảng 80%, dò tìm nhanh thích hợp cho việc dò tìm trong thời gian thực, trong video.
• Thích hợp cho việc huấn luyện dữ liệu bị nhiễu. • Phương pháp trích đặc trưng thực hiện khá nhanh. • Khuyết điểm
• Thuật toán huấn luyện khá chậm do tổ hợp các bộ phân loại yếu rất lớn. • Không ít các tính chất của AdaBoost chưa được chứng minh chặt chẽ. • Thuật toán PCA
• Giới thiệu về PCA
PCA là 1 phương pháp để nhận dạng các mẫu trong dữ liệu và biểu diễn dữ liệu bằng cách làm nổi bật sự giống và khác nhau.Khi các mẫu trong dữ liệu rất khó nhận ra trong không gian nhiều chiều thì PCA là một công cụ mạnh để phân tích chúng.
Các bước cơ bản trong PCA
• Bước 1: Lấy dữ liệu
• Bước 2: Trừ trung bình mẫu: Với mỗi chiều dữ liệu giả sử ở chiều x, ta đều
chiều x cho trung bình mẫu x. Kết thúc bước này ta sẽ có trung bình mẫu ở tất cả các chiều là 0.
• Bước 3: Tính ma trận hiệp phương sai.
• Bước 4: Tính các vectơ riêng và giá trị riêng của ma trận hiệp phương sai.
• Bước 5: Chọn các thành phần chính: Đây là bước cuối cùng trong PCA.
Trong bước này, tùy thuộc vào số lượng thành phần chính cần lấy, ta lấy lần lượt các thành phần (vectơ riêng) tương ứng với các giá trị riêng cao nhất.
• Sử dụng JavaCV và thuật toán PCA để nhận dạng khuôn mặt
Nhận dạng khuôn mặt là quán trình tìm kiếm để gán một tên vào một khuôn mặt nào đó. Sau khi chúng ta dò tìm khuôn mặt bằng thuật toán Adaboost bên giờ chúng ta sẽ tìm chủ nhân của khuôn mặt đó là ai. Trước khi đi vào phần chính chúng ta hãy tìm hiểu một số khái niệm sau:
• Eigenface là gì?
Eigenface là thuật toán đơn giản để nhận dạng khuôn mặt mà có thể dể dàng được cài đặt (implements).
• Cách nhận dạng khuôn mặt như thế nào?
Dưới đây sẽ cho thấy “nhận dạng khuôn mặt” làm việc như thế nào. Cho một ví dụ ta có một vài khuôn mặt và một số người, các bước để nhận dạng được tiến hành như