Xây dựng ứng dụng phát hiện mặt người dựa trên màu da

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN XÂY DỰNG ỨNG DỤNG PHÁT HIỆN MẶT NGƯỜI DỰA TRÊN MÀU DA Sinh viên thực : Nguyễn Hoài Sơn Lớp CNPM - K48 Giáo viên hướng dẫn: ThS Lương Mạnh Bá Hà nội 5-2008 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Định hướng đề tài tốt nghiệp Tìm hiểu phương pháp phát mặt người dựa đặc trưng xây dựng ứng dụng phát khuôn mặt dựa màu da Các nhiệm vụ cụ thể đồ án tốt nghiệp - Tìm hiểu phương pháp phát khuôn mặt dựa đặc trưng Nghiên cứu phương pháp phát mặt người dựa màu da Xây dựng ứng dụng phát mặt người Lời cam đoan sinh viên: Tơi – Nguyễn Hồi Sơn - cam kết đồ án tốt nghiệp cơng trình nghiên cứu thân hướng dẫn Ths Lương Mạnh Bá Các kết nêu đồ án tốt nghiệp trung thực, chép tồn văn cơng trình khác Hà Nội, ngày tháng năm 2008 Tác giả đồ án tốt nghiệp Nguyễn Hoài Sơn Xác nhận giáo viên hướng dẫn mức độ hoàn thành đồ án tốt nghiệp cho phép bảo vệ Hà Nội, ngày tháng năm 2008 Giáo viên hướng dẫn ThS Lương Mạnh Bá Xây dựng ứng dụng phát mặt người dựa màu da LỜI NÓI ĐẦU Gần đây, lĩnh vực nhận dạng dành nhiều quan tâm nghiên cứu thử nghiệm nhận dạng khuôn mặt, nhận dạng vân tay, giọng nói, mắt, Trong nhận dạng khn mặt chiếm vị trí quan trọng Nhận dạng khuôn mặt ứng dụng nhiều lĩnh vực như: hình (nhận dạng tội phạm), hệ thống an toàn, bảo mật (dùng xác nhận nhân viên tổ chức), nhiều lĩnh vực khác Trong nhận dạng khuôn mặt, ta phải lấy khuôn mặt cách thủ công, sau đem nhận dạng xem Để việc nhận dạng khuôn mặt thực cách tự động, tức đưa vào ảnh phải xác định xem ảnh có ai, rõ ràng cần thực bước trước phát khn mặt Việc phát khn mặt cịn ứng dụng đếm số người Bao nhiêu khuôn mặt phát có nhiêu người Việc đếm số người có ý nghĩa giao thơng (xác định lưu lượng người qua lại đường), thương mại (xác định số lượng khách hàng vào siêu thị), Chính mà việc nghiên cứu phát mặt người cần thiết Với đề tài “Xây dựng ứng dụng phát mặt người dựa màu da” em đạt số kết định Đó hành trang giúp em nhiều thời gian học tập làm việc sau Để hồn thành đồ án nhờ công lao to lớn thầy cô giáo trường Đại học Bách Khoa Hà Nội nói chung thầy khoa Cơng nghệ Thơng tin, mơn Cơng nghệ phần mềm nói riêng Các thầy tận tình giảng dạy, truyền đạt cho em kiến thức, kinh nghiệm quý báu suốt năm học tập rèn luyện trường Xin gửi tới thầy, cô lời cảm ơn chân thành Em xin bày tỏ long biết ơn đến thầy Lương Mạnh Bá - Giảng viên môn Công nghệ phần mềm, khoa Công nghệ thông tin, trường Đại học Bách Khoa Hà Nội hết lòng giúp đỡ, hướng dẫn bảo tận tình trình em làm đồ án tốt nghiệp Em xin gửi lời cảm ơn đến thầy Lê Tấn Hùng cho em mượn web cam để thực hành Cảm ơn anh Mai Anh Tuấn K47, nhờ tham khảo đồ án anh mà em có kiến thức ban đầu, tổng quan lĩnh vực này, để từ có thuận lợi, nhanh chóng định hướng tốt trình làm đồ án Cuối cùng, em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè động viên, chăm sóc, đóng góp ý kiến giúp đỡ em trình học tập, nghiên cứu hoàn thành đồ án tốt nghiệp Hà Nội, tháng năm 2008 Sinh viên: Nguyễn Hoài Sơn Trang 3/95 Xây dựng ứng dụng phát mặt người dựa màu da BỐ CỤC ĐỒ ÁN Chương 1:  Tổng quan lĩnh vực phát mặt người  Trình bày số hệ màu dùng phát mặt người  Trình bày số phương pháp phát mặt người dựa đặc trưng khuôn mặt Chương 2:  Tổng quan phương pháp phát mặt người dựa màu da  Phương pháp phát màu da  Thuật toán phân vùng ảnh nhị phân  Các tiêu chí xác định vùng mặt Chương 3:  Trình bày cơng cụ lấy mặt người ảnh  Công cụ tổng hợp histogram Chương 4:  Thiết kế, xây dựng chương trình phát mặt người  Thử nghiệm chương trình đánh giá phương pháp phát mặt người áp dụng Trang 4/95 Xây dựng ứng dụng phát mặt người dựa màu da MỤC LỤC DANH MỤC HÌNH VẼ CHƯƠNG 1: TỔNG QUAN PHÁT HIỆN MẶT NGƯỜI 10 1.1 Tổng quan 10 1.2 Giới thiệu số hệ màu 11 1.2.1 Hệ màu HSV 11 1.2.2 Hệ màu HSL 14 1.2.3 Hệ màu YCrCb 16 1.3 Một số phương pháp phát mặt người dựa đặc trưng màu da 17 1.3.1 Phương pháp dựa màu da thông tin biên K Sandeep A.N Rajagopalan .17 1.3.1.1 Xác định điểm có màu da hay không .17 1.3.1.2 Xác định vị trí kích thước vùng ảnh màu da (A3) 18 1.3.1.3 Quyết định có phải vùng mặt hay không 19 1.3.1.4 Kết thử nghiệm 19 1.3.1.5 Đánh giá 20 1.3.2 Phương pháp dựa nhiều chứng Manoj Seshadrinathan Jezekiel Ben – Arie 21 1.3.2.1 Xác định màu da .21 1.3.2.2 Dựa hình dạng 22 1.3.2.3 Dùng lọc Gabor 22 1.3.2.4 Tổng hợp kết 23 1.3.2.5 Kết thực 24 1.3.2.6 Đánh giá 25 1.3.3 Phương pháp sử dụng khoảng cách Hausdorff Oliver Jesorsky, Klaus J Kirchberg Robert W Frischholz 25 1.3.3.1 Khoảng cách Hausdorff 25 1.3.3.2 Kĩ thuật phát đối tượng dựa mơ hình .26 1.3.3.3 Quá trình thực phát mặt người 27 1.3.4 Phương pháp dựa phân tích bó sóng (wavelet packet analysis) C Garcia, G Zikos, G Tziritas 27 1.3.4.1 Xác định vùng có màu da mặt 28 1.3.4.2 Xác định ứng cử viên vùng mặt 29 1.3.4.3 Phân lớp ứng cử viên dựa vào phân tích bó sóng .30 1.3.4.4 Kết thử nghiệm 32 1.3.5 Phương pháp sử dụng khung sóng (wavelet frames) C Garcia, G Simandiris G Tziritas 33 1.3.5.1 Tổng quan .33 1.3.5.2 Xác định thành phần khuôn mặt (2 mắt, mũi, miệng) .33 1.3.5.3 Mơ hình hóa khn mặt mẫu biến đổi 34 1.3.5.4 Phân lớp nội dung mẫu 36 Trang 5/95 Xây dựng ứng dụng phát mặt người dựa màu da 1.3.5.5 Kết thực nghiệm .37 CHƯƠNG 2: PHÁT HIỆN MẶT NGƯỜI DỰA TRÊN MÀU DA 39 2.1 Nội dung phương pháp 39 2.2 Chi tiết bước 40 2.2.1 Phát màu da 40 2.2.1.1 Công thức màu da 41 2.2.1.2 Histogram 43 2.2.1.3 Kết hợp tiêu chí 44 2.2.2 Lọc nhiễu .46 2.2.3 Xác định vùng trắng 47 2.2.3.1 Thuật toán phân vùng 48 2.2.3.2 Thuật toán phân vùng nâng cao 54 2.2.4 Phân loại vùng trắng 57 CHƯƠNG 3: CÁC CÔNG CỤ ĐƯỢC XÂY DỰNG .61 3.1 Công cụ lấy khuôn mặt 61 3.1.1 Mục đích 61 3.1.2 Các chức .61 3.1.3 Giao diện 62 3.1.4 Chi tiết chức 63 3.1.4.1 Lấy khuôn mặt từ file ảnh .63 3.1.4.2 Lấy khuôn mặt từ file phim 65 3.2 Công cụ tổng hợp histogram .66 3.2.1 Mục đích 66 3.2.2 Các chức .66 3.2.3 Giao diện 67 3.2.4 Chi tiết chức 68 CHƯƠNG 4: XÂY DỰNG CHƯƠNG TRÌNH VÀ MỘT SỐ KẾT QUẢ MINH HỌA 70 4.1 Mục đích 70 4.2 Các chức .70 4.3 Giao diện chương trình 71 4.4 Các kĩ thuật xử lý .72 4.4.1 Thu hình từ camera 72 4.4.2 Phát file phim 74 4.4.2.1 Khởi tạo cho phim 74 4.4.2.2 Lấy frame 78 4.4.3 Chạy bất đồng 80 4.5 Các lớp xây dựng 82 4.5.1 YPrPb .82 4.5.1.1 Mục đích 82 4.5.1.2 Các thuộc tính 82 Trang 6/95 Xây dựng ứng dụng phát mặt người dựa màu da 4.5.1.3 Các phương thức .82 4.5.1.4 Vị trí 83 4.5.2 HSV .83 4.5.2.1 Mục đích 83 4.5.2.2 Các thuộc tính 84 4.5.2.3 Các phương thức .84 4.5.2.4 Vị trí 84 4.5.3 Vùng trắng .84 4.5.3.1 Mục đích 85 4.5.3.2 Các thuộc tính 85 4.5.3.3 Các phương thức .85 4.5.3.4 Vị trí 86 4.5.4 Bộ lọc phân vùng 86 4.5.4.1 Mục đích 86 4.5.4.2 Các thuộc tính 86 4.5.4.3 Các phương thức .86 4.5.4.4 Vị trí 87 4.5.5 Bộ phát mặt 87 4.5.5.1 Mục đích 87 4.5.5.2 Các thuộc tính 88 4.5.5.3 Các phương thức .88 4.5.5.4 Vị trí 89 4.6 Các kết thí nghiệm 89 KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 96 TÀI LIỆU THAM KHẢO 97 Trang 7/95 Xây dựng ứng dụng phát mặt người dựa màu da DANH MỤC HÌNH VẼ Hình 1.1: Mơ hình biểu diễn thành phần màu H,S HSV 12 Hình 1.2: Mơ hình hóa hệ màu HSV 13 Hình 1.3: Mơ hình hệ màu HSL 15 Hình 1.4: Một số mặt người tổng hợp Histogram màu da mặt .18 Hình 1.5: Một số ảnh kết phương pháp .20 Hình 1.6: Biểu đồ hội tụ phương pháp học RPROP 22 Hình 1.7: Các hướng đầu khác học dấu hiệu Gabor .23 Hình 1.8: Sơ đồ biểu diễn phương pháp 24 Hình 1.9: Một số ảnh kết phương pháp Từ trái sang phải: ảnh nhị phân, ảnh kết với ngưỡng 0,7, ảnh kết với ngưỡng 0,8 .25 Hình 1.10: Ví dụ mơ q trình nhận đối tượng dựa mơ hình 26 Hình 1.11: Q trình phát mặt người phương pháp 27 Hình 1.12: Sự phân bố điểm màu da mặt khơng gian HSV YCrCb 28 Hình 1.13: Minh họa phát màu da ảnh 29 Hình 1.14: Sự phân chia vùng ứng cử viên khuôn mặt phương pháp 30 Hình 1.15: Một số ảnh kết 32 Hình 1.16: Từ trái sang phải từ xuống: ảnh gốc, băng AHH, tín hiệu AHH mắt tín hiệu lấy 34 Hình 1.17: Các tham số mơ hình khn mặt 35 Hình 1.18: Vùng xung quanh đặc trưng khn mặt 36 Hình 1.19: Một số ảnh kết phương pháp 38 Hình 2.1: Sơ đồ khối phương pháp 40 Hình 2.2: Vị trí khâu phương pháp 41 Hình 2.3: Sự phân bố điểm màu da không gian YCrCb 42 Hình 2.4: Sự phân bố điểm màu da hệ màu HSV 42 Hình 2.5: Một số mặt người dùng tổng hợp histogram màu da 44 Hình 2.6: Một số kết minh họa phát màu da 45 Hình 2.7: Minh họa phát màu da theo tiêu chí Từ trái sang phải: ảnh vào, ảnh màu da theo công thức, ảnh màu da theo histogram 46 Hình 2.8: Vị trí khâu lọc nhiễu phương pháp 46 Hình 2.9: Minh họa kết lọc nhiễu .47 Hình 2.10: Vị trí khâu xác đinh vùng trắng phương pháp 48 Trang 8/95 Xây dựng ứng dụng phát mặt người dựa màu da Hình 2.11: Thuật tốn phân vùng 51 Hình 2.12: Vị trí tương đối điểm trắng so với vùng trắng 52 Hình 2.13: Duyệt qua điểm hàng xóm 52 Hình 2.14: Kết minh họa thuật toán phân vùng 53 Hình 2.15: Minh họa liên kết yếu vùng trắng 53 Hình 2.16: Ví dụ liên kết yếu gặp phải phát mặt 54 Hình 2.17: Lưu đồ thuật toán phát liên kết yếu theo chiều dọc 56 Hình 2.18: Kết minh họa phân vùng nâng cao 57 Hình 2.19: Vị trí khâu phân loại vùng trắng phương pháp .58 Hình 2.20: Trường hợp phát nhầm dựa vào tỉ lệ kích thước 59 Hình 2.21: Trường hợp phát nhầm khơng có cận tỉ lệ điểm trắng59 Hình 2.22: Kết phân loại vùng trắng Từ trái sang phải: danh sách vùng trắng, phân loại theo tỉ lệ kích thước, phân loại theo kích thước tỉ lệ điểm trắng 60 Hình 3.1: Giao diện công cụ lấy vùng mặt - đầu vào ảnh tĩnh 62 Hình 3.2: Giao diện công cụ lấy vùng mặt - đầu vào file phim 63 Hình 3.3: Ảnh báo lỗi mở file file ảnh 64 Hình 3.4: Minh họa khoanh vùng mặt 64 Hình 3.5: Các điều khiển form dùng cho di chuyển frame phim 66 Hình 3.6: Giao diện cơng cụ tổng hợp histogram khởi động chương trình 67 Hình 3.7: Giao diện cơng cụ tổng hợp histogram soạn thảo histogram .67 Hình 3.8: Giao diện thêm ảnh vào histogram 68 Hình 4.1: Giao diện chương trình với đầu vào file ảnh 71 Hình 4.2: Giao diện chương trình với đầu vào file phim 72 Hình4.3: Giao diện chương trình với đầu vào camera 72 Hình 4.4: Một số kết minh họa phát mặt người .94 Trang 9/95 Xây dựng ứng dụng phát mặt người dựa màu da CHƯƠNG 1: TỔNG QUAN PHÁT HIỆN MẶT NGƯỜI Chương trình bày số lý thuyết phát mặt người số phương pháp phát mặt người Cụ thể, chương trình bày vấn đề sau:  Các hướng tiếp cận phát mặt người  Một số hệ màu sử dụng phát mặt người; HSV, YCrCb  Một số phương pháp phát mặt người dựa đặc trưng khuôn mặt 1.1 Tổng quan Lĩnh vực nhận dạng dành nhiều quan tâm giai đoạn Nó ứng dụng hệ thống giám sát, an ninh, máy tính hệ mà người tương tác với máy tính qua cử lời nói,… Nhận dạng mặt người số Và phát mặt người khâu tiền xử lý cho nhận dạng mặt người Ý tưởng là: từ ảnh chụp cảnh đám đông, ta phải tách khn mặt Các khn mặt tách chuyển cho khâu nhận dạng Có nhiều hướng tiếp cận phương pháp khác phát mặt người Cũng có nhiều cách phân chia, gom nhóm khác Sau la số hướng tiếp cận:  Giải pháp dựa mơ hình (top-down model-based approach): hướng tiếp cận này, người ta sử dụng mơ hình mặt người khác có tỉ lệ khác từ thô đến tốt Đầu tiên, ảnh qt mơ hình có tỉ lệ thơ Sau ảnh qt với mơ hình có tỉ lệ tốt Và cuối qt với mơ hình có tỉ lệ tốt Ứng với tỉ lệ có mơ hình khn mặt Mà mơ hình khn mặt ứng với góc nhìn khn mặt cụ thể Do đó, nhìn chung, phương pháp khó khăn việc đưa vào nhiều góc nhìn khn mặt khác  Giải pháp dựa đặc trưng (bottom-up feature-based approach): hướng tiếp cận này, người ta tiến hành tìm kiếm ảnh đặc trưng khuôn mặt (như mắt, mũi, miệng,…), sau gom nhóm chúng lại với (dựa mối quan hệ hình học chúng) tạo thành ứng cử viên cho khn mặt Giải pháp dễ dàng mở rộng cho nhiều góc nhìn khn mặt khác  Giải pháp dựa bề mặt (texture-based approach): hướng tiếp cận này, khuôn mặt phát dựa phân bố không gian mức xám điểm ma trận ảnh Phương pháp khó mở rộng cho nhiều góc nhìn  Giải pháp dựa mạng nơron (neural network approach): giải pháp này, người ta tiến hành huấn luyện tập ảnh khuôn mặt Trang 10/95