Phát hiện mặt người trong ảnh và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Mạnh Tuấn PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Mạnh Tuấn PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hướng dẫn: TS Nguyễn Hải Châu HÀ NỘI - 2009 Mở đầu Phụ Lục Phụ lục A : Danh sách thuật ngữ dùng khóa luận Phụ lục B : Danh sách hình vẽ Chương 1: Tổng Quan phương pháp xác định mặt người Giới thiệu toán xác định mặt người ảnh Định nghĩa tốn xác định mặt người Những khó khăn thách thức toán xác định mặt người Các ứng dụng xác định mặt người 4.1 Xác minh tội phạm 4.2 Camera chống trộm 4.3 Bảo mật 4.4 Lưu trữ khuôn mặt 4.5 Các ứng dụng khác Xác định phạm vi đề tài Chương 2: Các cơng trình nghiên cứu Các phương pháp để xác định mặt người 1.1 Hướng tiếp cận dựa tri thức 1.2 Hướng tiếp cận dựa đặc trưng không thay đổi 11 1.3 Hướng tiếp cận dựa so sánh khớp mẫu 14 1.4 Hướng tiếp cận dựa diện mạo 17 Chương 3: Cơ sở lý thuyết 24 Tổng quan Adaboost 24 1.1 Tiếp cận Boosting 24 1.2 Adaboost 25 1.3 Các đặc trưng Haar-Like 29 1.4 Cascade of Classifiers 32 1.5 Cascade of boosting classifiers 34 Chương 4: Xây dựng ứng dụng 36 Sơ lược OpenCV 36 Tổng quan hệ thống phát mặt người ảnh 37 Phân tích – thiết kế hệ thống phát mặt người 37 3.1 Phân tích 37 3.2 Thiết kế hệ thống 38 3.3 Thiết kế sở liệu 40 3.4 Thiết kế giao diện 41 Kết luận hướng phát triển 43 Lời cảm ơn Sau thời gian dài học tập nghiên cứu, cuối em hồn thành khóa luận tốt nghiệp này, dịp tốt để em gửi lời cảm ơn đến người Em xin gửi lời cảm ơn sâu sắc đến Tiến sĩ Nguyễn Hải Châu, tận hình hướng dẫn, định hướng cho em suốt thời gian thực đề tài Thầy cho em lời khuyên quý báu giúp em hoàn thành tốt khóa luận Em xin cảm ơn khoa Cơng Nghệ Thông Tin trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội, cảm ơn thầy cô khoa tận tình giảng dậy, truyền đạt cho em kiến thức quý báu năm học vừa qua, giúp cho em có tảng kiến thức vững để thực khóa luận nghiên cứu học tập sau Con xin gửi lời cảm ơn chân thành đến bố, mẹ, người luôn quan tâm, chăm sóc cho vật chất lẫn tinh thần, tạo điều kiện tốt cho chuyên tâm học tập, nghiên cứu Gia đình ln nguồn động viên, chỗ dựa tinh thần vững cho Cuối cùng, xin gửi lời cảm ơn đến tất bạn bè, anh, chị, người giúp đỡ, khích lệ phê bình, góp ý, giúp tơi hồn thành khóa luận cách tốt Hà nội, tháng năm 2009 Lê Mạnh Tuấn Mở đầu Công nghệ thông tin ứng dụng lĩnh vực sống Với hệ thống máy tính, làm nhiều việc, tiết kiện thời gian công sức Điển cơng việc nhận dạng mặt người Ngày xưa, muốn tìm kiếm kẻ tình nghi siêu thị hay sân bay, nhân viên an ninh phải tìm kiếm hình camera theo dõi Ngày nay, công việc làm tự động nhờ hệ thống nhận dạng mặt người Phát mặt người ảnh phần quan trọng hệ thống nhận dạng mặt người đó, giải tốt việc phát hiên mặt người giúp tiết kiệm thời gian nâng cao độ xác việc nhận dạng khuôn mặt Phát mặt người toán nhận dạng đơn giản, hệ thống cần phân loại đối tượng đưa vào có phải mặt người hay mặt người Ở mức độ cao hơn, sau phát khuôn mặt, khuôn mặt so sánh với khn mặt có liệu để nhận dạng xem khn mặt (thường áp dụng nhận dạng khuôn mặt người tiếng tội phạm bị truy nã) Bài toán phá mặt người bắt đầu nghiên cứu từ năm 1990s, có nhiều cơng trình nghiên cứu phát khuôn mặt ảnh, nhiên nay, nhà khoa học khơng ngừng tìm hướng tiếp cận mới, thuật toán nhằm nâng cao hiệu suất việc phát khuôn mặt việc nhận dạng mặt người Với mục tiêu tìm hiểu giải thuật adaboost, đặc trưng haar-like, mơ hình Cascade of Classifiers, đồng thời áp dụng vào tốn phát mặt người ảnh, khóa ln trình bầy bốn chương với bố cục sau: Chương 1: Tổng quan phương pháp xác định mặt người : Giới thiệu tổng quan toán xác định mặt người ảnh, ứng dụng khó khăn tốn, đồng thời xác định phạm vi đề tài Chương 2: Các cơng trình nghiên cứu : Nêu chi tiết toán phát mặt người, hướng tiếp cận giải toán, nghiên cứu thành đạt nhà nghiên cứu toán xác định mặt người Chương 3: Cơ sở lý thuyết : Đi sâu vào hướng tiếp cận dựa theo thuật toán học máy adaboost Giới thiệu đặc trưng haar-like khuôn mặt, cách tính đặc trưng haar-like Tiếp theo giới thiệu mơ hình cascade of classifiers cách áp dụng vào toán phát mặt người ảnh Chương 4: Xây dựng ứng dụng : Xây dựng chương trình demo phát mặt người ảnh Nêu lên phân tích – thiết kế chương trình Cuối kết luận hướng phát triển: Tóm tắt kết đạt được, hạn chế nêu lên hướng phát triển tương lai Phụ Lục Phụ lục A : Danh sách thuật ngữ dùng khóa luận Thuật ngữ Giải thích Classifier (bộ phân loại) Một phân loại xây dựng theo thuật toán học máy đấy, dùng để phân loại đối tượng (khuôn mặt hay khuôn mặt) False alarm Là tỉ lệ nhận dạng sai phân loại Feature (đặc trưng) Các thông tin giúp nhận biết đối tượng Haar-like feature Hit rate Các đặc trưng đối tượng ảnh Các đặc trưng thường định nghĩa tính tốn với tổng điểm ảnh vùng ảnh Là tỉ lệ nhận dạng phân loại Max false alarm Đạt tỉ lệ sai phân loại xây dựng thành công, tỉ lệ sai giá trị bé, chấp nhận tốn phân loại Strong classifier (bộ phân loại mạnh) Bộ phân loại xây dựng từ nhiều phân loại yếu, có độ xác cao Threshold (ngưỡng) Ngưỡng giá trị ranh giới lớp, giá trị ngưỡng thường chọn từ thực nghiệm Chọn giá trị thích hợp để hợp thành phân loại yếu Weak classifier (bộ phân loại yếu) Bộ phân loại đơn giản có độ xác khoảng 50% Phụ lục B : Danh sách hình vẽ hình 1: Một phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down Trang hình 2: Phương pháp chiếu: Trang hình 3: Một mẫu khn mặt có kích thước 14 x 16 pixel sử dụng phương pháp định vị khn mặt Sinha Trang 14 hình 4: vector quan sát để huấn luyện cho HMM Trang 19 hình 5: Các trạng thái ẩn Trang 20 hình 6: Xác định khn mặt HMM Trang 20 hình 7: Boosting Trang 23 hình 8: đặt trưng Haar-like Trang 27 hình 9: Các đặc trưng mở rộng đặc trưng Haar-like sở Trang 28 hình 10: Cách tính Integral Image ảnh Trang 29 hình 11: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh Trang 29 hình 12: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh với đặc trưng xoay 45o Trang 29 hình 13: Cascade of classifiers Trang 31 Hình 14: Cascade of boosting classifiers Trang 32 hình 15: Cấu trúc OpenCV Trang 33 hình 16: tổng quan Hệ thống phát mặt người ảnh Trang 34 Hình 17: Biểu đồ ngữ cảnh hệ thống Trang 35 Hình 18: Biểu đồ phân rã chức Trang 37 Hình 19: Sơ đồ thực thể quan hệ ( ERM ) Trang 38 Hình 20: Giao diện chương trình Trang 39 Chương Tổng Quan phương pháp xác định mặt người Giới thiệu toán xác định mặt người ảnh Trong nhiều năm qua, có nhiều cơng trình nghiên cứu toán nhận dạng mặt người Các nghiên cứu từ toán đơn giản, từ việc nhận dạng mặt người ảnh đen trắng mở rộng cho ảnh mầu có nhiều mặt người ảnh Đến toán xác định mặt người mở rộng với nhiều miền nghiên cứu nhận dạng khuôn mặt, định vị khuôn mặt, theo dõi mặt người hay nhận dạng cảm xúc mặt người… Phát mặt người ảnh phần hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt bắt đầu xây dựng từ năm 1970, nhiên hạn chế luật xác định mặt người nên áp dụng số ứng dụng nhận dạng thẻ cước Nó phát triển mạnh mẽ từ năm 1990 có tiến cơng nghệ video ngày ứng dụng xác định mặt người trở nên phổ biến sống Định nghĩa toán xác định mặt người Xác định khn mặt người kỹ thuật máy tính để xác định vị trí kích thước khn mặt người ảnh Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác như: tòa nhà, cối, thể … Những khó khăn thách thức toán xác định mặt người Việc xác định khn mặt người có khó khăn định như:  Hướng (pose) khuôn mặt máy ảnh, như: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khuôn mặt tư khác  Sự có mặt chi tiết khơng phải đặc trưng riêng khn mặt người, như: râu quai nón, mắt kính, …  Các nét mặt (facial expression) khác khuôn mặt, như: vui, buồn, ngạc nhiên, …  Mặt người bị che khuất đối tượng khác có ảnh  Sự biểu cảm khn mặt : biểu cảm làm thay đổi đáng kể đặc trưng thông số khn mặt, ví dụ khn mặt người khác người cười, tức giận hay sợ hãi … Các ứng dụng xác định mặt người Xác định mặt người thường phần hệ thống (facial recognition system) Nó thường dùng giám sát video, giao tiếp người máy quản lý sở liệu ảnh… Các ứng xác định mặt người kể đến là: 4.1 Xác minh tội phạm Dựa vào ảnh người, nhận dạng xem người có phải tội phạm hay không cách so sách với ảnh tội phạm lưu trữ Hoặc sử dụng camera để phát tội phạm đám đông Ứng dụng giúp quan an ninh quản lý người tốt 4.2 Camera chống trộm Các hệ thống camera xác định đâu người theo dõi xem người có làm phạm pháp khơng, ví dụ lấy trộm đồ, xâm nhập bất hợp pháp vào khu vực 4.3 Bảo mật Các ứng dụng bảo mật đa dạng, số cơng nghệ nhận dạng mặt người laptop, công nghệ cho phép chủ nhân máy tính cần ngồi trước máy đăng nhập Để sử dụng công nghệ này, người dùng phải sử dụng webcam để chụp ảnh khn mặt cho máy “học” thuộc đặc điểm khuôn mặt giúp cho q trình đăng nhập sau 4.4 Lưu trữ khn mặt Xác định mặt người ứng dụng trạm rút tiền tự động (ATM) để lưu trữ khn mặt người rút tiền Hiện có người bị người khác lấy trộm thẻ ATM mã PIN, bị rút tiền trộm, có chủ tài khoản rút tiền lại báo với ngân hàng bị thẻ bị rút tiền trộm Nếu lưu trữ khuôn mặt người rút tiền, ngân hàng đối chứng xử lý dễ dàng