Nhận dạng ảnh mặt người sử dụng mạng Nơron nhân tạo và giải thuật di truyền

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH Thái Nguyên, 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KH: PGS.TS LÊ BÁ DŨNG Thái Nguyên, 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Khuôn mặt đóng vai trò quan trọng trình giao tiếp ngƣời với ngƣời, mang lƣợng thông tin phong phú, chẳng hạn xác định giới tính, tuổi tác, trạng thái cảm xúc ngƣời đó, khảo sát chuyển động đƣờng nét khuôn mặt biết đƣợc ngƣời muốn nói Do đó, nhận dạng mặt ngƣời lĩnh vực nghiên cứu hấp dẫn đƣợc nhiều ngƣời quan tâm vài năm gần Nhận dạng mặt ngƣời lĩnh vực nghiên cứu hấp dẫn đƣợc nhiều ngƣời quan tâm vài năm gần Có nhiều hƣớng tiếp cận trƣớc thực liên quan đến vấn đề nhận dạng mặt ngƣời Theo Ming-Hsuan Yang [22], phân loại thành bốn hƣớng tiếp cận chính: dựa tri thức (knowledge-based), đặc trƣng bất biến (feature invariant), đối sánh mẫu (template matching), dựa vào diện mạo (appearance-based) phƣơng pháp thƣờng dùng mô hình học máy nên đƣợc gọi phƣơng pháp dựa học máy (machine learning-based) Các kết nghiên cứu nhận dạng mặt ngƣời cho thấy phƣơng pháp dựa học máy cách tiếp cận tối ƣu hiệu Về bản, phƣơng pháp dựa học máy sử dụng mẫu đƣợc rút trích qua trình học Nói cách khác, thuật toán dựa học máy dùng kỹ thuật phân tích thống kê học máy để xấp xĩ hàm phân lớp tuyến tính Có nhiều mô hình học máy đƣợc áp dụng hƣớng tiếp cận này: Eigenface (M Turk A Pentland 1991 [23]), Mạng Nơ-ron (H Rowley 1998 [28]), Support Vector Machine (E Osuna et al 1997 [24]), Phân lớp Bayes (H Schneiderman T Kanade 1998 [22]), Mô hình Markov ẩn (A Rajagopalan et al 1998 [23]), mô hình tăng cƣờng (AdaBoost P Viola M Jones 2001 [25][26]; FloatBoost Stan Z Li Zhen Qiu Zhang 2004 [23][24]) Phƣơng pháp nhận dạng mặt ngƣời dùng mạng nơron phƣơng pháp không mới, coi phƣơng pháp phổ biến phƣơng pháp dựa học máy Các kết nghiên cứu có cho thấy phƣơng pháp phƣơng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn pháp hiệu quả, ổn định có nhiều khả ứng dụng Một nghiên cứu dùng NN nhận dạng ảnh mặt ngƣời [72] sử dụng mạng Kohonen nhận dạng ảnh tập mẫu nhỏ ảnh mặt ngƣời cho kết tốt ảnh bị nhiễu hay phần ảnh Tỷ lệ nhận dạng đƣợc công bố 92.5% với ảnh test đƣợc huấn luyện 87.5% với ảnh test chƣa đƣợc huấn luyện Trong nhiều nghiên cứu nhận dạng ảnh mặt ngƣời dùng mạng NN sau đó, loại mạng NN đƣợc cho hiệu mạng NN perception đa lớp lan truyền ngƣợc (backpropagation MLP) Trong [N Jamil and Iqbal [34] ] hệ thống nhận dạng ảnh mặt ngƣời dùng mạng MLP lan truyền ngƣợc sử dụng sở liệu gồm 100 ảnh 10 ngƣời khác tự thu thập, tỷ lệ nhận dạng đƣợc công bố 95.6% Các nghiên cứu nhận dạng ảnh mặt ngƣời dùng mạng NN việc dùng mạng MLP cho kết tốt độ xác Tuy nhiên vấn đề chi phí tính toán thao tác huấn luyện nhận dạng dẫn tới chi phí huấn luyện nhận dạng lớn vấn đề then chốt cần xử lý hệ thống dùng mạng NN Do đó, nghiên cứu nhận dạng mặt ngƣời dùng mạng NN cần đƣợc cải tiến phát triển để giảm khối lƣợng tính toán, giảm thời gian, chi phí huấn luyện Một giải pháp đƣợc đề xuất áp dụng phƣơng pháp trích đặc trƣng vector thành phần PCA để giảm số chiều vector đặc trƣng, giảm chi phí tính toán cho mạng NN [19, 20] Một giải pháp khác gần đƣợc số nhà nghiên cứu gần quan tâm áp dụng giải thuật di truyền GA tính toán trọng số tối ƣu đầu vào cho mạng NN để có để tối ƣu hệ thống Luận văn theo cách kết hợp hai hƣớng tiếp cận này, phát triển hệ thống nhận dạng mặt ngƣời sử dụng kết hợp phƣơng pháp MLP-PCA-GA Các kết đánh giá hiệu nhận dạng bao gồm tỷ lệ nhận dạng đúng, chi phí huấn luyện, thời gian nhận dạng cho thấy phƣơng pháp sử dụng đề tài cho kết tƣơng đƣơng tốt số điều kiện so với phƣơng pháp truyền thống khác Các kết thực nghiệm cho thấy phƣơng pháp sử dụng phƣơng pháp tốt cần đầu tƣ nghiên cứu, phát triển thêm Để minh họa cho tính ứng dụng luận văn, trình bày hệ thống ứng dụng minh họa việc tìm kiếm thông tin hành khách sân bay nhận dạng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn mặt ngƣời Chƣơng trình cho tính minh họa cho hệ thống thực phát triển thành ứng dụng thực tế đƣợc tích hợp với hệ thống camera bắt hình trực tiếp sở liệu hành khách thực Nội dung đề tài gồm vấn đề sau: MỞ ĐẦU Chƣơng : Đặt vấn đề Chƣơng : Các sở lý thuyết liên quan: - Mạng nơron - Giải thuật di truyền - Vector đặc trƣng thành phần PCA Chƣơng : Phƣơng pháp nhận dạng mặt ngƣời MLP-PCA-GA Chƣơng : Hệ thống ứng dụng minh họa KẾT LUẬN VÀ KIẾN NGHỊ Do hạn chế khả năng, thời gian nhƣ tài liệu, đề tài không tránh khỏi sai sót định Rất mong đƣợc bảo thầy cô ý kiến góp ý quan tâm đồng nghiệp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng TỔNG QUAN 1.1 BÀI TOÁN NHẬN DẠNG MẶT NGƢỜI VÀ NHỮNG KHÓ KHĂN 1.1.1 Bài toán nhận dạng mặt ngƣời Hệ thống nhận dạng mặt ngƣời hệ thống nhận vào ảnh đoạn video (một chuỗi ảnh) Qua xử lý tính toán hệ thống xác định đƣợc vị trí mặt ngƣời ảnh (nếu có) xác định ngƣời số ngƣời hệ thống đƣợc biết (qua trình học) ngƣời lạ Hình 1.1 Ví dụ hệ thống nhận dạng mặt ngƣời 1.1.2 Những khó khăn nhận dạng khuôn mặt Bài toán nhận dạng mặt ngƣời toán đƣợc nghiên cứu từ năm 70 Tuy nhiên, toán khó nên nghiên cứu chƣa đạt đƣợc kết mong muốn Chính vấn đề đƣợc nhiều nhóm giới quan tâm nghiên cứu Khó khăn toán nhận dạng mặt ngƣời kể nhƣ sau: a Tƣ thế, góc chụp: Ảnh chụp khuôn mặt thay đổi nhiều góc chụp camera khuôn mặt Chẳng hạn nhƣ: chụp thẳng, chụp xéo bên trái 450 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn hay xéo bên phải 450, chụp từ xuống, chụp từ dƣới lên, v.v ) Với tƣ khác nhau, thành phần khuôn mặt nhƣ mắt, mũi, miệng bị khuất phần chí khuất hết b Sự xuất thiếu số thành phần khuôn mặt: Các đặc trƣng nhƣ: râu mép, râu hàm, mắt kính, v.v xuất không Vấn đề làm cho toán trở nên khó nhiều c Sự biểu cảm khuôn mặt: Biểu cảm khuôn mặt ngƣời làm ảnh hƣởng đáng kể lên thông số khuôn mặt Chẳng hạn, khuôn mặt ngƣời, nhƣng khác họ cƣời sợ hãi,v.v d Sự che khuất: Khuôn mặt bị che khuất đối tƣợng khác khuôn mặt khác e Hƣớng ảnh: Các ảnh khuôn mặt biến đổi nhiều với góc quay khác trục camera Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục ảnh f Điều kiện ảnh: Ảnh đƣợc chụp điều kiện khác về: chiếu sáng, tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v ) ảnh hƣởng nhiều đến chất lƣợng ảnh khuôn mặt 1.2 CÁC ỨNG DỤNG LIÊN QUAN ĐẾN NHẬN DẠNG MẶT NGƢỜI Bài toán nhận dạng mặt ngƣời áp dụng rộng rãi nhiều ứng dụng thực tế khác Đó lý mà toán hấp dẫn nhiều nhóm nghiên cứu thời gian dài Các ứng dụng liên quan đến nhận dạng mặt ngƣời kể nhƣ: - Hệ thống phát tội phạm: camera đƣợc đặt số điểm công cộng nhƣ: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v Khi phát đƣợc xuất đối tƣợng tội phạm, hệ thống gởi thông điệp cho trung tâm xử lý - Hệ thống theo dõi nhân đơn vị: giám sát vào nhân viên chấm công - Hệ thống giao tiếp ngƣời máy: thay việc tƣơng tác ngƣời máy theo cách truyền thống nhƣ: bàn phím, chuột,v.v Thay vào sử dung giao Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử tay (visual input, visual interaction) - Hệ thống tìm kiếm thông tin ảnh, video dựa nội dung (chỉ mục theo ngƣời) Chẳng hạn nhƣ: đài truyền hình Việt Nam (VTV) có kho liệu video tin tức lớn cần tìm kiếm nhanh đoạn video có G Bush Bin Laden - Các thệ thống bảo mật dựa thông tin trắc sinh học: mặt ngƣời, vân tay,v.v thay xác nhận mật khẩu, khóa,v.v 1.3 TỔNG QUAN KIẾN TRÚC CỦA MỘT HỆ THỐNG NHẬN DẠNG MẶT NGƢỜI Một hệ thống nhận dạng mặt ngƣời thông thƣờng bao gồm bốn bƣớc xử lý sau: phát khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction), phân lớp khuôn mặt (face classification) Hình 1.2 Các bƣớc hệ thống nhận dạng mặt ngƣời Phát khuôn mặt dò tìm định vị vị trí khuông mặt xuất ảnh frame video Phân đoạn khuôn mặt xác định vị trí mắt mũi, miệng, thành phần khác khuôn mặt chuyển kết cho bƣớc rút trích đặc trưng Từ thông tin thành phần khuôn mặt, dễ dàng tính đƣợc véc-tơ đặc trƣng bƣớc rút trích đặc trƣng Những véc-tơ đặc trƣng liệu đầu vào cho mô hình đƣợc huấn luyện trƣớc để phân loại khuôn mặt Bên cạnh bƣớc nêu trên, áp dụng thêm số bƣớc khác nhƣ tiền xử lý, hậu xử lý nhằm làm tăng độ xác Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn cho hệ thống Trong luận văn này, tập trung chủ yếu vào bƣớc phân loại khuôn mặt 1.4 GIỚI HẠN PHẠM VI ĐỀ TÀI Trong đề tài này, tập trung vào thuật toán hiệu cho việc nhận dạng (phân loại) ảnh mặt ngƣời Do điều kiện khó khăn toán để tập trung sâu vào phần hệ thống nhận dạng khối phân lớp, nhận dạng, đƣa giả định ràng buộc sau nhằm giảm độ phức tạp toán nhận dạng mặt ngƣời: - Thuật toán giải cho ảnh đơn; ảnh khuôn mặt đƣợc chụp thẳng hay góc nghiêng không đáng kể; ảnh đƣợc chụp điều kiện ánh sáng bình thƣờng; ảnh đƣợc tiền xử lý trƣớc để cắy lại phần khuôn mặt ảnh, bỏ qua bƣớc phát khuôn mặt (face detection) Với sở liệu thử nghiệm đƣợc lọc phần từ CSDL Yale dùng luận văn điều kiện đƣợc thỏa mãn - Luận văn thừa kế kết nghiên cứu nhận dạng mặt ngƣời dùng mạng NN perception đa lớp MLP với thủ tục huấn luyện lan truyền ngƣợc, sử dụng vector đặc trƣng PCA đầu vào, thực nghiệm thuật toán kết hợp mạng NN giải thuật di truyền GA để tối ƣu trọng số mạng NN toán nhận dạng ảnh mặt ngƣời Việc kết hợp GA NN nhằm mục đích giảm chi phí huấn luyện tối ƣu hệ thống - Luận văn xây dựng ứng dụng demo cho việc phát thông tin hành khách sân bay nhận dạng ảnh tự động Hệ thống có tính chất demo, minh họa chƣa có khả áp dụng thực tiễn 1.5 CÁC HƢỚNG TIẾP CẬN LIÊN QUAN ĐẾN PHÁT HIỆN VÀ NHẬN DẠNG KHUÂN MẶT Có nhiều hƣớng tiếp cận trƣớc thực liên quan đến vấn đề phát mặt ngƣời Theo Ming-Hsuan Yang [22], phân loại thành bốn hƣớng tiếp cận chính: dựa tri thức (knowledge-based), đặc trƣng bất biến (feature invariant), đối sánh mẫu (template matching), dựa vào diện mạo (appearance-based) phƣơng pháp thƣờng dùng mô hình máy học nên đƣợc gọi phƣơng pháp dựa Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn máy học (machine learning-based) Các phƣơng pháp dựa tri thức: Hƣớng tiếp cân chủ yếu dựa luật đƣợc định nghĩa trƣớc khuôn mặt ngƣời Những luật thƣờng mối quan hệ thành phần khuôn mặt Có số nghiên cứu từ sớm áp dụng phƣơng pháp nhƣ Kanade 1973 [23], Kotropoulos 1997 [24] Hƣớng tiếp cận dựa đặc trƣng bất biến: Hƣớng tiếp cận cố gắng tìm kiếm đặc trƣng độc lập – đặc trƣng không phụ thuộc vào tƣ khuôn mặt, điều kiện chiếu sáng, khó khăn khác Các đặc trƣng nhƣ đƣợc gọi bất biến đƣợc sử dụng để phát khuôn mặt Những công trình sử dụng hƣớng tiếp cận kể nhƣ: K C Yow R Cipolla 1997 [25], T K Leung 1995 [26] Phƣơng pháp đối sánh mẫu: Trong hƣớng tiếp cận này, mẫu khuôn mặt chuẩn đƣợc định nghĩa tay trƣớc đƣợc tham số hóa hàm số Mẫu đƣợc sử dụng để phát khuôn mặt cách quét qua ảnh tính toán giá trị tƣơng đồng cho vị trí Việc xuất khuôn mặt vị trí ảnh phụ thuộc vào giá trị tƣơng đồng điểm so với mẫu chuẩn I Craw 1992 [27] áp dụng mẫu cứng A Lanitis 1995 [28] sử dụng mẫu biến dạng bƣớc phát khuôn mặt Phƣơng pháp dựa máy học: Ngƣợc với phƣơng pháp đối sánh mẫu sử dụng mẫu đƣợc chuyên gia định nghĩa trƣớc, phƣơng pháp sử dụng mẫu đƣợc rút trích qua trình học Nói cách khác, thuật toán dựa máy học dùng kỹ thuật phân tích thống kê máy học để xấp xĩ hàm phân lớp tuyến tính Có nhiều mô hình máy học đƣợc áp dụng hƣớng tiếp cận này: Eigenface (M Turk A Pentland 1991 [22]), Mô hình dựa phân phối (K K Sung and T Poggio 1998 [23]), Mạng Nơ-ron (H Rowley 1998 [24]), Support Vector Machine (E Osuna et al 1997 [25]), Phân lớp Bayes (H Schneiderman T Kanade 1998 [26]), Mô hình Markov ẩn (A Rajagopalan et al 1998 [27]), mô hình tăng cƣờng (AdaBoost P Viola M Jones 2001 [28]; FloatBoost Stan Z Li Zhen Qiu Zhang 2004 [22]) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... nhiều khả ứng dụng Một nghiên cứu dùng NN nhận dạng ảnh mặt ngƣời [72] sử dụng mạng Kohonen nhận dạng ảnh tập mẫu nhỏ ảnh mặt ngƣời cho kết tốt ảnh bị nhiễu hay phần ảnh Tỷ lệ nhận dạng đƣợc công... & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH NGƯỜI... thống nhận dạng ảnh mặt ngƣời dùng mạng MLP lan truyền ngƣợc sử dụng sở liệu gồm 100 ảnh 10 ngƣời khác tự thu thập, tỷ lệ nhận dạng đƣợc công bố 95.6% Các nghiên cứu nhận dạng ảnh mặt ngƣời dùng mạng