Nhận dạng ảnh mặt người dùng mạng nơron nhân tạo và giải thuật di truyền

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH Thái Nguyên, 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KH: PGS.TS LÊ BÁ DŨNG Thái Nguyên, 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Khn mặt đóng vai trị quan trọng q trình giao tiếp ngƣời với ngƣời, mang lƣợng thơng tin phong phú, chẳng hạn xác định giới tính, tuổi tác, trạng thái cảm xúc ngƣời đó, khảo sát chuyển động đƣờng nét khn mặt biết đƣợc ngƣời muốn nói Do đó, nhận dạng mặt ngƣời lĩnh vực nghiên cứu hấp dẫn đƣợc nhiều ngƣời quan tâm vài năm gần Nhận dạng mặt ngƣời lĩnh vực nghiên cứu hấp dẫn đƣợc nhiều ngƣời quan tâm vài năm gần Có nhiều hƣớng tiếp cận trƣớc thực liên quan đến vấn đề nhận dạng mặt ngƣời Theo Ming-Hsuan Yang [22], phân loại thành bốn hƣớng tiếp cận chính: dựa tri thức (knowledge-based), đặc trƣng bất biến (feature invariant), đối sánh mẫu (template matching), dựa vào diện mạo (appearance-based) phƣơng pháp thƣờng dùng mơ hình học máy nên cịn đƣợc gọi phƣơng pháp dựa học máy (machine learning-based) Các kết nghiên cứu nhận dạng mặt ngƣời cho thấy phƣơng pháp dựa học máy cách tiếp cận tối ƣu hiệu Về bản, phƣơng pháp dựa học máy sử dụng mẫu đƣợc rút trích qua q trình học Nói cách khác, thuật tốn dựa học máy dùng kỹ thuật phân tích thống kê học máy để xấp xĩ hàm phân lớp tuyến tính Có nhiều mơ hình học máy đƣợc áp dụng hƣớng tiếp cận này: Eigenface (M Turk A Pentland 1991 [23]), Mạng Nơ-ron (H Rowley 1998 [28]), Support Vector Machine (E Osuna et al 1997 [24]), Phân lớp Bayes (H Schneiderman T Kanade 1998 [22]), Mơ hình Markov ẩn (A Rajagopalan et al 1998 [23]), mơ hình tăng cƣờng (AdaBoost P Viola M Jones 2001 [25][26]; FloatBoost Stan Z Li Zhen Qiu Zhang 2004 [23][24]) Phƣơng pháp nhận dạng mặt ngƣời dùng mạng nơron phƣơng pháp khơng mới, coi phƣơng pháp phổ biến phƣơng pháp dựa học máy Các kết nghiên cứu có cho thấy phƣơng pháp phƣơng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn pháp hiệu quả, ổn định có nhiều khả ứng dụng Một nghiên cứu dùng NN nhận dạng ảnh mặt ngƣời [72] sử dụng mạng Kohonen nhận dạng ảnh tập mẫu nhỏ ảnh mặt ngƣời cho kết tốt ảnh bị nhiễu hay phần ảnh Tỷ lệ nhận dạng đƣợc công bố 92.5% với ảnh test đƣợc huấn luyện 87.5% với ảnh test chƣa đƣợc huấn luyện Trong nhiều nghiên cứu nhận dạng ảnh mặt ngƣời dùng mạng NN sau đó, loại mạng NN đƣợc cho hiệu mạng NN perception đa lớp lan truyền ngƣợc (backpropagation MLP) Trong [N Jamil and Iqbal [34] ] hệ thống nhận dạng ảnh mặt ngƣời dùng mạng MLP lan truyền ngƣợc sử dụng sở liệu gồm 100 ảnh 10 ngƣời khác tự thu thập, tỷ lệ nhận dạng đƣợc công bố 95.6% Các nghiên cứu nhận dạng ảnh mặt ngƣời dùng mạng NN việc dùng mạng MLP cho kết tốt độ xác Tuy nhiên vấn đề chi phí tính tốn thao tác huấn luyện nhận dạng dẫn tới chi phí huấn luyện nhận dạng lớn vấn đề then chốt cần xử lý hệ thống dùng mạng NN Do đó, nghiên cứu nhận dạng mặt ngƣời dùng mạng NN cần đƣợc cải tiến phát triển để giảm khối lƣợng tính tốn, giảm thời gian, chi phí huấn luyện Một giải pháp đƣợc đề xuất áp dụng phƣơng pháp trích đặc trƣng vector thành phần PCA để giảm số chiều vector đặc trƣng, giảm chi phí tính tốn cho mạng NN [19, 20] Một giải pháp khác gần đƣợc số nhà nghiên cứu gần quan tâm áp dụng giải thuật di truyền GA tính tốn trọng số tối ƣu đầu vào cho mạng NN để có để tối ƣu hệ thống Luận văn theo cách kết hợp hai hƣớng tiếp cận này, phát triển hệ thống nhận dạng mặt ngƣời sử dụng kết hợp phƣơng pháp MLP-PCA-GA Các kết đánh giá hiệu nhận dạng bao gồm tỷ lệ nhận dạng đúng, chi phí huấn luyện, thời gian nhận dạng cho thấy phƣơng pháp sử dụng đề tài cho kết tƣơng đƣơng tốt số điều kiện so với phƣơng pháp truyền thống khác Các kết thực nghiệm cho thấy phƣơng pháp sử dụng phƣơng pháp tốt cần đầu tƣ nghiên cứu, phát triển thêm Để minh họa cho tính ứng dụng luận văn, tơi trình bày hệ thống ứng dụng minh họa việc tìm kiếm thơng tin hành khách sân bay nhận dạng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn mặt ngƣời Chƣơng trình cho tính minh họa cho hệ thống thực phát triển thành ứng dụng thực tế đƣợc tích hợp với hệ thống camera bắt hình trực tiếp sở liệu hành khách thực Nội dung đề tài gồm vấn đề sau: MỞ ĐẦU Chƣơng : Đặt vấn đề Chƣơng : Các sở lý thuyết liên quan: - Mạng nơron - Giải thuật di truyền - Vector đặc trƣng thành phần PCA Chƣơng : Phƣơng pháp nhận dạng mặt ngƣời MLP-PCA-GA Chƣơng : Hệ thống ứng dụng minh họa KẾT LUẬN VÀ KIẾN NGHỊ Do hạn chế khả năng, thời gian nhƣ tài liệu, đề tài khơng tránh khỏi sai sót định Rất mong đƣợc bảo thầy cô ý kiến góp ý quan tâm đồng nghiệp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng TỔNG QUAN 1.1 BÀI TỐN NHẬN DẠNG MẶT NGƢỜI VÀ NHỮNG KHĨ KHĂN 1.1.1 Bài toán nhận dạng mặt ngƣời Hệ thống nhận dạng mặt ngƣời hệ thống nhận vào ảnh đoạn video (một chuỗi ảnh) Qua xử lý tính tốn hệ thống xác định đƣợc vị trí mặt ngƣời ảnh (nếu có) xác định ngƣời số ngƣời hệ thống đƣợc biết (qua trình học) ngƣời lạ Hình 1.1 Ví dụ hệ thống nhận dạng mặt ngƣời 1.1.2 Những khó khăn nhận dạng khn mặt Bài toán nhận dạng mặt ngƣời toán đƣợc nghiên cứu từ năm 70 Tuy nhiên, tốn khó nên nghiên cứu chƣa đạt đƣợc kết mong muốn Chính vấn đề đƣợc nhiều nhóm giới quan tâm nghiên cứu Khó khăn tốn nhận dạng mặt ngƣời kể nhƣ sau: a Tƣ thế, góc chụp: Ảnh chụp khn mặt thay đổi nhiều góc chụp camera khuôn mặt Chẳng hạn nhƣ: chụp thẳng, chụp xéo bên trái 450 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn hay xéo bên phải 450, chụp từ xuống, chụp từ dƣới lên, v.v ) Với tƣ khác nhau, thành phần khuôn mặt nhƣ mắt, mũi, miệng bị khuất phần chí khuất hết b Sự xuất thiếu số thành phần khuôn mặt: Các đặc trƣng nhƣ: râu mép, râu hàm, mắt kính, v.v xuất khơng Vấn đề làm cho tốn trở nên khó nhiều c Sự biểu cảm khuôn mặt: Biểu cảm khuôn mặt ngƣời làm ảnh hƣởng đáng kể lên thơng số khuôn mặt Chẳng hạn, khuôn mặt ngƣời, nhƣng khác họ cƣời sợ hãi,v.v d Sự che khuất: Khuôn mặt bị che khuất đối tƣợng khác khuôn mặt khác e Hƣớng ảnh: Các ảnh khn mặt biến đổi nhiều với góc quay khác trục camera Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục ảnh f Điều kiện ảnh: Ảnh đƣợc chụp điều kiện khác về: chiếu sáng, tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v ) ảnh hƣởng nhiều đến chất lƣợng ảnh khuôn mặt 1.2 CÁC ỨNG DỤNG LIÊN QUAN ĐẾN NHẬN DẠNG MẶT NGƢỜI Bài tốn nhận dạng mặt ngƣời áp dụng rộng rãi nhiều ứng dụng thực tế khác Đó lý mà tốn hấp dẫn nhiều nhóm nghiên cứu thời gian dài Các ứng dụng liên quan đến nhận dạng mặt ngƣời kể nhƣ: - Hệ thống phát tội phạm: camera đƣợc đặt số điểm công cộng nhƣ: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v Khi phát đƣợc xuất đối tƣợng tội phạm, hệ thống gởi thông điệp cho trung tâm xử lý - Hệ thống theo dõi nhân đơn vị: giám sát vào nhân viên chấm công - Hệ thống giao tiếp ngƣời máy: thay việc tƣơng tác ngƣời máy theo cách truyền thống nhƣ: bàn phím, chuột,v.v Thay vào sử dung giao Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử tay (visual input, visual interaction) - Hệ thống tìm kiếm thơng tin ảnh, video dựa nội dung (chỉ mục theo ngƣời) Chẳng hạn nhƣ: đài truyền hình Việt Nam (VTV) có kho liệu video tin tức lớn cần tìm kiếm nhanh đoạn video có G Bush Bin Laden - Các thệ thống bảo mật dựa thông tin trắc sinh học: mặt ngƣời, vân tay,v.v thay xác nhận mật khẩu, khóa,v.v 1.3 TỔNG QUAN KIẾN TRÚC CỦA MỘT HỆ THỐNG NHẬN DẠNG MẶT NGƢỜI Một hệ thống nhận dạng mặt ngƣời thông thƣờng bao gồm bốn bƣớc xử lý sau: phát khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction), phân lớp khn mặt (face classification) Hình 1.2 Các bƣớc hệ thống nhận dạng mặt ngƣời Phát khn mặt dị tìm định vị vị trí khng mặt xuất ảnh frame video Phân đoạn khuôn mặt xác định vị trí mắt mũi, miệng, thành phần khác khuôn mặt chuyển kết cho bƣớc rút trích đặc trưng Từ thơng tin thành phần khn mặt, dễ dàng tính đƣợc véc-tơ đặc trƣng bƣớc rút trích đặc trƣng Những véc-tơ đặc trƣng liệu đầu vào cho mơ hình đƣợc huấn luyện trƣớc để phân loại khuôn mặt Bên cạnh bƣớc nêu trên, cịn áp dụng thêm số bƣớc khác nhƣ tiền xử lý, hậu xử lý nhằm làm tăng độ xác Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn cho hệ thống Trong luận văn này, tập trung chủ yếu vào bƣớc phân loại khuôn mặt 1.4 GIỚI HẠN PHẠM VI ĐỀ TÀI Trong đề tài này, tơi tập trung vào thuật tốn hiệu cho việc nhận dạng (phân loại) ảnh mặt ngƣời Do điều kiện khó khăn tốn để tập trung sâu vào phần hệ thống nhận dạng khối phân lớp, nhận dạng, đƣa giả định ràng buộc sau nhằm giảm độ phức tạp toán nhận dạng mặt ngƣời: - Thuật tốn giải cho ảnh đơn; ảnh khn mặt đƣợc chụp thẳng hay góc nghiêng khơng đáng kể; ảnh đƣợc chụp điều kiện ánh sáng bình thƣờng; ảnh đƣợc tiền xử lý trƣớc để cắy lại phần khn mặt ảnh, bỏ qua bƣớc phát khuôn mặt (face detection) Với sở liệu thử nghiệm đƣợc lọc phần từ CSDL Yale dùng luận văn điều kiện đƣợc thỏa mãn - Luận văn thừa kế kết nghiên cứu nhận dạng mặt ngƣời dùng mạng NN perception đa lớp MLP với thủ tục huấn luyện lan truyền ngƣợc, sử dụng vector đặc trƣng PCA đầu vào, thực nghiệm thuật toán kết hợp mạng NN giải thuật di truyền GA để tối ƣu trọng số mạng NN toán nhận dạng ảnh mặt ngƣời Việc kết hợp GA NN nhằm mục đích giảm chi phí huấn luyện tối ƣu hệ thống - Luận văn xây dựng ứng dụng demo cho việc phát thông tin hành khách sân bay nhận dạng ảnh tự động Hệ thống có tính chất demo, minh họa chƣa có khả áp dụng thực tiễn 1.5 CÁC HƢỚNG TIẾP CẬN LIÊN QUAN ĐẾN PHÁT HIỆN VÀ NHẬN DẠNG KHUÂN MẶT Có nhiều hƣớng tiếp cận trƣớc thực liên quan đến vấn đề phát mặt ngƣời Theo Ming-Hsuan Yang [22], phân loại thành bốn hƣớng tiếp cận chính: dựa tri thức (knowledge-based), đặc trƣng bất biến (feature invariant), đối sánh mẫu (template matching), dựa vào diện mạo (appearance-based) phƣơng pháp thƣờng dùng mơ hình máy học nên cịn đƣợc gọi phƣơng pháp dựa Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn máy học (machine learning-based) Các phƣơng pháp dựa tri thức: Hƣớng tiếp cân chủ yếu dựa luật đƣợc định nghĩa trƣớc khuôn mặt ngƣời Những luật thƣờng mối quan hệ thành phần khn mặt Có số nghiên cứu từ sớm áp dụng phƣơng pháp nhƣ Kanade 1973 [23], Kotropoulos 1997 [24] Hƣớng tiếp cận dựa đặc trƣng bất biến: Hƣớng tiếp cận cố gắng tìm kiếm đặc trƣng độc lập – đặc trƣng không phụ thuộc vào tƣ khuôn mặt, điều kiện chiếu sáng, khó khăn khác Các đặc trƣng nhƣ đƣợc gọi bất biến đƣợc sử dụng để phát khn mặt Những cơng trình sử dụng hƣớng tiếp cận kể nhƣ: K C Yow R Cipolla 1997 [25], T K Leung 1995 [26] Phƣơng pháp đối sánh mẫu: Trong hƣớng tiếp cận này, mẫu khuôn mặt chuẩn đƣợc định nghĩa tay trƣớc đƣợc tham số hóa hàm số Mẫu đƣợc sử dụng để phát khuôn mặt cách qt qua ảnh tính tốn giá trị tƣơng đồng cho vị trí Việc xuất khn mặt vị trí ảnh phụ thuộc vào giá trị tƣơng đồng điểm so với mẫu chuẩn I Craw 1992 [27] áp dụng mẫu cứng A Lanitis 1995 [28] sử dụng mẫu biến dạng bƣớc phát khuôn mặt Phƣơng pháp dựa máy học: Ngƣợc với phƣơng pháp đối sánh mẫu sử dụng mẫu đƣợc chuyên gia định nghĩa trƣớc, phƣơng pháp sử dụng mẫu đƣợc rút trích qua q trình học Nói cách khác, thuật tốn dựa máy học dùng kỹ thuật phân tích thống kê máy học để xấp xĩ hàm phân lớp tuyến tính Có nhiều mơ hình máy học đƣợc áp dụng hƣớng tiếp cận này: Eigenface (M Turk A Pentland 1991 [22]), Mơ hình dựa phân phối (K K Sung and T Poggio 1998 [23]), Mạng Nơ-ron (H Rowley 1998 [24]), Support Vector Machine (E Osuna et al 1997 [25]), Phân lớp Bayes (H Schneiderman T Kanade 1998 [26]), Mơ hình Markov ẩn (A Rajagopalan et al 1998 [27]), mơ hình tăng cƣờng (AdaBoost P Viola M Jones 2001 [28]; FloatBoost Stan Z Li Zhen Qiu Zhang 2004 [22]) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng PHẦN MỀM MÔ PHỎNG NHẬN DẠNG HÀNH KHÁCH TẠI SÂN BAY 4.1 GIỚI THIỆU Áp dụng kết nghiên cứu đề tài cài đặt, xây dựng phần mềm nhận dạng ảnh mặt ngƣời áp dụng việc nhận dạng hành khách sân bay Nhƣ trình bày chƣơng 3, phƣơng pháp MLP-PCA-GA chứng tỏ hiệu phƣơng pháp nên phƣơng pháp MLP-PCA-GA đƣợc sử dụng để xây dựng phần mềm thử nghiệm Phần mềm mang tính thử nghiệm, để sử dụng thực tế cần tiếp tục cải tiến thuật toán bổ sung tính cần thiết Trƣớc hết cần tích hợp với camera để bắt hình trực tiếp tích hợp với sở liệu hành khách thực tế 4.2 MÔI TRƢỜNG XÂY DỰNG Trong luận văn, phần mềm mô đƣợc cài đặt lại thuật tốn mơi trƣờng Windows Phần mềm nhận dạng ảnh mặt ngƣời đƣợc xây dựng ngơn ngữ Visual Studio.Net Phần mềm đóng gói dễ dàng phân phối cho ngƣời sử dụng 4.3 CÁC CHỨC NĂNG CHƢƠNG TRÌNH Hình 4.1: Giao diện Số hóa Trung tâm Học liệu – Đại học Thái 56Nguyên http://www.lrc-tnu.edu.vn Chọn edit/ train để huấn luyện ảnh hành khách xuất hộp thoại: Hình 4.2: Huấn luyện ảnh hành khách - Nhập thông tin hành khách - Huấn luyện ảnh hành khách - Sau huấn luyện đƣợc ảnh hành khách, ta chọn add passport hiển thị hộp thoại để thêm thơng tin hộ chiếu hành khách Hình 4.3: Thêm thơng tin hộ chiếu hành khách Số hóa Trung tâm Học liệu – Đại học Thái 57Nguyên http://www.lrc-tnu.edu.vn Sau nhập đƣợc thông tin hành khách, chọn add để lƣu lại thông tin Cancel để hủy thông tin nhập - Chọn Add flight để thêm thơng tin chuyến bay Hình 4.4: Thêm thơng tin chuyến bay Sau hồn thành q trình huấn luyện ảnh, ta tiến hành nhận dạng ảnh huấn luyện Vào Edit/ Recognition xuất hộp thoại Hình 4.5: Form nhận dạng ảnh hành khách Số hóa Trung tâm Học liệu – Đại học Thái 58Nguyên http://www.lrc-tnu.edu.vn Chọn ảnh cần tìm kiếm, sau tìm kiếm trả lại kết nhận dạng nhƣ hình 4.6, thơng tin chi tiết khách hàng hình 4.7, thơng tin hộ chiếu hình 4.8, thơng tin chi tiết chuyến bay hình 4.9 Hình 4.6: Kết nhận dạng Hình 4.7: Thơng tin chi tiết hành khách Số hóa Trung tâm Học liệu – Đại học Thái 59Ngun http://www.lrc-tnu.edu.vn Hình 4.8: Thơng tin chi tiết hộ chiếu Hình 4.9: Thơng tin chi tiết chuyến bay 4.4 ĐÁNH GIÁ VỀ CHƢƠNG TRÌNH Mặc dù chƣơng trình chƣa có điều kiện thử nghiệm môi trƣờng thực sân bay nhƣng điều kiện thử nghiệm chƣơng trình có đủ modul quản lý cần thiết Trong thời gian tới, có điều kiện phát triển tiếp, tiếp tục phát triển thêm modul tích hợp với camera ghi hình trực tiếp để nhận dạng Số hóa Trung tâm Học liệu – Đại học Thái 60Nguyên http://www.lrc-tnu.edu.vn KẾT LUẬN – KIẾN NGHỊ Trong luận văn này, tơi hồn thành mục tiêu nghiên cứu đề Ttôi thực nghiệm đƣợc hệ thống nhận dạng ảnh mặt ngƣời dùng mạng MLP, sử dụng đặc trƣng PCA, đặc biệt kết hợp tìm kiếm trọng số tối ƣu cho mạng MLP GA Sau thực nghiệm, tơi có đánh giá, so sánh hiệu phƣơng pháp kết luận phƣơng pháp kết hợp MLP-PCA-GA cho kết cao phƣơng pháp MLP-PCA tỷ lệ nhận dạng chi phí tính tốn Về mục tiêu ứng dụng, xây dựng phần mềm nhận dạng ảnh mặt ngƣời mô ứng dụng nhận dạng, tìm kiếm thơng tin hành khách sân bay Trong nghiên cứu tiếp theo, tiếp tục phát triển đề tài, thử nghiệm đặc trƣng khác nhƣ đặc trƣng Gabor Wavelet, thử nghiệm thuật toán tối ƣu GA khác, áp dụng thử nghiệm sở liệu ảnh mặt ngƣời lớn để đánh giá hiệu phƣơng pháp cách khách quan xác Số hóa Trung tâm Học liệu – Đại học Thái 61Nguyên http://www.lrc-tnu.edu.vn TÀI LIỆU THAM KHẢO TIẾNG VIỆT Ngô Quốc Tạo, Ngơ Phƣơng Đơng, Nguyễn Thanh Hịa, Phạm Việt Bình (2003), Báo cáo “Nhận dạng mặt ngƣời môi trƣờng độ sáng không đồng nhất”, Hội thảo Công nghệ thông tin quốc gia lần thứ VIII, Thái Nguyên, 2931/8/2003 Phạm Trung Kiên, Tìm kiếm nhận dạng khn mặt ngƣời ảnh : Luận văn ThS Đại học Quốc Gia Hà Nội, Nghd: PGS.TS Ngô Quốc Tạo Võ Phúc Nguyên, Nhận dạng mặt ngƣời sử dụng mạng neuron, Luận văn ThS Đại học Bách Khoa Hà Nội ,Nghd: PGS Nguyễn Thanh Thủy, 2009 Nguyễn Phƣơng Huy, Ứng dụng mạng Neural mờ cho nhận dạng chữ viết tay hạn chế, Luận văn thạc sỹ khoa học, Đại học Bách Khoa Hà Nội, 2004 Nghiêm Văn Tính, Mạng Neural tìm kiếm ảnh, Luận văn thạc sỹ khoa học, Đại học Thái Nguyên, 2006 Ngô Xuân Bách, Ngô Quốc Tạo Ứng dụng mơ hình mạng nơron nhận dạng chữ viết tay rời rạc hạn chế trực tuyến Kỷ yếu Hội nghị khoa học kỷ niệm 30 năm thành lập viện Công nghệ thông tin, viện Khoa học Công nghệ Việt Nam, pp 483-488, Hà Nội 2006 Nguyễn Hữu Hòa, Lƣơng Chi Mai, “Nhận dạng chữ viết tay tiếng Việt rời rạc sử dụng mạng Nơ ron mờ”, kỷ yếu hội nghị Viện CNTT, 12/2001, tr.623-631 TIẾNG ANH Ming-Hsuan Yang, (2002),"Kernel Eigenfaces vs Kernel Fisherfaces: Face Recognition Using Kernel Methods," fg, pp.0215, Fifth IEEE International Conference on Automatic Face and Gesture Recognition (FG'02) Kanade, (1973),T Picture processing system by computer complex and recognition of human faces Doctoral dissertation, Kyoto University, Kyoto 10 Rule-Based Face Detection in Frontal Views (1997), Constantine Kotropoulos , Ioannis Pitas in Proc of IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP 97), vol IV Số hóa Trung tâm Học liệu – Đại học Thái 62Nguyên http://www.lrc-tnu.edu.vn 11 K.C.Yow, (1997),R.Cipolla, “Feature-based Human Face Detection” Image and Vision Computing, 15(9): 713-735 12 T K Leung, (1995),M C Burl, P Perona, Finding faces in cluttered scenes using random labeled graph matching, in ICCV '95: Proceedings of the Fifth International Conference on Computer Vision, 637 13 Finding Face Features (1992) , Ian Craw , David Tock , Alan Bennett 14 A.Lanitis, (1995), C.J.Taylor, T.F.Cootes A Unified Approach to Coding and Interpretting Faces Proc 5th International Conference on Computer Vision 15 M Turk and A Pentland (1991) "Face recognition using eigenfaces" Proc IEEE Conference on Computer Vision and Pattern Recognition pp 586–591 16 K.K Sung and T Poggio, (1998) “Example-Based Learning for View-Based Human Face Detection,” IEEE Trans Pattern Analysis and Machine Intelligence 17 Rowley, H., Baluja, S & Kanade, T (1998) “Neural Network-Based Face Detection,” IEEE-Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol 20, No 18 Osuna, E., Freund, R., and Girosi, F (1997a) An improved training algorithm for support vector machines In Proc of IEEE NNSP'97 19 H Schneiderman, T Kanade (1998), "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 45-51 Santa Barbara, CA 20 A Rajagopalan, K Kumar, J Karlekar, R Manivasakan, M Patil, U Desai, P Poonacha, S Chaudhuri, (1998) ,“Finding Faces in Photographs”, Proc 6th IEEE Conf Computer Vision (ICCV’98), pp 640-645 21 P Viola, M Jones, ( Jul 2001), “Robust Real Time Object Detection”, Proc IEEE ICCV Workshop on Statistical and Computational Theories of Vision Số hóa Trung tâm Học liệu – Đại học Thái 63Nguyên http://www.lrc-tnu.edu.vn 22 Stan Z Li, Zhen Qiu Zhang, ( Sep 2004) ,“FloatBoost Learning and Statistical Face Detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 26, No, pp 1-12 23 Y S Abu-Mostafa, D Psaltis, “Optical Neural Computers,” Scientific American, Vol 256, pp 88-95, 1987 24 R Brunelli, T Poggio, “HyperBF Networks for Gender Classification,” Proceeding of DARPA Image Understanding Workshop, pp 311-314, 1992 25 T Kohonen, Self-Organization and Associative Memory, Springer-Verlag, 1988 26 N Jamil, S Lqbal, and N Iqbal, “Face recognition using neural networks,” IEEE Conference on INMIC, 2001, pp 277-281 27 P.Latha, Dr.L.Ganesan & Dr.S.Annadurai, Face Recognition using Neural Networks , Signal Processing: An International Journal (SPIJ) Volume (3) : Issue (5), 153, 2009 28 Yas Abbas Alsultanny, Musbah M Aqel, Pattern recognition using multilayer neural-genetic algorithm, Neurocomputing 51 (2003) 237 – 247 Số hóa Trung tâm Học liệu – Đại học Thái 64Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tôi xin cam đoan Luận văn “ Nhận dạng ảnh mặt ngƣời dùng mạng nơron nhân tạo giải thuật di truyền” cơng trình nghiên cứu riêng dƣới sƣ̣ hƣớng dẫn của PGS TS Lê Bá Dũng Tồn phần mềm tơi lậ p trì nh và kiểm thƣ̉ Tôi xin chị u trách nhiệm về lời cam đoan của mì nh Các số liệu thông tin sử dụng luận văn trung thực Tác giả Phạm Thị Mai Hƣơng Số hóa Trung tâm Học liệu – Đại học Thái 65Nguyên i http://www.lrc-tnu.edu.vn MỤC LỤC Trang Trang phụ bìa Lời cam đoan i Mục lục ii Danh mục hình v MỞ ĐẦU Chƣơng TỔNG QUAN 1.1 BÀI TOÁN NHẬN DẠNG MẶT NGƢỜI VÀ NHỮNG KHĨ KHĂN 1.1.1 Bài tốn nhận dạng mặt ngƣời 1.1.2 Những khó khăn nhận dạng khuôn mặt 1.2 CÁC ỨNG DỤNG LIÊN QUAN ĐẾN NHẬN DẠNG MẶT NGƢỜI 1.3 TỔNG QUAN KIẾN TRÚC CỦA MỘT HỆ THỐNG NHẬN DẠNG MẶT NGƢỜI 1.4 GIỚI HẠN PHẠM VI ĐỀ TÀI 1.5 CÁC HƢỚNG TIẾP CẬN LIÊN QUAN ĐẾN PHÁT HIỆN VÀ NHẬN DẠNG KHUÂN MẶT 1.6 CÁC TIẾP CẬN DÙNG MẠNG NƠRON Chƣơng 11 CƠ SỞ LÝ THUYẾT 11 2.1 CƠ SỞ LÝ THUYẾT MẠNG NƠRON NHÂN TẠO 11 2.1.1 Khái niệm mạng nơron nhân tạo 11 2.1.1.1.Nơron nhân tạo 11 2.1.1.2 Mạng nơron nhân tạo 12 2.1.1.3.Các ứng dụng mạng nơron 12 2.1.2.Mơ hình toán học kiến trúc mạng nơron nhân tạo 12 2.1.2.1.Mơ hình tốn học mạng nơron 12 2.1.2.2 Kiến trúc mạng 14 2.1.3 Huấn luyện mạng 17 2.1.3.1.Hoạt động mạng 17 Số hóa Trung tâm Học liệu – Đại học Thái 66Nguyên ii http://www.lrc-tnu.edu.vn 2.1.3.2 Huấn luyện mạng 17 2.1.3.3 Một số luật học 19 2.1.4 Mạng Perceptron 20 2.1.4.1.Kiến trúc mạng 20 2.1.4.2 Huấn luyện mạng 21 2.1.5 Mạng Perceptron đa lớp 24 2.1.5.1.Kiến trúc mạng 25 2.1.5.2 Huấn luyện mạng 26 2.2 CƠ SỞ LÝ THUYẾT GIẢI THUẬT DI TRUYỀN 29 2.2.1 Khái niệm 29 2.2.2 Động lực 29 2.2.3 Giải thuật di truyền 30 2.2.4 Thể giả thuyết 34 2.2.5 Các toán tử di truyền 35 2.2.6 Hàm thích nghi chọn lọc 37 2.3 CƠ SỞ LÝ THUYẾT VECTOR ĐẶC TRƢNG THÀNH PHẦN PCA 38 2.3.1 Khái niệm định nghĩa 38 2.3.2 Ứng dụng PCA trích đặc trƣng ảnh 40 Chƣơng 43 PHƢƠNG PHÁP NHẬN DẠNG MẶT NGƢỜI MLP-PCA-GA 43 3.1 GIỚI THIỆU 43 3.2 HỆ THỐNG NHẬN DẠNG DÙNG MẠNG MLP DÙNG ĐẶC TRƢNG PCA 43 3.2.1 Trích đặc trƣng PCA 43 3.2.2 Thiết kế mạng MLP 45 3.2.3 Huấn luyện mạng MLP 46 3.3 TỐI ƢU VIỆC HUẤN LUYỆN MẠNG MLP BẰNG GA 47 3.4 CƠ SỞ DỮ LIỆU ĐỂ ĐÁNH GIÁ THỬ NGHIỆM 49 3.5 KẾT QUẢ THỬ NGHIỆM VÀ ĐÁNH GIÁ 50 3.5.1 Môi trƣờng công cụ để thực nghiệm phƣơng pháp 51 Số hóa Trung tâm Học liệu – Đại học Thái 67Nguyên iii http://www.lrc-tnu.edu.vn 3.5.2 Đánh giá hiệu tối ƣu trình huấn luyện phƣơng pháp dùng MLPPCA MLP-PCA-GA 51 3.5.3 Đánh giá hiệu nhận dạng phƣơng pháp MLP-PCA MLP-PCAGA 53 3.6 KẾT LUẬN 55 Chƣơng 56 PHẦN MỀM MÔ PHỎNG NHẬN DẠNG HÀNH KHÁCH TẠI SÂN BAY 56 4.1 GIỚI THIỆU 56 4.2 MÔI TRƢỜNG XÂY DỰNG 56 4.4 ĐÁNH GIÁ VỀ CHƢƠNG TRÌNH 60 KẾT LUẬN – KIẾN NGHỊ 61 Số hóa Trung tâm Học liệu – Đại học Thái 68Nguyên iv http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH VÀ BẢNG BIỂU Hình 1.1 Ví dụ hệ thống nhận dạng mặt ngƣời Hình 1.2 Các bƣớc hệ thống nhận dạng mặt ngƣời Hình 1.3 Sơ đồ khối mạng MLP lan truyền ngƣợc 10 Hình 2.12 Các tốn tử chung cho giải thuật di truyền 37 Hình 3.2: 20 mặt đặc trƣng với giá trị đặc trƣng thấp 44 Hình 3.3 Mạng MLP sử dụng để nhận dạng mặt 46 Hình 3.4 Thuật toán MLP-GA 49 Hình 3.5 Một số ảnh CSDL 50 Bảng 3.1 Kết qủa đánh giá huấn luyện MLP-PCA 51 Bảng 3.2 Kết qủa đánh giá hàm mục tiêu MLP-PCA-GA 52 Bảng 3.3 Kết qủa đánh giá FR TTSE bảng MLP-PCA-GA 52 Hình 3.6 Hiệu thuật tốn huấn luyện (a) MLP-PCA 53 Bảng 3.4 So sánh FR 02 phƣơng pháp 54 Bảng 3.5 So sánh FR 02 phƣơng pháp 54 Hình 3.7 Tỷ lệ nhận dạng (RR) phƣơng pháp test (8 ảnh), test (12), va test 3(24) 54 Hình 4.1: Giao diện 56 Hình 4.2: Huấn luyện ảnh hành khách 57 Hình 4.3: Thêm thơng tin hộ chiếu hành khách 57 Hình 4.4: Thêm thơng tin chuyến bay 58 Hình 4.5: Form nhận dạng ảnh hành khách 58 Hình 4.6: Kết nhận dạng 59 Hình 4.7: Thơng tin chi tiết hành khách 59 Hình 4.8: Thông tin chi tiết hộ chiếu 60 Hình 4.9: Thơng tin chi tiết chuyến bay 60 Số hóa Trung tâm Học liệu – Đại học Thái 69Nguyên v http://www.lrc-tnu.edu.vn ... TIẾP CẬN DÙNG MẠNG NƠRON Mạng nơ ron (NN) đƣợc sử dụng nhận dạng ảnh mặt ngƣời Một nghiên cứu dùng NN nhận dạng ảnh mặt ngƣời [25] sử dụng mạng Kohonen nhận dạng ảnh tập mẫu nhỏ ảnh mặt ngƣời... nhiên cấu trúc mạng nơron nhân tạo chƣa thể đạt đƣợc độ phức tạp nhƣ mạng nơron sinh học Mạng nơron nhân tạo mô đơn giản cấu trúc mạng nơron sinh học Giữa mạng nơron nhân tạo mạng nơron sinh học... & TRUYỀN THÔNG PHẠM THỊ MAI HƯƠNG NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH NGƯỜI