Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT&TT THÁI NGUYÊN PHẠM VĂN DŨNG MẠNG NƠRON TRONG BÀI TOÁN NHẬN DẠNG KHN MẶT VÀ ỨNG DỤNG Ngành: Cơng nghệ thơng tin Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Dương Chính Cương Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn THÁI NGUYÊN, 2016 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CAM ĐOAN Tên là: Phạm Văn Dũng Sinh ngày: 13/06/1986 Học viên lớp cao học CK13A - Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Hiện cơng tác tại: Liên đồn Lao động tỉnh Hà Nam Xin cam đoan: Đề tài “Mạng nơron toán nhận dạng khuôn mặt ứng dụng” Thầy giáo TS Dương Chính Cương hướng dẫn cơng trình nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tác giả xin cam đoan tất nội dung luận văn nội dung đề cương yêu cầu thầy giáo hướng dẫn Nếu sai tơi hồn toàn chịu trách nhiệm trước hội đồng khoa học trước pháp luật Thái Nguyên, ngày 15 tháng 05 năm 2016 TÁC GIẢ LUẬN VĂN Phạm Văn Dũng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN Sau thời gian nghiên cứu làm việc nghiêm túc, động viên, giúp đỡ hướng dẫn tận tình Thầy giáo hướng dẫn TS Dương Chính Cương, luận văn với đề tài “Mạng nơron tốn nhận dạng khn mặt ứng dụng” hồn thành Tơi xin bày tỏ lịng biết ơn sâu sắc đến: Thầy giáo hướng dẫn TS Dương Chính Cương tận tình dẫn, giúp đỡ tơi hồn thành luận văn Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình học tập, thực hồn thành luận văn TÁC GIẢ LUẬN VĂN Phạm Văn Dũng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii DANH MỤC CÁC TỪ VIẾT TẮT ix LỜI MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG KHN MẶT 1.1.1 Mơ tả tốn nhận dạng khn mặt 1.1.2 Hệ thống nhận dạng khuôn mặt .5 1.1.3 Một số ứng dụng hệ thống nhận dạng khuôn mặt 1.1.4 Ứng dụng hệ thống nhận dạng khuôn mặt tốn nhận dạng thí sinh dự thi .8 1.2.1 Theo định hướng tìm cách trích chọn đặc trưng 1.2.2 Theo định hướng định 10 1.3.1 Phương pháp PCA 11 1.3.1.1 Nguyên lý chung 11 1.3.1.2 Nội dung thuật toán PCA 12 1.3.1.3 Áp dụng PCA vào trích chọn vector đặc tính cho tốn nhận dạng khn mặt 14 1.3.1.4 Đánh giá thuật toán 16 1.3.2 Phương pháp phân tách tuyến tính – LDA 16 1.3.2.1 Nguyên lý chung 16 1.3.2.2 Nội dung thuật toán .17 1.3.2.3 Áp dụng LDA vào trích chọn vector đặc tính cho tốn nhận dạng khn mặt 18 1.3.2.4 Đánh giá thuật toán 20 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv 1.3.3 Phương pháp EBGM (Elastic Bunch Graph Matching) 20 1.3.3.1 Nguyên lý chung 20 1.3.3.2 Nội dung thuật toán .22 1.3.3.3 Áp dụng EBGM vào trích chọn vector đặc tính cho tốn nhận dạng khn mặt 26 1.3.3.4 Đánh giá thuật toán 27 1.4.1 Thuật toán sử dụng mạng Nơron 27 1.4.2 Thuật toán SVM 28 CHƯƠNG NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON MLP .30 2.1.1 Mạng nơron sinh học 30 2.1.2 Mạng nơron nhân tạo 31 2.1.2.1 Nơron nhân tạo 31 2.1.2.2 Mạng nơron nhân tạo .32 2.1.2.3 Các ứng dụng mạng nơron 33 2.1.3 Mơ hình tốn học kiến trúc mạng nơron 34 2.1.3.1 Mô hình tốn học nơron nhân tạo 34 2.1.3.2 Cấu trúc mạng nhân tạo 35 2.1.3.3 Hàm truyền (Hàm hoạt hoá) 36 2.1.4 Huấn luyện mạng nơron .37 2.1.4.1 Học có giám sát .37 2.1.4.2 Học khơng có giám sát 37 2.1.4.3 Học tăng cường .38 2.2.1 Mạng perceptron 38 2.2.1.1 Kiến trúc mạng 38 2.2.1.2 Huấn luyện mạng 39 2.2.1.3 Khả ứng dụng cho nhận dạng ảnh 42 2.2.2 Mạng perceptron đa lớp .43 2.2.2.1 Kiến trúc mạng 43 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v 2.2.2.2 Huấn luyện mạng 44 2.2.2.3 Khả ứng dụng cho nhận dạng ảnh 48 2.4.1 Sơ đồ hệ thống nhận dạng thí sinh 52 2.4.2 Xây dựng vector đặc trưng 53 2.4.3 Phân lớp mạng nơron truyền thẳng nhiều lớp MLP 55 CHƯƠNG XÂY DỰNG PHẦN MỀM MƠ PHỎNG NHẬN DẠNG THÍ SINH DỰ THI 56 3.2.1 Cơ sở liệu ảnh 57 3.2.2 Lưu đồ kiểm tra thí sinh .59 3.2.3 Môi trường cài đặt 59 3.2.4 Cài đặt 60 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI .66 TÀI LIỆU THAM KHẢO 68 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH ẢNH Hin ̀ h 1.1 Mơ hình tốn nhận dạng mặt người Hin ̀ h 1.2 Cấu trúc tổng quát hệ thống nhận dạng khuôn mặt [2] Hình 1.3 Các hướng tiếp cận trích chọn đặc trưng nhận dạng khn mặt [3] Hin ̀ h 1.4 Không gian (p1,p2) theo hướng phân bố mạnh vector khơng gian (x1,x2) tìm theo PCA [6] 11 Hin ̀ h 1.5 Dạng vector tạo từ ảnh khuôn mặt [6] 14 Hin ̀ h 1.6 Ảnh gốc sở liệu ORL 15 Hình 1.7 Ảnh sau biến đổi theo PCA .16 Hin ̀ h 1.8 Ví dụ minh họa LDA [8] .17 Hình 1.9 Ảnh sau biến đổi theo LDA .19 Hình 1.10 Mô hình lưới khn mặt khác [14] 21 Hin ̀ h 1.11 Cosine Gabor wavelet Sin Cosine Gabor wavelet đại diện cho phần thực phần ảo biến đổi Wavelet [5] .22 Hin ̀ h 1.12 Tạo Gabor Jet từ biến đổi Gabor wavelet [14] 24 Hin ̀ h 1.13 Đồ thị Gabor Jet [14] 24 Hình 2.1 Cấu trúc nơron sinh học 30 Hin ̀ h 2.2 Nơron nhân tạo 32 Hình 2.3 Mơ hình tốn học mạng nơron nhân tạo 34 Hin ̀ h 2.4 Nơron đầu vào với hàm hoạt hoá hàm hardlimit 36 Hin ̀ h 2.5 Học có giám sát 37 Hình 2.6 Học khơng có giám sát 37 Hin ̀ h 2.7 Học tăng cường 38 Hình 2.8 Kiến trúc mạng Perceptron 38 Hin ̀ h 2.9 Biên định không gian mẫu 40 Hin ̀ h 2.10 Khơng gian mẫu khả tách tuyến tính 41 Hình 2.11 Khơng gian mẫu khơng khả tách tuyến tính 42 Hin ̀ h 2.12 Phân tách không gian mẫu với mạng Perceptron nơron lớp 43 Hình 2.13 Mạng Perceptron đa lớp (MLP) 43 Hin ̀ h 2.14 Mạng MLP giải toán XOR 44 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii Hin ̀ h 2.15 Không gian mẫu 48 Hình 2.16 Phân lớp mẫu với mạng MLP lớp 49 Hin ̀ h 2.17 Sơ đồ hệ thống nhận dạng thí sinh sử dụng Gabor wavelet MLP 52 Hin ̀ h 2.18 Lưu đồ trích chọn đặc trưng hình ảnh khuôn mặt 53 Hình 2.19 Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt 55 Hin ̀ h 3.1 Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt Error! Bookmark not defined Hin ̀ h 3.1 Ảnh gốc sở liệu 58 Hin ̀ h 3.2 Giao diện chương trình ứng dụng 61 Hình 3.3 Giao diện chương trình Tạo sở liệu từ webcam 62 Hin ̀ h 3.4 Giao diện chương trình Tạo sở liệu từ nguồn ảnh tĩnh 62 Hình 3.5 Giao diện chương trình Tạo vector đặc trưng 63 Hin ̀ h 3.6 Phần thực, ảo, biên độ lọc Gabor ảnh đặc trưng qua lọc 63 Hin ̀ h 3.7 Kết luyện mạng nơron kiểm tra 64 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn viii DANH MỤC BẢNG BIỂU Bảng 2.2 Một số cơng trình cơng bố sử dụng mạng nơron cho nhận dạng khn mặt 50 Bảng 3.1 Các module chương trình 60 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 2.4.3 Phân lớp mạng nơron truyền thẳng nhiều lớp MLP Việc phân lớp thực sử dụng mạng nơron truyền thẳng nhiều lớp Hình 2.19 Các bước hoạt động luật học loại mạng nơron luận văn trình bày phần 2.2.2 Trong trường hợp này, luận văn lựa chọn sử dụng hai lớp ẩn Số lượng node lớp ẩn lựa chọn dựa theo phương pháp thử sai nhằm tìm cấu trúc mạng tối ưu Q trình dễ dàng thực nhờ hỗ trợ câu lệnh toolbox Matlab mạng nơron Lớp vào Lớp ẩn Lớp ẩn wjj Lớp wjk x1 x2 xq ● ● ● ● ● ● ● ● Outputs Các vector đặc trưng Gabor wavelet x=[1,q] i=[1,n] j=[1,m] k=[1,l] Hình 2.19 Mạng nơron truyền thẳng nhiều lớp MLP cho nhận dạng khn mặt Kết luận chương Có thể thấy rằng, mạng nơron công cụ hữu hiệu việc xử lý lớp toán phi tuyến phức tạp Đặc biệt toán phân lớp đối tượng phi tuyến Chính vậy, nội dung chương trình bày kiến thức tổng quan cho việc xây dựng loại mạng nơron thực thuật toán học nhằm điều chỉnh trọng số node mạng cho sai số đầu nhỏ Bên cạnh đó, để đưa định hợp lý cho ứng dụng mạng nơron giải tốn nhận dạng thí sinh, nội dung chương cập nhật cơng trình cơng bố gần đề xuất mơ hình kết hợp sử dụng Gabor wavalet cho việc trích chọn đặc trưng sử dụng mạng nơron lan truyền ngược sai số cho thao tác phân lớp Hiệu mơ hình kiểm chứng thông qua phần mềm ứng dụng xây dựng Matlab R2015a trình bày chi tiết chương 56 CHƯƠNG XÂY DỰNG PHẦN MỀM MƠ PHỎNG NHẬN DẠNG THÍ SINH DỰ THI Đặt vấn đề Như đề cập chương 1, mục tiêu luận văn xây dựng phần mềm nhận dạng thí sinh dự thi Đây công cụ quan trọng Quy trình thực chống gian lận thi cử thực theo quy định Bộ Giáo dục Đào tạo Đối với Trường Đại học Công nghệ Thơng tin Truyền thơng, để kiểm sốt việc thi hộ kỳ thi Phịng Khảo thí Đảm bảo chất lượng giáo dục thường yêu cầu mơn thi tự luận bố trí phịng thi có cán coi thi, môn thi vấn đáp bố trí phịng thi có cán (2 giảng viên hỏi/chấm thi cán gọi sinh viên vào phịng thi giám sát), mơn thi trắc nghiệm máy tính bố trí phịng thi có người (1 giảng viên, cán phịng thực hành, chun viên phịng Khảo thí Đảm bảo chất lượng giáo dục) Để giảm bớt thời gian xử lý công việc cho cán coi thi, tăng độ xác xử lý thơng tin như: thí sinh qn thẻ sinh viên, ảnh nhịe, ảnh cũ ảnh bị thay khơng đóng dấu giáp lai khó nhận dạng tránh bỏ lọt đối tượng thi hộ anh em giống nhau, sinh viên trường, sinh viên ngồi trường Vì ý tưởng xây dựng phần mềm ứng dụng nhận dạng khuôn mặt nhằm tháo gỡ tình trạng học hộ, đặc biệt thi hộ mong muốn giảm bớt quy trình coi thi, với tính xác cao mang lại hiệu cơng việc Quy trình thực sau:  Bước 1: Thu thập liệu ảnh sinh viên Trước kỳ thi sinh viên gửi cho nhà trường 10 hình ảnh khn mặt (trạng thái bình thường, vui vẻ, buồn, góc khác khuôn mặt…) thông tin như: họ tên, ngày sinh, lớp, mã số sinh viên Tập tên ảnh gửi có định dạng MSSV-[1,2,3, …], MSSV mã số sinh viên, sau ký tự “-“ số 1, 2, … tương ứng với ảnh số hoặc 3… Ảnh chụp độ phân giải 3Mpx Sau xác thực ảnh đưa vào sở liệu Sinh viên gặp trực tiếp người phụ trách để thu thập thông tin ảnh từ Camera 57  Bước 2: Nhập liệu thi trước buổi thi Trước lần thi, người phụ trách nhập danh sách thí sinh thi tương ứng với phịng thi, danh sách nhập từ file Excel tải vào máy tính  Bước 3: Quy trình phịng thi Tại phịng thi chương trình nhận dạng dựa liệu từ máy tính Trước lần thi cần kiểm tra hệ thống nhận dạng: camera, ánh sáng… Yêu cầu thí sinh đứng trực diện, ngắn trước Camera Nếu nhận dạng thành cơng thí sinh vào thi, nhận dạng lần khơng thành cơng thí sinh cần xuất trình thẻ sinh viên (hoặc chứng minh thư) để cán coi thi đối chiếu (Hình 3.1) Nếu khơng nhận dạng thành cơng; Trường hợp 1: Là sinh viên trường, không mang thẻ sinh viên, chứng minh nhân dân hay giấy tờ tùy thân chứng minh sinh viên, sinh viên lớp trưởng viết giấy cam đoan sinh viên lớp sau buổi thi phải đến phịng cơng tác quản lý học sinh, sinh viên xin giấy xác minh thông tin sinh viên lớp đó, mã sinh viên, vào thi Trường hợp 2: Khơng phải sinh viên trường, khơng có thẻ sinh viên, có chứng minh nhân dân giấy tờ tùy thân thay ảnh lớp trưởng không xác minh sinh viên lớp sinh viên khơng vào thi, bị cán coi thi giữ lại gọi bảo vệ lên xác minh sinh viên bị xử lý theo quy chế Xây dựng chương trình ứng dụng 3.2.1 Cơ sở liệu ảnh Để lấy sở liệu ảnh thông tin sinh viên Các sinh viên đến gặp trực tiếp cán phụ trách gửi ảnh chụp sẵn cho cán phụ trách để thu thập liệu ảnh thông tin sinh viên như: tên, ngày sinh, mã sinh viên, lớp Với sinh viên thu thập 10 hình ảnh khn mặt (với góc nghiêng khác nhau, trạng thái khác cười khơng cười, đeo kính khơng, miệng mở đóng …), tập tên ảnh gửi có định dạng MSSV-[1,2,3, …10], MSSV mã số sinh viên, sau ký tự “-“ số 1, 2, …10 tương ứng với ảnh số hoặc 3….10 Cơ sở liệu ảnh luận văn gồm ảnh 26 SV khác lớp Điều khiển Tự động hóa K13A 21 SV SV lại lấy từ SV tự 58 Hình 3.1 Ảnh gốc sở liệu 59 3.2.2 Lưu đồ kiểm tra thí sinh Bắt đầu Khởi tạo chương trình SLKT:=0 Chụp ảnh từ Webcam nhận dạng Đúng Sai Kiểm tra kết nhận dạng ? SLKT:= SLKT +1