Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT&TT THÁI NGUYÊN PHẠM VĂN DŨNG MẠNG NƠRON TRONG BÀI TOÁN NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Dương Chính Cương THÁI NGUYÊN, 2016 i LỜI CAM ĐOAN Tên là: Phạm Văn Dũng Sinh ngày: 13/06/1986 Học viên lớp cao học CK13A - Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Hiện công tác tại: Liên đoàn Lao động tỉnh Hà Nam Xin cam đoan: Đề tài “Mạng nơron toán nhận dạng khuôn mặt ứng dụng” Thầy giáo TS Dương Chính Cương hướng dẫn công trình nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tác giả xin cam đoan tất nội dung luận văn nội dung đề cương yêu cầu thầy giáo hướng dẫn Nếu sai hoàn toàn chịu trách nhiệm trước hội đồng khoa học trước pháp luật Thái Nguyên, ngày 15 tháng 05 năm 2016 TÁC GIẢ LUẬN VĂN Phạm Văn Dũng ii LỜI CẢM ƠN Sau thời gian nghiên cứu làm việc nghiêm túc, động viên, giúp đỡ hướng dẫn tận tình Thầy giáo hướng dẫn TS Dương Chính Cương, luận văn với đề tài “Mạng nơron toán nhận dạng khuôn mặt ứng dụng” hoàn thành Tôi xin bày tỏ lòng biết ơn sâu sắc đến: Thầy giáo hướng dẫn TS Dương Chính Cương tận tình dẫn, giúp đỡ hoàn thành luận văn Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ suốt trình học tập, thực hoàn thành luận văn TÁC GIẢ LUẬN VĂN Phạm Văn Dũng iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii MỤC LỤC iii DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii DANH MỤC CÁC TỪ VIẾT TẮT ix LỜI MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT 1.1.1 Mô tả toán nhận dạng khuôn mặt 1.1.2 Hệ thống nhận dạng khuôn mặt 1.1.3 Một số ứng dụng hệ thống nhận dạng khuôn mặt 1.1.4 Ứng dụng hệ thống nhận dạng khuôn mặt toán nhận dạng thí sinh dự thi 1.2.1 Theo định hướng tìm cách trích chọn đặc trưng 1.2.2 Theo định hướng định 10 1.3.1 Phương pháp PCA 11 1.3.1.1 Nguyên lý chung 11 1.3.1.2 Nội dung thuật toán PCA 12 1.3.1.3 Áp dụng PCA vào trích chọn vector đặc tính cho toán nhận dạng khuôn mặt 14 1.3.1.4 Đánh giá thuật toán 16 1.3.2 Phương pháp phân tách tuyến tính – LDA 16 1.3.2.1 Nguyên lý chung 16 1.3.2.2 Nội dung thuật toán 17 1.3.2.3 Áp dụng LDA vào trích chọn vector đặc tính cho toán nhận dạng khuôn mặt 18 1.3.2.4 Đánh giá thuật toán 20 iv 1.3.3 Phương pháp EBGM (Elastic Bunch Graph Matching) 20 1.3.3.1 Nguyên lý chung 20 1.3.3.2 Nội dung thuật toán 22 1.3.3.3 Áp dụng EBGM vào trích chọn vector đặc tính cho toán nhận dạng khuôn mặt 26 1.3.3.4 Đánh giá thuật toán 27 1.4.1 Thuật toán sử dụng mạng Nơron 27 1.4.2 Thuật toán SVM 28 CHƯƠNG NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON MLP 30 2.1.1 Mạng nơron sinh học 30 2.1.2 Mạng nơron nhân tạo 31 2.1.2.1 Nơron nhân tạo 31 2.1.2.2 Mạng nơron nhân tạo 32 2.1.2.3 Các ứng dụng mạng nơron 33 2.1.3 Mô hình toán học kiến trúc mạng nơron 34 2.1.3.1 Mô hình toán học nơron nhân tạo 34 2.1.3.2 Cấu trúc mạng nhân tạo 35 2.1.3.3 Hàm truyền (Hàm hoạt hoá) 36 2.1.4 Huấn luyện mạng nơron 37 2.1.4.1 Học có giám sát 37 2.1.4.2 Học giám sát 37 2.1.4.3 Học tăng cường 38 2.2.1 Mạng perceptron 38 2.2.1.1 Kiến trúc mạng 38 2.2.1.2 Huấn luyện mạng 39 2.2.1.3 Khả ứng dụng cho nhận dạng ảnh 42 2.2.2 Mạng perceptron đa lớp 43 2.2.2.1 Kiến trúc mạng 43 v 2.2.2.2 Huấn luyện mạng 44 2.2.2.3 Khả ứng dụng cho nhận dạng ảnh 48 2.4.1 Sơ đồ hệ thống nhận dạng thí sinh 52 2.4.2 Xây dựng vector đặc trưng 53 2.4.3 Phân lớp mạng nơron truyền thẳng nhiều lớp MLP 55 CHƯƠNG XÂY DỰNG PHẦN MỀM MÔ PHỎNG NHẬN DẠNG THÍ SINH DỰ THI 56 3.2.1 Cơ sở liệu ảnh 57 3.2.2 Lưu đồ kiểm tra thí sinh 59 3.2.3 Môi trường cài đặt 59 3.2.4 Cài đặt 60 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 66 TÀI LIỆU THAM KHẢO 68 vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Mô hình toán nhận dạng mặt người Hình 1.2 Cấu trúc tổng quát hệ thống nhận dạng khuôn mặt [2] Hình 1.3 Các hướng tiếp cận trích chọn đặc trưng nhận dạng khuôn mặt [3] Hình 1.4 Không gian (p1,p2) theo hướng phân bố mạnh vector không gian (x1,x2) tìm theo PCA [6] 11 Hình 1.5 Dạng vector tạo từ ảnh khuôn mặt [6] 14 Hình 1.6 Ảnh gốc sở liệu ORL 15 Hình 1.7 Ảnh sau biến đổi theo PCA 16 Hình 1.8 Ví dụ minh họa LDA [8] 17 Hình 1.9 Ảnh sau biến đổi theo LDA 19 Hình 1.10 Mô hình lưới khuôn mặt khác [14] 21 Hình 1.11 Cosine Gabor wavelet Sin Cosine Gabor wavelet đại diện cho phần thực phần ảo biến đổi Wavelet [5] 22 Hình 1.12 Tạo Gabor Jet từ biến đổi Gabor wavelet [14] 24 Hình 1.13 Đồ thị Gabor Jet [14] 24 Hình 2.1 Cấu trúc nơron sinh học 30 Hình 2.2 Nơron nhân tạo 32 Hình 2.3 Mô hình toán học mạng nơron nhân tạo 34 Hình 2.4 Nơron đầu vào với hàm hoạt hoá hàm hardlimit 36 Hình 2.5 Học có giám sát 37 Hình 2.6 Học giám sát 37 Hình 2.7 Học tăng cường 38 Hình 2.8 Kiến trúc mạng Perceptron 38 Hình 2.9 Biên định không gian mẫu 40 Hình 2.10 Không gian mẫu khả tách tuyến tính 41 Hình 2.11 Không gian mẫu không khả tách tuyến tính 42 Hình 2.12 Phân tách không gian mẫu với mạng Perceptron nơron lớp 43 Hình 2.13 Mạng Perceptron đa lớp (MLP) 43 Hình 2.14 Mạng MLP giải toán XOR 44 vii Hình 2.15 Không gian mẫu 48 Hình 2.16 Phân lớp mẫu với mạng MLP lớp 49 Hình 2.17 Sơ đồ hệ thống nhận dạng thí sinh sử dụng Gabor wavelet MLP 52 Hình 2.18 Lưu đồ trích chọn đặc trưng hình ảnh khuôn mặt 53 Hình 2.19 Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt 55 Hình 3.1 Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt Error! Bookmark not defined Hình 3.1 Ảnh gốc sở liệu 58 Hình 3.2 Giao diện chương trình ứng dụng 61 Hình 3.3 Giao diện chương trình Tạo sở liệu từ webcam 62 Hình 3.4 Giao diện chương trình Tạo sở liệu từ nguồn ảnh tĩnh 62 Hình 3.5 Giao diện chương trình Tạo vector đặc trưng 63 Hình 3.6 Phần thực, ảo, biên độ lọc Gabor ảnh đặc trưng qua lọc 63 Hình 3.7 Kết luyện mạng nơron kiểm tra 64 viii DANH MỤC BẢNG BIỂU Bảng 2.2 Một số công trình công bố sử dụng mạng nơron cho nhận dạng khuôn mặt 50 Bảng 3.1 Các module chương trình 60 ix DANH MỤC CÁC TỪ VIẾT TẮT Từ cụm từ Từ tiếng Anh Từ tiếng Việt Cơ sở liệu CSDL EBGM Elastic Bunch Graph Matching Phương pháp đồ thị đàn hồi FR Face Recognition Nhận dạng khuôn mặt FRS Face Recognition System Hệ thống nhận dạng khuôn mặt LDA Linear Discriminant Analysis Phương pháp phân tích khác biệt tuyến tính NN Neural Network Mạng Nơron PCA Principal Component Analysis Phương pháp phân tích thành phần SVM Support Vector Machine Học máy véc tơ hỗ trợ 55 2.4.3 Phân lớp mạng nơron truyền thẳng nhiều lớp MLP Việc phân lớp thực sử dụng mạng nơron truyền thẳng nhiều lớp Hình 2.19 Các bước hoạt động luật học loại mạng nơron luận văn trình bày phần 2.2.2 Trong trường hợp này, luận văn lựa chọn sử dụng hai lớp ẩn Số lượng node lớp ẩn lựa chọn dựa theo phương pháp thử sai nhằm tìm cấu trúc mạng tối ưu Quá trình dễ dàng thực nhờ hỗ trợ câu lệnh toolbox Matlab mạng nơron Lớp vào Lớp ẩn Lớp ẩn wjj x1 Lớp wjk x2 xq ● ● ● ● ● ● ● ● Outputs Các vector đặc trưng Gabor wavelet x=[1,q] i=[1,n] j=[1,m] k=[1,l] Hình 2.19 Mạng nơron truyền thẳng nhiều lớp MLP cho nhận dạng khuôn mặt Kết luận chương Có thể thấy rằng, mạng nơron công cụ hữu hiệu việc xử lý lớp toán phi tuyến phức tạp Đặc biệt toán phân lớp đối tượng phi tuyến Chính vậy, nội dung chương trình bày kiến thức tổng quan cho việc xây dựng loại mạng nơron thực thuật toán học nhằm điều chỉnh trọng số node mạng cho sai số đầu nhỏ Bên cạnh đó, để đưa định hợp lý cho ứng dụng mạng nơron giải toán nhận dạng thí sinh, nội dung chương cập nhật công trình công bố gần đề xuất mô hình kết hợp sử dụng Gabor wavalet cho việc trích chọn đặc trưng sử dụng mạng nơron lan truyền ngược sai số cho thao tác phân lớp Hiệu mô hình kiểm chứng thông qua phần mềm ứng dụng xây dựng Matlab R2015a trình bày chi tiết chương 56 CHƯƠNG XÂY DỰNG PHẦN MỀM MÔ PHỎNG NHẬN DẠNG THÍ SINH DỰ THI Đặt vấn đề Như đề cập chương 1, mục tiêu luận văn xây dựng phần mềm nhận dạng thí sinh dự thi Đây công cụ quan trọng Quy trình thực chống gian lận thi cử thực theo quy định Bộ Giáo dục Đào tạo Đối với Trường Đại học Công nghệ Thông tin Truyền thông, để kiểm soát việc thi hộ kỳ thi Phòng Khảo thí Đảm bảo chất lượng giáo dục thường yêu cầu môn thi tự luận bố trí phòng thi có cán coi thi, môn thi vấn đáp bố trí phòng thi có cán (2 giảng viên hỏi/chấm thi cán gọi sinh viên vào phòng thi giám sát), môn thi trắc nghiệm máy tính bố trí phòng thi có người (1 giảng viên, cán phòng thực hành, chuyên viên phòng Khảo thí Đảm bảo chất lượng giáo dục) Để giảm bớt thời gian xử lý công việc cho cán coi thi, tăng độ xác xử lý thông tin như: thí sinh quên thẻ sinh viên, ảnh nhòe, ảnh cũ ảnh bị thay không đóng dấu giáp lai khó nhận dạng tránh bỏ lọt đối tượng thi hộ anh em giống nhau, sinh viên trường, sinh viên trường Vì ý tưởng xây dựng phần mềm ứng dụng nhận dạng khuôn mặt nhằm tháo gỡ tình trạng học hộ, đặc biệt thi hộ mong muốn giảm bớt quy trình coi thi, với tính xác cao mang lại hiệu công việc Quy trình thực sau:  Bước 1: Thu thập liệu ảnh sinh viên Trước kỳ thi sinh viên gửi cho nhà trường 10 hình ảnh khuôn mặt (trạng thái bình thường, vui vẻ, buồn, góc khác khuôn mặt…) thông tin như: họ tên, ngày sinh, lớp, mã số sinh viên Tập tên ảnh gửi có định dạng MSSV-[1,2,3, …], MSSV mã số sinh viên, sau ký tự “-“ số 1, 2, … tương ứng với ảnh số hoặc 3… Ảnh chụp độ phân giải 3Mpx Sau xác thực ảnh đưa vào sở liệu Sinh viên gặp trực tiếp người phụ trách để thu thập thông tin ảnh từ Camera 57  Bước 2: Nhập liệu thi trước buổi thi Trước lần thi, người phụ trách nhập danh sách thí sinh thi tương ứng với phòng thi, danh sách nhập từ file Excel tải vào máy tính  Bước 3: Quy trình phòng thi Tại phòng thi chương trình nhận dạng dựa liệu từ máy tính Trước lần thi cần kiểm tra hệ thống nhận dạng: camera, ánh sáng… Yêu cầu thí sinh đứng trực diện, ngắn trước Camera Nếu nhận dạng thành công thí sinh vào thi, nhận dạng lần không thành công thí sinh cần xuất trình thẻ sinh viên (hoặc chứng minh thư) để cán coi thi đối chiếu (Hình 3.1) Nếu không nhận dạng thành công; Trường hợp 1: Là sinh viên trường, không mang thẻ sinh viên, chứng minh nhân dân hay giấy tờ tùy thân chứng minh sinh viên, sinh viên lớp trưởng viết giấy cam đoan sinh viên lớp sau buổi thi phải đến phòng công tác quản lý học sinh, sinh viên xin giấy xác minh thông tin sinh viên lớp đó, mã sinh viên, vào thi Trường hợp 2: Không phải sinh viên trường, thẻ sinh viên, có chứng minh nhân dân giấy tờ tùy thân thay ảnh lớp trưởng không xác minh sinh viên lớp sinh viên không vào thi, bị cán coi thi giữ lại gọi bảo vệ lên xác minh sinh viên bị xử lý theo quy chế Xây dựng chương trình ứng dụng 3.2.1 Cơ sở liệu ảnh Để lấy sở liệu ảnh thông tin sinh viên Các sinh viên đến gặp trực tiếp cán phụ trách gửi ảnh chụp sẵn cho cán phụ trách để thu thập liệu ảnh thông tin sinh viên như: tên, ngày sinh, mã sinh viên, lớp Với sinh viên thu thập 10 hình ảnh khuôn mặt (với góc nghiêng khác nhau, trạng thái khác cười không cười, đeo kính không, miệng mở đóng …), tập tên ảnh gửi có định dạng MSSV-[1,2,3, …10], MSSV mã số sinh viên, sau ký tự “-“ số 1, 2, …10 tương ứng với ảnh số hoặc 3….10 Cơ sở liệu ảnh luận văn gồm ảnh 26 SV khác lớp Điều khiển Tự động hóa K13A 21 SV SV lại lấy từ SV tự 58 Hình 3.1 Ảnh gốc sở liệu 59 3.2.2 Lưu đồ kiểm tra thí sinh Bắt đầu Khởi tạo chương trình SLKT:=0 Chụp ảnh từ Webcam nhận dạng Đúng Kiểm tra kết nhận dạng ? Sai SLKT:= SLKT +1 [...]... khuôn mặt - Giới thiệu bài toán nhận dạng khuôn mặt; Bài toán nhận diện thí sinh; Tổng kết và đánh giá một số phương pháp nhận dạng khuôn mặt ứng dụng trong thực tế  Chương 2: Nhận dạng khuôn mặt sử dụng mạng nơron MLP - Nghiên cứu về lý thuyết mạng nơron MLP; Cập nhật một số phương pháp sử dụng mạng nơron trong bài toán nhận dạng khuôn mặt; Đánh giá ưu nhược điểm của mỗi phương pháp; Ứng dụng thuật toán. .. các ứng dụng của phương pháp nhận dạng khuôn mặt sử dụng mạng nơron - Phân tích bài toán, lựa chọn thuật toán, thiết kế và cài đặt thử nghiệm phần mềm mô phỏng nhận dạng thí sinh dự thi ứng dụng mạng nơron Chính vì vậy, đối tượng của luận văn là: Các phương pháp nhận dạng khuôn mặt sử dụng mạng nơron Về phạm vi nghiên cứu: luận văn sẽ khảo sát và đánh giá một số phương pháp thường dùng trong nhận dạng. .. lưu trong máy về một số người (Hình 1.1), bài toán nhận dạng là làm sao để khi đưa ảnh khuôn mặt của một người bất kỳ vào thì máy sẽ tự động nhận dạng ra người này trong cơ sở dữ liệu 5 Cơ sở dữ liệu Ảnh truy vấn Kết quả tìm được Hình 1.1 Mô hình bài toán nhận dạng mặt người 1.1.2 Hệ thống nhận dạng khuôn mặt Nhiệm vụ của hệ thống nhận dạng khuôn mặt là xử lý tự động thông tin từ các ảnh khuôn mặt. .. Một trong những bài toàn nhận dạng con người được quan tâm nhất hiện nay đó là nhận dạng qua khuôn mặt [8] Thực tế, ngay từ xa xưa, nhận dạng khuôn mặt đã là cách thức truyền thống để con người nhận ra nhau Với sự phát triển vượt bậc của ngành công nghệ thông tin, vào những năm 60 của thế kỷ trước, các nhà khoa học đã nghiên cứu sử dụng máy tính vào việc nhận dạng khuôn mặt Tuy nhận dạng khuôn mặt. .. 2 Vì những lý do trên, đề tài: Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng được lựa chọn làm đề tài nghiên cứu luận văn tốt nghiệp thạc sĩ chuyên ngành Khoa học máy tính 2 Mục tiêu, đối tượng và phạm vi nghiên cứu của đề tài Đề tài nhằm thực hiện các mục tiêu sau: - Nghiên cứu tổng quan và đánh giá một số phương pháp thông dụng trong nhận dạng khuôn mặt như: PCA, LDA, EBGM, SVM, NN…... hoạt động ổn định và có tính thích nghi cao khi dữ liệu đầu vào thay đổi nhiều Đối với việc giải bài toán nhận dạng khuôn mặt sử dụng mạng nơron, tùy từng yêu cầu cụ thể của bài toán thực tế mà người thiết kế phải trả lời rất nhiều câu hỏi như: Lựa chọn cấu trúc mạng nơron nào? Số lượng các lớp cũng như các nơron trong mỗi lớp? Sử dụng thuật toán học nào để điều chỉnh các trọng số của mạng? Chính vì vậy,... yêu cầu kiểm tra các đặc trưng của khuôn mặt so với thẻ để biết có phải là chủ thẻ hay không 8 1.1.4 Ứng dụng của hệ thống nhận dạng khuôn mặt trong bài toán nhận dạng thí sinh dự thi Hiện tượng gian lận trong Giáo dục nói chung và hiện tượng gian lận trong học hộ, thi hộ nói riêng là vấn đề nan giải và được bàn cãi nhiều đặc biệt là trước, trong và sau mỗi kỳ thi Trong các trường Đại học, Cao đẳng,... khuôn mặt để tìm ra độ tương tự giữa các khuôn mặt và đưa ra quyết định về tính đồng nhất giữa chúng Cấu trúc của hệ thống nhận dạng khuôn mặt được thể hiện như Hình 1.2 và gồm các khâu chức năng sau [2] : Hình 1.2 Cấu trúc tổng quát của hệ thống nhận dạng khuôn mặt [2] - Phát hiện khuôn mặt (face detection) : Phát hiện khuôn mặt sẽ lấy ra tất cả các khuôn mặt trong một hình ảnh Chức năng này làm nhiệm... cầu có thể giải quyết được; - Đơn giản trong việc cài đặt, lựa chọn thiết bị và vận hành An toàn với người sử dụng 7 1.1.3 Một số ứng dụng của hệ thống nhận dạng khuôn mặt Hệ thống nhận dạng khuôn mặt đã và đang được áp dụng trong rất nhiều lĩnh vực của đời sống xã hội Chúng ta có thể liệt kê một số ứng dụng tiêu biểu như sau: - Hệ thống tương tác giữa người và máy: sẽ giúp những người tàn tật hoặc... dùng trong nhận dạng khuôn mặt sử dụng mạng nơron; Lựa chọn phương pháp phù hợp nhất đối với bài toán nhận dạng thí sinh dự thi; Tập trung sâu vào cài đặt thử nghiệm phần mềm nhằm chứng minh tính đúng đắn và khả năng ứng dụng trong thực tế của phương pháp lựa chọn 3 Phương pháp luận nghiên cứu - Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu các tài liệu về nhận dạng khuôn mặt; Nghiên cứu các ... QUAN VỀ NHẬN DẠNG KHUÔN MẶT 1.1.1 Mô tả toán nhận dạng khuôn mặt 1.1.2 Hệ thống nhận dạng khuôn mặt 1.1.3 Một số ứng dụng hệ thống nhận dạng khuôn mặt 1.1.4 Ứng dụng hệ... Giới thiệu toán nhận dạng khuôn mặt; Bài toán nhận diện thí sinh; Tổng kết đánh giá số phương pháp nhận dạng khuôn mặt ứng dụng thực tế  Chương 2: Nhận dạng khuôn mặt sử dụng mạng nơron MLP - Nghiên... thông dụng nhận dạng khuôn mặt như: PCA, LDA, EBGM, SVM, NN… - Tập trung làm rõ sở lý thuyết ứng dụng phương pháp nhận dạng khuôn mặt sử dụng mạng nơron - Phân tích toán, lựa chọn thuật toán,