(Luận văn thạc sĩ) nghiên cứu phương pháp nhận diện khuôn mặt và ứng dụng cho điểm danh sinh viên

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - MAI NGỌC HUYNH NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG CHO ĐIỂM DANH SINH VIÊN ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI-2023 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - MAI NGỌC HUYNH NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG CHO ĐIỂM DANH SINH VIÊN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN NGỌC ĐIỆP HÀ NỘI-2023 i LỜI CAM ĐOAN Em xin cam đoan đề án công trình nghiên cứu cá nhân em, thực sở nghiên cứu lý thuyết, thực tế hướng dẫn TS Nguyễn Ngọc Điệp Các số liệu, kết nêu đề án trung thực chưa công bố cơng trình khác Hà Nội, Ngày tháng năm 2023 Học viên thực Mai Ngọc Huynh ii LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn đến TS Nguyễn Ngọc Điệp tận tình dạy hướng dẫn em việc lựa chọn đề tài, thực đề tài viết báo cáo đề án Sự hỗ trợ thầy giúp em hoàn thành tốt đề án Em xin gửi lời cảm ơn đến tất thầy cô giáo Trường Học viện Công nghệ Bưu Viễn thơng tận tình dạy dỗ bảo suốt năm học em Cuối cùng, em xin cảm ơn gia đình, bạn bè đồng nghiệp người bên cạnh, động viên giúp đỡ em suốt thời gian học tập làm đề án Nhờ có hỗ trợ họ, em có mơi trường tốt để hồn thành đề án Dù cố gắng nghiên cứu khả phạm vi cho phép, chắn không tránh khỏi thiếu sót Em mong nhận góp ý thông cảm từ thầy cô bạn Xin chân thành cảm ơn! iii MỤC LỤC MỞ ĐẦU 1CHƯƠNG TỔNG QUAN VỀ BÀI TỐN NHẬN DIỆN KHN MẶT 1.1 Tổng quan nhận diện khuôn mặt 1.1.1 Giới thiệu toán nhận diện khuôn mặt 1.1.2 Các yêu cầu tổng quan toán nhận diện khuôn mặt 1.1.3 Phạm vi thách thức 1.2 Vai trò tầm quan trọng hệ thống điểm danh tự động trường đại học 1.3 Bài toán điểm danh sinh viên qua nhận diện khuôn mặt 1.4 Khảo sát số phương pháp nhận diện khuôn mặt .11 1.4.1 Phương pháp Viola-Jones 11 1.4.2 Phương pháp VGGFace 12 1.4.3 Phương pháp Eigenfaces .13 1.4.4 Đánh giá đề xuất giải pháp nhận diện khuôn mặt 14 1.5 Kết luận chương 16 CHƯƠNG NGHIÊN CỨU CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT 18 2.1 Nghiên cứu phương pháp phát khuôn mặt 18 2.1.1 Phương pháp Viola-Jones 18 2.1.2 Phương pháp Multi-task Cascaded Convolutional Networks (MTCNN)24 2.2 Nghiên cứu phương pháp nhận diện khuôn mặt 30 2.2.1 Phương pháp VGGFace 31 2.2.2 Phương pháp FaceNet 35 2.3 Đề xuất giải pháp nhận diện khn mặt để ứng dụng cho tốn điểm danh sinh viên 39 2.4 Kết luận chương 42 iv CHƯƠNG ỨNG DỤNG CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT TRONG ĐIỂM DANH SINH VIÊN .43 3.1 Thiết kế tổng thể hệ thống điểm danh sinh viên 43 3.1.1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 43 3.1.2 Mô hình triển khai dự kiến 47 3.1.3 Môi trường triển khai 47 3.1.4 Thiết kế ứng dụng .48 3.2 Thử nghiệm phương pháp đánh giá 51 3.2.1 Thu thập liệu đầu vào .51 3.2.2 Dữ liệu huấn luyện 52 3.2.3 Tham số liệu đầu vào .53 3.2.4 Quá trình huấn luyện 55 3.3 Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện sinh viên 57 3.3.1 Thực nghiệm .57 3.3.2 Kết thực nghiệm 60 3.4 Cài đặt, triển khai ứng dụng 62 3.4.1 Giao diện hình webcam nhận dạng khn mặt 62 3.4.2 Giao diện hình chức quản lý điểm danh sinh viên 63 3.4.3 Giao diện hình chức quản lý mơn học 63 3.4.4 Giao diện hình chức quản lý sinh viên 64 3.5 Kết luận chương 64 KẾT LUẬN 66 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 67 v DANH MỤC CÁC TỪ VIẾT TẮT Tên viết tắt CNN CSDL FC LDA Tiếng Anh Convolutional Neural Network Database Fully-connected Principal Components Analysis Tiếng Việt Mạng nơ-ron tích chập Cơ sở liệu Lớp kết nối đầy đủ Phân tích thành phần MLP Principal Components Analysis Mạng nơron truyền MTCNN Multi-task Cascaded thẳng nhiều lớp Kiến trúc mạng nơ-ron PCA Convolutional Networks Principal Components Analysis tích chập Phân tích thành phần Rectified Linear Unit Lớp phi tuyến ReLU vi DANH MỤC HÌNH ẢNH Hình 1-1 Tổng quan bước cho nhận diện khuôn mặt Hình 2-1 Tổng quan mơ hình hoạt động Viola-Jones 19 Hình 2-2 Đặc trưng Haar-like 20 Hình 2-3 Đặc trưng cạnh .20 Hình 2-4 Đặc trưng đường .20 Hình 2-5 Đặc trưng xung quanh tâm .21 Hình 2-6 Tính tích phân ảnh 21 Hình 2-7 Cách tính P(x,y) 22 Hình 2-8 Các bước loại khn mặt hay khơng 23 Hình 2-9 kết hợp phân loại yếu thành phân loại mạnh 23 Hình 2-10 Cấu trúc MTCNN 24 Hình 2-11 Kim tự tháp hình ảnh 26 Hình 2-12 Kernel tìm kiếm khn mặt 26 Hình 2-13 Mạng P-Net 27 Hình 2-14 Mạng R-Net 28 Hình 2-15 Mạng O-Net 29 Hình 2-16 Kiến trúc mơ hình VGGFace 32 Hình 2-17 Quá trình huấn luyện với Triple loss 33 Hình 2-18 Tạo Vector từ gương mặt .36 Hình 2-19 Mơ hình Inception resnet v1 36 Hình 2-20 Khoảng cách tuyệt đối hai Vector 38 Hình 3-1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 43 Hình 3-2 Mơ hình triển khai hệ thống 47 Hình 3-3 Sơ đồ huấn luyện phát khuôn mặt 48 Hình 3-4 Quy trình xác định khuôn mặt 49 Hình 3-5 Quy trình huấn luyện nhận diện khn mặt 49 Hình 3-6 Quy trình nhận diện khn mặt thực điểm danh .50 vii Hình 3-7 Database hệ thống điểm danh 50 Hình 3-8 Ví dụ ảnh người 51 Hình 3-9 Ảnh 12 khuôn mặt người đánh thứ tự từ đến 12 52 Hình 3-10 Dữ liệu huấn luyện nhận diện khuôn mặt [22] 52 Hình 3-11 Kết phát khuôn mặt tư khác 55 Hình 3-12 Độ xác nhận diện khn mặt [21] 56 Hình 3-13 Hệ thống nhận diện bình thường 57 Hình 3-14 Nhận diện khn mặt đeo kính .58 Hình 3-15 Thực nghiệm điều kiện thiếu ánh sáng 58 Hình 3-16 Thực nghiệm nhận diện nhiều khn mặt có điều kiện ánh sáng khác 59 Hình 3-17 Độ xác nhận diện Faces94 theo thư mục 61 Hình 3-18 Độ xác nhận diện lớp BA học viện VTI 61 DANH MỤC BẢNG Bảng Kết thực nghiệm 60 Bảng Kết thử nghiệm mơ hình tập liệu Yale, AT&T 61 MỞ ĐẦU Nhận diện khuôn mặt lĩnh vực quan trọng xử lý ảnh Và ngày nhận diện sử dụng rộng rãi nhiều lĩnh vực đời sống nhận diện lĩnh vực thương mại, hay phát lĩnh vực an ninh, hay xử lý video, ảnh Một ứng dụng tiêu biểu nhận diện sử dụng phổ biến nhận diện khuôn mặt người ứng dụng điện thoại di động cụ thể Iphone Samsung sử dụng Hiện có nhiều phương pháp nhận diện khác xây dựng để nhận diện người cụ thể giới thực Ta nói tới số phương pháp như: học máy học sâu Các phương pháp học máy truyền thống nhận diện khuôn mặt nhanh độ xác cịn hạn chế khơng nhạy cảm với biến thể khác khuôn mặt (nét mặt, biểu cảm, tư thế, v.v.) hay thay đổi ánh sáng môi trường Gần đây, phương pháp dùng mơ hình mạng nơ ron sâu FaceNet, DeepFace, … đề xuất có độ khả nhận diện khuôn mặt người tốt Dựa phương pháp học sâu tiên tiến này, toán nhận diện khuôn mặt người tiêu chuẩn giải với độ xác cao Tuy nhiên, cịn nhiều thách thức cần áp dụng giải toán nhận diện người thực tế, với nhiều điều kiện phức tạp Ví dụ nhận diện người qua khn mặt đeo trang bị che phần, nhận diện người đám đông di chuyển, với ánh sáng, góc quay chưa đảm bảo Ngồi ra, việc triển khai mơ hình học sâu để thành ứng dụng thực tế cần nhiều nỗ lực người phát triển Với phát triển giáo dục Việt Nam, số lượng sinh viên trường đại học ngày gia tăng, dẫn đến công tác quản lý khó khăn, phức tạp, địi hỏi hệ thống quản lý thông minh với ứng dụng trí tuệ