Xác thực khuôn mặt từ camera thiết bị di động và ứng dụng trong quá trình login vào phần mềm

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** XÁC THỰC KHUÔN MẶT TỪ CAMERA THIẾT BỊ DI ĐỘNG VÀ ỨNG DỤNG TRONG QUÁ TRÌNH LOGIN VÀO PHẦN MỀM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai, Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** XÁC THỰC KHUÔN MẶT TỪ CAMERA THIẾT BỊ DI ĐỘNG VÀ ỨNG DỤNG TRONG Q TRÌNH LOGIN VÀO PHẦN MỀM Chun ngành: Cơng nghệ thông tin Mã số: 8480201 Đồng Nai - Năm 2023 LỜI CAM ĐOAN Luận văn “Xác thực khuôn mặt từ camera thiết bị di động ứng dụng trình login vào phần mềm” cơng trình nghiên cứu cá nhân tôi, thực hướng dẫn khoa học PGS.TS Nội dung luận văn nghiên cứu riêng tơi, có tham khảo từ nhiều nguồn tài liệu Mọi nội dung tham khảo từ nguồn tài liệu trích dẫn thích đầy đủ Tơi xin chịu trách nhiệm luận văn Học viên LỜI CẢM ƠN Em xin gửi lời cảm ơn sâu sắc đến trường Đại học , quý thầy cô Khoa Sau đại học tận tình giảng dạy, truyền đạt kiến thức, kinh nghiệm quý báu đồng thời hỗ trợ, khích lệ cho em suốt thời gian nghiên cứu Trong suốt trình thực luận văn gặp nhiều khó khăn em ln nhận quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè người thân Đây nguồn động lực lớn giúp em hoàn thành luận văn Đặc biệt, em xin gửi lời cảm ơn chân thành đến thầy giúp em có kiến thức hữu ích để lựa chọn phát triển đề tài nghiên cứu, kĩ viết báo cáo luận văn thạc sĩ thầy người góp ý cho em đến việc lựa chọn đề tài Cuối cùng, em xin cảm ơn tất người luôn quan tâm, sẻ chia động viên em trình xây dựng luận văn từ bắt đầu hoàn thiện Mặc dù cố gắng để hoàn thành luận văn chắn khơng tránh khỏi thiếu sót Em mong nhận cảm thơng, góp ý tận tình q thầy Chân thành cảm ơn! TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA SAU ĐẠI HỌC TÓM TẮT LUẬN VĂN (Dùng cho học viên người hướng dẫn) Đề tài: Xác thực khuôn mặt từ camera thiết bị di động ứng dụng trình login vào phần mềm Ngành: Công nghệ thông tin Mã số: 8480201 Học viên: Người hướng dẫn: PGS.TS NỘI DUNG TÓM TẮT Nội dung giao kết mong đợi người hướng dẫn - Tìm hiểu đánh giá cơng trình ngồi nước để xác định vấn đề, cải tiến, áp dụng trình xây dựng luận văn - Nghiên cứu Deep Learning Framework để lựa chọn giải pháp phù hợp cho tốn cơng nghệ như: TensorFlow, ResNet, Keras,… - Nghiên cứu mạng Nơron thuật toán sử dụng nhận diện khuôn mặt - Nghiên cứu công nghệ nhận diện phát khuôn mặt: Arc Face, Retina Face - Xây dựng ứng dụng nhận diện khuôn mặt - Đánh giá độ xác, mức độ bảo mật việc nhận diện khuôn mặt so với công cụ login truyền thống Cách thức giải vấn đề - Nghiên cứu phương pháp, Framework thông dụng ResNet - Xây dựng API Kết nối nhận diện khuôn mặt với phần mềm thực dụng - Tiến hành thử nghiệm phân tích kết đạt Công Việc Khởi tạo đề tài Mô tả - Tiếp nhận đề tài, tìm hiểu khát qt - Mơ tả phương án tổng quan Nghiên cứu tình hình nước - Đánh giá mức độ khả thi, điểm mạnh hạn chế cơng trình nghiên cứu - Mô tả thông tin chung phương pháp nhận diện sinh trắc học Tìm hiểu tổng quan sinh trắc học Tìm hiểu framework - Nêu lý chọn nhận diện khuôn mặt mà không sử dụng phương pháp khác - Tìm hiểu kỹ thuật ứng dụng - Tìm hiểu Deep learning, ResNet - Sử dụng mô trường lập trình Visual Studio 2019 để thực Ứng dụng thiết kế - Tạo mơ hình huấn luyện server th (có tích hợp GPU) - Thiết kế chi tiết phần mềm bao gồm thiết kế liệu, xử lí giao diện Xây dựng cài đặt Kiểm tra thử nghiệm hệ thống - Phân tích giải pháp, lựa chọn công cụ thực - Ứng dụng kết nối API nhận diện khuôn mặt vào toán thực tế - Test thử, rà soát lỗi - Đánh giá mức độ hiệu Đánh giá mặt khoa học kết - Luận văn hệ thống hoá lý thuyết liên quan tới tốn nhận diện khn mặt, đặc biệt trình bày chi tiết thuật toán máy học cho toán - Luận văn nghiên cứu thư viện, phương pháp liên quan Đồng thời cụ thể hóa việc sử dụng kĩ thuật nhận diện khn mặt tốn - Xây dựng mơ hình huấn luyện với độ xác cao (> 90%) - Thiết kế ứng dụng nhận diện sinh trắc học, kết nối vào thực tiễn Những vấn đề tồn so với nội dung giao - Chưa có thời gian hồn thiện phát triển thêm tính mở rộng (Phát cử chỉ, điểm danh khuôn mặt…) - Chưa đảm bảo kinh phí th server có tích hợp GPU (bị giới hạn thời gian thuê nên xác xuất huấn luyện chưa đạt 100%) - Luận văn chưa xóa liệu khn mặt cũ để nhận diện lại người dùng xóa/ thay đổi tài khoản Ngày NGƯỜI HƯỚNG DẪN PGS.TS tháng năm 2023 HỌC VIÊN MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC TỪ VIẾT TẮT DANH MỤC BẢNG DANH MỤC HÌNH ẢNH MỞ ĐẦU Chương TỔNG QUAN 1.1 Khái niệm tổng quan liên quan đến sinh trắc học 1.1.1 Khái niệm 1.1.2 Các loại sinh trắc học phổ biến 1.2 Tổng quan cơng trình liên quan ngồi nước 1.2.1 Đề tài nước 1.2.2 Đề tài nước 1.2.3 Tầm quan trọng việc ứng dụng thực tiễn 1.2.4 Mục tiêu luận văn 1.2.5 Đối tượng phạm vi nghiên cứu 10 1.2.6 Nội dung Bố cục luận văn 10 1.3 Kết luận chương 10 Chương BÀI TOÁN VỀ NHẬN DIỆN KHUÔN MẶT 11 2.1 Khái niệm tổng quan liên quan đến nhận diện khuôn mặt 11 2.1.1 Khái niệm 11 2.1.2 Đặc điểm cách thức hoạt động 13 2.2 Những ưu nhược điểm q trình nhận diện khn mặt 17 2.2.1 Ưu điểm 17 2.2.2 Nhược điểm 18 2.3 Kết luận chương 18 Chương 3.1 CÁC PHƯƠNG PHÁP, MƠ HÌNH HỌC MÁY LIÊN QUAN 19 Mơ hình ArcFace 19 3.2 RetinaFace 22 3.3 Mạng ResNet 26 3.4 Thuật toán k-NN (K-nearest neighbor) 30 3.5 TensorFlow Keras 32 3.6 Kết luận chương 34 Chương THỰC NGHIỆM, ỨNG DỤNG NHẬN DIỆN KHN MẶT VÀO BÀI TỐN THỰC TIỄN 35 4.1 Q trình tạo mơ hình nhận dạng 35 4.1.1 Dataset 35 4.1.2 Huấn luyện mơ hình 36 4.2 Xây dựng ứng dụng thực tiễn 44 4.2.1 Đặc tả chức ứng dụng 45 4.2.2 Mơ hình xây dựng 51 4.2.3 Mơi trường xây dựng tích hợp 53 4.2.4 Xây dựng API tích hợp ứng dụng 55 4.2.5 Giao diện vận hành ứng dụng 57 4.3 Kết luận chương 65 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 66 TÀI LIỆU THAM KHẢO 68 DANH MỤC TỪ VIẾT TẮT API Application Programming Interface AI Artificial Intelligence CNN Convolutional Neural Network DCNN Deep Convolutional Neural Network K-NN K-nearest neighbors LFW Labeled Faces in the Wild dataset CFP-FP AgeDB MTCNN ResNet Tf TFDBG Celebrities in frontal-profile dataset Image dataset by age (The minimum and maximum age is and 101) Multi-task Cascaded Convolutional Networks Residual Network TensorFlow TensorFlow Debugging 56 Phương thức Mô tả Đầu vào: Nhận vào thông tin đăng nhập Đăng nhập Đầu ra: Trả khn mặt có hay khơng Nếu cho phép đăng nhập, sai thông báo lỗi (yêu cầu thực lại) Đầu vào: Nhận thông tin thêm tài khoản Thêm tài khoản Đầu ra: Trả thông tin xác nhận thêm thành công (Nếu tài khoản tồn tại, thực lại) Đầu vào: Nhận thông tin cập nhật tài khoản Cập nhật tài khoản Đầu ra: Trả thông tin xác nhận cập nhật thông tin thành công Luồng xử lý: Hình 4.14: Luồng xử lý đăng nhập Hình 4.15: Luồng xử lý thêm tài khoản 57 Hình 4.16: Luồng xử lý cập nhật tài khoản 4.2.5 Giao diện vận hành ứng dụng Hình 4.17: Giao diện phần mềm Tiến hành đăng nhập vào tài khoản quản trị để khởi tạo tài khoản cho người dùng 58 Hình 4.18: Giao diện danh sách người dùng Bước 1: Chọn để thực khởi tạo tài khoản Bước 2: Điền đầy đủ thơng tin theo hình 4.19 Hình 4.19: Form thêm tài khoản 59 Hệ thống thông báo thành công Bước 3: Chọn chức để upload liệu khuôn mặt người dùng Nếu thêm thành công, hệ thống thông báo: Nếu thêm thất bại, hệ thống thông báo: Bước 4: Kiểm tra trạng thái tài khoản tạo Trường hợp 1: Nếu cột nhận diện có trạng thái , tức liệu hình ảnh người dùng chưa đồng Tiến hành thực lại bước Trường hợp 2: Nếu cột nhận diện có trạng thái , tức liệu hình ảnh người dùng đồng Có thể tiến hành đăng nhập mà không cần mật 60 Bắt đầu tiến hành thử nghiệm kết thực tế: Tiến hành chọn vào chức “đăng nhập khn mặt” Hình 4.20: Giao diện đăng nhập có tích hợp nhận diện Hình 4.21: Nhận diện khn mặt qua webcam Nhấn “Đăng nhập” 61 Hệ thống tiến hành phân tích nhận diện khn mặt Thời gian nhận diện thấp 3s Hình 4.22: Hệ thống phân tích khuôn mặt Trường hợp 1: Chưa tồn liệu khn mặt hệ thống Hình 4.23: Trường hợp chưa tồn khn mặt Phần mềm có thơng báo “đăng nhập không thành công” 62 Trường hợp 2: Đã tồn liệu khuôn mặt hệ thống Khớp với liệu khuôn mặt CSDL Hệ thống tự động đăng nhập thẳng vào phần mềm Hình 4.24: Trường hợp đăng nhập thành công Trường hợp 3: Người dùng Dữ liệu khơng nằm hệ thống Hình 4.25: Thơng báo liệu ngồi hệ thống Phần mềm có thơng báo “đăng nhập khơng thành cơng” Kết thực nghiệm: Bảng 4.7: Bảng mô tả kết thực nghiệm liệu hệ thống 63 Lần Người dùng Điều kiện Nhìn thẳng Thành Thất cơng bại Ghi x Lỗi chưa xóa liệu xóa tài khoản Quốc Việt Nhìn nghiêng server (khơng ảnh x hưởng đến kết thực nghiệm) Nhìn thẳng x Nhìn nghiêng x Nhìn thẳng x Nhìn nghiêng x Nhìn thẳng x Nhìn nghiêng x Nhìn thẳng x 10 Nhìn nghiêng x 11 Nhìn thẳng x Nhìn nghiêng x Kiên Giang Đình Tân Cao Sơn Thị Nhài Tuấn Anh 12 Bảng 4.8: Bảng mô tả kết thực nghiệm liệu không tồn Lần Người dùng Xn Hồng Cơng Hiếu Điều kiện Thành Thất cơng bại Nhìn thẳng x Nhìn nghiêng trái x Nhìn nghiêng phải x Nhìn thẳng x Ghi 64 Nhìn nghiêng trái x Nhìn nghiêng phải x Nhìn thẳng x Nhìn nghiêng trái x Hồng Phú Nhìn nghiêng phải 10 Nhìn thẳng x Nhìn nghiêng trái x Nhìn nghiêng phải x 11 Huỳnh Vũ 12 x Mô tả lỗi tồn tại: Đã tồn liệu khuôn mặt hệ thống Tuy nhiên tài khoản bị xóa khơng thể đăng nhập - Đã tạo liệu khuôn mặt - Đã so khớp liệu thành công - Người dùng thực xóa tài khoản để import lại - Dữ liệu gửi server xóa ln ID khn mặt dẫn đến khơng thể đồng lại tài khoản Hình 4.26: Trường hợp tồn khuôn mặt, liệu bị xóa 65 Đánh giá độ xác: Sau triển khai thực tế nơi làm việc, ứng dụng hoạt động ổn định với xác cao Tuy nhiên, số trường hợp xảy tình trạng nhận nhầm người với người (chiếm tỷ lệ thấp) Để giải việc này, ta thực chụp lại ảnh gây nhầm lẫn người dùng, thay đổi gốc chụp sau cập nhật lại ứng dụng Như vậy, dựa vào kết thực nghiệm trên: - Với điều kiện liệu đầu vào ảnh tồn hệ thống, ứng dụng login thành công 11/12 lần thử, đạt tỷ lệ 92% - Với điều kiện liệu đầu vào ảnh chưa tồn hệ thống, ứng dụng login thất bại 11/12 lần, đạt tỷ lệ 92% Bảng 4.9: Bảng đánh giá tỷ lệ Tập thử nghiệm Kết Login thành công Login thất bại Tỷ lệ Ảnh đầu vào từ camera (trong hệ thống) 12 lần 11 92% Ảnh đầu vào từ camera (ngoài hệ thống) 12 lần 11 92% So sánh với số nghiên cứu trước [2] với độ xác 82% [4] với độ xác 94,6% Như vậy, độ xác luận văn đạt mức chấp nhận Trong tương lai, bổ sung liệu đầy đủ với môi trường phần cứng ổn định cho kết tốt 4.3 Kết luận chương Trong chương cuối này, luận văn cụ thể hóa q trình đào tạo liệu Kết thu tương đối khả quan với độ xác mức chấp nhận Luận văn áp dụng phương pháp tốn xác thực khn mặt cuối hồn thành việc xây dựng ứng dụng thực tiễn, giúp ích công việc 66 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết đạt được: - Luận văn hệ thống hoá lý thuyết liên quan tới tốn nhận diện khn mặt, đặc biệt trình bày chi tiết thuật toán máy học cho toán - Nghiên cứu thuật toán nhận diện khuôn mặt, ứng dụng kỹ thuật để xác định khuôn mặt người dùng - Xây dựng module nhận diện khn mặt tích hợp vào ứng dụng thực tế, giúp giải nghiệp vụ, vấn đề khó khăn người sử dụng - Luận văn có tính ứng dụng vào thực tiễn cao Sau trình triển khai thử nghiệm nội đơn vị công tác, tất người dùng hài lịng với tính nhận diện khn mặt thay cho mật truyền thống Vấn đề bảo mật, lộ lọt mật giải triệt để, tạo thuận lợi trình làm việc người dùng Hạn chế: - Trong trình xây dựng, luận văn cịn nhiều hạn chế server cần phải tích hợp GPU cài đặt nhận diện khuôn mặt - Quá trình đào tạo liệu thời gian lâu - Q trình th server tốn chi phí cao, khơng gia hạn khơng thể remote vào để xử lý liệu - Chưa có thời gian hồn thiện phát triển thêm tính mở rộng (Phát cử chỉ, điểm danh khuôn mặt…) - Luận văn chưa xóa liệu khn mặt cũ để nhận diện lại người dùng xóa/ thay đổi tài khoản Hướng phát triển: 67 - Tiếp tục nghiên cứu thêm mơ hình thuật tốn nhận diện cử chỉ, cảm xúc người dùng - Tiếp tục phát triển chức phân tích cử người dùng giơ tay để chuyển thành chức biểu người dùng - Tiếp tục phát triển chức điểm danh TÀI LIỆU THAM KHẢO TÀI LIỆU TIẾNG VIỆT [1] Nguyễn Thanh Hải, Trịnh Thị Tuyết Lan, Trần Bảo Toàn, Phan Kim Yến Nhi, Trần Thanh Điền, Nguyễn Thái Nghe, 2020: Bài báo “Giải pháp điểm danh sinh viên nhận diện gương mặt với đặc trưng Haar-Like kết hợp thuật toán rừng ngẫu nhiên” Hội thảo: Hội nghị lần thứ Công nghệ thơng tin Ứng dụng [2] Nguyễn Thế Thụy, năm 2015: “Phát nhận diện khuôn mặt từ camera, ứng dụng điểm danh”; Trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên [3] Nguyễn Thị Thủy, 2018: “Phương pháp nhận diện khuôn mặt người ứng dụng quản lý nhân sự”; Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội [4] Nguyễn Cơng Hịa, 2020: “Nghiên cứu học sâu nhận diện khuôn mặt ứng dụng cho toán điểm danh tự động học sinh”; Học viện Cơng nghệ Bưu Viễn thơng TÀI LIỆU TIẾNG ANH [5] Y Sun, X Wang, and X Tang, “Deep learning face representation by joint identification-verification,” CoRR abs/1406.4773, (2014) [6] Florian Schroff; Dmitry Kalenichenko; James Philbin, “Facenet: A unified embedding for face recognition and clustering” CoRR abs/1503.03832, (2015) [7] Jielong Tang, Xiaotian Zhou, and Jiawei Zheng: “Design of Intelligent classroom facial recognition based on Deep Learning”, February 2019Journal of Physics Conference Series 1168(2):022043 DOI:10.1088/1742- 6596/1168/2/022043, License CC BY 3.0 [8] Ara V.Nefian Monson H.Hayes III (4/10/1998) – Face detection and recognition using hidden markov models Computer Science Proceedings 1998 International Conference on Image Processing ICIP98 (Cat No.98CB36269) [9] Shang-Hung Lin; Sun-Yuan Kung; Long-Ji Lin - Face recognition/detection by probabilistic decision-based neural network, January 1997, Published in: IEEE Transactions on Neural Networks ( Volume: 8, Issue: 1, January 1997), Department of Electrical Engineering, Princeton University, Princeton, NJ, USA, pp 114 - 132 [10] I.Yugashini, S.Vidhyasri, K.Gayathri Devi - Design And Implementation Of Automated Door Accessing System With Face Recognition (International Journal of Science and Modern Engineering (IJISME) ISSN: 23196386,Volume-1, Issue-12, November 2013) [11] Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou, ArcFace: Additive Angular Margin Loss for Deep Face Recognition Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp 4690-4699 [12] Jiankang Deng, J Guo, Evangelos Ververas, I Kotsia, S Zafeiriou, RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild Published Computer Science 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020 [13] Kaiming He, X Zhang, Shaoqing Ren, Deep Residual Learning for Image Recognition, 2015 Computer Science 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [14] Sergio Antonio Sánchez Hernández, H J Romero, 2020, A review: Comparison of performance metrics of pretrained models for object detection using the TensorFlow framework, IOP Conference Series Materials Science and Engineering 844:012024 DOI:10.1088/1757-899X/844/1/012024 LicenseCC BY 3.0 [15] João Crespo, Andreas Wichert, 2020, Reinforcement learning applied to games, SN Applied Sciences 2(5), DOI:10.1007/s42452-020-2560-3 [16] Sagnik M, Ramaprasad Poojary, 2019, Comparative Study of Convolutional Neural Network, DOI:10.14445/23488549/IJECE-V6I8P103 [17] Rama Chetan Atmudi, A Arjuna Rao, Pkj Mohapatra, 2020, Covid-19 Face Mask Prediction using Machine Learning Techniques, Conference: ICDSMLAAt: Pune,India [18] Leandro Aparecido Passos Júnior, Pereira C R., Edmar Rezende, Tiago Carvalho, 2018, Parkinson Disease Identification Using Residual Networks and Optimum-Path Forest, DOI:10.1109/SACI.2018.8441012 Conference: IEEE 12th International Symposium on Applied Computational Intelligence and Informatics [19] Jiankang Deng, J Guo, Yuxiang Zhou, Jinke Yu, I Kotsia, S Zafeiriou, 2019, RetinaFace: Single-stage Dense Face Localisation in the Wild, Computer Science 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) LINK THAM KHẢO [20] https://storrs.io/resnet