Thiết kế mô hình chống giả mạo khuôn mặt ứng dụng trong thanh toán điện tử

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT MÁY TÍNH THIẾT KẾ MƠ HÌNH CHỐNG GIẢ MẠO KHN MẶT ỨNG DỤNG TRONG THANH TỐN ĐIỆN TỬ GVHD: ThS TRƯƠNG NGỌC HÀ SVTH: PHÙNG ĐỨC TÙNG SKL009726 Tp.Hồ Chí Minh, tháng 12/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH THIẾT KẾ MƠ HÌNH CHỐNG GIẢ MẠO KHN MẶT ỨNG DỤNG TRONG THANH TỐN ĐIỆN TỬ SVTH: PHÙNG ĐỨC TÙNG MSSV: 16119052 TP HỒ CHÍ MINH – 12/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH THIẾT KẾ MƠ HÌNH CHỐNG GIẢ MẠO KHN MẶT ỨNG DỤNG TRONG THANH TOÁN ĐIỆN TỬ SVTH: PHÙNG ĐỨC TÙNG MSSV: 16119052 GVHD: ThS TRƯƠNG NGỌC HÀ TP HỒ CHÍ MINH – 12/2022 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 15 tháng 12 năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Phùng Đức Tùng MSSV: 16119052 Ngành: Cơng nghệ kỹ thuật máy tính Lớp: 16119CLC Giảng viên hướng dẫn: ThS Trương Ngọc Hà Ngày nhận đề tài: 17/9/2022 Ngày nộp đề tài: 17/12/2022 Tên đề tài: Thiết kế mơ hình chống giả mạo khn mặt ứng dụng toán điện tử Các số liệu, tài liệu ban đầu: Mơ hình nhận dạng giả mạo khuôn mặt bao gồm số liệu sau: - Các tài liệu: Những báo nước nước liên quan đến phát giả mạo khuôn mặt vấn đề liên quan đến nhận dạng thuộc tính khuôn mặt - Các số liệu: sở liệu dùng để đào tạo kiểm thử CelebA-Spoof Sử dụng kiến trúc mạng MobileFaceNet tinh chỉnh Nội dung thực đề tài: - Tìm hiểu phương pháp phát giả mạo khuôn mặt Để xuất triển khai mơ hình kiến trúc MobileFaceNet tinh chỉnh với mục đích phù hợp để chạy với thiết bị có cấu hình thấp Tính tốn thơng số đánh giá mơ hình huấn luyện Xây dựng thành cơng mơ hình tốn nhận diện khn mặt Sản phẩm: Mơ hình phát khuôn mặt giả mạo, mô hệ thống toán điện tử TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 25 tháng 12 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Phùng Đức Tùng MSSV: 16119052 Ngành: Công nghệ kỹ thuật máy tính Tên đề tài: Thiết kế mơ hình chống giả mạo khn mặt ứng dụng toán điện tử Họ tên Giáo viên hướng dẫn: ThS Trương Ngọc Hà NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ……… (Bằng chữ: ) GIẢNG VIÊN HƯỚNG DẪN Chống CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 17 tháng 12 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Phùng Đức Tùng MSSV: 16119052 Ngành: Cơng nghệ kỹ thuật máy tính Tên đề tài: Thiết kế mơ hình chống giả mạo khn mặt ứng dụng tốn điện tử Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ………… (Bằng chữ: ) GIẢNG VIÊN PHẢN BIỆN LỜI CẢM ƠN Trong trình thực đồ án tốt nghiệp, nỗ lực, cố gắng trau dồi thân, nhận vơ số ý kiến đóng góp, định hướng, lời động viên, khích lệ tinh thần từ giảng viên hướng dẫn Thầy ThS.Trương Ngọc Hà người hết lịng hướng dẫn động lực giúp tơi hồn thành đề tài cách tốt Tơi xin chân thành cảm ơn tồn thể q thầy Khoa Điện-Điện Tử Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh tận tình bảo, truyền đạt kiến thức lý thuyết tạo điều kiện để tơi thực đề tài Tôi xin chân thành cảm ơn LỜI CAM ĐOAN Người thực đề tài Phùng Đức Tùng xin cam đoan: Đề tài “Thiết kế mơ hình chống giả mạo khn mặt ứng dụng tốn điện tử” thực dựa cố gắng nỗ lực thân kết trình nghiên cứu lâu dài hướng dẫn giảng viên hướng dẫn Thầy ThS Trương Ngọc Hà không chép đạo nhái sản phẩm từ người khác Người thực đồ án tốt nghiệp PHÙNG ĐỨC TÙNG TÓM TẮT Trong năm gần có nhiều hệ thống nhận bảo mật sinh trắc học đời, đặc biệt phương pháp xác thực hay nhận diện khn mặt Các hệ thống ln địi hỏi độ xác bảo mật cao ,vì việc thực kỹ thuật chống giả mạo khuôn mặt giúp cho hệ thống đáp ứng tiêu chí vừa đề độ bảo mật tuyệt đối an toàn khỏi công giả mạo khuôn mặt từ nhân tố bên ngồi Để thực tốn chống giả mạo khn mặt hình ảnh video, thơng qua việc khảo sát tốn có bao gồm phương pháp giải tốn, độ xác ưu nhược điểm phương pháp từ định đề xuất xây dựng mạng nơ-rơn tích chập (CNN) để phân loại khuôn mặt đầu vào dựa đặc trưng khn mặt đưa dự đốn xem đâu hình ảnh giả mạo khn mặt Sau dựa vào kết để ứng dụng vào hệ thống tốn điện tử khn mặt Ngồi sản phẩm có giỏ hàng thơng báo đến người dùng có tiếp tục thêm sản phẩm vào giỏ hàng hay khơng Hình 4.9 Thơng báo sản phẩm đã có giỏ hàng 4.5.3 Khối tốn Với khối tốn khn mặt, sau kiểm tra giỏ hàng giỏ hàng có sản phẩm q trình tốn bắt đầu Sau q trình tốn bắt đầu camera bật lên tiến hành thu thập liệu khuôn mặt người dùng Trong trình thu thập thực phát khuôn mặt giả mạo phát khuôn mặt giả mạo thông báo khuôn mặt khơng hợp lệ 68 Hình 4.10 Khn mặt hợp lệ Hình 4.11 Khn mặt giả mạo in giấy 69 Hình 4.12.Khn mặt giả mạo hình ảnh/ video điện Trong đề tài chủ yếu trọng việc xây dựng mơ hình phát giả mạo nên tốn liên quan đến nhận diện khn mặt khơng sâu vào nghiên cứu Thay vào khối nhận diện khn sử dụng mơ hình FaceNet có sẵn Google để trích xuất đặc trưng khn mặt dùng SVM để phân loại nhận diện Giới thiệu sơ lược mơ hình FaceNet[12], tốn one-to-many (Face identification ), ảnh khn mặt sau đưa vào FaceNet trả vectơ đặc trưng khn mặt sau vectơ đặc trưng được phân nhóm SVM xem vectơ Do mơ hình FaceNet tương đối cũ nên độ xác khơng cịn cao, nên sau phân loại khuôn mặt trả ID cá nhân tiếp tục bước xác minh khn mặt mơ hình ArcFace[8] ArcFace tốn one-to-one(Face Verification ) cơng việc để xác minh xem khn mặt khn mặt dự đốn FaceNet có xác người hay khơng Sau qua bước nhận diện xác thực khuôn mặt kết trả ID tài khoản người dùng, tiếp tục bước kiểm tra xem tài khoản số sử khả dụng để tốn hay khơng 70 4.5.4 Hiển thị thơng báo Hồn tất quy trình kết thúc q trình tốn Hình 4.13 Thanh tốn thành cơng 71 Hình 4.14 Khi số dư tài khoản khơng đủ Hình 4.15 Khơng tìm thấy người dùng 72 4.5.5 Thơng tin người dùng Mỗi người dùng cần có tài khoản , tài khoản có ID khác Để thêm khn mặt buộc phải tạo tài khoản Hình 4.16 Giao diện ký đăng nhập Giao diện tài khoản bao gồm thông tin như: thông tin cá nhân, lịch sử mua hàng, thông tin đơn hàng, số dư tài khoản,… 73 Hình 4.17 Giao diện thông tin tài khoản Chức thêm khuôn mặt ứng với tài khoản 74 Hình 4.18 Thêm khn mặt Khuôn mặt thêm theo tư khác nhau: nhìn lên, nhìn dưới, nhìn trái, nhìn phải, nhìn trước Mỗi tư khn mặt thu thập 50 hình phục vụ trình huấn luyện nhận diện khuôn mặt 75 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Như trình thực đề tài “Thiết kế mơ hình chống giả mạo khn mặt ứng dụng tốn điện tử” tơi hiểu rõ tốn chống giả mạo khuôn mặt Các công việc thực được: • Tìm hiểu phương pháp phát giả mạo khn mặt • Để xuất triển khai mơ hình kiến trúc MobileFaceNet tinh chỉnh với mục đích phù hợp để chạy với thiết bị có cấu hình thấp • Tính tốn thơng số đánh giá mơ hình huấn luyện • Xây dựng thành cơng hệ thống tốn nhận diện khuôn mặt Như đề tài đáp ứng mục tiêu đề ban đầu 5.2 HƯỚNG PHÁT TRIỂN Hiện giải pháp đề xuất chưa đạt kết tốt kết đánh giá cho tỷ lệ lỗi trung bình cao Hơn nữa, giải pháp đề xuất chưa mở rộng với nhiều kiểu cơng phức tạp Chính vậy, tương lai, nghiên cứu sử dụng kết hợp thêm phương pháp, thuật toán khác tối ưu hơn, kết hợp với thiết bị hỗ trợ, thiết bị chuyên dụng bên để mơ hình chống giả mạo tơi có kết tốt ứng dụng vào thực tế 76 TÀI LIỆU THAM KHẢO CÁC BÀI BÁO TRONG NƯỚC: [1] Đồn Hồng Quang, Lê Hồng Minh Thái Dỗn Nguyên, “Nhận dạng khuôn mặt video mạng nơ-ron tích chập”, Trung tâm Cơng nghệ Vi điện tử Tin học, Viện Ứng dụng Công nghệ, 28/8/2019 [2] Vĩnh Anh Nghiêm Quân, Nguyễn Lê Trung Thành Đinh Thị Diệu Minh, Trần Hồi Nhân, “Ảnh Hưởng Của Hàm Kích Hoạt Đến Mơ Hình Mạng Nơron Tích Chập”, Khoa Tin học, Trường Đại học Sư phạm, Đại học Huế [3] Lê Văn Hào , Trịnh Thị Anh Loan , Lê Việt Nam , Nguyễn Đức Toàn , “Phát Hiện Giả Mạo Khn Mặt Sử Dụng Cơng Nghệ Trí Tuệ Nhân Tạo” CÁC BÀI BÁO NƯỚC NGOÀI: [4] Leveraging Fourier Spectra, “Bi-FPNFAS: Bi-Directional Feature Pyramid Network for Pixel-Wise Face Anti-Spoofing” [5] Sheng Chen, Yang Liu , Xiang Gao and Zhen Han,“MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices”, School of Computer and Information Technology, Beijing Jiaotong University, Beijing, China [6] Yuanhan Zhang, Zhenfei Yin , Yidong Li , Guojun Yin , Junjie Yan , Jing Shao , and Ziwei Liu , “CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations”, Beijing Jiaotong University, Beijing, China SenseTime Group Limited The Chinese University of Hong Kong [7] Jianyu Xiao , Guoli Jiang , Huanhua Liu, “A Lightweight Face Recognition Model based on MobileFaceNet for Limited Computation Environment” School of Computer Science and Engineering, Central South University, Changsha 410075, China School of Information Technology and Management, Hunan University of Finance and Economics, Changsha 410205, China 77 [8] Jiankang Deng, Jia Guo, Jing Yang, Niannan Xue, Irene Kotsia, Stefanos Zafeiriou, “ArcFace: Additive Angular Margin Loss for Deep Face Recognition” [9] Mark Sandler Andrew Howard Menglong Zhu Andrey Zhmoginov LiangChieh Chen “MobileNetV2: Inverted Residuals and Linear Bottlenecks” Google Inc [10] Mingxing Tan, Staff Software Engineer and Quoc V Le, “EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling”, Principal Scientist, Google AI [11] Yu, Zitong and Qin, Yunxiao and Li, Xiaobai and Zhao, Chenxu and Lei, Zhen and Zhao, Guoying, “Deep Learning for Face Anti Spoofing: A Survey”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) [12] Florian Schroff, Dmitry Kalenichenko , James Philbin, “FaceNet: A Unified Embedding for Face Recognition and Clustering ”,Google Inc [13] Zhang Zihao, Wang Rong.Phương pháp nhận dạng khn mặt cải tiến dựa mạng MobileFaceNet [J].Tạp chí Đại học Hàng không Vũ trụ Bắc Kinh, 2020 SÁCH: [14] Vũ Hữu Tiệp, “Machine Learning Cơ Bản” , 2018 CÁC NGUỒN TRÊN INTERNET: [15] EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling [Online] Địa chỉ: [Truy cập 10/2022] https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html [16] Pytorch, Torch, Torchvision [Online] Địa chỉ:[Truy cập 10/2022] https://pytorch.org/docs/stable/index.html [17] Flask Tutorial [Online] Địa chỉ:[Truy cập 10/2022] https://flask.palletsprojects.com 78 [18] “Residual Networks (ResNet) - Deep Learning - GeeksforGeeks” Địa chỉ:[Truy cập 10/2022] https://www.geeksforgeeks.org/residual-networks-resnet-deep-learning/ [19] “GS25 tiên phong ứng dụng cơng nghệ lĩnh vực tốn Bán Lẻ” Địa chỉ: [Truy cập 10/2022] https://gs25.com.vn/news/list/gs25-tien-phong-ung-dung-cong-nghe-trong-linhvuc-thanh-toan-ban-le/ [20] Scikit-learn “Metrics and scoring: quantifying the quality of predictions” Địa chỉ: [Truy cập 10/2022] https://scikit-learn.org/stable/modules/model_evaluation.html [21] “Các phương pháp chống giả mạo khuôn mặt” Địa chỉ: [Truy cập 10/2022] https://viblo.asia/p/tong-quan-ve-face-anti-spoofing-bai-toan-chong-gia-maokhuon-mat-1Je5E6oYKnL [22] “Mạng neural tích chập” Địa chỉ: [Truy cập 10/2022] https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheet-convolutionalneural-networks [23] “SGD Optimizer” Địa chỉ: [Truy cập 10/2022] https://pytorch.org/docs/stable/generated/torch.optim.SGD.html [24] “MSE Loss , Softmax Loss, MultiStepLR” Địa chỉ: [Truy cập] https://pytorch.org/docs/stable/generated/torch.nn.MSELoss.html https://pytorch.org/docs/stable/generated/torch.nn.Softmax.html https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.MultiStepLR.h tml 79 ĐẠI HỌC SƯ PHẠM KỸ THUẬT CỘNG HOÀ XÃ HỘI CHỦ NGHĨA THÀNH PHỐ HỒ CHÍ MINH VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG Độc lập – Tự Do – Hạnh phúc CAO Tp HCM, ngày 11 tháng năm 2023 BẢN GIẢI TRÌNH CHỈNH SỬA ĐỒ ÁN TỐT NGHIỆP NGÀNH: CNKT MÁY TÍNH Tên đề tài: Thiết kế mơ hình chống giả mạo khn mặt ứng dụng tốn điện tử Tên sinh viên: Phùng Đức Tùng MSSV: 16119052 GVHD: ThS Trương Ngọc Hà Hội đồng bảo vệ HĐ 1, phòng A3 403, ngày tháng năm 2023 Giải trình chỉnh sửa báo cáo đồ án tốt nghiệp: TT Kết chỉnh Nội dung góp ý Hội đồng sửa, bổ sung Một số hình ảnh chương khơng Đã bổ sung trích phải người thực đề tự vẽ mà dẫn số hình ảnh tham khảo từ nguồn khác cần chương trích dẫn rõ nguồn tài liệu tham khảo Phần 4.4 nên thêm số hình ảnh minh Đã thêm hình ảnh họa cho việc phát khuôn mặt thật minh họa cho việc phát giả trước bảng 4.7 để minh họa rõ khuôn mặt thật cho kết đề tài giả Phần tài liệu tham khảo danh sách Đã chỉnh sửa mục tài tài liệu tham khảo cần đánh số thứ liệu tham khảo tự liên tục từ [1] trở ([2],[3],…) thay 80 Ghi chia thành mục [1.1],[1.2],…[2.1]… Xác nhận trưởng ngành Xác nhận GVHD (Ký họ tên) (Ký họ tên) Nhóm thực báo cáo (Ký họ tên) 81 S K L 0