HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIÊN THÔNG KHOA AN TOÀN THÔNG TIN ĐỎ ÁN TÓT NGHIỆP ĐÈ TÀI: NGHIÊN CỨU CÁC PHƯƠNG PHÁP XÁC THỰC SỬ DỤNG KHUÔN MẶT Hà Nội, tháng 1 năm 2024 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIÊN THÔNG KHOA AN TOÀN THÔNG TIN ĐỎ ÁN TÓT NGHIỆP ĐÈ TÀI: NGHIÊN CỨU CÁC PHƯƠNG PHÁP XÁC THỰC SỬ DỤNG KHUÔN MẶT Giảng viên hướng dẫn : PGS TS Hoàng Xuân Dậu Sinh viên thực hiện : Phan Thị Kim Hoàn B19DCAT076 Mã sinh viên : D19CQAT04-B Lớp : 2019-2024 Khoa : Đại học chính quy Hệ : Hà Nội, tháng 1 năm 2024 NHAN XÉT DO AN TOT NGHIỆP ĐẠI HỌC CUA GIANG VIEN PHAN BIEN Tên đồ án: Nghiên cứu các phương pháp xác thực sử dung khuôn mặt Giảng viên hướng dẫn: PGS TS Hoàng Xuân Dậu Sinh viên thực hiện: Phan Thị Kim Hoàn Mã sinh viên: B19DCA T076 NỘI DUNG NHẬN XÉT I Nội dung báo cáo Il San pham Ill Ưu nhược điểm IV Kếtluận Điểm: (bang chữ: L.L c 1.0.12.22.11.111.12.2.1 1.1k.v e ) Hà Nội, ngày tháng năm GIẢNG VIÊN PHẢN BIỆN NHAN XÉT DO ÁN TOT NGHIỆP CUA GIẢNG VIÊN HUONG DAN Giảng viên hướng dan: PGS TS Hoàng Xuân Dau Bộ mon: Tên đồ án: Nghiên cứu các phương pháp xác thực sử dung khuôn mặt Sinh viên thực hiện: Phan Thị Kim Hoàn Mã sinh viên: BI19DCA T076 Lớp: DI9CQAT04B NỘI DUNG NHẬN XÉT I Nội dung báo cao Il San pham Ill Ưunhược điểm IV Kếtluận Điêm: ( băng 002125 ) Hà Nội, ngày tháng.n.ă.m GIẢNG VIÊN HƯỚNG DẪN Đồ án tốt nghiệp LỜI CẢM ƠN Lời đầu tiên cho phép em được gửi lời cảm ơn chân thành và sâu sắc đến các thầy cô của Học viện Công nghệ Bưu chính Viễn thông, đặc biệt là các thầy cô khoa An toàn thông tin đã tận tình giảng dạy, hướng dẫn những kiến thức quý báu cho em trong suốt quá trình hơn 4 năm học tập tại học viện, các thầy cô đã tạo điều kiện thuật lợi nhất để em hoàn thành đồ án tốt nghiệp Em xin trân trọng gửi lời cảm ơn đặc biệt đến thay PGS TS Hoàng Xuân Dậu đã dành nhiều thời gian hướng dẫn nhiệt tình, sẵn sang giải đáp các van dé và đề xuất hướng giải quyết khi em gặp khó khăn trong quá trình thực hiện đồ an Em cũng xin gửi lời cảm ơn đến ThS Nguyễn Thị Trang đã sẵn sàng giúp đỡ và nhiệt tình hướng dẫn em trong quá trình thực hiện, và cảm ơn gia đình, bạn bè đã luôn quan tâm, ủng hộ em trong thời gian học tập và thực hiện đồ án Trong khoảng thời gian thực hiện đồ án, với sự quan tâm, giúp đỡ và sự cô gắng em đã hoàn thành đồ án tốt nghiệp Tuy nhiên, đo thời gian và kinh nghiệm còn nhiều hạn chế nên em vẫn có những thiếu sót, em mong nhận được sự góp ý cũng như chỉ bảo tận tình từ các thầy cô Em xin chân thành cảm on! Hà Nội, tháng I năm 2024 Sinh viên thực hiện Phan Thị Kim Hoàn Phan Thị Kim Hoàn — B19DCA T076 Đồ án tốt nghiệp LỜI CAM ĐOAN Em xin cam đoan rằng đồ án tốt nghiệp “Nghiên cứu các phương pháp xác thực sử dụng khuôn mặt” là công trình nghiên cứu của bản thân mình Những phần có sử dụng tài liệu tham khảo có trong đồ án đã được liệt kê và nêu rõ ra tại phần tài liệu tham khảo Đồng thời những số liệu hay kết quả trình bày trong đồ án đều mang tính chất trung thực, không sao chép, đạo nhái Nêu như sai em xin chịu hoàn toan trách nhiệm và chịu tat cả các kỷ luật của bộ môn cũng như nhà trường đê ra Sinh viên thực hiện Phan Thị Kim Hoàn Phan Thị Kim Hoàn — B19DCA T076 Đồ án tốt nghiệp MỤC LỤC LOT CẢM ƠN - cute 2 LOT CAM ĐOAN 5 tì the 3 MUC 00 0 4 MỤC LUC BẢNG 2 TS.E1.1E.1E.12.112.111.11.211.11.111.11.1 1.111.11.111-111-1-11-1 -re.6 MỤC LUC HÌNH ẢNH 2.-5.SS.S.E 12.121.11.21.12.1 112.11.111.1 11.11 t-e.7 090)0196)7.0000010 .9 CHUONG 1: TONG QUAN VE XÁC THỰC -5-55-Scccssrerxzrered 10 LL XA HWWC ố Ố 10 1.1.1 1011 | eee 10 1.1.2 Các yếu tô xúc HAWCoe eececccccecccceseeseesesseseesssssssesesvesssvssesesvenesesveneeees 10 1.1.3 Các phương pháp xác thực phổ biến 55-555ec: 11 1.2 Phương pháp xác thực sử dụng sinh trắc học 5-¿ 16 1.2.1 Sinh trắc học sinh lý -cccccccrerererrerrrree l6 1.2.2 Sinh trắc học hành wi 25.c.cc.c.cc.e.ci.er.i.rr.i.rr.rr.e.rr.r.re.i 17 1.2.3 So sánh các phương pháp xác thực sinh trắc học 18 1.3 Phương pháp xác thực sử dụng khuôn mặt .-. .-.-.- «.+.-5 18 1.3.1 Tổng quan về phương pháp xác thực sử dụng khuôn mặt 19 1.3.2 Quy trình của phương pháp xác thực bằng khuôn mặt 20 1.3.3 Uta điểm và hạn chế 5 c.ct.E.t.E.t.Et.r.r.r.r.rr-r-r5e-t 20 1.4 Khái quát về các dạng ảnh và xử lý Amba cece 22 1.4.1 Anh trong máy tÍnh -cccccrereererrererree 22 1.4.2 Phép tinh COHVOÏHẨÏOH Ă n .h e rĂeQ 27 1.5 Két chương 25.s 2.< E2.21.E1.EE1.2E.121.12.712.21.211.11.1 1.11.111.21.11-1 -x-e29 CHƯƠNG 2: XÁC THỰC KHUÔN MẶT SỬ DỤNG MTCNN VÀ J Y0 00) 5Ä 30 2.1 Tổng quan về hoc máy, học sâu 2-.2 2+.2+.£+.z+.+z.z+.x+.zz.zx.er.xz.re.e 30 2.1.1 Học máy (Machine LeqFHÏHỹ) .- -ccàSccSssesseeeeeeesss 30 2.1.2 Học sâu (Deep ÏeqFHÌHg) Sky 32 Phan Thị Kim Hoàn — B19DCA T076 Đồ án tốt nghiệp 2.2 Xác thực khuôn mặt sử dụng MTCNN và Facenet .- 38 2.2.1 Mô hình xác thực tong 77 ee 38 2.2.2 Multi-task cascaded convolutional neural networks (MTCNN) 39 2.2.3, FACEjNET S.H.H S Ă 43 2.3 Kết chương 2.5c E.211.21.12.112.11.21.121.12.11.111.11.1 1.1.21.1.11.11-1-11-.47 CHUONG 3: CÀI ĐẶT VÀ THU NGHIỆM 2 s+.c.se.re.rx.z-re-re-d 49 3.1 Xây dựng hệ thống 2.S.E EEE.EE.EE.EE.EE.EE.EE.EE.EE.EE-EE-Er-ke-rr2rr-ee 49 3.1.1 Phân tích mô hình hệ thống 2 2.©c.c.c.cc.c-c-cs-c-e-e 49 3.1.2 Giao diện hệ thống . -72 ccccESceErerrrerrrees 54 KPN 2) 56 3.2.1 Tap dữ liệu thứ ngÌhiỆMm S.5 Ặ S e t 56 3.2.2 Kết quả thử nghiệm của hệ thống -2ccccccccc: 57 3.2.3 Đánh giá kết quả thử nghiệm 5c.S.c.cc-c-cc-c-c5cc5e-c 62 3.3 Kết chương -S.t S.t ETx.Ề.21.11.21.12.111.1 111.1 111.11.11.111.11.1-11-g-y-0 63 KẾT LUẬN 2-5252 5E E121121121121121121121121121121121121121111221111e1e1 64 TÀI LIEU THAM KHẢO 2.-2.S.SS.E‡S.E‡.EES.EE.EE.EEE.E2.EEE.E2.E2E.21.21.2.11 Ee-eU 65 Phan Thị Kim Hoàn — B19DCA T076 Đồ án tốt nghiệp MỤC LỤC BẢNG Bảng 1.1: So sánh các phương pháp xác thực sinh trắc học [3] 18 Bang 1.2: Phân khúc người dùng của các kỹ thuật xác thực sinh trắc học [3] 1.8 Bảng 3 1: Ưu nhược điểm của một số phương pháp xác thực phô biến 58 Bảng 3 2: Kết quả thử nghiệm giữa các mô hình của tập dit liệu Yale, AT&T 59 Bảng 3 3:Kết quả thử nghiệm của tập thử nghiệm 5.-.55 2-+s-zc-z2zS-260 Phan Thị Kim Hoàn — B19DCA T076 Đồ án tốt nghiệp MỤC LUC HÌNH ANH Hình 1 1: Quy trình phương pháp xác thực bằng khuôn mặt 20 Hình 1 2: Hệ mau RGB [4] - -.(.E2.21.32 2113.211.13 1.13.21.5.51.15.5 1 1.Eex.xx22 Hình 1 3: Biểu diễn màu sắc trong hệ mau RGB [4] -.2.s