Tìm hiểu các thuật toán học sâu cho bài toán xác thực khuôn mặt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NGÀNH CƠNG NGHỆ THƠNG TIN TÌM HIỂU CÁC THUẬT TỐN HỌC SÂU CHO BÀI TỐN XÁC THỰC KHN MẶT GVHD: TS TRẦN NHẬT QUANG SVTH: LÊ NGUYỄN GIA BẢO TRẦN TRUNG KIÊN SKL009431 Tp.Hồ Chí Minh, tháng 6/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TPHCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM LÊ NGUYỄN GIA BẢO – 18110251 TRẦN TRUNG KIÊN – 18110309 Đề Tài: TÌM HIỂU CÁC THUẬT TỐN HỌC SÂU CHO BÀI TỐN XÁC THỰC KHN MẶT KHỐ LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS TRẦN NHẬT QUANG KHÓA 2018 - 2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TPHCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM LÊ NGUYỄN GIA BẢO – 18110251 TRẦN TRUNG KIÊN – 18110309 Đề Tài: TÌM HIỂU CÁC THUẬT TỐN HỌC SÂU CHO BÀI TỐN XÁC THỰC KHN MẶT KHOÁ LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS TRẦN NHẬT QUANG KHÓA 2018 - 2022 ĐH SƯ PHẠM KỸ THUẬT TP.HCM XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc Lập – Tự Do – Hạnh Phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Lê Nguyễn Gia Bảo MSSV 1: 18110251 Họ tên Sinh viên 2: Trần Trung Kiên MSSV 2: 18110309 Ngành: Công Nghệ Thông Tin Tên đề tài: Tìm Hiểu Các Thuật Tốn Học Sâu Cho Bài Tốn Xác Thực Khn Mặt Họ tên Giáo viên hướng dẫn: TS Trần Nhật Quang NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Nhược điểm: Đề tài có bảo vệ hay khơng? Đánh giá loại: Điểm: TPHCM, ngày tháng năm 2022 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ PHẠM KỸ THUẬT TP.HCM XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc Lập – Tự Do – Hạnh Phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: Lê Nguyễn Gia Bảo MSSV 1: 18110251 Họ tên Sinh viên 2: Trần Trung Kiên MSSV 2: 18110309 Ngành: Cơng Nghệ Thơng Tin Tên đề tài: Tìm Hiểu Các Thuật Toán Học Sâu Cho Bài Toán Xác Thực Khuôn Mặt Họ tên Giáo viên hướng dẫn: TS Trần Nhật Quang NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Nhược điểm: Đề tài có bảo vệ hay không? Đánh giá loại: Điểm: TPHCM, ngày tháng năm 2022 Giáo viên phản biện (Ký & ghi rõ họ tên) LỜI CẢM ƠN Lời nhóm chúng em xin phép gửi lời cảm ơn chân thành sâu sắc đến với Khoa Công Nghệ Thông Tin – Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh tạo điều kiện cho nhóm chúng em học tập, phát triển tảng kiến thức sâu sắc thực đề tài Bên cạnh nhóm chúng em xin gửi đến thầy Trần Nhật Quang lời cảm ơn sâu sắc Trải qua trình dài học tập thực đề tài thời gian qua Thầy tận tâm bảo nhiệt tình nhóm chúng em suốt q trình từ lúc bắt đầu kết thúc đề tài Nhờ có tảng kiến thức chuyên ngành vững cộng thêm với kinh nghiệm yêu cầu thực tế ngồi xã hội thơng qua việc học trường thực tập công ty Tập thể thầy cô Khoa Công Nghệ Thông Tin đặc biệt thầy Trần Nhật Quang tặng cho chúng em khối lượng kiến thức kinh nghiệm khổng lồ chuyên ngành công việc tương lai Đặc biệt điều giúp thúc chúng em hoàn thành đề tài Đây hành trang vô lớn chúng em trước bước sống Tuy nhiên lượng kiến thức vô tận với khả hạn hẹp chúng em cố gắng để hoàn thành cách tốt Chính việc xảy thiếu sót điều khó tránh khỏi Chúng em hi vọng nhận góp ý tận tình q thầy qua chúng em rút học kinh nghiệm hoàn thiện cải thiện nâng cấp lại sản phẩm cách tốt Nhóm chúng em xin chân thành cảm ơn Nhóm thực Lê Nguyễn Gia Bảo – 18110251 Trần Trung Kiên – 18110309 Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Khoa: CNTT ĐỀ CƯƠNG KHOÁ LUẬN TỐT NGHIỆP Họ Tên SV thực 1: Lê Nguyễn Gia Bảo Mã Số SV: 18110251 Họ Tên SV thực 2: Trần Trung Kiên Mã Số SV: 18110309 Thời gian làm luận văn: từ: 08/03/2022 Đến: 28/06/2022 (17 tuần) Chuyên ngành: Công Nghệ Phần Mềm Tên luận văn: Tìm Hiểu Các Thuật Tốn Học Sâu Cho Bài Tốn Xác Thực Khn Mặt GV hướng dẫn: TS Trần Nhật Quang Nhiệm Vụ Của Luận Văn: Lý thuyết: - Tìm hiểu thuật tốn xác định vị trí khn mặt (face detection), thuật tốn trích xuất đặc trưng khn mặt (face embedding) - Tìm hiểu thuật tốn, phương pháp xác thực khn mặt (face verification) - Tìm hiểu nghiên cứu, mơ hình xác thực khn mặt điều kiện khn mặt có đeo trang Thực hành - Thực hiện, so sánh đánh giá phương pháp xác thực khuôn mặt tập liệu xác thực khn mặt có sẵn - Thu thập liệu khuôn mặt từ Bãi Gửi Xe Giáo Viên, trường Đại Học Sư Phạm Kỹ Thuật TPHCM - Áp dụng thuật tốn xác thực khn mặt tập liệu khn mặt có sẵn tập liệu thực tế trường Đại Học Sư Phạm Kỹ Thuật TPHCM - Triển khai ứng dụng gửi xe có tích hợp xác thực khuôn mặt Đề cương viết luận văn: (theo kiểu mục lục phần, chương mục …) PHẦN MỞ ĐẦU TÍNH CẤP THIẾT CỦA ĐỀ TÀI .7 MỤC ĐÍCH NGHIÊN CỨU CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU PHÂN TÍCH NHỮNG CƠNG TRÌNH CĨ LIÊN QUAN KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC 10 PHẦN NỘI DUNG 11 CHƯƠNG CƠ SỞ LÝ THUYẾT .11 CHƯƠNG DỮ LIỆU XÁC THỰC KHUÔN MẶT 26 CHƯƠNG CÁC PHƯƠNG PHÁP XÁC THỰC KHUÔN MẶT 28 CHƯƠNG 4: TRIỂN KHAI MƠ HÌNH XÁC THỰC KHN MẶT 66 PHẦN KẾT LUẬN 96 KẾT QUẢ ĐẠT ĐƯỢC .96 ƯU ĐIỂM 96 NHƯỢC ĐIỂM 96 HƯỚNG PHÁT TRIỂN .97 DANH MỤC TÀI LIỆU THAM KHẢO 98 PHỤ LỤC 101 KẾ HOẠCH THỰC HIỆN STT Thời Gian Công Việc Ghi Chú Tìm hiểu mơ hình xác định vị trí khn mặt 07/02 – 06/03 huấn luyện mơ hình nhận diện trang Xây dựng API cho nhiệm vụ xác định vị trí khn mặt nhận diện trang Tìm hiểu mơ hình trích xuất đặc trưng khn 07/03 – 10/04 mặt phương pháp xác thực khuôn mặt Thực nghiệm mơ hình trích xuất đặc trưng phương pháp xác thực khn mặt Tìm hiểu phương pháp xác thực khn mặt Tìm hiểu cách tiếp cận với liệu khuôn mặt 11/04 – 08/05 đeo trang Tìm hiểu xây dựng mơ hình API nhận diện biển số xe Tối ưu mơ hình API thiết bị phần cứng 09/05 – 05/06 Tích hợp mơ hình vào ứng dụng quản lý bãi gửi xe Hồn thiện chương trình quản lý bãi gửi xe 06/06 – 07/07 Thực thu thập liệu Thử nghiệm mơ hình giá trị tham số Xử lý liệu đưa kết thực nghiệm TP Hồ Chí Minh, ngày tháng … năm 2022 Người viết đề cương Ý kiến giáo viên hướng dẫn MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT PHẦN MỞ ĐẦU TÍNH CẤP THIẾT CỦA ĐỀ TÀI MỤC ĐÍCH NGHIÊN CỨU CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU 3.1 Đối Tượng Nghiên Cứu 3.2 Phạm Vi Nghiên Cứu PHÂN TÍCH NHỮNG CƠNG TRÌNH CĨ LIÊN QUAN KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC 10 PHẦN NỘI DUNG 11 CHƯƠNG CƠ SỞ LÝ THUYẾT 11 1.1 Mạng Neuron Nhân Tạo [6] 11 1.2 Mạng Neuron Tích Chập [11] 17 1.3 Hàm Mất Mát 23 CHƯƠNG DỮ LIỆU XÁC THỰC KHUÔN MẶT 26 2.1 Tập Dữ Liệu Labeled Faces in the Wild [19] 26 2.2 Tập Dữ Liệu Khuôn Mặt Thực Tế 27 CHƯƠNG CÁC PHƯƠNG PHÁP XÁC THỰC KHUÔN MẶT 28 3.1 Tổng Quan Các Bài Toán Thị Giác Máy Tính Xử Lý Hình Ảnh Khn Mặt 28 3.2 Các Mơ Hình Xác Định Vị Trí Khn Mặt 30 3.3 Các Mơ Hình Trích Xuất Đặc Trưng Khn Mặt 41 3.4 Các Phương Pháp Xác Thực Khuôn Mặt 61 CHƯƠNG 4: TRIỂN KHAI MƠ HÌNH XÁC THỰC KHN MẶT 66