XÂY DỰNG hệ THỐNG NHẬN DẠNG KHUÔN mặt DÙNG CHO điểm DANH lớp học TRỰC TUYẾN

TRƯỜNG ĐẠI HỌC BÌNH DƯƠNG KHOA CƠNG NGHỆ THƠNG TIN, ROBOT VÀ TRÍ TUỆ NHÂN TẠO  ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI XÂY DỰNG HỆ THỐNG NHẬN DẠNG KHUÔN MẶT DÙNG CHO ĐIỂM DANH LỚP HỌC TRỰC TUYẾN Giảng viên hướng dẫn: ThS Trần Trọng Tuyên Sinh viên thực hiện: Nguyễn Thành Trung – 17050042 Lê Quang Hướng – 17050036 Bình Dương, Tháng 01/2022 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN GIẢNG VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) NHẬN XÉT CỦA CÁN BỘ PHẢN BIỆN CÁN BỘ PHẢN BIỆN (Ký ghi rõ họ tên) LỜI CẢM ƠN Xin chân thành cảm ơn thầy cô khoa Cơng nghệ thơng tin, robot & trí tuệ nhân tạo – Trường Đại học Bình Dương giúp đỡ chúng em nhiều trình học tập, nghiên cứu, truyền đạt kiến thức cho chúng em năm học vừa qua Đặc biệt, chúng em xin gửi lời cảm ơn chân thành sâu sắc đến thầy Trần Trọng Tuyên – giảng viên trực tiếp hướng dẫn chúng em hoàn thành báo cáo Chúng em xin chân thành cảm ơn bảo hướng dẫn tận tình thầy suốt trình thực báo cáo Khi bắt tay vào thực báo cáo với kiến thức hiểu biết chúng em đề tài hẹn hẹp Với kiến thức chuyên sâu nhiệt tình thầy, thầy đã dẫn dắt hướng dẫn chúng em hoàn thành bước cuối để báo cáo đảm bảo nội dung thời hạn đề Chúng em xin gửi lời cảm ơn đến gia đình đặc biệt ba mẹ - người nuôi nấng, dạy dỗ chúng em nên người, giúp chúng em vượt qua bao khó khăn, thách thức sống, giúp chúng em theo đuổi đam mê, lý tưởng chặn đường dài phía trước Và cuối chúng em không quên cảm ơn đến người bạn, người gắn bó suốt quãng đời sinh viên chúng em ngày hôm nay, người giúp đỡ chúng em nhiều suốt q trình thực hồn thành báo cáo Một lần chúng em xin gửi lời cảm ơn chân thành sâu sắc đến thầy cô, gia đình bạn bè giúp đỡ chúng em hoàn thành báo cáo này! SINH VIÊN THỰC HIỆN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM BỘ GIÁO DỤC VÀ ĐÀO TẠO Độc lập – Tự – Hạnh phúc TRƯỜNG ĐẠI HỌC BÌNH DƯƠNG ĐỀ CƯƠNG CHI TIẾT Tên đề tài: Xây dựng hệ thống nhận dạng khuôn mặt dùng cho điểm danh lớp học trực tuyến Giảng viên hướng dẫn: ThS Trần Trọng Tuyên Thời gian thực hiện: Từ ngày 22 tháng năm 2021 ngày 22 tháng 01 năm 2022 Sinh viên thực hiện: - Nguyễn Thành Trung – 17050042 - Lê Quang Hướng – 17050036 Nội dung đề tài:  Lý chọn đề tài: Hiện nay, điểm danh phần thiếu đặc biệt quan trọng sở, tổ chức giáo dục: Cao đẳng, Đại học, … Áp dụng kỹ thuật sinh trắc vân tay RFID Sinh viên phải chờ đợi đến lượt để điểm danh Hệ thống điểm danh tự động khuôn mặt giải vấn đề tồn thời gian điểm danh, sai sót mang tính chủ quan, … Những năm gần đây, xuất ngày nhiều tốn nhận diện xác thực khn mặt Dẫn đến, xuất nhiều cách vượt qua (trick) hệ thống như: dùng hình ảnh, video, … Việc xác thực người đứng trước hình có người chủ khơng, tốn quan trọng Vì tốn chống giả mạo khn mặt đời Trong đồ án, nhóm thực xây dựng hệ thống điểm danh tự động chống giả mạo khuôn mặt Đồng thời áp dụng kỹ thuật stream - trực tuyến Tạo nên hệ thống điểm danh hoàn chỉnh, mang đặc điểm trội như: điểm danh tự động, xác, chống giả mạo, trực tuyến web quản lý trực quan Hệ thống mở rộng ứng dụng cho việc: chấm công, gian lận thi cử, …  Mục tiêu đề tài: Xây dựng hệ thống nhận diện khuôn mặt điểm danh lớp học trực tuyến Trường Đại học Bình Dương - Nhận diện khn mặt – mơ-đun - Xác thực danh tính – mô-đun - Chống giả khuôn mặt – mô-đun - Điểm danh trực tuyến – web - Quản lý trực quan – web  Phạm vi đề tài: Nhóm thực đề tài thiết lập hệ thống thành phần: - Facial Recognition: thành phần di động, gồm nhiều mơ-đun camera Về mơ-đun camera dị, phát hiện, khn mặt thuật tốn thị giác máy tính kỹ thuật xác định danh tính khn mặt (Tensorflow - FaceNet/SVM), chống giả mạo khuôn mặt (Tensorflow - CNN) - Web Application: thành phần ứng dụng tương tác, giao diện Web đăng ký khuôn mặt, nhận diện xác định danh tính sinh viên Kết lưu vào sở liệu điểm danh hiển thị trực quan Web app (Django)  Ý nghĩa thực tiễn: - Đối với nhà trường: Hỗ trợ công việc điểm danh sinh viên trường trực tuyến mùa dịch Covid, tiết kiệm thời gian công sức - Đối với sinh viên thực đề tài:  Tiếp cận công nghệ 4.0, đặc biệt lĩnh vực học sâu – Deep Learning, thị giác máy tính – Computer Vision  Hiểu quy trình nhận dạng – Tensorflow/FaceNet/SVM  Hiểu quy trình chống giả mạo khn mặt – Tensorflow/CNN  Hiểu quy trình vận hành điểm danh trực tuyến web app – Django  Hiểu quy trình hệ thống quản lý sinh viên web app – Django  Phương pháp thực hiện: - Nghiên cứu sơ - Mô hình hóa lĩnh vực ứng dụng - Xác định đối tượng/ lớp tham gia chức sử dụng - Mơ hình hóa tương tác chức sử dụng - Thiết kế hệ thống - Thiết kế sở liệu - Cài đặt kiểm thử  Kết mong đợi: - Hồn thành mơ-đun phát hiện, xác định danh tính sinh viên xác - Hồn thành mơ-đun chống giả mạo khn mặt (hình ảnh) - Hồn thành mơ-đun đẩy khung hình trực tiếp lên Web app - Hoàn thành chức quản lý sinh viên Web app - Hoàn thành chạy thử nghiệm hệ thống  Ngơn ngữ lập trình: Python 3.7 Kế hoạch thực hiện: Đề tài thực tuần Tóm tắt sau: Thời gian Sinh viên thực Lê Quang Hướng Nguyễn Thành Trung Từ TRƯỞNG KHOA (Ký ghi rõ họ tên) Bình Dương, ngày…tháng…năm 2022 CB HƯỚNG DẪN (Ký ghi rõ họ tên) MỤC LỤC DANH MỤC HÌNH ẢNH DANH SÁCH THUẬT NGỮ VIẾT TẮT MỞ ĐẦU Luận văn trình bày lý thuyết q trình xây dựng Hệ Thống Nhận Dạng Khn Mặt dùng cho Điểm Danh Lớp Học Trực Tuyến Hệ thống bao gồm chức năng: Nhận Dạng Khuôn Mặt Điểm Danh Số Người lớp học, thuật toán triển khai Web app Và luận văn chia thành chương, có nội dung sau: Chương 1: Tổng quan đề tài Chương 2: Cơ sở lý thuyết Chương 3: Hệ thống nhận diện xác thực khuôn mặt Chương 4: Hệ thống chống giả mạo khuôn mặt Chương 5: Cài đặt, thử nghiệm Chương 6: Kết luận hướng phát triển Vector Machines, phương pháp hiệu Bài toán phân lớp, sử dụng SVM nhằm mục đích tìm siêu phẳng có biên cực đại lớp mẫu âm mẫu dương, đồng thời cực tiểu hóa mẫu khơng phân chia tập huấn luyện SVM dựa sở toán học vững Tuy nhiên việc huấn luyện mẫu sử dụng SVM đòi hỏi phải giải toán tối ưu nhiều biến Ban đầu, SVM phát triển để giải toán phân lớp, sau tính ưu việt, cịn ứng dụng rộng rãi để giả toán hồi quy 3.4.1 Bài tốn phân lớp Phân lớp q trình nhóm đối tượng “giống” vào “một lớp” dựa đặc trưng liệu chúng Tuy nhiên, phân lớp hoạt động tiềm ẩn tư người nhận dạng giới thực, đóng vai trị quan trọng làm sở đưa dự báo, định Phân lớp cách mô tả lớp giúp cho tri thức định dạng lưu trữ Khi nghiên cứu đối tượng, tượng, dựa vào số hữu hạn đặc trưng chúng Nói cách khác, ta xem xét biểu diễn đối tượng, tượng không gian hữu hạn chiều, chiều ứng với đặc trưng lựa chọn Khi đó, phân lớp liệu trở thành phân hoạch liệu thành tập theo chuẩn nhận dạng 3.4.2 SVM phân lớp với khoảng cách Support Vector Machines (SVM) kỹ thuật việc phân lớp liệu, phương pháp học sử dụng không gian giả thuyết hàm tuyến tính khơng gian đặc trưng nhiều chiều, dựa lý thuyết tối ưu lý thuyết thống kê Trong kỹ thuật SVM không gian liệu nhập ban đầu ánh xạ vào không gian đặc trưng không gian đặc trưng mặt siêu phẳng phân chia tối ưu xác định Ta có tập S gồm l mẫu học: Với vecto đầu vào n chiều thuộc lớp I lớp II (tương ứng nhãn yi=1 lớp I yi=-1 lớp II) Một tập mẫu học gọi tầm thường tất nhãn Đối với liệu phân chia tuyến tính, xác định siêu phẳng f(x) mà chia tập liệu Khi đó, với siêu phẳng nhận ta có: đầu vào x thuộc lớp dương, f(x) rút trưng kết luận Lưu trữ Hình: Hệ thống xử lý ảnh để học khn mặt Ở giai đoạn trích xuất đặc trưng Tensorflow dựa đặc điểm khuôn mặt trích xuất đặc trưng lưu thành thơng số vector Giai đoạn học máy, hệ thống tiến hành học lưu khuôn mặt lại thành thông số vector 128 chiều 3.6.4 Mơ hình nhận diện xác thực khn mặt Từ sở liệu vector đặc trưng khuôn mặt, tác giả tiến hành thực nhận diện khuôn mặt theo quy trình sau: Hình Mơ hình học nhận diện, xác thực khuôn mặt 3.6.7 Thử nghiệm stream – trực tuyến web Hình Quy trình thử nghiệm nhận diện, xác thực web Theo quy trình hình , luồng (1) phát khn mặt, chụp hình, tiền xử lý phát khn mặt gửi lên Server thông qua giao thức StreamingHttpResponse Luồng (2), công cụ nhận diện xác thực khn mặt bao gồm mơ-đun mà nhóm thiết lập Server xử lý để nhận diện khn mặt hình gửi lên có sở liệu học hay khơng Nếu có tồn kết trả mã số sinh viên tên sinh viên Sau đó, Server gửi mã số sinh viên tên sinh viên thu lên cho trang web thông qua StreamingHttpResponse Khi nhận mã số sinh viên tên sinh viên tiến hành chèn thông tin vào chỗ phát khuôn mặt 3.6.8 Kết thử nghiệm CHƯƠNG HỆ THỐNG CHỐNG GIẢ MẠO KHUÔN MẶT 4.1 Hệ thống chống giả mạo khuôn mặt Chống giả mạo khuôn mặt nhiệm vụ ngăn chặn xác minh khuôn mặt giả cách sử dụng ảnh, video, mặt nạ vật thay khác cho khuôn mặt người ủy quyền Các công giả mạo trở thành mối đe dọa bảo mật nghiêm trọng cho hệ thống nhận diện xác thực, chúng sử dụng để truy cập trái phép vào hệ thống cách mạo danh người khác Một số ví dụ cơng:  Tấn cơng hình ảnh 2D: Kẻ công sử dụng ảnh Hình ảnh in hiển thị thiết bị kỹ thuật số  Tấn công video 2D: Một cách tinh vi để đánh lừa hệ thống, thường yêu cầu đoạn video lặp lại khuôn mặt nạn nhân Cách tiếp cận đảm bảo hành vi chuyển động khuôn mặt trông “tự nhiên” so với việc cầm ảnh  Tấn công mặt nạ 3D: Trong kiểu công này, mặt nạ sử dụng làm công cụ giả mạo Đó cơng chí cịn phức tạp so với phát video trực diện Ngoài chuyển động tự nhiên khn mặt, cho phép đánh lừa số lớp bảo vệ bổ sung cảm biến độ sâu Hình Quy trình nhận diện, xác thực web Tấn cơng hình ảnh/video 2D phổ biến Điều thúc đẩy nhóm tập trung vào việc phát ngăn chặn cơng ảnh/video 2D nâng câp độ xác Nhằm đối phó với thách thức này, số kỹ thuật chống giả mạo phát triển để phát hành vi giả mạo Các hệ thống chống giả mạo dựa mạng nơ-ron tích chập gần thể hiệu vượt trội chúng so với phương pháp truyền thống, chúng giải pháp hứa hẹn để thay kỹ thuật dựa đặc trưng thuật toán học máy trước vốn dựa đặc trưng cục dễ nhạy cảm với nhiễu kết xác 4.2 Mạng Nơ-ron tích chập – Tensorflow/CNN Trong phần này, nhóm giới thiệu chi tiết mạng CNN Cách tiếp cận nhóm tinh chỉnh tối ưu mạng nơ-ron tích chập dựa mơ hình mạng huấn luyện Google Phương pháp thường biết đến với tên gọi học chuyển giao (transfer learning) Đây phương pháp hiệu để cải thiện tốc độ hiệu suất từ mô hình mạng huấn luyện thực nhiệm vụ ban đầu chuyển sang thực nhiệm vụ thứ hai Phương pháp giúp tránh tình trạng học q nhớ (overfitting) khơng có số lượng lớn liệu huấn luyện từ đầu, đồng nghĩa với việc tiết kiệm tài nguyên máy tính để phục vụ huấn luyện mơ hình mạng nơ-ron Hình Quy trình học chuyển giao (transfer learning - ResNext-50) Mạng CNNs Độ xác (%) Xception 95.9 ResNext-50 94.0 SeNet-154 96.2 Bảng … So sánh độ xác mạng CNNs () Thực tế 86.7% ResNext-50 4.3 Phương pháp nghiên cứu Việc xử lý luồng liệu video (trung bình khoảng 24 khung hình/giây) CHƯƠNG MÃ NGUỒN CHƯƠNG PHÂN TÍCH HỆ THỐNG CHƯƠNG 7: TRIỂN KHAI ỨNG DỤNG CHƯƠNG 8: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN DANH SÁCH TÀI LIỆU THAM KHẢO ... tên) MỤC LỤC DANH MỤC HÌNH ẢNH DANH SÁCH THUẬT NGỮ VIẾT TẮT MỞ ĐẦU Luận văn trình bày lý thuyết trình xây dựng Hệ Thống Nhận Dạng Khuôn Mặt dùng cho Điểm Danh Lớp Học Trực Tuyến Hệ thống bao gồm... hệ thống nhận dạng khuôn mặt dung cho điểm danh lớp học trực tuyến Ngồi việc giảm thiểu cơng sức thời gian, hệ thống giải số vấn đề bất cập điểm danh hộ,giả mạo, … Hệ thống mở rộng ứng dụng cho. .. cao tốn thời gian cách điểm danh truyền thống Do đó, Hệ thống nhận dạng khuôn mặt (Face recognition) đề xuất để sử dụng hệ thống điểm danh lớp học Hệ thống Ưu điểm Nhược điểm RFID card system