Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS VŨ VĂN THƯƠNG thuongvv.hust@gmail.com Ngành Toán Tin Giảng viên hướng dẫn: TS.Tạ Anh Sơn Viện: Toán ứng dụng Tin học HÀ NỘI, 4/2022 Chữ kí GVHD ĐỀ TÀI LUẬN VĂN Tên học viên : Vũ Văn Thương Mã số học viên : CB190309 Tên đề tài : Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS Mã đề tài: 2019B-TOANTIN Hệ : Thạc sĩ khoa học Ngành : Toán Tin Cán hướng dẫn : TS Tạ Anh Sơn Đơn vị : Viện Toán ứng dụng Tin học, Trường Đại học Bách Khoa Hà Nội Chữ kí GVHD Lời cảm ơn Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy Tạ Anh Sơn hướng dẫn tận tình hướng dẫn đưa góp ý, nhận xét để em hồn thành tốt luận văn Em xin gửi lời cảm ơn chân thành đến thầy Viện Tốn ứng dụng Tin học, trường Đại học Bách Khoa Hà Nội, người tận tâm truyền đạt kiến thức quý giá cho em suốt q trình học tập Ngồi ra, em xin chân thành cảm ơn bạn đồng nghiệp Công ty cổ phần giải pháp phần mềm ZENTSOFT đưa đóng góp q trình thực đề tài Em xin gửi lời cảm ơn đến TS Nguyễn Quang Thuận chủ nhiệm đề tài QG21.51 cấp ĐHQGHN, cảm ơn Trường Quốc Tế - Đại Học Quốc Gia Hà Nội, cảm ơn Công ty cổ phẩn giáo dục Zent Education triển khai giải pháp thử nghiệm sử dụng hệ thống LMS đưa góp ý quan trọng quý báu để em hoàn thiện đề tài tốt Hà Nội, ngày 10 tháng năm 2022 Học viên thực Vũ Văn Thương Tóm tắt nội dung luận văn Mơ hình học tập thi trực tuyến đời phát triển nhanh nước phát triển, từ sinh viên chủ động việc xếp thời gian học tập Tại nước phát triển có Việt Nam, trước việc học tập trực tuyến hay thi trực tuyến cịn có nhiều rào cản Tuy nhiên, từ dịch bệnh Covid-19 hoành hành, trường học bắt buộc phải đóng cửa để đảm bảo phịng chống dịch bệnh Từ vấn đề cấp thiết đặt làm để tổ chức học thi trực tuyến cách hiệu nhất, đảm bảo chất lượng đào tạo tốt Một ứng dụng triển khai vào công tác giảng dạy, quản lý học tập học sinh, sinh viên hệ thống quản lý học tập LMS - Learning Managerment System Tuy nhiên, hệ thống dừng lại việc quản lý học tập, chưa có biện pháp để nâng cao chất lượng đào tạo đảm bảo tối thiểu gian lận trình học thi trực tuyến Luận văn đề xuất giải pháp tích hợp cơng nghệ nhận dạng khn mặt theo dõi ánh nhìn vào hệ thống LMS để cảnh báo sớm trường hợp vi phạm nhằm giảm thiểu gian lận thi cử trực tuyến Kết triển khai thử nghiệm Trường Quốc Tế - Đại học Quốc Gia Hà Nội cho tín hiệu tích cực việc đáp ứng nhu cầu thực tiễn giai đoạn tại, nhằm hỗ trợ nâng cao chất lượng giảng dạy triển khai học thi trực tuyến Từ khóa: CNN, nhận dạng khn mặt, nhận dạng cảm xúc, LMS Mục lục PHẦN MỞ ĐẦU TỔNG QUAN CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT 11 13 1.1 Giới thiệu tốn nhận dạng khn mặt 13 1.2 Các lý thuyết mạng thần kinh 14 1.3 Các thuật tốn nhận dạng khn mặt phổ biến 18 1.3.1 Phương pháp sử dụng đặc trưng cứng (handcrafted) 18 1.3.2 Phương pháp sử dụng mơ hình FaceNet 19 1.3.3 Phương pháp sử dụng mơ hình ArcFace 22 1.4 Tổng quan hệ thống nhận diện khuôn mặt 24 1.5 Kết chương 34 TỔNG QUAN VỀ CÔNG NGHỆ THEO DÕI ÁNH NHÌN TRÊN KHN MẶT 35 2.1 Face Landmark 36 2.2 Theo dõi ánh nhìn từ biểu đồ Face Landmark 39 2.3 Kết chương 43 TÍCH HỢP ỨNG DỤNG PHÂN TÍCH KHN MẶT TRONG CHỐNG GIAN LẬN TRONG THI TRỰC TUYẾN 44 3.1 Phân tích hành vi gian lận từ khuôn mặt 45 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 3.2 Phân tích thiết kế giải pháp 3.2.1 Mục đích xây dựng hệ thống giám sát 47 47 3.2.2 Yêu cầu đạt 48 3.2.3 Mơ hình giải pháp 48 3.2.4 Thiết kế xây dựng 49 3.3 Công nghệ sử dụng 54 3.4 Giải pháp tích hợp vào hệ thống LMS 56 3.4.1 Giải pháp tích hợp phiên website 56 3.4.2 Giải pháp tích hợp phiên application 56 3.5 Kết thử nghiệm thực tế 60 3.6 Kết chương 67 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 68 TÀI LIỆU THAM KHẢO 70 Danh sách hình vẽ 1.1 Biểu diễn perceptron dạng neural network 15 16 1.2 Biểu diễn Linear Regression dạng neural network 1.3 Mô tả Nơ-ron thần kinh sinh học 1.4 Tư tưởng hoạt động kiến trúc FaceNet 16 1.5 Triplet loss sử dụng FaceNet 20 21 1.6 Kiến trúc ArcFace 24 1.7 Sơ đồ hoạt động hệ thống nhận diện khn mặt có đeo trang 25 1.8 Đặc trưng HOG hình ảnh khn mặt 1.9 Cắc đặc trưng Haar 26 27 1.10 Sơ đồ khối hệ thống detect khuôn mặt thuật toán Viala-Jones 10 28 1.11 Ảnh trước sau chạy thuật toán NMS 1.12 Kiến trúc mạng SSD YOLO 12 14 29 29 1.13 Vị trí 68 điểm landmark có khn mặt 1.14 Q trình alignment lại khn mặt 11 13 31 31 1.15 Mơ hình q trình huấn luyện kiểm thử mạng CNN cho 32 1.16 Mơ hình xác thực khn mặt 16 33 1.17 Mơ hình nhận dạng khn mặt 17 34 toán nhận diện khn mặt 15 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 2.1 Sơ đồ khối xây dựng mơ hình landmark 18 2.2 Bản đồ 68 điểm khuôn mặt 19 37 2.3 Kiến trúc mô hình CNN cho face landmark 20 40 2.4 Minh hoạ quy tắc xác định ánh nhìn 21 41 2.5 Minh hoạ quy tắc xác định ánh nhìn 22 41 2.6 Bộ liệu MPIIGaze 42 3.1 Minh hoạ học online sử dụng điện thoại 23 45 3.2 Hệ thống điểm danh lớp học 24 46 3.3 Minh hoạ thủ thuật gian lận học thi online 25 47 3.4 Mơ hình tổng quan tích hợp FaceID vào LMS 26 48 3.5 Danh sách API Face ID API 27 49 3.6 Cấu trúc API nhận dạng khuôn mặt 28 50 3.7 Cấu trúc API thêm thông tin người dùng 29 51 3.8 Cấu trúc API xố thơng tin người dùng 30 52 3.9 Cấu trúc API xố thơng tin người dùng 31 53 39 3.10 Giao diện tham gia phịng thi, xác thực hiển thị thơng tin thí sinh 57 3.11 Xác thực hiển thị thơng tin thí sinh đeo trang 58 3.12 Cảnh báo vi phạm thí sinh khơng có mặt khung hình 58 3.13 Cảnh báo vi phạm thí sinh khơng tập trung vào thi, có hướng nhìn ngồi khu vực quan sát 59 3.14 Cảnh báo vi phạm nhìn ngồi phạm vi quan sát 63 3.15 Cảnh báo vi phạm nhìn ngồi phạm vi quan sát 63 3.16 Cảnh báo vi phạm nhìn phạm vi quan sát 64 3.17 Nhận dạng thí sinh đăng nhập hệ thống 64 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 3.18 Nhận dạng thí sinh đăng nhập hệ thống 64 3.19 Nhận dạng thí sinh đăng nhập hệ thống 65 3.20 Cảnh báo vi phạm xuất 02 khuôn mặt khu vực quan sát 65 3.21 Cảnh báo sai nhận dạng thí sinh có hình ảnh thí sinh ngồi bàn sau 3.22 Cảnh báo sai thí sinh đeo trang nhìn nghiêng 66 66 Danh sách bảng 1.1 Kết đánh giá liệu LFW phương pháp trích xuất đặc trưng cứng 19 1.2 So sánh ArcFace với phương pháp khác tập LFW YTF 23 2.1 Chia liệu thành nhóm từ tập liệu MPIIGaze 43 2.2 Kết kiểm tra thực thiết bị Macbook PRO 15 2020 43 3.1 Bảng giải mã thông tin nhận từ API kiểm tra ánh nhìn 54 10