Lý do chọn đề tài Tự động điểm danh học sinh sử dụng thuật toán nhận dạng ảnh là một đề tài rất thú vị và tiềm năng, đặc biệt là trong bối cảnh sử dụng công nghệ để cải thiện quản lý giá
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU - - VẬN DỤNG THUẬT TOÁN NHẬN DẠNG ẢNH ĐỂ ĐIỂM DANH HỌC SINH TRONG LỚP HỌC TẠI TRƯỜNG THPT GVHD: PGS.TS.TRẦN MẠNH HÀ HVTH : Nguyễn Hoàng Thanh MSHV : 20110184 Lớp: MIT20K2 Bà Rịa – Vũng Tàu, tháng 09/2023 i LỜI CAM ĐOAN Đầu tiên xin cam đoan kết có luận văn sản phẩm nghiên cứu, tìm hiểu riêng cá nhân tơi với hướng dẫn nghiên cứu khoa học thầy PGS.TS.Trần Mạnh Hà Những nội dung nghiên cứu, thực nghiệm luận văn hoàn toàn trung thực trước chưa công bố hình thức Tồn nội dung luận văn cá nhân nghiên cứu trích xuất tổng kết từ nguồn tài liệu mà sưu tập Đồng thời, tài liệu mà tơi tham khảo có nguồn rõ ràng cung cấp sử dụng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chấp nhận hình thức kỷ luật nhà trường theo quy định vi phạm lời cam đoan Học viên Cao học Nguyễn Hồng Thanh i LỜI CẢM ƠN Tơi xin gởi lời cảm ơn chân chân thành sâu sắc tới thầy hướng dẫn PGS.TS Trần Mạnh Hà hướng dẫn chun mơn thầy suốt q trình làm luận văn để tơi hồn thiện luận văn cuối khố Ngồi tơi cịn gởi lời cảm ơn đến tập thể cán - giảng viên trường Đại học Bà Rịa-Vũng Tàu hỗ trợ tạo điều kiện thuận lợi cho suốt trình học tập trường Luận văn khơng tránh khỏi sai sót, thiếu sót Do nhiều điều kiện khách quan chủ quan, Mặc dù cố gắng nghiêm túc thực Kính mong nhận thơng cảm, bảo tận tình q thầy hội đồng đánh giá luận văn Tôi xin chân thành cảm ơn! ii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH ẢNH – SƠ ĐỒ vi DANH MỤC CÁC TỪ VIẾT TẮT ix CHƯƠNG I: TỔNG QUAN ĐỀ TÀI VÀ NỘI DUNG 1.1 Lý chọn đề tài 1.2 Mục tiêu luận văn 1.3 Đối tượng phạm vi nghiên cứu 1.4 Cấu trúc luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ ẢNH SỐ, MACHINE LEARNING DEEP LEARNING VÀ CÁC PHƯƠNG PHÁP GIÚP PHÁT HIỆN KHUÔN MẶT VÀ NHẬN DIỆN GƯƠNG MẶT NGƯỜI TRÊN ẢNH .4 Cở sở lý thuyết xử lý ảnh số, xử lý vấn đề xử lý ảnh [1][4][15][33] 1.1 Cơ sở lý thuyết xử lý ảnh 1.2 Các Khía cạnh Cơ Xử lý Hình ảnh .5 1.2.1 Hình ảnh Số Điểm ảnh 1.2.2 Nắn chỉnh biến dạng 1.2.3 Phương pháp khử nhiễu ảnh 1.2.4 Phương pháp điều chỉnh mức xám ảnh 1.2.5 Biên 10 1.2.6 Phương pháp nhận dạng [14] 11 1.2.7 Nén ảnh 12 Một số kỹ thuật xử lý ảnh số [5] 12 2.1 Các phương pháp xử lý ảnh nhiễu 12 2.1.1 Kỹ thuật trung bình 12 2.1.2 Phương pháp trung vị 13 2.1.3 Phương pháp thông thấp 15 2.1.4 Kỹ thuật lọc thông cao .15 2.2 Phương pháp sử dụng điểm biên 16 2.3 Một số kĩ thuật phát biên 17 2.3.1 Kỹ thuật gradient .17 2.3.2 Kỹ thuật Laplace 17 iii 2.3.3 Kỹ thuật sobel 18 2.3.4 Kỹ thuật prewitt .19 Machine Learning [2][3][18] 19 Deep Learning [2][3][6] 20 4.1 Các khái niệm 20 4.2 Phương thức hoạt động học sâu 21 4.3 Các ứng dụng phổ biến học sâu xử lý ảnh .22 4.3.1 Hiển thị màu ảnh 22 4.3.2 Kỹ thuật nhận dạng gương mặt 22 4.4 Phân loại đối tượng người thông qua đặc điểm 23 4.5 Các phương pháp nhận dạng đối tượng sử dụng [7-9] [11-13] 24 4.5.1 Phân loại dựa Đặc trưng 24 4.5.2 Nhận dạng dựa mơ hình 24 4.5.3 Nhận dạng đối tượng dựa so khớp mẫu 25 4.5.4 Nhận dạng đối tượng dựa diện mạo (Face Recognition) 25 4.6 Một số kỹ thuật phát người [30-32] 26 4.7 Kỹ thuật phát đối tượng mạng thần kinh tích chập .28 4.7.1 Lớp tích chập (Convolution Layer) 29 4.7.2 Lớp chuyển đổi (ReLU Layer) .32 4.7.3 Lớp tổng hợp (Pooling Layer) 33 4.7.4 Lớp kết nối đầy đủ (Fully-Connected Layer) .33 4.7.5 Các bước thực nhận dạng đối tượng mạng thần kinh tích chập 34 Sử dụng thuật toán MTCNN để phát gương mặt 35 5.1 Mạng nơ ron P-Net 36 5.2 Mạng nơ ron R-Net .37 5.3 Mạng nơ ron O-Net 38 5.4 Phương thức tăng cường chất lượng liệu MTCNN 39 5.4.1 Xác định tọa độ hai mắt phân loại vị trí mắt .41 5.4.2 Xác định góc xoay ảnh .42 Kỹ thuật nhận diện gương mặt định danh sử dụng Facenet 43 Giới thiệu nhận dạng gương mặt 43 Nhận dạng gương mặt với thuật toán FaceNet 44 6.3 Thuật toán Triplet Loss 45 iv 6.4 Phương pháp đo độ tương tự (cosine similarity) .48 CHƯƠNG GIẢI PHÁP ĐIỂM DANH HỌC SINH SỬ DỤNG KỶ THUẬT NHẬN DẠNG ĐỐI TƯỢNG KẾT HỢP 50 Giải pháp cho toán điểm danh học sinh 50 1.1 Bài toán đặt 50 1.2 Phương pháp giải toán 51 Xây dựng mơ hình nhận dạng gương mặt 52 2.1 Thu thập mẫu liệu 52 2.2 Thu thập ảnh điểm danh 53 2.3 Phát khuôn mặt từ ảnh liệu vào 55 2.4 Tiến hành nhận dạng khuôn mặt với ảnh mẫu: .57 Dữ liệu thu thập .59 3.1 Dữ liệu ảnh mẫu để thực huấn luyện: .60 3.2 Dữ liệu đầu vào để thực lấy khuôn mặt 60 Các yếu tố để mơ hình đạt hiệu 61 4.1 Một số quy tắc cần thực 61 4.2 Các trường hợp phát nhận dạng sai 62 Chương QUY TRÌNH VÀ KẾT QUẢ THỰC NGHIỆM VIỆC ÁP DỤNG TRONG THỰC TẾ TẠI LỚP HỌC 62 Cài đặt thực nghiệm 62 Cấu trúc chương trình 63 Quy trình hoạt động hệ thống 63 3.1 Mô tả quy trình lấy mẫu điểm danh ban đầu 64 3.2 Mô tả quy trình lấy liệu đầu vào – đầu 65 3.3 Mô tả quy trình điểm danh 67 Kết trình thực nghiệm 68 Đánh giá kết trình thực nghiệm 70 Kết luận phương hướng phát triển đề tài 72 PHỤ LỤC 74 TÀI LIỆU THAM KHẢO 79 v DANH MỤC HÌNH ẢNH – SƠ ĐỒ Hình ảnh 1.1 Quy trình xử lý ảnh Hình ảnh 1.2 Mơ hình q trình xử lý ảnh Hình ảnh 1.3 Bảng thông số màu ảnh xám Hình ảnh 1.4 Bảng thông số ảnh màu Hình ảnh 1.5 Ảnh số hóa Hình ảnh 1.6 Độ phân giải ảnh Hình ảnh 1.7 Ảnh thực tế ảnh mong muốn Hình ảnh 1.8 Mẫu ảnh khử nhiễu Hình ảnh 1.9 Kết chỉnh xám ảnh 10 Hình ảnh 1.10 Mơ hình đường biên 11 Hình ảnh 1.11 Vận dụng phương pháp biến đổi để nén ảnh 12 Hình ảnh 1.12 Mơ hình lọc thơng cao 15 Hình ảnh 1.13 Các phương pháp học máy 20 Hình ảnh 1.14 Mối quan hệ Deep Learning với lĩnh vực liên quan 21 Hình ảnh 1.15 Mơ hình học sâu 21 Hình ảnh 1.16 Cơng nghệ nhận diện gương mặt 22 Hình ảnh 1.17 Biểu đồ hệ số wavelet hệ không gian chiều 27 Hình ảnh 1.18 Mơ tả điểm đặc trưng HOG 27 Hình ảnh 1.19 HOG person dectectors cho kết không tốt tìm người .28 Hình ảnh 2.1Mảng ma trận RGB 29 Hình ảnh 2 Mơ hình mạng nơ-ron với nhiều lớp chập 29 Hình ảnh Ma trận ảnh nhân ma trận lọc 30 Hình ảnh Xác định feature map 30 Hình ảnh Giới thiệu số lọc phổ biến 31 Hình ảnh Q trình thực tích chập sải bước pixel .32 Hình ảnh Hàm kích hoạt ReLU 32 Hình ảnh Max Pooling 33 Hình ảnh Lớp tổng hợp ma trận gộp lớp, làm phẳng thành lớp FC 34 vi Hình ảnh 10 Kiến trúc lớp kết nối đầy đủ hoàn chỉnh .34 Hình ảnh 11 Kết ảnh có sau thực thuật tốn MTCNN 35 Hình ảnh 12 Bộ mơ hình MTCNN gồm P-Net, R-Net O-Net 36 Hình ảnh 13 Sơ đồ mang P-Net 36 Hình ảnh 14 Kim tự tháp ảnh 37 Hình ảnh 15 Sơ đồ mạng lọc (R-Net) 38 Hình ảnh 16 Kết tầng R-Net .38 Hình ảnh 17 Mạng đầu (O-Net)[30] 39 Hình ảnh 18 Kết tầng O-Net .39 Hình ảnh 19 Các bước cần thực để canh chỉnh ảnh 40 Hình ảnh 20 Kết việc thực canh chỉnh ảnh 41 Hình ảnh 21 Xác định tọa độ tâm mắt đường nối tâm mắt 41 Hình ảnh 22 Xác định góc xoay ảnh hướng xoay ảnh 42 Hình ảnh 23 xoay theo hướng thuận chiều kim đồng hồ 43 Hình ảnh 24 Mơ hình chung tốn nhận dạng gương mặt người 44 Hình ảnh 25 Minh hoạ ba sai số 46 Hình ảnh 26 Minh họa trình sau huấn luyện 48 Hình ảnh Sơ đồ hoạt động giải pháp điểm danh học sinh 52 Hình ảnh Từ ảnh chụp mẫu vận dụng thuật toán MTCNN để phát lấy khuôn mặt theo chuẩn 53 Hình ảnh 3 Bộ ảnh lấy thời điểm vào lớp .54 Hình ảnh Bộ ảnh lấy học sinh lớp học 54 Hình ảnh Bộ ảnh lấy học sinh rời khỏi lớp .55 Hình ảnh Thơng qua thuật tốn MTCNN để phát khn mặt 56 Hình ảnh Khn mặt cắt canh chỉnh từ ảnh liệu .57 Hình ảnh Đối chiếu ảnh thuật toán Facenet để thực điểm danh 58 Hình ảnh Sơ đồ mơ tả cấu trúc liệu mơ hình điểm danh ảnh 59 Hình ảnh 10 Thư mục ảnh khn mặt trích xuất từ ảnh mẫu 60 Bảng 11 Số lượng mẫu liệu tập huấn 60 vii Bảng 12 Số ảnh liệu tối thiểu để điểm danh 60 Hình ảnh 13 Các góc đặt camera làm che khuất học sinh ảnh ngược sáng 61 HÌnh ảnh 14 Học sinh khơng lấy khuôn mặt làm liệu mẫu 62 Hình ảnh 15 Danh sách lớp lưu theo vị trí 64 Hình ảnh 16 Chụp ảnh học sinh lấy mẫu 65 Hình ảnh 17 Tự động lấy mẫu khuôn mặt từ ảnh mẫu 65 Hình ảnh 18 Góc lắp camera để lấy ảnh học sinh tiết học .66 Hình ảnh 19 Góc lắp camera để lấy ảnh học sinh vào lớp học 66 Hình ảnh 20 Các khn mặt trích xuất từ liệu ảnh .67 Hình ảnh 21 Sơ đồ hoạt động hệ thống 69 Hình ảnh 22 Kết giao diện điểm danh 70 Hình ảnh 23 Bảng phân bổ mật độ tỷ lệ xác hệ thống 71 Hình ảnh 24 Bảng phân bổ độ xác khơng cao hệ thống 71 Hình ảnh 25 Các ảnh có hiệu xuất nhận dạng khơng cao 72 viii DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Từ đầy đủ CNN Convolutional Neural Networks SVM Support Vector Machine R-CNN FPS Frame per second HOG Histogram of Oriented gradient SMS Short Message Services SSD Single Shot detectors BR-VT FPN 10 AI 11 MTCNN 12 RGB Regional Convolutional Neural Network Bà Rịa – Vũng Tàu Feature Pyramid Networks Artificial intelligence Multi-task Cascaded Convolutional Networks Red, green, and blue ix