luận văn thạc sĩ nghiên cứu học sâu trong nhận dạng khuôn mặt ứng dụng cho bài toán điểm danh tự động học sinh

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Công Hịa NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHN MẶT ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2020 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Cơng Hịa NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 8.48.01.01 ĐỀ CƯƠNG LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHAN THỊ HÀ HÀ NỘI - 2020 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi TS Phan Thị Hà - giảng viên khoa Công nghệ thông tin trường Học viện cơng nghệ bưu viễn thông hướng dẫn khoa học Nguồn tài liệu tác giả, quan, tổ chức sử dụng ghi rõ phần tài liệu tham khảo Tơi xin hồn tồn chịu trách nhiệm nội dung luận văn Hà nội, ngày tháng năm 2020 Học viên Cao học Nguyễn Cơng Hịa ii LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ biết ơn chân thành sâu sắc tới TS Phan Thị Hà - Giáo viên hướng dẫn khoa học, người tận tình hướng dẫn, hỗ trợ giúp đỡ tơi q trình nghiên cứu hồn thiện luận văn Tơi xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên khoa Công nghệ thông tin trường Học viện cơng nghệ bưu viễn thơng tận tình truyền đạt kiến thức hướng dẫn cho suốt q trình học tập trường Tơi xin gửi lời cảm ơn tới người thân gia đình tơi chăm lo cho tôi, động viên tôi, cảm ơn quan nơi công tác - trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội tạo điều kiện để tơi hồn thành khóa học Trong q trình hồn thành luận văn thời gian khả kiến thức hạn chế nên khó tránh khỏi sai sót Kính mong nhận cảm thơng, góp ý thầy Tôi xin chân thành cảm ơn Hà nội, ngày tháng năm 2020 Người viết Nguyễn Cơng Hịa iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT iv DANH MỤC CÁC HÌNH VẼ v Chương TỔNG QUAN VỀ BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG .3 Chương TÌM HIỂU VỀ HỌC SÂU VÀ MƠ HÌNH MẠNG NƠRON TÍCH CHẬP 11 Chương NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG 44 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 67 iv DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial neural network Mạng nơron nhân tạo CNN Convolutional Neural Network Mạng nơron tích chập Conv Convolution Tích chập DL Deep Learning Học sâu ML Machine Learning Multi-task MTCNN Học máy Cascaded Mạng chuyển đổi xếp tầng đa MLP Convolutional Networks Multi layer perceptron tác vụ Mạng nơron đa lớp NMS Non-Maximum Suppression RNN Recurrent Neural Network Mạng nơron tái phát ResNet Residual Network Mạng dư KNN K-nearest neighbor K-láng giềng SGD Stochastic Gradient Descent v DANH MỤC CÁC HÌNH VẼ Hình 1.1 Quy trình xử lý ảnh [1] Hình 1.2 Các bước hệ thống xử lý ảnh [1] Hình 1.3 Nền ảnh phức tạp Hình 1.4 Hệ thống nhận dạng khuôn mặt Hình 2.5 Mối quan hệ DL, ML AI [11] 13 Hình 2.6 Các giai đoạn phát triển Học sâu [3] 14 Hình 2.7 Mơ hình mạng nơron [12] 15 Hình 2.8 Kiến trúc phần ANN 15 Hình 2.9 Tế bào nơron nhân tạo .16 Hình 2.10 Một số hàm truyền phổ biến 17 Hình 2.11 Huấn luyện mạng ANN sử dụng lan truyền ngược 18 Hình 2.12 Quá trình học nơron 19 Hình 2.13 Mơ hình tính tốn nơron 19 Hình 2.14 Tơ màu ảnh đen trắng dựa Học sâu 23 Hình 2.15 Cấu trúc mạng Nơron Tích chập (Lecun, 1989) 25 Hình 2.16 Phép tính Convolution [4] 26 Hình 2.17: Mơ tả hàm MaxPooling với cửa sổ 2x2 mà bước trượt .28 Hình 2.18: Cấu trúc MTCNN 32 Hình 2.19: Kim tự tháp hình ảnh .32 Hình 2.20: Kernel tìm kiếm khn mặt .33 Hình 2.21: P-Net 34 Hình 2.22: R-Net 35 Hình 2.23: O-Net 36 Hình 2.24: Ví dụ MTCNN 37 Hình 2.25: So sánh độ xác 39 Hình 2.26: Một khối xây dựng ResNet .39 Hình 2.27: Kiến trúc chi tiết ResNet 40 Hình 2.28: Mơ hình ResNet-101 40 vi Hình 2.29: Code ResNet Model 41 Hình 2.30: Code ResNet Model 41 Hình 3.31: Các bước thực nhận dạng khuôn mặt sử dụng Resnet-101 48 Hình 3.32: Bộ liệu xây dựng 51 Hình 3.33: Mơ tả phương pháp tính độ lỗi 53 Hình 3.34: Mơ tả phương pháp tính độ lỗi dựa điểm neo 54 Hình 3.35: Biểu đồ mơ tả kết huấn luyện 55 Hình 3.36: Máy tính nhúng Raspberry pi hình .56 Hình 3.37: Các thành phần cần thiết cho thiết bị 57 Hình 3.38: Thuật tốn xử lý ảnh trước cải tiến 60 Hình 3.39: Thuật toán xử lý ảnh sau cải tiến 61 Hình 3.40: Database hệ thống điểm danh 64 MỞ ĐẦU Đảng, Nhà Nước ta xác định “Giáo dục đào tạo quốc sách hàng đầu” để thực tốt mục tiêu, nhiệm vụ chiến lược này, việc ưu tiên ứng dụng công nghệ thông tin quản lý việc hỗ trợ hoạt động dạy - học vấn đề cấp bách, thể qua nhiều văn đạo Đảng, Nhà Nước Bộ giáo dục đào tạo Việc quản lý học sinh nhà trường phổ thơng hồn tồn dựa theo hình thức thủ cơng, tượng học sinh bỏ buổi học, bỏ tiết, ngồi học khơng lớp học, học sinh nhà trường gây cho công tác kiểm diện quản lý học sinh gặp nhiều khó khăn Hơn nữa, phụ huynh muốn giám sát xem có mặt trường, lớp hay không? nhu cầu lớn Học sâu phát triển, ứng dụng rộng rãi toán nhận dạng như: nhận dạng hình ảnh, nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên … thu thành tựu to lớn với độ xác ngày cao Trong nhận dạng khn mặt để xác định danh tính, giao dịch, kiểm sốt an ninh … ngày trở nên phổ biến Xuất phát từ thực tế trên, đề tài “nghiên cứu Học sâu nhận dạng khn mặt ứng dụng cho tốn điểm danh tự động học sinh” với hy vọng ứng dụng thành cơng mơ hình Học sâu đại việc xây dựng hệ thống điểm danh tự động dựa vào nhận dạng khuôn mặt, đặc biệt ứng dụng cụ thể vào điểm danh tự động học sinh lớp học trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội Mục tiêu luận văn nghiên cứu học sâu nhận dạng khuôn mặt ứng dụng cho toán điểm danh tự động trình quản lý học sinh nhà trường phổ thông nhằm nâng cao chất lượng quản lý học sinh công tác giáo dục đào tạo nhà trường Đối tượng nghiên cứu luận văn: Mơ hình mạng nơron tích chập tốn điểm danh tự động Phạm vi nghiên cứu luận văn: Xây dựng hệ thống điểm danh tự động học sinh lớp học trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội Nội dung luận văn trình bày ba chương với nội dung sau: Chương 1: Tổng quan tốn điểm danh tự động Nội dung chương tìm hiểu khái quát xử lý ảnh tốn nhận dạng khn mặt Chương 2: Tìm hiểu học sâu mơ hình mạng nơron tích chập Nội dung chương tìm hiểu tổng quan học máy, Học sâu, mơ hình mạng nơron tích chập (CNN) cách hoạt động, cấu trúc việc huấn luyện mơ hình mạng nơron tích chập Chương 3: Nhận dạng khn mặt ứng dụng cho toán điểm danh tự động Nội dung chương trình bày chi tiết bước xây dựng hệ thống điểm danh tự động dựa nhận dạng khn mặt 54 Hình 3.34: Mơ tả phương pháp tính độ lỗi dựa điểm neo Với ba ba hình ảnh này, (gọi vector embeeding ảnh A, P N), mơ hình cần phải đưa ra: Khoảng cách(A, P)