(Luận văn) nghiên cứu học sâu trong nhận dạng khuôn mặt ứng dụng cho bài toán điểm danh tự động học sinh

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu Nguyễn Cơng Hịa an n va gh tn to p ie NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHUÔN MẶT d oa nl w ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH va an lu ll u nf LUẬN VĂN THẠC SĨ KỸ THUẬT oi m (Theo định hướng ứng dụng) z at nh z m co l gm @ an Lu HÀ NỘI - 2020 n va ac th si HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu Nguyễn Cơng Hịa an n va gh tn to NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHN MẶT p ie ỨNG DỤNG CHO BÀI TỐN ĐIỂM DANH TỰ ĐỘNG HỌC SINH oa nl w d CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH an lu 8.48.01.01 ll u nf va MÃ SỐ: m oi ĐỀ CƯƠNG LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh (Theo định hướng ứng dụng) z gm @ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHAN THỊ HÀ m co l an Lu HÀ NỘI - 2020 n va ac th si i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi TS Phan Thị Hà - giảng viên khoa Công nghệ thông tin trường Học viện cơng nghệ bưu viễn thơng hướng dẫn khoa học Nguồn tài liệu tác giả, quan, tổ chức sử dụng tơi ghi rõ phần tài liệu tham khảo Tôi xin hoàn toàn chịu trách nhiệm nội dung luận văn Hà nội, ngày tháng năm 2020 Học viên Cao học lu an n va p ie gh tn to Nguyễn Cơng Hịa d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si ii LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ biết ơn chân thành sâu sắc tới TS Phan Thị Hà - Giáo viên hướng dẫn khoa học, người tận tình hướng dẫn, hỗ trợ giúp đỡ trình nghiên cứu hồn thiện luận văn Tôi xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên khoa Công nghệ thông tin trường Học viện cơng nghệ bưu viễn thơng tận tình truyền đạt kiến thức hướng dẫn cho tơi suốt q trình học tập trường Tôi xin gửi lời cảm ơn tới người thân gia đình tơi chăm lo cho lu an tôi, động viên tôi, cảm ơn quan nơi công tác - trường THPT Thanh Oai n va B, huyện Thanh Oai, Hà Nội tạo điều kiện để tơi hồn thành khóa học tn to gh Trong q trình hồn thành luận văn thời gian khả kiến thức p ie hạn chế nên khó tránh khỏi sai sót Kính mong nhận cảm thơng, góp ý thầy cô oa nl w Tôi xin chân thành cảm ơn Hà nội, ngày tháng năm 2020 d ll u nf va an lu Người viết oi m Nguyễn Cơng Hịa z at nh z m co l gm @ an Lu n va ac th si iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU Chương TỔNG QUAN VỀ BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG 1.1 Tổng quan xử lý ảnh lu an 1.1.1 Một số khái niệm n va 1.1.2 Các vấn đề xử lý ảnh 1.2 Bài tốn nhận dạng khn mặt 1.2.1 Khái niệm p ie gh tn to 1.1.3 Ứng dụng xử lý ảnh thực tế w 1.2.2 Một số trở ngại công nghệ nhận dạng khuôn mặt oa nl 1.2.3 Tầm quan trọng tốn nhận dạng khn mặt 1.2.4 Các ứng dụng đặc trưng toán nhận dạng khuôn mặt d an lu 1.2.5 Xây dựng hệ thống nhận dạng khuôn mặt va 1.2.6 Một số phương pháp nhận dạng khuôn mặt ll u nf 1.3 Vai trò tầm quan trọng toán điểm danh tự động học sinh oi m trường THPT Thanh Oai B, Huyện Thanh Oai, Hà Nội z at nh 1.4 Kết luận chương 10 Chương TÌM HIỂU VỀ HỌC SÂU VÀ MƠ HÌNH MẠNG NƠRON TÍCH z CHẬP 11 @ gm 2.1 Tổng quan Học máy (Machine learning) 11 l 2.2 Các thuật toán Học máy 12 m co 2.2.1 Học có giám sát (supervised learning) 12 2.2.2 Học không giám sát (unsupervised learning) 12 an Lu 2.2.3 Học bán giám sát (Semi-Supervised Learning) 12 n va ac th si iv 2.2.4 Học củng cố (Reinforcement learning) 12 2.3 Tìm hiểu Học sâu (Deep learning) 12 2.3.1 Học sâu gì? 12 2.3.2 Lịch sử Học sâu 13 2.3.3 Tổng quan mạng nơron nhân tạo 14 2.3.4 Ứng dụng Học sâu 21 2.4 Tìm hiểu CNN [2] 24 2.5 Cấu trúc CNN 25 2.5.1 Lớp tích chập (Convolution) 25 lu an 2.5.2 Lớp phi tuyến Relu 27 n va 2.5.3 Lớp Pooling 27 2.6 Huấn luyện mơ hình CNN 29 gh tn to 2.5.4 Lớp Fully-connected (FC) 28 p ie 2.7 Tìm hiểu Multi-task Cascaded Convolutional Networks 31 2.7.1 Multi-task Cascaded Convolutional Networks gì? 31 nl w 2.7.2 MTCNN Workflow 31 d oa 2.7.3 Lý lựa chọn MTCNN để detect khuôn mặt 37 an lu 2.8 Tìm hiểu mơ hình ResNet 38 va 2.8.1 Giới thiệu mơ hình ResNet 38 u nf 2.8.2 Điểm bật mô hình ResNet 38 ll 2.8.3 Kiến trúc ResNet 39 m oi 2.8.4 Mơ hình ResNet 39 z at nh 2.9 Kết luận chương 43 Chương NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG CHO BÀI TOÁN z gm @ ĐIỂM DANH TỰ ĐỘNG 44 3.1 Xây dựng hệ thống nhận dạng khuôn mặt 44 l m co 3.1.1 Công nghệ sử dụng 44 3.1.2 Xây dựng hệ thống nhận dạng khuôn mặt 48 an Lu 3.1.3 Xây dựng liệu huấn luyện 49 n va ac th si v 3.1.4 Huấn luyện mơ hình nhận dạng khn mặt 52 3.2 Lập trình nhúng cho thiết bị điểm danh 55 3.2.1 Máy tính nhúng raspberry Pi 4: 56 3.2.2 Cài đặt hệ điều hành 57 3.2.3 Xây dựng giao diện cho thiết bị 58 3.2.4 Xử lý nâng cao 60 3.3 Xây dựng sở liệu 63 3.4 Demo đánh giá kết 64 3.5 Kết luận chương 65 lu an KẾT LUẬN 66 n va DANH MỤC CÁC TÀI LIỆU THAM KHẢO 67 p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vi DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt AI Tiếng Anh Artificial Intelligence Tiếng Việt Trí tuệ nhân tạo ANN Artificial neural network Mạng nơron nhân tạo CNN Convolutional Neural Network Mạng nơron tích chập Conv Convolution Tích chập DL Deep Learning Học sâu ML Machine Learning Học máy lu Multi-task Cascaded Convolutional Mạng chuyển đổi xếp tầng đa an MTCNN n va tác vụ MLP Multi layer perceptron Mạng nơron đa lớp NMS Non-Maximum Suppression RNN Recurrent Neural Network Mạng nơron tái phát Residual Network Mạng dư K-nearest neighbor K-láng giềng ie gh tn to Networks p ResNet nl w Stochastic Gradient Descent d oa SGD KNN ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Quy trình xử lý ảnh [1] Hình 1.2 Các bước hệ thống xử lý ảnh [1] Hình 1.3 Nền ảnh phức tạp Hình 1.4 Hệ thống nhận dạng khuôn mặt Hình 2.1 Mối quan hệ DL, ML AI [11] 13 Hình 2.2 Các giai đoạn phát triển Học sâu [3] 14 Hình 2.3 Mơ hình mạng nơron [12] 14 Hình 2.4 Kiến trúc phần ANN 15 lu an Hình 2.5 Tế bào nơron nhân tạo 16 n va Hình 2.6 Một số hàm truyền phổ biến 17 tn to Hình 2.7 Huấn luyện mạng ANN sử dụng lan truyền ngược 18 gh Hình 2.8 Quá trình học nơron 19 p ie Hình 2.9 Mơ hình tính tốn nơron 19 Hình 2.10 Tô màu ảnh đen trắng dựa Học sâu 23 oa nl w Hình 2.11 Cấu trúc mạng Nơron Tích chập (Lecun, 1989) 25 Hình 2.12 Phép tính Convolution [4] 26 d an lu Hình 2.13: Mơ tả hàm MaxPooling với cửa sổ 2x2 mà bước trượt 28 va Hình 2.14: Cấu trúc MTCNN 32 ll u nf Hình 2.15: Kim tự tháp hình ảnh 32 oi m Hình 2.16: Kernel tìm kiếm khuôn mặt 33 z at nh Hình 2.17: P-Net 33 Hình 2.18: R-Net 35 z Hình 2.19: O-Net 36 @ gm Hình 2.20: Ví dụ MTCNN 37 l Hình 2.21: So sánh độ xác 39 m co Hình 2.22: Một khối xây dựng ResNet 39 Hình 2.23: Kiến trúc chi tiết ResNet 40 an Lu Hình 2.24: Mơ hình ResNet-101 40 n va ac th si viii Hình 2.25: Code ResNet Model 41 Hình 2.26: Code ResNet Model 41 Hình 3.1: Các bước thực nhận dạng khuôn mặt sử dụng Resnet-101 48 Hình 3.2: Bộ liệu xây dựng 52 Hình 3.3: Mơ tả phương pháp tính độ lỗi 53 Hình 3.4: Mơ tả phương pháp tính độ lỗi dựa điểm neo 54 Hình 3.5: Biểu đồ mô tả kết huấn luyện 55 Hình 3.6: Máy tính nhúng Raspberry pi hình 56 Hình 3.7: Các thành phần cần thiết cho thiết bị 57 lu Hình 3.8: Thuật tốn xử lý ảnh trước cải tiến 61 an n va Hình 3.9: Thuật tốn xử lý ảnh sau cải tiến 62 p ie gh tn to Hình 3.10: Database hệ thống điểm danh 64 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 54 o Một hình ảnh từ lớp với Anchor, gọi Positive o Một hình ảnh từ lớp khác với Anchor, gọi Negative Anchor Positive Negative lu Hình 3.4: Mơ tả phương pháp tính độ lỗi dựa điểm neo an Với ba ba hình ảnh này, (gọi vector embeeding ảnh va n A, P N), mô hình cần phải đưa ra: tn to Khoảng cách(A, P)