(Luận văn thạc sĩ) nghiên cứu mô hình học sâu ứng dụng vào bài toán điểm danh tại doanh nghiệp

i ii iii MỤC LỤC LỜI CAM ĐOAN i DANH MỤC CÁC HÌNH iv MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ BÀI TOÁN .10 1.1 Tổng quan toán nhận dạng .10 1.2 Hướng giải toán 10 1.2.1 Phương pháp học máy .10 1.2.2 Phân nhánh học máy 11 1.2.3 Phương pháp học sâu: .13 1.3 Một số ứng dụng Deep learning 15 1.4 Mạng nơ ron tích chập 15 1.3.1 Phép tính tích chập (Convolution) 15 1.3.2 Khái niệm mạng nơ ron tích chập .19 1.3.3 Kiến trúc mạng nơ ron tích chập 20 1.5 Chi tiết lớp .28 1.5.1 Lớp tích chập 28 1.5.2 Lớp kích hoạt phi tuyến tính 28 1.5.3 Lớp lấy mẫu 29 1.5.4 Lớp kết nối đầy đủ 30 1.6 Một số mạng tích chập tiếng 30 1.6.1 AlexNet 30 1.6.2 GoogLeNet 31 1.6.3 VGGNet 32 1.6.4 Residual Network (ResNet) 33 1.7 Hướng tiếp cận đề án 35 1.8 Kết luận chương .35 CHƯƠNG THỰC NGHIỆM BÀI TỐN NHẬN DIỆN KHN MẶT 36 2.1 Nhận dạng khuôn mặt với phương pháp học sâu 36 iv 2.1.1 Các bước nhận dạng khuôn mặt 37 2.1.2 Tìm hiểu ArcFace 41 2.2 Thực thu thập liệu 47 2.3 Tiền xử lý liệu 48 2.4 Trích xuất vecto đặc trưng 49 2.5 Điểm danh khuôn mặt 51 2.6 Kết luận chương 52 CHƯƠNG XÂY DỰNG ỨNG DỤNG ĐIỂM DANH BẰNG NHẬN DẠNG KHUÔN MẶT 53 3.1 Mô tả tổng quan ứng dụng 53 3.2 Các chức ứng dụng 53 3.3 Mô tả kiến trúc ứng dụng .54 3.4 Công cụ sử dụng 55 3.5 Phân tích thiết kế ứng dụng 55 3.6 Kết ứng dụng 60 3.7 Đánh giá kết điểm danh ứng dụng 63 KẾT LUẬN 64 LỜI CAM ĐOAN 67 v DANH MỤC KÍ HIỆU VÀ TỪ VIẾT TẮT Kí hiệu Viết đầy đủ Ý nghĩa RL Reinforcement learning Học củng cố CV Computer vision Thị giác máy tính RNN Recurrent neural networks Mạng nơ ron tái tạo DNN Deep neural Network Mạng nơ ron sâu ANN Artificial Neural Network Mạng nơ ron nhân tạo Trí tuệ nhân tạo AI Artificial Intelligence Convolutional neural CNN DL network Deep Learning Mạng nơ ron tích chập Học sâu ML Machine Learning Học máy vi DANH MỤC CÁC HÌNH Hình 1.1 Mơ hình hoạt động học máy 12 Hình 1.2 Cấu trúc phân nhánh Machine learning 13 Hình 1.3 Mơ hình học có giám sát 13 Hình 1.4 Tích chập ma trận X với kernel W 17 Hình 1.6 Kết ma trận Y 18 Hình 1.7 Ma trận X thêm viền bên .19 Hình 1.8 Ví dụ ma trận stride .19 Hình 1.9 Ví dụ ma trận padding 20 Hình 1.10 Minh họa ví dụ sử dụng CNN để phân lớp đồ vật 21 Hình 1.11 Kiến trúc mạng nơ-ron 22 Hình 1.12 Ví dụ phép tích chập ma trận 23 Hình 1.13 Minh họa cách hoạt động ma trận .24 Hình 1.14 Minh họa phép tích chập ma trận ảnh màu .24 Hình 1.15 Thực tích chập mở rộng chiều liệu đầu vào 25 Hình 1.16 Mơ tả cấu trúc liệu 3D lớp tích chập 26 Hình 1.17 Minh họa cách hoạt động hai lớp gộp .27 Hình 1.18 Mơ tả cách di chuyển cửa sổ gộp 27 Hình 1.19 Mơ tả q trình lấy mẫu xuống (downsampling) 28 Hình 1.20 Ví dụ phép tích chập có lọc 29 Hình 1.21 Phương pháp Max Pooling Avarage Pooling 31 Hình 1.22 So sánh cấu trúc LeNet AlexNet .32 Hình 1.23 Mơ tả khối Inception sử dụng GoogLeNet 32 Hình 1.24 Cấu trúc GoogLeNet .33 Hình 1.25 Cấu trúc VGGNet so với AlexNet .34 Hình 1.26 Mô tả khối sử dụng ResNet 35 Hình 1.27 Cấu trúc mạng ResNet 35 Hình 2.1 Tổng quan hệ thống nhận diện khn mặt .37 Hình 2.2 Ví dụ Face detection 39 vii Hình 2.3 Ví dụ Face alignment sử dụng deep neural network 40 Hình 2.4 Mơ hình phác họa việc biểu diễn face dạng vector 41 Hình 2.5 Một ví dụ Face Recognition 42 Hình 2.6 Ví dụ phép nhúng 44 Hình 2.7 Nhận dạng khn mặt ArcFace .44 Hình 2.8 So sánh tính nhúng Arcface Softmax biểu diễn 3D 45 Hình 2.9 So sánh tính nhúng Arcface Softmax biểu diễn 2D 46 Hình 2.11 Tìm kiếm hình ảnh qua Google image 48 Hình 2.12 Minh họa ảnh thu thập từ kho liệu công ty 49 Hình 2.13 Ảnh thu thập đạt yêu cầu .49 Hình 2.14 Ảnh thu thập khơng đạt u cầu 50 Hình 2.15 Ảnh khn mặt thực trích xuất vector đặc trưng 51 Hình 2.16 Ảnh sau qua bước phát khuôn mặt 51 Hình 2.17 Hệ thống ghi nhận nhân viên điểm danh thành cơng 52 Hình 2.18 Hệ thống báo điểm danh không hợp lệ 53 Hình 3.1 Sơ đồ kiến trúc ứng dụng Vnface 55 Hình 3.2 Usecase ứng dụng 57 Hình 3.3 Thiết kế sở liệu 60 Hình 3.4 Hình ảnh điểm danh tablet 61 Hình 3.5 Điểm danh Mobile 61 Hình 3.6 Xem thơng báo checkin bot telegram .62 Hình 3.7 Danh sách điểm danh đơn vị .62 Hình 3.8 Phê duyệt ghi điểm danh qua Vnface Remote 63 Hình 3.9 Giải khiếu nại với ghi checkin không hợp lệ 63 Hình 3.10 Danh sách nhân viên đơn vị 63 Hình 3.11 Danh sách người lạ 64 viii DANH MỤC BẢNG Bảng 2.1 Danh sách ảnh thu thập .60 Bảng 3.1 Công cụ sử dụng cho ứng dụng 66 Bảng 3.2 Thông tin bảng sở liệu .68 Bảng 3.3 Kết điểm danh qua Vnface (Tablet) 74 Bảng 3.4: Kết điểm danh qua Vnface Remote 74