Luận văn thạc sĩ phương pháp nhận dạng khuôn mặt dựa trên mạng nơron học sâu và ứng dụng ghi nhận cán bộ vào, ra tại viện khoa học công nghệ

LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả luận văn Bùi Thế Hùng i LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến TS Dương Thăng Long, người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em gửi lời cảm ơn đến thầy cô giảng dạy thầy cô Khoa Đào Tạo Sau Đại Học Trường Đại Học Mở Hà Nội truyền đạt giúp đỡ em suốt trình học tập Và cuối em gửi lời cảm ơn đến đồng nghiệp, bạn bè gia đình, người ủng hộ, động viên tạo điều kiện giúp đỡ để em có kết học tập ngày hôm Hà Nội, ngày tháng năm 2019 Học viên thực Bùi Thế Hùng ii MỤC LỤC Trang LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC TỪ VIẾT TẮT v DANH MỤC HÌNH VẼ vi DANH MỤC BẢNG BIỂU viii MỞ ĐẦU CHƯƠNG I GIỚI THIỆU VỀ NHẬN DẠNG KHUÔN MẶT 1.1 Tổng quan hệ thống nhận dạng khuôn mặt .3 1.1.1 Hệ thống nhận dạng khuôn mặt 1.1.2 Một số hướng tiếp cận nhận dạng khuôn mặt 1.2 Giới thiệu mạng nơron 1.2.1 Mạng nơron sinh học 1.2.2 Mạng nơron nhân tạo 1.2.3 Quá trình học mạng nơron 12 1.2.4 Một số thuật toán mạng nơron 15 1.2.5 Hàm softmax 21 1.3 Một số phương pháp trích trọn đặc trưng khn mặt 22 1.3.1 Phương pháp trích chọn CNN 22 1.3.2 Phương pháp PCA .24 1.3.3 Phương pháp phân tách tuyến tính LDA 25 1.3.4 Phương pháp EBGM (Elastic Bunch Graph Matching) 26 1.4 Ứng dụng thực tiễn tốn nhận dạng khn mặt 28 CHƯƠNG II PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT DỰA TRÊN MẠNG NƠRON HỌC SÂU 31 2.1 Mạng nơron tích chập CNN 31 2.1.1 Lớp tích chập .32 iii 2.1.2 Lớp hàm kích hoạt .36 2.1.3 Lớp pooling .37 2.1.4 Lớp kết nối đầy đủ .37 2.1.5 Nguyên lý hoạt động 38 2.1.6 Vấn đề khớp 39 2.1.7 Phương pháp chọn mơ hình .41 2.1.8 Điều chỉnh 42 2.1.9 Loại bỏ 45 2.2 Một số phương pháp cho toán nhận dạng .46 2.2.1 Phương pháp ResNeXt .46 2.2.2 Phương pháp DenseNet .48 2.2.3 Phương pháp AlexNet - 7CNNs 50 2.3 Thiết kế mạng nơron CNN nhận dạng khuôn mặt .52 2.3.1 Tiền xử lý ảnh đầu vào 53 2.3.2 Mơ hình nhận dạng khn mặt dựa CNN 54 CHƯƠNG III XÂY DỰNG ỨNG DỤNG THỬ NGHIỆM CHO BÀI TOÁN GHI NHẬN RA, VÀO TẠI VIỆN KHOA HỌC CÔNG NGHỆ QUÂN SỰ 60 3.1 Xây dựng chương trình ứng dụng 60 3.1.1 Đặt vấn đề toán 60 3.1.2 Môi trường thực nghiệm 60 3.2 Kiểm thử đánh giá kết 65 3.2.1 Khởi tạo trích xuất liệu 65 3.2.2 Khởi tạo đào tạo mơ hình nhận dạng 66 3.2.3 Chương trình nhận diện dựa liệu có sẵn .66 3.2.4 Chương trình nhận diện thời gian thực qua camera 69 3.2.5 Đánh giá kết .70 TÀI LIỆU THAM KHẢO .72 iv DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT STT Từ viết tắt CSDL ANN CNN Tiếng Anh Artificial Neural Network Convolution Neural Network PCA Principal Component Analysis LDA Linear Discriminant Analysis EBGM FC RELU Elastic Bunch Graph Matching Fully Connected Rectified Linear Unit Tiếng Việt Cơ sở liệu Mạng nơron nhân tạo Mạng nơron tích chập Phương pháp phân tích thành phần Phương pháp phân tích khác biệt tuyến tính Phương pháp đồ thị đàn hồi Lớp kết nối đầy đủ Hàm kích hoạt DANH MỤC HÌNH VẼ Trang Hình 1.1 Cấu trúc tổng quát hệ thống nhận dạng khuôn mặt Hình 1.2 Mạng nơron sinh học .6 v Hình 1.3 Cấu trúc ANN Hình 1.4 Quá trình xửa lý nơron ANN Hình 1.5 Đồ thị hàm kích hoạt: (a) Hàm Tanh; (b) Hàm ReLU; (c) Hàm Sigmoid 10 Hình 1.6 Bộ sở liệu chữ viết tay MNIST 13 Hình 1.7 AlphaGo Google .15 Hình 1.8 Mơ cách tính lan truyền ngược 17 Hinh 1.9 Mơ hình hàm Softmax cho mạng Nơron 22 Hình 1.10 Khơng gian (p1,p2) theo hướng phân bố mạnh vector khơng gian (x1,x2) tìm theo PCA 24 Hình 1.11 Ví dụ minh họa LDA 26 Hình 1.12 Mơ hình lưới khuôn mặt khác 28 Hình 2.1 Minh hoạ kiến trúc mạng nơron tích chập 32 Hình 2.2 Minh hoạ tích chập ma trận ảnh 34 Hình 2.3 Tìm biên cạnh cho ảnh với tích chập .35 Hình 2.4 Làm mờ ảnh gốc với tích chập .35 Hình 2.5 Minh hoạ tích chập chiều 36 Hình 2.6 Max pooling với lọc x 37 Hình 2.7 Ví dụ cấu trúc CNN 38 Hình 2.8 Mơ hình chi tiết cấu trúc CNN 39 Hình 2.9 Quá khớp .40 Hình 2.10 Dừng sớm 43 Hình 2.11 Giảm trọng số 45 Hình 2.12 Kỹ thuật loại bỏ mạng neural .46 Hình 2.13 Minh họa mơ hình ResNeXt 47 Hình 2.14 Minh họa mơ hình DenseNet .49 Hình 2.15 Sơ đồ quy trình mơ hình nhận dạng khn mặt .52 Hình 2.16 Các dạng đặc trưng Haar-like 53 Hình 2.17 Kiến trúc dạng khối mơ hình CNN 55 Hình 2.18 Một ảnh đầu vào kích thước 100×90×1 (đa cấp xám) 55 Hình 2.19 Hình ảnh sau xử lý khối B2 lớp nơron POOL 56 vi Hình 2.20 Hình ảnh kết xử lý sau B5, B7 B9 57 Hình 3.1 Kiểm tra cài đặt ngôn ngữ Python 63 Hình 3.2 Cài đặt thư viện OpenCV .63 Hình 3.3 Cài đặt thư viện dlib face_recognition .64 Hình 3.4 Cài đặt thư viện scikit-learn 64 Hình 3.5 Trích xuất liệu 65 Hình 3.6 Đào tạo liệu 66 Hình 3.7a Kết nhận diện dựa liệu có sẵn 66 Hình 3.7b Kết nhận diện dựa liệu có sẵn 67 Hình 3.7c Kết nhận diện dựa liệu có sẵn 68 Hình 3.8a Kết nhận diện dựa thời gian thực 69 Hình 3.8b Kết nhận diện dựa thời gian thực 69 Hình 3.8c Kết nhận diện dựa thời gian thực 70 DANH MỤC BẢNG BIỂU Trang Bảng 2.1 Ví dụ liệu phân lớp mơ hình CNN 59 vii Bảng 3.1 Module chương trình 65 viii MỞ ĐẦU Tên đề tài: “Phương pháp nhận dạng khuôn mặt dựa mạng nơron học sâu ứng dụng ghi nhận cán vào, Viện khoa học công nghệ quân sự” Đặt vấn đề 2.1 - Tính cấp thiết đề tài Hiện nay, với phát triển xã hội, vấn đề an ninh bảo mật yêu cầu khắt khe quốc gia giới Các hệ thống nhận dạng người đời với độ tin cậy ngày cao Một toán nhận dạng người quan tâm nhận dạng mặt người - Bài toán nhận dạng mặt người áp dụng rộng rãi nhiều lĩnh vực khác Các ứng dụng liên quan đến nhận dạng mặt người kể như: hệ thống phát tội phạm, hệ thống theo dõi nhân đơn vị, hệ thống tìm kiếm thơng tin ảnh, video dựa nội dung… - Đối với Viện khoa học công nghệ quân sự, vấn đề kiểm soát việc ra, vào quan cán nhân viên khách đến làm việc quan trọng nhằm đảm bảo an ninh, an toàn khu vực quân Hệ thống nhận dạng giúp giảm bớt thời gian xử lý công việc cho cán kiểm sốt, giám sát, tăng độ xác xử lý thông tin mang lại hiệu công việc - Từ nhu cầu thực tế đó, học viên với giúp đỡ TS Dương Thăng Long lựa chọn đề tài “Phương pháp nhận dạng khuôn mặt dựa mạng nơron học sâu ứng dụng ghi nhận cán vào, Viện khoa học công nghệ quân sự” làm đề tài nghiên cứu luận văn tốt nghiệp thạc sĩ chuyên ngành Công nghệ thông tin 2.2 - Mục tiêu nghiên cứu Nghiên cứu mạng Neural nhân tạo máy học chuyên sâu (Deep learning) – Convolution Neural Network (CNN) - Hiện thực Convolution Neural Network cho toán nhận dạng mặt người - Đề xuất phương pháp nhận dạng mặt người máy học chuyên sâu cho thành phần khuôn mặt xây dựng nhận dạng kết hợp từ CNN thành phần - Xây dựng phần mềm thử nghiệm cho ứng dụng đề tài 2.3 Đối tượng phạm vi nghiên cứu - Phương pháp nhận dạng khuôn mặt - Mạng nơron nhân tạo 2.4 Phương pháp nghiên cứu Để thực đề tài khoa học này, cần phải kết hợp hai phương pháp sau: - Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu tài liệu nhận dạng khn mặt; nghiên cứu phương pháp, thuật tốn nhận dạng khuôn mặt sử dụng mạng nơron - Phương pháp nghiên cứu thực nghiệm: Sau nghiên cứu lý thuyết, phát biểu toán, đưa giải pháp xử lý; cài đặt thử nghiệm chương trình; đánh giá kết đạt 2.5 Nội dung nghiên cứu Với đề tài “Phương pháp nhận dạng khuôn mặt dựa mạng nơron học sâu ứng dụng ghi nhận cán vào, Viện khoa học công nghệ quân sự” Học viên dự kiến thực nội dung nghiên cứu theo kế hoạch sau: - Chương 1: Giới thiệu nhận dạng khuôn mặt - Chương 2: Phương pháp nhận dạng mặt người dựa mạng nơron học sâu - Chương 3: Xây dựng ứng dụng thử nghiệm cho toán ghi nhận cán vào, Viện khoa học công nghệ quân