Phần sau đó là giới thiệu một số các mạng học sâu điển hình đƣợc ứng dụng rộng rãi trong thực tế.1.1 Khái niệm Học sâu deep learning là một chi của ngành máy học machie learning dựa trên
NGUYỄN VIẾT HƢNG BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Nguyễn Viết Hƣng KỸ THUẬT ĐIỆN TỬ NGHIÊN CỨU CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: Kỹ thuật điện tử KHOÁ CH2016A Hà Nội – 2018 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057204959841000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Viết Hƣng NGHIÊN CỨU CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: Kỹ thuật điện tử NGƢỜI HƢỚNG DẪN KHOA HỌC : PGS TS Nguyễn Đức Minh Hà Nội – 2018 MỤC LỤC MỤC LỤC i DANH MỤC HÌNH VẼ ii DANH MỤC BẢNG BIỂU iv DANH MỤC CÁC TỪ VIẾT TẮT v LỜI CẢM ƠN LỜI MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP HỌC SÂU 1.1 Khái niệm 1.2 Phân loại 1.2.1 Mạng nơ-ron tích chập 1.2.2 Mạng nơ-ron hồi quy 19 1.3 Kết luận chƣơng 33 CHƢƠNG : KỸ THUẬT HỌC SÂU CHO BÀI TỐN NHẬN DẠNG KHN MẶT…………………… 35 2.1 Phát khuôn mặt 37 2.1.1 P-Net 37 2.1.2 R-Net 39 2.1.3 O-Net 40 2.2 Trích chọn đặc trƣng 40 2.3 Nhận dạng khuôn mặt 49 2.4 Kết luận chƣơng 51 CHƢƠNG : XÂY DỰNG CHƢƠNG TRÌNH CHẠY THỬ NGHIỆM 52 3.1 Đặt vấn đề 52 3.2 Xây dựng chƣơng trình 55 3.3 Kiểm thử đánh giá 57 3.4 Kết luận chƣơng 60 CHƢƠNG 4: KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 i DANH MỤC HÌNH VẼ Hình 1.1: Vị trí học sâu lĩnh vực trí tuệ nhân tạo Hình 1.2: Cấu tạo nơ-ron sinh học [1] Hình 1.3: Perceptron – mơ hình đơn giản mạng neron nhân tạo Hình 1.4: Cấu trúc mạng MultiLayer Perceptron với lớp ẩn [2] Hình 1.5: Ví dụ lọc CNN [4] 10 Hình 1.6: Nhân chập lọc F1 với ma trận ảnh đầu vào số [4] 11 Hình 1.7: Phép tính tích chập lọc F1 [4] 12 Hình 1.8: Bộ lọc cạnh (đứng phải, đứng trái, ngang dƣới, ngang trên) với đầu vào ảnh MNIST [4] 12 Hình 1.9: Ma trận đầu vào đƣợc bao quanh đƣờng viền phụ kích thƣớc p (giá trị 0) [4] 13 Hình 1.10: Nhân tích chập với bƣớc sải s = [4] 14 Hình 1.11: Phép nhân chập khối với ảnh RGB [4] 14 Hình 1.12: Hai lọc kích thƣớc 3x3x3 đƣợc dùng để phát cạnh đứng cạnh ngang [4] 15 Hình 1.13: Pooling theo giá trị cực đại [4] 16 Hình 1.14: Ví dụ mạng CNN đầy đủ dùng cho tốn phân loại kí tự viết tay MNIST [4] 17 Hình 1.15: Một mạng RNN điển hình [5] 20 Hình 1.16: Mạng RNN cho dịch máy [9] 22 Hình 1.17: Sử dụng liên kết trực quan ngữ nghĩa để tạo mô tả cho ảnh [12] 23 Hình 1.18: Hàm mát trạng thái ẩn 24 Hình 1.19: Lan truyền ngƣợc RNN 25 Hình 1.20: Hàm đạo hàm [13] 27 Hình 1.21: Mơ hình RNN chuẩn chứa lớp [14] 29 Hình 1.22: Mơ hình LSTM chứa bốn lớp [14] 29 Hình 1.23: Trạng thái tế bào LSTM [14] 30 Hình 1.24: Lớp cổng quên (Forget Gate layer) LSTM [14] 30 Hình 1.25: Lớp cổng cập nhật (Update Gate layer) [14] 31 Hình 1.26: Cập nhật trạng thái tế bào [14] 31 Hình 1.27: Cập nhật đầu tế bào [14] 32 Hình 1.28: Cấu tạo GRU [14] 33 Hình 2.1: Các thành phần hệ thống nhận dạng khuôn mặt 36 Hình 2.2: Tạo ảnh với kích thƣớc khác [21] 38 Hình 2.3: Kiến trúc mạng P-Net [21] 38 Hình 2.4: Non-Maximum Suppression [21] 39 Hình 2.5: Kiến trúc mạng R-Net [21] 39 Hình 2.6: Kiến trúc mạng O-Net [21] 40 ii Hình 2.7: Kiến trúc mạng Inception-ResNet V1 [25] 41 Hình 2.8: Cấu tạo khối Inception-A Reduction-A [25] 42 Hình 2.9: Cấu tạo khối Inception-B Reduction-B [25] 43 Hình 2.10: Cấu tạo khối Inception-C [25] 44 Hình 2.11: Phƣơng pháp chọn ba để huấn luyện 45 Hình 2.12: Mạng Siamese 46 Hình 2.13: Triplet loss trƣớc sau huấn luyện 46 Hình 2.14: Cách chọn ba để huấn luyện mơ hình 48 Hình 2.15: Mini-batch tập huấn luyện 49 Hình 2.16: Sử dụng One-shot-learning để đăng kí khn mặt cho nhân viên 50 Hình 2.17: Các bƣớc nhận dạng khn mặt 50 Hình 3.1: Một vài trƣờng hợp bị nhận sai chạy dự đốn trọng số có sẵn 53 Hình 3.2: Bộ liệu CASIA-WebFace VGGFace2 54 Hình 3.3: Bộ liệu Asian-Celeb TSDVFace 54 Hình 3.4: Căn chỉnh ảnh đầu vào 55 Hình 3.5: Quá trình huấn luyện dự đoán 56 Hình 3.6: Kết trình huấn luyện 58 Hình 3.7: Visualize chạy dự đốn sau huấn luyện sử dụng t-SNE 59 iii DANH MỤC BẢNG BIỂU Bảng 1-1: Bảng tổng kết số lƣợng tham số lớp CNN 18 Bảng 3-1: Kết chạy dự đoán với trọng số huấn luyện trƣớc 52 Bảng 3-2: Cách tạo số cặp dựa vào số lƣợng ảnh 55 Bảng 3-3: Bảng giá trị siêu tham số 56 Bảng 3-4: Thơng tin cấu hình máy huấn luyện 57 Bảng 3-5: Thông tin phần mềm để huấn luyện 57 Bảng 3-6: Kết trƣớc sau tinh chỉnh mơ hình 58 iv DANH MỤC CÁC TỪ VIẾT TẮT Cụm từ Tiếng Anh Tiếng Việt ANN Artificial Neural Network Mạng nơ-ron nhân tạo BPTT Backpropagation Through Time Lan truyền ngƣợc liên hồi CNN Convolutional Neural Network Mạng nơ-ron tích chập COCO Common Objects in Context Bộ liệu đối tƣợng phổ biến ngữ cảnh khác GRU Gated Recurrent Units Đơn vị cổng hồi quy LSTM Long-Short Term Memory Kiến trúc nhớ dài-ngắn hạn LWF Labeled Faces in the Wild Bộ liệu gán nhãn mặt ngƣời tự nhiên MLP MultiLayer Perceptron Mạng Perceptron nhều lớp MNIST Modified National Institute of Bộ chữ số viết tay Standards and Technology MTCNN Multi-task Cascaded Mạng tích chập Cascaded đa Convolutional Network nhiệm vụ NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên NMS Non-Maximum Suppression Chặn không cực đại O-Net Output Network Mạng đầu P-Net Proposal Network Mạng đề xuất RGB Red-Green-Blue Không gian màu RGB R-Net Refinement Network Mạng tinh lọc RNN Recurrent Neural Network RMSPROP RMSprop Optimizer Mạng nơ-ron hồi quy Hàm tối ƣu RMSprop VGG Nhóm hình học trực quan Visual Geometry Group v LỜI CẢM ƠN Trong trình hồn thành luận văn, thầy IC lab 618 trƣờng Đại học Bách Khoa Hà Nội giúp đỡ tạo điều kiện cho học viên nhiều Học viên xin gửi lời cảm ơn chân thành đến thầy cô viện Điện tử viễn thông, viện đào tạo sau Đại học đặc biệt PGS TS Nguyễn Đức Minh IC lab 618 bảo, hƣớng dẫn học viên thực đề tài: “Nghiên cứu kỹ thuật học sâu ứng dụng” Học viên muốn gửi lời cảm ơn sâu sắc đến gia đình, đồng nghiệp cơng ty động viên giúp đỡ suốt trình nghiên cứu, học tập hoàn thiện đề tài Bƣớc đầu làm quen với cơng việc nghiên cứu cịn nhiều bỡ ngỡ hạn chế kiến thức nhƣ kinh nghiệm nên khơng tránh khỏi thiếu sót định Rất mong nhận đƣợc góp ý thầy, bạn để đề tài đƣợc hoàn thiện Xin chân thành cảm ơn! LỜI MỞ ĐẦU Nhận dạng khuôn mặt trở thành công nghệ phát triển có nhiều ứng dụng thực tế Mục tiêu luận văn phát triển hệ thống nhận dạng khuôn mặt dùng cho doanh nghiệp Việt Nam để hỗ trợ tiến tới thay hệ thống chấm công nhờ vào việc sử dụng kỹ thuật học sâu Hệ thống nhận dạng khn mặt sử dụng mạng nơ-ron tích chập để trích chọn đặc trƣng Dựa đặc trƣng đƣợc trích chọn để so sánh khn mặt với Ngồi hệ thống cịn học trực tuyến cách đăng kí khn mặt vào sở liệu, điều có ý nghĩa lớn việc ứng dụng vào nhu cầu thực tế doanh nghiệp Mục đích đề tài: Mục đích đề tài nguyên cứu kỹ thuật học sâu áp dụng vào hệ thống nhận dạng khuôn mặt Đối tƣợng phạm vi nghiên cứu: Đối tượng nghiên cứu đề tài: - Đầu vào liệu khuôn mặt ngƣời Châu Á Microsoft liệu khuôn mặt ngƣời doanh nghiệp Việt Nam, liệu đƣợc tự tạo trích từ camera giám sát doanh nghiệp - Kỹ thuật học sâu phƣơng pháp nhận dạng khuôn mặt Phạm vi nghiên cứu đề tài: - Dựa lý thuyết học sâu nhận dạng để đƣa phƣơng pháp cụ thể nhận dạng khuôn mặt dƣới dạng ảnh đầu vào - Xây dựng chƣơng trình chạy thử nghiệm Luận điểm đóng góp mới: Đƣa kết nghiên cứu mặt lý thuyết sở kỹ thuật học sâu nhận dạng khuôn mặt ngƣời Việt Nam Xây dựng đƣợc chƣơng trình thử nghiệm đánh giá dựa tập học liệu Microsoft khuôn mặt ngƣời Châu Á tập kiểm tra đƣợc tạo từ khuôn mặt nhân viên công ty Việt Nam, từ nêu số vấn đề ứng dụng thực tế Phƣơng pháp nghiên cứu: Cơ sở lý thuyết nhận dạng khuôn mặt ngƣời kỹ thuật học sâu từ cài đặt thử nghiệm tập liệu mẫu khuôn mặt ngƣời Châu Á Microsoft để nhận xét, đánh giá phƣơng pháp tìm hiểu đƣợc Luận văn đƣợc trình bày chƣơng, cụ thể nhƣ sau: Chƣơng 1: Tổng quan phƣơng pháp học sâu: Trình bày khái niệm, nội dung phƣơng pháp học sâu nhƣ hai loại học sâu phổ biến Chƣơng 2: Kỹ thuật học sâu cho tốn nhận dạng khn mặt: Nghiên cứu cụ thể áp dụng kỹ thuật học sâu cho tốn nhận dạng khn mặt Chƣơng 3: Xây dựng chƣơng trình, cài đặt, thử nghiệm đánh giá: Trên sở lý thuyết trình bày chƣơng để cài đặt chạy thử nghiệm đánh giá kết đạt đƣợc Chƣơng 4: Tổng kết lại kết đạt đƣợc luận văn, hạn chế nhƣ hƣớng phát triển hệ thống nhận dạng khuôn mặt cho công ty Việt Nam