Nghiên cứu các kỹ thuật học sâu và ứng dụng trong bài toán nhận dạng khuôn mặt người

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC LÊ DIỆU LINH NGHIÊN CỨU CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG TRONG BÀI TỐN NHẬN DẠNG KHN MẶT NGƯỜI LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN THANH HĨA – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC LÊ DIỆU LINH NGHIÊN CỨU CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG KHUÔN MẶT NGƯỜI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THƠNG TIN Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 Người hướng dẫn khoa học: TS Phạm Thế Anh THANH HÓA – 2019 Danh sách Hội đồng chấm luận văn Thạc sĩ khoa học Theo Quyết định số 1662/QĐ-ĐHHĐ ngày 17 tháng 10 năm 2019 Hiệu trưởng Trường Đại học Hồng Đức: Học hàm, học vị, họ tên Chức danh Cơ quan công tác Hội đồng TS Trần Quang Diệu Học viện Chính trị Quốc gia HCM Chủ tịch TS Hoàng Văn Dũng Trường ĐH Quảng Bình Phản biện TS Vũ Việt Vũ Viện CNTT – ĐHQG Hà Nội Phản biện TS Trịnh Viết Cường Trường ĐH Hồng Đức Uỷ viên TS Nguyễn Thế Cường Trường ĐH Hồng Đức Thư ký Xác nhận Người hướng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày 21 tháng 11 năm 2019 (Ký, ghi rõ họ tên) TS Phạm Thế Anh i LỜI CAM ĐOAN Tất nội dung nghiên cứu, kết luận văn thực hướng dẫn khoa học thầy TS Phạm Thế Anh Ngoài ra, tài liệu tham khảo sử dụng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm, … Tôi xin cam đoan luận văn khơng trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu cơng bố Nếu sai tơi xin hồn tồn chịu trách nhiệm trước hội đồng khoa học trước pháp luật Người cam đoan Lê Diệu Linh ii LỜI CẢM ƠN Trước hết, xin gửi lời cảm ơn chân thành sâu sắc tới TS Phạm Thế Anh – giáo viên hướng dẫn tơi, người hết lịng hỗ trợ giúp đỡ tơi q trình nghiên cứu hồn thiện luận văn thạc sĩ Tôi xin gửi lời cảm ơn tới thầy, cô Khoa CNTT&TT, Trường Đại học Hồng Đức tận tình dạy dỗ trang bị cho tơi tảng kiến thức vững để giúp hoàn thành luận văn Cảm ơn bạn, anh chị học viên cao học lớp Khoa học máy tính K10, q trình học thạc sĩ giúp đỡ chia sẻ kinh nghiệm quý giá cho Và xin gửi lời cảm ơn đặc biệt tới mẹ tôi, người nuôi nấng, dạy dỗ, chăm lo động viên tơi hồn thành khóa học thạc sĩ luận văn Mặc dù cố gắng để hoàn thành luận văn chắn tránh khỏi sai sót Kính mong nhận cảm thơng, góp ý, bảo quý thầy cô bạn Tơi xin chân thành cảm ơn! Thanh Hóa, ngày 21 tháng 11 năm 2019 Người cảm ơn Lê Diệu Linh iii MỤC LỤC Trang LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC HÌNH VẼ vi DANH MỤC CÁC BẢNG BIỂU viiii DANH MỤC CÁC TỪ VIẾT TẮT ix MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt Nội dung cấu trúc luận văn Chương 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT NGƯỜI 1.1 Tổng quan AI tiềm ứng dụng 1.2 Bài toán nhận dạng mặt người 1.2.1 Khái quát hệ thống nhận dạng mặt người 1.2.2 Những khó khăn tốn nhận dạng khn mặt người 1.2.3 Một số phương pháp nhận dạng mặt người 1.3 Các ứng dụng nhận dạng mặt người 11 1.4 Một số phần mềm thương mại liên quan 13 1.5 Phạm vi giới hạn đề tài 13 1.6 Kết luận chương 13 Chương 2: CƠ SỞ LÝ THUYẾT 14 2.1 Kiến trúc tổng quát hệ thống 14 2.2 Tình hình nghiên cứu ngồi nước 16 2.3 Mạng nơron sinh học 18 iv 2.4 Mạng nơron nhân tạo 19 2.4.1 Mô hình tốn học mạng nơron nhân tạo 20 2.4.2 Kiến trúc mạng nơron nhân tạo 22 2.4.3 Một số kiểu kiến trúc mạng nơron nhân tạo 23 2.4.4 Các ứng dụng mạng nơron nhân tạo 25 2.4.5 Huấn luyện mạng nơron 26 2.4.6 Mạng nơron MLP ứng dụng nhận dạng ảnh 28 2.5 Mạng nơron tích chập (Convolutional Neural Networks – CNNs) 30 2.6 Một số hàm mục tiêu (loss) phổ biến 35 2.6.1 Hàm Triplet Loss 35 2.6.2 Hàm Cross-Entropy Loss 37 2.6.3 Hàm Angular-Softmax Loss 38 2.6.4 Hàm ArcFace Loss 39 2.7 Kết luận chương 40 Chương 3: XÂY DỰNG KIẾN TRÚC MẠNG NƠRON NHẬN DẠNG KHUÔN MẶT NGƯỜI 42 3.1 Thu thập xây dựng tập liệu huấn luyện 42 3.1.1 Bộ liệu huấn luyện cho mơ hình mạng theo chuẩn (benchmark) 42 3.1.2 Bộ liệu huấn luyện người Việt 42 3.2 Kiến trúc tổng quát hệ thống nhận dạng khuôn mặt 45 3.3 Kiến trúc mạng nơron cho tốn phát khn mặt 45 3.3.1 Phát biểu toán face detection 45 3.3.2 Kiến trúc mạng dị tìm khn mặt 46 3.4 Kiến trúc mạng face landmark 47 3.4.1 Phát biểu toán 47 3.4.2 Kiến trúc mạng face landmark 48 3.5 Kiến trúc mạng đặc trưng khuôn mặt (face embedding) 51 3.5.1 Phát biểu toán 51 3.5.2 Kiến trúc mạng đặc trưng khuôn mặt 51 v 3.6 Kết luận chương 59 Chương 4: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 61 4.1 Môi trường cài đặt phát triển ứng dụng 61 4.1.1 Phần cứng 61 4.1.2 Phần mềm 61 4.2 Bộ liệu thực nghiệm 64 4.3 Phương pháp đánh giá, thử nghiệm 64 4.4 Kết đánh giá, thử nghiệm 65 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 Kết luận 70 Hướng phát triển 70 TÀI LIỆU THAM KHẢO 72 vi DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1 Kiến trúc điển hình hệ thống thị giác máy Hình 2.1 Sơ đồ khối thuật tốn dị tìm nhận dạng khn mặt 15 Hình 2.2 Cấu trúc nơron sinh học điển hình 18 Hình 2.3 Mơ hình nơron nhân tạo 21 Hình 2.4 Minh họa kiến trúc mạng nơron điển hình 22 Hình 2.5 Mơ hình mạng nơron lớp 23 Hình 2.6 Mơ hình mạng nơron lớp truyền thẳng 24 Hình 2.7 Mạng truyền thẳng 24 Hình 2.8 Mạng phản hồi 25 Hình 2.9 Mơ hình huấn luyện mạng có giám sát 27 Hình 2.10 Mơ hình huấn luyện mạng khơng có giám sát 27 Hình 2.11 Mơ hình huấn luyện mạng tăng cường 28 Hình 2.12 Kiến trúc mạng MLP 29 Hình 2.13 Mạng nơron lan truyền ngược 30 Hình 2.14 Kiến trúc mạng CNN điển hình [12] 32 Hình 2.15 Kiến trúc dạng đồ họa mạng CNN 33 Hình 2.16 Nguyên tắc trình huấn luyện mạng DNN 36 Hình 2.17 Mơ mô tả 128 giá trị khuôn mặt 37 Hình 2.18 Mơ tả phân bố đặc trưng khuôn mặt dùng độ đo biên Euclidean 38 Hình 2.19 (a) Minh họa phân bố đặc trưng khuôn mặt dùng độ đo biên theo góc (marginal learning), (b) Kết chiếu đặc trưng (a) sang không gian siêu cầu [25] 38 Hình 2.20 Minh họa phân bố khơng gian đặc trưng đối tượng khác nhau, dùng (a) hàm biên Euclidean (softmax loss) (b) Additive Angular Margin Loss (ArcFace loss) 40 vii Hình 3.1 Quy trình thu thập liệu 43 Hình 3.2 Biểu đồ thống kê trình thu thập liệu 44 Hình 3.3 Ảnh gốc sở liệu thu thập 44 Hình 3.4 Kiến trúc tổng quát hệ thống nhận dạng khuôn mặt 45 Hình 3.5 Q trình phát khn mặt ảnh 46 Hình 3.6 Kiến trúc mạng Face Landmark 48 Hình 3.7 Các điểm đánh dấu mẫu khuôn mặt (68 điểm) 48 Hình 3.8 Q trình hiệu chỉnh khn mặt 49 Hình 3.9 Minh họa kết ước lượng điểm đánh dấu ảnh đầu 50 Hình 3.10 Mơ hình lưới 68 điểm cho kết không tốt với trường hợp mặt nghiêng 50 Hình 3.11 Một số kết dị tìm điểm đánh dấu mơ hình lưới điểm 51 Hình 3.12 Kiến trúc mạng NN1 dựa cấu trúc mạng 54 Zeiler Fergus đề xuất 54 Hình 3.13 Kiến trúc mạng NN2 sử dụng mơ hình Inception dựa 56 Hình 3.14 Cấu trúc module Inception dùng mơ hình NN2, giới thiệu lần đầu Google mạng GoogleNet 56 Hình 4.1 Mơi trường ảo hóa Anaconda 62 Hình 4.2 Biểu đồ lượt star repos github sử dụng TF 63 Hình 4.3 Ngơn ngữ lập trình Python 64 Hình 4.4 Ví dụ kết nhận dạng khuôn mặt 68 60 liệu huấn luyện sinh viên người Việt thu thập Tiếp theo chương trình bày số kết thực nghiệm đánh chúng tơi thu từ q trình huấn luyện mạng 61 Chương 4: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Môi trường cài đặt phát triển ứng dụng 4.1.1 Phần cứng Phần cứng sử dụng để huấn luyện hệ thống nhận dạng khuôn mặt người máy tính có cấu hình với: - B x lý: Intelđ Core i3-6100U CPU @ 2.30GHz ì - Hệ điều hành: Ubuntu 16.4 LTS - Bộ nhớ: GB RAM - Ổ cứng: SSD 120GB 4.1.2 Phần mềm Chương trình ứng dụng hệ thống nhận dạng khuôn mặt luận văn cài đặt môi trường ảo hóa Anaconda, sử dụng thư viện Tensorflow ngơn ngữ lập trình Python 4.1.2.1 Mơi trường ảo hóa Anaconda Anaconda tảng (platform) mã nguồn mở miễn phí ngơn ngữ lập trình Python thơng dụng nay, sử dụng cho khoa học diệu, học máy ứng dụng (xử lý liệu quy mơ lớn, phân tích dự đốn tính tốn khoa học,…) nhằm mục đích đơn giản hóa việc quản lý triển khai package, phù hợp với người dùng Hệ thống quản lí package Anaconda Conda Bản phân phối Anaconda tính đến sử dụng triệu người đính kèm 250 gói package khoa học liệu phù hợp cho hệ điều hành Windows, Linux MacOS Lợi ích việc sử dụng Anaconda: - Dễ dàng tải 1500+ packages Python/R cho data science - Quản lý thư viện, môi trường dependency thư viện dễ dàng - Dễ dàng phát triển mơ hình machine learning deep learning với thư viện scikit-learn, tensorflow, keras - Xử lý liệu tốc độ cao với thư viện numpy, pandas 62 - Hiện thị kết với thư viện Matplotlib, Bokeh Hình 4.1 Mơi trường ảo hóa Anaconda8 4.1.2.2 Thư viện Tensorflow Tensorflow (TF) thư viện mã nguồn mở Google phát triển vào tháng 11/2015, TF cung cấp khả xử lí tính tốn số học dựa biểu đồ mơ tả thay đổi liệu Tensorflow sử dụng giải toán supervised learning, sử dụng nhiều ứng dụng Google phân loại email Gmail, nhận biết phát âm dịch tự động, nhận biết khuôn mặt Google Photo, tối ưu hố kết tìm kiếm, quảng cáo Youtube, … Đặc trưng TensorFlow xử lý tất loại liệu biểu diễn dạng biểu đồ luồng liệu (data flow graph) hay low level xử lý chữ viết tay TensorFlow viết C++, thao tác interface Python hiệu tốt, dùng CPU lẫn GPU nên TF chạy PC thơng thường lẫn server cực lớn, chí smartphone sử dụng Một chương trình Tensorflow https://www.anaconda.com/ 63 chia thành hai phần Phần thứ xây dựng mơ hình tính tốn (construction phase), phần thứ hai chạy mơ hình vừa xây dựng (execution phase) Lợi ích việc sử dụng thư viện TF: - Tích hợp sẵn nhiều thư viện machine learning - Có khả tương thích mở rộng tốt, Google phát triển cho machine learning phục vụ nghiên cứu lẫn xây dựng ứng dụng thực tế - Phổ biến Hình 4.2 Biểu đồ lượt star repos github sử dụng TF9 4.1.2.3 Ngôn ngữ lập trình python Python ngơn ngữ lập trình thơng dịch (interpreted), hướng đối tượng (object-oriented) ngôn ngữ bậc cao (high-level), ngữ nghĩa động (dynamic semantics) tạo Guido van Rossum vào năm 1991 Python hỗ trợ module gói (packages), khuyến khích chương trình module hóa tái sử dụng mã Trình thơng dịch Python thư viện chuẩn mở rộng có sẵn dạng mã nguồn dạng nhị phân miễn phí cho tất tảng phân phối tự Ngày nay, Python sử dụng mục đích phát triển web (trên máy chủ), phát triển phần mềm, tính tốn, khoa học, lên kịch cho hệ thống (system scripting) Ưu https://nguyenvanhieu.vn/thu-vien-tensorflow/ 64 điểm việc sử dụng ngôn ngữ Python: - Python có cú pháp đơn giản, dễ đọc, dễ học dễ nhớ - Python sử dụng trình thơng dịch để thực thi code Do đó, dịng code thực thi mà khơng cần biên dịch tồn chương trình, giúp kiểm tra code nhanh chóng, dễ dàng - Python kết dễ dàng kết nối với thành phần khác đối tượng COM, NET (Ironpython, Python for net) CORBA, Java,… Python hỗ trợ Internet Communications Engine (ICE) nhiều công nghệ kết nối khác - Python ngơn ngữ có khả chạy nhiều tảng hệ điều hành với mã nguồn giống Windows, Linux/Unix, OS/2, Mac, Amiga, …một số phiên Python NET, máy ảo Java điện thoại di động (Nokia Series 60) Hình 4.3 Ngơn ngữ lập trình Python10 4.2 Bộ liệu thực nghiệm Bộ liệu huấn luyện sử dụng luận văn hình ảnh khn mặt thu thập mà giới thiệu chương Dữ liệu thu thập gồm 496 cá nhân, chúng tơi sử dụng 80% liệu cho việc huấn luyện 20% cho việc test Trung bình, cá nhân có khoảng 300 ảnh 4.3 Phương pháp đánh giá, thử nghiệm Mục tiêu q trình huấn luyện lại (fine-tuning) mơ hình mạng Facenet nhằm hoạt động tốt cho tập liệu người Việt Nam Vì vậy, chúng tơi đánh giá chất lượng mạng huấn luyện lại tập liệu sinh viên thu thập 10 https://www.python.org/ 65 (với độ tuổi khác nhau) Để đánh giá độ xác nhận dạng, vector đặc trưng khuôn mặt đối tượng qua phân lớp máy học gồm K-NN SVM Phương thức đánh sau: - Mỗi cá nhân sử dụng – 10 ảnh làm liệu huấn luyện phân lớp - Với phân lớp K-NN, khoảng cách phần tử gần với ảnh truy vấn so sánh với ngưỡng (0.7 thực nghiệm này) để định nhãn đối tượng Khoảng cách lớn ngưỡng xem xét để phân loại nhãn unknown cho ảnh truy vấn - Với phân lớp SVM, nhãn ảnh truy vấn trả từ phân lớp SVM Sau đó, chúng tơi lọc đối tượng unknown cách tính lại khoảng cách Euclidean phần tử gần (trả SVM) với ảnh mẫu thuộc lớp Nếu tồn ảnh mẫu cho khoảng cách bé ngưỡng (0.7) kết luận nhãn đối tượng Ngược lại, gán nhãn unknown cho đối tượng xét 4.4 Kết đánh giá, thử nghiệm Độ xác (Accuracy) sử dụng đế đánh giá hiệu mạng huấn luyện Chúng tơi tính tốn độ xác với lớp đối tượng tập đánh giá, sau tính độ xác tồn cục cách lấy trung bình cộng độ xác thành phần Cụ thể: - Với đối tượng nhãn X, độ xác lớp X tính: (4.1) Trong đó: Ax độ xác tính tốn cho lớp đối tượng có nhãn X, NX số lượng ảnh đối tượng X có sở liệu, NT số lượng ảnh nhận dạng lớp X - Độ xác tồn cục tính: (4.2) Trong đó, N số lượng nhãn sở liệu (N = 496 tập liệu thu thập được) 66 Cấu hình máy tính chạy thử nghiệm sau: Intel® Core™ i3-6100U CPU @ 2.30GHz × Kết nhận dạng thể bảng 4.1 cho ngẫu nhiên 10 đối tượng Thời gian nhận dạng khơng tính thời gian dị tìm mặt hiệu chỉnh điểm landmarks, tính thời gian trích chọn vector đặc trưng khuôn mặt (128 chiều) thời gian phân lớp (KNN SVM) Thời gian đo dựa giả sử frame video có khuôn mặt Bảng 4.1 Minh họa kết nhận dạng 10 đối tượng STT Ảnh đại diện đối tượng Độ xác Ax (%) Thời gian (ms) KNN SVM KNN/SVM 85.4 85.9 75/70 84.3 85.2 73/71 87.6 88.4 76/72 82.4 82.7 74/71 67 86.4 87.5 79/76 83.4 83.7 78/75 84.2 85.1 77/74 88.9 89.8 76/72 88.3 89.1 79/77 10 81.8 82.4 70/75 85.5 86.1 Độ xác tồn cục A (trên toàn tập kiểm thử) 68 Để so sánh với mơ hình mạng ban đầu, chúng tơi thực thí nghiệm thứ hai với cách thức, sử dụng mơ hình FaceNet ban đầu Kết thực nghiệm cho thấy mơ hình huấn luyện lại cho kết tốt so với mơ hình gốc ban đầu từ – 8% phụ thuộc vào đối tượng Một số ví dụ trực quan kết nhận dạng sau: Hình 4.4 Ví dụ kết nhận dạng khuôn mặt 69 4.5 Kết luận chương Trong chương này, chúng tơi trình bày mơi trường thực nghiệm hệ thống nhận dạng khn mặt bao gồm cấu hình máy, môi trường cài đặt, thư viện ngôn ngữ sử dụng Tiếp đó, chúng tơi đưa phương pháp đánh giá chất lượng mạng huấn luyện lại tập liệu sinh viên người Việt thu thập kết đánh giá, thử nghiệm liệu huấn luyện lại so với mơ hình mạng ban đầu 70 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Luận văn nghiên cứu, tìm hiểu tốn nhận dạng khn mặt người thực phát triển, cài đặt chương trình cho tốn dựa thống kê hướng tiếp cận cơng bố qua báo, cơng trình khoa học giới Các kết mà luận văn đạt tương ứng với mục tiêu ban đầu đề sau: - Xây dựng sở liệu ảnh phục vụ huấn luyện học đặc trưng khuôn mặt người Việt Nam Bộ liệu huấn luyện thực cho 496 cá nhân, cá nhân có 1-2 video (độ dài 30 – 60 giây), sau trích chọn xử lý số lượng ảnh trung bình cho cá nhân khoảng 300 ảnh - Trình bày tổng quan hệ thống nhận dạng khn mặt người - Phân tích tốn nhận dạng khn mặt, thuật tốn nhận dạng khuôn mặt giới PCA, LDA, SVM mạng nơron Nghiên cứu kỹ thuật học sâu, mạng nhân chập cho toán nhận dạng khuôn mặt người để đề xuất xây dựng kiến trúc mạng học sâu, tổ chức huấn luyện mơ hình mạng sử dụng nhận dạng khuôn mặt người - Đặc biệt, chúng tơi phân tích chi tiết kiến trúc mạng Facenet, đánh giá ưu nhược điểm, sau tiến hành cải tiến chất lượng mạng, fine-tuning lại tập liệu huấn luyện thu thập - Xây dựng thành công hệ thống demo trình nhận dạng khn mặt từ video liệu ảnh thu thập Thực thử nghiệm đánh giá chất lượng mạng tập liệu người Việt cho kết khả quan Hướng phát triển Hệ thống tự động nhận dạng khuôn mặt luận văn cần tiếp tục cải tiến, hoàn thiện để tăng độ xác làm việc với CSDL chứa hàng nghìn chí hàng triệu người dùng Trong tương lai, để cải thiện độ xác tốc độ xử lý hệ thống nhận dạng, đề xuất 71 cài đặt thử nghiệm đánh giá loại mơ hình mạng mạng học sâu huấn luyện trước, đặc biệt tăng số tầng mạng để có khả học nhiều đặc trưng hơn, cải thiện độ xác Bên cạnh đó, tốc độ nhận dạng yêu cầu quan trọng hệ thống thực tế Vì vậy, nghiên cứu cải thiện tốc độ nhận dạng đầu tư nghiên cứu thời gian tới 72 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Phạm Văn Dũng (2016), Mạng nơron tốn nhận dạng khn mặt ứng dụng [2] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phú Doãn (2007), Tổng quan phương pháp xác định khuôn mặt người Tài liệu tiếng Anh [3] Ion Marqués (2010), “Face Recognition Algorihtms,” Universidad del País Vasco [4] Byung-Joo Oh (2003), “Face Recognition by Using Neural Network Classifiers based on PCA and LDA,” Daejeon, Korea [5] Sang-Ki Kim, Youn Jung Park, Kar-Ann Toh, Sangyoun Lee (2010), “SVM-based feature extraction for face recognition,” Yonsei University [6] Zhiming Liu, Chengjun Liu (2010), “Fusion of color, local spatial and global frequency information for face recognition,” Department of Computer Science, New Jersey Institute of Technology, Newark, NJ 07102, USA [7] SHU Chan, DING Xiaoqing, FANG Chi (2011), “Histogram of the Oriented Gradient for Face Recognition,” State Key Laboratory of Intelligent Technology and System, Department of Electronic Engineering, Tsinghua University, Beijing 100084, China [8] K Ruba Soundar, K Murugesan, “Preserving Global and Local Features - a Combined Approach for Recognizing Face Images,” International Journal of Pattern Recognition and Artificial Intelligence, Vol 24, No (2010) 3953 [9] Omkar M Parkh, Andrea Vedaldi, Andrew Zisserman, “Deep Face 73 Recognition,” Department of Engineering Science, University of Oxford [10] J Deng, J Guo, and S Zafeiriou, “Arcface: Additive angular margin loss for deep face recognition,” arXiv preprint arXiv:1801.07698, 2018 [11] C T S E M Jyh Shing Roger Jang, “Neuro fuzzy and Soft Computing,” Prientice Hall International, Inc, 2002 [12] LeCun, Yann; Leon Bottou; Yoshua Bengio; Patrick Haffner (1998), “Gradient-based learning applied to document recognition,” in Proceedings of the IEEE 86 (11): 2278–2324, 1998 [13] Shifeng Zhang, Xiangyu Zhu, Zhen Lei, Hailin Shi, Xiaobo Wang and Stan Z Li, “FaceBoxes: A CPU Real-time Face Detector with High Accuracy,” arXiv preprint arXiv: 1708.05234, 2017 [14] Kazemi, Vahid and Sullivan, Josephine: “One Millisecond Face Alignment with an Ensemble of Regression Trees,” CVPR 2014 [15] Technical Report: Brandon Amos, Bartosz Ludwiczuk, Mahadev Satyanarayanan, “OpenFace: A general-purpose face recognition library with mobile applications,” 2016 [16] [Online] Available: https://github.com/davisking/dlib-models [17] Florian Schroff, Dmitry Kalenichenko and James Philbin, “FaceNet: A Unified Embedding for Face Recognition and Clustering,” In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pages 815-823, 2015 [18] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li and Yu Qiao, “Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks,” IEEE Signal Processing Letters (SPL), vol 23, no 10, pp 1499-1503, 2016 [Online] Available: https://arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf 74 [19] [Online] Available: https://arxiv.org/pdf/1708.05234.pdf [20] M D Zeiler and R Fergus, “Visualizing and understanding convolutional networks,” European Conference on Computer Vision, Springer International Publishing, pp 818-833, 2014 [21] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke, and A Rabinovich, “Going deeper with convolutions,” in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 1-9, 2015 [22] I J Goodfellow, D Warde-Farley, M Mirza, A C Courville and Y & Bengio, “Maxout networks,” ICML , vol 3, pp 1319-1327, 2013 [23] Pierre Baldi, Peter J Sadowski, “Understanding Dropout,” Published in NIPS 2013 [24] Katarzyna Janocha and Wojciech Marian Czarnecki, “On Loss Functions for Deep Neural Networks in Classification,” arXiv preprint arXiv: 1702.05659, 2017 [25] W Liu, Y Wen, Z Yu, M Li, B Raj, and L Song, “Sphereface: Deep hypersphere embedding for face recognition”, in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol 1, 2017, p [26] Corinna Cortes and Vladimir Vapnik (1995), “Support-Vector Networks”, [Online] Available: http://image.diku.dk/imagecanon/material/cortes_vapnik95.pdf [27] Warren S McCulloch and Walter Harry Pitts (1943), “A Logical Calculus of Ideas Immanent in Nervous Activity, University of Illinois, College of Medicine,” Department of Psychiatry at the Illinois Neuropsychiatric Institute, University of Chicago, Chicago, U.S.A https://www.cs.cmu.edu/~./epxing/Class/10715/reading/McCulloch.and Pitts.pdf