Hiện thực convolutional neural network để nhận dạng biểu cảm khuôn mặt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC TP.HCM KHOA CÔNG NGHỆ THÔNG TIN KHÓA LUẬN TỐT NGHIỆP HIỆN THỰC CONVOLUTIONAL NEURAL NETWORK ĐỂ NHẬN DẠNG BIỂU CẢM KHUÔN MẶT GIẢNG VIÊN HƯỚNG DẪN: ThS Tôn Quang Toại SINH VIÊN THỰC HIỆN: Dương Quốc Bảo – 15DH110212 Huỳnh Trung Hiếu – 15DH110101 TP HỒ CHÍ MINH - 2019 LỜI CẢM ƠN  Khố luận tốt nghiệp chuyên ngành Công Nghệ Thông Tin với đề tài “HIỆN THỰC CONVOLUTIONAL NETWORK ĐỂ NHẬN DẠNG BIỂU CẢM KHN MẶT” kết q trình cố gắng khơng ngừng thân giúp đỡ, động viên, khích lệ thầy cơ, bạn bè người thân Qua trang viết chúng em xin gửi lời cảm ơn tới người giúp đỡ chúng em thời gian học tập – nghiên cứu khoa học vừa qua Chúng em xin tỏ lịng kính trọng biết ơn sâu sắc thầy giáo Tôn Quang Toại trực tiếp tận tình hướng dẫn cung cấp tài liệu thông tin khoa học cần thiết cho luận văn Xin chân thành cảm ơn Lãnh đạo nhà trường Ngoại Ngữ - Tin Học, khoa Công Nghê Thông Tin tạo điều kiện cho chúng em hồn thành tốt cơng việc nghiên cứu khoa học Cuối chúng em xin chân thành cảm ơn quý thầy cô giúp đỡ chúng em q trình học tập thực Khố luận tốt nghiệp MỤC LỤC Chương GIỚI THIỆU 1.1 Artificial Intelligence – AI 1.1.1 Định nghĩa Artificial Intelligence 1.1.2 Phân loại trí tuệ nhân tạo 1.2 Machine Learning – ML 1.2.1 Định nghĩa Machine Learning 1.2.2 Phân loại thuật toán Machine Learning 1.3 Deep Learning 1.4 Computer Vision 1.1.1 Định nghĩa computer vision 1.1.2 Các lĩnh vực liên quan 1.1.3 Các ứng dụng computer vision 10 1.1.4 Thư viện OpenCV 12 1.1.5 Image Processing 13 1.5 Tổng quan đề tài khoá luận 13 1.5.1 Tổng quát biểu cảm khuôn mặt 13 1.5.2 Bài toán nhận dạng biểu cảm khuôn mặt 14 1.5.3 Tổng quát tập liệu FER-2013 15 Chương LÝ THUYẾT NỀN TẢNG 17 2.1 Bài toán Classification 17 2.1.1 Binary Classification 17 2.1.2 Multi-Class Classification 20 2.2 Các kỳ hiệu khái niệm 24 2.2.1 Layers 24 2.2.2 Units 25 2.2.3 Weights Bias 25 2.2.4 Activation functions 26 2.2.5 Gradient Descent 31 2.2.6 Loss function 36 2.2.7 Accuracy 38 2.3 Tổng quan mạng neuron sinh học - Biological Neural 39 2.3 Artificial Neural Network (ANN) 41 2.3.1 Định nghĩa neuron nhân tạo 41 2.3.2 Kiến trúc neuron 41 2.3.3 Mạng neuron nhân tạo 45 2.3.4 Lịch sử phát triển mạng neuron nhân tạo 46 2.3.5 Kiến trúc mạng neuron 51 2.3.6 Lan truyền tiến - FeedForward 54 2.3.7 Lan truyền ngược đạo hàm - Backpropagation 55 2.4 Convolutional Neural Network – CNN 56 2.4.1 Giới thiệu mạng neuron tích chập (Convolutional Neural Network) 56 2.4.2 Cấu trúc mạng neuron tích chập 58 2.4.3 Các mạng neuron tích chập kinh điển 65 2.4.4 Các thuật toán tối ưu (Optimizer) 70 2.4.5 Hiện tượng Vanishing / Exploding Gradient 73 2.4.6 Hiện tượng Overfitting 76 2.4.7 Đánh giá mơ hình 79 Chương CÁC CƠNG TRÌNH LIÊN QUAN 84 3.1 Cơng trình 1: Nhận dạng biểu cảm khn mặt phương pháp Supervised Learning (học giám sát) mơ hình Deep Learning 84 3.1.1 Tổng quan cơng trình 84 3.1.2 Tập liệu FER-2013 CK+ 84 3.1.3 Các mơ hình 85 3.1.4 Kết thực nghiệm 87 3.1.5 Kết luận 87 3.2 Công trình 2: Nhận dạng biểu cảm khn mặt phương pháp Hybrid CNNSIFT Aggregator 88 3.2.1 Tổng quan cơng trình 88 3.2.2 Xử lý liệu FER-2013 CK+ 90 3.2.3 Kiến trúc mơ hình 90 3.2.4 Kết thực nghiệm 94 3.2.5 Kết luận 94 Chương XÂY DỰNG MƠ HÌNH VÀ KẾT QUẢ THỰC NGHIỆM……………………………………………………… 95 4.1 Thống kê xử lý liệu 95 4.1.1 Nguồn tập liệu FER-2013 95 4.1.2 Tổng quát FER-2013 95 4.1.3 Xử lý ảnh tập liệu FER-2013 95 4.1.4 Ảnh thực tế tập liệu FER-2013 95 4.1.5 Thống kê tập liệu FER-2013 theo biểu cảm 96 4.2 Cấu hình máy thực thực nghiệm 97 4.3 Các thông số hàm số chung cho mơ hình 97 4.3.1 Các thông số chung 97 4.3.2 Hàm kích hoạt softmax 98 4.3.3 Hàm Loss 98 4.4 Xây dựng thực nghiệm mơ hình 99 4.4.1 Mơ hình 99 4.4.2 Mơ hình 120 4.4.3 Kết luận 136 Chương HIỆN THỰC NHẬN DẠNG BIỂU CẢM KHN MẶT…………………………………………………………137 5.1 Chọn mơ hình tốt để thực nghiệm nhận dạng biểu cảm khuôn mặt 137 5.2 Visualizing 138 5.3 Thực nghiệm nhận dạng biểu cảm với ảnh từ nhiều nguồn khác 142 5.3.1 Biểu cảm Angry 142 5.3.2 Biểu cảm Disgust 143 5.3.3 Biểu cảm Fear 144 5.3.4 Biểu cảm Happy 145 5.3.5 Biểu cảm Neutral 146 5.3.6 Biểu cảm Sad 147 5.3.7 Biểu cảm Surprised 148 KẾT LUẬN………………………………………………… 149 TÀI LIỆU THAM KHẢO 150 DANH SÁCH BẢNG Bảng 1.1 21 loại biểu cảm khuôn mặt 14 Bảng 1.2 Thống kê liệu FER-2013 theo biểu cảm khuôn mặt 16 Bảng 2.1 Bảng tính liệu Distance theo Age Loan 24 Bảng 2.2 Confision matrix chưa chuẩn hoá 39 Bảng 2.3 Các dạng hàm truyền 44 Bảng 3.1 Kết thực nghiệm cơng trình tập liệu FER-2013 87 Bảng 3.2 Thống kê tập liệu FER-2013 CK+ 94 Bảng 3.3 Kết thực nghiệm cơng trình tập liệu FER-2013 CK+ 94 Bảng 4.1 Thống kê liệu FER-2013 theo biểu cảm 96 Bảng 4.2 Tỉ lệ phần trăm tập liệu 96 Bảng 4.3 Cấu trúc mơ hình dựa theo LeNet 100 Bảng 4.4 Thông số huấn luyện thực nghiệm mơ hình 103 Bảng 4.5 Kết thực nghiệm mơ hình 103 Bảng 4.6 Thông số huấn luyện thực nghiệm mơ hình 105 Bảng 4.7 Kết thực nghiệm mơ hình 106 Bảng 4.8 Thông số huấn luyện thực nghiệm mơ hình 107 Bảng 4.9 Kết thực nghiệm mơ hình 108 Bảng 4.10 Thông số huấn luyện thực nghiệm mô hình 109 Bảng 4.11 Kết thực nghiệm mơ hình 110 Bảng 4.12 Thông số huấn luyện thực nghiệm mơ hình 111 Bảng 4.13 Kết thực nghiệm mơ hình 112 Bảng 4.14 Thông số huấn luyện thực nghiệm mơ hình 113 Bảng 4.15 Kết thực nghiệm mô hình 114 Bảng 4.16 Thông số huấn luyện thực nghiệm mơ hình 116 Bảng 4.17 Kết thực nghiệm mơ hình 116 Bảng 4.18 Kết thực nghiệm tập liệu Test mô hình 117 Bảng 4.19 Precision Recall, F1-score Macro-average tập liệu Test thực nghiệm mơ hình 120 Bảng 4.20 Cấu trúc mơ hình dựa theo VGG16 121 Bảng 4.21 Thông số huấn luyện thực nghiệm mơ hình 124 Bảng 4.22 Kết thực nghiệm mơ hình 125 Bảng 4.23 Thơng số huấn luyện thực nghiệm mơ hình 126 Bảng 4.24 Kết thực nghiệm mơ hình 127 Bảng 4.25 Thông số huấn luyện thực nghiệm mơ hình 127 Bảng 4.26 Kết thực nghiệm mơ hình 128 Bảng 4.27 Thông số huấn luyện thực nghiệm mơ hình 129 Bảng 4.28 Kết thực nghiệm mơ hình 130 Bảng 4.29 Thơng số huấn luyện thực nghiệm mơ hình 130 Bảng 4.30 Kết thực nghiệm mơ hình 131 Bảng 4.31 Thông số huấn luyện thực nghiệm mơ hình 132 Bảng 4.32 Kết thực nghiệm mơ hình 133 Bảng 4.33 Kết thực nghiệm tập liệu Test mơ hình 133 Bảng 4.34 Precision Recall, F1 - score Macro - avarage tập liệu Test thực nghiệm mơ hình 136 Bảng 5.1 Bảng thống kê liệu tỉ lệ tập liệu dùng để huấn luyện 138 DANH SÁCH HÌNH Hình 1.1 Mối quan hệ học sâu với lĩnh vực liên quan Hình 1.2 Mối quan hệ thị giác máy tính với ngành liên quan Hình 1.3 Ảnh tập liệu FER-2013 15 Hình 2.1 Perceptron 18 Hình 2.2 Logistic Regression 19 Hình 2.3 Hyperplanes – Nguồn: ques10.com 19 Hình 2.4 Multi-class classification với Logistic Regressin one-vs-res 21 Hình 2.5 Age and Loan – Nguồn: saedsayad.com 23 Hình 2.6 MLP với hai hidden layers – Nguồn: dominhhai.github.io 24 Hình 2.7 Các ký hiệu sử dụng MLP – Nguồn: machinelearningcoban.com 25 Hình 2.8 Sigmoid 26 Hình 2.9 Tanh 27 Hình 2.10 ReLU 28 Hình 2.11 ELU activation function (a = 1) 30 Hình 2.12 Local minimum Global minimum – Nguồn: machienlearningcoban.com 32 Hình 2.13 GD tượng vật lý – Nguồn: machinelearningcoban.com 34 Hình 2.14 Ý tưởng NAG - Nguồn: CS231n Standford: Convolutional Neural Network for Visual Recognition 35 Hình 2.15 Mơ hình tế bào thần kinh – Nguồn: voer.edu.vn 40 Hình 2.16 Mơ hình neuron đầu vào 42 Hình 2.17 Mơ hình neuron nhiều đầu vào 44 Hình 2.18 Mơ hình vắn tắt neuron nhiều đầu vào 45 Hình 2.19 Cấu tạo Neuron – Nguồn: onlinedrugsworld.com 47 Hình 2.20 Sơ đồ mạng dạng Perceptron 49 Hình 2.21 Cấu trúc chung mạng neuron 51 Hình 2.22 Mơ hình mạng neuron có lớp S neuron 52 Hình 2.23 Mơ hình neuron lớp 53 Hình 2.24 Cách máy tính "nhìn" hình – Nguồn: cs231n.github.io/classification/ 57 Hình 2.25 Kiến trúc CNN – Nguồn: mathwork.com 59 Hình 2.26 Input Filter / Kernel – Nguồn: towardsdatascience.com 60 Hình 2.27 Input Filter Map - Nguồn: towardsdatascience.com 60 Hình 2.28 Kết lần trượt thứ hai - nguồn: towardsdatascience.com 61 Hình 2.29 Với bước nhảy - Nguồn: towardsdatascience.com 62 Hình 2.30 Với bước nhảy - Nguồn: towardsdatascience.com 62 Hình 2.31 Với bước nhảy Padding - Nguồn: towardsdatascience.com 63 Hình 2.32 MaxPooling với kích thước 2x2 bước nhảy 64 Hình 2.33 Cấu trúc CNNs - Nguồn: viblo.asia 65 Hình 2.34 Ảnh minh hoạ LeNet - Nguồn: medium.com 65 Hình 2.35 Cấu trúc LeNet - Nguồn: engmrk.com 66 Hình 2.36 Ảnh minh hoạ VGG - nguồn: researchgate.net 67 Hình 2.37 Cấu trúc mơ hình VGG - Nguồn: blog.kleon.space 68 Hình 2.38 Ảnh minh hoạ ResNet - nguồn: medium.com 69 Hình 2.39 Cấu trúc mơ hình ResNet - Nguồn: medium.com 70 Hình 2.40 Early Stopping Đường màu xanh train error, đường màu đỏ validation error Trục x số lượng vịng lặp, trục y error Mơ hình xác định vòng lặp mà validation error đạt giá trị nhỏ nhấ - Nguồn: en.wikipedia.org 78 Hình 2.41 Cách hoạt động Dropout Nguồn: Sefik.Ilkim.Senengil 79 Hình 2.42 Ma trận chưa chuẩn hố - Nguồn: machinelearningcoban.com 80 Hình 2.43 Ma trận chuẩn hoá - Nguồn: machinelearningcoban.com 81 Hình 2.44 Cách tính Precision Recall – Nguồn: machinelearningcoban.com 81 Hình 3.1 Các phương pháp thực nghiệm tác giả 89 Hình 3.2 Ảnh minh hoạ phép biến đổi 90 Hình 3.3 CNN với Dense SIFT 92 Hình 4.1 Ảnh tập liệu FER-2013 96 Hình 4.2 Mơ hình Lenet Lecun 99 Hình 4.3 Biểu đồ hàm số TanH 102 Hình 4.4 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 103 Hình 4.5 Biểu đồ hàm số ReLU 104 Hình 4.6 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 106 Hình 4.7 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 108 Hình 4.8 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 110 Hình 4.9 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 112 Hình 4.10 Biểu đồ Accuracy / Loss thực nghiệm mơ hình 114 Hình 4.11 Biểu đồ hàm số ELU 115 Chương HIỆN THỰC NHẬN DẠNG BIỂU CẢM KHN MẶT 5.1 Chọn mơ hình tốt để thực nghiệm nhận dạng biểu cảm khuôn mặt Tại chương tìm mơ hình tốt dựa vào độ xác tập liệu Test FER-2013 mơ hình thực nghiệm với độ xác 68,04% Nhưng số lượng ảnh biểu cảm tập liệu FER-2013 có chênh lệch lớn số biểu cảm có số lượng ảnh q ít, ví dụ Disgust có 547 ảnh chiếm 1,5% Happy có 8.989 ảnh chiếm 25% Điều khiến mơ hình huấn luyện tập liệu FER-2013 khơng phản ánh cách xác biểu cảm, khiến mơ hình đạt kết tốt với liệu tập liệu FER-2013 Để giải vấn đề cần tìm thêm nhiều liệu từ nhiều nguồn khác để huấn luyện mơ hình, giúp cho mơ hình nhận dạng biểu cảm cách khách quan Các tập dự liệu bổ sung cho tập liệu Train FER-2013 gồm tập liệu: • Ck & CK+: http://www.consortium.ri.cmu.edu/ckagree/ • FacesDB: http://app.visgraf.impa.br/database/faces • FERG DB: https://grail.cs.washington.edu/projects/deepexpr/ferg-db.html • JAFFE Database: https://github.com/anagravw/ml-face-jaffe-dataset • KDEF: https://www.ugent.be/pp/ekgp/en/research/research-groups/panlab/kdef • KDEF & AKDEF: http://kdef.se/index.html Trang 137 Tập liệu Số lượng ảnh Tỉ lệ Train FER-2013 28.709 74,23% Ck & CK+ 1.275 3,29% FacesDB 252 0,65% FERG DB 4.974 12,86% JAFFE Database 213 0,55% KDEF 490 1,26% KDEF & AKDEF 2.761 7,13% Tổng Train 38.674 100% Bảng 5.1 Bảng thống kê liệu tỉ lệ tập liệu dùng để huấn luyện Các liệu từ tập liệu khác chiếm khoảng 25% tập liệu Train Với liệu Train thuộc tập liệu khác (FER-2013, Ck & CK+, FacesDB, FERG DB, JAFFE Database, KDEF, KDEF & AKDEF) tiến hành huấn luyện liệu mơ hình (bao gồm thơng số) đạt kết tốt Kết quả: Độ xác trện tập liệu Test FER-2013 66,98% với giá trị lỗi 1,4321574422862462 Mơ hình huấn luyện 71 epoch với thời gian tiếng 54 phút Nhận xét: Độ xác tập liệu Test thấp chút so với mơ hình thực nghiệm 3, thời gian huấn luyện lâu lên tới tiếng 54 phút với 71 epoch tập liệu Train có nhiều liệu (38.674 ảnh) 5.2 Visualizing Để hình dung cách hoạt động mạng CNN nào, sử dụng phương pháp Visualizing để quan sát trình xử lý ảnh máy trính qua lớp phần rút tích đặc trưng Trang 138 Hình 5.1 Ảnh Happy thứ tập liệu Test Khi ảnh qua lớp Conv2D MaxPooling phần rút tích đặc trưng ảnh máy tính xử lý lấy phần đặc trưng ảnh đường nét khuôn mặt, điểm, hay giá trị để đưa dự đốn nhãn ảnh lớp cuối Để hiểu rõ trình ảnh rút tích đặc trưng qua các lớp Conv2D MaxPooling nhìn vào hình ảnh sau Trang 139 Hình 5.2 Ảnh qua lớp Conv2D hay MaxPooling mạng CNN Trang 140 Tại lớp ảnh gần giữ nguyên hình dạng ban đầu qua filters, giai đoạn ảnh giữ lại gần tất thơng tin có ảnh Khi sâu vào lớp sau, hình ảnh ngày trở nên trừu tượng trực quan Ảnh mang thơng tin đặc trưng ảnh ngày rõ Kỹ thuật Class activation maps phương pháp giúp thấy đặc điểm ảnh mà máy tính dựa vào để phân loại ảnh Với vùng màu vàng – cam – đỏ thể mức độ quan vị trí điểm ảnh Những vùng màu sáng thể cho máy tính biết đặc điểm giống người quan sát nhận biết biểu cảm người khác, ví dụ dựa vào đường nét khuôn mặt, ánh mắt, lông mày, cử môi, để nhận dạng biểu cảm Hình 5.3 Heatmap ảnh Trang 141 5.3 Thực nghiệm nhận dạng biểu cảm với ảnh từ nhiều nguồn khác 5.3.1 Biểu cảm Angry Hình 5.4 Ảnh từ nguồn: www.dailymail.co.uk Hình 5.5 Độ xác ảnh nhãn Với vùng màu đỏ – vàng xuất nhiều phần mũi, nếp nhăn mắt hai bênh má nhân vật ảnh Những đặc điểm giúp máy tính nhận dạng biểu cảm Angry với tỉ lệ đoán với ảnh 97,84% Trang 142 5.3.2 Biểu cảm Disgust Hình 5.6 Ảnh từ nguồn: www.videoblocks.com Hình 5.7 Độ xác ảnh nhãn Những vùng màu đỏ – vàng xuất nhiều xung quanh phần mũi hai mắt khéo dài tới hai bênh tai, vùng đỏ nằm sống mũi nhân vật Với đặc điểm giúp cho máy tính nhận dạng biểu cảm Disgust với tỉ lệ đoán với ảnh 95,99% Trang 143 5.3.3 Biểu cảm Fear Hình 5.8 Ảnh từ nguồn: www.regmedia.co.uk Hình 5.9 Độ xác ảnh nhãn Với biểu cảm Fear (sợ hãi) nhận vật thường có cử đưa tay lên che phần miệng nên thấy vùng màu đỏ – vàng xuất nhiều phần mũi, mắt miệng bị khuất nhân vật Tỉ lệ đoán ảnh 99,98% Trang 144 5.3.4 Biểu cảm Happy Hình 5.10 Ảnh từ nguồn: www.pinterest.com Hình 5.11 Độ xác ảnh nhãn Chúng ta nhận thấy cách rõ ràng vùng màu đỏ – vàng xuất nhiều nửa khuôn mặt bao gồm phần mũi miệng nhân vật Tỉ lệ đoán ảnh 100% Trang 145 5.3.5 Biểu cảm Neutral Hình 5.12 Ảnh từ nguồn: www.bodiesinmotion.photo Hình 5.13 Độ xác ảnh nhãn Trong ảnh vùng màu đỏ – vàng xuất nhiều phần mũi, sống mũi hai bênh má nhân vật khéo dài tới tai đặc điểm có nét tương đồng với Angry Disgust Tỉ lệ đoán ảnh 70,42% với biểu cảm Neutral, khoảng 28,62% ảnh dự đoán thuộc biểu cảm Angry Trang 146 5.3.6 Biểu cảm Sad Hình 5.14 Ảnh từ nguồn: www.videoblocks.com Hình 5.15 Độ xác ảnh nhãn Những vùng màu đỏ – vàng xuất nhiều nửa khuôn mặt nhân vật bao gồm phần mũi, mắt vùng mắt nhân vật Những đặc điểm giúp máy tính nhận dạng biểu cảm Sad với tỉ lệ đoán 75,37%, khoảng 23,26% ảnh dự đoán thuộc biểu cảm Neutral Trang 147 5.3.7 Biểu cảm Surprised Hình 5.16 Ảnh từ nguồn: www.dreamstime.com Hình 5.17 Độ xác ảnh nhãn Trong ảnh vùng màu đỏ – vàng xuất tập trung nhiều xung quanh phần mũi, sống mũi đặc biệt phần hai mắt nhân vật Tỉ lệ đoán ảnh 100% Trang 148 KẾT LUẬN Sau trình nghiên cứu học hỏi tháng vừa qua, chúng em hiểu trình hình thành phát triển cơng nghệ trí tuệ nhân tạo (AI) bao gồm Machine Learning Deep Learing Nắm hình thành trình phát triển kiến trúc mơ hình CNN kinh điển (LeNet, VGG, ResNet) Đồng thời nắm kiến thức q trình xây dựng phát triển mơ hình CNN kiến thức cần thiết trình huấn luyện thực nghiệm tập liệu mơ hình CNN Chúng em đạt kết tương đối tốt việc xây dựng mơ hình CNN để giải toán nhận dạng biểu cảm khuôn mặt người (giận dữ, kinh tởm, sợ hãi, vui vẻ, trung tính, buồn, ngạc nhiên) dự sở liệu FER-2013 đạt độ xác khoảng 67% trập liệu Test Những vấn đề chưa làm Vẫn nhiều hạn chế kiến thức, chưa tìm hiểu sâu rộng Deep Learning áp dụng kiến thức cách tốt Kết thực nghiệm FER-2013 chưa thực tốt Chưa tự xây dựng thực nghiệm mơ hình ResNet DenseNet, chưa áp dụng kĩ thuật nâng cao kết hợp CNN với SVM hay CNN với D-SIFT để cải thiện độ xác tập liệu FER-2013 Chưa áp dụng xây dựng ứng dụng thực tế toán nhận dạng biểu cảm khuôn mặt người Hướng phát triển Tiếp tục củng cố kiến thức tìm hiểu nghiện cứu sâu AI đặc biệt Deep Learning Xây dựng thực nghiệm FER-2013 mơ hình ResNet, DenseNet Xây dựng ứng dụng nhận dạng biểu cảm khuôn mặt người với nhiều biểu cảm khuôn mặt Trang 149 TÀI LIỆU THAM KHẢO [1] Python Deep Learning – Second Edition – Ivan Vasilev, Daneil Slater, Gianmario Spacagna, Peter Roelants and Valentino Zocca [2] Charu C.Aggarwal – Neural Networks and Deep Learning A Textbook (2018, Springer) [3] CS231n Convolutional Neural Network for Visual Recognition DeepCADe: A Deep Learning Architecture for the Detection of Lung Nudules in CT Scnas by Rotem Golan [4] Identity Mapping in Deep Residual Networks – Kaiming He, Xiangyu Zhang, Shaoqing Ren and Jian Sun [5] Face Recognition: A Convolutional Neural-Network – Approach Steve Lawrence, C Lee Giles, Ah Chung Tsoi and Andrew D Back [6] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification – Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, The IEEE International Conference on Computer Vision (ICCV) 2015, pp 10261034 [7] Omnivore: An Optimizer for Multi-device Deep Learning on CPUs and GPUs – Stefan Hadjis, Ce Zhang, Ioannis Mitliagkas, Dan Iter, Christopher Re [8] Deep Learning with Python – FRANÇOIS CHOLLET [9] Dropout: A Simple Way to Prevent Neural Networks from Overfitting – Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov [10] Rectifier Nonlinearities Improve Neural Network Acoustic Models – Andrew L Maas, Awni Y Hannun, Andrew Y Ng [11] Understanding the difficulty of training deep feedforward neural networks – Xavier Glorot, Yoshua Bengio [12] Pantic, M.: Facial expression recognition In: Encyclopedia of Biometrics, pp 400–406 Springer, US (2009) [13] Ochs, M., Niewiadomski, R., Pelachaud, C.: Facial Expressions of Emotions for Virtual Characters The Oxford Handbook of Affective Computing, 261 (2014) Trang 150 [14] Liebold, B., Richter, R., Teichmann, M., Hamker, F.H., Ohler, P.: Human capacities for emotion recognition and their implications for computer vision icom, 14(2), pp 126–137 (2015) [15] Shen, L., Wang, M., Shen, R.: Affective e—learning: Using “emotional” data to improve learning in pervasive learning environment Educ Technol Soc 12(2), 176–189 (2009) [16] Deep Neural Networks with Relativity Learning for facial expression recognition – Yanan Guo, Dapeng Tao, Jun Yu, Hao Xiong, Yaotang Li, Dacheng Tao Trang 151