Mô hình đánh giá cảm xúc của người học dựa trên đa dữ liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Huỳnh Thị Yến Phương MƠ HÌNH ĐÁNH GIÁ CẢM XÚC CỦA NGƯỜI HỌC DỰA TRÊN ĐA DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Huỳnh Thị Yến Phương MƠ HÌNH ĐÁNH GIÁ CẢM XÚC CỦA NGƯỜI HỌC DỰA TRÊN ĐA DỮ LIỆU Chuyên ngành : Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VIẾT HƯNG Thành phố Hồ Chí Minh – 2022 LỜI CAM ĐOAN Tôi tên Huỳnh Thị Yến Phương, học viên cao học khóa 30, chun ngành Khoa học máy tính, trường Đại học Sư phạm Thành phố Hồ Chí Minh Mã số học viên KHMT-19-002 Tôi xin cam đoan luận văn “Mơ hình đánh giá cảm cảm xúc người học dựa đa liệu” tơi tìm hiểu, nghiên cứu thực hướng dẫn TS Nguyễn Viết Hưng Luận văn khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà không ghi rõ nguồn tài liệu tham khảo Tôi xin chịu trách nhiệm kết thực lời cam đoan Tp Hồ Chí Minh, ngày 26 tháng 04 năm 2022 LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn sâu sắc đến Thầy TS Nguyễn Viết Hưng, người định hướng, giúp đỡ tận tình bảo tơi suốt q trình nghiên cứu để tơi hồn thành luận văn Tôi xin gửi lời cảm ơn chân thành đến quý Thầy tận tình giảng dạy cung cấp kiến thức quý báu cho suốt khóa học Đồng thời, xin cảm ơn hỗ trợ Khoa Cơng nghệ thơng tin Phịng Sau đại học trường Đại học Sư phạm TP.HCM tạo điều kiện thuận lợi cho tơi q trình học tập trường Cuối cùng, xin gửi lời cảm ơn đến gia đình bạn bè tơi Những người bên cạnh, động viên ủng hộ trình học tập nghiên cứu Tp Hồ Chí Minh, ngày 26 tháng 04 năm 2022 MỤC LỤC Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị MỞ ĐẦU Chương TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.1 Một số cơng trình nghiên cứu liên quan 1.2 Khó khăn thách thức 13 1.3 Cơ sở liệu cảm xúc khuôn mặt 14 1.3.1 Cơ sở liệu ảnh thường 14 1.3.2 Cơ sở liệu ảnh nhiệt 15 Chương CƠ SỞ LÝ THUYẾT 17 2.1 Cảm xúc khuôn mặt 17 2.1.1 Cảm xúc cử động khuôn mặt 17 2.1.2 Cảm xúc nhiệt độ 23 2.2 Phương pháp rút trích đặc trưng 26 2.2.1 Principal Component Analysis (PCA) 26 2.2.2 Histogram of Oriented Gradient (HOG) 26 2.2.3 Rút trích đặc trưng ảnh nhiệt với t-ROI 28 2.3 Phương pháp phân loại 29 2.3.1 Máy học vectơ hỗ trợ (SVM) 29 2.3.2 Học sử dụng thông tin đặc quyền 33 2.4 Mạng nơ-ron tích chập 34 2.4.1 Kiến trúc mạng nơ-ron tích chập 34 2.4.2 Một số kiến trúc CNN .37 2.5 Phương pháp đánh giá mơ hình phân lớp 39 Chương MƠ HÌNH ĐỀ XUẤT ĐÁNH GIÁ CẢM XÚC 42 3.1 Yêu cầu toán 42 3.2 Mơ hình đề xuất 42 3.3 Cơ sở liệu 43 3.3.1 Cơ sở liệu Kotani Thermal Facial Emotion 43 3.3.2 Dữ liệu người học 49 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 51 4.1 Môi trường thực nghiệm 51 4.2 Dữ liệu thực nghiệm 51 4.3 Phân tích đánh giá 51 4.3.1 Thiết kế thực nghiệm 51 4.3.2 Kết thực nghiệm 52 Chương KẾT LUẬN 63 5.1 Kết đạt 63 5.2 Hướng mở rộng tương lai 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Nguyên mẫu AAM Active Appearance Model Mơ hình diện mạo tích cực ASM Active Shape Model Mơ hình hình dạng tích cực AU Action Units CCA CNN DBM FACS FTFP HMM HOG KTFE LBP LDA LDP LUPI Canonical Correlation Analysis Convolutional Neural Network Deep Boltzmann Machine Diễn giải Đơn vị hành động, xác định độ co mặt Phân tích tương quan chuẩn Mạng nơ-ron tích chập Mơ hình máy Boltzman học sâu Facial Action Coding Hệ thống mã hóa cử động System khn mặt Facial Thermal Feature Điểm đặc trưng nhiệt Points khuôn mặt Hidden Markov Models Mơ hình Markov ẩn Histogram of Oriented Biểu đồ gradient định Gradients hướng Kotani Thermal Facial Emotion Local Binary Pattern Linear Discriminant Analysis Cơ sở liệu ảnh nhiệt Mẫu nhị phân cục Phân tích phân biệt tuyến tính Local Directional Pattern Mơ hình định hướng cục Learning Using Privileged Học sử dụng thông tin đặc Information quyền NVIE PCA Natural Visible and Infrared facial Expression Principal Component Analysis Cơ sở liệu ảnh nhiệt Phân tích thành phần ROI Region of Interest Vùng quan tâm SVM Support Vector Machines Máy vectơ hỗ trợ DANH MỤC CÁC BẢNG Bảng 1.1 Một số AU [19] Bảng 2.1 Định nghĩa giá trị cho việc đánh giá mơ hình 39 Bảng 2.2 Ma trận nhầm lẫn với phân lớp [61] 40 Bảng 3.1 Số lượng video cảm xúc thu 49 Bảng 4.1 Số lượng đối tượng cảm xúc sở liệu KTFE 52 Bảng 4.2 Thống kê số lượng ảnh cảm xúc tập liệu 52 Bảng 4.3 Thống kê số lượng đối tượng cảm xúc 53 Bảng 4.4 Kết thực nghiệm với mơ hình CNN 55 Bảng 4.5 Kết thực nghiệm với mơ hình ResNet 50 56 Bảng 4.6 So sánh kết mơ hình CNN với ResNet 50 56 Bảng 4.7 Kết thực nghiệm với mơ hình CNN 57 Bảng 4.8 Kết thực nghiệm với mơ hình ResNet 50 57 Bảng 4.9 So sánh kết mơ hình CNN với ResNet 50 58 Bảng 4.10 Kết thực nghiệm với ảnh nhiệt 59 Bảng 4.11 Kết thực nghiệm với ảnh thường 59 Bảng 4.12 Kết thực nghiệm với mơ hình kết hợp 60 Bảng 4.13 So sánh kết thực nghiệm với ảnh thường ảnh nhiệt 60 Bảng 4.14 Kết nhận diện với liệu người học 61 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 ROI phương pháp 10 Hình 1.2 Mơ hình đề xuất tác giả 11 Hình 1.3 Mơ hình đề xuất tác giả 11 Hình 1.4 Mơ hình đề xuất nhận diện cảm xúc 13 Hình 1.5 Ảnh mẫu sở liệu CK+ 14 Hình 1.6 Ảnh mẫu sở liệu JAFFE 15 Hình 1.7 Mẫu ảnh thường ảnh nhiệt bảy cảm xúc sở liệu KTFE 16 Hình 2.1 Các vùng mặt nhìn trước 18 Hình 2.2 Biểu cảm xúc hạnh phúc 19 Hình 2.3 Biểu cảm xúc ngạc nhiên 19 Hình 2.4 Biểu cảm xúc giận 20 Hình 2.5 Biểu cảm xúc buồn rầu 21 Hình 2.6 Biểu cảm xúc sợ hãi 21 Hình 2.7 Biểu cảm xúc ghê tởm 22 Hình 2.8 Biểu cảm xúc khinh thường 23 Hình 2.9 Các mạch máu khn mặt người 24 Hình 2.10 Các dải hồng ngoại phổ điện từ 24 Hình 2.11 Biểu diễn nhiệt để trích xuất ROI 25 Hình 2.12 Độ lớn gradient phương gradient 27 Hình 2.13 Histogram ô 28 Hình 2.14 Siêu phẳng với lề cực đại 30 Hình 2.15 Dữ liệu khơng thể phân tách tuyến tính với biến slack (  ) xác định để giảm thiểu lỗi phân loại sai 31 Hình 2.16 Kiến trúc mạng nơ-ron tích chập 34 Hình 2.17 Bộ lọc tích chập sử dụng ma trận điểm ảnh 35 Hình 2.18 Các loại pooling 36 56  Mơ hình ResNet 50 Bảng 4.5 Kết thực nghiệm với mơ hình ResNet 50 Mơ hình Vi_ResNet Độ đo Cảm xúc An Dis Fe Ha Sa Su Precision 45% 91% 21% 60% 39% 9% Recall 34% 71% 17% 100% 38% 50% 1% F1-score 39% 80% 19% 62% 46% 44% 2% Precision 38% 78% 18% 33% 8% 36% 24% 7% 14% 24% 89% 4% 58% F1-score 12% 24% 21% 49% 6% 44% 12% Precision 15% 75% 4% 39% 22% 52% 25% 6% 3% 7% 96% 43% 37% 16% 9% 6% 5% 55% 29% 43% 20% Ther_ResNet Recall CSV_ResNet Recall F1-score 45% Ne 8% Bảng 4.6 So sánh kết mơ hình CNN với ResNet 50 Dữ liệu CNN ResNet 50 Ảnh thường 36.53% 45.92% Ảnh nhiệt 21.10% 30.87% Ma trận nhiệt 22.81% 32.22% Qua thực nghiệm với loại liệu trên, có cảm xúc hạnh phúc buồn rầu đạt tỷ lệ cao Kết cho thấy việc chia liệu theo đối tượng mang lại kết không tốt Cùng cảm xúc, đối tượng thể khác Mặt khác, ảnh nhiệt có nhược điểm chịu ảnh hưởng nhiệt độ mơi trường kính đeo mắt Khi đối tượng đeo kính, máy ảnh nhiệt khơng thu nhiệt độ vùng mắt - vùng nhiệt độ thay đổi xảy cảm xúc Những điều làm ảnh hưởng đến hiệu nhận diện Khi nhiệt độ môi trường thay đổi, nhiệt độ thể thay đổi theo Dữ liệu 57 ma trận nhiệt xử lý để giảm ảnh hưởng nhiệt độ môi trường nên kết cải thiện so với ảnh nhiệt  Chia liệu theo cảm xúc Trong thực nghiệm này, chia liệu theo cảm xúc huấn luyện với mạng CNN ResNet 50 Kết thực nghiệm với liệu đầu vào: ảnh thường, ảnh nhiệt, ma trận nhiệt:  Mơ hình CNN Bảng 4.7 Kết thực nghiệm với mơ hình CNN Mơ hình Vi_CNN Ther_CNN CSV_CNN Độ đo Cảm xúc An Dis Fe Ha Ne Sa Su Precision 76% 62% 83% 87% 90% 89% 83% Recall 85% 97% 51% 89% 71% 85% 68% F1-score 80% 76% 63% 88% 80% 87% 75% Precision 90% 93% 86% 93% 97% 89% 88% Recall 97% 83% 91% 87% 91% 97% 83% F1-score 93% 87% 88% 90% 94% 93% 85% Precision 96% 91% 93% 95% 98% 93% 90% Recall 97% 93% 85% 89% 96% 97% 90% F1-score 97% 92% 89% 92% 97% 95% 90%  Mơ hình ResNet 50 Bảng 4.8 Kết thực nghiệm với mơ hình ResNet 50 Mơ hình Vi_ResNet Độ đo Cảm xúc An Dis Fe Ha Ne Sa Su Precision 67% 98% 81% 90% 99% 83% 98% Recall 99% 96% 55% 92% 55% 84% 78% F1-score 80% 97% 66% 91% 71% 88% 83% 58 Precision 93% 96% 96% 97% 97% 91% 84% 97% 78% 88% 93% 94% 99% 97% 95% 86% 92% 95% 95% 95% 90% Precision 87% 98% 100% 94% 98% 96% 96% Ther_ResNet Recall F1-score CSV_ResNet Recall F1-score 98% 96% 88% 96% 97% 99% 81% 92% 97% 94% 95% 97% 98% 88% Bảng 4.9 So sánh kết mơ hình CNN với ResNet 50 Dữ liệu CNN ResNet 50 Ảnh thường 79.60% 82.87% Ảnh nhiệt 90.58% 93.23% Ma trận nhiệt 94.01% 94.96% Kết mơ hình CNN ResNet 50 liệu ảnh nhiệt nhiệt độ có độ xác tăng so với ảnh thường hầu hết lớp cảm xúc tăng, liệu ảnh nhiệt có hai cảm xúc giảm so với ảnh thường giận ghê tởm Đối với liệu nhiệt huấn luyện ảnh nhiệt bao gồm phần nên làm ảnh hưởng đến kết nhận diện Dữ liệu ma trận nhiệt xử lý để giảm ảnh hưởng nhiệt độ môi trường nên kết cải thiện so với ảnh nhiệt Các kết thực nghiệm cho thấy nhiệt độ cảm xúc có liên hệ với Đây nguồn thông tin giúp cho việc nhận diện cảm xúc xác Khi cảm xúc thay đổi nhiệt độ tập trung vùng trán, xung quanh mắt, gò má thay đổi đáng kể Với mơ hình CNN ResNet 50, liệu đầu vào hình ảnh, hình ảnh bao gồm vùng nhiệt độ tăng giảm đáng kể cảm xúc thay đổi vùng thay đổi nhiệt độ nên làm tăng thời gian huấn luyện làm thay đổi hiệu nhận diện Kết thực nghiệm với mơ hình ResNet 50 mang lại độ xác cao mơ hình 59 CNN đề xuất Mặc dù mang lại kết cao kiến trúc phức tạp nên thời gian huấn luyện mạng ResNet 50 lâu  Rút trích đặc trưng t-ROI Từ kết thực nghiệm trên, tiếp tục thực nghiệm sử dụng phương pháp t-ROI [31] để rút trích đặc trưng cho liệu nhiệt Sau đó, chúng tơi sử dụng mơ hình SVM để phân loại Dữ liệu huấn luyện kiểm tra chia theo cảm xúc Bảng 4.10 Kết thực nghiệm với ảnh nhiệt Độ đo Mơ hình Cảm xúc An Dis Fe Ha Precision 100% 100% 100% Ther_SVM Recall F1-score Ne Sa Su 76% 100% 100% 100% 86% 91% 87% 100% 93% 100% 92% 92% 95% 99% 88% 96% 100% 96% Mơ hình đạt tỷ lệ xác 94.9% Chúng tiếp tục thực nghiệm với liệu ảnh thường dùng mơ hình SVM  Rút trích đặc trưng ảnh thường Phương pháp HOG sử dụng để rút trích đặc trưng phân loại mơ hình SVM Bảng 4.11 Kết thực nghiệm với ảnh thường Mơ hình Vi_SVM Độ đo Cảm xúc An Dis Fe Ha Ne Sa Su Precision 62% 59% 77% 95% 85% 82% 63% Recall 71% 61% 73% 84% 92% 76% 69% F1-score 67% 60% 75% 89% 89% 79% 66% Kết thực nghiệm với liệu ảnh thường đạt tỷ lệ xác 77.2% Từ hai kết thực nghiệm này, chúng tơi kết luận nhiệt độ cảm xúc có mối liên hệ với nhau, nhiệt độ thông tin quan trọng giúp cho nhận diện cảm xúc xác Tuy nhiên, thực tế, việc sử dụng máy ảnh 60 nhiệt chưa phổ biến giá thành cao Vì vậy, chúng tơi thực kết hợp thông tin nhiệt độ ảnh thường để xây dựng mơ hình nhận diện cảm xúc Nhiệt độ đóng vai trị thơng tin bổ sung, có q trình huấn luyện  Mơ hình kết hợp Chúng tơi sử dụng mơ hình SVM+ để xây dựng mơ hình nhận diện cảm xúc khn mặt Thông tin nhiệt độ thông tin đặc quyền, sử dụng q trình huấn luyện mơ hình Bảng 4.12 Kết thực nghiệm với mơ hình kết hợp Mơ hình SVM+ Độ đo Cảm xúc An Dis Fe Ha Ne Sa Su Precision 92% 85% 98% 95% 94% 87% 68% Recall 83% 70% 78% 90% 97% 92% 87% F1-score 88% 77% 87% 93% 95% 90% 76% Kết thực nghiệm với độ xác 86.8% Hầu hết cảm xúc đạt tỷ lệ cao so với ảnh thường Bảng 4.13 So sánh kết thực nghiệm với ảnh thường ảnh nhiệt Dữ liệu Kết Ảnh thường 77.2% Ảnh nhiệt 94.9% Ảnh thường + Ảnh nhiệt 86.8% Mặc dù tỷ lệ xác nhận diện mơ hình đề xuất khơng cao so với nhận diện với ảnh nhiệt, lại cao so với nhận diện ảnh thường Điều chứng minh nhiệt độ cảm xúc có mối liên hệ chặt chẽ Sử dụng ảnh nhiệt giúp cải thiện kết nhận diện ảnh thường  Nhận diện với liệu người học Chúng sử dụng mô hình kết hợp để nhận diện cảm xúc người học Dữ liệu đầu vào video cảm xúc người học Kết thể Bảng 4.14 61 Bảng 4.14 Kết nhận diện với liệu người học Cảm xúc Kết nhận diện (số video) Tỷ lệ cảm xúc (%) Đúng Sai Đúng Sai Giận 0% 100% Hạnh phúc 11 78.6% 21.4% Bình thường 33.3% 66.7% Buồn rầu 60% 40% Ngạc nhiên 14.3% 85.7% Một số kết nhận diện nhận diện sai: Nhận diện đúng: Neutral – Bình thường Happy – Hạnh phúc 62 Sad – Buồn rầu Nhận diện sai Angry – Giận Happy – Hạnh phúc Neutral – Bình thường Sad – Buồn rầu Surprise – Ngạc nhiên 63 Chương KẾT LUẬN 5.1 Kết đạt Dựa mục tiêu nhiệm vụ đề ra, luận văn đạt số kết sau: - Luận văn tìm hiểu tổng quan tình hình nghiên cứu nhận diện, phân tích dự đốn cảm xúc khn mặt ảnh thường ảnh nhiệt - Luận văn nghiên cứu số phương pháp để giải toán nhận diện cảm xúc - Luận văn làm rõ mối liên hệ nhiệt độ cảm xúc, sử dụng nhiệt độ giúp tăng độ xác cho q trình nhận diện - Luận văn xây dựng ba sở liệu cảm xúc: liệu chia theo đối tượng, liệu chia theo cảm xúc, liệu người học - Luận văn xây dựng mơ hình nhận diện cảm xúc khuôn mặt dựa kết hợp ảnh thường ảnh nhiệt, ảnh nhiệt sử dụng thơng tin đặc quyền có q trình huấn luyện Mơ hình kiểm tra sở liệu KTFE Bảy cảm xúc bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn rầu, ngạc nhiên bình thường nhận dạng - Ứng dụng mơ hình đề xuất để nhận diện cảm xúc người học lớp học trực tuyến 5.2 Hướng mở rộng tương lai Trong tương lai, tiếp tục nghiên cứu thêm mối liên hệ nhiệt độ cảm xúc Nghiên cứu thử nghiệm với mơ hình học sâu khác để kết hợp ảnh thường ảnh nhiệt nhận diện cảm xúc khn mặt Ngồi ra, nghiên cứu để kết hợp thêm nguồn thơng tin khác giọng nói, hành động người học để nhận diện cảm xúc người học tốt 64 TÀI LIỆU THAM KHẢO [1] T Hascher, “Learning and Emotion: Perspectives for Theory and Research,” European Educational Research Journal, vol 9, no 1, pp 1328, 2010 [2] R Pekrun, “Emotions and Learning,” International Academy of Education, 2014 [3] S Sharmila, A Kalaivani, “Automatic facial emotion analysis system for students in classroom environment,” International Journal of Pure and Applied Mathematics, [Online], vol 119, no 16, pp 2887-2894, 2018 Available: https://acadpubl.eu/hub/2018-119-16/2/299.pdf [4] H Nguyen, F Chen, K Kotani and B Le, “Fusion of Visible Images and Thermal Image Sequences for Automated Facial Emotion Estimation,” Journal of Mobile Multimedia, vol 10, no 3&4, pp 294-308, 2014 [5] M.Pantic and L J M Rothkrantz, “Automatic analysis of facial expressions: the state of the art,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no 12, pp 1424-1445, 2000 [6] Y.-l Tian, T Kanade, and J F Cohn, “Recognizing action units for facial expression analysis,” in IEEE Transactions on pattern analysis and machine intelligence, vol 23, no 2, pp 97-115, 2001 [7] E Vural, M Bartlett, G Littlewort, M Cetin, A Ercil and J Movellan, “Discrimination of Moderate and Acute Drowsiness Based on Spontaneous Facial Expressions,” 2010 20th International Conference on Pattern Recognition, pp 3874-3877, 2010 [8] G S Shergill, O Diegel, A Sarrafzadeh and A Shekar, “Computerized Sales Assistants: The Application of Computer Technology to Measure Consumer Interest - a Conceptual Framework,” Journal of Electronic Commerce Research, vol 9, no 2, pp 176-191, 2008 65 [9] G Muhammad, M Alsulaiman, S U Amin, A Ghoneim and M F Alhamid, “A Facial-Expression Monitoring System for Improved Healthcare in Smart Cities,” in IEEE Access, vol 5, pp 10871-10881, 2017 [10] P Lucey et al., “Automatically detecting pain in video through facial action units,” in IEEE Trans Syst Man, Cybern Part B Cybern., vol 41, no 3, pp 664-674, 2011 [11] M Madsen, M S Goodwin, R El Kaliouby, R Picard, M Eckhardt and M E Hoque, “Lessons from participatory design with adolescents on the autism spectrum,” Conference on Human Factors in Computing Systems, pp 3835-3840, 2009 [12] V W Zue and J R Glass, “Conversational interfaces: Advances and challenges,” Proc IEEE, vol 88, no 8, pp 1166-1180, 2000 [13] A Rathi and B N Shah, “Facial Expression Recognition A Survey,” International Research Journal of Engineering and Technology, vol 3, pp 540-545, Apr., 2016 [14] S R V Kittusamy and V Chakrapani, “Facial Expressions Recognition Using Eigenspaces,” Journal of Computer Science, vol 8, no 10, pp 1674-1679, 2012 [15] C Shan, S Gong, and P W McOwan, “Facial expression recognition based on Local Binary Patterns: A comprehensive study,” in Image and Vision Computing, vol 27, no 6, pp 803-816, 2009 [16] S Dubuisson, F.Davoine, M Masson, “A solution for facial expression representation and recognition,” Signal Process Image Commun, vol 17, no 9, pp 657-673, 2002 [17] H.-B Deng, L.-W Jin, L.-X Zhen, J.-C Huang, “A New Facial Expression Recognition Method based on Local Gabor Filter Bank and 66 PCA plus LDA,” International Journal of Information Technology, vol 11, no 11, pp 86-96, 2005 [18] Paul Ekman Group, Facial Action Coding System, [Online] Available: https://www.paulekman.com/facial-action-coding-system/ [Accessed: Jan 2, 2022] [19] Ngơ Thị Dun, “Nghiên cứu mơ hình nhân vật ảo biểu cảm khn mặt ba chiều nói tiếng Việt”, Luận án tiến sĩ khoa học máy tính, Đại học Quốc gia Hà Nội, Hà Nội, Việt Nam, 2015 [20] H C Choi and S Y Oh, “Realtime facial expression recognition using active appearance model and multilayer perceptron,” in Proceedings of the International Joint Conference SICE-ICASE, Busan, Korea, pp 59245927, 2006 [21] N Sebe, M S Lew, Y Sun, I Cohen, T Gevers, and T S Huang, “Authentic facial expression analysis”, Image and Vision Computing, vol 25, no 12, pp 1856-1863, 2007 [22] Z Rzayeva, E Alasgarov, “Facial Emotion Recognition using Convolutional Neural Networks,” 2019 IEEE 13th International Conference on Application of Information and Communication Technologies (AICT), pp 1-5 2019 [23] A Fathallah, L Abdi and A Douik, “Facial Expression Recognition via Deep Learning,” 2017 IEEE/ACS 14th International Conference on Computer Systems and Applications, pp 745-750, 2017 [24] Nguyễn Phương Nam, Nguyễn Viết Hưng, “Tổng quan ước lượng mức độ cảm xúc người qua biểu cảm khuôn mặt hướng tiếp cận dựa ảnh nhiệt”, Tạp chí Khoa học Công nghệ Thực phẩm, 2019 [25] I A Cruz-Albarran, J P Benitez-Rangel, R A Osornio-Rios and L A Morales-Hernandez, “Human emotions detection based on a smart- 67 thermal system of thermographic images,” Infrared Physics & Technology, vol 81, pp 250-261, 2017 [26] S Jarlier et al., “Thermal analysis of facial muscles contractions,” in IEEE Transactions on Affective Computing, vol 2, no 1, pp 2-9, 2011 [27] M M Khan, R D Ward and M Ingleby, “Classifying Pretended and Evoked Facial Expressions of Positive and Negative Affective States using Infrared Measurement of Skin Temperature,” ACM Trans Appl Percept., vol 6, no 1, 2009 [28] B R Nhan and T Chau, “Classifying Affective States Using Thermal Infrared Imaging of The Human Face,” IEEE Transactions on Biomedical Engineering, vol 57, no 4, pp 979-987, 2010 [29] S He, S Wang, W Lan, H Fu and Q Ji, “Facial Expression Recognition using Deep Boltzmann Machine from Thermal Infrared Images,” Humaine Association Conference on Affective Computing and Intelligent Interaction, pp 239-244, 2013 [30] A Basu, A Routray, S Shit and A K Deb, “Human Emotion Recognition from Facial Thermal Image based on Fused Statistical Feature and MultiClass SVM,” 2015 Annual IEEE India Conference, pp 1-5, 2015 [31] T Nguyen, K Tran and H Nguyen, “Towards Thermal Region of Interest for Human Emotion Estimation,” 2018 10th International Conference on Knowledge and Systems Engineering, pp 152-157, 2018 [32] Y M Elbarawy, N I Ghali and R S El-Sayed, “Facial Expressions Recognition in Thermal Images based on Deep Learning Techniques,” I.J Image, Graphics and Signal Processing, vol 11, no 10, pp 1-7, 2019 [33] H Nguyen, K Kotani, F Chen and B Le, “A Thermal Facial Emotion Database and Its Analysis,” in: R Klette, M Rivera, S Satoh Image and Video Technology, PSIVT 2013, Lecture Notes in Computer Science, vol 8333, 2014 68 [34] S Wang, S He, Y Wu, M He and Q Ji, “Fusion of visible and thermal images for facial expression recognition,” Front Comput Sci., vol 8, pp 232-242, 2014 [35] C Wu, S Wang, B Pan and H Chen, “Facial Expression Recognition with Deep two-view Support Vector Machine,” 24th ACM international conference on Multimedia, pp 616-620, 2016 [36] X Shi, S Wang and Y Zhu, “Expression Recognition from Visible Images with the Help of Thermal Images,” Proceedings of the 5th ACM on International Conference on Multimedia Retrieval, pp 563-566, 2015 [37] B Xia and S Wang, “Unpaired Multimodal Facial Expression Recognition,” Computer Vision-ACCV 2020: 15th Asian Conference on Computer Vision, Kyoto, Japan, pp 54-69, 2020 [38] Z Zeng, M Pantic, G I Roisman and T S Huang, “A Survey of Affect Recognition Methods: Audio, Visual, and Spontaneous Expressions,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 31, no 1, pp 39-58, 2009 [39] P Lucey, J F Cohn, T Kanade, J Saragih, Z Ambadar and I Matthews, “The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression,” 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, vol 4, pp 94-101, 2010 [40] I J Goodfellow et al., “Challenges in Representation Learning: A Report on Three Machine Learning Contests,” ICONIP 2013, 2013 [41] M J Lyons, “"Excavating AI" Re-excavated: Debunking a Fallacious Account of the JAFFE Dataset,” 2021 [42] M F Valstar and M Pantic, “Induced Disgust, Happiness and Surprise: an Addition to the MMI Facial Expression Database,” 2010 69 [43] S Wang et al., “A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference,” in IEEE Transactions On Multimedia, vol 12, no 7, pp 682-691, 2010 [44] P Ekman, “Giải Mã Những Biểu Hiện Cảm Xúc Trên Khuôn Mặt”, NXB Từ điển Bách Khoa, 2012 [45] https://www.ythuatgiabao.com/blogs/y-thuat-co/giai-phau-chi-tiet-cacco-dau-mat [46] Paul Ekman Group, “Universal Emotions”, 2020 [Online] Available: https://www.paulekman.com/universal-emotions/ [Accessed: Jan 6, 2022] [47] S Ioannou, V Gallese and A Merla, “Thermal infrared imaging in psychophysiology: Potentialities and limits,” Psychophysiology, pp 951963, 2014 [48] P Buddharaju, I T Pavlidis, P Tsiamyrtzis and M Bazakos, “Physiology-Based Face Recognition in the Thermal Infrared Spectrum,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 29, no 4, pp 613-626, 2007 [49] http://en.wikipedia.org/wiki/Infrared_vision [50] C Ordun, E Raff and S Purushotham, “The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data,” presented at AAAI FSS-20: Artificial Intelligence in Government and Public Sector, Washington, USA, 2020 [51] Y Yoshitomi, “Facial expression recognition for speaker using thermal image processing and speech recognition system,” in International Conference on Applied Computer Science - Proceedings, pp.182-186, 2010 70 [52] N Dalal and B Triggs, “Histograms of Oriented Gradients for Human Detection,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol 1, pp 886-893, 2005 [53] Satya Mallick, “Histogram of Oriented Gradients explained using OpenCV,” LearnOpenCV, 2016 [Online] Available: https://learnopencv com /histogram-of-oriented-gradients/ [Accessed: Apr 2, 2022] [54] Nguyễn Thị Oanh, Phùng Minh Tám, “Khả ứng dụng phân loại bề mặt lớp phủ thuật tốn Support Vector Machine”, Tạp chí khoa học công nghệ lâm nghiệp số 1-2015 [55] R Gholami and N Fakhari, “Support vector machine: principles, parameters, and applications,” Handbook of Neural Computation, 2017 [56] D Lopez-Paz, L Bottou, B Schölkopf and V Vapnik, “Unifying distillation and privileged information,” ICLR 2016, 2016 [57] S Tammina, “Transfer learning using VGG-16 with Deep Convolutional Neural Network for Classifying Images,” International Journal of Scientific and Research Publications, vol 9, no 10, 2019 [58] Shipra Saxena, “The Architecture of Lenet-5”, 2021 [Online] Available: https://www.analyticsvidhya.com/blog/2021/03/the-architecture-oflenet-5/ [Accessed: Apr 10, 2022] [59] K Simonyan and A Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” ICLR 2015, 2015 [60] K He, X Zhang, S Ren and J Sun, “Deep Residual Learning for Image Recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp 770-778, 2016 [61] Z Vujovic, “Classification Model Evaluation Metrics,” International Journal of Advanced Computer Science and Applications, vol 12, no 6, 2021