(Luận văn) xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã lu an n va p ie gh tn to XÂY DỰNG MƠ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI d oa nl w va an lu ll u nf LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh z m co l gm @ an Lu Thành phố Hồ Chí Minh - 2019 n va ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã lu an n va ie gh tn to XÂY DỰNG MƠ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI p Chuyên ngành: Khoa học máy tính Mã số : 8480101 d oa nl w an lu ll u nf va LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh z NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VIẾT HƯNG m co l gm @ an Lu Thành phố Hồ Chí Minh - 2019 n va ac th si LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Xây dựng mơ hình kết hợp ảnh thường ảnh nhiệt để ước lượng cảm xúc người” tơi tìm hiểu, nghiên cứu thực hướng dẫn Tiến sĩ Nguyễn Viết Hưng Luận văn khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà khơng ghi rõ nguồn tài liệu tham khảo Tôi xin chịu trách nhiệm kết thực lời cam đoan Thành phố Hồ Chí Minh, ngày 27 tháng 12 năm 2019 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Trước hết xin chân thành gởi lời cảm ơn sâu sắc đến Thầy tôi, Tiến sĩ Nguyễn Viết Hưng, người định hướng, bảo, giúp đỡ tận tình trình học tập, nghiên cứu hồn thiện luận văn Tơi xin bày tỏ lịng biết ơn đến q Thầy, giáo trực tiếp tham gia giảng dạy truyền đạt kiến thức q báu cho tơi suốt q trình học cao học Trường Đại học Sư phạm Thành phố Hồ Chí Minh Đồng thời, tơi xin cảm ơn tới quý Thầy cô Khoa Công nghệ thông tin, Phòng Sau đại học Trường Đại học Sư phạm Thành phố Hồ Chí Minh tận tình dạy dỗ lu an hướng dẫn cho tơi suốt q trình học tập Trường n va Cuối cùng, muốn gửi lời cảm ơn đến gia đình bạn bè tn to Những người bên cạnh, động viên ủng hộ tơi để tơi có đủ niềm tin, gh động lực để hồn thành khóa học luận văn p ie Tp Hồ Chí Minh, ngày 27 tháng 12 năm 2019 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si MỤC LỤC Trang Lời cam đoan Lời cảm ơn Mục lục Danh mục ký hiệu chữ viết tắt Danh mục bảng biểu Danh mục hình vẽ MỞ ĐẦU lu an Lý chọn đề tài n va Mục tiêu nhiệm vụ nghiên cứu gh tn to Đóng góp luận văn p ie Đối tượng phạm vi nghiên cứu w Phương pháp nghiên cứu oa nl Ý nghĩa khoa học thực tiễn d Cấu trúc luận văn an lu va Chương TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU ll u nf 1.1 Các cơng trình nghiên cứu liên quan oi m 1.2 Một số thách thức lĩnh vực nghiên cứu nhận dạng cảm xúc người 10 z at nh 1.3 Sơ lược sở liệu cảm xúc 11 z Chương CƠ SỞ LÝ THUYẾT 15 @ l gm 2.1 Bài toán phát cảm xúc khuôn mặt 15 m co 2.2 Kiến trúc Mạng nơ-ron tích chập (Convolutional neural network) 17 an Lu 2.2.1 Lớp Convolution 17 2.2.2 Lớp pooling 18 n va ac th si 2.2.3 Lớp Fully Connected 19 2.3 Học chuyển giao 20 2.4 Mạng huấn luyện Resnet (Residual Network) 21 2.5 Độ đo đánh giá mơ hình phân lớp 25 Chương ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH THƯỜNG VÀ ẢNH NHIỆT 27 3.1 Cơ sở liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE) 27 3.2 Mơ hình ước lượng cảm xúc ảnh thường ảnh nhiệt 32 lu an Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 37 n va 4.1 Môi trường thực nghiệm 37 tn to 4.2 Dữ liệu đầu vào 37 p ie gh 4.3 Phân tích đánh giá 38 w 4.3.1 Kết thực nghiệm 38 oa nl 4.3.2 So sánh kết thực nghiệm với kết phương pháp [32] 43 d 4.3.3 So sánh kết thực nghiệm với kết phương pháp [36] 44 lu va an Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 u nf CƠNG TRÌNH CƠNG BỐ 48 ll TÀI LIỆU THAM KHẢO 49 oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ viết tắt Nguyên mẫu AAM Active Appearance Model AU Action Units CNN Diễn giải Mơ hình xuất tích cực Đơn vị hành động, xác định độ co mặt Convolutional Neural Mơ hình mạng nơ-ron Networks tích chập lu Mơ hình máy Boltzman an n va Deep Boltzmann Machine ECG Electrocardiogram Tín hiệu điện tâm đồ EEG Electroencephalogram Tín hiệu điện não đồ học sâu ie gh tn to DBM Phương pháp không p Eigenspace Method based EMC gian riêng dựa đặc trưng lớp Facial Action Coding Hệ thống mã hóa hành lu FACS System động mặt Facial Thermal Feature Cơ sở điểm đặc d oa nl w on Class features Mơ hình Markov ẩn m Hidden Markov Models oi Histogram of Oriented Biểu đồ Gradients gradient định hướng z at nh Cơ sở liệu ảnh nhiệt l gm Emotion @ Kotani Thermal Facial z KTFE trưng nhiệt mặt ll HOG Points u nf HMM va an FTFP LDA Linear Discriminant Mơ hình nhị phân cục an Lu Local Binary Pattern m co LBP Phương pháp phân tích n va ac th si phân biệt tuyến tính Analysis LDP Mơ hình định hướng Local Directional Pattern cục Natural Visible and NVIE Cơ sở liệu ảnh nhiệt Infrared facial Expression PCA Principal Component Phương pháp phân tích Analysis thành phần Posttraumatic Stress PTSD Chấn thương tâm lý Disorder lu an Khu vực quan tâm n va ROI Region of Interest SVM Support Vector Machines Phương pháp Máy p ie gh tn to vector hỗ trợ d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Một số sở liệu ảnh nhiệt [8] 13 Bảng 2.1 Bảng chi tiết kiến trúc mạng Resnet 18, 50,101 153 lớp [50] 24 Bảng 2.2 Định nghĩa giá trị cho việc đánh giá thực thi mơ hình 25 Bảng 4.1 Số lượng liệu cụ thể chia 80% trình huấn luyện (train val) 20% cho kiểm tra (test set) 37 Bảng 4.2 Kết thí nghiệm mơ hình Từ trái sang phải: giận (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) ngạc nhiên (Su) 38 lu an Bảng 4.4 So sánh phân tích với phương pháp [32] cảm xúc 44 n va Bảng 4.3 So sánh phân tích với phương pháp [36] 45 p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC HÌNH VẼ Hình 1.1 Ví dụ đặc trưng hình học mặt gồm lơng mày, mắt, mũi, miệng [17] Hình 1.2 Trích xuất ROI phương thức [32] Hình 1.3 Thuật tốn xác định cảm xúc [33] Hình 1.4 Cơ sở liệu FACES [39] thể loại cảm xúc: bình thường, giận dữ, hạnh phúc, buồn rầu, sợ hãi ghê tởm 12 Hình 1.5 Các dải hồng ngoại phổ điện từ [46] 14 Hình 2.1 Mơ hình phát cảm xúc sử dụng phương pháp học máy truyền lu an thống 15 n va Hình 2.2 Kiến trúc mạng tích chập 17 tn to Hình 2.3 Minh họa phép tích chập [47] 18 gh Hình 2.4 Minh họa phương thức maxpooling average pooling [48] 19 p ie Hình 2.5 Minh họa kết nối đầy đủ phân lớp [49] 20 nl w Hình 2.6 Hình so sánh độ lỗi mơ hình trước sau thêm lớp oa mạng [50] 22 d Hình 2.7 ResNets block 23 lu va an Hình 2.8 So sánh mạng truyền thống với Resnet (18/34 lớp) [50] 24 u nf Hình 3.1 Mẫu ảnh nhiệt ảnh nhìn thấy bảy cảm xúc [8] 28 ll Hình 3.2 Thư mục lưu trữ liệu thô KTFE chứa video ảnh thường 29 m oi Hình 3.3 Tập tin liệu thô hiển thị giao diện phần mềm NS9500-PRO z at nh (Video chứa frame ảnh nhiệt) 30 z Hình 3.4 Frame ảnh thường ảnh nhiệt đối tượng sau xóa vùng @ gm dư thừa ảnh nhiệt (bên trái) 31 l Hình 3.5 Freeze layer pre-trained model, train FC layer thêm m co vào 33 an Lu Hình 3.6 Unfreeze layer pre-trained model, train layer ConvNet pre-trained model fully connected layer 34 n va ac th si 40 số người thường không biểu cảm xúc thật Mặc dù kết nhận dạng chưa cao phù hợp với phân tích ban đầu chúng tơi Do vậy, tiếp tục tiến hành thực nghiệm với ảnh nhiệt lu an n va p ie gh tn to d oa nl w lu va an Hình 4.2 Kết nhận dạng ảnh thường Vi-Resnet-50 u nf Hình 4.3 trình bày kết mơ hình Ther-Resnet-50 chạy ll liệu ảnh nhiệt thu tỷ lệ phân lớp xác 92.41%, tăng 2.83% so m oi với ảnh thường hầu hết lớp cảm xúc tăng, có hai cảm xúc z at nh giảm tỷ lệ giảm thấp Kết nhận dạng cảm xúc cho thấy hạnh z phúc đạt 93.93%, cao 1.68% so với Vi-Resnet-50, ghê tởm 94.77%, gm @ Vi-Resnet-50 đạt 88.41%, tăng 6.36%, ngạc nhiên đạt 93.27%, tăng l 4.81% tự nhiên đạt 90.38%, tăng 3.5% so với Vi-Resnet-50 Bên cạnh m co cảm xúc sợ hãi đạt 90.57%, giảm 0.23% buồn rầu đạt 92.71%, giảm 0.42% an Lu so với Vi-Resnet-50 Từ cho thấy, nhiệt độ cảm xúc người có mối quan hệ mật thiết với Chúng tin liệu nhiệt thông tin n va ac th si 41 bổ sung quan trọng để hỗ trợ nhận dạng cảm xúc người xác Do vậy, tiếp tục thực nghiệm với phương pháp đề xuất kết hợp ảnh thường ảnh nhiệt lu an n va p ie gh tn to oa nl w d Hình 4.3 Kết nhận dạng ảnh nhiệt Ther-Resnet-50 an lu va Hình 4.4 thể kết mơ hình kết hợp ảnh thường ảnh nhiệt ll u nf Fu-Resnet-50 Kết cho thấy tỷ lệ phân lớp xác 94.06% Hầu hết oi m cảm xúc đạt tỷ lệ cao so với mơ hình phân lớp ảnh thường z at nh ảnh nhiệt Trong đó, hạnh phúc đạt 95.17%, buồn rầu đạt 94.79 %, ngạc nhiên đạt 94,42%, sợ hãi đạt 94.09%, giận đạt 93.57%, ghê tởm đạt 92.73% z m co l gm @ an Lu n va ac th si 42 lu an n va p ie gh tn to d oa nl w Hình 4.4 Kết ước lượng cảm xúc kết hợp ảnh thường ảnh nhiệt Fu-Resnet-50 ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 43 lu an n va ie gh tn to p Hình 4.5 So sánh Vi-Resnet-50, Ther- Resnet-50 Fu-Resnet-50 nl w Như vậy, từ kết thu bảng 4.2 biểu đồ so sánh hình d oa 4.5, cho thấy kết nhận dạng phương pháp kết hợp đề xuất cao an lu so với nhận dạng ảnh thường ảnh nhiệt Điều chứng tỏ vai ll u nf tốt va trò phân lớp kết hợp giúp cho trình nhận dạng đạt kết oi m 4.3.2 So sánh kết thực nghiệm với kết phương pháp [32] z at nh Để phân tích, đánh giá kết phương pháp đề xuất với kết tác giả báo [32] sử dụng sở liệu KTFE, so sánh kết z cảm xúc tương ứng là: giận dữ, sợ hãi, hạnh phúc, bình thường buồn m co l gm @ rầu an Lu n va ac th si 44 Bảng 4.3 So sánh phân tích với phương pháp [32] cảm xúc Phương pháp Tỷ lệ nhận dạng trung bình Phương pháp [32] 87.50% Ther-ResNet-50 91.77% Ther-Resnet-50 Phương pháp 32 lu 96.00 an 94.00 va n 92.00 to TỶ LỆ % 88.00 p ie gh tn 90.00 w 86.00 82.00 d oa nl 84.00 an lu 80.00 ANGER FEAR HAPPINESS NEUTRAL SADNESS va ll u nf Hình 4.6 So sánh phương pháp đề xuất phương pháp [32] oi m Bảng 4.3 hình 4.6 cho thấy tỷ lệ nhận dạng trung bình đạt cảm xúc sở liệu z at nh phương pháp đề xuất tốt so với phương pháp [32] để ước lượng z 4.3.3 So sánh kết thực nghiệm với kết phương pháp [36] @ gm Phương pháp đề xuất ảnh nhiệt so sánh với kết thu m co l sở liệu KTFE Với phương pháp [36], tác giả đề xuất trích xuất vùng quan tâm - ROI sử dụng phương pháp PCA an Lu EMC Các ROI tìm thấy cung cấp thơng tin hữu ích thực cảm xúc thay n va ac th si 45 đổi Nó xác định khu vực nơi nhiệt độ tăng giảm đáng kể cảm xúc thay đổi tập trung trán, xung quan mắt, gò má hàm Bảng 4.4 hình 4.7 cho thấy hiệu suất đạt phương pháp đề xuất tốt so với phương pháp khác Bởi chúng tơi sử dụng mơ hình mạng học sâu áp dụng kỹ thuật học chuyển giao để trích xuất đặc trưng tự động nên thu nhiều thông tin hữu ích Bảng 4.4 So sánh phân tích với phương pháp [36] lu Tỷ lệ nhận dạng trung bình Phương pháp [36] 90.42% Ther-ResNet-50 92.44% an Phương pháp n va gh tn to Ther-Resnet-50 phương pháp [35] ie p 100 98 TỶ LỆ % an lu 90 d 92 oa 94 nl w 96 88 va u nf 86 84 ll 80 GHÊ TỞM SỢ HÃI HẠNH PHÚC z at nh GIẬN DỮ oi m 82 BÌNH BUỒN RẦU THƯỜNG NGẠC NHIÊN AXIS TITLE z gm @ Hình 4.7 So sánh phương pháp đề xuất phương pháp [36] l Như vậy, sở liệu KTFE phương pháp đề xuất chúng tơi m co có tỷ lệ nhận dạng trung bình cao so với phương pháp báo [36] an Lu n va ac th si 46 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn này, giới thiệu phương pháp ước lượng cảm xúc người dựa kết hợp hình ảnh thường hình ảnh nhiệt nhằm khắc phục ảnh hưởng ánh sáng môi trường giảm tác động đối tượng thể cảm xúc bên Ngoài sử dụng kỹ thuật học chuyển giao với mạng học trước liệu lớn áp dụng vào tốn nhằm giảm thời gian học tăng độ xác cho phân lớp Chúng đưa hàm tính tốn kết hợp ước lượng cảm xúc lu an ảnh thường ảnh nhiệt để tăng kết ước lượng n va Các thuật toán kiểm tra sở liệu KTFE Bảy cảm xúc tn to bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn rầu, ngạc nhiên bình gh thường nhận dạng với độ xác cao là: 89.58%, 92.41% 94.06% p ie tương ứng cho: Vi-Resnet-50, Ther-Resnet-50 Fu-Resnet-50 w Kết cho thấy nhiệt độ cảm xúc có mối liên quan chặt chẽ với d lu xúc người oa nl Sử dụng thơng tin nhiệt độ tăng tính xác cho nhận dạng cảm va an Bên cạnh kết đạt được, cịn có vấn đề mà thời điểm u nf luận văn chưa thực hiện: ll - Chưa kết hợp phương pháp rút trích đặc trưng truyền thống kết m oi hợp với mơ hình học sâu nhằm so sánh kết với phương pháp rút trích đặc z at nh trưng tự động mơ hình học sâu z - Chưa thực nghiệm với mơ hình mạng khác ZF Net (2013), gm @ VGG Net (2014), Densenet(2016), v.v l Trong tương lai, tiếp tục nghiên cứu thêm mối quan hệ m co biểu người cảm xúc mối quan hệ nhiệt độ cảm an Lu xúc Chúng tiếp tục cải thiện công thức kết hợp phân lớp để đóng góp kết tốt Thêm vào mở rộng kết hợp nguồn thông tin n va ac th si 47 khác cảm xúc âm thanh, text để có thêm nhiều thông tin nhận dạng cảm xúc Từ kiến thức đó, chúng tơi xây dựng ứng dụng thực tế hỗ trợ tương tác người máy tính tốt lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 48 CƠNG TRÌNH CÔNG BÔ Bài báo khoa học: N Tran, K Tran, D Nguyen, H Nguyen “A Method to Combine Thermal and Visible images for Human Emotions Detection” chấp nhận trình bày hội nghị 4th International Conference on Advanced Engineering and ICT-Convergence 2020 (ICAEIC-2020) Bài báo khoa học: N Nguyen, N Tran, H Nguyen, et al “A Spontaneous Visible and Thermal Facial Expression of Human Emotion Database” trình bày hội nghị the 2019 6th NAFOSTED Conference on Information and Computer Science (NICS) lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 49 TÀI LIỆU THAM KHẢO [1] C Bartneck.: How convincing is Mr Datas smile: Affective expressions of machines", User Modeling and User-Adapted Interaction, vol 11, pp 279-295 (2001) [2] R.A Brooks.: Flesh and Machines: How Robots will change us, Pantheon Books, New York (2002) [3] R.W Picard.: Affective Computing, MA: MIT Press (2000) [4] A Mehrabian.: Nonverbal communication, Transaction Publishers (1977) lu an [5] I Cohen, N Sebe, A Garg, L.S Chen, T.S Huang.: Facial va expression recognition from video sequences: temporal and static modeling, n tn to Journal of Computer Vision and Image Understanding, no 91, pp 160-187 ie gh (2003) p [6] Z Liu and S Wang.: Emotion recognition using Hidden Markov nl w Model from facial temperature sequence, LNCS 6975, pp.240-247 (2011) oa [7] B Martinez, M Valstar, B Jiang, and M Pantic.: Automatic d analysis of facial actions: A survey, IEEE Transactions on Affective va an lu Computing 2017 u nf [8] H Nguyen, K Kotani, F Chen, and B Le, A thermal facial emotion ll database and its analysis, in PSIVT, 2014, pp 397–408 oi m [9] C.Ciprian, O Marc, C Jeffrey, and E Sergio.: Survey on RGB, 3D, z at nh Thermal, and Multimodal Approaches for Facial Expression Recognition: z History, Trends, and Affect-related Applications, IEEE Transactions On @ gm Pattern Analysis And Machine Intelligence, 2016 m co l [10] S Evangelos, G Hatice, and C Andrea.: Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition, an Lu IEEE Transactions On Pattern Analysis And Machine Intelligence 2015 n va ac th si 50 [11] P Ekman, V Friesen, “Facial action coding system: a technique for the measurement of facial movement”, Rivista Di Psichiatria 47 (2), pp 126– 138, 1978 [12] H Choi, S.Y Oh, “Realtime Facial Expression Recognition Using Active Appearance Model and Multilayer Perceptron”, in Proceedings of the International Joint Conference SICE-ICASE, Busan, Korea, pp 5924–5927, October 2006 [13] A Asthana, J Saragih, M Wagner, R Goecke, “Evaluating AAM Fitting Methods for Facial Expression Recognition”, in Proceedings of the lu an International Conference on Affective Computing and Intelligent Interaction, n va Amsterdam, The Netherlands; pp 1–8, September 2009 tn to [14] N Sebe, M.S Lew, Y Sun, I Cohen, T Gevers, T.S Huang, gh “Authentic facial expression analysis” Image Vision Comput, pp.1856–1863, p ie 2007 w [15] Y Chang, C Hu, R Feris, M Turk, “Manifold based analysis of oa nl facial expression” Image Vision Comput, pp.605–614, 2006 d [16] S Moore, R Bowden, “Local binary patterns for multi-view facial lu va an expression recognition” Computer Vision Image Underst, pp.541–558, 2011 u nf [17] D Ghimire, J Lee, “Histogram of orientation gradient feature- ll based facial expression classification using bagging with extreme learning m oi machine” Adv Sci Lett, pp.156–161, 2012 z at nh [18] A Dhall, A Asthana, R Goecke, T Gedeon, “Emotion Recognition z Using PHOG and LPQ Features” In Proceedings of the IEEE International @ l CA, USA, pp 878–883, 2011 gm Conference on Face and Gesture Recognition and Workshop, Santa Barbara, m co [19] T Jabid, H Kabir, O Chae, “Robust facial expression recognition an Lu based on local directional pattern” ETRI J, pp.784–794, 2010 n va ac th si 51 [20] I Kotsia, I Buciu, I Pitas, “An analysis of facial expression recognition under partial facial image occlusion” Image Vision Comput, pp.1052–1067, 2008 [21] D.T Lin, “Facial expression classification using PCA and hierarchical radial basic function network” J Inf Sci Eng, pp.1033–1046, 2006 [22] Z Wang, Q Ruan, “Facial Expression Recognition Based Orthogonal Local Fisher Discriminant Analysis” In Proceedings of the International Conference on Signal Processing (ICSP), Beijing, China, pp lu an 1358–1361, 2010 n va [23] T.J Phillips, “High performance thermal imaging technology", [24] S Ioannou, V Gallese, A Merla, “Thermal infrared imaging gh tn to Advanced Semiconductor Magazine, vol 15, no 7, pp 32-36, 2002 p ie inpsychophysiology: potentialities and limits”, Psychophysiology 51 pp.951– 963, 2014 w oa nl [25] L Trujillo, G Olague, R Hammoud, B Hernandez “Automatic d feature localization in thermal images for facial expression recognition", lu va an IEEE Computer Society Conference on Computer Vision and Pattern u nf Recognition-Workshops, CVPR Workshops, p 14, 2005 ll [26] A Di Giacinto, M Brunetti, G Sepede, A Ferretti, A Merla, m oi “Thermal signature of fear conditioning in mild post traumatic stress z at nh disorder”, Neuroscience 266, pp.216–223, 2014 z [27] B Hern´andez, G Olague, R Hammoud, L Trujillo, E Romero gm @ “Visual learning of texture descriptors for facial expression recognition in m co 2007 l thermal imagery", Computer Vision and Image Understanding, vol 106, an Lu [28] Z Liu and S Wang “Emotion recognition using Hidden Markov Model from facial temperature sequence", LNCS 6975, pp.240-247, 2011 n va ac th si 52 [29] H Nguyen, K Kotani, F Chen, B Le, “Fusion of Visible Images and Thermal Image Sequences for Automated Facial Emotion Estimation”, Journal of Mobile Multimedia, Vol 10, No 3&4, pp.294-308, 2014 [30] B.R Nhan and T Chau.: “Classifying affective states using thermal infrared imaging of the human face", IEEE Transactions on Biomedical Engineering, vol 57, pp 979987, 2010 [31] H Shan, S Wang, W Lan, H Fu, Q Ji, “Facial Expression Recognition using Deep Boltzmann Machine from Thermal Infrared Images”, Humaine Association Conference on Affective Computing and Intelligent lu an Interaction, pp.239-244, 2013 n va [32] A Basu, A Routray, S Shit, A Deb, “Human Emotion tn to Recognition from Facial Thermal Image based on Fused Statistical Feature gh and Multi-Class SVM”, IEEE INDICON, pp.1-5, 2015 p ie [33] S Wang, S He, Y Wu, M He, and Q Ji, “Fusion of visible and w thermal images for facial expression recognition,” Front Comput Sci., vol 8, oa nl no 2, pp 232–242, 2014 d [34] A Basu, A Dasgupta, A Thyagharajan, A Routray, R Guha, and lu va an P Mitra, “A portable personality recognizer based on affective state ll 2018 u nf classification using spectral fusion of features,” IEEE Trans.Affect Comput, m oi [35] S Wang, B Pan, H Chen and Q Ji, "Thermal Augmented z at nh Expression Recognition", in IEEE Transactions on Cybernetics, vol 48, no 7, z pp 2203-2214, July 2018 gm @ [36] T Nguyen, K Tran, H Nguyen, “Towards Thermal Region of l Interest for Human Emotion Estimation”, 10th International Conference on m co Knowledge and Systems Engineering, KSE 2018, pp.1-6, 2018 an Lu [37] Lucey P, Cohn JF, Kanade T, Saragih J, Ambadar Z, Matthews I, “The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action n va ac th si 53 unit and emotion-specified expression”, In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp 94-101, 2010 [38] I Goodfellow, D Erhan, PL Carrier, A Courville, M Mirza, B Hamner, W Cukierski, Y Tang, DH Lee, Y Zhou, C Ramaiah, F Feng, R Li, X Wang, D Athanasakis, J Shawe-Taylor, M Milakov, J Park, R Ionescu, M Popescu, C Grozea, J Bergstra, J Xie, L Romaszko, B Xu, Z Chuang, and Y Bengio, "Challenges in Representation Learning: A report on three machine learning contests." arXiv 2013 lu an [39] Ebner NC, Riediger M, Lindenberger U, “Faces-A database of n va facial expressions in young, middle-aged, and older women and men: tn to Development and validation”, in Behavior Research Methods, vol 42, no 1, gh pp 351-362, 2010 p ie [40] S Mohammad Mavadati, Mohammad H Mahoor, Kevin Bartlett, w Philip Trinh, effrey F Cohn, “DISFA: A spontaneous facial action intensity oa nl database”, Article (PDF Available) in IEEE Transactions on Affective d Computing, vol 4, no 2, 151-160, April 2013 lu va an [41] Dhall A, Goecke R, Lucey S, Gedeon T, “Acted facial expressions ll Report TR-CS-11, 2, 2011 u nf in the wild database”, Australian National University, Canberra.,Technical m oi [42] Rosas VP, Mihalcea R, Morency L-P, “Multimodal sentiment z at nh analysis of Spanish online videos”, IEEE Intelligent Systems, vol 28, no 3, z pp 38-45, 2013 @ gm [43] S Wang, Z Liu, S Lv, Y Lv, G Wu, P Peng, F Chen, X Wang, l “A Natural Visible and Infrared Facial Expression Database for Expression [44] http://vcipl-okstate.org/pbvs/bench/ an Lu 12, no 7, pp 682-691, 2010 m co Recognition and Emotion Inference”, IEEE Transactions on Multimedia, vol n va ac th si 54 [45] http://www.equinoxsensors.com/ [46] https://en.wikipedia.org/wiki/Thermal_radiation/ [47] https://www.freecodecamp.org/news/an-intuitive-guide-toconvolutional-neural-networks-260c2de0a050/ [48] Website CS231n Convolutional Neural Networks for Visual Recognition at http://cs231n.github.io/convolutional-networks/ [49] https://livebook-qa.manning.com/book/grokking-deep-learning-forcomputer-vision/chapter-3/v-1/97 [50] He, K., Zhang, X., Ren, S., Sun, J “Deep residual learning for lu an image recognition” In: CVPR 2016 n va [51] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Fei-Fei tn to L “ImageNet Large Scale Visual Recognition Challenge” International p ie gh Journal of Computer Vision, vol 115, no 3, pp 211–252, 2015 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si