Xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã XÂY DỰNG MƠ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã XÂY DỰNG MƠ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI Chuyên ngành: Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VIẾT HƯNG Thành phố Hồ Chí Minh - 2019 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Xây dựng mơ hình kết hợp ảnh thường ảnh nhiệt để ước lượng cảm xúc người” tơi tìm hiểu, nghiên cứu thực hướng dẫn Tiến sĩ Nguyễn Viết Hưng Luận văn khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà khơng ghi rõ nguồn tài liệu tham khảo Tôi xin chịu trách nhiệm kết thực lời cam đoan Thành phố Hồ Chí Minh, ngày 27 tháng 12 năm 2019 LỜI CẢM ƠN Trước hết xin chân thành gởi lời cảm ơn sâu sắc đến Thầy tôi, Tiến sĩ Nguyễn Viết Hưng, người định hướng, bảo, giúp đỡ tận tình trình học tập, nghiên cứu hoàn thiện luận văn Tơi xin bày tỏ lịng biết ơn đến q Thầy, cô giáo trực tiếp tham gia giảng dạy truyền đạt kiến thức quý báu cho suốt trình học cao học Trường Đại học Sư phạm Thành phố Hồ Chí Minh Đồng thời, tơi xin cảm ơn tới quý Thầy cô Khoa Công nghệ thơng tin, Phịng Sau đại học Trường Đại học Sư phạm Thành phố Hồ Chí Minh tận tình dạy dỗ hướng dẫn cho suốt trình học tập Trường Cuối cùng, tơi muốn gửi lời cảm ơn đến gia đình bạn bè Những người bên cạnh, động viên ủng hộ tơi để tơi có đủ niềm tin, động lực để hồn thành khóa học luận văn Tp Hồ Chí Minh, ngày 27 tháng 12 năm 2019 MỤC LỤC Trang Lời cam đoan Lời cảm ơn Mục lục Danh mục ký hiệu chữ viết tắt Danh mục bảng biểu Danh mục hình vẽ MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu Đóng góp luận văn Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn Cấu trúc luận văn Chương TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.1 Các cơng trình nghiên cứu liên quan 1.2 Một số thách thức lĩnh vực nghiên cứu nhận dạng cảm xúc người 10 1.3 Sơ lược sở liệu cảm xúc 11 Chương CƠ SỞ LÝ THUYẾT 15 2.1 Bài toán phát cảm xúc khuôn mặt 15 2.2 Kiến trúc Mạng nơ-ron tích chập (Convolutional neural network) 17 2.2.1 Lớp Convolution 17 2.2.2 Lớp pooling 18 2.2.3 Lớp Fully Connected 19 2.3 Học chuyển giao 20 2.4 Mạng huấn luyện Resnet (Residual Network) 21 2.5 Độ đo đánh giá mơ hình phân lớp 25 Chương ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH THƯỜNG VÀ ẢNH NHIỆT 27 3.1 Cơ sở liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE) 27 3.2 Mơ hình ước lượng cảm xúc ảnh thường ảnh nhiệt 32 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 37 4.1 Môi trường thực nghiệm 37 4.2 Dữ liệu đầu vào 37 4.3 Phân tích đánh giá 38 4.3.1 Kết thực nghiệm 38 4.3.2 So sánh kết thực nghiệm với kết phương pháp [32] 43 4.3.3 So sánh kết thực nghiệm với kết phương pháp [36] 44 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 CƠNG TRÌNH CƠNG BỐ 48 TÀI LIỆU THAM KHẢO 49 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ viết tắt Nguyên mẫu AAM Active Appearance Model AU Action Units CNN Diễn giải Mơ hình xuất tích cực Đơn vị hành động, xác định độ co mặt Convolutional Neural Mơ hình mạng nơ-ron Networks tích chập Mơ hình máy Boltzman DBM Deep Boltzmann Machine ECG Electrocardiogram Tín hiệu điện tâm đồ EEG Electroencephalogram Tín hiệu điện não đồ EMC FACS FTFP HMM HOG KTFE Eigenspace Method based on Class features học sâu Phương pháp không gian riêng dựa đặc trưng lớp Facial Action Coding Hệ thống mã hóa hành System động mặt Facial Thermal Feature Cơ sở điểm đặc Points trưng nhiệt mặt Hidden Markov Models Mơ hình Markov ẩn Histogram of Oriented Biểu đồ Gradients gradient định hướng Kotani Thermal Facial Emotion LBP Local Binary Pattern LDA Linear Discriminant Cơ sở liệu ảnh nhiệt Mơ hình nhị phân cục Phương pháp phân tích Analysis LDP NVIE PCA PTSD Local Directional Pattern Natural Visible and Infrared facial Expression phân biệt tuyến tính Mơ hình định hướng cục Cơ sở liệu ảnh nhiệt Principal Component Phương pháp phân tích Analysis thành phần Posttraumatic Stress Disorder ROI Region of Interest SVM Support Vector Machines Chấn thương tâm lý Khu vực quan tâm Phương pháp Máy vector hỗ trợ DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Một số sở liệu ảnh nhiệt [8] 13 Bảng 2.1 Bảng chi tiết kiến trúc mạng Resnet 18, 50,101 153 lớp [50] 24 Bảng 2.2 Định nghĩa giá trị cho việc đánh giá thực thi mơ hình 25 Bảng 4.1 Số lượng liệu cụ thể chia 80% trình huấn luyện (train val) 20% cho kiểm tra (test set) 37 Bảng 4.2 Kết thí nghiệm mơ hình Từ trái sang phải: giận (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) ngạc nhiên (Su) 38 Bảng 4.4 So sánh phân tích với phương pháp [32] cảm xúc 44 Bảng 4.3 So sánh phân tích với phương pháp [36] 45 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Ví dụ đặc trưng hình học mặt gồm lơng mày, mắt, mũi, miệng [17] Hình 1.2 Trích xuất ROI phương thức [32] Hình 1.3 Thuật toán xác định cảm xúc [33] Hình 1.4 Cơ sở liệu FACES [39] thể loại cảm xúc: bình thường, giận dữ, hạnh phúc, buồn rầu, sợ hãi ghê tởm 12 Hình 1.5 Các dải hồng ngoại phổ điện từ [46] 14 Hình 2.1 Mơ hình phát cảm xúc sử dụng phương pháp học máy truyền thống 15 Hình 2.2 Kiến trúc mạng tích chập 17 Hình 2.3 Minh họa phép tích chập [47] 18 Hình 2.4 Minh họa phương thức maxpooling average pooling [48] 19 Hình 2.5 Minh họa kết nối đầy đủ phân lớp [49] 20 Hình 2.6 Hình so sánh độ lỗi mơ hình trước sau thêm lớp mạng [50] 22 Hình 2.7 ResNets block 23 Hình 2.8 So sánh mạng truyền thống với Resnet (18/34 lớp) [50] 24 Hình 3.1 Mẫu ảnh nhiệt ảnh nhìn thấy bảy cảm xúc [8] 28 Hình 3.2 Thư mục lưu trữ liệu thô KTFE chứa video ảnh thường 29 Hình 3.3 Tập tin liệu thô hiển thị giao diện phần mềm NS9500-PRO (Video chứa frame ảnh nhiệt) 30 Hình 3.4 Frame ảnh thường ảnh nhiệt đối tượng sau xóa vùng dư thừa ảnh nhiệt (bên trái) 31 Hình 3.5 Freeze layer pre-trained model, train FC layer thêm vào 33 Hình 3.6 Unfreeze layer pre-trained model, train layer ConvNet pre-trained model fully connected layer 34 40 số người thường không biểu cảm xúc thật Mặc dù kết nhận dạng chưa cao phù hợp với phân tích ban đầu chúng tơi Do vậy, tiếp tục tiến hành thực nghiệm với ảnh nhiệt Hình 4.2 Kết nhận dạng ảnh thường Vi-Resnet-50 Hình 4.3 trình bày kết mơ hình Ther-Resnet-50 chạy liệu ảnh nhiệt thu tỷ lệ phân lớp xác 92.41%, tăng 2.83% so với ảnh thường hầu hết lớp cảm xúc tăng, có hai cảm xúc giảm tỷ lệ giảm thấp Kết nhận dạng cảm xúc cho thấy hạnh phúc đạt 93.93%, cao 1.68% so với Vi-Resnet-50, ghê tởm 94.77%, Vi-Resnet-50 đạt 88.41%, tăng 6.36%, ngạc nhiên đạt 93.27%, tăng 4.81% tự nhiên đạt 90.38%, tăng 3.5% so với Vi-Resnet-50 Bên cạnh cảm xúc sợ hãi đạt 90.57%, giảm 0.23% buồn rầu đạt 92.71%, giảm 0.42% so với Vi-Resnet-50 Từ cho thấy, nhiệt độ cảm xúc người có mối quan hệ mật thiết với Chúng tin liệu nhiệt thông tin 41 bổ sung quan trọng để hỗ trợ nhận dạng cảm xúc người xác Do vậy, tiếp tục thực nghiệm với phương pháp đề xuất kết hợp ảnh thường ảnh nhiệt Hình 4.3 Kết nhận dạng ảnh nhiệt Ther-Resnet-50 Hình 4.4 thể kết mơ hình kết hợp ảnh thường ảnh nhiệt Fu-Resnet-50 Kết cho thấy tỷ lệ phân lớp xác 94.06% Hầu hết cảm xúc đạt tỷ lệ cao so với mơ hình phân lớp ảnh thường ảnh nhiệt Trong đó, hạnh phúc đạt 95.17%, buồn rầu đạt 94.79 %, ngạc nhiên đạt 94,42%, sợ hãi đạt 94.09%, giận đạt 93.57%, ghê tởm đạt 92.73% 42 Hình 4.4 Kết ước lượng cảm xúc kết hợp ảnh thường ảnh nhiệt Fu-Resnet-50 43 Hình 4.5 So sánh Vi-Resnet-50, Ther- Resnet-50 Fu-Resnet-50 Như vậy, từ kết thu bảng 4.2 biểu đồ so sánh hình 4.5, cho thấy kết nhận dạng phương pháp kết hợp đề xuất cao so với nhận dạng ảnh thường ảnh nhiệt Điều chứng tỏ vai trị phân lớp kết hợp giúp cho trình nhận dạng đạt kết tốt 4.3.2 So sánh kết thực nghiệm với kết phương pháp [32] Để phân tích, đánh giá kết phương pháp đề xuất với kết tác giả báo [32] sử dụng sở liệu KTFE, so sánh kết cảm xúc tương ứng là: giận dữ, sợ hãi, hạnh phúc, bình thường buồn rầu 44 Bảng 4.3 So sánh phân tích với phương pháp [32] cảm xúc Phương pháp Tỷ lệ nhận dạng trung bình Phương pháp [32] 87.50% Ther-ResNet-50 91.77% Ther-Resnet-50 Phương pháp 32 96.00 94.00 92.00 TỶ LỆ % 90.00 88.00 86.00 84.00 82.00 80.00 ANGER FEAR HAPPINESS NEUTRAL SADNESS Hình 4.6 So sánh phương pháp đề xuất phương pháp [32] Bảng 4.3 hình 4.6 cho thấy tỷ lệ nhận dạng trung bình đạt phương pháp đề xuất tốt so với phương pháp [32] để ước lượng cảm xúc sở liệu 4.3.3 So sánh kết thực nghiệm với kết phương pháp [36] Phương pháp đề xuất ảnh nhiệt so sánh với kết thu sở liệu KTFE Với phương pháp [36], tác giả đề xuất trích xuất vùng quan tâm - ROI sử dụng phương pháp PCA EMC Các ROI tìm thấy cung cấp thơng tin hữu ích thực cảm xúc thay 45 đổi Nó xác định khu vực nơi nhiệt độ tăng giảm đáng kể cảm xúc thay đổi tập trung trán, xung quan mắt, gò má hàm Bảng 4.4 hình 4.7 cho thấy hiệu suất đạt phương pháp đề xuất tốt so với phương pháp khác Bởi chúng tơi sử dụng mơ hình mạng học sâu áp dụng kỹ thuật học chuyển giao để trích xuất đặc trưng tự động nên thu nhiều thơng tin hữu ích Bảng 4.4 So sánh phân tích với phương pháp [36] Phương pháp Tỷ lệ nhận dạng trung bình Phương pháp [36] 90.42% Ther-ResNet-50 92.44% Ther-Resnet-50 phương pháp [35] 100 98 96 TỶ LỆ % 94 92 90 88 86 84 82 80 GIẬN DỮ GHÊ TỞM SỢ HÃI HẠNH PHÚC BÌNH BUỒN RẦU THƯỜNG NGẠC NHIÊN AXIS TITLE Hình 4.7 So sánh phương pháp đề xuất phương pháp [36] Như vậy, sở liệu KTFE phương pháp đề xuất chúng tơi có tỷ lệ nhận dạng trung bình cao so với phương pháp báo [36] 46 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn này, giới thiệu phương pháp ước lượng cảm xúc người dựa kết hợp hình ảnh thường hình ảnh nhiệt nhằm khắc phục ảnh hưởng ánh sáng môi trường giảm tác động đối tượng thể cảm xúc bên ngồi Ngồi chúng tơi sử dụng kỹ thuật học chuyển giao với mạng học trước liệu lớn áp dụng vào tốn nhằm giảm thời gian học tăng độ xác cho phân lớp Chúng tơi đưa hàm tính toán kết hợp ước lượng cảm xúc ảnh thường ảnh nhiệt để tăng kết ước lượng Các thuật toán kiểm tra sở liệu KTFE Bảy cảm xúc bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn rầu, ngạc nhiên bình thường nhận dạng với độ xác cao là: 89.58%, 92.41% 94.06% tương ứng cho: Vi-Resnet-50, Ther-Resnet-50 Fu-Resnet-50 Kết cho thấy nhiệt độ cảm xúc có mối liên quan chặt chẽ với Sử dụng thơng tin nhiệt độ tăng tính xác cho nhận dạng cảm xúc người Bên cạnh kết đạt được, cịn có vấn đề mà thời điểm luận văn chưa thực hiện: - Chưa kết hợp phương pháp rút trích đặc trưng truyền thống kết hợp với mơ hình học sâu nhằm so sánh kết với phương pháp rút trích đặc trưng tự động mơ hình học sâu - Chưa thực nghiệm với mơ hình mạng khác ZF Net (2013), VGG Net (2014), Densenet(2016), v.v Trong tương lai, tiếp tục nghiên cứu thêm mối quan hệ biểu người cảm xúc mối quan hệ nhiệt độ cảm xúc Chúng tiếp tục cải thiện cơng thức kết hợp phân lớp để đóng góp kết tốt Thêm vào mở rộng kết hợp nguồn thông tin 47 khác cảm xúc âm thanh, text để có thêm nhiều thông tin nhận dạng cảm xúc Từ kiến thức đó, chúng tơi xây dựng ứng dụng thực tế hỗ trợ tương tác người máy tính tốt 48 CƠNG TRÌNH CƠNG BƠ Bài báo khoa học: N Tran, K Tran, D Nguyen, H Nguyen “A Method to Combine Thermal and Visible images for Human Emotions Detection” chấp nhận trình bày hội nghị 4th International Conference on Advanced Engineering and ICT-Convergence 2020 (ICAEIC-2020) Bài báo khoa học: N Nguyen, N Tran, H Nguyen, et al “A Spontaneous Visible and Thermal Facial Expression of Human Emotion Database” trình bày hội nghị the 2019 6th NAFOSTED Conference on Information and Computer Science (NICS) 49 TÀI LIỆU THAM KHẢO [1] C Bartneck.: How convincing is Mr Datas smile: Affective expressions of machines", User Modeling and User-Adapted Interaction, vol 11, pp 279-295 (2001) [2] R.A Brooks.: Flesh and Machines: How Robots will change us, Pantheon Books, New York (2002) [3] R.W Picard.: Affective Computing, MA: MIT Press (2000) [4] A Mehrabian.: Nonverbal communication, Transaction Publishers (1977) [5] I Cohen, N Sebe, A Garg, L.S Chen, T.S Huang.: Facial expression recognition from video sequences: temporal and static modeling, Journal of Computer Vision and Image Understanding, no 91, pp 160-187 (2003) [6] Z Liu and S Wang.: Emotion recognition using Hidden Markov Model from facial temperature sequence, LNCS 6975, pp.240-247 (2011) [7] B Martinez, M Valstar, B Jiang, and M Pantic.: Automatic analysis of facial actions: A survey, IEEE Transactions on Affective Computing 2017 [8] H Nguyen, K Kotani, F Chen, and B Le, A thermal facial emotion database and its analysis, in PSIVT, 2014, pp 397–408 [9] C.Ciprian, O Marc, C Jeffrey, and E Sergio.: Survey on RGB, 3D, Thermal, and Multimodal Approaches for Facial Expression Recognition: History, Trends, and Affect-related Applications, IEEE Transactions On Pattern Analysis And Machine Intelligence, 2016 [10] S Evangelos, G Hatice, and C Andrea.: Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition, IEEE Transactions On Pattern Analysis And Machine Intelligence 2015 50 [11] P Ekman, V Friesen, “Facial action coding system: a technique for the measurement of facial movement”, Rivista Di Psichiatria 47 (2), pp 126– 138, 1978 [12] H Choi, S.Y Oh, “Realtime Facial Expression Recognition Using Active Appearance Model and Multilayer Perceptron”, in Proceedings of the International Joint Conference SICE-ICASE, Busan, Korea, pp 5924–5927, October 2006 [13] A Asthana, J Saragih, M Wagner, R Goecke, “Evaluating AAM Fitting Methods for Facial Expression Recognition”, in Proceedings of the International Conference on Affective Computing and Intelligent Interaction, Amsterdam, The Netherlands; pp 1–8, September 2009 [14] N Sebe, M.S Lew, Y Sun, I Cohen, T Gevers, T.S Huang, “Authentic facial expression analysis” Image Vision Comput, pp.1856–1863, 2007 [15] Y Chang, C Hu, R Feris, M Turk, “Manifold based analysis of facial expression” Image Vision Comput, pp.605–614, 2006 [16] S Moore, R Bowden, “Local binary patterns for multi-view facial expression recognition” Computer Vision Image Underst, pp.541–558, 2011 [17] D Ghimire, J Lee, “Histogram of orientation gradient featurebased facial expression classification using bagging with extreme learning machine” Adv Sci Lett, pp.156–161, 2012 [18] A Dhall, A Asthana, R Goecke, T Gedeon, “Emotion Recognition Using PHOG and LPQ Features” In Proceedings of the IEEE International Conference on Face and Gesture Recognition and Workshop, Santa Barbara, CA, USA, pp 878–883, 2011 [19] T Jabid, H Kabir, O Chae, “Robust facial expression recognition based on local directional pattern” ETRI J, pp.784–794, 2010 51 [20] I Kotsia, I Buciu, I Pitas, “An analysis of facial expression recognition under partial facial image occlusion” Image Vision Comput, pp.1052–1067, 2008 [21] D.T Lin, “Facial expression classification using PCA and hierarchical radial basic function network” J Inf Sci Eng, pp.1033–1046, 2006 [22] Z Wang, Q Ruan, “Facial Expression Recognition Based Orthogonal Local Fisher Discriminant Analysis” In Proceedings of the International Conference on Signal Processing (ICSP), Beijing, China, pp 1358–1361, 2010 [23] T.J Phillips, “High performance thermal imaging technology", Advanced Semiconductor Magazine, vol 15, no 7, pp 32-36, 2002 [24] S Ioannou, V Gallese, A Merla, “Thermal infrared imaging inpsychophysiology: potentialities and limits”, Psychophysiology 51 pp.951– 963, 2014 [25] L Trujillo, G Olague, R Hammoud, B Hernandez “Automatic feature localization in thermal images for facial expression recognition", IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, CVPR Workshops, p 14, 2005 [26] A Di Giacinto, M Brunetti, G Sepede, A Ferretti, A Merla, “Thermal signature of fear conditioning in mild post traumatic stress disorder”, Neuroscience 266, pp.216–223, 2014 [27] B Hern´andez, G Olague, R Hammoud, L Trujillo, E Romero “Visual learning of texture descriptors for facial expression recognition in thermal imagery", Computer Vision and Image Understanding, vol 106, 2007 [28] Z Liu and S Wang “Emotion recognition using Hidden Markov Model from facial temperature sequence", LNCS 6975, pp.240-247, 2011 52 [29] H Nguyen, K Kotani, F Chen, B Le, “Fusion of Visible Images and Thermal Image Sequences for Automated Facial Emotion Estimation”, Journal of Mobile Multimedia, Vol 10, No 3&4, pp.294-308, 2014 [30] B.R Nhan and T Chau.: “Classifying affective states using thermal infrared imaging of the human face", IEEE Transactions on Biomedical Engineering, vol 57, pp 979987, 2010 [31] H Shan, S Wang, W Lan, H Fu, Q Ji, “Facial Expression Recognition using Deep Boltzmann Machine from Thermal Infrared Images”, Humaine Association Conference on Affective Computing and Intelligent Interaction, pp.239-244, 2013 [32] A Basu, A Routray, S Shit, A Deb, “Human Emotion Recognition from Facial Thermal Image based on Fused Statistical Feature and Multi-Class SVM”, IEEE INDICON, pp.1-5, 2015 [33] S Wang, S He, Y Wu, M He, and Q Ji, “Fusion of visible and thermal images for facial expression recognition,” Front Comput Sci., vol 8, no 2, pp 232–242, 2014 [34] A Basu, A Dasgupta, A Thyagharajan, A Routray, R Guha, and P Mitra, “A portable personality recognizer based on affective state classification using spectral fusion of features,” IEEE Trans.Affect Comput, 2018 [35] S Wang, B Pan, H Chen and Q Ji, "Thermal Augmented Expression Recognition", in IEEE Transactions on Cybernetics, vol 48, no 7, pp 2203-2214, July 2018 [36] T Nguyen, K Tran, H Nguyen, “Towards Thermal Region of Interest for Human Emotion Estimation”, 10th International Conference on Knowledge and Systems Engineering, KSE 2018, pp.1-6, 2018 [37] Lucey P, Cohn JF, Kanade T, Saragih J, Ambadar Z, Matthews I, “The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action 53 unit and emotion-specified expression”, In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp 94-101, 2010 [38] I Goodfellow, D Erhan, PL Carrier, A Courville, M Mirza, B Hamner, W Cukierski, Y Tang, DH Lee, Y Zhou, C Ramaiah, F Feng, R Li, X Wang, D Athanasakis, J Shawe-Taylor, M Milakov, J Park, R Ionescu, M Popescu, C Grozea, J Bergstra, J Xie, L Romaszko, B Xu, Z Chuang, and Y Bengio, "Challenges in Representation Learning: A report on three machine learning contests." arXiv 2013 [39] Ebner NC, Riediger M, Lindenberger U, “Faces-A database of facial expressions in young, middle-aged, and older women and men: Development and validation”, in Behavior Research Methods, vol 42, no 1, pp 351-362, 2010 [40] S Mohammad Mavadati, Mohammad H Mahoor, Kevin Bartlett, Philip Trinh, effrey F Cohn, “DISFA: A spontaneous facial action intensity database”, Article (PDF Available) in IEEE Transactions on Affective Computing, vol 4, no 2, 151-160, April 2013 [41] Dhall A, Goecke R, Lucey S, Gedeon T, “Acted facial expressions in the wild database”, Australian National University, Canberra.,Technical Report TR-CS-11, 2, 2011 [42] Rosas VP, Mihalcea R, Morency L-P, “Multimodal sentiment analysis of Spanish online videos”, IEEE Intelligent Systems, vol 28, no 3, pp 38-45, 2013 [43] S Wang, Z Liu, S Lv, Y Lv, G Wu, P Peng, F Chen, X Wang, “A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference”, IEEE Transactions on Multimedia, vol 12, no 7, pp 682-691, 2010 [44] http://vcipl-okstate.org/pbvs/bench/ 54 [45] http://www.equinoxsensors.com/ [46] https://en.wikipedia.org/wiki/Thermal_radiation/ [47] https://www.freecodecamp.org/news/an-intuitive-guide-toconvolutional-neural-networks-260c2de0a050/ [48] Website CS231n Convolutional Neural Networks for Visual Recognition at http://cs231n.github.io/convolutional-networks/ [49] https://livebook-qa.manning.com/book/grokking-deep-learning-forcomputer-vision/chapter-3/v-1/97 [50] He, K., Zhang, X., Ren, S., Sun, J “Deep residual learning for image recognition” In: CVPR 2016 [51] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Fei-Fei L “ImageNet Large Scale Visual Recognition Challenge” International Journal of Computer Vision, vol 115, no 3, pp 211–252, 2015 ... Chương ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH THƯỜNG VÀ ẢNH NHIỆT Mơ hình kết hợp ước lượng cảm xúc luận văn tốn kết hợp mơ hình phân lớp riêng lẻ với sở liệu đầu vào ảnh thường ảnh nhiệt trích... đoán cảm xúc người ảnh thường ảnh nhiệt - Nghiên cứu sở lý thuyết đề tài - Nghiên cứu mơ hình học sâu để trích xuất đặc trưng ảnh thường ảnh nhiệt - Xây dựng đa mơ hình ước lượng cảm xúc người. .. đốn mơ hình 39 Hình 4.2 Kết nhận dạng ảnh thường Vi-Resnet-50 40 Hình 4.3 Kết nhận dạng ảnh nhiệt Ther-Resnet-50 41 Hình 4.4 Kết ước lượng cảm xúc kết hợp ảnh thường ảnh nhiệt