Nhận dạng cảm xúc của người dựa trên ảnh nhiệt

LỜI CAM ĐOAN Tôi tên Nguyễn Thị Anh Thư, học viên cao học khóa 27, chuyên ngành khoa học máy tính, trường đại học Sư phạm Thành phố Hồ Chí Minh Mã số học viên KHMT-16-012 Tơi xin cam đoan luận văn “Nhận dạng cảm xúc người dựa ảnh nhiệt” tơi tìm hiểu, nghiên cứu thực hướng dẫn TS Nguyễn Viết Hưng Luận văn khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà khơng ghi rõ nguồn tài liệu tham khảo Tôi xin chịu trách nhiệm kết thực lời cam đoan Tp Hồ Chí Minh, ngày 25 tháng 09 năm 2018 LỜI CẢM ƠN Đầu tiên, xin kính gởi lời cảm ơn đến quý Thầy trực tiếp giảng dạy truyền đạt kiến thức cho suốt khóa học cao học chuyên ngành khoa học máy tính vừa qua trường Đại học Sư phạm Thành phố Hồ Chí Minh Đặc biệt, tơi xin chân thành gởi lời cảm ơn sâu sắc đến Thầy tôi, TS Nguyễn Viết Hưng, người định hướng, giúp đỡ, trực tiếp hướng dẫn tận tình bảo tơi suốt q trình tìm hiểu, tiếp cận, nghiên cứu, xây dựng hồn thiện luận văn Tơi xin cảm ơn hỗ trợ đến từ Phịng Sau Đại học, Khoa Cơng nghệ thơng tin trường Đại học Sư phạm Thành phố Hồ Chí Minh anh chị học viên khóa thời gian học tập trường Cuối cùng, muốn gởi đến ba mẹ tơi gia đình nhỏ tơi lịng biết ơn tình cảm u thương Nếu khơng có chia sẻ, đồng cảm ủng hộ từ gia đình tơi khơng thể có đủ niềm tin, động lực để hồn thành khóa học luận văn Tp Hồ Chí Minh, ngày 25 tháng 09 năm 2018 MỤC LỤC Trang Lời cam đoan Lời cảm ơn Mục lục Danh mục ký hiệu chữ viết tắt Danh mục bảng biểu Danh mục hình vẽ, biểu đồ MỞ ĐẦU Chương CƠ SỞ LÝ THUYẾT VÀ NGHIÊN CỨU LIÊN QUAN 1.1 Tổng quan tình hình nghiên cứu 1.1.1 Các cơng trình nghiên cứu liên quan 1.1.2 Một số thách thức lĩnh vực nghiên cứu nhận dạng cảm xúc người 10 1.2 Thông tin ảnh nhiệt 10 1.2.1 Giới thiệu ảnh nhiệt 10 1.2.2 Ưu điểm 12 1.2.3 Hạn chế 13 1.3 Một số phương pháp rút trích đặc trưng sử dụng nhận dạng cảm xúc 13 1.3.1 Active Appearance Model (AAM) 13 1.3.2 Local Binary Pattern (LBP) 15 1.4 Một số phương pháp sử dụng phân loại cảm xúc 17 1.4.1 Linear Discriminant Analysis (LDA) 17 1.4.2 Support Vector Machines (SVM) 18 1.4.3 Principal Component Analysis (PCA) 20 1.4.4 Eigenspace Method based on Class features (EMC) 22 Chương NHẬN DẠNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH NHIỆT 25 2.1 Cơ sở liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE) 25 2.2 Phương pháp nhận dạng 26 2.2.1 Tìm vùng nhiệt quan tâm (ROI) 26 2.2.2 Nhận dạng cảm xúc 28 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 31 3.1 Môi trường thực nghiệm 31 3.2 Dữ liệu đầu vào 31 3.3 Phân tích đánh giá 31 3.3.1 Kết thực nghiệm 32 3.3.2 So sánh kết thực nghiệm với kết phương pháp [35] 36 3.3.3 So sánh kết thực nghiệm với kết phương pháp [38] 38 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 41 CƠNG TRÌNH CƠNG BỐ 42 TÀI LIỆU THAM KHẢO 43 PHỤ LỤC 49 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ viết tắt AAM AU Nguyên mẫu Active Appearance Model Action Units Diễn giải Mơ hình xuất tích cực Đơn vị hành động, xác định độ co mặt Convolutional Neural Mơ hình mạng nơ-ron tích Networks chập Deep Boltzmann Mơ hình máy Boltzman Machine học sâu ECG Electrocardiogram Tín hiệu điện tâm đồ EEG Electroencephalogram Tín hiệu điện não đồ CNN DBM EMC FACS FTFP HMM HOG KTFE LBP LDA Eigenspace Method based on Class features Phương pháp không gian riêng dựa đặc trưng lớp Facial Action Coding Hệ thống mã hóa hành System động mặt Facial Thermal Feature Cơ sở điểm đặc trưng Points nhiệt mặt Hidden Markov Models Mơ hình Markov ẩn Histogram of Oriented Biểu đồ gradient Gradients định hướng Kotani Thermal Facial Emotion Cơ sở liệu ảnh nhiệt Local Binary Pattern Mơ hình nhị phân cục Linear Discriminant Phương pháp phân tích Analysis phân biệt tuyến tính LDP n-EMC Local Directional Mơ hình định hướng cục Pattern Norm-Eigenspace Phương pháp không gian method based on class riêng chuẩn dựa đặc Feature trưng lớp Natural Visible and NVIE Infrared facial Cơ sở liệu ảnh nhiệt Expression PCA PTSD ROI SVM t-PCA t-ROI Principal Component Phương pháp phân tích Analysis thành phần Posttraumatic Stress Disorder Chấn thương tâm lý Region of Interest Khu vực quan tâm Support Vector Phương pháp Máy vector Machines hỗ trợ thermal-Principal Phương pháp phân tích Component Analysis thành phần nhiệt Thermal Region of Các khu vực nhiệt quan Interest tâm DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Một số sở liệu ảnh nhiệt [42] 12 Bảng 3.1 Ma trận kết với PCA Từ trái sang phải (trên xuống dưới): giận (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) ngạc nhiên (Su) 33 Bảng 3.2 Ma trận kết với EMC Từ trái sang phải (trên xuống dưới): giận (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) ngạc nhiên (Su) 33 Bảng 3.3 Ma trận kết với PCA-EMC Từ trái sang phải (trên xuống dưới): giận (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) ngạc nhiên (Su) 34 Bảng 3.4 So sánh phân tích với phương pháp [35] 37 Bảng 3.5 Ma trận kết với PCA Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) 39 Bảng 3.6 Ma trận kết với EMC Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) 39 Bảng 3.7 Ma trận kết với PCA-EMC Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) 40 Bảng 3.8 So sánh phân tích với phương pháp [38] 40 DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ Hình 1.1 Ví dụ đặc trưng hình học mặt gồm lông mày, mắt, mũi, miệng [17] Hình 1.2 Sơ đồ quy trình thực phương pháp [35] Hình 1.3 Trích xuất ROI phương pháp [38] Hình 1.4 Ví dụ AAM [47] 14 Hình 1.5 Ví dụ LBP Lấy giá trị điểm trung tâm làm ngưỡng xác định giá trị điểm xung quanh chuyển 0,1 Từ giá trị nhị phân nhận tính tốn giá trị thập phân tương ứng [22] 16 Hình 1.6 Các vector đặc trưng LBP trích xuất từ vùng khác hình ảnh khn mặt [22] 16 Hình 1.7 Siêu phẳng tách với khoảng cách lề cực đại [44] 19 Hình 1.8 Ví dụ PCA [45] 21 Hình 1.9 Ví dụ EMC [46] 23 Hình 2.1 Mẫu ảnh nhiệt ảnh nhìn thấy bảy cảm xúc[42] 25 Hình 2.2 Ví dụ ROI [51] 26 Hình 2.3 Nhận dạng cảm xúc với ROI PCA 28 Hình 2.4 Nhận dạng cảm xúc với ROI EMC 30 Hình 3.1 Ví dụ hình ảnh nhiệt bảy cảm xúc (bình thường, tức giận, hạnh phúc, buồn, sợ hãi, ghê tởm, ngạc nhiên) [42] 31 Biểu đồ 3.1 Kết nhận dạng cảm xúc PCA 34 Biểu đồ 3.2 Kết nhận dạng cảm xúc EMC 35 Biểu đồ 3.3 Kết nhận dạng cảm xúc PCA-EMC 35 Biểu đồ 3.4 So sánh PCA, EMC PCA-EMC 36 Biểu đồ 3.5 So sánh phương pháp đề xuất phương pháp [35] cho PCA 37 Biểu đồ 3.6 So sánh phương pháp đề xuất phương pháp [35] cho EMC 38 MỞ ĐẦU Lý chọn đề tài Cảm xúc đóng vai trị quan trọng giao tiếp phi ngôn ngữ, sở để hiểu hành vi người Có thể nhận dạng cảm xúc thơng qua nhiều hình thức khác nhau, đặc biệt thông qua biểu khuôn mặt [1], [6] Trong xu hướng phát triển khoa học kĩ thuật, công nghệ thông tin, nhận dạng cảm xúc trở thành vấn đề thu hút quan tâm, nghiên cứu nhà khoa học Đầu năm 1970, Paul Ekman đồng nghiệp ông thực nghiên cứu sâu rộng biểu khuôn mặt người [2] Trong suốt thập kỷ sau đó, phương pháp nhận dạng cảm xúc ứng dụng phổ biến sống, hệ thống phát trạng thái buồn ngủ dựa vào cảm xúc khuôn mặt phát triển để cảnh báo cho người lái xe thấy dấu hiệu buồn ngủ, mệt mỏi [48], phần mềm điều khiển dựa vào cảm xúc, ứng dụng trị chơi video thơng minh [49], tương tác người robot [50], v.v Tuy nhiên, phức tạp khuôn mặt người, biểu cảm cảm xúc quan điểm hành vi cho thấy nghiên cứu lĩnh vực thách thức lớn [3], [4], [7], [8] Ngoài ra, hệ thống dựa hình ảnh nhìn thấy phải đối mặt với thách thức như: chất lượng ảnh không tốt điều kiện ánh sáng kém, nhiều người không biểu nên nhận biết cảm xúc thật, v.v Tất nguyên nhân làm giảm độ xác kết nghiên cứu Việc sử dụng hình ảnh nhiệt giải pháp khắc phục hạn chế ảnh nhìn thấy [9] Hình ảnh nhiệt khơng nhạy cảm với điều kiện ánh sáng Bên cạnh đó, khơng phải tồn ảnh có tác động thay đổi nhiệt độ cảm xúc thay đổi nên việc rút trích đặc trưng vùng quan 35 Biểu đồ 3.2 Kết nhận dạng cảm xúc EMC Biểu đồ 3.3 Kết nhận dạng cảm xúc PCA-EMC 36 Biểu đồ 3.4 So sánh PCA, EMC PCA-EMC 3.3.2 So sánh kết thực nghiệm với kết phương pháp [35] Phương pháp đề xuất so sánh với kết thu cách thực phương pháp PCA EMC sở liệu KTFE [35] Với phương pháp [35], tác giả đề xuất trích xuất ROI đơn giản Các ROI tìm thấy khơng cung cấp thơng tin hữu ích thực cảm xúc thay đổi có vấn đề với trở ngại cho nhiệt độ nóng Bảng 3.4 cho thấy hiệu suất đạt phương pháp đề xuất tốt so với phương pháp khác Bởi cải thiện ROI, chứa nhiều thông tin hữu ích hơn, cho thấy mối quan hệ tốt nhiệt độ cảm xúc Với PCA, tỷ lệ xác tăng 4.99% (từ 85.43% lên 90.42%) Trong EMC đạt 89.99% (tăng 3.99%) Ngồi chúng tơi thử nghiệm với PCA-EMC, kết đạt 85.94% 37 Bảng 3.4 So sánh phân tích với phương pháp [35] Tỉ lệ nhận dạng trung bình Phương pháp [35] Phương pháp đề xuất PCA 85.43% 90.42% EMC 86.00% 89.99% PCA-EMC - 85.94% Biểu đồ 3.5 So sánh phương pháp đề xuất phương pháp [35] cho PCA 38 Biểu đồ 3.6 So sánh phương pháp đề xuất phương pháp [35] cho EMC Như vậy, điều kiện sử dụng phương pháp phân loại PCA, EMC PCA-EMC sở liệu KTFE phương pháp trích xuất ROI chúng tơi có tỷ lệ nhận dạng trung bình cao so với phương pháp [35] 3.3.3 So sánh kết thực nghiệm với kết phương pháp [38] Để phân tích, đánh giá phương pháp đề xuất với phương pháp tác giả sử dụng [38], chúng tơi trích xuất 23,5 GB liệu nhiệt sở liệu KTFE cho năm cảm xúc tương ứng là: giận dữ, sợ hãi, hạnh phúc, bình thường buồn rầu Kết trình bày bảng: 3.5, 3.6 3.7 39 Bảng 3.5 Ma trận kết với PCA Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) An Fe Ha Ne Sa An 90.8% 2.33% 0% 2.96% 0% Fe 3.53% 88.75% 2.36% 1.43% 5.59% Ha 3.91% 3.14% 91.24% 0% 1.36% Ne 1.76% 0.91% 1.96% 94.41% 0% Sa 0% 4.87% 4.45% 1.2% 93.04% Avg 91.65% Bảng 3.6 Ma trận kết với EMC Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) An Fe Ha Ne Sa An 86.36% 0% 0% 8.61% 6.45% Fe 4.55% 87.1% 7.57% 0% 0% Ha 4.55% 7.53% 85.29% 0% 0% Ne 4.55% 0% 0% 86.63% 3.23% Sa 0% 5.38% 7.14% 4.76% 90.32% Avg 87.14% 40 Bảng 3.7 Ma trận kết với PCA-EMC Từ trái sang phải (trên xuống dưới): giận (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) buồn rầu (Sa) An Fe Ha Ne Sa An 89.17% 4.74% 1.11% 0.86% 0% Fe 3.58% 86.04% 6.22% 4.1% 5.15% Ha 0% 1.07% 86.15% 2.5% 3.5% Ne 2.35% 3.3% 1.02% 87.3% 2.75% Sa 4.9% 4.85% 5.49% 5.23% 88.59% Avg 87.45% Bảng 3.8 So sánh phân tích với phương pháp [38] Phương pháp Histogram statistics + Multi Class SVM [38] Moment Invariant + Multi Class SVM [38] Moment invariants + histogram statistics + Multi Class SVM) [38] Tỷ lệ nhận dạng trung bình 81.95% 86.74% 87.50% PCA 91.65% EMC 87.14% PCA-EMC 87.45% Bảng 3.8 cho thấy tỷ lệ nhận dạng trung bình đạt phương pháp đề xuất tốt so với phương pháp [38] để nhận dạng cảm xúc sở liệu KTFE 41 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn này, giới thiệu phương pháp xác định cảm xúc người dựa hình ảnh nhiệt Ở đây, mơ tả cách khắc phục ảnh hưởng ánh sáng mơi trường giảm tác động kính đeo mắt cách cải thiện việc khai thác khu vực quan tâm cho liệu nhiệt Các thuật toán kiểm tra sở liệu KTFE Bảy cảm xúc bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn rầu, ngạc nhiên bình thường nhận dạng với độ xác cao là: 90.42%, 89.99% 85.94% tương ứng cho: PCA, EMC PCA- EMC Kết cho thấy nhiệt độ cảm xúc có mối liên quan chặt chẽ Sử dụng thông tin nhiệt độ tăng tính xác cho nhận dạng cảm xúc người Bên cạnh kết đạt được, cịn có vấn đề mà thời điểm luận văn chưa thực hiện: - Độ xác cảm xúc phương pháp cải thiện với điều chỉnh khu vực quan tâm Tuy nhiên, số trường hợp bị thông tin làm giảm tỷ lệ xác Phương pháp cải thiện ROI đơn giản - Nghiên cứu số giải thuật trích chọn đặc trưng phân lớp liệu khác ảnh nhiệt, xử lý ảnh nhiệt với công nghệ học tập sâu,v.v Trong tương lai, tiếp tục nghiên cứu thêm mối quan hệ biểu người cảm xúc mối quan hệ nhiệt độ cảm xúc Chúng tiếp tục cải thiện ROI liệu nhiệt để đóng góp kết tốt hơn.Thêm vào mở rộng kết hợp ảnh nhiệt với ảnh nhìn thấy để tăng thơng tin nhận dạng cảm xúc hơn.Từ kiến thức đó, chúng tơi xây dựng nhiều ứng dụng thực tế hỗ trợ tương tác người máy tính tốt 42 CƠNG TRÌNH CƠNG BỐ Thu Nguyen, Khang Tran, Hung Nguyen, “Towards Thermal Region of Interest for Human Emotion Estimation”, 10th International Conference on Knowledge and Systems Engineering, KSE 2018 43 TÀI LIỆU THAM KHẢO [1] P.Ekman, editor, “Emotion In the Human Face” Cambridge University Press, New York, NY, 2nd edition, 1982 [2] P.Ekman “Strong evidence for universals in facial expressions: A reply to Russell’s mistaken critique”, Psychological Bulletin, pp.268–287, 1994 [3] C.Busso, Z.Deng, S.Yildirim, M.Bulut, C.M Lee, A.Kazemzadeh, S.Lee, U.Neumann, S.Narayanan, “Analysis of emotion recognition using facial expressions, speech and multimodal information", In the Proceedings of 6th International Conference on Multimodal Interface, ICMI04, PA, pp 205211, 2004 [4] Z.Zeng, M.Pantic, G.I.Roisman, T.S Huang: “A Survey of Affect ecognition ethods: Audio, Visual, and Spontaneous Expressions”, Pattern Analysis and Machine Intelligence, IEEE Transactions, vol.31, no 1, pp 3958, 2009 [5] M.M.Khan, R.D.Ward, M.Ingleby, “Classifying pretended and evoked facial expressions of positive and negative affective states using infrared measurement of skin temperature”, ACM Transactions on Applied Perception, vol 6, pp 122, 2009 [6] M.Pantic, J.M Rothkrantz, “Automatic Analysis of Facial Expressions: The State of the Art”, Pattern Analysis and Machine Intelligence, IEEE Transactions, vol.22, no 12, pp 1424-1445, 2000 [7] A.Corneanu, M.Oliu, F Cohn, S.Escalera, “Survey on RGB, 3D, Thermal, and Multimodal Approaches for Facial Expression Recognition: History, Trends, and Affect-related Applications”, pp 1-20, 2016 [8] E.Sariyanidi, H.Gunes, A.Cavallaro, “Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition”, Pattern 44 Analysis and Machine Intelligence, IEEE Transactions, vol.37, no 6, pp 1113-1133, 2015 [9] C.M.Naveen Kumar, G Shivakumar: “A survey on human emotion analysis using thermal imaging and physiological variables”, International Journal Of Current Engineering And Scientific Research (Ijcesr), Vol -4, Issue-4, pp 122-126, 2017 [10] J.A Russell, “Is there universal recognition of emotion from facial expressions? A review of the cross-cultural studies”, Psychological Bulletin, vol 115, no 1,pp 102-141, Jan 1994 [11] P.Ekman, “Strong evidence for universals in facial expressions: A reply to Russell's mistaken critique”, Psychological Bulletin, vol 115, no 2, pp 268-287, Mar 1994 [12] E.Izard, “Innate and universal facial expressions: Evidence from developmental and cross-cultural research”, Psychological Bulletin, vol 115, no 2, pp.288-299, Mar 1994 [13] B.Scassellati, “Eye finding via face detection for a foveated, active vision system”, in Proc 15th Nat Conf Artificial Intelligence, pp 969 - 976, 1998 [14] X.Ya, L.Guang-Yuan, “A Method of Emotion Recognition Based on ECG Signal” in proc of International Conference on Computational Intelligence and Natural Computing, pp 202-205, 2009 [15] C.Puri, “Stress Cam : Non-contact Measurement of Users’ Emotional States through Thermal Imaging”, in proc of Int Con on Human Computer Interaction, pp 1725–1728, 2005 [16] H Xu and K N K Plataniotis, “Affect Recognition Using EEG Signal”, IEEE 14th International Workshop on Multimedia Signal Processing, pp 299-304, 2012 45 [17] P.Ekman, V.Friesen, “Facial action coding system: a technique for the measurement of facial movement”, Rivista Di Psichiatria 47 (2), pp 126– 138, 1978 [18] H.C.Choi, S.Y.Oh, “Realtime Facial Expression Recognition Using Active Appearance Model and Multilayer Perceptron”, in Proceedings of the International Joint Conference SICE-ICASE, Busan, Korea, pp 5924–5927, October 2006 [19] A.Asthana, J.Saragih, M.Wagner, R.Goecke, “Evaluating AAM Fitting Methods for Facial Expression Recognition”, in Proceedings of the International Conference on Affective Computing and Intelligent Interaction, Amsterdam, The Netherlands, pp 1–8, September 2009 [20] N.Sebe, M.S.Lew, Y.Sun, I.Cohen, T.Gevers, T.S.Huang, “Authentic facial expression analysis” Image Vision Comput, pp.1856–1863, 2007 [21] Y.Chang, C.Hu, R Feris, M.Turk, “Manifold based analysis of facial expression”, Image Vision Comput, pp.605–614, 2006 [22] S.Moore, R.Bowden, “Local binary patterns for multi-view facial expression recognition”, Comput Vision Image Underst, pp.541–558, 2011 [23] D.Ghimire, J.Lee, “Histogram of orientation gradient feature-based facial expression classification using bagging with extreme learning machine” Adv Sci Lett, pp.156–161,2012 [24] A.Dhall, A.Asthana, R.Goecke, T.Gedeon, “Emotion Recognition Using PHOG and LPQ Features” In Proceedings of the IEEE International Conference on Face and Gesture Recognition and Workshop, Santa Barbara, CA, USA, pp 878–883, 2011 [25] T.Jabid, Md.H.Kabir, O.Chae, “Robust facial expression recognition based on local directional pattern” ETRI J, pp.784–794, 2010 46 [26] I.Kotsia, I.Buciu, I.Pitas, “An analysis of facial expression recognition under partial facial image occlusion”, Image Vision Comput, pp.1052–1067, 2008 [27] D.T.Lin, “Facial expression classification using PCA and hierarchical radial basic function network” J Inf Sci Eng, pp.1033–1046, 2006 [28] Z.Wang, Q.Ruan, “Facial Expression Recognition Based Orthogonal Local Fisher Discriminant Analysis”, In Proceedings of the International Conference on Signal Processing (ICSP), Beijing, China, pp 1358–1361, 2010 [29] T.J.Phillips, “High performance thermal imaging technology", Advanced Semiconductor Magazine, vol 15, no 7, pp 32-36, 2002 [30] S Ioannou, V Gallese, A Merla, “Thermal infrared imaging inpsychophysiology: potentialities and limits”, Psychophysiology 51 pp.951– 963, 2014 [31] L.Trujillo, G.Olague, R.Hammoud, B.Hernandez “Automatic feature localization in thermal images for facial expression recognition", IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, CVPR Workshops, p 14, 2005 [32] A Di Giacinto, M Brunetti, G Sepede, A Ferretti, A Merla, “Thermal signature of fear conditioning in mild post traumatic stress disorder”, Neuroscience 266, pp.216–223, 2014 [33] B.Hern´andez, G.Olague, R.Hammoud, L.Trujillo, E Romero “Visual learning of texture descriptors for facial expression recognition in thermal imagery", Computer Vision and Image Understanding, vol 106, pp 258269 , 2007 [34] Z.Liu and S.Wang “Emotion recognition using Hidden Markov Model from facial temperature sequence", LNCS 6975, pp.240-247, 2011 47 [35] H Nguyen, K Kotani, F Chen, B.Le, “Fusion of Visible Images and Thermal Image Sequences for Automated Facial Emotion Estimation”, Journal of Mobile Multimedia, Vol 10, No 3&4, pp.294-308, 2014 [36] B.R.Nhan and T.Chau.: “Classifying affective states using thermal infrared imaging of the human face", IEEE Transactions on Biomedical Engineering, vol 57, pp 979987, 2010 [37] S.He, S.Wang, W.Lan, H.Fu, Q.Ji, “Facial Expression Recognition using Deep Boltzmann Machine from Thermal Infrared Images”, Humaine Association Conference on Affective Computing and Intelligent Interaction, pp.239-244, 2013 [38] A.Basu, A.Routray, S.Shit, A.K.Deb, “Human Emotion Recognition from Facial Thermal Image based on Fused Statistical Feature and Multi-Class SVM”, IEEE INDICON, pp.1-5, 2015 [39] http://www.vcipl.okstate.edu/otcbvs/bench/ [40] http://www.equinoxsensors.com/ [41] S.Wang, Z.Liu, S.Lv, Y.Lv, G.Wu, P Peng, F.Chen, X.Wang, “A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference”, IEEE Transactions on Multimedia, vol 12, no 7, pp 682-691, 2010 [42] H.Nguyen, K.Kotani, F.Chen, B.Le, “A thermal facial emotion database and its analysis”, PSIVT, 2013 [43] A Patil, J Deore, Ph.D, “Principle Component Analysis (PCA) and Linear Discriminant Analysis (LDA) based Face Recognition”, NCACC, pp.1-5, 2014 [44] R.L Kristensen, editor, “Emotion recognition in blurred images with local features and machine learning”, 2014 48 [45] D.T.LIN, “Facial Expression Classification Using PCA and Hierarchical Radial Basis Function Network”, Journal of Information Science and Engineering, vol 22, pp 1033-1046 , 2006 [46] T.Kurozumi, Y.Shinza, Y.Kenmochi, K.Kotani, “Facial Individuality and Expression Analysis by Eigenspace Method Based on Class Features or Multiple Discriminant Analysis", ICIP, 1999 [47] X.Gao, Y.Su, X.Li, D.Tao, “A review of active appearance models”, IEEE Transactions on Systems, Man and Cybernetics C: Applications and Reviews, vol 40, no 2, pp 145–158, 2010 [48] E.Vural, M.Bartlett, G.Littlewort, M.Cetin, A.Ercil, J.Movellan, “Discrimination of moderate and acute drowsiness based on spontaneous facial expressions”, In ICPR, 2010 [49] F.D.L.Torre and J.F.Cohn, “Facial expression analysis", In Visual Analysis of Humans, Springer, pp 377-409, 2011 [50] V.W.Zue and J.R.Glass, “Conversational interfaces: Advances and challenges”, Proceedings of the IEEE, vol 88, no 8, pp 1166-1180, 2002 [51] T.Nguyen, K.Tran, H.Nguyen, “Towards Thermal Region of Interest for Human Emotion Estimation”, 10th International Conference on Knowledge and Systems Engineering, KSE 2018, pp.1-6, 2018 49 PHỤ LỤC ... lĩnh vực nghiên cứu nhận dạng cảm xúc người Có thể nói xác định cảm xúc người tốn khó, người ngồi bảy cảm xúc nhiều cảm xúc đa dạng khác đan xen lẫn Làm để nhận dạng cảm xúc xác người thời gian thực... toán nhận dạng cảm xúc Mục tiêu nhiệm vụ nghiên cứu Mục tiêu: Mục tiêu đề tài xây dựng mơ hình rút trích đặc trưng ảnh nhiệt hỗ trợ cho việc nhận dạng cảm xúc người dựa ảnh nhiệt khuôn mặt người. .. thuyết nhận dạng cảm xúc, tìm hiểu đặc trưng ảnh nhiệt, sở liệu ảnh nhiệt, phương pháp rút trích đặc trưng, phân loại, v.v Những kiến thức tiền đề để áp dụng vào toán nhận dạng cảm xúc người dựa ảnh