Ứng dụng mô hình kết hợp trong nhận dạng cảm xúc

Bài viết này mô tả phương pháp phân loại và đánh giá cảm xúc dựa trên mô hình kết hợp sử dụng tín hiệu cảm biến y sinh và tín hiệu video trên cơ sở học máy.

Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh 17 ỨNG DỤNG MƠ HÌNH KẾT HỢP TRONG NHẬN DẠNG CẢM XÚC APPLIED MULTIMODAL FOR EMOTION RECOGNITION Nguyễn Thị Khánh Hồng, Võ Thị Hương, Lê Hữu Duy Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng, Việt Nam Ngày soạn nhận 12/11/2019, ngày phản biện đánh giá 21/11/2019, ngày chấp nhận đăng 9/12/2019 TÓM TẮT Ngày nay, nhận dạng phân loại cảm xúc ngày chi tiết xác nhờ vào phát triển lĩnh vực điện tử, cảm biến hay kỹ thuật máy tính Các phương pháp nhận dạng cảm xúc nghiên cứu sử dụng nhiều phương thức thu thập liệu khác phương thức mang lại hiệu sử dụng cảm biến y sinh Phương thức cung cấp thơng tin yếu tố sinh học xác, bền vững bị ảnh hưởng tác nhân gây nhiễu từ bên Bài báo mô tả phương pháp phân loại đánh giá cảm xúc dựa mơ hình kết hợp sử dụng tín hiệu cảm biến y sinh tín hiệu video sở học máy Chúng mô tả thiết kế hệ thống thu thập tín hiệu y sinh, qui trình thu thập thơng tin hệ thống xử lý dùng để nhận dạng thuộc tính cảm xúc Nghiên cứu đạt hiệu suất nhận dạng với tỉ lệ xác 83,2% Từ khóa: Nhận dạng cảm xúc; cảm biến y sinh; máy học; mạng Nơ ron tích chập; máy học vectơ hỗ trợ ABSTRACT Detecting and classifying emotions has currently become an important item of research and life The more detailed and accurate emotion recognition system is due to the development of various fields such as electronics, sensors or computer engineering Emotion recognition methods are studied using different data collection methods and one of the most popular and effective methods is physical – bio sensors Physical – bio sensor based approaches can provide more accurate, sustainable biological information with external influences and interferences, especially when we compared with other approaches such as image processing, video processing In this paper, a method of classifying and assessing emotions based on a combination of signals collected from physical – bio sensors, video collection and machine learning are supposed Specifically, we will describe the platform of a physical – bio signal collection system, the process of collecting information and the information processing system used to identify how emotional behavior is characterized We have also shown that a combination modals of physical – bio sensor acquisition systems, video processing based on machine learning methods can provide identification performance with an accuracy of 83.2% Keywords: Emotion Recognition; physical – bio sensor; machine learning; CNN; SVM TỔNG QUAN Bài toán phân loại, đánh giá nhận dạng cảm xúc người lĩnh vực nhận nhiều quan tâm nghiên cứu Bài toán nhận dạng cảm xúc thực dựa vào thông tin đầu vào tính hiệu y sinh nhịp tim, nồng độ oxy, huyết áp, hay tín hiệu thu thập từ hình ảnh, video, hay từ đánh giá bác sĩ, chuyên gia [1] Kết sau xử lý thông tin thu thập kết luận tình trạng trạng thái cảm xúc vui, buồn, tức giận… Bài toán nhận dạng phân loại cảm xúc tốn phức tạp nhiều yếu tố khác phụ thuộc 18 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh vào thơng tin đầu vào [2] Ngồi đánh giá nhận dạng cảm xúc hầu hết dựa suy luận logic từ thông tin đầu vào, nhiên cảm xúc lại hoạt động theo yếu tố phi logic [3] Ví dụ người có cảm xúc tốt, thoải mái, miêu tả định nghĩa cảm xúc tốt cách đồng với người khác Vì toán nhận dạng cảm xúc toán thách thức Tuy gặp nhiều khó khăn thách thức, toán phân loại nhận dạng cảm xúc tập trung nghiên cứu nhiều lý khác nhau: • Bằng việc hiểu cảm xúc người, hệ thống thơng tin tăng mức độ tương tác với người, tạo trải nghiệm người dùng hồn tồn Ví dụ: Hệ thống âm giảm nhạc, giảm âm lượng thời gian người căng thẳng độ sợ hãi, gợi ý phim phù hợp theo tâm trạng người xem Máy tính hệ thống giải trí nhận dạng phản ứng người sử dụng thích thú, hay khó chịu nội dung giải trí trình chiếu ngẫu nhiên Như vậy, hệ thống giải trí thơng tin dường trở thành người bạn đồng hành công cụ phục vụ cho người ngày [4] • Đánh giá nhận dạng cảm xúc cịn sử dụng phương thức giám sát sinh học, nhằm bổ sung để tự đánh giá, giám sát trạng thái cảm xúc người Kết việc giám sát sinh học có nhiều lợi ích chẳng hạn phương pháp để cải thiện khả giao tiếp, đánh giá hành vi cảm xúc gây tác động khơng tích cực lên người xã hội Từ đưa phản ứng phương pháp phù hợp để hạn chế, cải thiện [5] Như trình bày trên, có nhiều phương pháp dùng để thu thập thơng tin tín hiệu cảm xúc tín hiệu y sinh (nhịp tim, huyết áp, ) hay yếu tố nét mặt, nhịp điệu lời nói, cử chỉ,… hay đánh giá khách quan từ chuyên gia, bác sĩ [6] Mỗi phương pháp thu thập thơng tin tín hiệu cảm xúc có ưu nhược điểm khác Và báo này, tập trung vào phương pháp tập trung nghiên cứu Đó phương pháp sử dụng loại cảm biến sinh học để thu thập thông tin y sinh như: Điện đồ (Electromyography-EMG); Điện tâm đồ (Electrocardiogram-ECG) Độ điện dẫn da (Electrodermal activity- EDA) Phương pháp sử dụng cảm biến y sinh học có nhiều ưu điểm trội so với phương pháp khác Vì thiết bị thu thập tín hiệu sử dụng cảm biến y sinh nhỏ gọn nhờ vào cơng nghệ tích hợp thiết bị đeo người, chí trang sức, tạo cho người sử dụng cảm giác riêng tư phương pháp khác, người sử dụng phải chịu “giám sát” camera thiết bị ghi âm, ghi hình khác Tuy nhiên, để tăng độ xác liệu thu thập nhận dạng cảm xúc, báo sử dụng thêm kỹ thuật nhận dạng cảm xúc hình ảnh đề xuất mơ hình kết hợp [7] [8] Mục tiêu chúng tơi thu thập tín hiệu y sinh người điều kiện khác sống thực để tự động nhận dạng cảm xúc Chúng đề xuất phương pháp để nhận dạng cảm xúc dựa mơ hình kết hợp sử dụng tín hiệu y sinh tín hiệu video Trong phần báo trích dẫn phương pháp nghiên cứu nhằm tăng tỷ lệ nhận dạng cảm xúc dựa mơ hình kết hợp Tiếp đến phần 3, trình bày giải thích tất bước phương pháp đề xuất Trong phần 4, so sánh kết thu tỷ lệ nhận dạng cảm xúc dựa mơ hình đơn mơ hình kết hợp với mơ hình nghiên cứu khác Cuối cùng, kết luận nghiên cứu tương lai mô tả phần TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU VỀ MƠ HÌNH NHẬN DẠNG CẢM XÚC Một hệ thống nhận dạng cảm xúc nhìn chung dựa ba bước bản: Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh • Thu nhận tín hiệu, 19 • Tính khai thác thuộc tính, gọi chung mơ hình kết hợp nhận dạng cảm xúc • Việc nhận dạng cảm xúc PHƯƠNG PHÁP NGHIÊN CỨU Một số nghiên cứu tập trung vào việc nhận dạng cảm xúc biểu cảm khuôn mặt, biểu cảm giọng nói tín hiệu sinh học [9], [10], [11] Tuy nhiên, có nghiên cứu tập trung vào đề xuất mơ hình kết hợp nhận dạng cảm xúc [12] Trong phần này, chúng tơi đề xuất mơ hình kết hợp nhận dạng cảm xúc Nghiên cứu gồm có phần là: Ngồi ra, cách tiếp cận theo hướng sử dụng mơ hình kết hợp khơng giúp tăng tỷ lệ nhận dạng mà tăng thêm độ tin cậy cho hệ thống có kết hợp đa dạng từ nhiều nguồn liệu khác điều kiện môi trường khác [13] 3.1 Phần huấn luyện cảm xúc Về lý thuyết, có ba phương pháp [14] để hợp tín hiệu từ cảm biến khác nhau: • Khối huấn luyện liệu • Mơ hình kết hợp tín hiệu y sinh: thực trực tiếp liệu thô từ cảm biến tín hiệu y sinh; áp dụng tín hiệu y sinh có chất tương tự có độ phân giải tín hiệu Do đó, kỹ thuật sử dụng khó hợp tín hiệu với dễ bị nhiễu phụ thuộc vào độ nhạy cảm biến • Phần huấn luyện cảm xúc • Phần nhận dạng cảm xúc Phần huấn luyện cảm xúc có khối xử lý mơ tả Hình • Khối tiền xử lý • Khối trích thuộc tính Kết phần huấn luyện cảm xúc sử dụng để tự động nhận dạng cảm xúc phần nhận dạng cảm xúc Hình Những khối phần huấn luyện cảm xúc 3.1.1 Khối tiền xử lý • Mơ hình kết hợp thuộc tính [15]: phương pháp thường sử dụng nhằm mục đích hình thành vector đa thức từ vector thuộc tính trích xuất từ cảm biến Phương pháp có lợi cần giai đoạn học tập kết vector thuộc tính vector đa thức Đây khối thu thập tín hiệu y sinh thô đầu vào lưu trữ sở liệu UTE-EMOTICA nhóm nghiên cứu Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng Chúng tơi tách tín hiệu thơ theo chu kỳ loại tín hiệu cảm xúc Tiếp đến, tín hiệu lọc nhiễu cách sử dụng lọc Hanning • Mơ hình kết hợp thuộc tính mức độ định nhận dạng [16]: sau phân loại riêng biệt từ tín hiệu cảm biến, cách hợp định nhận dạng khác để có kết nhận dạng cảm xúc cuối 3.1.2 Khối trích thuộc tính Trong phạm vi báo này, chúng tơi trình bày phương pháp nhận dạng cảm xúc theo mơ hình kết hợp thuộc tính tự động nhận dạng dựa kết hợp mức độ định nhận dạng nói Tín hiệu sau qua khối tiền xử lý tiếp tục xác định giá trị đỉnh tín hiệu cách tính tốn độ dốc tín hiệu sau tìm thấy dấu hiệu thay đổi độ dốc Để phát tách đỉnh, phương pháp sử dụng tính tốn vector thuộc tính bao gồm năm thuộc tính là: giá trị trung bình, phương sai, giá trị trung bình tín hiệu lọc, phương sai tín hiệu lọc biên độ đỉnh 20 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh Đối với tín hiệu video, q trình trích thuộc tính cảm xúc dựa thông tin khuôn mặt bao gồm bước Bước bước nhận dạng khn mặt từ ảnh đầu vào trích từ tín hiệu video quay, sau thực phép biến đổi cân chỉnh khuôn mặt sử dụng phương pháp Facial Landmark bước Và cuối đưa qua mơ hình để trích xuất liệu mặt nhìn trực diện vào camera Bước trích 194 điểm landmark vị trí khn mặt, chọn 10 điểm landmark Tuy nhiên, không sử dụng kết landmark tạo mạng MTCNN Hai bước nhận dạng khuôn mặt cân chỉnh khn mặt đóng vai trị quan trọng cho bước cuối 3x(Conv 3x3x128, stride =1) Maxpooling 2x2, stride =2 Ở bước 1, sử dụng mô hình MTCNN (Multi-Task Cascaded Convolutional Neural Network) [17] mơ hình cho kết tốt tốn nhận dạng khn mặt Mơ hình MTCNN bao gồm mạng CNN là: P-Net, R-Net O-Net Hình Kết đầu bao gồm hình chữ nhật (cịn gọi bounding box) chứa vị trí khn mặt 10 điểm nhận dạng (cịn gọi landmark) khn mặt Chúng sử dụng kết bounding box cho bước 3x(Conv 3x3x512, stride =1) Maxpooling 2x2, stride =2 48x48x3 Input 2x(Conv 3x3x64, stride =1 ) Maxpooling 2x2, stride =2 3x(Conv 3x3x256, stride =1) Maxpooling 2x2, stride =2 Flatten FullConnected(128) Hình Kiến trúc mạng CNN trích thuộc tính cảm xúc Ở bước cuối cùng, vector 128 chiều trích từ liệu cân chỉnh làm thuộc tính liệu khn mặt Để trích thuộc tính mạng CNN lớp sử dụng huấn luyện với sỡ liệu cảm xúc Kaggle Hình 3.1.3 Khối nhận dạng cảm xúc Nghiên cứu thực thu thập liệu dựa loại cảm xúc gán nhãn (0=Angry, 1=Disgust, 2=Fear, 3=Happy, 4=Sad, 5=Surprise, 6=Neutral) Chúng tơi chọn 280 mẫu tín hiệu loại cảm xúc nêu sở liệu UTE-EMOTICA Hình Mạng Nơ ron tích chập đa nhiệm Ở bước tiếp theo, sau nhận dạng khuôn mặt, cân chỉnh khuôn mặt sử dụng trước liệu qua bước trích thuộc tính bước cuối Hệ thống trích xuất thơng tin khn mặt phụ thuộc lớn vào góc nhìn người camera, bước cân chỉnh khn mặt quan trọng [18] thực cân chỉnh khn Tại frame, thuộc tính trích từ tín hiệu y sinh Như có tổng cộng 15 thuộc tính trích xuất từ loại liệu y sinh Kết hợp với thuộc tính 128 chiều từ liệu video, chúng tơi có vector 143 chiều sử dụng để huấn luyện hay nhận dạng Sau trích thuộc tính, giải thuật SVM (Support Vector Machine) tuyến tính sử dụng để huấn luyện mơ hình SVM sử dụng rộng rãi toán nhận dạng phân loại Phương pháp SVM phân lớp liệu với mục tiêu tìm mặt phân cách cho Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh biên (cịn gọi margin) tìm lớn nhất, đồng nghĩa với việc điểm liệu an toàn so với mặt phân cách [19] [20] 3.2 Phần nhận dạng cảm xúc Trong bước nhận dạng, vector thuộc tính trích xuất từ liệu tín hiệu y sinh đầu vào tín hiệu video trích xuất Những tín hiệu phân loại mơ hình SVM học trước Kết trả lại trình phân loại nhãn trạng thái cảm xúc tương ứng 21 4.2 Kết đạt Các kết mô tả biểu đồ bên (Hình 5) cách sử dụng mơ hình đơn loại cảm xúc Cách tiếp cận cho phép có tỷ lệ nhận dạng trung bình 63,52% KẾT QUẢ NGHIÊN CỨU 4.1 Cơ sở liệu UTE-EMOTICA Trong sở liệu này, chúng tơi xây dựng sau: • Sử dụng cảm biến y sinh là: EMG, ECG, EDA tín hiệu video ghi lại khn mặt người camera • cảm xúc đo "Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral" • Độ dài mẫu tín hiệu cảm xúc thu thập năm phút ngày người • Tiến hành đo 20 người, độ tuổi 21-23, giới tính nam • Thời gian tiến hành đo liên tục ngày (từ thứ Hai đến thứ Bảy) Trong trình chọn lọc từ mẫu tín hiệu thu được, chúng tơi chọn 280 mẫu có chất lượng tốt để thực việc huấn luyện nhận dạng cảm xúc Hệ thống phần cứng sử dụng để thực đo lấy số liệu thực theo sơ đồ sau: Hình Tỷ lệ nhận dạng tín hiệu cảm xúc mơ hình đơn Từ phân tích liệu Hình cho thấy số cảm xúc định nhận dạng tốt với loại cảm biến y sinh định so với loại cảm biến khác khác Thật vậy, phương thức sử dụng EMG cho phép nhận dạng tốt với cảm xúc " Angry" "Disgust", phương thức sử dụng ECG nhận dạng tốt cảm xúc “Disgust” “Surprise” Phương thức sử dụng EDA lại cho phép nhận dạng tốt cảm xúc “Angry” "Fear" Những đặc điểm quan trọng điều giúp lựa chọn phương thức nhận dạng cảm xúc phù hợp nhằm mục đích nhận dạng phân biệt cảm xúc hiệu Bên cạnh đó, để cải thiện tỷ lệ nhận dạng tín hiệu cảm xúc trung bình so với mơ hình đơn Chúng tơi đề xuất mơ hình là: Mơ hình 1: có hai tín hiệu y sinh học (EMG ECG) tín hiệu video trích xuất khn mặt Mơ hình 2: có ba tín hiệu y sinh học: EMG, ECG EDA tín hiệu video trích xuất khn mặt Hình Sơ đồ hệ thống phần cứng để thu thập liệu Sau đó, để tăng tỷ lệ nhận dạng cảm xúc chúng tơi áp dụng mơ hình kết hợp (như trình bày phần 2) Thật vậy, cách 22 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh tiếp cận sử dụng mơ hình kết hợp cho phép có tỷ lệ nhận dạng trung bình 74,3% với mơ hình 83,2% với mơ hình Đây cải thiện đáng kể tỷ lệ nhận dạng so với phương pháp không theo mơ hình kết hợp có tỷ lệ nhận dạng trung bình đạt 63,52 % Kết so sánh hai mơ hình biểu diễn chi tiết Bảng Bảng Tỷ lệ nhận dạng hai mơ hình Loại tín hiệu cảm xúc Tỷ lệ nhận dạng tín hiệu cảm xúc Mơ hình Mơ hình Angry 86.02 94.11 Disgust 77.63 89.89 Fear 62.4 73.2 Happy 69.6 80.3 Sad 71.67 77.45 Bảng Độ xác mơ hình kết hợp Tỷ lệ nhận dạng Phương pháp nghiên cứu tín hiệu cảm xúc (%) Nghiên cứu tác giả Santamaria-Granados đồng tác giả [23] 76 Mơ hình kết hợp sử dụng loại tín hiệu y sinh [21] 71 Nghiên cứu Chaka Koné đồng tác giả [22] 81.69 Mơ hình kết hợp đề xuất (mơ hình 2) sử dụng sở liệu UTE-Emotica 83.2 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Chúng đề xuất phương pháp cải thiện tỷ lệ nhận dạng cảm xúc trung bình Neural 72.6 79.89 theo mơ hình kết hợp dựa vào mức độ Các kết trình bày Bảng 1, định sử dụng tín hiệu y cho thấy tỷ lệ nhận dạng trung bình sinh tín hiệu video Những tín hiệu hai loại cảm xúc số bảy cảm xúc nêu mơ hình áp dụng để nhận với mức thấp 62,4% thu cho biết cảm xúc (Angry, Disgust, Fear, cảm xúc "Fear" tối đa cho cảm xúc Happy, Sad, Surprise, Neutral) Mơ hình đề "Angry" đạt tỷ lệ nhận dạng 94,11% xuất thực nhận dạng Trong số kết nghiên cứu khác: dựa thuật toán máy học Các kết so tác giả Imen [21] sử dụng loại cảm biến với nghiên cứu khác thể y sinh EMG, RESP (Respiratory - đo nhịp cải thiện đáng kể tỷ lệ nhận dạng thở), BVP (Blood Volume Pulse – đo thể tích cảm xúc trung bình Trong tương lai, chúng máu), GSR (Galvanic skin response – độ dẫn tăng số lượng mẫu tín hiệu cho sở điện da) đạt kết nhận dạng liệu UTE-EMOTICA sử dụng loại tín cảm xúc 71 % nhận dạng loại cảm hiệu (gồm tín hiệu y sinh tín hiệu video) xúc “neutral, pleasure, unpleasant, joy, Đồng thời, cải thiện thuật tốn reviviscence” Bên cạnh đó, nghiên cứu nhận dạng cảm xúc nhằm tăng tỷ lệ nhận Chaka Koné đồng tác giả [22] sử dạng cảm xúc trung bình hệ thống dụng mơ hình kết hợp loại cảm biến EMG, LỜI CẢM ƠN RESP, GSR, BVP đạt 81.69 % cho “Nghiên cứu tài trợ Quỹ nhận dạng loại cảm xúc "no emotion, anger, hate, grief, platonic love, romantic Phát triển khoa học công nghệ Đại học Đà love, joy and reverence” Nghiên cứu tác Nẵng đề tài có mã số B2017-ĐN06-03” giả Santamaria-Granados đồng tác giả “Nghiên cứu tài trợ Quỹ sử dụng loại cảm biến kết hợp ECG Phát triển khoa học công nghệ Trường Đại GSR để nhận dạng cảm xúc “arousal” học Sư phạm Kỹ thuật – Đại học Đà Nẵng “ valence” có tỷ lệ nhận dạng 76% Bảng đề tài có mã số T2018-06-86” thể so sánh với kết nghiên cứu khác nhận dạng cảm xúc Surprise 80.2 87.4 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh 23 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] Rangaraj M Rangayyan, Biomedical Signal Analysis – A Case-Study Approach, IEEE Press 2002 Barreto A., Heimer M., and Garcia M., Characterization of Photoplehtysmographic Blood Volume Pulse Waveforms for Exercise Evalution, Proceedings 14th Southern Biomedical Engineering Conference, Shreveport, Louisiana, April, 1995, pp 220-223 Christie, Israel C, Multivariate Discrimination of Emotion-specific Autonomic Nervous System Activity, Master Thesis in Science of Psychology, Virginia Picard R.W., Toward computers that recognize and respond to user emotion, IBM Systems Journal; Vol 39, Nos 3&4, 2000 Healy J and Picard R., Digital processing of Affective Signals, ICASSP 98 Cowie R., Describing the emotional states expressed in speech, ISCA workshop on speech and emotion, Belfast 2000 Juang B.H & Soong F.K., Hands-free Telecommunications, HSC 2001, pp.5-10; Kyoto, Japan Pentland A., Perceptual Intelligence, Communications of the ACM; Volume 43, Number (2000), Pages 35-44 E Monte-Moreno, M Chetouani, M Faundez-Zanuy and J SoleCasals, Maximum likelihood linear programming data fusion for speaker recognition, Speech Communication, 51(9):820–830, 2009 68 A Mahdhaoui and M Chetouani, Emotional speech classification based on multi view characterization, IAPR International Conference on Pattern Recognition, ICPR, 2010 51 Ammar Mahdhaoui, Analyse de Signaux Sociaux pour la Modélisation de l'interaction face face Traitement du signal et de l'image, Université Pierre et Marie Curie - Paris VI, 2010 French Sebe, Nicu, et al, Bimodal emotion recognition Proceedings of the 5th International Conference on Methods and Techniques in Behavioral Research 2005 Caifeng Shan, Shaogang Gong, Peter W McOwan, Facial expression recognition based on Local Binary Patterns: A comprehensive study, Image and Vision Computing 27 (2009) 803–816 E Monte-Moreno, M Chetouani, M Faundez-Zanuy et J SoleCasals, Maximum likelihood linear programming data fusion for speaker recognition, Speech Communication, 51(9):820–830, 2009 68 Hamza Hamdi, Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de signaux physiologiques: Application la simulation d’entretiens d’embauche, Modeling and Simulation Université d’Angers, 2012 French R Sharma, V.I Pavlovic, and T.S Huang, Toward multimodal human-computer interface Proceedings of the IEEE, 86(5):853–869, 1998 29, 30, 32, 167 Kaipeng Z., Zhanpeng Z., Zhifeng L., Yu Q., Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks, IEEE Signal Processing Letters, vol 23, pp 1499-1503 (2019) Vahid K., Josephine S., One Millisecond Face Alignment with an Ensemble of Regression Trees, CVPR IEEE Conference on Computer Vision and Pattern Recognition, pp 1867-1874 (2014) Chen, Jun-Cheng, Vishal M Patel, and Rama Chellappa., Unconstrained face verification using deep cnn features IEEE winter conference on applications of computer vision (WACV) IEEE, 2016 Hsu C.W., Lin C.J., A comparison of methods for multiclass support vector machines, IEEE Trans Neural Network 13(2):415–425 (2002) 24 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 57 (04/2020) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh [21] Imen Tayari Meftah, Modélisation, détection et annotation des états émotionnels l’aide d’un espace vectoriel multidimensionnel, Artificial Intelligence, Université Nice Sophia Antipolis, 2013 French [22] Koné C., Tayari I.M., Le-Thanh N., Belleudy C., Multimodal Recognition of Emotions Using Physiological Signals with the Method of Decision-Level Fusion, Healthcare Applications Inclusive Smart Cities and e-Health ICOST 2015 Lecture Notes in Computer Science, vol 9102 Springer [23] Santamaria-Granados, Luz, et al., Using deep convolutional neural network for emotion detection on a physiological signals dataset (AMIGOS) IEEE Access (2018): 57-67 Tác giả chịu trách nhiệm viết: Nguyễn Thị Khánh Hồng Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng Email: ntkhong@ute.edu.vn ... xuất mơ hình kết hợp nhận dạng cảm xúc [12] Trong phần này, đề xuất mơ hình kết hợp nhận dạng cảm xúc Nghiên cứu gồm có phần là: Ngồi ra, cách tiếp cận theo hướng sử dụng mơ hình kết hợp không... trích thuộc tính Kết phần huấn luyện cảm xúc sử dụng để tự động nhận dạng cảm xúc phần nhận dạng cảm xúc Hình Những khối phần huấn luyện cảm xúc 3.1.1 Khối tiền xử lý • Mơ hình kết hợp thuộc tính... tính, gọi chung mơ hình kết hợp nhận dạng cảm xúc • Việc nhận dạng cảm xúc PHƯƠNG PHÁP NGHIÊN CỨU Một số nghiên cứu tập trung vào việc nhận dạng cảm xúc biểu cảm khuôn mặt, biểu cảm giọng nói tín