Tối ưu hóa dữ liệu và mô hình phân lớp nhằm nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của mit

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Tối ưu hóa liệu mơ hình phân lớp nhằm nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT NGUYỄN TIẾN NAM nguyennam291096@gmail.com Kỹ thuật Điều khiển tự động hóa Giảng viên hướng dẫn: TS Cung Thành Long Viện: Điện HÀ NỘI, 3/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Tiến Nam Đề tài luận văn: Tối ưu hóa liệu mơ hình phân lớp nhằm nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số Học viên: CBC19008 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 22 tháng năm 2021 với nội dung sau: + + + + + + Bổ sung thông tin liệu sinh học MIT Liệt kê đặc trưng có ảnh hưởng cao tới mơ hình Chỉnh sửa hình 1.4 tới 1.11, 2.2 Bổ sung phương pháp đánh giá F1-Score Thêm nghiên cứu liệu Thêm bảng thống kê số lượng mẫu huấn luyện ứng với tỉ lệ chồng chập Ngày Giảng viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Tối ưu hóa liệu mơ hình phân lớp nhằm nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT Giảng viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Để hoàn thành luận văn này, thật thiếu giúp sức người xung quanh Đầu tiên, em xin gửi lời cảm ơn chân thành tới thầy hướng dẫn, TS Cung Thành Long, người giúp đỡ em tận tình trình làm luận văn, việc hướng dẫn đề tài, lên ý tưởng đưa phương pháp nghiên cứu Em xin bày tỏ lòng biết ơn sâu sắc đến tập thể thầy cô môn giúp em có nhìn chun sâu đề tài nghiên cứu, đưa gợi ý ý tưởng vơ đáng giá Bên cạnh hỗ trợ không nhỏ em Phạm Văn Dũng nghiên cứu thảo luận suốt thời gian qua Cuối cùng, em xin cảm ơn gia đình đồng nghiệp, người giúp đỡ ủng hộ suốt trình làm việc nghiên cứu Tóm tắt nội dung luận văn • Lý lựa chọn đề tài: Cảm xúc, ảnh hưởng đến tâm sinh lý người, đóng vai trị quan trọng sống người Cảm xúc tích cực giúp cải thiện sức khỏe người hiệu công việc, cảm xúc tiêu cực gây vấn đề sức khỏe, nhiều cảm xúc gây ảnh hưởng không tốt cho việc đưa định Cảm xúc tương tác với suy nghĩ theo cách không rõ ràng lại đóng vai trị quan trọng hoạt động địi hỏi trí thơng minh Ngược lại, tích tụ lâu dài cảm xúc tiêu cực yếu tố dẫn đến bệnh lý nghiêm trọng Cảm xúc phản ánh trạng thái tinh thần cách tự phát khơng thơng qua nỗ lực có ý thức Cảm xúc kèm với thay đổi thể chất sinh lý, liên quan đến quan người não, tim, da, lưu lượng máu, cơ, nét mặt, giọng nói, Do mức độ phức tạp tương tác lẫn sinh lý tâm lý cảm xúc, nên việc nhận biết cảm xúc người cách xác lĩnh vực nghiên cứu có nhiều thách thức Nhận biết biểu cảm cho đóng vai trò quan trọng việc học tập phát triển, phần quan trọng việc đánh giá khác biệt phát triển bình thường trẻ em so với trẻ tự kỷ, người thường bị suy giảm khả nhận biết cảm xúc Nhận dạng cảm xúc bước đầu áp dụng lĩnh vực lái xe an toàn, theo dõi sức khỏe người,… Ngoài ra, nhận dạng cảm xúc người cịn ứng dụng phát triển ứng dụng học từ xa có cảm xúc, phát triển ứng dụng tương tác có cảm xúc người máy, phát triển robot thông minh, nhiều ứng dụng an ninh khác Với số vai trò nhận dạng cảm xúc người đề cập phía trên, học viên nhận thấy hướng nghiên cứu nhiều tiềm ứng dụng, nhiều thách thức mặt khoa học Đó lý học viên lựa chọn toán cụ thể lĩnh vực nghiên cứu làm đề tài cho luận văn tốt nghiệp • Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu: - Nghiên cứu liệu chuẩn MIT - Nhận dạng trạng thái cảm xúc khác người bao gồm: trung tính, tức giận, ghét bỏ, đau buồn, đồng cảm, lãng mạn, vui vẻ tơn kính từ liệu nêu - Tổ chức lại liệu đầu vào MIT nhằm nâng cao kết nhận dạng cảm xúc • Tóm tắt đọng nội dung đóng góp tác giả: - Luận văn tốt nghiệp áp dụng số kỹ thuật học máy truyền thống nhằm nhận dạng trạng thái cảm xúc khác từ tín hiệu sinh học chuẩn MIT, qua lựa chọn kỹ thuật cho kết khả quan - Đưa phương pháp tổ chức lại liệu đầu vào nhằm nâng cao chất lượng kết nhận dạng Trong đó, thực nhận dạng cảm xúc đoạn liệu ngắn, thực chồng chập liệu vào nhằm nâng cao chất lượng nhận dạng, tìm tỉ lệ chồng chập tối ưu theo nghĩa để đảm bảo có kết nhận dạng tốt trở lên • Phương pháp nghiên cứu: - Nghiên cứu lý thuyết kết hợp với thực nghiệm để so sánh khả kỹ thuật khác - Đề xuất phương pháp riêng, sử dụng công cụ kiểm chứng nhằm đánh giá tính đắn hiệu đề xuất • Kết luận: Nội dung luận văn thực nhiệm vụ nghiên cứu đặt ra, bao gồm tìm hiểu liệu MIT, tìm hiểu kỹ thuật trích chọn đặc trưng định nhằm thực toán nhận dạng cảm xúc; thực ý tưởng chồng chập liệu nhằm nâng cao chất lượng nhận dạng; thử nghiệm nhiều tỉ lệ chồng chập khác để đánh giá tỉ lệ chồng chập tối ưu Các kết bước đầu thu khả quan, đáp ứng yêu cầu đặt luận văn HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC 1.1 Nhận dạng cảm xúc thông qua tín hiệu giọng nói 1.2 Nhận dạng cảm xúc thông qua biểu cảm khuôn mặt 1.3 Nhận dạng cảm xúc thơng qua tín hiệu sinh học CHƯƠNG HỌC MÁY VÀ ỨNG DỤNG TRONG NHẬN DẠNG CẢM XÚC 10 2.1 2.2 2.3 Lựa chọn đặc trưng 11 2.1.1 Recursive Feature Elimination (RFE) 12 2.1.2 Pearson Correlation Chi-Squared 13 Phân lớp định nhận dạng 14 2.2.1 Support Vector Machine (SVM) 14 2.2.2 Linear Discriminant Analysis (LDA) 16 2.2.3 Decision Tree (DT) 17 2.2.4 Random Forest (RF) 18 Áp dụng với liệu MIT 19 2.3.1 Các bước thực 19 2.3.2 Thử nghiệm lựa chọn mơ hình phân lớp phù hợp 23 CHƯƠNG TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC 26 3.1 Tỉ lệ chồng chập 10% 27 3.2 Tỉ lệ chồng chập 20% 28 3.3 Tỉ lệ chồng chập 30% 30 3.4 Tỉ lệ chồng chập 40% 31 3.5 Tỉ lệ chồng chập 50% 32 3.6 Tỉ lệ chồng chập 60% 34 3.7 Tỉ lệ chồng chập 70% 35 3.8 Tỉ lệ chồng chập 80% 36 3.9 Tỉ lệ chồng chập 90% 38 3.10 Phân tích xác định tỉ lệ chồng chập tối ưu 39 3.11 Kết nhận dạng với trạng thái cảm xúc 40 3.12 Nhận dạng với mơ hình ba trạng thái cảm xúc 47 KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN 49 Tài liệu tham khảo DANH MỤC HÌNH VẼ Hình 1.1 Mơ hình trạng thái cảm xúc [1] Hình 1.2 Một số trạng thái cảm xúc qua biểu khuôn mặt [6] Hình 1.3 Vị trí gắn cảm biến sinh học [12] Hình 1.4 Các tín hiệu tương ứng với trạng thái cảm xúc trung tính Hình 1.5 Các tín hiệu tương ứng với trạng thái cảm xúc tức giận Hình 1.6 Các tín hiệu tương ứng với trạng thái cảm xúc ghét bỏ Hình 1.7 Các tín hiệu tương ứng với trạng thái cảm xúc đau buồn Hình 1.8 Các tín hiệu tương ứng với trạng thái cảm xúc đồng cảm Hình 1.9 Các tín hiệu tương ứng với trạng thái cảm xúc lãng mạn Hình 1.10 Các tín hiệu tương ứng với trạng thái cảm xúc vui vẻ Hình 1.11 Các tín hiệu tương ứng với trạng thái cảm xúc tơn trọng Hình 2.1 Học máy ứng dụng học máy [18] 10 Hình 2.2 Lựa chọn đặc trưng 12 Hình 2.3 Sơ đồ hoạt động thuật tốn RFE 13 Hình 2.4 Đường thẳng phân cách điểm liệu lớp [20] 15 Hình 2.5 Chiếu liệu lên không gian nhiều chiều 15 Hình 2.6 Phép chiếu lên đường thẳng [21] 16 Hình 2.7 Mơ hình Decision Tree [23] 17 Hình 2.8 Mơ hình Random Forest [24] 19 Hình 2.9 Ảnh hưởng lựa chọn đặc trưng lên mơ hình phân lớp 21 Hình 2.10 Phương pháp hiệu chỉnh tham số mơ hình cross-validation 22 Hình 2.11 Cách chia liệu với n = 23 Hình 2.12 Kết nhận dạng mơ hình SVM với liệu khơng chồng chập 24 Hình 2.13 Kết nhận dạng mơ hình RF với liệu khơng chồng chập 24 Hình 3.1 Chia liệu khơng chồng chập 26 Hình 3.2 Chia liệu áp dụng kỹ thuật chồng chập 26 Hình 3.3 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 10% 27 Hình 3.4 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 10% 28 Hình 3.5 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 20% 29 Hình 3.6 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 20% 29 Hình 3.7 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 30% 30 Hình 3.8 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 30% 30 Hình 3.9 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 40% 31 Hình 3.10 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 40% 32 Hình 3.11 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 50% 33 Hình 3.12 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 50% 33 Hình 3.13 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 60% 34 Hình 3.14 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 60% 34 Hình 3.15 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 70% 35 Hình 3.16 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 70% 36 Hình 3.17 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 80% 37 Hình 3.18 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 80% 37 Hình 3.19 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 90% 38 Hình 3.20 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 90% 38 Hình 3.21 Tổng hợp kết nhận dạng cảm xúc thay đổi tỉ lệ chồng chập 39 Hình 3.22 Kết nhận dạng cảm xúc trung tính với tỉ lệ chồng chập 40 Hình 3.23 Kết nhận dạng cảm xúc tức giận với tỉ lệ chồng chập 41 Hình 3.24 Kết nhận dạng cảm xúc ghét bỏ với tỉ lệ chồng chập 42 Hình 3.25 Kết nhận dạng cảm xúc đau buồn với tỉ lệ chồng chập 43 Hình 3.26 Kết nhận dạng cảm xúc đồng cảm với tỉ lệ chồng chập 44 Hình 3.27 Kết nhận dạng cảm xúc lãng mạn với tỉ lệ chồng chập 45 Hình 3.28 Kết nhận dạng cảm xúc vui vẻ với tỉ lệ chồng chập 46 Hình 3.29 Kết nhận dạng cảm xúc tôn trọng với tỉ lệ chồng chập 47 Hình 3.30 Kết nhận dạng trạng thái cảm xúc với SVM 48 Hình 3.31 Kết nhận dạng trạng thái cảm xúc với RF 48 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC 3.9 Tỉ lệ chồng chập 90% Khi sử dụng giải pháp chồng chập liệu với tỉ lệ 90%, số lượng mẫu huấn luyện thu tổng cộng 12960 mẫu Sử dụng tập liệu chồng chập để huấn luyện thử nghiệm hai mơ hình SVM Random Forest Hình 3.19 Hình 3.20 biểu diễn kết nhận dạng thu sử dụng liệu với tỉ lệ chồng chập 90% Hình 3.19 Kết nhận dạng mơ hình SVM tỉ lệ chồng chập 90% Hình 3.20 Kết nhận dạng mơ hình RF tỉ lệ chồng chập 90% 38 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Tỉ lệ nhận dạng (trung bình cho loại cảm xúc khác nhau) mơ hình SVM Random Forest 83,75% 86,25% Đối với mơ hình SVM, hai trạng thái cảm xúc tức giận tôn trọng cho kết nhận dạng tốt (95%), hai trạng thái cảm xúc lãng mạn vui vẻ cho tỉ lệ thấp (75%) Tương tự, mô hình Random Forest nhận dạng tốt với trạng thái cảm xúc tôn trọng (100%) thấp với trạng thái cảm xúc vui vẻ (70%) F1-Score mô hình 83,80% 86,28% 3.10 Phân tích xác định tỉ lệ chồng chập tối ưu Kết nhận dạng trung bình cho trạng thái cảm xúc thu từ thử nhiệm tỉ lệ chồng chập khác trình bày mục từ 3.1 tới 3.9, tổng hợp qua Bảng 3.2 dạng biểu đồ Hình 3.21 Bảng 3.2 Kết nhận dạng mơ hình SVM RF Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 71.88 73.75 76.25 78.12 78.75 78.75 78.75 80.00 81.88 83.75 RF (%) 75.00 75.62 76.25 77.50 78.75 79.38 79.38 81.88 83.75 86.25 Hình 3.21 Tổng hợp kết nhận dạng cảm xúc thay đổi tỉ lệ chồng chập Từ biểu đồ thấy tỉ lệ chồng chập tăng lên chất lượng nhận dạng mơ hình tăng theo, từ tỉ lệ 71,88% chưa chồng chập lên đến 83,75% tương ứng với tỉ lệ chồng chập từ 10% tới 90% mơ hình SVM.Với mơ hình Random Forest, tỉ lệ nhận dạng tăng từ 75,00% lên 86,25% tỉ lệ chồng chập liệu vào tăng từ 10% lên 90% mơ Random Forest Khi tỉ lệ chồng chập từ 50% trở lên, chất lượng nhận dạng mơ hình cao (trên 78%), mơ hình Random Forest ln cho kết cao mơ hình SVM 39 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC từ 1-3% Khi tỉ lệ chồng chập từ 70% trở lên, kết nhận hai mô hình lớn 80% Như vậy, để có kết nhận dạng tốt (từ 80% trở lên) cho hai mơ hình phân lớp SVM RF, liệu vào cần có tỉ lệ chồng chập từ 70% trở lên Xét đặc trưng sinh lý học, việc xuất trì trạng thái cảm xúc thường không mà diễn tiến từ từ, ngoại trừ trạng thái “giật mình” có kích thích đột ngột xảy Do đó, việc trì tỉ lệ chồng chập đủ lớn (từ 70% trở lên) khiến đặc trưng tín hiệu thể tốt thống tập liệu huấn luyện, kết nhận dạng tốt Song cần cân nhắc sử dụng tỉ lệ chồng chập lớn tới 90% để phù hợp với toán cụ thể 3.11 Kết nhận dạng với trạng thái cảm xúc • Trạng thái cảm xúc trung tính Bảng 3.3 Tỉ lệ nhận dạng trạng thái cảm xúc trung tính Tỉ lệ (%) 10 20 30 40 50 60 SVM (%) 80.00 85.00 90.00 95.00 90.00 95.00 100 RF (%) 70 80 90 90.00 90.00 90.00 90.00 90.00 80.00 85.00 90.00 95.00 90.00 90.00 95.00 90.00 Hình 3.22 Kết nhận dạng cảm xúc trung tính với tỉ lệ chồng chập Với trạng thái cảm xúc trung tính, tỉ lệ nhận dạng trung bình mơ hình SVM 90,5%, cao so với tỉ lệ nhận dạng trung bình mơ hình Random Forest với 89,5% Đây trạng thái cảm xúc có tỉ lệ nhận dạng tốt (ln > 80%) • Trạng thái xảm xúc tức giận 40 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Bảng 3.4 Tỉ lệ nhận dạng trạng thái cảm xúc tức giận Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 85.00 85.00 80.00 85.00 85.00 80.00 85.00 90.00 80.00 95.00 RF (%) 85.00 85.00 90.00 85.00 95.00 85.00 85.00 85.00 95.00 90.00 Hình 3.23 Kết nhận dạng cảm xúc tức giận với tỉ lệ chồng chập Với trạng thái cảm xúc tức giận, tỉ lệ nhận dạng trung bình mơ hình SVM 85,0%, thấp so với tỉ lệ nhận dạng trung bình mơ hình Random Forest với 88,0% Trạng thái cảm xúc có tỉ lệ nhận dạng tốt, dao động ngưỡng từ 80% đến 95% • Trạng thái cảm xúc ghét bỏ Bảng 3.5 Tỉ lệ nhận dạng trạng thái cảm xúc ghét bỏ Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 80.00 80.00 90.00 65.00 85.00 90.00 65.00 75.00 85.00 80.00 RF (%) 75.00 75.00 85.00 60.00 85.00 70.00 75.00 80.00 85.00 90.00 41 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.24 Kết nhận dạng cảm xúc ghét bỏ với tỉ lệ chồng chập Với trạng thái cảm xúc ghét bỏ, tỉ lệ nhận dạng trung bình mơ hình SVM 79,5%, cao so với tỉ lệ nhận dạng trung bình mơ hình Random Forest với 78,0% Trạng thái cảm xúc có tỉ lệ nhận dạng trung bình, dao động lớn ngưỡng từ 60% đến 90% • Trạng thái cảm xúc đau buồn Bảng 3.6 Tỉ lệ nhận dạng trạng thái cảm xúc đau buồn Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 55.00 55.00 70.00 70.00 75.00 65.00 60.00 75.00 80.00 80.00 RF (%) 70.00 65.00 65.00 70.00 70.00 75.00 70.00 70.00 70.00 80.00 42 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.25 Kết nhận dạng cảm xúc đau buồn với tỉ lệ chồng chập Với trạng thái cảm xúc đau buồn, tỉ lệ nhận dạng trung bình mơ hình SVM 68,5%, thấp so tỉ lệ nhận dạng trung bình mơ hình Random Forest với 70,0% Trạng thái cảm xúc cho tỉ lệ nhận dạng thấp, thấp 55,0% (khi tỉ lệ chồng chập 10%) Với mơ hình Random Forest, tỉ lệ nhận dạng gần không phụ thuộc vào tỉ lệ chồng chập, dao động quanh ngưỡng 70% • Trạng thái cảm xúc đồng cảm Bảng 3.7 Tỉ lệ nhận dạng trạng thái cảm xúc đồng cảm Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 70.00 75.00 75.00 80.00 75.00 65.00 90.00 70.00 95.00 80.00 RF (%) 70.00 70.00 65.00 85.00 75.00 75.00 80.00 80.00 80.00 85.00 43 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.26 Kết nhận dạng cảm xúc đồng cảm với tỉ lệ chồng chập Với trạng thái cảm xúc đồng cảm, tỉ lệ nhận dạng trung bình mơ hình SVM 77,5%, cao so với tỉ lệ nhận dạng trung bình mơ hình Random Forest với 76,5% Trạng thái cảm xúc cho tỉ lệ nhận dạng trung bình, dao động chủ yếu ngưỡng từ 65% đến 85% • Trạng thái cảm xúc lãng mạn Bảng 3.8 Tỉ lệ nhận dạng trạng thái cảm xúc lãng mạn Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 75.00 70.00 55.00 75.00 65.00 70.00 80.00 75.00 70.00 75.00 RF (%) 65.00 65.00 60.00 75.00 45.00 65.00 65.00 75.00 75.00 85.00 44 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.27 Kết nhận dạng cảm xúc lãng mạn với tỉ lệ chồng chập Với trạng thái cảm xúc lãng mạn, tỉ lệ nhận dạng trung bình mơ hình SVM 71,0%, tốt đáng kể so với tỉ lệ nhận dạng trung bình mơ hình Random Forest với 67,5% Trạng thái cảm xúc cho tỉ lệ nhận dạng trung bình với mơ hình SVM (dao động khoảng 65-80%) lại thấp với mơ hình Random Forest (từ 50% đến 70%) • Trạng thái cảm xúc vui vẻ Bảng 3.9 Tỉ lệ nhận dạng trạng thái cảm xúc vui vẻ Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 45.00 55.00 65.00 70.00 65.00 75.00 70.00 75.00 70.00 75.00 RF (%) 55.00 60.00 75.00 65.00 70.00 75.00 75.00 75.00 70.00 70.00 45 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.28 Kết nhận dạng cảm xúc vui vẻ với tỉ lệ chồng chập Với trạng thái cảm xúc vui vẻ, tỉ lệ nhận dạng trung bình mơ hình SVM 66,5%, thấp so với tỉ lệ nhận dạng trung bình mơ hình Random Forest 69,0% Trạng thái cảm xúc cho tỉ lệ nhận dạng thấp với mơ hình SVM Random Forest (chỉ từ 45% tới 75%, tùy vào tỉ lệ chồng chập liệu) Với RF, tỉ lệ chồng chập liệu khoảng 50%-70%, kết nhận dạng tốt (bão hòa với tỉ lệ chồng chập này) • Trạng thái cảm xúc tôn trọng Bảng 3.10 Tỉ lệ nhận dạng trạng thái cảm xúc tôn trọng Tỉ lệ (%) 10 20 30 40 50 60 70 80 90 SVM (%) 85.00 85.00 85.00 85.00 90.00 90.00 80.00 90.00 85.00 95.00 RF (%) 90.00 95.00 90.00 95.00 100 95.00 95.00 100 100 100 46 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.29 Kết nhận dạng cảm xúc tôn trọng với tỉ lệ chồng chập Với trạng thái cảm xúc tôn trọng, tỉ lệ nhận dạng trung bình (tính tất tỉ lệ chồng chập, từ 0% tới 90%) mơ hình SVM 87,0%, cịn với mơ hình Random Forest cao, tới 96,0% Trạng thái cảm xúc cho tỉ lệ nhận dạng tốt với hai mơ hình SVM Random Forest, mơ hình Random Forest cho thấy khả nhận dạng vượt trội (lớn 9%) so với mơ hình SVM Mặt khác, trạng thái cảm xúc có tỉ lệ nhận dạng gần không phụ thuộc vào tỉ lệ chồng chập liệu Qua nhận xét tỉ lệ nhận dạng với trạng thái cảm xúc, thay đổi tỉ lệ chồng chập, cho thấy hiệu tổng quát giải pháp chồng chập liệu, nhằm làm giàu thơng tin thống hóa đặc trưng quan trọng cho nhận dạng Song số trạng thái cảm xúc, gần việc thay đổi tỉ lệ chồng chập không ảnh hưởng nhiều tới kết nhận dạng Điều mở tốn tìm hiểu kỹ đặc trưng tín hiệu sinh học tương ứng với trạng thái cảm xúc khác 3.12 Nhận dạng với mơ hình ba trạng thái cảm xúc Từ trạng thái cảm xúc riêng biệt liệu MIT, gộp lại đề xuất mơ hình cảm xúc ba trạng thái, gồm: tích cực, trung lập tiêu cực Trong đó, ba cảm xúc đồng cảm, lãng mạn vui vẻ nhóm vào trạng thái cảm xúc tích cực; hai cảm xúc trung tính tơn trọng xếp vào trạng thái trung lập; ba cảm xúc lại tức giận, ghét bỏ đau buồn thuộc trạng thái tiêu cực Kết nhận dạng mơ hình SVM Random Forest với trạng thái cảm xúc mơ hình chúng tơi đề xuất thể Hình 3.30 Hình 3.31 Ở đây, chúng tơi sử dụng liệu huấn luyện có độ dài 10s, với tỉ lệ chồng chập 90% 47 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Hình 3.30 Kết nhận dạng trạng thái cảm xúc với SVM Hình 3.31 Kết nhận dạng trạng thái cảm xúc với RF Khi nhận dạng mơ hình ba trạng thái cảm xúc, tỉ lệ nhận dạng trung bình cao, 91,25% sử dụng mơ hình SVM 92,50% sử dụng mơ hình Random Forest F1-Score mơ hình 91,39% 92,62% Với mơ hình cảm xúc trạng thái riêng biệt hơn, khiến việc nhận dạng dễ dàng so với phải nhận dạng loại cảm xúc khác Mặt khác, kết thu thể tính hợp lý đề xuất chúng tơi việc nhóm trạng thái cảm xúc khác vào mơ hình ba trạng thái (tích cực, tiêu cực trung lập) 48 TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN • Kết luận chung: Luận văn đưa giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng tín hiệu sinh học cách tổ chức lại liệu đầu vào Kết nghiên cứu đảm bảo yêu cầu đặt ban đầu, bao gồm lựa chọn kỹ thuật phân loại cảm xúc thích hợp, tổ chức lại liệu huấn luyện nhằm nâng cao chất lượng nhận dạng, thử nghiệm đánh giá kết thu Các kết thử nghiệm cho thấy, tỉ lệ chồng chập từ 70% trở lên, kết nhận dạng đúng, trung bình ln lớn 80% cho trạng thái cảm xúc khác Với tỉ lệ chồng chập 90% cho tỉ lệ nhận dạng lên tới với 86.25% Bên cạnh đó, học viên tổ chức phân chia lại trạng thái cảm xúc liệu MIT thành lớp cảm xúc xét theo tính chất, bao gồm tích cực, tiêu cực trung tính Kết nhận dạng trạng thái cảm xúc áp dụng nguyên tắc chồng chập liệu với tỉ lệ 90% thu tỉ lệ xác lên đến 92,5% Luận văn cho thấy tính khả thi phương pháp đề việc nhận dạng cảm xúc thời gian ngắn Các kết mở khả xây dựng ứng dụng nhận dạng cảm xúc thời gian thực • Hướng phát triển đề tài: Do hạn chế mặt thời gian, phương pháp nghiên cứu luận văn áp dụng liệu cảm xúc MIT, với thuật tốn phân lớp khác học máy Có thể mở rộng hướng nghiên cứu theo số đề xuất đây: + Áp dụng thuật toán lựa chọn đặc trưng phân lớp khác liệu MIT + Mỗi mơ hình cho kết ưu mơ hình cịn lại số loại cảm xúc Từ đó, nghiên cứu kết hợp mơ hình cách thích hợp để nâng cao chất lượng nhận dạng cho tất loại cảm xúc khác + Áp dụng phương pháp đề lên tập liệu mẫu khác, nhằm đánh giá kỹ tính tồn diện giải pháp đề xuất + Thiết kế thu liệu đa kênh, thử nghiệm khả nhận dạng cảm xúc online đoạn liệu ngắn 49 Tài liệu tham khảo [1] P.J.Lang, "The emotion probe: Studies of motivation and attention Am Psychol 1995, 50, 372–385" [2] "B Schuller, G Rigoll and M Lang, "Hidden Markov model-based speech emotion recognition," 2003 International Conference on Multimedia and Expo ICME '03 Proceedings (Cat No.03TH8698), Baltimore, MD, USA, 2003, pp I-401, doi: 10.1109/ICME.2003.1220939" [3] "Tsang-Long Pao, Yu-Te Chen, Jun-Heng Yeh and Pei-Jia Li, "Mandarin Emotional Speech Recognition Based on SVM and NN," 18th International Conference on Pattern Recognition (ICPR'06), Hong Kong, China, 2006, pp 1096-1100, doi: 10.1109/ICPR.2006.780." [4] "T L Nwe, N T Hieu and D K Limbu, "Bhattacharyya distance based emotional dissimilarity measure for emotion classification," 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, Canada, 2013, pp 75127516, do" [5] "E Mower, M J Matarić and S Narayanan, "A Framework for Automatic Human Emotion Classification Using Emotion Profiles," in IEEE Transactions on Audio, Speech, and Language Processing, vol 19, no 5, pp 1057-1070, July 2011, doi: 10.1109/TASL.2010.207" [6] "Kwong, J., Garcia, F.C., Abu, P., & Reyes, R.S (2018) Emotion Recognition via Facial Expression: Utilization of Numerous Feature Descriptors in Different Machine Learning Algorithms TENCON 2018 - 2018 IEEE Region 10 Conference, 20452049." [7] "B A Dixit and A N Gaikwad, "Statistical moments based facial expression analysis," 2015 IEEE International Advance Computing Conference (IACC), Banglore, India, 2015, pp 552-557, doi: 10.1109/IADCC.2015.7154768." [8] "Kumar, S.Ashok & K K, Thyagharajan (2013) Facial Expression Recognition with Auto-Illumination Correction 843-846 10.1109/ICGCE.2013.6823551." [9] "M Żarkowski, "Identification-driven emotion recognition system for a social robot," 2013 18th International Conference on Methods & Models in Automation & Robotics (MMAR), Miedzyzdroje, Poland, 2013, pp 138-143, doi: 10.1109/MMAR.2013.6669895." [10] "S Liu and W Wang, "The Application Study of Learner's Face Detection and Location in the Teaching Network System Based on Emotion Recognition," 2010 Second International Conference on Networks Security, Wireless Communications and Trusted Computing, Wuh" [11] "Cohen, Ira & Garg, Ashutosh (2000) Emotion Recognition from Facial Expressions using Multilevel HMM." [12] "Shu, L.; Xie, J.; Yang, M.; Li, Z.; Li, Z.; Liao, D.; Xu, X.; Yang, X A Review of Emotion Recognition Using Physiological Signals Sensors 2018, 18, 2074" [13] "S Wu, X Xu, L Shu and B Hu, "Estimation of valence of emotion using two frontal EEG channels," 2017 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), Kansas City, MO, USA, 2017, pp 1127-1130, doi: 10.1109/BIBM.2017.8217815." [14] "Li, Z.; Tian, X.; Shu, L.; Xu, X.; Hu, B Emotion Recognition from EEG Using RASM and LSTM In Proceedings of the International Conference on Internet Multimedia Computing and Service, Tsingtao, China, 23–25 August 2017; pp 310–318." [15] "Zong, C.; Chetouani, M Hilbert-Huang transform based physiological signals analysis for emotion recognition In Proceedings of the IEEE International Symposium on Signal Processing and Information Technology, Ajman, UAE, 14–17 December 2010; pp 334–339." [16] "Lan, Z.; Sourina, O.; Wang, L.; Liu, Y Real-time EEG-based emotion monitoring using stable features Vis Comput 2016, 32, 347–358." [17] "R W Picard, E Vyzas and J Healey, "Toward machine emotional intelligence: analysis of affective physiological state," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 23, no 10, pp 1175-1191, Oct 2001, doi: 10.1109/34.954607." [18] "https://therbootcamp.github.io/ML_2019May/_sessions/WhatIsML/WhatIsML.html," [Online] [19] "Support [Online] Vector Machine, https://machinelearningcoban.com/2017/04/09/smv/," [20] "Bruno.S, "An Introduction to Support Vector Machines (SVM)", 22 June 2017, https://monkeylearn.com/blog/introduction-to-support-vector-machines-svm," [Online] [21] "Linear Discriminant Analysis, https://machinelearningcoban.com/2017/06/30/lda/," [Online] [22] "Decision Tree, https://machinelearningcoban.com/2018/01/14/id3/," [Online] [23] "Decision Tree Classification Algorithm, https://www.javatpoint.com/machinelearning-decision-tree-classification-algorithm," [Online] [24] "Random Forest Algorithm, https://www.javatpoint.com/machine-learning-randomforest-algorithm," [Online] ... CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC CHƯƠNG TỔ CHỨC DỮ LIỆU ĐẦU VÀO NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CẢM XÚC Cách chia tách liệu trình bày chương 2, chuẩn hóa đoạn liệu nhận dạng. .. lại liệu đầu vào nhằm nâng cao chất lượng kết nhận dạng Trong đó, thực nhận dạng cảm xúc đoạn liệu ngắn, thực chồng chập liệu vào nhằm nâng cao chất lượng nhận dạng, tìm tỉ lệ chồng chập tối ưu. .. XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Tiến Nam Đề tài luận văn: Tối ưu hóa liệu mơ hình phân lớp nhằm nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT