Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của mit và bộ dữ liệu deap

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT liệu DEAP PHẠM VĂN DŨNG dung.pv202248M@sis.hust.edu.vn Ngành Kỹ thuật điều khiển tự động hóa Giảng viên hướng dẫn: TS Cung Thành Long Trường: Điện - Điện tử HÀ NỘI, 4/2023 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Phạm Văn Dũng Đề tài luận văn: Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT liệu DEAP Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số HV: 20202248M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày… .………… với nội dung sau: x Chỉnh sửa lại lỗi tả luận văn, chỉnh sửa lỗi font chữ với cơng thức tốn học x Đổi thứ tự hai đoạn văn mục 3.3.1 x Sửa lại, dịch Bảng 3.1, Hình 3.8, 3.9 sang tiếng Việt x Thêm mô tả phương pháp Leave-One-Out Cross-validation Hình 3.14, thêm lưu đồ thuật tốn cho phương pháp đề xuất luận văn Hình 3.15 x Thêm danh mục cơng trình liên quan cơng bố trình thực luận văn phụ lục A4 Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Tên đề tài: Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng liệu sinh học MIT liệu DEAP Giảng viên hướng dẫn: TS Cung Thành Long Giảng viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Lời đầu tiên, tác giả xin gửi lời cảm ơn chân thành đến thầy cô, cán nhân viên trường nói chung thầy cô giảng viên Trường Điện - Điện tử nói riêng giảng dạy truyền đạt cho tác giả nhiều kiến thức quý báu suốt trình học tập trường Tác giả xin kính chúc thầy cô thật nhiều sức khỏe, gặt hái nhiều thành công, danh hiệu để tiếp tục truyền đạt kiến thức cho hệ sinh viên Bách Khoa sau Để hoàn thành luận văn này, tác giả xin chân thành cảm ơn Thầy - TS Cung Thành Long bạn sinh viên DREAM LAB tận tình động viên, bảo, giúp đỡ tháo gỡ khúc mắc suốt trình thực luận văn Bên cạnh đó, khơng thể khơng nhắc tới hỗ trợ từ gia đình người bạn thân thiết Mọi người đồng hành, khích lệ hậu phương vững cho tác giả vào giai đoạn khó khăn Tóm tắt nội dung luận văn Nhận dạng cảm xúc có tiềm ứng dụng thực tiễn lớn lĩnh vực kiểm tra an ninh, phát nói dối, phát triển robot có khả nhận dạng, hiểu giao tiếp có cảm xúc với người, xây dựng ứng dụng thấu cảm phục vụ đào tạo từ xa, ứng dụng hỗ trợ lái xe, phi công bay đường dài, ứng dụng chăm sóc sức khỏe, … nhiều ứng dụng khác Trong lĩnh vực nhận dạng cảm xúc, phương pháp nhận dạng cảm xúc sử dụng tín hiệu sinh học (physiological signals) có nhiều ưu điểm so với phương pháp tiền nhiệm khác sử dụng ảnh biểu cảm gương mặt hay sử dụng giọng nói Tuy nhiên, phương pháp cịn nhiều khó khăn, thách thức cần nghiên cứu giải quyết, đặc biệt liệu Do đó, mục tiêu luận văn nhằm đưa số phương pháp giúp cải thiện chất lượng nhận dạng cảm xúc hai liệu MIT DEAP Kết luận văn phần đạt mục tiêu đề đưa phương pháp nâng cao chất lượng nhận dạng liệu nêu Đối với liệu MIT, áp dụng kỹ thuật phân đoạn liệu, tập liệu chồng chập không chồng chập xây dựng Thuật toán Random Forest sử dụng đặc trưng thống kê giúp đạt độ xác nhận dạng 97.72% với trạng thái cảm xúc Khi sử dụng tín hiệu EEG liệu DEAP, phương pháp biến đổi EEG-slic-graph đề xuất cho phép lựa chọn số lượng nút đầu vào đồ thị giúp làm giảm kích thước mơ hình Những mơ hình mạng nơ ron Spectral Convolutional Graph huấn luyện đạt độ xác cho hai nhãn Valence /arousal 93.29 %/92.7 % với subject-independent 60.12 %/62.39% với subject-dependent Các kết tương đương tốt so với cơng trình cơng bố Hướng mở rộng đề tài sử dụng kiến trúc mạng GCN khác ưu việt hơn, thử nghiệm liệu khác với số lượng kênh EEG lớn kiểm chứng kết Cuối cùng, sử dụng phương pháp nhận dạng thử nghiệm để phát triển thuật toán nhận dạng online, ứng dụng tương tác người máy có cảm xúc HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC SỬ DỤNG CÁC TÍN HIỆU SINH HỌC 1.1 Giới thiệu chung 1.2 Các mơ hình cảm xúc Mơ hình cảm xúc gián đoạn Mơ hình khơng gian cảm xúc đa chiều 1.3 Ưu điểm, nhược điểm phương pháp nhận dạng cảm xúc Nhận dạng cảm xúc sử dụng hình ảnh Nhận dạng cảm xúc sử dụng giọng nói Nhận dạng cảm xúc sử dụng tín hiệu sinh học 1.4 Khó khăn phương pháp nhận dạng cảm xúc sử dụng tín hiệu sinh học 1.5 học Quy trình tốn nhận dạng cảm xúc sử dụng tín hiệu sinh Tiền xử lý liệu Áp dụng kỹ thuật phân lớp Ra định nhận dạng CƠ SỞ LÝ THUYẾT 11 2.1 Một số kỹ thuật trích chọn đặc trưng, lựa chọn đặc trưng 11 Sequential Feature Algorithms (SFAs) 11 Principal Components Analysis (PCA) 12 Linear Discriminant Analysis (LDA) 14 2.2 Kỹ thuật tăng cường liệu (data augmentation) 16 Phương pháp sinh liệu từ dataset sẵn có 17 Phương pháp phân đoạn liệu (segmenting) 18 Phương pháp thêm nhiễu vào tín hiệu 19 2.3 Một số kỹ thuật phân lớp 20 Softmax Regression 20 Support Vector Machine (SVM) 25 Random Forest 30 2.4 Mạng nơ ron nhân tạo 31 Multilayer Perceptrons - MLP 32 Mạng nơ ron tích chập (Convolutional Neural Network - CNN) 37 Mạng nơ ron hồi quy (Recurrent Neural Network - RNN) 41 Mạng nơ ron đồ thị (Graph Neural Network) 46 2.5 Bài toán nhận dạng cảm xúc nội dung luận văn 53 NHẬN DẠNG CẢM XÚC TRÊN BỘ DỮ LIỆU MIT VÀ BỘ DỮ LIỆU DEAP 55 3.1 Nhận dạng cảm xúc liệu MIT 55 Đặc điểm liệu cảm xúc MIT 55 Tiền xử lý liệu 55 Tính tốn đặc trưng 56 liệu MIT 3.2 Mơ hình kết phân loại trạng thái cảm xúc 57 Nhận dạng cảm xúc liệu DEAP 60 Đặc điểm liệu DEAP 60 Rò rỉ liệu (data leakage) phương pháp tăng cường liệu huấn luyện mơ hình nhận dạng cảm xúc 61 Các mơ hình mạng nơ ron đồ thị (GCNN) nhận dạng sắc thái cảm xúc liệu DEAP 63 Phương pháp chuyển đổi EEG-slic-graph cho nhận dạng cảm xúc sử dụng liệu DEAP 67 KẾT LUẬN CHUNG 75 TÀI LIỆU THAM KHẢO 77 PHỤ LỤC 81 DANH MỤC HÌNH VẼ Hình 1.1 Bánh xe cảm xúc Plutchik Hình 1.2 Không gian cảm xúc chiều Hình 1.3 Khơng gian cảm xúc chiều Hình 1.4 Quy trình tốn nhận dạng cảm xúc sử dụng tín hiệu sinh học Hình 1.5 Mơ hình kết hợp (ensemble model) 10 Hình 2.1 Thuật tốn PCA 12 Hình 2.2 Thuật toán LDA 15 Hình 2.3 Đồ thị hàm sigmoid 20 Hình 2.4 Mơ hình hồi quy logistic 22 Hình 2.5 Mơ hình hồi quy softmax 23 Hình 2.6 Đường thẳng phân chia liệu không gian chiều 25 Hình 2.7 Lề (margin) thuật tốn SVM 26 Hình 2.8: Bài tốn hard-margin SVM với điểm gây nhiễu 28 Hình 2.9 Dữ liệu khơng phân biệt tuyến tính 29 Hình 2.10 Mô tả cách hoạt động kernel SVM 29 Hình 2.11 Cấu trúc nơ-ron sinh học 32 Hình 2.12 Perceptron 32 Hình 2.13 Biểu diễn nơ ron sinh học góc nhìn tốn 33 Hình 2.14 Multilayer perceptron - mạng nơ ron với lớp ẩn 34 Hình 2.15 Ví dụ kết nối đầy đủ (dưới) kêt nối thưa (trên) 39 Hình 2.16 Cách tính tích chập ảnh 39 Hình 2.17 Minh họa phép tốn max pooling average pooling ảnh 41 Hình 2.18 Biểu đồ tính toán mạng RNN 42 Hình 2.19 Cấu trúc lớp LSTM so với RNN 42 Hình 2.20 Chi tiết cấu trúc lớp LSTM 43 Hình 2.21 Cơ chế attention toán dịch máy sử dụng RNN 45 Hình 2.22 Một số cách biểu diễn loại liệu theo dạng đồ thị 47 Hình 2.23 Hai loại mạng GCN 48 Hình 2.24 Cạnh nút đồ thị 48 Hình 2.25 Biểu diễn ma trận liền kề cho đồ thị có hướng 49 Hình 2.26 Biểu diễn ma trận bậc ma trận Laplacian 49 Hình 2.27 Ma trận có hướng vô hướng 50 Hình 2.28 Mơ hình mạng GCN 51 Hình 2.29 Xử lý liệu mạng CNN GCN 53 Hình 3.1 Các tín hiệu sinh học liệu MIT 55 Hình 3.2 Đồ thị điểm CV thuật toán SFFS SBFS 57 Hình 3.3 Đồ thị hàm ReLU 58 Hình 3.4 Các confusion matrix kết phân loại RF 59 Hình 3.5 Mơ hình ACRNN [9] 62 Hình 3.6 Ví dụ kết nối kênh EEG 64 Hình 3.7 Mơ hình DGCNN 65 Hình 3.8 Quy trình huấn luyện mơ hình DGCNN [7] 66 Hình 3.9 Quy trình huấn luyện mơ hình SparseDGCNN [11] 67 Hình 3.10 Quy trình chuyển từ ảnh dạng lưới truyền thống sang superpixel graph [42] 69 Hình 3.11 Cách xếp vị trí điện cực EEG liệu DEAP không gian chiều, vị trí tơ đỏ điện cực có thơng tin liệu DEAP 69 Hình 3.12 Topology mapping sau sử dụng thuật toán nội suy clough-touch dải tần số EEG 70 Hình 3.13 Topology mappings dải tần số EEG sau phân vùng sử dụng SLIC với số lượng phân vùng 5, 10 70 Hình 3.14 Mơ tả thuật tốn Leave-One-Out Cross-validation 71 Hình 3.15 Lưu đồ thực chuyển đổi EEG-slic-graph 72 DANH MỤC BẢNG BIỂU Bảng 3.1 Cơng thức tính đặc trưng thống kê 56 Bảng 3.2 Kết nhận dạng tập liệu chồng chập không chồng chập 58 Bảng 3.3 Kết độ xác subject-dependent mơ hình ACRNN (accuracy: mean ± std) 63 Bảng 3.4 Kết subject-independent mô hình ACRNN (accuracy: mean) 63 Bảng 3.5 Kết phương pháp DGCNN SparseDGCNN thực lại so với kết công bố [11] nhận dạng trạng thái cao/thấp valence arousal liệu DEAP sử dụng phương pháp LOTO (trung bình độ xác / std) 73 Bảng 3.6 Kết subject-dependent phương pháp đề xuất 73 Bảng 3.7 Kết subject-independent báo, thực lại phương pháp đề xuất 74 với điểm liệu theo W cập nhật trọng số W theo cơng thức sau vịng lặp huấn luyện, việc cập nhật trọng số W giúp tiến gần tới nghiệm toán: W W K wJ ( W; xi , yi ) wW PT 2.5 Với hàm số h chọn hàm sigmoid, đạo hàm J W với điểm đữ liệu xi , yi theo W: wJ ( W; xi , yi ) wW Và công thức cập nhật theo SGD là: hW x  y x T i i PT 2.6 PT 2.7 PT 2.8 W W  K h WT xi  yi xi W W  K yi  h WT xi xi Hay: i 21 Hình 2.4 Mơ hình hồi quy logistic b Mơ hình hồi quy Softmax Tương tự với logistic regression thay đầu phân loại class 1, softmax regression hướng đến việc phân loại nhiều class Tương ứng với mục tiêu đó, ta cần mơ hình xác suất cho với input x , xác suất để điểm liệu rơi vào class đúng: P ci | x; W cao Như cần tính tất xác suất để điểm liệu rơi vào class thể xác suất để input rơi vào class i Vậy điều kiện cần phải dương tổng chúng Ngoài ra, giá trị zi = WT xi lớn xác suất để xi rơi vào class i cao nên ta cần hàm đồng biến Hàm số thỏa mãn điều kiện hàm softmax: e zi C ¦e , i 1, 2, , C PT 2.9 zj j Trong hồi quy softmax, hàm sigmoid hồi quy logistic thay hàm softmax Như giả sử: P( y yi | xi ; W ) PT 2.10 với P( y yi | xi ; W) hiểu xác xuất để điểm liệu x i rơi vào class i biết tham số mơ hình W Sử dụng hàm softmax, ta có C giá trị xác suất tương ứng với C class có xác suất ứng với class mong muốn đạt giá trị cao Các xác suất biểu diễn dạng vector C phần tử, tương ứng nhãn ứng với class i vector y có C phần tử với phần tử thứ i 1và phần tử khác Cách mã hóa gọi one-hot encoding 22 Hình 2.5 Mơ hình hồi quy softmax Hàm mát hồi quy softmax cho điểm liệu xi , y i , tổng quát cho hàm mát hồi quy logistic với C lớp thay lớp: J ( W; xi , y i ) C ¦ y ji log(a ji ) PT 2.11 j với y ji a ji là phần tử thứ j vector (xác suất) y i a i Đầu a i phụ thuộc vào đầu vào x i tham số mơ hình W Với C = 2, ta có hàm mát hồi quy logistic cho điểm liệu x i (thay hàm kích hoạt softmax a hàm sigmoid h ): J ( W)  N ¦ yi log(hi )  (1  yi )log(1  hi N i1 PT 2.12 Nghiệm hồi quy softmax tìm tương tự hồi quy logistic, tính đạo hàm hàm mát J ( W ) theo tham số mơ hình W , cập nhật tham số theo giải thuật Gradien Descent (GD) tới tìm nghiệm Hàm mát cho điểm liệu là: 23 Ji W