Nghiên cứu mô hình nhận biết cảm xúc tính cách dựa trên tín hiệu điện não

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu mơ hình nhận biết cảm xúc, tính cách dựa tín hiệu điện não HÀ VIỆT ANH Anh.hv202838M@sis.hust.edu.vn Ngành Kỹ thuật y sinh Giảng viên hướng dẫn: TS Phạm Phúc Ngọc Trường: Điện – Điện tử HÀ NỘI, 2023 ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu mơ hình nhận biết cảm xúc, tính cách dựa tín hiệu điện não HÀ VIỆT ANH Anh.hv202838M@sis.hust.edu.vn Ngành Kỹ thuật y sinh Giảng viên hướng dẫn: TS Phạm Phúc Ngọc Trường: Điện – Điện tử HÀ NỘI, 2023 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Hà Việt Anh Đề tài luận văn: Nghiên cứu mơ hình nhận biết cảm xúc, tính cách dựa tín hiệu điện não Chuyên ngành: Kỹ thuật Y sinh Mã số SV: 20202838M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày… .………… với nội dung sau: - Đã chỉnh sửa lỗi tả số cụm từ luận văn - Đã chỉnh sửa làm rõ thích hình vẽ bảng biểu - Đã chỉnh sửa, trình bày lại luận văn theo form mẫu - Đã chỉnh sửa số lượng trình bày tài liệu tham khảo theo quy định Giáo viên hướng dẫn TS Phạm Phúc Ngọc CHỦ TỊCH HỘI ĐỒNG TS Nguyễn Việt Dũng Ngày tháng năm 2023 Tác giả luận văn Hà Việt Anh Lời cảm ơn Tôi xin gửi lời cảm ơn chân thành tới giảng viên hướng dẫn khoa học TS Phạm Phúc Ngọc Trong thời gian học tập nghiên cứu, thầy ln quan tâm, tận tình hướng dẫn, bảo động viên Trong nghiên cứu sử dụng phần kết nghiên cứu Lab EEG and Rehabilitation, đồng ý TS Phạm Phúc Ngọc Tôi xin chân thành cảm ơn đến tập thể Lab học viên cao học Đỗ Văn Quân đồng hành q trình thực đề tài Tóm tắt nội dung luận văn Cảm xúc đóng vai trị quan trọng hoạt động xã hội người Nó phương tiện giao tiếp phi ngơn ngữ làm cho sống ngày trở nên sinh động Trong năm gần đây, việc phát phân loại cảm xúc dần thu hút quan tâm nhiều nhà nghiên cứu lĩnh vực cấp thiết, có tiềm phát triển tương lai, kỹ thuật nhận dạng cảm xúc góp phần phát triển dịch vụ điện tử để theo dõi sức khỏe tâm thần Mục tiêu luận văn đề xuất mơ hình nhận biết, phân loại cảm xúc dựa tín hiệu điện não mang tính tối ưu , giảm bớt độ phức tạp cải thiện độ xác so với nghiên cứu trước Tơi đề xuất sử dụng thuật tốn Support Vector Machine (kernel gaussian, k-fold = 5) với đặc trưng Differential Entropy, Hệ số tương quan ASM(Asymmetry feature) vị trí điện cực Fp1, Fp2, F3, F4 để phân loại hai trạng thái cảm xúc tích cực tiêu cực Kết nghiên cho độ xác cao đạt 72.6% Kết nghiên cứu cho thấy tín hiệu điện EEG có khả trở thành công cụ hỗ trợ tốt cho nghiên cứu cảm xúc với độ xác cao HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT i DANH MỤC HÌNH VẼ ii DANH MỤC BẢNG BIỂU iv MỞ ĐẦU CHƯƠNG CƠ SỞ LÝ THUYẾT VỀ ĐIỆN NÃO ĐỒ 1.1 Cơ sở lý thuyết điện não đồ 1.1.1 Cơ sở sinh lý thần kinh điện não 1.1.2 Sự hình thành tín hiệu điện não 1.1.3 Nhịp điện não 1.2 Cảm xúc mối liên hệ với điện não đồ 13 1.2.1 Cảm xúc 13 1.2.2 Tổng quan lý thuyết cảm xúc 13 1.2.3 Phân loại trạng thái cảm xúc 16 1.2.4 Các phương pháp đánh giá cảm xúc 18 1.2.5 Mối liên hệ cảm xúc điện não đồ 20 1.2.6 Các nghiên cứu ứng dụng tín hiệu điện não phân loại cảm xúc 23 CHƯƠNG PHƯƠNG PHÁP NGHIÊN CỨU 26 2.1 Dữ liệu EEG 26 2.1.1 Bộ liệu SEED 26 2.1.2 Bộ liệu DEAP 29 2.1.3 So sánh lựa chọn liệu 31 2.2 Biến đổi Wavelet 32 2.3 Support Vector Machine SVM 36 2.3.1 Phân loại nhị phân (binary classification) 36 2.3.2 Phân loại đa lớp (multiclass classification) 38 CHƯƠNG XÂY DỰNG MƠ HÌNH 40 3.1 Tiền xử lý liệu 41 3.1.1 Lựa chọn kênh 41 3.1.2 Lựa chọn băng tần 42 3.1.3 Sử dụng wavelet tách băng tần 44 3.2 Trích chọn đặc trưng .45 3.2.1 Các đặc trưng thường sử dụng phân loại cảm xúc 45 3.2.2 Đặc trưng Entropy shannon 46 3.2.3 DE (Differential Entropy) 47 3.2.4 Power Spectral Density – PSD 49 3.2.5 Đặc trưng Hjorth mobility Hjorth complexity 50 3.2.6 ASM, DASM, RASM 52 3.2.7 Hệ số tương quan 53 3.3 Mã hoá liệu áp dụng thuật toán Support vector machine 54 CHƯƠNG KẾT QUẢ PHÂN LOẠI CẢM XÚC SỬ DỤNG SUPPORT VECTOR MACHINE 57 4.1 Kết phân loại cảm xúc sử dụng SVM 57 4.1.1 Đánh giá độ xác mơ hình cặp điện cực 58 4.1.2 Đánh giá độ xác mơ hình vecto đặc trưng 58 4.1.3 Đánh giá độ xác mơ hình tổ hợp vecto đặc trưng 60 4.1.4 So sánh với số kết nghiên cứu trước 62 4.2 Giao diện mơ hình nhận biết phân loại cảm xúc sử dụng SVM 63 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt EEG Electroencephalogram Điện não đồ CNN Convolutional Neural Network Mạng thần kinh tích chập EMG Electromyography Điện EOG Electrooculography Điện quang mắt ECG Electrocardiogram Điện tâm đồ ERP Event-Related Potentials ERD/ERS Event-Related De/Synchronizations AEP Auditory Evoked Potentials VEP Visual Evoked Potentials MEG Magnetoencephalography Ghi từ não ICA Independent Component Analysis Phân tích thành phần độc lập GRS Galvanic Skin Response Điện trở da CWT Continuous wavelet transform DWT Discrete wavelet transform PSD Power Spectral Density Mật độ phổ công suất STFT Short time fourier transform Biến đổi fourier thời gian ngắn DE Differential Entropy Entropy vi phân DASM Differential Asymmetry Bất đối xứng vi phân RASM Rational Asymmetry Bất đối xứng hữu tỷ ASM Asymmetry feature Đặc trưng bất đối xứng Điện liên quan đến liện Sự kiện- Khử / đồng hóa liên quan Điện gợi qua thính giác Điện gợi mở từ hình ảnh Biến đổi wavelet liên tục Biến đổi wavelet rời rạc i DANH MỤC HÌNH VẼ Hình 1: Ví dụ điện hoạt động Hình Cơ chế hình thành điện hoạt động Hình Cấu trúc tế bào thần kinh Hình Các thành phần chinh não (gồm điện trở suất độ dày gần chúng) Hình 5: Giải phẫu não Hình 6: Các EEG hoạt động não 12 Hình 7: Mơ hình cảm xúc Russell’s 17 Hình 8: Sự khác biệt tín hiệu điện não lấy từ liệu DEAP miền tần số: trạng thái tích cực- valence (bên trái) trạng thái tiêu cực not valence (bên phải) 22 Hình 9: Mật độ phổ công suất 8Hz: trạng thái tiêu cực (bên trái), trạng thái tích cực (bên phải) 22 Hình 2.1: Mơ tả phương pháp nghiên cứu mơ hình phân loại cảm xúc 26 Hình 2.2: Hình minh hoạ q trình thí nghiệm đo liệu SEED 27 Hình 2.3: Sơ đồ 62 điện cực 28 Hình 2.4: Mơ hình lựa chọn kích thích ban đầu 29 Hình 2.5: Sơ đồ 32 điện cực 30 Hình 2.6: (a) Biến đổi wavelet thuận (b) Biến đổi wavelet ngược 34 Hình 2.7: Minh họa lề thuật tốn SVM 37 Hình 2.8: Minh họa thuật toán SVM 37 Hình 2.9: Bài tốn phân loại lớp: xanh cây, đỏ xanh lam 38 Hình 2.10: Sử dụng phương pháp One-to-One 39 Hình 2.11: Sử dụng phương pháp One-to-Rest 39 Hình 3.1: Mơ hình đề xuất xử lý Valence – Not Vanlence 40 Hình 3.2: Vị trí gần vỏ não trước trán hiển thị MRI sagittal vị trí điện cực thuộc khu vực vỏ não trước trán 41 Hình 3.3: Mức lượng sóng Alpha Fp1 – Fp2 43 Hình 3.4: Mức lượng sóng Alpha F3 – F4 43 ii Hình 3.5: Bản đồ nhiệt thể mức lượng sóng alpha (trái) beta (phải) 44 Hình 3.6: Sơ đồ phân rã tín hiệu điện não bậc 45 Hình 3.7: Sơ đồ vectơ đặc trưng 55 Hình 4.1: Hình minh hoạ xác thực chéo với k = 57 Hình 4.2: Giao diện mơ hình nhận biết phân loại cảm xúc chọn liệu đầu vào 63 Hình 4.3: Giao diện kết phân loại 64 Hình 4.4: Giao diện thể giá trị đặc trưng 64 iii DANH MỤC BẢNG BIỂU Bảng 1.1: Các nghiên cứu ứng dụng tín hiệu điện não phân loại cảm xúc 23 Bảng 2.1: Bảng mô tả đối tượng đo liệu DEAP 30 Bảng 2.2: Bảng so sánh hai liệu DEAP SEED 31 Bảng 3.1: Các nghiên cứu sử dụng kênh thuộc vùng vỏ não trước trán 42 Bảng 3.2: Các đặc trưng thường sử dụng phân loại cảm xúc 45 Bảng 3.3: Bảng quy ước vecto đặc trưng 56 Bảng 3.4: Chú thích nhãn liệu 56 Bảng 4.1: Kết phân loại đặc trưng tương ứng với cặp điện cực khác 58 Bảng 4.2: Bảng so sánh độ xác sử dụng vecto đặc trưng cặp điện cực Fp1_Fp2 F3_F4 59 Bảng 4.3: So sánh độ xác sử dụng tổ hợp vecto đặc trưng cặp điện cực Fp1_Fp2 F3_F4 60 Bảng 4.4: Bảng so sánh số báo , nghiên cứu công bố 62 iv Để dễ dàng cho việc theo dõi ta quy ước cho vecto đặc trưng Bảng 3.3, Hjorth ta có giá trị Mobility Complexity ta đặt T3m T3c , ASM có giá trị DASM RASM ta đặt T5d T5r Bảng 3.3: Bảng quy ước vecto đặc trưng Đặc trưng Quy ước Entropy Shannon T1 Differential Entropy T2 Hjorth T3( 𝑇3𝑚 ; 𝑇3𝑐 ) PSD T4 ASM T5( 𝑇5𝑑 ; 𝑇5𝑟 ) Tương quan T6 Tiến hành gắn nhãn cho 1280 liệu gồm có: • 808 Valence (> 4.5 điểm) • 472 Not Valence (< 4.5 điểm) Nhãn gắn dựa thang điểm cung cấp liệu DEAP Bảng 3.4: Chú thích nhãn liệu Tên trạng thái Nhãn Valence Not Valence -1 56 CHƯƠNG KẾT QUẢ PHÂN LOẠI CẢM XÚC SỬ DỤNG SUPPORT VECTOR MACHINE 4.1 Kết phân loại cảm xúc sử dụng SVM Sau trích xuất đặc trưng gán nhãn cho liệu tiến hành cho học máy phương pháp support vector machine với độ xác thực chéo Cross vadilation k = Trong đó độ xác thực chéo K = việc dững liệu đặc trưng đầu vào chia làm phần nhau, ta lấy phần để học phần để kiểm tra lại kết Thực tương tự với liệu lại Ta quan sát Hình 4.1 để hiểu chi tiết Hình 4.1: Hình minh hoạ xác thực chéo với k = Mơ hình SVM sử dụng soft margin, hàm kernel 'Gaussian' (đang cho kết cao nhất, ngồi thơng số C γ tự động điều chỉnh Classification Learner Matlab) Mỗi giá trị thử lần tính giá trị trung bình để độ xác đặc trưng 57 4.1.1 Đánh giá độ xác mơ hình cặp điện cực Thử tất số đặc trưng (T1 – T6) cho cặp điện cực đối xứng Fp1_Fp1 quy ước (C1), F3_F4 (C2), Af3_Af4 (C3) (mỗi cặp điện cực có tổng cộng 26 đặc trưng) cho thấy độ xác Af3_Af4 thấp 61.6%, Fp1_Fp2 F3_F4 63.4% 63.3% Tiếp tục tính số đặc trưng kết hợp cặp điện cực với nhau, ta thu độ xác cao kết hợp cặp điện cực Fp1_Fp2 với F3_F4 67.9% Bước giúp chọn cặp điện cực phù hợp với vecto đặc trưng có Bảng 4.1: Kết phân loại đặc trưng tương ứng với cặp điện cực khác Điện cực Độ xác Số đặc trưng Fp1_Fp2 (C1) 63.4% 26 (T1 – T6) F3_F4 (C2) 63.3% 26 (T1 – T6) Af3_Af4 (C3) 61.6% 26 (T1 – T6) (C1) (C2) 67.9% 52 (T1 – T6) (C1) (C3) 63.7% 52 (T1 – T6) (C2) (C3) 62.4% 52 (T1 – T6) (C1) (C2) (C3) 63.0% 78 (T1 – T6) Từ bảng 4.1, nhận xét đặc trưng cặp điện cực (C1) (C2) cho kết cao sử dụng riêng cặp điện cực sử dụng cặp điện cực vùng trước trán Bên cạnh đó, dự đốn cặp điện cực (C3) làm giảm độ xác phân loại (C3) cho độ xác thấp (61.6%), kết hợp (C3) với cặp điện cực khác không đem lại kết cao 4.1.2 Đánh giá độ xác mơ hình vecto đặc trưng Tiếp tục chọn đặc trưng tối ưu cách thử đặc trưng cặp điện cực Fp1_Fp2 (C1), F3_F4 (C2) Tính số đặc trưng 58 cặp điện cực chọn số lượng giá trị đặc trưng cụ thể sau: - Entropy Shannon (T1): Ta tính giá trị đặc trưng T1 cho điểm điện cực Fp1, Fp2, F3, F4 tần số Alpha, giá trị đặc trưng T1 tần số Beta - Differential Entropy(T2): Ta có giá trị đặc trưng cho điện cực Fp1, Fp2, F3, F4 dải tần số Alpha Beta - Hjorth (T3): Ta có giá trị Hjorth Mobility(T3m ) Complexity(T3c ) ta có giá trị đặc trưng T3m giá trị đặc trưng T3c Như với Vecto đặc trưng T3 ta có 16 giá trị đặc trưng cho điện cực Fp1, Fp2, F3, F4 - PSD (T4): Ta có giá trị đặc trưng cho điện cực dải tần số Alpha Beta - ASM (T5): Ta có giá trị ASM DASM(T5d ) RASM(T5r ) Với T5d ta có giá trị đặc trưng cho cặp C1 dải tần số Alpha Beta, giá trị đặc trưng cho cặp C2 dải tần số Alpha, Beta Tương tự, ta có giá trị đặc trưng T5r cho cặp điện cực (C1), (C2) dải tần số Alpha Beta Vậy tổng T5 có giá trị đặc trưng cho (C1), (C2) - Tương quan (T6): Ta có giá trị đặc trưng cho cặp C1 dải tần số Alpha Beta, giá trị đặc trưng cho cặp C2 dải tần số Alpha Beta Như ta có giá trị đặc trưng T6 cho cặp điện cực (C1), (C2) Bảng 4.2: Bảng so sánh độ xác sử dụng vecto đặc trưng cặp điện cực Fp1_Fp2 F3_F4 Kênh Độ xác Đặc trưng Số đặc trưng (C1) (C2) 59.2% Entropy Shannon (T1) (C1) (C2) 63.1% Differential Entropy(T2) 59 (C1) (C2) 61.2% Hjorth( 𝑇3𝑚 ; 𝑇3𝑐 ) 16 (C1) (C2) 63.1% PSD (T4) (C1) (C2) 64.5% ASM ( 𝑇5𝑑 ; 𝑇5𝑟 ) (C1) (C2) 63.4% Tương quan (T6) Sau sử dụng SVM với vecto đặc trưng cặp điện cực (C1)(C2) thu độ xác từ 59.2% đến 64.5% Trong đó, kết thấp đặc trưng Entropy Shannon(T1) đạt 59.2% cao đặc trưng ASM(T5) đạt 64.5% 4.1.3 Đánh giá độ xác mơ hình tổ hợp vecto đặc trưng Nhận thấy việc sử dụng giá trị đặc trưng cho kết không cao sử dụng tất đặc trưng, định thử tổ hợp đặc trưng Khi kết hợp vecto đặc trưng, kết cải thiện với độ xác cao 71.3% với đặc trưng T2, T6 Thử tương tự kết hợp 3, 4, giá trị đặc trưng thu kết Bảng 4.2 Bảng 4.3: So sánh độ xác sử dụng tổ hợp vecto đặc trưng cặp điện cực Fp1_Fp2 F3_F4 Kênh Độ xác Đặc trưng Số đặc trưng (C1) (C2) 65.5% T1, T2 16 (C1) (C2) 65.8% T1, T3 24 (C1) (C2) 63.4% T1, T4 16 (C1) (C2) 65,7% T1, T5 16 (C1) (C2) 65,7% T1, T6 12 (C1) (C2) 65,4% T2, T3 24 (C1) (C2) 63.1% T2, T4 16 (C1) (C2) 71.3% T2, T5 16 60 (C1) (C2) 71.1% T2, T6 12 (C1) (C2) 63.4% T3, T4 24 (C1) (C2) 66.7% T3, T5 24 (C1) (C2) 66.7% T3, T6 20 (C1) (C2) 63.2% T4, T5 16 (C1) (C2) 63.6% T4, T6 12 (C1) (C2) 63.4% T5, T6 12 (C1) (C2) 64.7% T1, T2, T3 30 (C1) (C2) 63.6% T1, T2, T4 22 (C1) (C2) 70.1% T1, T2, T5 22 (C1) (C2) 69.5% T1, T2, T6 18 (C1) (C2) 61.8% T1, T3, T4 32 (C1) (C2) 66.6% T1, T3, T5 32 (C1) (C2) 66.1% T1, T3, T6 28 (C1) (C2) 64.3% T1, T4, T5 24 (C1) (C2) 63.6% T1, T4, T6 20 (C1) (C2) 63.5% T2, T3, T4 32 (C1) (C2) 67.1% T2, T3, T5 32 (C1) (C2) 65.9% T2, T3, T6 28 (C1) (C2) 66.3% T2, T4, T5 24 (C1) (C2) 65.4% T2, T4, T6 20 (C1) (C2) 72.6% T2, T5, T6 20 (C1) (C2) 63.2% T3, T4, T5 32 61 (C1) (C2) 63.7% T3, T4, T6 28 (C1) (C2) 67.0% T3, T5, T6 28 (C1) (C2) 63.1% T4, T5, T6 20 (C1) (C2) 63.5% T1, T2, T3, T4 40 (C1) (C2) 66.5% T1, T2, T3, T5 40 (C1) (C2) 66.8% T1, T2, T3, T6 36 (C1) (C2) 65,2% T2, T3, T4, T5 40 (C1) (C2) 65,2% T2, T3, T4, T6 36 (C1) (C2) 63.7% T3, T4, T5, T6 36 (C1) (C2) 67.9% All 52 Từ bảng 4.4 thấy số đặc trưng Differential Entropy(T2), ASM(T5), tương quan(T6) ứng với cặp điện cực Fp1_Fp2 (C1), F3_F4 (C2) cho kết phân loại cao 72.6% valence (tích cực) not valence (tiêu cực) 4.1.4 So sánh với số kết nghiên cứu trước Từ kết thu ta tiến hành so sánh với số báo, nghiên cứu công bố: Bảng 4.4: Bảng so sánh số báo , nghiên cứu công bố STT Tên báo, nghiên cứu Feature Extraction for Emotion Recognition and Modelling using Neurophysiological Data (2016) [38] Exploring EEG Features in Cross-Subject Emotion Recognition (2018) [58] Classification of Emotional State Based on EEG Signal using AMGLVQ (2019) [53] Độ xác 79.83% 59.06% 55.77% 62 Emotion recognition based on EEG feature maps through 62.00% deep learning Network (2021) [59] Nghiên cứu mơ hình nhận biết cảm xúc, tính cách dựa tín hiệu điện não 72.6% Từ bảng so sánh ta thấy mơ hình nhận biết cảm xúc Valenca Not Valenca sử dụng số đặc trưng Differential Entropy(T2), ASM(T5), tương quan(T6) dựa phương pháp Support vector machine tơi có độ xác tương đối cao, số lượng đặc trưng thấp Từ hướng tới việc sử dụng số đặc trưng để phân loại thêm trạng thái cảm xúc, áp dụng vào phương pháp phân loại khác để nâng cao độ xác 4.2 Giao diện mơ hình nhận biết phân loại cảm xúc sử dụng SVM Từ kết thu trên, tơi sử dụng Matlab để trích xuất 01 mơ hình phân loại cảm xúc: Valenca Not Valence đạt độ xác 72.6% Sau thiết lập Matlab giao diện trực quan dùng cho việc kiểm thử Ta lấy tín hiệu đầu vào từ DEAP sau tách đoạn liệu chứa video khác dạng s1_v1, s1_v2, s1_v3… Tương ứng cho đối tượng đo số 01 video số 01,02… Hình 4.2: Giao diện mơ hình nhận biết phân loại cảm xúc chọn liệu đầu vào Sau chọn liệu ta tiến hành nhận biết, phân loại việc nhấn chọn Start mơ hình SVM cho kết phân loại Bên cạnh để 63 xem giả trị đặc trưng ta chọn Info, bảng giá trị đặc trưng cho điện cực xuất Hình 4.3: Giao diện kết phân loại Hình 4.4: Giao diện thể giá trị đặc trưng 64 KẾT LUẬN Trong luận văn nghiên cứu, phân tích, kết luận tín hiệu điện não sóng alpha beta điện cực vùng vỏ não trước trán sử dụng để nhận biết, phát cảm xúc Qua phân tích thấy rằng, phân loại sử dụng thuật toán Support Vector Machine (kernel gaussian, k- fold = 5) với đặc trưng Differential Entropy, ASM (Asymmetry feature) Tương quan vị trí điện cực Fp1, Fp2, F3, F4 cho độ xác cao (72.6%) So với nghiên cứu sử dụng liệu DEAP đặc trưng tương tự, mơ hình có độ xác tương đối Mơ hình có độ xác chưa thực cao cải thiện so với số nghiên cứu trước giảm số liệu cần xử lý, tính tốn đơn giản việc lựa chọn kênh sử dụng đặc trưng Hầu hết nghiên cứu sử dụng tất 32 điện cực cho việc học máy, điều làm cho xử lý nhiều thời gian Vì vậy, tơi đề xuất sử dụng thuật toán Support Vector Machine (kernel gaussian, k- fold = 5) với đặc trưng Differential Entropy, ASM (Asymmetry feature) hệ số tương quan vị trí điện cực Fp1, Fp2, F3, F4 hai dải băng tần alpha beta để phân loại hai trạng thái cảm xúc tích cực tiêu cực Tuy nhiên liệu cho việc học máy thử nghiệm dừng lại DEAP, mà tính bao qt mơ hình ứng dụng xây dựng chưa cao Trong tương lai, hướng tới nghiên cứu mơ hình việc áp dụng thử nghiệm với liệu điện não tự thu nhiều liệu khác sẵn có 65 TÀI LIỆU THAM KHẢO [1] Rattanyu, Kanlaya and Ohkura, Michiko and Mizukawa, Makoto, “Emotion Monitoring from Physiological Signals for Service Robots in the Living Space,” Proceedings of the ICCAS 2010, p 580–583, 30 October 2010 [2] Sosnowski S., Bittermann A., Kuhnlenz K., Buss M, “Design and Evaluation of Emotion-Display EDDIE,” Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp 3113-3118, 9-15 10 2006 [3] Byron K., Terranova S., Nowicki S Nonverbal, “Emotion Recognition and Salespersons: Linking Ability to Perceived and Actual Success,” Journal of Applied Social Psycholopy, pp 2600-2619, 10 2007 [4] Feidakis M., Daradoumis T., Caballe S., “Emotion Measurement in Intelligent Tutoring Systems: What, When and How to Measure,” Proceedings of the 2011 Third International Conference on Intelligent Networking and Collaborative Systems, pp 807-812, 12 2011 [5] D’Mello S.K., Craig S.D., Gholson B., Franklin S., Picard R.W., Graesser A.C., “Integrating Affect Sensors in an Intelligent Tutoring System,” Proceedings of the 2005 International Conference on Intelligent User Interfaces, San Diego, 2005 [6] Mandryk R.L., Atkins M.S., Inkpen K.M, “A continuous and objective evaluation of emotional experience with interactive play environments,” Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI’06), New York, 2006 [7] Kolakowska A., Landowska A., Szwoch M., Szwoch W., Wrobel M.R., “Emotion recognition and its application in software engineering,” Proceedings of the 2013 6th International Conference on Human System Interactions (HSI), Gdansk, 2013 [8] Gross, J J., and Muñoz, R F., “Emotion regulation and mental health.,” Clinical Psychology: Science and practice, tập ii, số 2, pp 151-164, 1995 [9] O'Leary, Ann, “Stress, emotion, and human immune function,” Psychological Bulletin, tập iii, số 108, pp 363-382, 1990 [10] Wallbott, H G., & Scherer, K R., “Assessing emotion by questionnaire,” In The Measurement of Emotions, Cambridge, Academic press, 1989, pp 55-82 [11] Zong, Cong and Chetouani, Mohamed, “Hilbert-Huang transform based physiological signals analysis for emotion recognition,” In Proceedings of the 2009 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT), Ajman, 2009 [12] Y Liu, O Sourina, and M K Nguyen, Real-time EEG-based Emotion Recognition and Its Applications, 2010 [13] N Jatupaiboon, S Pan-Ngum, P Israsena, “Emotion classification using minimal EEG channels and frequency bands,” The 2013 10th 66 International Joint Conference on Computer Science and Software Engineering (JCSSE), 2013 [14] W James, “What is an emotion?,” Mind, tập IX, số 34, pp 188-205, 1884 [15] W.B, Cannon, “The James-Lange theory of emotions: A critical examination and an alternative theory,” he American Journal of Psychology, số 39, pp 106-124, 1927 [16] Friedman, Bruce H., “Feelings and the body: The Jamesian perspective on autonomic specificity of emotion,” Biological Psychology, tập 84, số 3, pp 383-393, 2010 [17] Schachter, S., & Singer, J., “Cognitive, social, and physiological determinants of emotional state,” Psychological Review, tập 69, số 5, pp 379-399, 1962 [18] Lazarus, RS, Folkman, S., Stress: Appraisal and Coping, New York: Springer Publishing Company, Inc., 1984, pp 1913-1915 [19] Joshua Ian Davis, Ann Senghas, and Kevin N Ochsner, “How Does Facial Feedback Modulate Emotional Experience?,” Journal of Research in Personality, tập 43, số 5, pp 822-829, 2009 [20] Barrett, L F., “Discrete emotions or dimensions? the role of valence focus and arousal focus,,” Cognition and Emotion, tập 12, số 4, pp 579-599, 1998 [21] Becker, A.; Hagenberg, N.; Roessner, V.; Woerner, W.; Rothenberger, A, “Evaluation of the self-reported SDQ in a clinical setting: Do self-reports tell us more than ratings by adult informants?,” European Child & Adolescent Psychiatry, tập 13, số 2, pp 17-24, 2004 [22] Isomursu, M.; Tähti, M.; Väinämö, S.; Kuutti, K, “Experimental evaluation of five methods for collecting emotions in field settings with mobile applications,” International Journal of Human-Computer Studies, tập 65, số 4, pp 404-418, 2007 [23] Udovičić, G.; Derek, J.; Russo, M.; Sikora, M Wearable, “Emotion Recognition system based on GSR and PPG signals,” In Proceedings of the 2nd International Workshop on Multimedia for Personal Health and Health Care, Mountain View, CA, USA, 2017 [24] Wu, Guanghua and Liu, Guangyuan and Hao, Min, “The Analysis of Emotion Recognition from GSR Based on PSO,” In Proceedings of the 2010 International Symposium on Intelligence Information Processing and Trusted Computing, Wuhan, China,, 2010 [25] Lang, P J., Greenwald, M K., Bradley, M M., & Hamm, A O., “Looking at pictures: Affective, facial, visceral, and behavioral reactions,” Psychophysiology, tập 30, số 3, pp 261-273, 1993 [26] Goshvarpour, A Goshvarpour A Abbasi A., “An Emotion Recognition Approach based on Wavelet Transform and Second-Order Difference Plot of ECG,” Journal of AI and Data Mining, tập 5, số 2, pp 211-221, 2017 [27] Aguiñaga, A.R.; Lopez Ramirez, M.; Alanis Garza, A.; Baltazar, R.; Zamudio, V.M, “Emotion analysis through physiological measurements.,” In Workshop Proceedings of the 9th International Conference on Intelligent Environments, Amsterdam, The Netherlands, 2013 67 [28] Picot, A.; Charbonnier, S.; Caplier, A., “EOG-based drowsiness detection: Comparison between a fuzzy system and two supervised learning classifiers,” IFAC Proceedings Volumes, tập 44, số 1, pp 14283-14288, 2011 [29] Guillaume Chanel, Joep J.M Kierkels, Mohammad Soleymani, Thierry Pun, “Short-term emotion assessment in a recall paradigm,” International Journal of Human-Computer Studies, tập 67, số 8, pp 607-627, 2009 [30] Mazza, M Balconi and G., “Brain oscillations and BIS/BAS (behavioral inhibition/activation system) effects on processing masked emotional cues: ERS/ERD and coherence measures of alpha band,” International Journal of Psychophysiology, tập 74, số 2, pp 158-165, 2009 [31] Huang, Dong and Guan, Cuntai and Kai Keng Ang and Haihong Zhang and Yaozhang Pan, “Asymmetric Spatial Pattern for EEG-based emotion detection,” The 2012 International Joint Conference on Neural Networks (IJCNN), Brisbane, QLD, Australia, 2012 [32] Lu, M Li and B -L., “Emotion classification based on gamma-band EEG,” 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, MN, USA, 2009 [33] M.-K Kim, M Kim, E Oh, and S.-P Kim, “A Review on the Computational Methods for Emotional State Estimation from the Human EEG,” Computational and Mathematical Methods in Medicine, 2013 [34] Lee, T M C.; Liu, H.-L.; Chan, C C H.; Fang, S.-Y.; Gao, J.-H., “Neural activities associated with emotion recognition observed in men and women.,” Molecular Psychiatry, tập 10, số 5, pp 450-455, 2005 [35] J.-Y Zhu, W.-L Zheng, and B.-L Lu, “Cross-subject and Crossgender Emotion Classification from EEG,” World Congress on Medical Physics and Biomedical Engineering, Toronto, Canada, Springer, 2015, pp 1188-1191 [36] Suwicha Jirayucharoensak, Setha Pan-Ngum, Pasin Israsena, “EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation,” The Scientific World Journal, p 10 pages, 10 2014 [37] Giuseppe Placidi, Paolo Di Giamberardino , Andrea Petracca , Matteo Spezialetti and Daniela Iacoviello, “Classification of Emotional Signals from the DEAP dataset,” 4th International Congress on Neurotechnology, Electronics and Informatics, January 2016 [38] Samara, Anas and Menezes, Maria Luiza Recena and Galway, Leo, “Feature Extraction for Emotion Recognition and Modelling Using Neurophysiological Data,” 2016 15th International Conference on Ubiquitous Computing and Communications and 2016 International Symposium on Cyberspace and Security (IUCC-CSS), Granada, Spain, 2016 [39] Ning Zhuang, Ying Zeng, Li Tong, Chi Zhang, Hanming Zhang, Bin Yan, “motion Recognition from EEG Signals Using Multidimensional Information in EMD Domain,” ioMed Research International, p pages, 16 2017 68 [40] Xu, H Mei and X., “EEG-based emotion classification using convolutional neural network,” 017 International Conference on Security, Pattern Analysis, and Cybernetics (SPAC), Shenzhen, China, 2017 [41] Harsh Dabas, Chaitanya Sethi, Chirag Dua, “Emotion Classification Using EEG Signals,” CSAI '18: Proceedings of the 2018 2nd International Conference on Computer Science and Artificial Intelligence, pp 380-384, 12 2018 [42] Muhammad Adeel Asghar, Muhammad Jamil Khan, awad Khan, Y Amin, “EEG-Based Multi-Modal Emotion Recognition using Bag of Deep Features: An Optimal Feature Selection Approach,” Sensors, tập 19, số 23, p 5218, 2019 [43] Alasasfeh, Rania Alhalaseh and Suzan, “Machine-Learning-Based Emotion Recognition System Using EEG Signals,” Computers, tập 9, số 4, p 95, 2020 [44] Islam MR, Islam MM, Rahman MM, Mondal C, Singha SK, Ahmad M, Awal A, Islam MS, Moni MA, “EEG Channel Correlation Based Model for Emotion Recognition,” Computers in Biology and Medicine, tập 136, p 1306 pages, 10 2021 [45] Vetterli, O Rioul and M., “Wavelets and signal processing,” IEEE Signal Processing Magazine, tập 8, số 4, pp 14-38, 1991 [46] Ozdamar, T Kalayci and O., “Wavelet preprocessing for automated neural network detection of EEG spikes,” EEE Engineering in Medicine and Biology Magazine, tập 14, số 2, pp 160-166, 1995 [47] Rosso, O A., Martin, M T., Figliola, A., Keller, K., & Plastino, “EEG analysis using wavelet-based information tools,” Journal of neuroscience methods, tập 153, số 2, pp 163-182, 2006 [48] Dixon, M L., Thiruchselvam, R., Todd, R., & Christoff, K., “Emotion and the prefrontal cortex: An integrative review,” Psychological Bulletin, tập 143, số 10, pp 1033-1081, 2017 [49] Morten L Kringelbach, Edmund T Rolls, “The functional neuroanatomy of the human orbitofrontal cortex: evidence from neuroimaging and neuropsychology,” Progress in Neurobiology, tập 72, số 5, pp 341-372, 2004 [50] Yong Zhang, Xiaomin Ji, Suhua Zhang, “An approach to EEG-based emotion recognition using combined feature extraction method,” Neuroscience Letters, tập 633, pp 152-157, 28 10 2016 [51] Abeer Al-Nafjan, Manar Hosny, Areej Al-Wabil and Yousef Al-Ohali, “Classification of Human Emotions from Electroencephalogram (EEG) Signal using Deep Neural Network,” International Journal of Advanced Computer Science and Applications(ijacsa), tập 8, số 9, 2017 [52] O Bazgir, Z Mohammadi and S A H Habibi, “Emotion Recognition with Machine Learning Using EEG Signals,” 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering (ICBME), Qom, Iran, 2018 69 [53] Annisa’ Hilmi Masruroh, Elly Matul Imah and Endah Rahmawati, “Classification of Emotional State Based on EEG Signal using AMGLVQ,” Procedia Computer Science, tập 157, pp 552-559, 2019 [54] Li Deng, Guohua Wang, “Application of EEG and Interactive Evolutionary Design Method in Cultural and Creative Product Design,” Computational Intelligence and Neuroscience, p 16 pages, 13 2019 [55] Xiao-Wei Wang, Dan Nie, Bao-Liang Lu, “Emotional state classification from EEG data using machine learning approach,” Neurocomputing, tập 129, pp 94-106, 10 2014 [56] Lan, Z., Sourina, O., Wang, L et al, “Real-time EEG-based emotion monitoring using stable features,” The Visual Computer, tập 32, số 3, pp 347-358, 2016 [57] Zheng, Wei-Long and Zhu, Jia-Yi and Lu, Bao-Liang, “Identifying Stable Patterns over Time for Emotion Recognition from EEG,” IEEE Transactions on Affective Computing, tập 10, số 3, pp 417-429, 2019 [58] Xiang Li, Dawei Song, Peng Zhang, Yazhou Zhang Yuexian Hou Bin Hu, “Exploring EEG Features in Cross-Subject Emotion Recognition,” Front Neurosci, tập 12, p 162, 2018 [59] Ante Topic, Mladen Russo, “Emotion recognition based on EEG feature maps through deep learning network,” Engineering Science and Technology, an International Journal, tập 24, số 6, pp 1442-1454, 2021 [60] J Melbourne, S Talukdar, S Bhaban, M Madiman and M V Salapaka, “The Differential Entropy of Mixtures: New Bounds and Applications,” IEEE Transactions on Information Theory, tập 68, số 4, pp 2123-2146, 2022 [61] G Qian, H H C Iu and S Wang, “Complex Shannon Entropy Based Learning Algorithm and Its Applications,” IEEE Transactions on Vehicular Technology, tập 70, số 10, pp 9673-9684, 2021 [62] X Qin, Y Zheng and B Chen, “Extract EEG Features by Combining Power Spectral Density and Correntropy Spectral Density,” 2019 Chinese Automation Congress (CAC), Hangzhou, China, 2019 [63] H Sanggarini, I Wijayanto and S Hadiyoso, “Hjorth Descriptor as Feature Extraction for Classification of Familiarity in EEG Signal,” 2019 International Conference on Information and Communications Technology (ICOIACT), Yogyakarta, Indonesia, 2019 [64] Chao Pan, Cheng Shi, Honglang Mu, Jie Li, Xinbo Gao, “EEG-Based Emotion Recognition Using Logistic Regression with Gaussian Kernel and Laplacian Prior and Investigation of Critical Frequency Bands,” Ubiquitous Technologies for Emotion Recognition, tập 10, số 5, p 1619, 2020 [65] Stanciu, Nicolae Stelian, “Correlation Analysis of the EEG Signals in Normal and Pathological Cases,” 2021 12th International Symposium on Advanced Topics in Electrical Engineering (ATEE), Bucharest, Romania, 2021 70