Nghiên cứu hệ thống phân loại các trạng thái cảm xúc dựa trên tín hiệu não ở người

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu hệ thống phân loại trạng thái cảm xúc dựa tín hiệu não người ĐỖ VĂN QUÂN Quan.DV202839M@sis.hust.edu.vn Ngành: Kỹ thuật y sinh Giảng viên hướng dẫn: TS Nguyễn Nam Phong Trường: Điện – Điện tử Hà Nội, 2023 ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu hệ thống phân loại trạng thái cảm xúc dựa tín hiệu não người ĐỖ VĂN QUÂN Quan.DV202839M@sis.hust.edu.vn Ngành: Kỹ thuật y sinh Giảng viên hướng dẫn: TS Nguyễn Nam Phong Chữ ký GVHD Trường: Điện – Điện tử Hà Nội, 2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Đỗ Văn Quân Đề tài luận văn: Nghiên cứu hệ thống phân loại trạng thái cảm xúc dựa tín hiệu não người Chuyên ngành: Kỹ thuật y sinh Mã số SV: 20202839M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày / / với nội dung sau: - Đã chỉnh sửa lỗi tả số cụm từ luận văn - Đã chỉnh sửa làm rõ thích hình vẽ - Đã chỉnh sửa, trình bày lại luận văn theo form mẫu - Đã điểu chỉnh số lượng trình bày tài liệu tham khảo theo quy định - Đã đánh số cơng thức, phương trình theo quy định Ngày tháng năm 2023 Giáo viên hướng dẫn Tác giả luận văn TS Nguyễn Nam Phong Đỗ Văn Quân CHỦ TỊCH HỘI ĐỒNG TS Nguyễn Việt Dũng LỜI CẢM ƠN Tơi xin bày tỏ lịng biết ơn cảm ơn sâu sắc tới giảng viên hướng dẫn khoa học TS Nguyễn Nam Phong Thầy người định hướng cho ý tưởng triên khai khoa học, tận tình hướng dẫn tơi tơi gặp khó khăn trình thực đề tài Trong trình thực đề tài tơi có sử dụng phần kết nghiên cứu Lab EEG and Rehabilitation đồng ý TS Phạm Phúc Ngọc Tôi xin chân thành gửi lời cảm ơn đến tập thể Lab EEG and Rehabilitation hỗ trợ tơi suốt q trình thực đề tài HỌC VIÊN (Ký ghi rõ họ tên) Đỗ Văn Quân Tóm tắt nội dung luận văn Cảm xúc có vai trị quan trọng sống hàng ngày, khơng tương tác người mà trình định nhận thức giới xung quanh Gần đây, việc thiết lập tương tác cảm xúc người máy tính ngày quan tâm nghiên cứu khiến việc xác định trạng thái cảm xúc người trở thành nhu cầu thiết yếu Điều đạt thông qua nhiều phương pháp, tự đánh giá chủ quan, phương pháp đo tự động dựa vào sinh lý thần kinh Trong năm qua, Điện não đồ (EEG- Electroencephalogram) nhận quan tâm đáng kể từ nhà nghiên cứu, cung cấp giải pháp đơn giản, chi phí thấp, di động khách quan để xác định cảm xúc Các nghiên cứu nhận biết phát cảm xúc dựa tín hiệu điện não gặp số khó khăn như: liệu chưa đủ lớn, mơ hình phát cho độ xác chưa cao có mơ hình phức tạp, sử dụng nhiều đặc trưng phân loại Mục tiêu luận văn đề xuất hệ thống phát cảm xúc dựa tín hiệu điện não, cải thiện độ xác so với nghiên cứu trước đó, sử dụng đặc trưng phân loại dựa mơ hình học sâu Convolutional Neural Network (CNN) Mơ hình sử dụng biến đổi wavelet để tách dải tần, sử dụng hệ số tương quan làm đặc trưng cho tín hiệu điện não Kết là, xây dựng hệ thống phân loại thử nghiệm liệu đạt độ xác tương đối khả quan (82% Arousal 81% Valence) Kết nghiên cứu cho thấy EEG phương pháp an tồn có khả trở thành công cụ hỗ trợ tốt cho nghiên cứu cảm xúc MỤC LỤC DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT iii DANH MỤC HÌNH VẼ iv DANH MỤC BẢNG BIỂU vii MỞ ĐẦU CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Cảm xúc người 1.1.1 Tổng quan cảm xúc 1.1.2 Phân loại cảm xúc 1.2 Các phương pháp đánh giá cảm xúc 11 1.3 Cơ sở lý thuyết điện não đồ (EEG) 13 1.3.1 Sự hình thành tín hiệu điện não 13 1.3.2 Một số dạng sóng EEG 14 1.4 Mối liên hệ tín hiệu điện não cảm xúc 16 1.5 Một số nghiên cứu cảm xúc tín hiệu EEG 18 1.6 Biến đổi Wavelet 21 1.7 Convolutional Neural Network 24 CHƯƠNG PHƯƠNG PHÁP NGHIÊN CỨU 27 2.1 Data EEG cảm xúc 27 2.2 Tiền xử lý liệu 28 2.3 Trích xuất đặc trưng áp dụng deep learning 30 2.3.1 Đặc trưng 30 2.3.2 Sử dụng deep learning – thuật toán convolution newral network (CNN) 33 CHƯƠNG PHÂN BIỆT CÁC TRẠNG THÁI CẢM XÚC BẰNG BỘ DỮ LIỆU DEAP 35 3.1 Bộ liệu điện não cảm xúc DEAP 36 3.1.1 Tổng quan liệu 36 3.1.2 Bộ liệu 44 3.2 Tiền xử lý liệu DEAP 46 3.2.1 Loại bỏ tín hiệu khơng có ích 46 3.2.2 Tách băng tần mong muốn 48 i 3.2.1 Phân đoạn tín hiệu 52 3.3 Trích chọn đặc trưng 52 3.4 Áp dụng CNN 54 CHƯƠNG XÂY DỰNG HỆ THỐNG CONVOLUTIONAL NEURAL NETWORK PHÂN LOẠI CẢM XÚC 61 4.1 Xây dựng công cụ cho người sử dụng 61 4.2 Kết thực nghiệm 66 KẾT LUẬN 69 Kết Luận 69 Hướng phát triển luận văn tương lại 69 TÀI LIỆU THAM KHẢO 70 ii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt EEG Electroencephalogram Điện não đồ CNN Convolutional Neural Network Mạng thần kinh tích chập EMG Electromyography Điện EOG Electrooculography Điện quang mắt ECG Electrocardiogram Điện tâm đồ ERP Event-Related Potentials Điện liên quan đến liện ERD/ERS Event-Related De/Synchronizations AEP Auditory Evoked Potentials VEP Visual Evoked Potentials SCP Slow Cortical Potential Điện vỏ não chậm ICA Independent Component Analysis Phân tích thành phần độc lập NIRS Near InfraRed Spectroscopy Quang phổ cận hồng ngoại GRS Galvanic Skin Response Điện trở da CWT Continuous wavelet transform Biến đổi wavelet liên tục DWT Discrete wavelet transform Biến đổi wavelet rời rạc Sự kiện- Khử / đồng hóa liên quan Điện gợi qua thính giác Điện gợi mở từ hình ảnh iii DANH MỤC HÌNH VẼ Hình 1.1: Một số trạng thái cảm xúc Hình 1.2: Mơ hình cảm xúc Russell [20] Hình 1.3: Sơ đồ mơ tả Valence Hình 1.4: Sơ đồ mơ tả Arousal 10 Hình 1.5: Các EEG hoạt động não 15 Hình 1.6: Hệ thống phân loại cảm xúc Ramirez Vamvakousis 17 Hình 1.7: Mơ hình phân loại cảm xúc Yi Zhan cộng 18 Hình 1.8: (a) Biến đổi wavelet thuận (b) Biến đổi wavelet ngược 22 Hình 1.9: Hình Mơ hình chung CNN 24 Hình 1.10: Ví dụ Pooling Layer 26 Hình 2.1: Sơ đồ hệ thống phân loại cảm xúc 27 Hình 2.2: Ví dụ tín hiệu điện não đồ thu thập Bitbrain EEG đa 16 kênh 28 Hình 2.3: Các bước tiền xử lý liệu 29 Hình 2.4: Tín hiệu điện não biểu diễn kênh Fp1 biểu diễn miền thời gian chưa tách băng tần 29 Hình 2.5: Tín hiệu điện não tách băng tần kênh Fp1 30 Hình 2.6: Mối liên hệ biến 31 Hình 2.7: Mức độ mạnh yếu hệ số tương quan 33 Hình 2.8: Mơ hình chung toán phân loại 34 Hình 3.1: Sơ đồ khối hệ thống phân loại cảm xúc DEAP 35 Hình 3.2:Mơ hình thu liệu liệu DEAP 36 Hình 3.3: Ảnh chụp hình giao diện web cho đánh giá chủ quan cảm xúc 39 Hình 3.4: Giá trị µx / σx cho xếp hạng video đánh giá trực tuyến Các video chọn để sử dụng thử nghiệm đánh dấu màu xanh lục Đối với góc phần tư, video cực đoan hiển thị chi tiết với tên hát ảnh chụp hình từ video 39 iv Hình 3.5: Vị trí cảm biến sinh lý ngoại vi Đối với Điện cực sử dụng để ghi lại EOG cho EMG (cơ zygomaticus major trapezius) Ngồi ra, GSR, huyết áp thể tích (BVP), nhiệt độ hô hấp đo 41 Hình 3.6: Một người tham gia trước bắt đầu thử nghiệm 42 Hình 3.7: Hình ảnh dùng để tự đánh giá 43 Hình 3.8: Kết cấu liệu thu 44 Hình 3.9: Trạng thái cảm xúc mong muốn phân loại biểu diễn mơ hình cảm xúc chiều 45 Hình 3.10: (Bên trái) 32 kênh tín hiệu điện não sử dụng (Phải) kênh tín hiệu ngoại vi loại bỏ 46 Hình 3.11: Sơ đồ điện cực 32 kênh liệu DEAP 47 Hình 3.12: Tín hiệu miền tần số DEAP với Kênh Cp1 chưa cắt 3s baseline 47 Hình 3.13: Tín hiệu miền tần số DEAP với Kênh Cp1 chưa cắt 3s baseline 47 Hình 3.14: Biểu đồ nhiệt não thể hoạt động tần số Hz (thuộc băng tần alpha) trạng thái tích cực (3.14a), tiêu cực (3.14b), kích thích cao (3.14c) kích thích thấp (3.14d) 48 Hình 3.15: Biểu đồ nhiệt não thể hoạt động tần số 18 Hz (thuộc băng tần beta) trạng thái tích cực (3.15a), tiêu cực (3.15b), kích thích cao (3.15c) kích thích thấp (3.15d) 49 Hình 3.16: Biểu đồ nhiệt não thể hoạt động tần số 30 Hz (thuộc băng tần gamma) trạng thái tích cực (3.16a), tiêu cực (3.16b) kích thích cao (3.16c) kích thích thấp (3.16d) 50 Hình 3.17: Trình tự phân rã điện não đồ với biến đổi wavelet rời rạc mức trích xuất băng tần 51 Hình 3.18: Cách thức phân đoạn tín hiệu 52 Hình 3.19: Ma trận tương quan biểu diễn dạng ảnh từ trái sang phải tương ứng với băng tần: alpha, beta, gamma (a) Ma trận tương quan tín hiệu Valence (Tích cực) (b) Ma trận tương quan có tín hiệu Not Valence (Tiêu cực) 53 v Ngoài 95% mơ hình sử dụng cho học máy kiểm thử, 5% lại sử dụng nhằm mục đích thử nghiệm Thống kê lại kết tập thử nghiệm theo tham số đánh giá mơ hình: Bảng 3.2: Bảng kết theo tham số đánh giá mơ hình Arousal Accuracy Precision Recall Fl-score 82% 0.83 0.86 0.84 0.79 0.76 0.78 0.83 0.84 0.84 0.77 0.76 0.76 Arousal Not arousal Valence Valence 81% Not valence Có thể thấy, mơ hình đem lại độ xác 82% với Arousal 81% với Valence: có cải thiện so với mơ hình có Bảng 3.3: So sách kết với nghiên cứu trước Tên đề tài Bộ liệu / Đặc trưng Phương sử dụng Nhóm tác giả Kết Cơng suất Yi Zhan; Mang I Vai; Valence: phổ Shovan Barma; Sio 82.95%, convolutional Hang Pun; Jia Wen Li; Arousal: neural network Peng Un Mak (China- 84.07% engine for EEG- India) pháp A computation DEAP/CNN resource friendly based emotion recognition2019 [36] Nghiên cứu DEAP/CNN Giá trị Đỗ Văn Quân Valence: tương quan 81%, Arousal: kênh 82% 59 Subject DEAP/ Hình ảnh Pallavi Pandey; Seeja Valence: independent CNN Scalogram K.R (Đại học Kỹ thuật 61.50%, emotion thu Indira Gandhi Delhi Arousal: recognition CWT dành cho nữ) 58.50% system for people with facial deformity: an EEG based approach- 2021 [41] EEG Channel DEAP/ Tương Md Rabiul Islam, Valence: Correlation CNN quan Md Milon Islam, 78.22% Based Model for Md.Mustafizur Arousal: Emotion Rahman, Chayan 74.92% Recognition- Mondal ,Suvojit 2021 [42] Kumar Singha, Mohiuddin Ahmad, Abdul Awal, Md Saiful Islam Mohammad Ali Moni (Bangladesh) Hầu hết với nghiên cứu gần năm 2021 nghiên cứu của tơi đạt kết tốt Đặc biết với nghiên cứu Md Rabiul Islam, Md Milon Islam sử dụng đặc trưng tương quang dùng liệu DEAP CNN nghiên cứu tơi đạt kết tốt Từ ta thấy với phương pháp CNN sử dụng đặc trưng tương quan kết mang lại khả quan 60 CHƯƠNG XÂY DỰNG HỆ THỐNG CONVOLUTIONAL NEURAL NETWORK PHÂN LOẠI CẢM XÚC Mục tiêu luận văn xây dựng hệ thống phân loại cảm xúc sử dụng phương pháp học sâu với độ xác có cải thiện so với phương pháp có Bên cạnh đó, tơi đề xuất xây dựng thêm ứng dụng dành riêng cho nhà phân tích Chương mơ tả chi tiết ứng dụng phát triển kết thực nghiệm kiểm chứng mô hình Hình 4.1: Sơ đồ hệ thống phân loại cảm xúc dựa liệu DEAP 4.1 Xây dựng công cụ cho người sử dụng Bên cạnh việc xây dựng mơ hình học máy, tơi phát triển cơng cụ hướng tới đối tượng sử dụng nhà phân tích Ứng dụng “Phân loại cảm xúc dựa tín hiệu điện não đồ” viết ngơn ngữ Python kết hợp với Qt Designer Ứng dụng cho ta thấy hình ảnh liệu thơng qua bước xử lý trước đưa kết phân loại Hình 4.2 sơ đồ phần mềm Thơng qua việc chọn video, liệu cảm xúc làm tín hiệu đầu vào từ ta đưa kết gian đoạn từ tiền xử lý đến, đồ thị tương quan cặp kênh cuối trả lại giá trị valence hay not valence, arousal hay not arousal 61 Hình 4.2: Sơ đồ phần mềm Hình 4.3: Giao diện hình ứng dụng Ứng dụng xây dựng lấy tín hiệu đầu vào liệu DEAP Khối chọn tín hiệu đầu vào bao gồm việc chọn tín hiệu theo đối tượng (s01.mat, s02.mat, …) chọn video đối tượng quan sát: 62 a) b) Hình 4.4: Giao diện chọn tín hiệu điện não đầu vào bao gồm chọn tín hiệu theo đối tượng (4.4a) chọn video quan sát (4.4b) Ngoài ra, ứng dụng cung cấp thêm thơng tin tín hiệu đầu vào lựa chọn: 63 Hình 4.5: Giao diện hiển thị thơng tin tín hiệu đầu vào Sau chọn tín hiệu điện não, ứng dụng cho phép hiển thị tín hiệu miền thời gian Với tín hiệu ban đầu, 3s baseline hiển thị thông qua marker màu đỏ (bên trái marker 3s baseline): Hình 4.6: Giao diện hiển thị tín hiệu đầu vào miền thời gian Khối tiền xử lý thực mơ hình đề xuất: bao gồm Loại bỏ 3s baseline kênh ngoại vi, Sử dụng wavelet tách dải tần mong muốn Mỗi bước thực cho phép hiển thị tín hiệu miền thời gian tần số tương ứng: 64 Hình 4.7: Giao diện hiển thị tín hiệu sau Loại bỏ 3s baseline kênh ngoại vi Hình 4.8: Giao diện hiển thị tín hiệu sau Sử dụng wavelet tách dải tần Sử dụng mơ hình CNN đề xuất, đưa cảm xúc dự đoán ứng với tín hiệu đầu vào Cảm xúc dự đốn bao gồm: phần trăm ứng với nhãn cảm xúc, hình ảnh minh họa cho nhãn đầu vị trí cảm xúc mơ hình cảm xúc Russell Ngồi ra, để xác thực độ xác cảm xúc dự đốn, ứng dụng cho phép hiển thị điểm thực tế (Valence, Arousal) mà đối tượng đo đánh giá: 65 Hình 4.9: Giao diện hiển thị kết dự đoán cảm xúc Cốt lõi toán phân loại cảm xúc sử dụng đặc trưng tương quan, cụ thể giá trị tương quan kênh Vì vậy, tơi phát triển ứng dụng cho phép hiển thị thêm giá trị tương quan kênh, dải tần alpha, beta, gamma: Hình 4.10: Giao diện hiển thị biểu đồ tương quan kênh 4.2 Kết thực nghiệm Tiến hành thử nghiệm ứng dụng xây dựng với 10 tệp liệu điện não từ DEAP, tệp liệu tệp hoàn tồn với mơ 66 hình, chưa qua học máy, nhằm mục đích đánh giá ứng dụng cách khách quan nhất: Bảng 4.1: Bảng kiểm tra lại độ xác phần mềm với đối tượng đo 31 32 S T T Video Cảm xúc thực tế tượng quan (điểm đánh giá) Đối đo Cảm xúc dự đốn (có % dự đốn) sát Kết luận (Valence/ Arousal) Sai = S Đúng = Đ Valence Arousal Valence Arousal 1 6.79 5.97 NotValence 74% Arousal 81% S/Đ 10 4.01 6.08 NotValence 81% Arousal 71% Đ/Đ 17 4.94 2.1 NotValence NotArousal 91% 61% Đ/Đ 23 1.0 7.08 NotValence Arousal 78% 73% Đ/Đ 32 1.0 7.79 NotValence 84% Arousal 60% Đ/Đ 8.05 7.09 Valence NotArousal 84% 69% Đ/S 7.86 4.17 Valence 87% Arousal 72% Đ/S 11 8.24 6.22 Valence 62% Arousal 69% Đ/Đ 12 7.31 3.88 Valence 62% NotArousal 77% Đ/Đ 10 28 6.03 5.0 Valence 95% Arousal 82% Đ/Đ 31 32 Tổng kết thử nghiệm, ta thấy: mơ hình cho kết 9/10 với Valence 8/10 với Arousal Với liệu hoàn toàn chọn ngẫu nhiên này, kết 67 xác, tương đối so với độ xác sau thử nghiệm mơ hình phần 4.1 68 KẾT LUẬN Kết Luận Trong luận văn này, tơi nghiên cứu, phân tích tín hiệu điện não liệu DEAP đưa kết luận sử dụng đặc trưng Hệ số tương quan, cụ thể giá trị tương quan kênh tín hiệu điện não ban đầu để phân loại cảm xúc có tín hiệu EEG Qua phân tích thực nghiệm, mơ hình Convolutional Neural Network đề xuất cho kết phân loại 82% với Arousal 81% với Valence, độ xác khơng phải cao số nghiên cứu từ trước đến giảm bớt số lượng đặt trưng sử dụng mà kết đưa với độ xác cao Ngồi mơ hình lý thuyết, phát triển hệ thống “Phân loại cảm xúc dựa tín hiệu điện não đồ” Hệ thống xây dựng có giao diện thân thiện với người sử dụng, bước khối trình bày rõ ràng, cho độ xác thử nghiệm 80% với Arousal 90% với Valence Tuy nhiên liệu cho việc học máy thử nghiệm dừng lại DEAP, mà tính bao qt mơ hình ứng dụng xây dựng chưa cao Hướng phát triển luận văn tương lại Từ kết đạt dự định phát triển đề tài thêm hướng sau: - Sử dụng nhiều liệu tăng độ phổ biến ứng dung - Kiệm nghiệm thêm với mơ hình deep learning khác nhằm nâng cao độ xác - Phân loại nhiều loại cảm xúc có 69 TÀI LIỆU THAM KHẢO [1] K R Scherer, What are emotions? and how can they be measured?, 2005 [2] L F Barrett, "Discrete emotions or dimensions? the role of valence focus and arousal focus," Cognition and Emotion, pp vol 12, no 4, pp 579–599, 1998 [3] "Positivepsychology," [Online] Available: https://positivepsychology.com/ [Accessed 22 06 2020] [4] J.-H L J.-H L K K C.-H I Chang-Hee Han, "Data-driven user feedback: an improved neurofeedback strategy considering the interindividual variability of EEG features," BioMed Research International, vol 2016, p 7, 18 2016 [5] "World Health Organization," [Online] Available: https://www.who.int/ [Accessed 30 01 2020] [6] "The neweconomy," [Online] Available: https://www.theneweconomy.com/ [Accessed 16 06 2020] [7] M D R Iris B Mauss, "MaMeasures of emotion: a review," Cognition and Emotion," PMC, vol 23, no 2, pp 209-237, 2009 [8] M D R a G L Clore, "Belief and feeling: evidence for an accessibility model of emotional self-report," Psychological Bulletin, pp vol 128, no 6, pp 934–960, 2002 [9] M M B a P J L B N Cuthbert, "Fear and anxiety: theoretical distinction and clinical test," Psychophysiology, pp vol 33, supplement 1, pp S15– S15, 1996 [10] J R I a J P M Bekkedal, "Human brain EEG indices of emotions: delineating responses to affective vocalizations by measuring frontal theta event-related synchronization," Neuroscience & Biobehavioral Reviews, vol 35, no 9, pp 1959-1970, 2011 [11] Y L Olga Sourina, "A Fractal-based Algorithm of Emotion Recognition from EEG using Arousal-Valence Model," in Proceedings of the International Conference on Bio-inspired Systems and Signal Processing, Rome, Italy, 2011 [12] B G a J P L Brown, "Towards wireless emotional valence detection from EEG," IEEE Engineering in Medicine and Biology Society, pp vol 2011, pp 2188–2191, 2011 [13] J W, "What is an Emotion?," in Mind, Oxford University Press, 1884, pp 188-205 [14] W B Cannon, "The James-Lange theory of emotions: A critical examination and an alternative theory," The American Journal of Psychology, vol 100, no 3/4, p 567–58, 1987 [15] B H Friedman, "Feelings and the body: the Jamesian perspective on autonomic specificity of emotion," Biological Psychology, vol 84, no 3, pp 383-393, 2010 70 [16] J E S S SCHACHTER, "Cognitive, social, and physiological determinants of emotional state," Psychol Rev, vol 69, no 5, pp 379-399, 1962 [17] S F Ph.D, Stress: Appraisal and Coping, : Encyclopedia of Behavioral Medicine, 2013, p 1913–1915 [18] A S a K N O Joshua Ian Davis, "How Does Facial Feedback Modulate Emotional Experience?," J Res Pers, vol 43, no 5, pp 822-829, 2010 [19] R Plutchik, "A GENERAL PSYCHOEVOLUTIONARY THEORY OF EMOTION," Theories of Emotion, vol 1, pp 3-33, 1980 [20] J A Russell, "A circumplex model of affect," Journal of Personality, vol 39, no 6, pp 1161-1178, 1980 [21] M G P E R S a P N A Kemp, "Steadystate visually evoked potential topography during processing of emotional valence in healthy subjects," NeuroImage, vol 17, no 4, pp 1684-1692, 2002 [22] M M J D a A C F.-B Vialatte, "Steadystate visually evoked potentials: Focus on essential paradigms and future perspectives,," Progress in Neurobiology, vol 90, no 4, pp 418-438, 2010 [23] P Lang, M Greenwald, M Bradley and A Hamm, "Looking at pictures: Affective, facial, visceral, and behavioral reactions," Psychophysiology, vol 30, pp 261-273, 1993 [24] A Aguiñaga, M Lopez Ramirez, A Alanis Garza, R Baltazar and V Zamudio, "Emotion analysis through physiological measurements," in In Workshop Proceedings of the 9th International Conference on Intelligent Environments;, Amsterdam, The Netherlands, 2013 [25] A Picot, S Charbonnier and A Caplier, "EOG-based drowsiness detection: Comparison between a fuzzy system and two supervised learning classifiers," IFAC Proc, vol 44, no 1, pp 14283-14288, 2011 [26] J J M K M S a T P G Chanel, "Short-term emotion assessment in a recall paradigm," International Journal of Human-Computer Studies, vol 67, no 8, pp 607-627, 2009 [27] M B a G Mazza, "Brain oscillations and BIS/BAS (behavioral inhibition/activation system) effects on processing masked emotional cues ERS/ERD and coherence measures of alpha band," International Journal of Psychophysiology, vol 74, no 2, pp 158-165, 2009 [28] O S a M K N Y Liu, "Real-time EEG-based Emotion Recognition and Its Applications," Transactions on Computational Science XII, Lecture Notes in Computer Science, vol 6670, p 256–277, 2011 [29] S P.-n a P I N Jatupaiboon, "Emotion classification using minimal EEG channels and frequency bands," JCSSE, pp 21-24, 2013 [30] C G K K A H Z a Y P D Huang, "Asymmetric Spatial Pattern for EEG-based emotion detection," in The 2012 International Joint Conference on Neural Networks, Brisbane, QLD, Australia, 2012 [31] H C K J L J Y L K O A a E J K K S Park, "Emotion recognition based on the asymmetric left and right activation," International Journal of Medicine and Medical Sciences, vol 3, no 6, p 201–209, 2011 71 [32] M K E O a S.-P K M.-K Kim, "A Review on the Computational Methods for Emotional State Estimation from the Human EEG," Computational and Mathematical Methods in Medicine, 2013 [33] H.-L L C C H C S.-Y F a J.-H G T M C Lee, "Neural activities associated with emotion recognition observed in men and women," Molecular psychiatry, vol 10, no 5, p 450–455, 2005 [34] W.-L Z a B.-L L J.-Y Zhu, "Cross-subject and Crossgender Emotion Classification from EEG," in World Congress on Medical Physics and Biomedical Engineering, Toronto, Canada, 2015 [35] Z V Rafael Ramirez, "Detecting Emotion from EEG Signals Using the Emotive Epoc Device," Brain Informatics, p 175–184, 2012 [36] Y Zhan, M I Vai, S Barma, S H Pun, J W Li and P U Mak, "A Computation Resource Friendly Convolutional Neural Network Engine For EEG-based Emotion Recognition," in 2019 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), Tianjin, China, 2019 [37] Z Wen, R Xu and J Du, "A novel convolutional neural networks for emotion recognition based on EEG signal," in International Conference on Security, Pattern Analysis, and Cybernetics (SPAC), Shenzhen, China, 2017 [38] W K a H Candra, "EEG–Based Emotion Classification Using Convolutional Neural Networks," in 2019 2nd International Conference on Applied Engineering (ICAE), Batam, Indonesia, 2019 [39] S A R D S S M S B Samarth Tripathi, "Using Deep and Convolutional Neural Networks for Accurate Emotion Classification on DEAP Data," The Twenty-Ninth Innovative Applications of Artificial Intelligence Conference , vol 31, no 2, p 808, 2017 [40] Y Zhan, M I Vai, S Barma, S H Pun, J W Li and P U Mak, "A Computation Resource Friendly Convolutional Neural Network Engine For EEG-based Emotion Recognition," in 2019 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), Tianjin, China, 2019 [41] S K Pallavi Pandey, "Subject independent emotion recognition system for people with facial deformity: an EEG based approach," J Ambient Intell Human Comput 12, pp 2311-2320, 2021 [42] M M I M M R C M S K S M A A A M S I M A M Md Rabiul Islam, "EEG Channel Correlation Based Model for Emotion Recognition," Comput Biol Med, vol 136, 2021 [43] O O Kalayci T., "Wavelet preprocessing for automated neural network detetion of EEG spikes," in IEEE Engineering in Medicine and Biology Magazine, vol 14, no 2, pp 160-166, 1995 [44] S K G a N G Saurabh Diwaker, "Classification of EEG Signal using Correlation Coefficient among Channels as Features Extraction Method," Indian Journal of Science and Technology, vol 9, no 32, pp 1-7, 2016 [45] M L a B.-L Lu, "Emotion classification based on gammaband EEG," in 72 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, MN, USA, 2009 [46] W G Parrott, Emotions in Social Psychology: Essential Readings, Psychology Press, 2001 [47] J K G C a T P M Soleymani, "A Bayesian framework for video affective representation," in 2009 3rd International Conference on Affective Computing and Intelligent Interaction and Workshops, Amsterdam, Netherlands, 2009 [48] J D Morris, "SAM: the self-assessment manikin An efficient cross-cultural measurement of emotional response," Journal of Advertising Research, vol 35, no 8, p 63–68, 1995 [49] P N S Bùi Huy Hải, "Sử dụng tín hiệu điện não đồ đánh giá độ tập trung kích thích cảm xúc dựa đánh giá lượng giá trị entropy," in Tạp chí khoa học công nghệ lượng- Trường Đại học điện lực, 2018 73