PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN dựa TRÊN tín HIỆU điện NÃO VÀ BIẾN THIÊN NHỊP TIM

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC ỨNG DỤNG LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN DỰA TRÊN TÍN HIỆU ĐIỆN NÃO VÀ BIẾN THIÊN NHỊP TIM Ngành: Vật lý kỹ thuật Sinh viên MSSV Sinh viên MSSV : Tưởng Minh Quốc : 1612855 : Lê Thị Bé Siêu : 1612944 GVHD : ThS Lê Quốc Khải Tp HCM, 07/2020 ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC ỨNG DỤNG BỘ MÔN VẬT LÝ KỸ THUẬT Y SINH LUẬN VĂN TỐT NGHIỆP CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc TP Hồ Chí Minh, ngày 17 tháng 07 năm 2020 NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP HỌ VÀ TÊN: NGÀNH : TƯỞNG MINH QUỐC LÊ THỊ BÉ SIẾU VẬT LÝ KỸ THUẬT MSSV: LỚP: 1612855 1612944 KU16KYS2 Đầu đề luận văn: PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN DỰA TRÊN TÍN HIỆU ĐIỆN NÃO VÀ BIẾN THIÊN NHỊP TIM Nhiệm vụ: - Tổng hợp lý thuyết điện não (EEG), biến thiên nhịp tim (HRV) Khảo sát đặc trưng loại tín hiệu tổng hợp đặc trưng dùng cho phân loại cảm xúc Sử dụng thiết bị Nicolet One khảo sát thực nghiệm Tìm hiểu sử dụng phương pháp xử lý liệu làm liệu, trích xuất đặc trưng, chọn lọc đặc trưng giảm chiều liệu Tìm hiểu kiến thức mạng nơ-ron nhân tạo nói chung kiến trúc mạng CFNN (Cascade Feedforward Neural Network) Thực huấn luyện mơ hình mạng nơ-ron nhân tạo với kiến trúc mạng CFNN để phân loại trạng thái cảm xúc căng thẳng thư giãn Tính tốn số xác thực cho kết phân loại so sánh với vài mơ hình phân loại khác Đánh giá kết cách định lượng phương pháp xác thực chéo đường cong ROC Ngày giao nhiệm vụ luận văn: 17/04/2020 Ngày hoàn thành nhiệm vụ: 17/07/2020 Họ tên người hướng dẫn: ThS LÊ QUỐC KHẢI Tên đề tài nội dung LVTN thông qua Bộ môn NGƯỜI HƯỚNG DẪN (Ký ghi rõ họ tên) SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU CHỦ NHIỆM BỘ MÔN (Ký ghi rõ họ tên) GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP LỜI CẢM ƠN Luận văn hồn thành cách thành công tốt đẹp trước hết xin chân thành cảm ơn Giảng viên - Thạc sĩ Lê Quốc Khải tận tình bảo định hướng đường tối ưu cho Nhờ giúp đỡ thầy mà không bị lạc biển kiến thức mênh mơng vơ tận Thầy dìu dắt đưa lời khuyên hữu ích để chúng tơi từng bước hồn thành Luận văn Bên cạnh chúng tơi xin bày tỏ lịng biết ơn đến Thạc sĩ Lê Cao Đăng - Trưởng phịng Thí nghiệm Vật lý Kỹ thuật Y sinh, tạo điều kiện thuận lợi cho có hội sử dụng sở vật chất, phịng thí nghiệm chia sẽ với chúng tơi học quý giá từ sống kinh nghiệm làm việc Cảm ơn Thạc sĩ Nguyễn Ngọc Hải, nhờ có giúp đỡ anh mà chúng tơi có định hình lĩnh vực xử lí liệu Matlab Những kiến thức thực giúp ích nhiều bắt tay vào xử lý tín hiệu ngày Ngồi muốn gửi lời cảm ơn sâu sắc đến quý thầy cô môn Kỹ Thuật Y Sinh truyền tải nguồn kiến thức hữu ích làm tảng để chúng tơi học tập vận dụng vào việc học vào sống Cảm ơn bạn bè anh chị trước hết lòng ủng hộ giúp đỡ lẫn để hoàn thiện Luận văn Cảm ơn tình nguyện viên dành thời gian hợp tác với chúng tơi để chúng tơi có nguồn liệu quý giá phục vụ cho nghiên cứu Đặc biệt, chúng xin gửi lời cảm ơn chân thành đến với gia đình hết lịng ủng hộ chúng con, hỗ trợ chúng vật chất lẫn tinh thần để chúng vững tin dành hết tâm sức vào trình thực Luận văn Một lần nữa, xin chân thành cảm ơn tất người cách sâu sắc Chúc người thành công hạnh phúc!!! SINH VIÊN ĐỒNG THỰC HIỆN TƯỞNG MINH QUỐC LÊ THỊ BÉ SIẾU i SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP TÓM TẮT NỘI DUNG LUẬN VĂN PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN DỰA TRÊN TÍN HIỆU ĐIỆN NÃO VÀ BIẾN THIÊN NHỊP TIM Tín hiệu điện não (EEG) điện tim (ECG) hai loại tín hiệu sinh học phổ biến việc khảo sát hoạt động chức người, có nhiều nghiên cứu đặc trưng chúng cho thấy tiềm lớn việc nhận dạng cảm xúc Nghiên cứu tập trung vào phân loại hai loại cảm xúc căng thẳng thư giãn việc phân tích đồng thời tín hiệu EEG biến thiên nhịp tim (HRV) Nghiên cứu tiến hành 17 tình nguyện viên khỏe mạnh, độ tuổi từ 21-23 Các đối tượng hướng dẫn thực theo hai phương pháp kích thích cảm xúc căng thẳng xem hình ảnh kích thích từ ảnh NAPS tính nhẩm (MAT), xen kẽ với lần kích thích căng thẳng giai đoạn hít thở chậm sâu (DSB) để tạo cảm xúc thư giãn Dữ liệu thu sau bước tiền xử lý sẽ trích xuất 35 đặc trưng có liên quan đến phân loại cảm xúc chọn lọc đặc trưng hệ số tương quan Kendall’s Tau sẽ biến đổi phương pháp nlPCA (non-linear Principal Component Analysis) để giảm chiều liệu đưa vào phân loại mơ hình mạng CFNN (Cascade Forward Neural Network) Kết cho thấy đặc trưng liên quan đến vùng sóng Alpha điện não, đặc trưng hoạt động điện mắt Entropy tín hiệu HRV đặc trưng thay đổi rõ rệt hai trạng thái Kết phân loại kiến trúc mạng CFNN đạt độ xác đạt 95,96% sử dụng kêt hợp loại tín hiệu (EEG+HRV) Độ xác sử dụng EEG HRV 83,33% 69,70% cho thấy việc kết hợp hai tín hiệu thực nâng cao độ xác cho kết phân loại Bên cạnh đó, kết phân loại so sánh với số mơ hình phân loại khác bao gồm Naïve Bayes, K-Neareast Neighbor Support Vector Machine cho thấy mơ hình CFNN cho kết xác thực tốt ii SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP ABSTRACT THE CLASSIFYING OF STRESSED AND RELAXED EMOTIONAL STATES BASED ON ANALYSIS OF AELECTROENCEPHALOGRAPHY AND HEART RATE VARIABILITY EEG and ECG are the two main types of bioelectrical signals in the field of human functional research This study focuses on classifying two emotional states, stressed and relaxed, using both EEG and HRV signals We conducted experiments on 17 healthy volunteers aged between 21 and 23 years old For stressed and relaxed stimuli, subjects watch effective pictures from the NAPS pictures set and doing Mental Arithmetic Task (MAT) to exclit stress emotion interspersing with slow deep breathing (DSB) There are 35 features extracted and selected using Kendall’s Tau correlation coefficients Features then were transformed by nlPCA to perform dimension reduction for the input of Cascade Forward Neural Network (CFNN) to classify The results show that some features related to the relative Alpha frequency from EEG, as well as blink rate and Entropy of HRV, are not only suitable for both types of stimuli but also showing a strong correlation with the target classes The classification results of CFNN achieved a relatively high accuracy of 95,96% when using both EEG and HRV together The classification accuracies when using only EEG or HRV are respectively 83,33% and 69,70%, showing that the combination of these two signals did increase the recognition performance Furthermore, in comparison with other classification models including Naïve Bayes, KNN, and SVM, the CFNN model also shows better validation results iii SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP MỤC LỤC NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP LỜI CẢM ƠN i TÓM TẮT NỘI DUNG LUẬN VĂN ii MỤC LỤC iv DANH SÁCH CÁC HÌNH ẢNH vii DANH SÁCH CÁC BẢNG BIỂU ix DANH SÁCH CÁC TỪ VIẾT TẮT x CHƯƠNG GIỚI THIỆU 1.1 Giới thiệu chung luận văn 1.2 Mục tiêu nhiệm vụ luận văn 1.2.1 Mục tiêu 1.2.2 Nhiệm vụ CHƯƠNG TỔNG QUAN 2.1 Điện não đồ (EEG-Electroencephalography) 2.1.1 Sơ lược EEG 2.1.2 Nguồn gốc sinh học tính hiệu EEG 2.1.3 Sơ đồ hệ thống đặt điện cực EEG 2.1.4 Kênh đạo trình sử dụng EEG 2.1.5 Các miền tần số tín hiệu EEG người trưởng thành 2.2 Biến thiên nhịp tim (HRV - Heart Rate Variability) 2.2.1 Sơ lược HRV 2.2.2 Nguồn gốc sinh học HRV 2.2.3 Cách đo lường tín hiệu HRV 2.2.4 Các thông số HRV 2.3 Trạng thái căng thẳng (stress) 11 2.3.1 Khái niệm chung 11 2.3.2 Nguyên nhân gây stress 11 2.3.3 Tác động stress thể 11 2.4 Trạng thái thư giãn 12 2.4.1 Khái niệm chung 12 2.4.2 Vai trò việc thư giãn thể 13 2.5 Sơ lược mạng nơ-ron nhân tạo (ANN-Artificial Neural Network) 13 CHƯƠNG PHƯƠNG PHÁP NGHIÊN CỨU 16 3.1 Phương pháp kích thích căng thẳng 16 3.1.1 Phương pháp xem hình ảnh kích thích NAPS (Nencki Affective Picture Systerm) 16 3.1.2 Phương pháp thực tính nhẩm MAT (Mental Arhtimetic Task) 19 iv SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP 3.2 Phương pháp hỗ trợ thư giãn 20 3.3 Hệ thống thu nhận liệu 21 3.3.1 Hệ thống NicoletOne vEEG 21 3.3.2 Thiết bị v32 Amplifier dây điện cực 22 3.3.3 Phòng Faraday 22 3.3.4 Máy tính cá nhân xách tay (Laptop) 23 3.4 Tiến trình thu nhận liệu 23 3.4.1 Sàng lọc đối tượng 23 3.4.2 Chuẩn bị trước sau thí nghiệm 24 3.4.3 Q trình thí nghiệm 25 3.5 Quy trình xử lý liệu 29 3.5.1 Tiền xử lý liệu 29 3.5.2 Phân đoạn dán nhãn liệu 33 3.5.3 Trích xuất đặc trưng 33 3.5.4 Chọn lọc đặc trưng 44 3.5.5 Giảm chiều liệu 45 3.5.6 Huấn luyện mơ hình phân loại 47 3.5.7 Các phương pháp đánh giá định lượng cho kết phân loại 50 CHƯƠNG KẾT QUẢ VÀ BÀN LUẬN 55 4.1 Kết tiền xử lý 55 4.1.1 Kết tiền xử lý tín hiệu EEG 55 4.1.2 Kết tiền xử lý tín hiệu ECG 56 4.1.3 Kết phân đoạn dán nhãn 56 4.2 Kết trích xuất đặc trưng 58 4.3 Kết chọn lọc đặc trưng giảm chiều liệu 60 4.3.1 Kết sử dụng phương pháp Kendall’s Tau chọn lọc đặc trưng 60 4.3.2 Kết giảm chiều liệu sử dụng phương pháp nlPCA 66 4.4 Kết huấn luyện mơ hình phân loại 69 4.5 Kết xác thực 72 4.5.1 Kết xác thực sử dụng ma trận nhầm lẫn 72 4.5.2 Kết khảo sát đặc tính phân loại CFNN đồ thị ROC 79 4.6 Kết tối ưu hoá cho mơ hình phân loại 80 4.6.1 Lý giải cho hiệu mơ hình Gaussian SVM 80 4.6.2 Kết phân loại mơ hình Gaussian SVM sau tối ưu 81 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 83 5.1 Kết đạt 83 5.2 Kết luận 83 5.3 Hạn chế đề tài 86 v SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP 5.4 Hướng phát triển đề tài 86 TÀI LIỆU THAM KHẢO PHỤ LỤC vi SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP DANH SÁCH CÁC HÌNH ẢNH Hình 1.1 Bản ghi EEG công bố Hans Berger [3] Hình 2.2 Một epoch 30s ghi EEG đại ngày [4] Hình 2.3 Minh họa nguồn gốc tín hiệu EEG [4] Hình 2.4 Sơ đồ “The international 10-20 system” [6] Hình 2.5 Hình dạng vùng sóng EEG [7] Hình 1.6 Sơ đồ điều hồ nhịp tim chế thần kinh [11] Hình 1.7 Một mẫu ví dụ cho đồ thị biến thiên nhịp tim (HRV) phút Hình 1.8 Mơ hình xử lý thơng tin ANN [16] 14 Hình 1.9 Một số hàm truyền thông dụng [16] 15 Hình 3.1 Sơ đồ tổng quát cho quy trình nghiên cứu nhóm 16 Hình 3.2 Mơ hình cảm xúc 2-D tác giả Russell (vẽ lại theo [17]) 17 Hình 3.3 Sự phân bố hình ảnh theo trục “Valence” “Arousal” ảnh kích thích phổ biến [18] 18 Hình 3.4 Một số hình ảnh lựa chọn NAPS [19] 18 Hình 3.5 Màn hình hiển thị điện thoại ứng dụng IQ and Aptitude Test Practice 20 Hình 3.6 Sơ đồ hệ thống thu nhận liệu 21 Hình 3.7 Sơ đồ khối chức hình ảnh thực tế hệ thống NicoletOne vEEG 21 Hình 3.8 Hình ảnh thực tế thiết bị v32 Amplifier dây điện cực hình chén (Ag-AgCl) 22 Hình 3.9 Hình ảnh thực tế phòng Faraday 23 Hình 3.10 Sơ đồ bố trí điện cực điện não (trái) điện tim (phải) 25 Hình 3.11 Hình ảnh thực tế ca đo Bên trái: Khi thực kích thích hình ảnh Bên phải: Khi thực kích thích tính nhẩm 25 Hình 3.12 Sơ đồ q trình thực kích thích hình ảnh NAPS 26 Hình 3.13 Sơ đồ q trình thực kích thích MAT 27 Hình 3.14 Màn hình hiển thị q trình kích thích A: hình nhập thơng tin đối tượng B: hình hiển thị ảnh kích thích C: hình đánh giá cảm xúc đối tượng D: ví dụ hình nhắc nhở qua bước 28 Hình 3.15 Các bước quy trình xử lý liệu 29 Hình 3.16 Sơ đồ tóm tắt thuật tốn phương pháp Multi-Thresholding 31 Hình 3.17 Ví dụ kết xác định đỉnh thuật toán Envelope mẫu liệu 32 Hình 3.18 Đồ thị biến thiên L(k) theo k 38 Hình 3.19 Histogram khoảng RR với độ rộng cột 1/128s cách tính số TI [47] 40 Hình 3.20 Histogram khoảng RR với độ rộng cột 50ms tham số để tính SI [47] 41 Hình 3.21 Đồ thị Pointcaré giá trị SD1, SD2 [49] 42 Hình 3.22 Sự khác PCA nlPCA, vẽ lại theo [53] 46 Hình 3.23 Cấu trúc Auto-associative nerual network (Autoencoder) [53] 46 Hình 3.24 Kiến trúc CFNN [57] 47 Hình 3.25 Tóm tắt q trình huấn luyện mơ hình ANN 48 Hình 3.26 Mơ tả việc mã hóa cho hai trạng thái để chia miền cho kết phân loại Giá trị b=0, d: y=x 50 Hình 3.27 Mơ tả phương pháp LOOCV vẽ lại theo [58] 51 vii SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP Hình 3.28 Minh hoạ cho ma trận nhầm lẫn sử dụng nghiên cứu 51 Hình 3.29 Mơ tả đường cong ROC diện tích đường cong AUC [59] 53 Hình 3.30 Mơ tả đường thẳng phân loại thay đổi vẽ đồ thị ROC 54 Hình 4.1 Kết tiền xử lý đoạn 30 giây tín hiệu EEG Các chữ số 1-4 đại diện cho bước lọc nhiễu theo thứ tự:tín hiệu thơ - thông thấp – thông cao – điện mắt Các chữ A B đại diện cho kết miền thời tần số sau áp dụng lọc 55 Hình 4.2 Kết tiền xử lý tín hiệu ECG 56 Hình 4.3 Ví dụ hai mẫu tín hiệu căng thẳng thư giãn 57 Hình 4.4 Phần trăm phương sai liệu biểu diễn PC cho đặc trưng tổng hợp 67 Hình 4.5 Phần trăm phương sai liệu biểu diễn PC Bên trái đặc trưng EEG Bên phải đặc trưng HRV 67 Hình 4.6 Sự phân bố liệu chiều (PC) từ PC1-PC6 với đặc trưng tổng hợp 68 Hình 4.7 Sự phân bố liệu chiều (PC) từ PC1-PC4 với đặc trưng từ tín hiệu EEG 68 Hình 4.8 Sự phân bố liệu chiều (PC) từ PC1-PC4 với đặc trưng từ tín hiệu HRV 69 Hình 3.9 Cấu trúc mạng CFNN sử dụng nghiên cứu 69 Hình 4.10 Mẫu minh họa cho việc mã hóa vecto cho lớp phân loại 70 Hình 4.11 Quá trình huấn luyện kết sử dụng đặc trưng EEG 71 Hình 4.12 Quá trình huấn luyện kết sử dụng đặc trưng HRV 71 Hình 4.13 Quá trình huấn luyện kết sử dụng đặc trưng tổng hợp 72 Hình 4.14 Quy ước biểu diễn kết phân loại mơ hình ma trận nhầm lẫn 73 Hình 4.15 Các số xác thực cho kết phân loại đặc trưng EEG 73 Hình 4.16 Các số xác thực cho kết phân loại đặc trưng HRV 74 Hình 4.17 Các số xác thực cho kết phân loại đặc trưng EEG+HRV 75 Hình 4.18 Biểu đồ cột số xác thực mơ hình đặc trưng EEG 76 Hình 4.19 Biểu đồ cột số xác thực mô hình đặc trưng HRV 77 Hình 4.20 Chỉ số xác thực mơ hình đặc trưng tổng hợp EEG HRV 78 Hình 4.21 Đồ thị ROC mơ hình CFNN ba đặc trưng 79 Hình 4.22 Minh hoạ cho tình trạng nhạy với lớp mơ hình Gaussian SVM 80 Hình 4.23 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng EEG 81 Hình 4.24 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng HRV 81 Hình 4.25 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng tổng hợp EEG + HRV 82 viii SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP Hình 4.20 Chỉ số xác thực mơ hình đặc trưng tổng hợp EEG HRV Tương tự, nhận xét sơ mục 3.5.1.2 ma trận nhầm lẫn mơ hình phân loại sử dụng đồng thời hai đặc trưng EEG HRV, theo bảng 4.9 Hình 4.20 hiệu chung mơ hình Naive Bayes, KNN CFNN nâng cao thêm đáng kể : Naive Bayes tăng từ 60.69% lên 79.29%, KNN tăng từ 73.74% lên 85.35% CFNN tăng từ 69.7% lên đến 95.96% Thêm vào đó, F1 score mơ hình CFNN đạt đến 0.96 có nghĩa độ xác ch̉n xác mơ hình áp dụng hai liệu đồng Cụ thể, độ chuẩn xác, độ nhạy độ đặc hiệu CFNN đạt 95,10%, 94.90% 97,00% nên nói kết phân loại CFNN vừa đồng vừa ổn định xác Từ kêt vừa nói kết luận việc kết hợp vừa tim vừa não, cụ thể phân tích tín hiệu EEG HRV thực nâng cao hiệu chất lượng cho việc phân loại hai trạng thái cảm xúc căng thẳng thư giãn mục tiêu đề phần giới thiệu chung Thêm vào đó, độ xác tin cậy mơ hình CFNN chọn cao so với mơ hình phân loại khác dùng nghiên cứu Tuy nhiên, xét tính ổn định cho ba đặc trưng KNN với K=5 độ xác tin cậy khơng cao CFNN cho thấy ổn định cao áp dụng ba đặc trưng EEG, HRV tổng hợp EEG HRV Riêng mơ hình SVM có vài điểm đặc biệt Độ nhạy mơ hình SVM đạt đến 100% có nghĩa mẫu thuộc lớp thư giãn nhận đúng, nhiên độ đặc hiệu có 26,00% có nghĩa đến 74% mẫu mà mơ hình nhận thư giãn thực chất nhận sai từ mẫu thuộc lớp căng thẳng, hay nói cách khác đến 74% mẫu căng thẳng không nhận căng thẳng Tuy nhiên điều khơng thể nói mơ hình SVM vơ dụng Đó độ ch̉n xác (Precision) độ đặc hiệu SVM đạt 100% nên nói mẫu mơ hình SVM nhận căng thẳng thực tế mẫu chắc chắn căng thẳng Như vậy, nghiên cứu mong muốn chọn lựa đối tượng người trạng thái căng thẳng sử dụng mơ hình SVM để chọn lọc chắc chắn đối tượng mơ hình SVM phân loại căng thẳng chắc chắc 100% họ căng thẳng Bên cạnh nhận xét riêng với từng mơ hình phân loại đặc trưng khác nhau, nhìn vào đồng độ xác giá trị tương đối cao mơ hình với ba đặc trưng cho thấy hiệu trình thu nhận xử lý liệu thực góp phần đáng kể vào hiệu phân loại khách quan cho tập liệu 78 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP Với quy trình việc sử dụng mơ hình phân loại dù phức tạp hay đơn giản cho kết xác cao đáng tin cậy (có thể chứng minh thơng qua việc số độ xác chuẩn xác mơ hình chọn cao cịn độ sai lệch thấp) Như vậy, với quy trình thu nhận xử lý liệu sử dụng nghiên cứu này, áp dụng cho nghiên cứu có liên quan tương lai sẽ giúp cho nghiên cứu dễ đạt kết cao mong muốn 4.5.2 Kết khảo sát đặc tính phân loại CFNN đồ thị ROC Từ kết bàn luận mục 4.5.1 đề cập mục 3.5.7.3, để khảo sát đặc tích nhận biết lớp mơ hình CFNN ta sẽ áp dụng phương pháp đồ thị ROC lên kết vecto tọa độ output mô hình CFNN Nhắc lại cách thực hiện: Hệ số b sẽ thay đổi từ -2 đến ứng với 100% kết nhận thư giãn đến 100% kết nhận căng thẳng Kết xem Hình 4.21 Hình 4.21 Đồ thị ROC mơ hình CFNN ba đặc trưng Trên Hình 4.21, giá trị AUC mơ hình phân loại sử dụng đặc trưng tổng hợp EEG HRV lên đến 0,89 thể hiệu suất phân loại sử dụng hai đặc trưng EEG HRV cao hẳn so với sử dụng riêng lẻ đặc trưng EEG HRV với giá trị AUC 0,80 0,65 Bên cạnh đó, xét đến đoạn chuyển tiếp đường cong ROC, ta thấy đoạn chuyển tiếp mơ hình CFNN đặc trưng tổng hợp nhỏ hẳn so với đặc 79 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP trưng EEG HRV riêng lẻ Điều có nghĩa kết phân loại mơ hình CFNN tổng hợp phụ thuộc vào giá trị ngưỡng phân loại 4.6 Kết tối ưu hố cho mơ hình phân loại 4.6.1 Lý giải cho hiệu mơ hình Gaussian SVM Mặc dù hầu hết mơ hình cho kết phân loại với hiệu cao, mơ hình SVM cho thấy nhạy với lớp Positive, tức lớp thư giãn Nguyên nhân tình trạng hệ số scale kernel Gaussian sử dụng nghiên cứu bé, dẫn đến đường biên phân hai lớp mơ hình dùng bao quanh nhóm nhỏ mẫu căng thẳng với độ tương đồng gần nhau, mẫu khác thuộc lớp căng thẳng với độ tương đồng khơng phân vào lớp căng thẳng nên bị nhận nhầm thành thư giãn Cần lưu ý tình trạng tương đối phổ biến với mơ hình phân loại SVM sử dụng kernel Gaussian Hình 4.22 bên minh hoạ cho vấn đề với hai đường biên phân loại ứng với hai giá trị 𝛾 khác kernel Gaussian Hình 4.22 Minh hoạ cho tình trạng nhạy với lớp mơ hình Gaussian SVM Để chọn giá trị 𝛾 phù hợp, thử từ đến 10 xem xét thực với đường cong phần trăm phương sai mục 4.3.2 𝛾=5 giá trị tối ưu cho nghiên cứu Có thể thấy điều trùng hợp giá trị 𝛾 mơ hình Gaussian có tác dụng tương tự số Neighbor mơ hình KNN số neighbor tối ưu mơ hình KNN mà nhóm thu Sự trùng hợp khơng phải ngẫu nhiên mà lý giải theo thực tế nghiên cứu này, mỗi trạng thái cảm xúc đổi tượng gồm có mẫu nên số mẫu có tương đồng Điều hồn tồn hợp lý lý giải cho trùng hợp giá trị tối ưu cho hai mơ hình SVM KNN mà nhóm sử dụng cho nghiên cứu Như vậy, nghiên cứu sau phân liệu thành nhiều đoạn (mẫu) thay đổi hệ số mơ hình cho phù hợp phát vừa nêu 80 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP 4.6.2 Kết phân loại mơ hình Gaussian SVM sau tối ưu Với giá trị 𝛾=5 tối ưu trình bày mục 4.6.1 trên, nhóm thực lại quy trình huấn luyện LOOCV điền kết vào ma trận nhầm lẫn theo quy ước mục 4.5.1 Kết thể Hình 4.23 đến 4.25 bên Hình 4.23 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng EEG Hình 4.24 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng HRV 81 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP Hình 4.25 Ma trận nhầm lẫn mơ hình Gaussian SVM trước sau tối ưu sử dụng đặc trưng tổng hợp EEG + HRV Như vậy, từ hình 4.23, 4.24, 4.25 ta nhận thấy hiệu phân loại mơ hình SVM cải thiện đáng kể Hơn thế, so sánh với kết mơ hình lại sử dụng riêng lẻ EEG HRV để phân loại SVM lúc trở thành mơ hình cho kết phân loại tốt nhất, vượt xa mơ hình cịn lại Dù vậy, đặc trưng tổng hợp mơ hình CFNN chọn nhóm mơ hình tối ưu Tuy nhiên, hiệu mơ hình SVM sát so với hiệu mơ hình CFNN (Accuracy 93.94% so với 95.96% F1score 0.94 so với 0.96) 82 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết đạt Với mục tiêu đề ban đầu vấn đề phát sinh thực hiện, đạt điều sau thực nghiên cứu này: - Thiết kế, thử nghiệm hồn thiện quy trình thu nhận liệu Nghiên cứu thiết kế thực cẩn trọng khâu sàng lọc đối tượng (thể chất tinh thần) để đảm bảo xác liệu thu nhận Bên cạnh đó, khâu thu nhận liệu thực 17 đối tượng, 20 ca đo xây dựng mẫu liệu ba loại kích thích: hai kiểu kích thích căng thẳng cho thư giãn giúp đa dạng hóa cho liệu huấn luyện - Xây dựng quy trình hồn chỉnh, tự động đáng tin cậy để xử lý liệu thu từ khâu tiền xử lý, trích xuất ch̉n hóa đặc trưng đến chọn lọc đặc trưng giảm chiều liệu chọn Quy trình giúp nâng cao hiệu tập liệu dùng cho việc phân loại - Khảo sát đặc trưng EEG HRV phù hợp cho việc phân loại hai trạng thái cảm xúc căng thẳng thư giãn phạm vi nghiên cứu - Xây đựng mơ hình phân loại CFNN phù hợp cho nghiên cứu đạt độ xác cao 95,96% đồng hai lớp với F1 score = 0,96 - Chứng minh hiệu việc kết hợp tim não để phân loại trạng thái cảm xúc sử dụng hai loại tín hiệu EEG HRV Bên cạnh cho thấy tiềm tín hiệu HRV dùng cho ứng dụng thiết bị theo dõi sức khỏe di động với độ xác cao 74% - Khảo sát kết kể trên mơ hình phân loại khác bao gồm Naive Bayes, KNN, SVM CFNN để đảm bảo tính khách quan kết đạt Đồng thời đưa ứng dụng cụ thể loại mơ hình khảo sát - Khảo sát đặc tính phân loại mơ hình CFNN ngưỡng phân loại khác dựa đồ thị ROC từ đưa nhận xét cho mục tiêu phân loại khác cho hai trạng thái cảm xúc căng thẳng thư giãn 5.2 Kết luận Với kết đạt trên, chúng tơi đưa vài kết luận cho đề tài sau Thứ nhất, để phân loại hai trạng thái căng thẳng thư giãn sử dụng tín hiệu EEG cho hiệu tốt sử dụng tín hiệu HRV hầu hết mơ hình phân loại tương đương sử dụng mô hình SVM Tuy nhiên việc kết hợp hai loại tín hiệu phân tích sẽ giúp nâng cao đáng kể cho việc phân loại hai trạng thái cảm xúc cho tất mơ hình dùng nghiên cứu Thứ hai, dùng tín hiệu HRV để phân loại căng thẳng thư giãn mô hình Gaussian SVM cho độ xác lên đến 88.89% F1 score 0.89 Kết cộng thêm tính thuận tiện thu nhận tín hiệu HRV thiết bị di động cho thấy tiềm lớn việc phân loại cảm xúc online dựa vào HRV thiết bị di động Thứ ba, đặc trưng liên quan đến sóng Alpha EEG cho thấy trội dùng để phân loại cho trạng thái thư giãn Tần suất cử động mắt giá trị TI HRV thích hợp cho việc nhận dạng trạng thái căng thẳng Các đặc trưng khác hai tín hiệu EEG HRV 83 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP cho kết không rõ rệt phân loại hay nhận dạng hai trạng thái cảm xúc căng thẳng thư giãn Cuối cùng, việc thực đầy đủ kỹ lưỡng bước từ thiết kế thí nghiệm đến thu nhận xử lý tín hiệu qua nhiều bước trình bày nghiên cứu giúp nâng cao hiệu cho việc phân loại hai trạng thái cảm xúc căng thẳng thư giãn sử dụng riêng rẽ từng loại tín hiệu EEG HRV sử dụng đồng thời hai Kết nghiên cứu cao so với nghiên cứu giới mà tổng hợp Thông tin nghiên cứu có liên quan trình bày bảng 5.1 trang 84 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP Bảng 5.1 Tổng hợp nghiên cứu có liên quan vịng 10 năm trở lại (2009-2019) Tác giả Năm Kiểu kích thích Số kênh Kênh Lớp cảm xúc Đặc trưng EEG Đặc trưng HRV Mơ hình phân loại Độ xác Hình thức Li Lu * 2009 Hình ảnh (6s) 62 Tồn hệ thống 10-20 Vui buồn Gamma ERD - SVM 93.50% Offline Hosseini et al * 2010 Hình ảnh (3s) FP1, FP2, T3, T4, Pz Calm-neutral, negative-excited Hệ số Wavelet, HFD - Elman ANN 82.70% Offline Brown et al * 2011 Hình ảnh (6s) Fp1, Fp2, F3, F4, F7, F8, C3, C4 Tích cực, trung tính, tiêu cực Phổ công suất alpha - KNN 85.00% Online Petrantonakis * 2011 Hình ảnh (5s) F3, F4, C3, C4, T3, T4, P3, P4 Hai trục Valence Arousal Độ lệch Alpha Beta - SVM 94.40% Offline Stelios and Hadjidimitriou * 2012 Âm nhạc (60s) 14 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 Bị kích thích trung tính Phân tích Time-Frequency cho Beta Gamma - SVM, KNN, QDA, MDA 86.52% Offline Konstantinidis et al * 2012 Hinh ảnh 19 Toàn hệ thống 10-20 Hai trục Valence Arousal ERP (N100 N200) - SVM 81.30% Online H Guo et al [64] 2012 Xem video (90s) ECG Tích cực tiêu cực - Phổ công suất HRV, Pointcare plot, thống kê SVM 71.40% Offline P Karthikeyan et al [65] 2013 Stroop Color Word Test (30s) ECG Căng thẳng không căng thẳng - Phổ công suất HRV KNN 94.66% Offline R Rakshit [66] 2016 Video (75s) PPG Vui, buồn, trung tính - 10 đặc trưng miền thời gian 13 đặc trưng miền tần số SVM 83.80% Online H Ferdinando et al [67] 2016 Movie (5 phút) ECG mức kích thích: thấp, trung bình cao - Miền thười gian, miền tần số biến đổi Hilbert Huang KNN Trung bình 59% Offline (5s) C Ki-Hwan et al [68] 2010 Hình ảnh Âm (5 phút) F3, F4, T3, T4, O1, O2 ECG Trầm tĩnh, tập trung, căng thẳng, mệt mỏi Phổ công suất dạng sóng SDNN, RMS, pNN50, HRMean, VLF, LF, HF, LF/HF RBFN Max 82,10% Offline Mohsen Naji et al [69] 2013 Âm (1 - phút) EMG ECG lớp cao-thấp Arousal Valence Phổ công suất, High Order Crossing Các số thống kê, Katz’s Fractal, Pointcare, SampEn Fuzzy rough model 88.78% Offline Các báo có đánh dấu * kết review [33] 85 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP 5.3 Hạn chế đề tài - Số mẫu, đối tượng nghiên cứu cịn (chỉ gồm 198 mẫu từ 17 đối tượng) - Tỉ lệ nam nữ không cân (15 nam nữ) - Độ tuổi đối tượng nghiên cứu hẹp (21-23 tuối) - Chưa xây dựng riêng chương trình tính nhẩm riêng để đồng đánh dấu mốc thời gian cho phần kích thích việc làm tính nhẩm 5.4 Hướng phát triển đề tài Nghiên cứu chứng việc kết hợp EEG với HRV giúp tăng cao độ xác tính tin cậy cho kết phân loại đến xấp xỉ 96% sử dụng mơ hình CFNN Ngồi nghiên cứu quy trình xử lý mơ tả nghiên cứu giúp tăng tính hiệu tập liệu dùng cho mục đích phân loại Như vậy, đề tài nghiên cứu sau liên quan đến phân loại cảm xúc có hai hướng sử dụng: - Một mở rộng phạm vi nghiên cứu sử dụng trực tiếp kết nghiên cứu bao gồm trích xuất đặc trưng tự động, mã hóa nlPCA liệu trọng số bias mơ hình phân loại huấn luyện để phân loại cho liệu mở rộng nghiên cứu đó; - Hai sử dụng quy trình xử lý phân loại mơ tả nghiên cứu để lấy làm tham khảo cho mục đích nghiên cứu tương tự khác để nâng cao hiệu phân loại rút ngắn thời gian thử nghiệm cho mục đích nghiên cứu Ngồi ra, phân tích sử dụng riêng tín hiệu HRV cho thấy sử dụng loại tín hiệu HRV đạt độ xác đến 74% với khối lượng tính tốn bé KNN neighbors hay chí đến 88.89% sử dụng mơ hình SVM (chỉ phức tạp KNN chút) Mà theo trình bày mục 3.5.1.2 cơng nghệ (năm 2020) có nhiều thiết bị di động cho phép thu tín hiệu nhịp mạch cá nhân mỡi người lúc nơi từ tín hiệu nhịp mạch ta tính tín hiệu HRV với độ xác cao đáng tin cậy Như việc kết hợp tính đơn giản phương pháp phân loại cảm xúc HRV kết hợp với tính thuận tiện thiết bị theo dõi sức khỏe cá nhân di động phát triển thành phần mềm độc lập để nhúng vào thiết bị di động việc theo dõi cảm xúc tức thời di động điều hoàn toàn khả thi Xa nữa, tương lai, công nghệ phát triển đủ tiên tiến để việc thu nhận tín hiệu EEG thiết bị di động đơn giản đáng tin cậy HRV thời điểm nghiên cứu thực việc tối ưu hóa nghiên cứu để kết hợp EEG HRV vào phân loại trạng thái cảm xúc theo thời gian thực độ xác sẽ cịn cao kết sẽ có ý nghĩa đáng tin cậy Ngồi ra, theo bảng 5.1 hướng nghiên cứu nên thực bới hầu hết nghiên cứu offline, online độ xác khơng cao Một hướng phát triển tiềm thứ ba cho nghiên cứu thay nhận biết trạng thái cảm xúc mục tiêu sẽ “Dự đoán trạng thái cảm xúc trước đối tượng thực cảm thấy nó” Việc dự đốn thực cách sử dụng quy trình xử lý tương tự nghiên cứu áp dụng cho đoạn liệu trước đối tượng rơi vào trạng thái cảm xúc định Sau nhận biết dấu hiệu đối tượng thời điểm trước rơi vào trạng thái cảm xúc Nếu thành cơng việc dự đốn trạng thái cảm xúc trước trỡi dậy hồn tồn khả thi Với khả dự đoán cảm xúc này, ứng dụng điều khiển thiết bị tín hiệu sinh học sẽ áp dụng để điều chỉnh độ nhạy tùy theo trạng thái cảm xúc người sử dụng, giúp tăng cường hiệu độ xác việc điều khiển 86 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP TÀI LIỆU THAM KHẢO [1] Michael A.T., Jonathan R B., The relaxation & stress reduction workbook for teens, Oakland: New Harbinger Publications, 2018 [2] Seo S H., Lee J.; Busan G G.,, "Stress and EEG," 2010 [Online] Available: http://cdn.intechweb.org/pdfs/10986.pdf [Accessed 14 2020] [3] Mark H., Libenson M D., "Introduction," ELECTROENCEPHALOGRAPHY, 2009, pp in PRACTICAL APPROACH TO [4] Siuly S., Yan L., et.al, "EEG Signal Analysis and Classification: techniques and applications," 2016 [5] Chambers S S et al., EEG signal processing, John Wiley & Sons Ltd, 2007 [6] Jasper H H., "The ten-twenty electrode system of the International Federation," Electroencephalogram Clinical Neurophysiology, vol 10, pp 367-380, 1958 [7] Hu L., Zhang Z., EEG Signal Processing and Feature Extraction, Springer, 2019 [8] Ernst G., Heart rate variability, London: Springer, 2004 [9] Chen Y., Zhang L., Zhang B., Changán A Z., "Short-term HRV in young adults for momentary assessment of acute mental stress," Biomedical Signal Processing and Control, vol 57, p 101746, 2020 [10] Thắng T T., "Bệnh viện tâm thần TP HCM," 14 08 2017 [Online] Available: http://bvtttphcm.org.vn/stress-va-suc-khoe/ [Accessed 05 2020] [11] Thanh N X., Cường C B., Giáo trình sinh lí học người động vật, Hồ Chí Minh: Đại học Sư phạm, 2016 [12] Baevsky R.M and Berseneva A.P., "Use of Kardivar System for Determination of the Stress Level and Estimation of the Body Adaptability," Baevsky, RM and Berseneva, AP, 2008 [13] Shaffer F., Ginsberg J P., "An overview of heart rate variability metrics and norms," Frontiers in public health, vol 5, p 258, 2017 [14] Davis M., Eshelman E R., McKay M., The relaxation and stress reduction workbook, New Harbinger Publications, 2008 [15] Giang N., "Liệu pháp thư giãn," 13 08 2017 [Online] Available: http://bvtttphcm.org.vn/lieu-phap-thu-gian/ [Accessed 05 2020] [16] Zupan J., "Introduction to Artificial Neural Network (ANN) Methods: What They Are and How to Use Them," Acta Chimica Slovenica, vol 41, 1994 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP [17] R J., "Three dimesions of emotion," J Pers Soc Psychol, vol 9, no 39, pp 1161 1178, 1980 [18] U Ander, "Affective Image Set Builder," 2018 [Online] Available: http://rstudio-pubsstatic.s3.amazonaws.com/292892_6ade8ffdbd8344209a6b14de2a045ab0.html#introduction [Accessed 01 03 2020] [19] Marchewka A., Żurawsk Ł., Jednoróg K., Grabowska A., "The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database," Behavior research methods, vol 46, no 2, pp 596 610, 2014 [20] Karthikeyan P., Murugappan M., Yaacob S., "A review on stress inducement stimuli for assessing human stress using physiological signals," in 2011 IEEE 7th International Colloquium on Signal Processing and its Applications, IEEE, 2011, pp 420 425 [21] Karthikeyan P., Murugappan M., Yaacob S., "A study on mental arithmetic task based human stress level classification using discrete wavelet transform," in 2012 IEEE Conference on Sustainable Utilization and Development in Engineering and Technology (STUDENT), IEEE, 2012, pp 77 81 [22] LangiS, "IQ and Aptitude Test Practice," Google Play, 2020 [Online] Available: https://play.google.com/store/apps/details?id=org.aztest.iqtest&hl=vi [Accessed 06 2020] [23] Busch V., Magerl W., Kern U., Haas J., Hajak G., Eichhammer P., "The effect of deep and slow breathing on pain perception, autonomic activity, and mood processing—an experimental study," Pain Medicine, vol 13, no 2, pp 215 228, 2012 [24] Van D I., Verstappen K., Aubert A E , W D., Vansteenwegen D , Vlemincx E., "Inhalation/exhalation ratio modulates the effect of slow breathing on heart rate variability and relaxation," Applied psychophysiology and biofeedback, vol 39, no 3-4, pp 171 180, 2014 [25] Antony M M., Bieling P J., Cox B J., Enns M W., Swinson R P., "Psychometric properties of the 42-item and 21-item versions of the Depression Anxiety Stress Scales in clinical groups and a community sample," Psychological assessment, vol 10, no 2, p 176, 1998 [26] Viện sức khỏe tâm thần quốc gia Việt Nam, "Bản khảo sát Trầm Cảm Lo Âu Căng Thẳng," [Online] Available: http://nimh.gov.vn/vi/chuyen-de-tam-than/trac-nghiem-tam-ly/88-cactrc-nghim/761-thang-anh-gia-lo-au-trm-cm-stress-dass.html [Accessed 2019] [27] Lovibond S H., Lovibond P F., Manual for the depression anxiety stress scales, Psychology Foundation of Australia, 1996 [28] Sazgar M., Young M.G., "Awake EEG," in Absolute epilepsy and EEG rotation review, Springer, 2019, pp 117 198 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP [29] Berkaya Selcan Kaplan, Uysal Alper Kursat, Gunal Efnan Sora, Ergin Semih, Gunal Serkan, Gulmezoglu M Bilginer, "A survey on ECG analysis," Biomedical Signal Processing and Control, vol 43, pp 216 235, 2018 [30] Grubbs F E., et al., "Sample criteria for testing outlying observations," The Annals of Mathematical Statistics, vol 21, no 1, pp 27 58, 1950 [31] Khalilzadeh M A., Homam S M., Hosseini S A., Niazmand V., "Qualitative and quantitative evaluation of brain activity in emotional stress," 2010 [32] Cukic M., Pokrajac D., Stokic M., Radivojevic V., Ljubisavljevic M., et al., "EEG machine learning with Higuchi fractal dimension and Sample Entropy as features for successful detection of depression," arXiv preprint arXiv:1803.05985, 2018 [33] Kim, Min-Ki and Kim, Miyoung and Oh, Eunmi and Kim, Sung-Phil, "A review on the computational methods for emotional state estimation from the human EEG," Computational and mathematical methods in medicine, vol 2013, 2013 [34] Kim Hye-Geum, Cheon Eun-Jin, Bai Dai-Seg, Lee Young Hwan, Koo Bon-Hoon, "Stress and heart rate variability: a meta-analysis and review of the literature," Psychiatry investigation, vol 15, no 3, p 235, 2018 [35] Stoica P., Moses R., et al, "Spectral analysis of signals," Pearson Prentice Hall Upper Saddle River, NJ, 2005 [36] Mathersul D., Williams L M., Hopkinson P J., Kemp A H., "Investigating models of affect: relationships among EEG alpha asymmetry, depression, and anxiety," Emotion, vol 8, no 4, p 560, 2008 [37] Giannakakis G., Grigoriadis D., Tsiknakis M., "Detection of stress/anxiety state from EEG features during video watching," 2015 [38] Min-Ki K., Miyoung K., Oh Eunmi, Sung-Phil K., "A review on the computational methods for emotional state estimation from the human EEG," Computational and mathematical methods in medicine, vol 2013, 2013 [39] Eleuteri A., Fisher A C., Groves D., Dewhurst C J., "An efficient time-varying filter for detrending and bandwidth limiting the heart rate variability tachogram without resampling: MATLAB open-source code and internet web-based implementation," Computational and mathematical methods in medicine, vol 2012, 2012 [40] Lomb N R., "Least-squares frequency analysis of unequally spaced data," Astrophysics and space science, vol 39, no 2, pp 447 462, 1976 [41] Blanco S., Figliola A., Quiroga R Quian, Rosso O A., Serrano E., "Time-frequency analysis of electroencephalogram series III Wavelet packets and information cost function," Physical Review E, vol 57, no 1, p 932, 1998 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP [42] Chon K.H., Scully C.G., Lu S., "Approximate entropy for all signals," IEEE, vol 28, no 6, pp 18 23, 2009 [43] Higuchi T., "Approach to an irregular time series on the basis of the fractal theory," Physica D: Nonlinear Phenomena, vol 31, no 2, pp 277 283, 1988 [44] Kesic S., Spasic S Z., "Application of Higuchi's fractal dimension from basic to clinical neurophysiology: A review," Computer methods and programs in biomedicine, vol 133, pp 55 - 70, 2016 [45] Esteller R Vachtsevanos G., Echauz J., Litt B., "A comparison of waveform fractal dimension algorithms," IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, vol 48, no 2, pp 177 183, 2001 [46] Lins O G., Picton T W., Berg P., Scherg M., "Ocular artifacts in EEG and event-related potentials I: Scalp topography," Brain topography, vol 6, no 1, pp 51 63, 1993 [47] Kubios, "About HRV," 2009 [Online] Available: www.kubios.com/about-hrv [Accessed 2020] [48] Tarvainen M P., Ranta-Aho P O , Karjalainen P.A., "An advanced detrending method with application to HRV analysis," IEEE Transactions on Biomedical Engineering, vol 49, no 2, pp 172 175, 2002 [49] Tayel M B., AlSaba E I., "Poincare plot for heart rate variability," International Journal of Biomedical and Biological Engineering, vol 9, no 9, pp 708 711, 2015 [50] Kendall M., "A New Measure of Rank Correlation," Biometrika, vol 30, no 1-2, pp 81-89, 1938 [51] Glen S., "Kendall’s Tau (Kendall Rank Correlation Coefficient)," 26 04 2016 [Online] Available: https://www.statisticshowto.com/kendalls-tau/ [Accessed 05 04 2020] [52] Mathworks, "Linear or rank correlation," 2006 [Online] https://www.mathworks.com/help/stats/corr.html [Accessed 2020] Available: [53] Scholz M., "Nonlinear PCA," [Online] Available: nlpca.org [Accessed 2020] [54] scholz M., "PCA - Principal Component Analysis," [Online] Available: www.nlpca.org [Accessed 2020] [55] Kruger U., Junping Z., Lei Xie, "Principal Manifolds for Data Visualization and Dimension Reduction," 2007 [56] Matthias S., Martin F., Joachim S., "Nonlinear principal component analysis: neural network models and applications," in Principal Manifolds for Data Visualization and Dimension Reduction, vol LNSE, B K D C W A Z Alexander N Gorban, Ed., Berlin, Springer Berlin Heidelberg, 2007, pp 44 67 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP [57] Qiao J , Li Fanjun, Han H., Li W., "Constructive algorithm for fully connected cascade feedforward neural networks," Neurocomputing, vol 182, pp 154 164, 2016 [58] S a C A Arlot, "A survey of cross-validation procedures for model selection," Statistics Surveys, vol 4, pp 40 79, 2010 [59] L N K Nhi, "Đánh giá mơ hình phân loại," 08 01 2018 [Online] Available: https://rpubs.com/lengockhanhi/347941 [Accessed 01 07 2020] [60] Zhang H., Jiang L., Su Jiang, "Hidden naive bayes," pp 919 924, 2005 [61] Zhang S., Li X., Zong M., Zhu X., Wang R., "Efficient knn classification with different numbers of nearest neighbors," IEEE transactions on neural networks and learning systems, vol 29, no 5, pp 1774 1785, 22 08 2019 [62] Noble W S., "What is a support vector machine?," Nature biotechnology, vol 24, no 12, pp 1565 1567, 2006 [63] Sammito S., Bockelmann I., "Options and limitations of heart rate measurement and analysis of heart rate variability by mobile devices: a systematic review," Herzschrittmachertherapie & Elektrophysiologie, vol 27, no 1, pp 28-45, 2016 [64] Guo H W., Huang Y S., Lin C H., Chien J C., Haraikawa K., Shing S J., "Heart rate variability signal features for emotion recognition by using principal component analysis and support vectors machine," in 2016 IEEE 16th International Conference on Bioinformatics and Bioengineering (BIBE), 2016 [65] Karthikeyan P., Murugappan M., Yaacob S., "Detection of human stress using short-term ECG and HRV signals," in Journal of Mechanics in Medicine and Biology, 2013 [66] Rakshit R., Reddy V R., Deshpande P., "Emotion detection and recognition using HRV features derived from photoplethysmogram signals," in Proceedings of the 2nd workshop on Emotion Representations and Modelling for Companion Systems, 2016 [67] Ferdinando H., Seppänen T., Alasaarela E., "Comparing features from ECG pattern and HRV analysis for emotion recognition system," in 2016 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB), 2016 [68] Chon K H., Oh J Y., Park S H., Jeong Y M., Yang D I., "A Study on Algorithm of Emotion Analysis using EEG and HRV," ournal of the Korea society of computer and information, vol 15, no 10, pp 105 112, 2010 [69] Naji M., Firoozabadi M., Azadfallah P., "Classification of music-induced emotions based on information fusion of forehead biosignals and electrocardiogram," Cognitive Computation, vol 6, no 2, pp 241 252, 2014 SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP PHỤ LỤC SVTH: TƯỞNG MINH QUỐC – LÊ THỊ BÉ SIẾU GVHD: ThS LÊ QUỐC KHẢI ... LUẬN VĂN PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN DỰA TRÊN TÍN HIỆU ĐIỆN NÃO VÀ BIẾN THIÊN NHỊP TIM Tín hiệu điện não (EEG) điện tim (ECG) hai loại tín hiệu sinh học phổ biến việc... luận văn: PHÂN LOẠI TRẠNG THÁI CẢM XÚC CĂNG THẲNG VÀ THƯ GIÃN DỰA TRÊN TÍN HIỆU ĐIỆN NÃO VÀ BIẾN THIÊN NHỊP TIM Nhiệm vụ: - Tổng hợp lý thuyết điện não (EEG), biến thiên nhịp tim (HRV)... thời hai loại tín hiệu điện não biến thiên nhịp tim để phân loại hai trạng thái căng thẳng thư giãn để xem xét hiệu sử dụng riêng từng loại tín hiệu xem xét hiệu việc kết hợp loại tín hiệu Với