Phân loại tín hiệu điện não dựa trên học sâu hướng đến xây dựng hệ thống đánh vần bằng mắt

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN XUÂN ĐẠT PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC SÂU HƯỚNG ĐẾN XÂY DỰNG HỆ THỐNG ĐÁNH VẦN BẰNG MẮT LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH HÀ NỘI - 2022 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN XUÂN ĐẠT PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC SÂU HƯỚNG ĐẾN XÂY DỰNG HỆ THỐNG ĐÁNH VẦN BẰNG MẮT Ngành: Chuyên ngành: Mã số: Khoa học máy tính Khoa học máy tính 8480101.01 LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Thanh Hà TS Tạ Việt Cường HÀ NỘI - 2022 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành đến PGS.TS Lê Thanh Hà, TS Tạ Việt Cường Phịng thí nghiệm Tương tác người - máy (HMI Laboratory), Trường Đại học Công Nghệ, Đại học Quốc gia Hà Nội hướng dẫn giúp đỡ suốt trình học tập, trình nghiên cứu, thực luận văn Ngồi ra, tơi xin gửi lời cảm ơn chân thành đến TS Nguyễn Thế Hồng Anh, Viện Khoa học Cơng nghệ Việt Nam - Hàn Quốc (VKIST) hướng dẫn, có góp ý chỉnh sửa quan trọng vấn đề đề cập giải trình nghiên cứu, thực luận văn LỜI CAM KẾT Tôi xin cam đoan luận văn này, "Phân loại tín hiệu điện não dựa học sâu hướng đến xây dựng hệ thống đánh vần mắt" thân thực hướng dẫn PGS.TS Lê Thanh Hà TS Tạ Việt Cường Tất tài liệu tham khảo, trích dẫn nghiên cứu liên quan, bảng biểu, hình ảnh trình bày luận văn có nguồn gốc thích rõ ràng mô tả phần Tài liệu tham khảo luận văn Tơi xin chịu tồn trách nhiệm trước hội đồng nhà trường cam kết Hà Nội, ngày 31 tháng 08 năm 2022 Học viên Trần Xuân Đạt TÓM TẮT Các hệ thống giao diện não - máy tính sử dụng tín hiệu điện não phân biệt hoạt động nhận thức khác người, sử dụng điều khiển thiết bị ngoại vi Các hệ thống có vai trò quan trọng người bị tổn thương chức vận động hay mắc chứng xơ cứng teo bên, giúp họ phục hồi cải thiện khả giao tiếp Hệ thống đánh vần kết hợp sử dụng tín hiệu điện não theo dõi ánh mắt hệ thống giao tiếp có tiềm lớn cho người bị tổn thương chức vận động, mở rộng nâng cao tính hiệu hệ thống đánh vần mắt cách sử dụng tín hiệu điện não Tưởng tượng ảnh vận động (MI) mô hình tín hiệu điện não sử dụng phổ biến hệ thống giao diện não - máy tính So với mơ hình khác tín hiệu điện não, MI người thực cách chủ động nên có khả phát triển độc lập kết hợp cao với mơ hình theo dõi ánh mắt hệ thống đánh vần, phù hợp với điều kiện sử dụng thực tế Luận văn thực nghiệm so sánh khả phân loại trạng thái khác tín hiệu điện não phương pháp chỉnh liệu tín hiệu điện não sử dụng mơ hình học sâu (mạng nơ-ron tích chập) Luận văn thử nghiệm phương pháp hai liệu tín hiệu điện não cho tác vụ tưởng tượng ảnh vận động Với liệu HMI EEG-ET xây dựng phục vụ phát triển hệ thống đánh vần mắt cho người tổn thương chức vận động với hạn chế liệu cho đối tượng, luận văn thử nghiệm mơ hình phân loại cho bệnh nhân bị chứng xơ cứng teo bên so sánh kết với đối tượng khỏe mạnh khác Từ khóa: Hệ thống giao diện não - máy tính (BCI), Electroencephalography (EEG), Tưởng tượng ảnh vận động (MI), Căn chỉnh liệu tín hiệu EEG, Mạng nơ-ron tích chập (CNN) i MỤC LỤC i TĨM TẮT iv DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Tổng quan Đặt vấn đề Định nghĩa tốn hướng tiếp cận Đóng góp luận văn Cấu trúc luận văn Tín hiệu điện não 3 Giao diện não - máy tính Điện não đồ không xâm lấn Tưởng tượng ảnh vận động Các nghiên cứu liên quan phân loại tín hiệu điện não tác vụ tưởng tượng ảnh vận động 12 Phân loại tín hiệu điện não tác vụ tưởng tượng ảnh vận động sử dụng mơ hình học sâu 16 Quy trình phân loại tín hiệu điện não tác vụ tưởng tượng động sử dụng mơ hình học sâu Căn chỉnh liệu tín hiệu điện não 2.1 Căn chỉnh tín hiệu theo phiên thu, đối tượng 2.2 Căn chỉnh tín hiệu theo nhãn Mơ hình học sâu phân loại tín hiệu điện não 3.1 EEGNet 3.2 EEG-ITNet Thực nghiệm ảnh vận 10 16 18 18 19 21 21 22 25 Thơng số đánh giá mơ hình phân loại 25 ii Bộ liệu Physionet Motor Movement/Imagery 2.1 Giới thiệu 2.2 Phương pháp đánh giá 2.3 Kết thực nghiệm Bộ liệu HMI EEG-ET 3.1 Giới thiệu 3.2 Phương pháp đánh giá 3.3 Kết thực nghiệm Kết luận 27 27 27 28 30 30 31 33 39 Kết luận 39 Hướng phát triển tương lai 40 41 TÀI LIỆU THAM KHẢO iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Amyotrophic Lateral Sclerosis (ALS) Bệnh nhân xơ cứng teo bên Balanced Accuracy (BAC) Band Power (BP) Brain-Computer Interface (BCI) Độ xác sau cân Năng lượng trung bình phổ tần số Giao diện não - máy tính Common Spatial Patterns (CSP) Convolutional Neural Network (CNN) Các mẫu không gian chung Mạng nơ-ron tích chập Electroencephalography (EEG) Euclidean Alignment (EA) Tín hiệu điện não khơng xâm lấn Căn chỉnh liệu theo phiên thu/đối tượng Đồng lượng phổ tần số theo kiện vận động/tưởng tượng vận động Bất đồng lượng phổ tần số theo kiện vận động/tưởng tượng vận động Event-related synchronization (ERS) Event-related desynchronization (ERD) Label Alignment (LA) Căn chỉnh liệu theo nhãn Motor Imagery (MI) Tưởng tượng ảnh vận động Riemannian Manifold (RM) Không gian ma trận đối xứng xác định dương Temporal Convolutional Network (TCN) Mạng nơ-ron tích chập theo thời gian iv DANH MỤC CÁC BẢNG Bảng 2.1 Các nhịp sóng tín hiệu EEG Bảng 3.1 Độ xác trung bình mơ hình CNN liệu BCI competition IV - 2a [23] 24 Bảng 4.1 Bảng 4.2 Bảng 4.3 Ma trận lỗi (Confusion matrix) cho phân lớp nhị phân Độ xác trung bình liệu Physionet MMIDB Kết phân loại trung bình liệu HMI EEG-ET thực nghiệm Exp0 Kết phân loại trung bình mơ hình học sâu với nhóm kênh liệu HMI EEG-ET thực nghiệm Exp0 Kết phân loại trung bình mơ hình [EA] EEG-ITNet liệu HMI EEG-ET thực nghiệm Exp1 Kết phân loại trung bình mơ hình [LA,EA] EEG-ITNet liệu HMI EEG-ET thực nghiệm Exp2 Kết phân loại trung bình mơ hình [EA] CSP-BP-SVM liệu HMI EEG-ET thực nghiệm Exp2-ALS Kết phân loại trung bình mơ hình [EA] CSP-BP-SVM liệu HMI EEG-ET đối tượng khỏe mạnh bệnh nhân ALS (theo phiên thu) Bảng 4.4 Bảng 4.5 Bảng 4.6 Bảng 4.7 Bảng 4.8 v 25 29 33 36 36 37 37 38 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 2.5 Hình 2.6 Hình 2.7 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Hình 4.1 Hình 4.2 Hình 4.3 Hình 4.4 Hình 4.5 Hình 4.6 Hình 4.7 Hệ thống nhập liệu sử dụng tín hiệu điện não (thực / tưởng tượng ảnh vận động) theo dõi ánh mắt [1] Tổng quan hệ thống BCI [Nguồn: how2electronics] Tín hiệu điện não EEG Vị trí thùy vỏ não [1] Vị trí đặt điện cực theo chuẩn Standard 10-10 [Nguồn: Wikipedia] Vị trí vùng vỏ não vận động [3] 11 ERD ERS nhịp sóng Mu (Alpha) Beta hai điện cực C3 C4 [5] 12 Biểu diễn không gian Riemannian Manifold (RM) ma trận đối xứng xác định dương (SPD) [12] 13 Phân tách tín hiệu EEG [Nguồn: braindecode] Quy trình phân loại tín hiệu điện não sử dụng mơ hình học sâu (CNN) Phương pháp chỉnh liệu EA - LA với tín hiệu EEG [18] Kiến trúc mạng EEGNet [14] Kiến trúc mạng EEG-ITNet [23] Mơ hình thực nghiệm liệu Physionet MMIDB [20] Phân chia liệu huấn luyện/đánh giá liệu Physionet MMIDB [15] Biểu diễn tín hiệu EEG đối tượng khơng gian Riemannian Manifold liệu Physionet MMIDB (tSNE) Ma trận lỗi trung bình mơ hình [EA] EEG-ITNet liệu Physionet MMIDB Quy trình thu liệu kịch phiên thu liệu HMI EEG-ET Phân chia liệu huấn luyện/đánh giá liệu HMI EEGET thực nghiệm Exp0 Phân chia liệu huấn luyện/đánh giá liệu HMI EEGET thực nghiệm Exp1 vi 17 17 21 22 23 27 28 29 30 31 32 32 (a) Trước áp dụng EA (b) Sau áp dụng EA Hình 4.3: Biểu diễn tín hiệu EEG đối tượng không gian Riemannian Manifold liệu Physionet MMIDB (tSNE) Hình 4.3a biểu diễn liệu 10 đối tượng không gian Riemannian Manifold, điểm vòng tròn thuộc đối tượng Sau chỉnh liệu EA, điểm biểu diễn đoạn tín hiệu EEG tập trung lại thay tách biệt theo đối tượng khác Bảng 4.2: Độ xác trung bình liệu Physionet MMIDB H Dose 2018 X Wang 2020 [EA] EEGNet 8,4∗ [EA] EEG-ITNet∗ [20] [15] LR0 0.6982 0.7507 0.6943 0.7003 LRF0 0.5859 0.6507 0.6211 0.6089 ∗ độ xác trung bình tính BAC đối tượng 29 (a) LR0 (b) LRF0 Hình 4.4: Ma trận lỗi trung bình mơ hình [EA] EEG-ITNet liệu Physionet MMIDB Bộ liệu HMI EEG-ET 3.1 Giới thiệu Bộ liệu HMI EEG-ET liệu bao gồm tín hiệu EEG tín hiệu chuyển động mắt Eye-tracking (ET), phục vụ cho trình xây dựng hệ thống đánh vần sử dụng kết hợp tín hiệu EEG tín hiệu ET nhằm cải thiện khả giao tiếp người bị tổn thương chức vận động Tính đến thời điểm tại, liệu bao gồm liệu 90 đối tượng khỏe mạnh, có độ tuổi trung bình 26.0 bệnh nhân bị xơ cứng teo bên ALS, có độ tuổi trung bình 48.0 Dữ liệu EEG bao gồm tác vụ tưởng tượng ảnh vận động, tưởng tượng thực vận động, sử dụng hệ thống đánh vần mắt để nhập nội dung Trong đó, đối tượng nhắm mắt thực tưởng tượng ảnh vận động Tín hiệu EEG thu thiết bị Emotiv EPOC Flex1 với 32 kênh (theo chuẩn Standard 10-20) tần số lấy mẫu 128Hz Mỗi phiên thu bao gồm kịch (gồm loại vận động, chuyển động phận thể loại ý định) thực phiên thu So với liệu mở tín hiệu EEG tác vụ tưởng tượng ảnh vận động khác Physionet MMIDB, BCI competition IV - 2a, liệu HMI EEG-ET có độ dài thực lần thử không xác định trước (kéo dài từ - 20s, khác lần thử) số lần thử cho loại vận động phiên thu (được thực liên tiếp trước chuyển kịch thu) Hình 4.5 mơ tả quy trình thu liệu kịch phiên thu Với bệnh nhân ALS, phiên thu liệu không bao gồm https://www.emotiv.com/epoc-flex/ 30 tác vụ “tưởng tượng thực vận động” Hình 4.5: Quy trình thu liệu kịch phiên thu liệu HMI EEGET Trong liệu HMI EEG-ET, đối tượng bình thường có phiên thu bệnh nhân ALS có tối đa 10 phiên thu, nhiên khoảng thời gian cách hai phiên thu liên tục bệnh nhân ALS tương đối lớn (6, ngày) Trong thực nghiệm, luận văn sử dụng đoạn tín hiệu EEG tác vụ “tưởng tượng vận động” đoạn tín hiệu “nghỉ” tác vụ kịch bản: nâng tay trái, nâng tay phải, nâng chân trái nâng chân phải Luận văn huấn luyện mơ hình học sâu CNN để phân biệt nhãn (LR0: nâng tay trái, nâng tay phải nghỉ) nhãn (LRF0: nâng tay trái, nâng tay phải, nâng chân trái/phải nghỉ) Dữ liệu từ kịch nâng chân trái nâng chân phải gộp lại việc phân biệt trái, tác vụ tưởng tượng ảnh vận động khó khăn Luận văn so sánh khả thực trình tưởng tượng ảnh vận động đối tượng khỏe mạnh bệnh nhân ALS 3.2 Phương pháp đánh giá Phương thức đánh giá sử dụng thực nghiệm sử dụng liệu từ nhiều đối tượng để huấn luyện dự đốn cho đối tượng (cross-subject) Các thơng số đánh giá giá trị trung bình lần kiểm định chéo (cross-validation) đối tượng phiên thu đối tượng (bệnh nhân ALS) liệu Luận văn đánh giá khả sử dụng liệu từ phiên thu, đối tượng khác nhau, đặc biệt sử dụng liệu đối tượng khỏe mạnh cho bệnh nhân ALS huấn luyện mơ hình học sâu Luận văn thực ba thực nghiệm với liệu HMI EEG-ET: - Thực nghiệm Exp0: Huấn luyện đánh giá mơ hình sử dụng liệu đối tượng khỏe mạnh Ngoài ra, luận văn thử nghiệm sử dụng ba vùng điện cực riêng biệt để so sánh hiệu mơ hình học sâu với vùng điện cực khác 31 Hình 4.6: Phân chia liệu huấn luyện/đánh giá liệu HMI EEG-ET thực nghiệm Exp0 - Thực nghiệm Exp1: Huấn luyện mô hình sử dụng liệu đối tượng khỏe mạnh đánh giá mơ hình liệu phiên thu bệnh nhân ALS Hình 4.7: Phân chia liệu huấn luyện/đánh giá liệu HMI EEG-ET thực nghiệm Exp1 - Thực nghiệm Exp2: Huấn luyện mơ hình sử dụng liệu đối tượng khỏe mạnh, kết hợp với liệu phiên thu bệnh nhân ALS (sử dụng phương pháp chỉnh liệu LA với nhãn liệu từ 9/10 phiên thu bệnh nhân ALS) đánh giá liệu phiên thu lại bệnh nhân ALS Ngồi ra, luận văn so sánh mơ hình học sâu với mơ hình học máy SVM huấn luyện đánh giá liệu bệnh nhân ALS (thực nghiệm Exp2-ALS) Hình 4.8: Phân chia liệu huấn luyện/đánh giá liệu HMI EEG-ET thực nghiệm Exp2 32 3.3 Kết thực nghiệm Trong ba thực nghiệm Exp0, Exp1 Exp2, độ dài lần thử không cố định (4 - 20s), luận văn sử dụng đoạn tín hiệu EEG từ liệu HMI EEG-ET với 28/32 kênh, có độ dài 2s (khoảng cách hai đoạn tín hiệu EEG liên tiếp 0.5s, tỉ lệ chồng lấn 75%) theo phương pháp phân tách tín hiệu cropped Tín hiệu EEG lọc khoảng tần số - 30Hz, bao gồm hai dải tần số MI Mu/Alpha (8 - 12Hz) Beta (12 - 30Hz) Mơ hình CNN sử dụng EEGNet, với (K, n, d) = (64, 8, 4) hai lớp tích chập theo hình 3.4 EEG-ITNet, với (K, n, d) = {(16, 2, 2), (32, 4, 2), (64, 8, 2)} lớp tích chập phần dư (Residual block) TCN với K = theo hình 3.5 Kích thước lớp tích chập lựa chọn dựa tần số lấy mẫu tín hiệu EEG (ở 128Hz) mức độ ưu tiên đặc trưng dải tần số thấp tín hiệu Mơ hình huấn luyện với 50 epochs, sử dụng thuật toán tối ưu Adam (lr = 3e − 4), Dropout (p = 0.25, p = 0.2) (theo hình 3.5) Tên mơ hình đặt phương pháp chỉnh liệu áp dụng theo thứ tự (nếu có) mơ hình học sâu tương ứng Thực nghiệm Exp0 Trong thực nghiệm Exp0, luận văn sử dụng liệu từ 85 đối tượng khỏe mạnh để huấn luyện mơ hình đánh giá đối tượng cịn lại (hình 4.6) Tín hiệu EEG 90 đối tượng chỉnh EA trước sử dụng Kết mơ hình CNN so sánh với mơ hình học máy khác CSP-BP-SVM hai trường hợp sử dụng EA không sử dụng EA Bảng 4.3: Kết phân loại trung bình liệu HMI EEG-ET thực nghiệm Exp0 CSP-BP-SVM [EA] CSP-BP-SVM [EA] EEGNet 8,4 [EA] EEG-ITNet BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6939 0.5882 0.7558 0.6573 0.6926 0.5705 0.7065 0.5949 LRF0 0.5518 0.5054 0.6254 0.5688 0.6028 0.5539 0.6043 0.5466 33 (a) LR0 (b) LRF0 Hình 4.9: Ma trận lỗi trung bình mơ hình [EA] EEG-ITNet liệu HMI EEG-ET thực nghiệm Exp0 Hình 4.10: Các mẫu khơng gian tín hiệu EEG học từ mơ hình [EA] EEG-ITNet Qua thực nghiệm Exp0, mơ hình học sâu CNN có khả phân biệt trạng thái tưởng tượng ảnh vận động khác đối tượng khỏe mạnh, đặc biệt trạng thái nghỉ thực tưởng tượng ảnh vận động, đặc biệt trạng thái nghỉ (rest) trạng thái tưởng tượng ảnh vận động khác Kết có nguyên nhân từ thiết kế thí nghiệm phiên thu liệu liệu HMI EEG-ET, trình tưởng tượng ảnh vận động, đối tượng nhắm mắt (hình 4.5) Khi nhắm mắt, tín hiệu EEG có xuất nhịp sóng Alpha (8 - 12Hz) rõ ràng, đặc biệt phía nửa sau đầu (thùy đỉnh thùy chẩm), so với đối tượng nghỉ ngơi (mở mắt) (hình 4.11) 34 Hình 4.11: Mật độ phổ lượng tín hiệu EEG (8 - 30Hz) Ngồi ra, luận văn so sánh kết mơ hình CNN với nhóm kênh khác 32 kênh tín hiệu EEG (hình 4.12) Kết cho thấy mơ hình CNN hiệu sử dụng tồn kênh tín hiệu EEG (a) Toàn vùng vỏ não Vùng thùy trán vùng vận động (b) (28 kênh) (16 kênh) (c) C3, Cz, C4 (3 kênh) Hình 4.12: Vị trí nhóm điện cực liệu HMI EEG-ET 35 Bảng 4.4: Kết phân loại trung bình mơ hình học sâu với nhóm kênh liệu HMI EEG-ET thực nghiệm Exp0 Toàn vùng vỏ não BAC Kappa LR0 0.6926 0.5705 [EA] EEGNet 8,4 LRF0 0.6028 0.5539 LR0 0.7065 0.5949 [EA] EEG-ITNet LRF0 0.6043 0.5466 Vùng thùy trán vùng vận động BAC Kappa 0.6585 0.5225 0.5665 0.5044 0.6509 0.5072 0.5734 0.4929 C3, Cz, C4 BAC 0.5986 0.4695 0.5981 0.4757 Kappa 0.4521 0.4376 0.4410 0.4326 Thực nghiệm Exp1 Trong thực nghiệm Exp2, luận văn sử dụng liệu từ 90 đối tượng khỏe mạnh để huấn luyện mơ hình đánh giá phiên thu bệnh nhân ALS (hình 4.7) Kết phân loại mơ hình trung bình tất phiên thu với bệnh nhân ALS Tín hiệu EEG 90 đối tượng khỏe mạnh phiên thu bệnh nhân ALS chỉnh EA trước sử dụng Bảng 4.5: Kết phân loại trung bình mơ hình [EA] EEG-ITNet liệu HMI EEG-ET thực nghiệm Exp1 ALS01 ALS02 ALS04 ALS05 ALS∗ BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6466 0.4350 0.5239 0.2695 0.5999 0.3605 0.6269 0.3880 0.5900 0.3605 LRF0 0.4896 0.3293 0.3652 0.1526 0.3936 0.2077 0.4328 0.2924 0.4204 0.2422 ∗ trung bình tính theo phiên thu tất bệnh nhân ALS Thực nghiệm Exp2 Tương tự thực nghiệm Exp1, luận văn sử dụng liệu từ 90 đối tượng khỏe mạnh để huấn luyện mơ hình đánh giá phiên thu bệnh nhân ALS (hình 4.8) Với bệnh nhân ALS, luận văn sử dụng liệu từ phiên thu để đánh giá liệu từ 90 đối tượng khỏe mạnh chỉnh LA với nhãn từ liệu 9/10 phiên thu lại bệnh nhân ALS Sau đó, liệu từ tất phiên thu bệnh nhân ALS liệu từ 90 đối tượng khỏe mạnh (được chỉnh trước LA) chỉnh EA trước sử dụng Bước tiền xử lý liệu tín hiệu EEG bao gồm [LA,EA] 36 Bảng 4.6: Kết phân loại trung bình mơ hình [LA,EA] EEG-ITNet liệu HMI EEG-ET thực nghiệm Exp2 ALS01 ALS02 ALS04 ALS05 ALS∗ BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6869 0.5217 0.6571 0.4781 0.6007 0.3678 0.6012 0.3612 0.6427 0.4443 LRF0 0.5834 0.4819 0.5279 0.3498 0.4723 0.3399 0.4683 0.3457 0.5206 0.3856 ∗ trung bình tính theo phiên thu tất bệnh nhân ALS Ngoài ra, để so sánh kết mơ hình CNN, luận văn sử dụng mơ hình [EA] CSP-BP-SVM huấn luyện đánh giá phiên thu bệnh nhân ALS, không sử dụng liệu đối tượng khỏe mạnh (thực nghiệm Exp2-ALS) Bảng 4.7: Kết phân loại trung bình mơ hình [EA] CSP-BP-SVM liệu HMI EEG-ET thực nghiệm Exp2-ALS ALS01 ALS02 ALS04 ALS05 ALS∗ BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.7766 0.6456 0.7240 0.5724 0.6728 0.4761 0.6981 0.5064 0.7229 0.5596 LRF0 0.6067 0.4946 0.5849 0.4366 0.5370 0.3947 0.5316 0.3977 0.5706 0.4370 ∗ trung bình tính theo phiên thu tất bệnh nhân ALS (a) LR0 (b) LRF0 Hình 4.13: So sánh kết thực nghiệm Exp1, Exp2 Exp2-ALS Từ thực nghiệm Exp1 Exp2 (bảng 4.5, 4.6), sử dụng liệu từ đối tượng khỏe mạnh chỉnh theo phần liệu từ bệnh nhân ALS cho kết tốt 37 sử dụng trực tiếp liệu từ đối tượng khỏe mạnh để huấn luyện mơ hình phân loại đa số thử nghiệm (ngoại trừ bệnh nhân ALS05 - phân loại LR0) (hình 4.13) Từ thực nghiệm Exp0 Exp2-ALS (bảng 4.3, 4.7), kết phân loại trung bình tính theo phiên thu (không phân biệt đối tượng) cho thấy bệnh nhân ALS có khả tưởng tượng ảnh vận động so với đối tượng khỏe mạnh Tuy nhiên, khác biệt đối tượng khỏe mạnh bệnh nhân ALS đến từ chênh lệch độ tuổi thay tình trạng bệnh lý (đa số đối tượng khỏe mạnh có độ tuổi 19 - 20 tuổi) Trong bệnh nhân ALS thực nghiệm, bệnh nhân ALS01 có kết phân loại tốt với nhiều phương pháp khác Bảng 4.8: Kết phân loại trung bình mơ hình [EA] CSP-BP-SVM liệu HMI EEG-ET đối tượng khỏe mạnh bệnh nhân ALS (theo phiên thu) ALS Đối tượng khỏe mạnh BAC Kappa BAC Kappa LR0 0.7229 0.5596 0.7558 0.6573 LRF0 0.5706 0.4370 0.6254 0.5688 Nhận xét Qua thực nghiệm thực liệu HMI EEG-ET, phương pháp chỉnh tín hiệu điện não EEG (EA, LA) giúp cải thiện độ xác mơ hình phân loại, sử dụng liệu từ nhiều phiên thu, đối tượng khác để khắc phục hạn chế liệu đối tượng Tuy nhiên, mơ hình học sâu CNN thử nghiệm có độ xác thấp so với mơ hình học máy CSP-PB-SVM, nguyên nhân số lượng liệu cho phiên thu, đối tượng cịn (3 lần thử liên tục / phiên thu) nên đặc trưng tín hiệu EEG học từ mơ hình CNN khơng đủ tính tổng qt 38 CHƯƠNG Kết luận Chương trình bày kết luận luận văn sau thực thực nghiệm, hạn chế hướng phát triển luận văn tương lai Kết luận Luận văn xây dựng thử nghiệm mơ hình học sâu, kết hợp phương pháp chỉnh liệu cho tín hiệu EEG để phân loại tín hiệu điện não cho tác vụ tưởng tượng ảnh vận động Qua thực nghiệm, mơ hình học sâu có tiềm sử dụng hệ thống đánh vần, kết hợp với hệ thống theo dõi ánh mắt để cải thiện khả nhập liệu Với thực nghiệm liệu HMI EEG-ET bao gồm liệu đối tượng khỏe mạnh bệnh nhân ALS, mơ hình CNN thử nghiệm đạt độ xác 0.7065 nhãn, 0.6043 nhãn với đối tượng khỏe mạnh 0.6427 nhãn 0.5206 nhãn với bệnh nhân ALS So với mơ hình học máy khác (CSP-BP-SVM), mơ hình CNN chưa đạt độ xác cần thiết Với liệu bệnh nhân ALS, sử dụng thêm liệu từ đối tượng khỏe mạnh khác chưa đem lại cải tiến độ xác so với sử dụng liệu từ bệnh nhân Ngồi ra, qua thực nghiệm luận văn thu số kết luận sau: - Các học chuyển tiếp chỉnh liệu hiệu trường hợp liệu cho đối tượng hạn chế Các phương pháp áp dụng theo cách thích hợp để cải thiện độ xác mơ hình phân loại, đặc biệt từ liệu đối tượng khỏe mạnh cho bệnh nhân ALS - Mơ hình học sâu CNN hiệu sử dụng tồn số kênh tín hiệu EEG thay lựa chọn số kênh định dựa theo đặc trưng tác vụ tưởng tượng ảnh vận động - Bệnh nhân ALS có khả tưởng tượng ảnh vận động đối tượng bình thường (tính trung bình theo phiên thu) 39 Hạn chế luận văn Trong trình thực nghiệm, luận văn tồn vài hạn chế: - Dữ liệu thực nghiệm từ liệu HMI EEG-ET trình thu thập, phân bố độ tuổi đối tượng khỏe mạnh bệnh nhân ALS không đồng đều, đối tượng khỏe mạnh có phiên thu số lượng bệnh nhân ALS hạn chế - Các mơ hình học sâu luận văn thử nghiệm (bao gồm mơ hình CNN) khơng đạt kết cao so với mơ hình học máy với lượng liệu hạn chế, bao gồm sử dụng không phương pháp chỉnh liệu từ nhiều đối tượng khác - Luận văn chưa ảnh hưởng việc nhắm mắt lên trình tưởng tượng ảnh vận động tính liên tục trình tưởng tượng ảnh vận động thời gian dài (khoảng 10s) Hướng phát triển tương lai Trong tương lai, khắc phục, bổ sung hạn chế luận văn, mơ hình phân loại tín hiệu điện não EEG cho tác vụ tưởng tượng ảnh vận động mở rộng cải tiến theo nhiều hướng khác Một số hướng luận văn dự kiến thực bao gồm: - Bổ sung liệu với nhiều đối tượng khác nhau, bao gồm bệnh nhân bị tổn thương chức vận động Sử dụng liệu từ phiên thu đối tượng sử dụng hệ thống đánh vần điều kiện thực tế Luận văn tìm cách xây dựng mơ hình phân biệt nhiều nhãn hơn, thay cho hạn chế nhãn phổ biến: tay trái, tay phải, hai chân nghỉ ngơi - Tìm kiếm thử nghiệm phương pháp học chuyển tiếp chỉnh tín hiệu điện não EEG khác, thay hạn chế hai phương pháp đề cập luận văn cho mơ hình học sâu Các phương pháp học chuyển tiếp chỉnh hướng tới việc sử dụng hiệu liệu từ đối tượng khỏe mạnh cho việc huấn luyện mơ hình phân loại cho bệnh nhân bị tổn thương chức vận động - Thử nghiệm số mơ hình học sâu khác phù hợp với tín hiệu EEG mạng nơ-ron tích chập đồ thị học đặc trưng không gian (mối liên kết tín hiệu điện cực) tốt Đặc biệt mơ hình học sâu khơng gian Riemannian thay giới hạn mơ hình không gian Euclidean Sau cùng, để mơ hình phân loại tín hiệu điện não EEG sử dụng điều kiện thực tế kết hợp với hệ thống đánh vần ánh mắt có, luận văn sửa đổi phát triển hệ thống hoạt động thực tế, xử lý tín hiệu EEG liên tục theo thời gian thay sử dụng tồn đoạn tín hiệu 40 TÀI LIỆU THAM KHẢO [1] J Mercier-Ganady, “Contribution to the study of the use of brain-computer interfaces in virtual and augmented reality”, 2015 [2] A L Goldberger, L A N Amaral, L Glass, et al., “PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals”, Circulation, vol 101, 2000 [3] J Knierim, “Neuroscience Online, Section 3: Motor Systems”, in 2020, ch 3: Motor Cortex [4] G Pfurtscheller and C Neuper, “Motor imagery activates primary sensorimotor area in humans”, Neuroscience Letters, vol 239, 1997 [5] G Pfurtscheller and C Neuper, “Motor Imagery and Direct Brain-Computer Communication”, Proceedings of the IEEE, vol 89, 2001 [6] G Pfurtscheller, C Brunner, A Schlogl, and F L da Silva, “Mu rhythm (de)synchronization and EEG single-trial classification of different motor imagery tasks”, NeuroImage, vol 31, 2005 [7] G Pfurtscheller, C Neuper, C Andrew, and G Edlinger, “Foot and hand area mu rhythms”, International Journal of Psychophysiology, vol 26, 1997 [8] K K Ang, Z Y Chin, C Wang, C Guan, and H Zhang, “Filter bank common spatial pattern algorithm on BCI competition IV Datasets 2a and 2b”, Frontiers in Neuroscience, vol 6, 2012 [9] N Brodu, F Lotte, and A L´ecuyer, “Comparative study of band-power extraction techniques for Motor Imagery classification”, IEEE Symposium on Computational Intelligence, Cognitive Algorithms, Mind, and Brain, 2011 [10] P Herman, G Prasad, T M McGinnity, and D Coyle, “Comparative Analysis of Spectral Approaches to Feature Extraction for EEG-Based Motor Imagery Classification”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol 16, 2008 41 [11] A Barachant, S Bonnet, M Congedo, and C Jutten, “Multiclass Brain-Computer Interface Classification by Riemannian Geometry”, IEEE Transactions on Biomedical Engineering, vol 59, 2012 [12] M Congedo, A Barachant, and R Bhatia, “Riemannian geometry for EEG-based brain-computer interfaces; a primer and a review”, Brain-Computer Interfaces, vol 4, 2017 [13] R T Schirrmeister, J T Springenberg, L D J Fiederer, et al., “Deep learning with convolutional neural networks for EEG decoding and visualization”, Human Brain Mapping, vol 38, 2017 [14] V J Lawhern, A J Solon, N R Waytowich, S M Gordon, C P Hung, and B J Lance, “EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces”, Journal of Neural Engineering, vol 15, 2018 [15] X Wang, M Hersche, B Tăomekce, B Kaya, M Magno, and L Benini, “An Accurate EEGNet-based Motor-Imagery Brain–Computer Interface for Low-Power Edge Computing”, IEEE International Workshop on Medical Measurement and Applications (MEMEA), 2020 [16] P Zanini, M Congedo, C Jutten, S Said, and Y Berthoumieu, “Transfer learning: a Riemannian geometry framework with applications to Brain-Computer Interfaces”, IEEE Transactions on Biomedical Engineering, vol 65, 2018 [17] H He and D Wu, “Transfer Learning for Brain–Computer Interfaces: A Euclidean Space Data Alignment Approach”, IEEE Transactions on Biomedical Engineering, vol 67, 2020 [18] H He and D Wu, “Different Set Domain Adaptation for Brain-Computer Interfaces: A Label Alignment Approach”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol 28, 2020 [19] L Xu, M Xu, Y Ke, X An, S Liu, and D Ming, “Cross-Dataset Variability Problem in EEG Decoding With Deep Learning”, Frontiers in Human Neuroscience, vol 14, 2020 [20] H Dose, J S Møller, H K Iversen, and S Puthusserypady, “An end-to-end deep learning approach to MI-EEG signal classification for BCIs”, Expert Systems With Applications, vol 114, 2018 [21] X Wei, A A Faisal, M Grosse-Wentrup, et al., “2021 BEETL Competition: Advancing Transfer Learning for Subject Independence & Heterogenous EEG Data Sets”, in Proceedings of the NeurIPS 2021 Competitions and Demonstrations Track, D Kiela, M Ciccone, and B Caputo, Eds., 2022 42 [22] F Lotte, L Bougrain, A Cichocki, et al., “A review of classification algorithms for EEG-based brain–computer interfaces: a 10 year update”, Journal of Neural Engineering, vol 15, 2018 [23] A Salami, J Andreu-Perez, and H Gillmeister, “EEG-ITNet: An Explainable Inception Temporal Convolutional Network for Motor Imagery Classification”, IEEE Access, vol 10, 2022 43 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN XUÂN ĐẠT PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC SÂU HƯỚNG ĐẾN XÂY DỰNG HỆ THỐNG ĐÁNH VẦN BẰNG MẮT Ngành: Chuyên ngành: Mã số: Khoa học. .. CHƯƠNG Phân loại tín hiệu điện não tác vụ tưởng tượng ảnh vận động sử dụng mơ hình học sâu Chương trình bày quy trình phân loại tín hiệu điện não EEG phương pháp phân loại tín hiệu điện não EEG... chỉnh tín hiệu điện não mơ hình học sâu - mạng nơ-ron tích chập sử dụng để phân loại tín hiệu Quy trình phân loại tín hiệu điện não tác vụ tưởng tượng ảnh vận động sử dụng mơ hình học sâu Tín hiệu