Luận án Tiến sĩ Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não – máy tính

MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC BẢNG DANH MỤC HÌNH VẼ DANH MỤC CHỮ VIẾT TẮT .10 PHẦN MỞ ĐẦU 11 Tính cấp thiết 11 Mục tiêu luận án 13 Đóng góp luận án 14 Phạm vi luận án 16 Phương pháp luận 17 Cấu trúc luận án 17 CHƯƠNG TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 19 Giới thiệu 19 Tín hiệu điện não phương pháp đo tín hiệu từ não 21 Các phương pháp đo tín hiệu từ não 21 2.1 2.1.1 Chụp quang phổ cận hồng ngoại chức 21 2.1.2 Chụp Cộng hưởng từ chức 22 2.1.3 Chụp cắt lớp phát xạ positron 22 2.1.4 Từ não đồ 23 2.1.5 Điện não đồ xâm lấn 24 Tín hiệu điện não vấn đề liên quan 25 2.2 2.2.1 Điện não đồ 25 2.2.2.Tín hiệu điện não 26 2.2.3 Cơ chế phát sinh tín hiệu điện não 28 2.2.4 Thu tín hiệu điện não 29 Một số phương pháp xử lý, phân tích tín hiệu điện não 30 3.1 Biến đổi wavelet 30 3.2 Phân tích thành phần độc lập khử nhiễu tín hiệu điện não 33 3.3 Mạng Nơron wavelet 34 3.3.1 Huấn luyện 35 3.3.2 Khử nhiễu 35 3.4 Phương pháp phân ngưỡng wavelet 36 3.5 Kỹ thuật định vị LORETA trực quan hóa liệu điện não 38 Một số ứng dụng hệ giao diện não máy tính 40 4.1 Hệ BCI2000 40 4.2 Hệ VR-BCI phục hồi chức 41 4.3 Một số hệ BCI đánh vần ký tự 42 4.4 Một số nghiên cứu BCI tín hiệu điện não khác 43 Kết luận Chương 45 CHƯƠNG PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT 46 Đặt vấn đề 46 Đề xuất phương pháp học sâu tự mã hóa thưa wavelet 49 2.1 Mạng học sâu tự mã hóa thưa 50 2.2 Phương pháp dò đếm EOG dựa biến đổi wavelet Haar 52 2.2.1 Biến đổi wavelet Haar 52 2.2.2 Thuật tốn dị tìm EOG dựa biến đổi wavelet Haar 53 2.3 2.3.1 Huấn luyện tự động 55 2.3.2 Tự động sửa lỗi tín hiệu 57 2.4 Mạng học sâu tự mã hóa thưa wavelet khử EOG 55 Độ đo đánh giá kết 58 Kết 59 3.1 Dữ liệu kiểm thử 59 3.2 Thiết kế thí nghiệm 60 3.3 Kết thí nghiệm 60 3.3.1 Kết Tập liệu 1: thực nhiệm vụ ý quan sát 60 3.3.2 Kết Tập liệu 2: nhận dạng trạng thái suy nghĩ 65 3.3.3 Kết tập liệu 3: tín hiệu điện não mô chứa nhiễu 68 Thảo luận 69 Kết luận Chương 72 CHƯƠNG ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC MÁY .73 Đặt vấn đề 73 Cơ sở liệu thử nghiệm 75 2.1 Cơ sở liệu có 75 2.2 Cơ sở liệu luận án 77 Đề xuất số phương pháp phân loại trạng thái suy nghĩ dựa học máy 79 3.1 Phương pháp máy vec-tơ hỗ trợ với đặc trưng lượng wavelet tương đối 79 3.1.1 Năng lượng wavelet tương đối trích chọn đặc trưng tín hiệu điện não 81 3.1.2 Máy vec-tơ hỗ trợ phân loại tín hiệu điện não 82 3.2 Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần 84 3.2.1 Phân tích thành phần cho giảm số chiều tín hiệu điện não 86 3.2.2 Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP 87 3.3 Phương pháp học sâu với đặc trưng lựa chọn phân ngưỡng SURE 89 3.3.1 Lựa chọn thành phần với phân ngưỡng thích nghi SURE 91 3.3.2 Mạng học sâu Deep belief net phân loại tín hiệu điện não 92 Kết thảo luận 94 4.1 Tiền xử lý liệu 95 4.2 Phân loại trạng thái 98 Kết luận chương 100 CHƯƠNG ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH 102 Hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thông minh 102 1.1 Khối thu tín hiệu thiết bị Emotiv Epoc+ 103 1.2 Khối DSP 104 1.3 Khối WIoT 104 Đề xuất mô hình học cộng đồng dạng xếp ngăn phân loại tín hiệu điện não cho hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thông minh 105 Kết thảo luận 108 Kết luận Chương 110 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ 112 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ .116 TÀI LIỆU THAM KHẢO 118 DANH MỤC BẢNG Bảng Kết nhận diện EOG 55 Bảng MSE ba phương pháp dựa wavelet 69 Bảng So sánh đặc tính phương pháp khử nhiễu tín hiệu điện não 71 Bảng Kết phân loại hai trạng thái suy nghĩ 98 Bảng Kết phân loại 02 trạng thái suy nghĩ theo bước với DBN 99 Bảng Kết phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN 99 Bảng Kết phân loại 03 trạng thái suy nghĩ theo bước với DNN 100 Bảng Độ xác phân loại trạng thái phương pháp đề xuất dựa mạng nơ-ron nhân tạo kết hợp PCA máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng Độ xác phân loại trạng thái phương pháp đề xuất dựa mạng nơ-ron nhân tạo kết hợp PCA máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng 10 Độ xác phân loại trạng thái phương pháp đề xuất dựa máy học cộng đồng so với phương pháp thành phần 108 Bảng 11 Độ xác phân loại trạng thái phương pháp đề xuất dựa máy học cộng đồng so với phương pháp thành phần 109 DANH MỤC HÌNH VẼ Hình Cấu trúc não [64] 19 Hình Các phương thức thu tín hiệu từ não (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG (f) EEG 20 Hình Một số hệ thống thiết bị dùng để đo điện não EEG [20] 25 Hình Bản ghi tín hiệu điện não EEG 27 Hình Một số dạng sóng tín hiệu điện não EEG 28 Hình (a) Biến đổi wavelet thuận (b) Biến đổi wavelet ngược 31 Hình Quy trình phương pháp ICA dùng khử nhiễu tín hiệu EEG 34 Hình Cấu trúc mạng Wavelet Neural Network [8] 35 Hình Huấn luyện mạng Nơ-ron 35 Hình 10 Quá trình khử nhiễu 36 Hình 11 Thuật toán Loreta định vị hoạt động điện não EEG 39 Hình 12 Thiết kế hệ BCI2000 [17] 40 Hình 13 Hệ BCI ứng dụng thực ảo phục hồi bệnh nhân đột quỵ [1] 41 Hình 14 Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] 42 Hình 15 Giao diện thí nghiệm Berlin BCI [68] 43 Hình 16 Tín hiệu bất thường nháy mắt EOG 47 Hình 17 Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE 49 Hình 18 Mơ hình đơn giản máy tự mã hóa Autoencoder 51 Hình 19 Lưu đồ thuật tốn dị đếm tín hiệu bất thường nháy mắt EOG 53 Hình 20: Kết nhận diện EOG 54 Hình 21 Quy trình huấn luyện khơng giám sát mạng học sâu tự mã hóa thưa wavelet 56 Hình 22 Quy trình tự động khử EOG với DWSAE 57 Hình 23 Kết khử nhiễu DWSAE so với (a) SOBI, (b) Infomax, (c) JADE, (d)WNN (e) Wavelet thresholding 62 Hình 24 Hình vẽ thể PSD tín hiệu trước sau khử nhiễu 63 Hình 25 Hệ số tương quan tần số tín hiệu trước sau khử nhiễu (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN (f) WT 64 Hình 26 So sánh kết khử nhiễu DWSAE (a) SOBI, (b) Infomax, (c) JADE, (d)WNN (e) Wavelet thresholding 66 Hình 27 PSD tín hiệu gơc tín hiệu sau khử nhiễu 67 Hình 28 Tương quan tần số tín hiệu trước sau khử nhiễu (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN (f) WT 67 Hình 29 Kết đoạn tín hiệu bán giả lập trước sau khử nhiễu 68 Hình 30 Lưu đồ phương pháp phân tích tín hiệu EEG dựa SVM 80 Hình 31 Siêu phẳng phân cách SVM 82 Hình 32 Lưu đồ phương pháp phân tích tín hiệu EEG dựa mạng nơ-ron 85 Hình 33 Cấu trúc mạng nơ-ron nhân tạo ba lớp 88 Hình 34 Huấn luyện mạng ANN với thuật tốn OWO-BP 89 Hình 35 Lưu đồ phương pháp phân tích tín hiệu EEG dựa học sâu 90 Hình 36 Thiết kế máy học Boltzman 92 Hình 37 Mạng học sâu Deep belief net với nhiều máy Boltzman 94 Hình 38 Biến đổi ICA khử nhiễu tín hiệu điện não 96 Hình 39 Kết khử nhiễu với ICA 96 Hình 40 Kết khử nhiễu với WNN 96 Hình 41 Hiển thị vùng kích hoạt não với phương pháp LORETA trình đối tượng thực ba thí nghiệm (a) N, (b) L and (c) P 97 Hình 42 Kiến trúc tổng thể hệ thống giao diện não-máy tính điều khiển thiết bị điện tử gia dụng thông minh 102 Hình 43 Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) 103 Hình 44 Tín hiệu điện não thu chương trình Test Bench 103 Hình 45 Mơ hình tương đương module ESP 8266 105 Hình 46 Mơ hình máy học cộng đồng phân loại trạng thái suy nghĩ từ tín hiệu điện não 107 DANH MỤC CHỮ VIẾT TẮT ANN Aritificial neural network (Mạng nơ-ron nhân tạo) BCI Brain computer interface (Giao diện não máy tính) CT Computed Topography (Chụp cắt lớp) DNN Deep neural network (Mạng học sâu) DBN Deep belief network (Mạng học sâu niềm tin) DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa wavelet) EEG Electroencephalography (Điện não đồ) EOG Electrooculography (Tín hiệu bất thường sinh nháy mắt) EMG Electromyogram (Tín hiệu bất thường sinh cử động cơ) ECoG Electro-corticography (Điện não đồ xâm lấn) FC Frequency correlation (Tương quan tần số) fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức năng) fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại) ICA Independent component analysis (Phân tích thành phần độc lập) Infomax Information Maximization (Tối đa thông tin) JADE Joint Approximation Diagonalization of Eigen-matrices LORETA Low resolution brain electromagnetic tomography (Định vị điện từ não đồ phân giải thấp) MEG Magnetoencephalography (Từ não đồ) MSE Mean square error (Sai số toàn phương trung bình) OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối ưu hóa trọng số lớp ra) PCA Principal component analysis (Phân tích thành phần chính) PET Positron emission tomography (Chụp positron phát xạ) PSD Power spectral density (Mật độ phổ lượng) RBM Restricted Bolzmann machine (Máy Bolzmann chặt) RWE Relative wavelet energy (Năng lượng wavelet tương đối) SAE Sparse autoencoder (Máy tự mã hóa thưa) SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai) SURE Stein’s unbiased risk estimate SVM Support vector machine (Máy vec-tơ hỗ trợ) WIoT Wireless internet of things (Internet vạn vật vô tuyến) WNN Wavelet neural network (Mạng nơ-ron wavelet) WT Wavelet thresholding (Phân ngưỡng wavelet) 10 PHẦN MỞ ĐẦU Tính cấp thiết Não quan quan trọng nhất, chịu trách nhiệm điều phối toàn quan khác thể người Cơ chế hoạt động não vấn đề phức tạp, đến khoa học chưa có lời giải rõ ràng Nếu não hoạt động khơng bình thường vấn đề tâm lý hay xáo trộn cấu trúc sinh học, số bệnh liên quan xuất suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não cách tiếp cận phù hợp để đánh giá tình trạng não trường hợp kể chất lượng tín hiệu tốt, độ phân giải cao, tính linh động thiết bị, an toàn giá thành hợp lý điều kiện Việt Nam so sánh với phương pháp thu tín hiệu từ não khác chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn… Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) giá trị điện có giá trị nhỏ, tạo trình tương tác với tế bào thần kinh não Tín hiệu EEG thường có biên độ khoảng từ 10 µV đến 100 µV tần số dải từ Hz đến 100 Hz Tín hiệu EEG không tuân theo phân bố Gauss thông thường khơng tĩnh (nonstationary) Thơng thường, tín hiệu EEG cho biết thông tin hoạt động theo nhịp (rhythmic activities) dải tần số khác dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) Gamma (30-50 Hz) Phân tích tín hiệu EEG dẫn đến số phát như: nhịp Delta thường thu trẻ nhỏ tuổi trạng thái ngủ sâu người lớn; nhịp Theta tồn trẻ em nhỏ tuổi trẻ em bình thường người lớn trạng thái buồn ngủ ngủ; lượng lớn tín hiệu nhịp Theta thu người lớn trạng thái tỉnh táo dấu hiệu cảnh báo tình trạng bất thường dấu hiệu bị bệnh Tín hiệu điện não thường xuyên sử dụng để phát triển hệ giao diện não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép kết nối máy tính để xử lý hiểu tín hiệu sinh từ não cách hiệu 11 BCI giải pháp hữu ích cho người bị bệnh xơ cứng teo bên (ALS) hay bệnh nhân tình trạng nghiêm trọng không cử động điều khiển phận thể Giao điện não máy tính cho phép chuyển tải thông điệp người sử dụng muốn thơng qua tín hiệu phân tích, xử lý “dịch” hệ thống mà không cần can thiệp khác Một số ứng dụng hệ BCI kể đến việc hỗ trợ phục hồi chức người bị liệt nửa người chấn thương tủy sống [1], cho phép người sử dụng điều khiển nhân vật hoạt họa di chuyển trò chơi điện tử dựa Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển chuột máy tính [3] Để thực việc phân tích thơng tin triển khai ứng dụng dựa tín hiệu EEG kể trên, số vấn đề tồn tại, chưa giải nghiên cứu trước kể đến: - Tín hiệu điện não sau biến đổi sang miền thời gian – tần số chứa thông tin đặc trưng khu trú dải tần cụ thể theo khung thời gian định Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo, thường phải trải qua bước huấn luyện off-line, khơng tự động hóa quy trình khử nhiễu - Các thiết kế thí nghiệm nghiên cứu khác tập trung vào việc tạo đặc trưng P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu Beta… thường yêu cầu thiết bị phụ trợ hình máy tính hiển thị hình ảnh, ký tự nháy sáng - Các phương pháp phân loại tín hiệu điện não trước thường phát triển cho thí nghiệm hình dung ảnh vận động, nhịp vận động cảm giác hay xung kích thích thị giác trạng thái ổn định khơng phù hợp cho việc phân loại tín hiệu điện não sinh tác vụ tập trung suy nghĩ vốn khơng địi hỏi thiết kế thí nghiệm phải có thiết bị hỗ trợ Học máy phương pháp tính tốn thơng minh cho phép máy tính tạo mơ hình tốn học có tham số hình thành trình khai phá, huấn luyện với liệu gán nhãn (học có giám sát) khơng cần gán nhãn (học không giám sát) 12 Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với cấu trúc khác mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch (generative adversarial networks) thuật toán học máy ứng dụng thành cơng nhiều lĩnh vực Các thuật tốn học sâu có nhiều liệu để huấn luyện trở nên hiệu việc thực chức “dạy” Kết thực nghiệm luận án tiến hành tập liệu quy mô nhỏ, nhiên việc sử dụng phương pháp học sâu bước chuẩn bị sẵn sàng để triển khai công nghệ đề xuất cho tốn thực tế, có lượng lớn liệu Dựa phân tích trên, việc nghiên cứu phát triển phương pháp xử lý phân loại tín hiệu điện não, hướng đến áp dụng phương pháp ứng dụng cụ thể vấn đề nghiên cứu có ý nghĩa khoa học thực tiễn cao, cần thiết tập trung nghiên cứu cách kỹ lưỡng Mục tiêu luận án Luận án đặt số mục tiêu sau: - Phát triển phương pháp để tăng cường chất lượng điện não dựa học máy: Với vai trị thơng tin đầu vào, chất lượng ghi tín hiệu điện não quan trọng, ảnh hưởng đến chất lượng xử lý phân loại tín hiệu hệ xử lý, phân tích tín hiệu điện não Do đó, việc tăng cường chất lượng điện não, cụ thể loại bỏ thành phần tín hiệu điện não khơng mong muốn tín hiệu điện não bất thường sinh nháy mắt (Electrooculography – EOG), cách tiếp cận phù hợp để tăng hiệu hoạt động hệ BCI hệ thống phân tích tính hiệu điện não khác - Phát triển phương pháp phân tích, xử lý tín hiệu điện não dựa phương pháp học máy bao gồm việc kiểm thử phương pháp học có giám sát khơng giám sát dựa SVM, ANN, DNN, Học cộng đồng: Đối với phương pháp phân tích tín hiệu điện não dựa học có giám sát, kết phân loại tín hiệu cho thấy mơ hình huấn luyện học làm tốt đến đâu với 13 phân loại dựa phương pháp máy học cộng đồng tăng thêm đáng kể so với phương pháp đề xuất Các kết báo cáo từ Bảng 10 - 11 cho thấy phương pháp học cộng đồng tỏ hiệu việc phân loại trạng thái suy nghĩ thực tế tăng cường khả phân loại so với phương án tốt đề xuất trước dựa học sâu Phương án dựa học cộng đồng không mang lại kết phân loại vượt trội trường hợp phân lớp khác có kết phân loại tốt cải thiện đáng kể kết phân loại đạt phân loại đề xuất có giá trị không cao (trường hợp phân loại bị coi yếu) Nhìn chung, kết phân loại trung bình cho tác vụ với phân loại dựa máy học cộng đồng so với độ trung bình cao đạt với DNN+, trường hợp phân loại tác vụ suy nghĩ Đối với việc thực hệ giao diện não máy tính, cụ thể điều khiển thiết bị điện tử gia dụng thông minh, vấn đề quan trọng cần đảm bảo tính ổn định hệ thống điều kiện người sử dụng đa dạng có đặc tín tín hiệu sóng điện não khác Phương pháp học cộng đồng xếp ngăn kết hợp mơ hình phân loại đề xuất giải pháp hiệu việc khắc phục vấn đề này, tạo phân loại có khả hoạt động hiệu nhiều trường hợp người sử dụng với đặc tính khác Kết luận Chương Chương trình bày chi tiết hệ giao diện não máy tính, đồng thời đưa phân tích số ứng dụng BCI qua đề xuất cách tiếp cận dựa học cộng đồng với đầu vào tín hiệu điện não khử tín hiệu điện não mạnh sinh nháy mắt Kết bước đầu cho thấy, mơ hình học cộng đồng đề xuất có khả phân loại tốt, số trường hợp cho kết phân loại tốt so với mơ hình thành phần đề xuất Kết khẳng định cách tiếp cận phù hợp để tăng cường hiệu hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thơng minh điều kiện tín hiệu 110 điện não thường có tính chất khác biệt người sử dụng qua người sử dụng khác từ phiên thu tín hiệu sang phiên thu tín hiệu khác 111 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ Nghiên cứu tín hiệu sóng điện não hệ giao diện não máy tính BCI địi hỏi liên kết vấn đề nghiên cứu khác cơng nghệ kết hợp với phân tích tìm hiểu lý thuyết thần kinh học cấu trúc não Luận án trình bày sở lý thuyết tín hiệu điện não, hệ giao diện não – máy tính, đề xuất số phương pháp xử lý, phân tích tín hiệu điện não dựa học máy, trình bày phát triển hệ giao diện não máy tính ứng dụng điều khiển thiết bị điện tử gia dụng thông minh Các tiếp cận giải toán dựa phương pháp học máy cho thấy hướng phù hợp để tiến tới thực hóa triển khai thực nghiệm hệ giao diện não máy tính Để cải tiến chất lượng hệ giao diện não máy tính, luận án đề xuất cách tiếp cận dựa việc kết hợp biến đổi wavelet với mạng học sâu tự mã hóa thưa Kết thực nghiệm cho thấy phương pháp đề xuất cho kết tốt có khả ứng dụng hệ BCI thực tế Những đóng góp khoa học luận án bao gồm đề xuất 06 phương pháp xử lý, phân tích tín hiệu điện não dựa học máy hệ thống giao diện não máy tính ứng dụng điều khiển thiết bị điện tử gia dụng thơng minh: Thứ nhất, khử tín hiệu điện não bất thường EOG tự động sử dụng mạng mã hóa thưa – Sparse Autoencoder Thứ hai, nhận diện, dị đếm tín hiệu bất thường nháy mắt EOG dựa biến đổi wavelet với hàm sở wavelet Haar Thứ ba, phân loại tín hiệu điện não tác vụ suy nghĩ dựa phân lớp SVM kết hợp biến đổi lượng wavelet tương đối, Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron với đặc trưng lựa chọn phân tích thành phần chính, Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu (deep neural network), 112 Thứ sáu, đề xuất hệ giao diện não máy tính hồn chỉnh điều khiển thiết bị điện tử gia dụng Thứ bảy, phân loại tín hiệu điện não sử dụng mơ hình dựa học cộng đồng, Những kết thực nghiệm với phương pháp đề xuất cho thấy: - Sử dụng phương pháp học máy cách tiếp cận phù hợp xử lý phân tích tín hiệu điện não điều kiện tín hiệu điện não có tính chất khơng dừng (non-stationary) - Các phương pháp học có giám sát mạng học sâu, mạng nơ-ron nhân tạo, máy học vec-tơ hỗ trợ có khả phân loại trạng thái suy nghĩ tốt có khả phát triển để thực hệ BCI điều khiển thiết bị điện tử gia dụng thơng minh - Mơ hình phân loại gồm cấu phần tiền xử lý, trích chọn đặc trưng, phân loại có ưu điểm việc sử dụng phân loại trực tiếp tín hiệu EEG thơ - Học máy/trí tuệ nhân tạo có khả thực tác vụ mà không cần học trước triển khai cách thích hợp Đây cách tiếp cận gần với tư người: không cần học kiến thức để giải vấn đề phát sinh - Mơ hình phân loại dựa học sâu kết hợp phân ngưỡng SURE cho lựa chọn thành phần có kết phân loại tốt so với mơ hình đề xuất khác so với mơ hình phân loại dựa học máy dùng đối sánh Việc áp dụng thành cơng phương pháp phân ngưỡng thích nghi SURE cho lựa chọn thành phần sở để áp dụng cách tiếp cận toán sử dụng PCA khác - Khó tồn mơ hình phân loại tốt cho trường hợp Mơ hình học cộng đồng hướng thích hợp để thực hệ BCI điều kiện tín hiệu EEG có khác biệt từ người sang người khác, từ thời điểm thu sang thời điểm thu khác 113 - Thiết kế thí nghiệm đóng vai trị quan trọng việc thực hiệu hệ BCI Những nghiên cứu luận án số hạn chế phương pháp đề xuất cách tiếp cận giải toán xử lý, phân loại tín hiệu điện não, phát triển hệ BCI theo hướng trình bày, cụ thể sau: - Những mơ hình phân loại đề xuất tích hợp phần khử tín hiệu bất thường sinh nháy mắt EOG để làm tăng chất lượng đầu vào cho hệ thống Trong điều kiện tín hiệu EEG dễ bị ảnh hưởng loại nhiễu, gây ảnh hưởng nghiêm trọng đến thông tin thực sinh hoạt động não bộ, tín hiệu điện não sử dụng luận án bị tác động nhiều loại nhiễu khác gây chuyển động, nói chuyện, cử động cơ, tim… - Cách tiếp cận xây dựng sở liệu thiết kế thí nghiệm dựa phân loại tác vụ suy nghĩ có ưu điểm khơng cần thêm thiết bị hỗ rợ cách thức tạo đặc trưng P300, N400, hình dung ảnh vận động, xung kích thích thị giác trạng thái ổn định… tín hiệu thu lại phụ thuộc vào việc đối tượng tuân thủ xác hướng dẫn thí nghiệm Việc tn thủ thường khó xác nhận tính xác - Các mơ hình phân loại sử dụng tín hiệu điện não thu tồn 14 điện cực thiết bị EPOC+ Nhiều nghiên cứu khác giới số tác vụ thiết kế thí nghiệm định, tín hiệu EEG từ phận điện cực, đặt vị trí phù hợp, đem lại kết tốt sử dụng toàn điện cực Dựa phân tích trên, số hướng nghiên cứu là: - Thực hệ BCI dựa phương pháp đề xuất - Phát triển phương pháp dựa học cộng đồng adaboost để tăng cường khả phân loại tín hiệu điện não 114 - Tiếp tục áp dụng phương pháp học máy để cải tiến DWSAE hướng tới khử loại nhiễu tín hiệu điện não khác loại nhiễu loại tín hiệu hình ảnh, âm thanh… - Nghiên cứu phát triển hệ BCI dựa đặc trưng P300, nhịp vận động cảm giác đặc trưng tín hiệu điện não khác - Tích hợp biến đổi wavelet package để cải tiến phương pháp DWSAE - Phát triển thuật toán huấn luyện mạng học sâu kết nối phần (partly-connected), nút kích hoạt theo nhiệm vụ (activated by task) hướng đến xây dựng máy học đa nhiệm 115 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ Nguyen The Hoang Anh, Thanh Ha Le and The Duy Bui A deep wavelet sparse autoencoder method for online and automatic EOG artifact removal Neural Computing and Applications (2020) https://doi.org/10.1007/s00521-020-04953-0 (ISI-indexed) Nguyen The Hoang Anh, T T Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface Journal of Informatics and Mathematical Sciences Journal of Informatics and Mathematical Sciences 11.3-4 (2019): 383406 ISSN 0975-5748 (online); 0974-875X (print) Hoang-Anh The Nguyen, Anh Tuan Do, Thanh Ha Le and The Duy Bui “A deep sparse autoencoder method for automatic EOG artifact removal”, 2019 19th International Conference on Control, Automation and Systems (ICCAS 2019), Oct 15~18, 2019; ICC Jeju, Jeju, Korea, ISBN: 978-89-93215-18-2 IEEE Hoang-Anh The Nguyen, Thanh Ha Le, The Duy Bui “A Stacking Ensemble Learning Model for Mental State Recognition Towards Implementation of Brain Computer Interface”, the 2019 6th NAFOSTED Conference on Information and Computer Science (NICS), Dec 12-13, 2019; Hanoi, Vietnam, p 39-43, ISBN: 9781-7281-5162-5 IEEE, Huy Hoang Tran, Hoang Anh T Nguyen, Quoc-Vuong Do and Thanh Ha Le “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018 Nguyễn Thế Hoàng Anh, Huy Hoàng Trần, Anh Tuấn Đỗ, Quốc Vương Đỗ and Thanh Hà Lê “Phương pháp sử dụng mạng tự mã hóa thưa loại nhiễu tín hiệu điện não tự động, theo thời gian thực”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 22, 2019 Nguyen The Hoang Anh, Tran, H.H., Vu, T.T and Bui, T.Q.2016, October A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp 733-738) IEEE Nguyen The Hoang Anh, Hoang, T.H., Thang, V.T and Bui, T.Q 2016, November An Artificial Neural Network approach for electroencephalographic signal classification towards brain-computer interface implementation In Computing & Communication Technologies, Research, Innovation, and Vision for the Future (RIVF), 2016 IEEE RIVF International Conference on (pp 205-210) IEEE 116 Nguyễn Thế Hoàng Anh, Trần Huy Hoàng, Bùi Thị Thanh Quyên Phương pháp hệ thống thu nhận tín hiệu điện não để điều khiển thiết bị điện tử ứng dụng nhà thông minh (Đơn sáng chế Cục Sở hữu trí tuệ, Bộ KHCN chấp nhận đơn hợp lệ) 117 TÀI LIỆU THAM KHẢO Lupu, R G., Irimia, D C., Ungureanu, F., Poboroniuc, M S., & Moldoveanu, A (2018) BCI and FES based therapy for stroke rehabilitation using VR facilities Wireless Communications and Mobile Computing, 2018 Saeedi S, Chavarriaga R, Millán JD Long-term stable control of motor- imagery BCI by a locked-in user through adaptive assistance IEEE Transactions on Neural Systems and Rehabilitation Engineering 2017 Apr;25(4):380-91 Citi, L., Poli, R., Cinel, C., & Sepulveda, F (2008) P300-based BCI mouse with genetically-optimized analogue control IEEE transactions on neural systems and rehabilitation engineering, 16(1), 51-61 Zhang, X.P and Desai, M.D., 1998 Adaptive denoising based on SURE risk IEEE signal processing letters, 5(10), pp.265-267 Churchland, P.S., Sejnowski, T.J and Poggio, T.A., 2016 The computational brain MIT press Herculano-Houzel, S (2009) The human brain in numbers: a linearly scaled- up primate brain Frontiers in human neuroscience, 3, 31 Kevric, J and Subasi, A., 2017 Comparison of signal decomposition methods in classification of EEG signals for motor-imagery BCI system Biomedical Signal Processing and Control, 31, pp.398-406 Ahi, S T., Kambara, H., & Koike, Y (2010) A dictionary-driven P300 speller with a modified interface IEEE transactions on neural systems and rehabilitation engineering, 19(1), 6-14 Wolpaw, J.R and McFarland, D.J., 2004 Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans Proceedings of the national academy of sciences, 101(51), pp.17849-17854 10 Hotson, G., McMullen, D.P., Fifer, M.S., Johannes, M.S., Katyal, K.D., Para, M.P., Armiger, R., Anderson, W.S., Thakor, N.V., Wester, B.A and Crone, N.E., 2016 Individual finger control of a modular prosthetic limb using high-density 118 electrocorticography in a human subject Journal of neural engineering, 13(2), p.026017 11 Hamedi, M., Salleh, S.H and Noor, A.M., 2016 Electroencephalographic motor imagery brain connectivity analysis for BCI: a review Neural computation, 28(6), pp.999-1041 12 Farwell LA., Donchin E., "Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials," Electroencephalography and Clinical Neurophysiology, 70 (6): 510–23, 1988 13 Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R., “BCI2000: A general –purpose brain-computer interface system,” IEEE Trans on Biomedical Engineering, vol.51, no.6, 1034-1043, June 2004 14 Naseer, N and Hong, K.S., 2015 fNIRS-based brain-computer interfaces: a review Frontiers in human neuroscience, 9, p.3 15 Kundu, P., Voon, V., Balchandani, P., Lombardo, M V., Poser, B A., & Bandettini, P A (2017) Multi-echo fMRI: a review of applications in fMRI denoising and analysis of BOLD signals Neuroimage, 154, 59-80 16 Glover, G H (2011) Overview of functional magnetic resonance imaging Neurosurgery Clinics, 22(2), 133-139 17 Fleming, I.N., Manavaki, R., Blower, P.J., West, C., Williams, K.J., Harris, A.L., Domarkas, J., Lord, S., Baldry, C and Gilbert, F.J., 2015 Imaging tumour hypoxia with positron emission tomography British journal of cancer, 112(2), p.238 18 Sanei, S and Chambers, J.A., 2013 EEG signal processing John Wiley & Sons 19 Kim, J., Lee, J., Han, C and Park, K., 2019 An Instant Donning Multi- Channel EEG Headset (with Comb-Shaped Dry Electrodes) and BCI Applications Sensors, 19(7), p.1537 119 20 Jung, T.P., Makeig, S., Humphries, C., Lee, T.W., Mckeown, M.J., Iragui, V and Sejnowski, T.J., 2000 Removing electroencephalographic artifacts by blind source separation Psychophysiology, 37(2), pp.163-178 21 Rioul O., Vetterli M., Wavelet and signal processing, IEEE Signal Process Mag.8(4)(2002)14–38 22 Kalayci T., Ozdamar O., Wavelet preprocessing for automated neural network detetion of EEG spikes, IEEE Eng Med Biol Mag 14(2) (1995) 160–166 23 Rosso, O A., Martin, M T., Figliola, A., Keller, K., & Plastino, A (2006) EEG analysis using wavelet-based information tools Journal of neuroscience methods, 153(2), 163-182 24 De Clercq, W., Vergult, A., Vanrumste, B., Van Paesschen, W and Van Huffel, S., 2006 Canonical correlation analysis applied to remove muscle artifacts from the electroencephalogram IEEE transactions on Biomedical Engineering, 53(12), pp.2583-2587 25 Nguyen, H.A.T., Musson, J., Li, F., Wang, W., Zhang, G., Xu, R., Richey, C., Schnell, T., McKenzie, F.D and Li, J., 2012 EOG artifact removal using a wavelet neural network Neurocomputing, 97, pp.374-389 26 Donoho DL De-noising by soft-thresholding IEEE transactions on information theory 1995 May;41(3):613-27 27 Pascual-Marqui, R.D., 2002 Standardized low-resolution brain electromagnetic tomography (sLORETA): technical details Methods Find Exp Clin Pharmacol, 24(Suppl D), pp.5-12 28 Vidal J.J., “Real-time detection of brain events in EEG,” Proceedings of IEEE, 65 (5): 633–641, 1977 29 Blankertz, B., Muller, K.R., Krusienski, D.J., Schalk, G., Wolpaw, J.R., Schlogl, A., Pfurtscheller, G., Millan, J.R., Schroder, M and Birbaumer, N., 2006 The BCI competition III: Validating alternative approaches to actual BCI problems IEEE transactions on neural systems and rehabilitation engineering, 14(2), pp.153159 120 30 McFarland, D.J and Wolpaw, J.R., 2017 EEG-based brain–computer interfaces current opinion in Biomedical Engineering, 4, pp.194-200 31 Urigüen, J.A and Garcia-Zapirain, B., 2015 EEG artifact removal—state-of- the-art and guidelines Journal of neural engineering, 12(3), p.031001 32 Pizzagalli, D.A., 2007 Electroencephalography and high-density electrophysiological source localization Handbook of psychophysiology, 3, pp.5684 33 Hagemann, D and Naumann, E., 2001 The effects of ocular artifacts on (lateralized) broadband power in the EEG Clinical Neurophysiology, 112(2), pp.215-231 34 Li, X., Guan, C., Zhang, H and Ang, K.K., 2017 Discriminative ocular artifact correction for feature learning in EEG analysis IEEE Transactions on biomedical engineering, 64(8), pp.1906-1913 35 Yang, B., Duan, K., Fan, C., Hu, C and Wang, J., 2018 Automatic ocular artifacts removal in EEG using deep learning Biomedical Signal Processing and Control, 43, pp.148-158 36 Bengio, Y., Lamblin, P., Popovici, D and Larochelle, H., 2007 Greedy layer- wise training of deep networks In Advances in neural information processing systems (pp 153-160) 37 Goodfellow I., Le Q., Saxe A., Lee H., and Ng A., “Measuring invariances in deep networks,” in Proc NIPS, Vancouver, Canada, 2009, pp 646–654 38 Zhu, C., Byrd, R.H., Lu, P and Nocedal, J., 1997 Algorithm 778: L-BFGS- B: Fortran subroutines for large-scale bound-constrained optimization ACM Transactions on Mathematical Software (TOMS), 23(4), pp.550-560 39 Turnip, A., 2015 Comparison of ICA-Based JADE and SOBI methods EOG artifacts removal Journal of Medical and Bioengineering, 4(6) 40 Belouchrani, A., Abed-Meraim, K., Cardoso, J.F and Moulines, E., 1997 A blind source separation technique using second-order statistics IEEE Transactions on signal processing, 45(2), pp.434-444 121 41 Bell, A J., & Sejnowski, T J (1995) An information-maximization approach to blind separation and blind deconvolution Neural computation, 7(6), 1129-1159 42 He, T., Clifford, G., & Tarassenko, L (2006) Application of independent component analysis in removing artefacts from the electrocardiogram Neural Computing & Applications, 15(2), 105-116 43 Krishnaveni, V., Jayaraman, S., Anitha, L and Ramadoss, K., 2006 Removal of ocular artifacts from EEG using adaptive thresholding of wavelet coefficients Journal of Neural Engineering, 3(4), p.338 44 Chiappa, S and Barber, D., 2006 EEG classification using generative independent component analysis Neurocomputing, 69(7-9), pp.769-777 45 Anderson, C.W., Stolz, E.A and Shamsunder, S., 1998 Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks IEEE Transactions on Biomedical Engineering, 45(3), pp.277-286 46 Zhang, X., Yao, L., Kanhere, S.S., Liu, Y., Gu, T and Chen, K., 2017 MindID: Person identification from brain waves through attention-based recurrent neural network ACM J Comput Cult Herit., Vol 9, No 4, Article 39 47 Grandchamp, R., Braboszcz, C and Delorme, A., 2014 Oculometric variations during mind wandering Frontiers in psychology, 5, p.31 48 Nguyen, H.A.T., Tran, H.H., Vu, T.T and Bui, T.Q., 2016, October A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp 733-738) IEEE 49 Guo, L., Rivero, D., Seoane, J.A and Pazos, A., 2009 Classification of EEG signals using relative wavelet energy and artificial neural networks In Proceedings of the first ACM/SIGEVO Summit on Genetic and Evolutionary Computation (pp 177-184) 50 Vapnik, Vladimir Naumovich, and Vlamimir Vapnik, Statistical learning theory Vol New York: Wiley, 1998 122 51 Tong, S., & Koller, D (2001) Support vector machine active learning with applications to text classification Journal of machine learning research, 2(Nov), 4566 52 Harris, T (2015) Credit scoring using the clustered support vector machine Expert Systems with Applications, 42(2), 741-750 53 Burges, Christopher JC "A tutorial on support vector machines for pattern recognition." Data mining and knowledge discovery 2.2 (1998): 121-167 54 Gavish, M and Donoho, D.L., 2014 The optimal hard threshold for singular values is 4/√3 IEEE Transactions on Information Theory, 60(8), pp.5040-5053 55 Yu, C., Manry, M T., Li, J., Narasimha, P L., “An efficient hidden layer training method for the multilayer perceptron,” Neurocomputing, Vol 70, No 1, pp 525–535, 2006 56 Abdi, H and Williams, L.J., 2010 Principal component analysis Wiley interdisciplinary reviews: computational statistics, 2(4), pp.433-459 57 LeCun, Y., Bengio, Y and Hinton, G., 2015 Deep learning nature, 521(7553), pp.436-444 58 Deng L., Yu D., “Deep learning for signal and information processing,” Microsoft Research Monograph, 2013 59 Hinton, G.E., Osindero, S and Teh, Y.W., 2006 A fast learning algorithm for deep belief nets Neural computation, 18(7), pp.1527-1554 60 Zhang, X L., & Wang, D (2016) A deep ensemble learning method for monaural speech separation IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), 24(5), 967-977 61 Kulesa A, Krzywinski M, Blainey P, Altman N Points of significance: Sampling distributions and the bootstrap Nature Methods 2015;12(6) 62 Wang, G., Hao, J., Ma, J., & Jiang, H (2011) A comparative assessment of ensemble learning for credit scoring Expert systems with applications, 38(1), 223230 123 63 Tresp, V., 2000 A Bayesian committee machine Neural computation, 12(11), pp.2719-2741 64 Mai, J K., Majtanik, M., & Paxinos, G (2015) Atlas of the human brain Academic Press 65 Huy Hoang Tran, Hoang Anh T Nguyen, Quoc-Vuong Do and Thanh Ha Le, “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018 66 Nguyen The Hoang Anh, T T Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface Journal of Informatics and Mathematical Sciences, 11(3-4), pp.383-406 67 Ng, A., 2011 Sparse autoencoder CS294A Lecture notes, 72(2011), pp.1-19 68 Blankertz, B., Losch, F., Krauledat, M., Dornhege, G., Curio, G and Müller, K.R., 2008 The Berlin Brain-Computer Interface: Accurate performance from firstsession in BCI-naive subjects IEEE transactions on biomedical engineering, 55(10), pp.2452-2462 124 ... tích tín hiệu điện não Chương trình bày đề xuất phương pháp xử lý, tăng cường chất lượng tín hiệu điện não đầu vào hệ giao diện não máy tính cách khử tín hiệu điện não bất thường sinh nháy mắt Phương. .. Chương luận án Các đóng góp khoa học kết thực nghiệm luận án cho thấy sử dụng học máy phương pháp tiếp cận phù hợp để giải toán liên quan đến xử lý, phân loại tín hiệu điện não hệ giao diện não máy. .. hình phân loại tính hiệu điện não hồn chỉnh gồm tiền xử lý tín hiệu sóng điện não, trích chọn đặc trưng phù hợp huấn luyện, sử dụng mơ hình phân lớp dựa học máy phân loại tín hiệu điện não thành