Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não máy tính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ Nguyễn Thế Hồng Anh MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Bùi Thế Duy PGS TS Lê Thanh Hà Hà Nội – 2020 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng Các kết luận án trung thực chưa cơng bố cơng trình khác Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Tác giả luận án Nguyễn Thế Hoàng Anh LỜI CẢM ƠN Nghiên cứu khoa học hành trình dài có nhiều thử thách cần vượt qua đồng thời trình đào sâu, tìm lời giải cho vấn đề khoa học thú vị Nghiên cứu Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo khoa học thần kinh chắn công việc nhận nhiều quan tâm Tôi cảm thấy may mắn trở thành phần cộng đồng nghiên cứu hàn lâm lĩnh vực đầy hứng khởi với phát kiến khoa học khiêm tốn Trong trình học tập, nghiên cứu hồn thiện luận án tiến sĩ, nhận giúp đỡ, bảo tận tình thầy, giáo, nhà khoa học, Phịng thí nghiệm Tương tác người máy HMI, Bộ mơn Khoa học máy tính Trường Đại học cơng nghệ, Đại học Quốc gia Hà Nội Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS TS Bùi Thế Duy PGS TS Lê Thanh Hà, người thầy hướng dẫn trực tiếp truyền thụ kiến thức thắp lên lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên kiên định suốt trình nghiên cứu thực luận án Tôi xin chân thành cám ơn Lãnh đạo đồng nghiệp Viện Công nghệ thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi tơi thực đề tài, cơng trình nghiên cứu phần kết trực tiếp thể luận án Tôi xin dành tất yêu thương cám ơn tới gia đình: bố TS Nguyễn Song Hoan, mẹ TS Nguyễn Thị Bạch Yến, vợ Lê Minh Trang hai Mật Ong, Cá Mập bên cạnh, động viên để vượt qua khó khăn hồn thành mục tiêu Xin trân trọng cám ơn! Tác giả luận án Nguyễn Thế Hoàng Anh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC BẢNG DANH MỤC HÌNH VẼ DANH MỤC CHỮ VIẾT TẮT .10 PHẦN MỞ ĐẦU 11 Tính cấp thiết 11 Mục tiêu luận án 13 Đóng góp luận án 14 Phạm vi luận án 16 Phương pháp luận 17 Cấu trúc luận án 17 CHƯƠNG TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 19 Giới thiệu 19 Tín hiệu điện não phương pháp đo tín hiệu từ não 21 2.1 Các phương pháp đo tín hiệu từ não 21 2.1.1 Chụp quang phổ cận hồng ngoại chức 21 2.1.2 Chụp Cộng hưởng từ chức 22 2.1.3 Chụp cắt lớp phát xạ positron 22 2.1.4 Từ não đồ 23 2.1.5 Điện não đồ xâm lấn 24 2.2 Tín hiệu điện não vấn đề liên quan 25 2.2.1 Điện não đồ 25 2.2.2.Tín hiệu điện não 26 2.2.3 Cơ chế phát sinh tín hiệu điện não 28 2.2.4 Thu tín hiệu điện não 29 Một số phương pháp xử lý, phân tích tín hiệu điện não 30 3.1 Biến đổi wavelet 30 3.2 Phân tích thành phần độc lập khử nhiễu tín hiệu điện não 33 3.3 Mạng Nơron wavelet 34 3.3.1 Huấn luyện 35 3.3.2 Khử nhiễu 35 3.4 Phương pháp phân ngưỡng wavelet 36 3.5 Kỹ thuật định vị LORETA trực quan hóa liệu điện não 38 Một số ứng dụng hệ giao diện não máy tính 40 4.1 Hệ BCI2000 40 4.2 Hệ VR-BCI phục hồi chức 41 4.3 Một số hệ BCI đánh vần ký tự 42 4.4 Một số nghiên cứu BCI tín hiệu điện não khác 43 Kết luận Chương 45 CHƯƠNG PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HĨA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT 46 Đặt vấn đề 46 Đề xuất phương pháp học sâu tự mã hóa thưa wavelet 49 2.1 Mạng học sâu tự mã hóa thưa 50 2.2 Phương pháp dò đếm EOG dựa biến đổi wavelet Haar 52 2.2.1 Biến đổi wavelet Haar 52 2.2.2 Thuật tốn dị tìm EOG dựa biến đổi wavelet Haar 53 2.3 2.3.1 Huấn luyện tự động 55 2.3.2 Tự động sửa lỗi tín hiệu 57 2.4 Mạng học sâu tự mã hóa thưa wavelet khử EOG 55 Độ đo đánh giá kết 58 Kết 59 3.1 Dữ liệu kiểm thử 59 3.2 Thiết kế thí nghiệm 60 3.3 Kết thí nghiệm 60 3.3.1 Kết Tập liệu 1: thực nhiệm vụ ý quan sát 60 3.3.2 Kết Tập liệu 2: nhận dạng trạng thái suy nghĩ 65 3.3.3 Kết tập liệu 3: tín hiệu điện não mơ chứa nhiễu 68 Thảo luận 69 Kết luận Chương 72 CHƯƠNG ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC MÁY .73 Đặt vấn đề 73 Cơ sở liệu thử nghiệm 75 2.1 Cơ sở liệu có 75 2.2 Cơ sở liệu luận án 77 Đề xuất số phương pháp phân loại trạng thái suy nghĩ dựa học máy 79 3.1 Phương pháp máy vec-tơ hỗ trợ với đặc trưng lượng wavelet tương đối 79 3.1.1 Năng lượng wavelet tương đối trích chọn đặc trưng tín hiệu điện não 81 3.1.2 Máy vec-tơ hỗ trợ phân loại tín hiệu điện não 82 3.2 Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần 84 3.2.1 Phân tích thành phần cho giảm số chiều tín hiệu điện não 86 3.2.2 Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP 87 3.3 Phương pháp học sâu với đặc trưng lựa chọn phân ngưỡng SURE 89 3.3.1 Lựa chọn thành phần với phân ngưỡng thích nghi SURE 91 3.3.2 Mạng học sâu Deep belief net phân loại tín hiệu điện não 92 Kết thảo luận 94 4.1 Tiền xử lý liệu 95 4.2 Phân loại trạng thái 98 Kết luận chương 100 CHƯƠNG ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH 102 Hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thông minh 102 1.1 Khối thu tín hiệu thiết bị Emotiv Epoc+ 103 1.2 Khối DSP 104 1.3 Khối WIoT 104 Đề xuất mơ hình học cộng đồng dạng xếp ngăn phân loại tín hiệu điện não cho hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thông minh 105 Kết thảo luận 108 Kết luận Chương 110 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ 112 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ .116 TÀI LIỆU THAM KHẢO 118 DANH MỤC BẢNG Bảng Kết nhận diện EOG 55 Bảng MSE ba phương pháp dựa wavelet 69 Bảng So sánh đặc tính phương pháp khử nhiễu tín hiệu điện não 71 Bảng Kết phân loại hai trạng thái suy nghĩ 98 Bảng Kết phân loại 02 trạng thái suy nghĩ theo bước với DBN 99 Bảng Kết phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN 99 Bảng Kết phân loại 03 trạng thái suy nghĩ theo bước với DNN 100 Bảng Độ xác phân loại trạng thái phương pháp đề xuất dựa mạng nơ-ron nhân tạo kết hợp PCA máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng Độ xác phân loại trạng thái phương pháp đề xuất dựa mạng nơ-ron nhân tạo kết hợp PCA máy vec-tơ hỗ trợ với đặc trưng RWE 100 Bảng 10 Độ xác phân loại trạng thái phương pháp đề xuất dựa máy học cộng đồng so với phương pháp thành phần 108 Bảng 11 Độ xác phân loại trạng thái phương pháp đề xuất dựa máy học cộng đồng so với phương pháp thành phần 109 DANH MỤC HÌNH VẼ Hình Cấu trúc não [64] 19 Hình Các phương thức thu tín hiệu từ não (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG (f) EEG 20 Hình Một số hệ thống thiết bị dùng để đo điện não EEG [20] 25 Hình Bản ghi tín hiệu điện não EEG 27 Hình Một số dạng sóng tín hiệu điện não EEG 28 Hình (a) Biến đổi wavelet thuận (b) Biến đổi wavelet ngược 31 Hình Quy trình phương pháp ICA dùng khử nhiễu tín hiệu EEG 34 Hình Cấu trúc mạng Wavelet Neural Network [8] 35 Hình Huấn luyện mạng Nơ-ron 35 Hình 10 Quá trình khử nhiễu 36 Hình 11 Thuật tốn Loreta định vị hoạt động điện não EEG 39 Hình 12 Thiết kế hệ BCI2000 [17] 40 Hình 13 Hệ BCI ứng dụng thực ảo phục hồi bệnh nhân đột quỵ [1] 41 Hình 14 Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] 42 Hình 15 Giao diện thí nghiệm Berlin BCI [68] 43 Hình 16 Tín hiệu bất thường nháy mắt EOG 47 Hình 17 Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE 49 Hình 18 Mơ hình đơn giản máy tự mã hóa Autoencoder 51 Hình 19 Lưu đồ thuật tốn dị đếm tín hiệu bất thường nháy mắt EOG 53 Hình 20: Kết nhận diện EOG 54 Hình 21 Quy trình huấn luyện khơng giám sát mạng học sâu tự mã hóa thưa wavelet 56 Hình 22 Quy trình tự động khử EOG với DWSAE 57 Hình 23 Kết khử nhiễu DWSAE so với (a) SOBI, (b) Infomax, (c) JADE, (d)WNN (e) Wavelet thresholding 62 Hình 24 Hình vẽ thể PSD tín hiệu trước sau khử nhiễu 63 Hình 25 Hệ số tương quan tần số tín hiệu trước sau khử nhiễu (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN (f) WT 64 Hình 26 So sánh kết khử nhiễu DWSAE (a) SOBI, (b) Infomax, (c) JADE, (d)WNN (e) Wavelet thresholding 66 Hình 27 PSD tín hiệu gơc tín hiệu sau khử nhiễu 67 Hình 28 Tương quan tần số tín hiệu trước sau khử nhiễu (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN (f) WT 67 Hình 29 Kết đoạn tín hiệu bán giả lập trước sau khử nhiễu 68 Hình 30 Lưu đồ phương pháp phân tích tín hiệu EEG dựa SVM 80 Hình 31 Siêu phẳng phân cách SVM 82 Hình 32 Lưu đồ phương pháp phân tích tín hiệu EEG dựa mạng nơ-ron 85 Hình 33 Cấu trúc mạng nơ-ron nhân tạo ba lớp 88 Hình 34 Huấn luyện mạng ANN với thuật toán OWO-BP 89 Hình 35 Lưu đồ phương pháp phân tích tín hiệu EEG dựa học sâu 90 Hình 36 Thiết kế máy học Boltzman 92 Hình 37 Mạng học sâu Deep belief net với nhiều máy Boltzman 94 Hình 38 Biến đổi ICA khử nhiễu tín hiệu điện não 96 Hình 39 Kết khử nhiễu với ICA 96 Hình 40 Kết khử nhiễu với WNN 96 Hình 41 Hiển thị vùng kích hoạt não với phương pháp LORETA trình đối tượng thực ba thí nghiệm (a) N, (b) L and (c) P 97 Hình 42 Kiến trúc tổng thể hệ thống giao diện não-máy tính điều khiển thiết bị điện tử gia dụng thông minh 102 Hình 43 Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) 103 Hình 44 Tín hiệu điện não thu chương trình Test Bench 103 Hình 45 Mơ hình tương đương module ESP 8266 105 Hình 46 Mơ hình máy học cộng đồng phân loại trạng thái suy nghĩ từ tín hiệu điện não 107 phân loại dựa phương pháp máy học cộng đồng tăng thêm đáng kể so với phương pháp đề xuất Các kết báo cáo từ Bảng 10 - 11 cho thấy phương pháp học cộng đồng tỏ hiệu việc phân loại trạng thái suy nghĩ thực tế tăng cường khả phân loại so với phương án tốt đề xuất trước dựa học sâu Phương án dựa học cộng đồng không mang lại kết phân loại vượt trội trường hợp phân lớp khác có kết phân loại tốt cải thiện đáng kể kết phân loại đạt phân loại đề xuất có giá trị khơng cao (trường hợp phân loại bị coi yếu) Nhìn chung, kết phân loại trung bình cho tác vụ với phân loại dựa máy học cộng đồng so với độ trung bình cao đạt với DNN+, trường hợp phân loại tác vụ suy nghĩ Đối với việc thực hệ giao diện não máy tính, cụ thể điều khiển thiết bị điện tử gia dụng thông minh, vấn đề quan trọng cần đảm bảo tính ổn định hệ thống điều kiện người sử dụng đa dạng có đặc tín tín hiệu sóng điện não khác Phương pháp học cộng đồng xếp ngăn kết hợp mơ hình phân loại đề xuất giải pháp hiệu việc khắc phục vấn đề này, tạo phân loại có khả hoạt động hiệu nhiều trường hợp người sử dụng với đặc tính khác Kết luận Chương Chương trình bày chi tiết hệ giao diện não máy tính, đồng thời đưa phân tích số ứng dụng BCI qua đề xuất cách tiếp cận dựa học cộng đồng với đầu vào tín hiệu điện não khử tín hiệu điện não mạnh sinh nháy mắt Kết bước đầu cho thấy, mơ hình học cộng đồng đề xuất có khả phân loại tốt, số trường hợp cho kết phân loại tốt so với mơ hình thành phần đề xuất Kết khẳng định cách tiếp cận phù hợp để tăng cường hiệu hệ giao diện não máy tính điều khiển thiết bị điện tử gia dụng thông minh điều kiện tín hiệu 110 điện não thường có tính chất khác biệt người sử dụng qua người sử dụng khác từ phiên thu tín hiệu sang phiên thu tín hiệu khác 111 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ Nghiên cứu tín hiệu sóng điện não hệ giao diện não máy tính BCI đòi hỏi liên kết vấn đề nghiên cứu khác công nghệ kết hợp với phân tích tìm hiểu lý thuyết thần kinh học cấu trúc não Luận án trình bày sở lý thuyết tín hiệu điện não, hệ giao diện não – máy tính, đề xuất số phương pháp xử lý, phân tích tín hiệu điện não dựa học máy, trình bày phát triển hệ giao diện não máy tính ứng dụng điều khiển thiết bị điện tử gia dụng thơng minh Các tiếp cận giải tốn dựa phương pháp học máy cho thấy hướng phù hợp để tiến tới thực hóa triển khai thực nghiệm hệ giao diện não máy tính Để cải tiến chất lượng hệ giao diện não máy tính, luận án đề xuất cách tiếp cận dựa việc kết hợp biến đổi wavelet với mạng học sâu tự mã hóa thưa Kết thực nghiệm cho thấy phương pháp đề xuất cho kết tốt có khả ứng dụng hệ BCI thực tế Những đóng góp khoa học luận án bao gồm đề xuất 06 phương pháp xử lý, phân tích tín hiệu điện não dựa học máy hệ thống giao diện não máy tính ứng dụng điều khiển thiết bị điện tử gia dụng thông minh: Thứ nhất, khử tín hiệu điện não bất thường EOG tự động sử dụng mạng mã hóa thưa – Sparse Autoencoder Thứ hai, nhận diện, dị đếm tín hiệu bất thường nháy mắt EOG dựa biến đổi wavelet với hàm sở wavelet Haar Thứ ba, phân loại tín hiệu điện não tác vụ suy nghĩ dựa phân lớp SVM kết hợp biến đổi lượng wavelet tương đối, Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron với đặc trưng lựa chọn phân tích thành phần chính, Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu (deep neural network), 112 Thứ sáu, đề xuất hệ giao diện não máy tính hồn chỉnh điều khiển thiết bị điện tử gia dụng Thứ bảy, phân loại tín hiệu điện não sử dụng mơ hình dựa học cộng đồng, Những kết thực nghiệm với phương pháp đề xuất cho thấy: - Sử dụng phương pháp học máy cách tiếp cận phù hợp xử lý phân tích tín hiệu điện não điều kiện tín hiệu điện não có tính chất khơng dừng (non-stationary) - Các phương pháp học có giám sát mạng học sâu, mạng nơ-ron nhân tạo, máy học vec-tơ hỗ trợ có khả phân loại trạng thái suy nghĩ tốt có khả phát triển để thực hệ BCI điều khiển thiết bị điện tử gia dụng thông minh - Mô hình phân loại gồm cấu phần tiền xử lý, trích chọn đặc trưng, phân loại có ưu điểm việc sử dụng phân loại trực tiếp tín hiệu EEG thơ - Học máy/trí tuệ nhân tạo có khả thực tác vụ mà khơng cần học trước triển khai cách thích hợp Đây cách tiếp cận gần với tư người: không cần học kiến thức để giải vấn đề phát sinh - Mô hình phân loại dựa học sâu kết hợp phân ngưỡng SURE cho lựa chọn thành phần có kết phân loại tốt so với mơ hình đề xuất khác so với mơ hình phân loại dựa học máy dùng đối sánh Việc áp dụng thành công phương pháp phân ngưỡng thích nghi SURE cho lựa chọn thành phần sở để áp dụng cách tiếp cận tốn sử dụng PCA khác - Khó tồn mơ hình phân loại tốt cho trường hợp Mơ hình học cộng đồng hướng thích hợp để thực hệ BCI điều kiện tín hiệu EEG có khác biệt từ người sang người khác, từ thời điểm thu sang thời điểm thu khác 113 - Thiết kế thí nghiệm đóng vai trò quan trọng việc thực hiệu hệ BCI Những nghiên cứu luận án số hạn chế phương pháp đề xuất cách tiếp cận giải tốn xử lý, phân loại tín hiệu điện não, phát triển hệ BCI theo hướng trình bày, cụ thể sau: - Những mơ hình phân loại đề xuất tích hợp phần khử tín hiệu bất thường sinh nháy mắt EOG để làm tăng chất lượng đầu vào cho hệ thống Trong điều kiện tín hiệu EEG dễ bị ảnh hưởng loại nhiễu, gây ảnh hưởng nghiêm trọng đến thông tin thực sinh hoạt động não bộ, tín hiệu điện não sử dụng luận án bị tác động nhiều loại nhiễu khác gây chuyển động, nói chuyện, cử động cơ, tim… - Cách tiếp cận xây dựng sở liệu thiết kế thí nghiệm dựa phân loại tác vụ suy nghĩ có ưu điểm không cần thêm thiết bị hỗ rợ cách thức tạo đặc trưng P300, N400, hình dung ảnh vận động, xung kích thích thị giác trạng thái ổn định… tín hiệu thu lại phụ thuộc vào việc đối tượng tuân thủ xác hướng dẫn thí nghiệm Việc tuân thủ thường khó xác nhận tính xác - Các mơ hình phân loại sử dụng tín hiệu điện não thu toàn 14 điện cực thiết bị EPOC+ Nhiều nghiên cứu khác giới số tác vụ thiết kế thí nghiệm định, tín hiệu EEG từ phận điện cực, đặt vị trí phù hợp, đem lại kết tốt sử dụng toàn điện cực Dựa phân tích trên, số hướng nghiên cứu là: - Thực hệ BCI dựa phương pháp đề xuất - Phát triển phương pháp dựa học cộng đồng adaboost để tăng cường khả phân loại tín hiệu điện não 114 - Tiếp tục áp dụng phương pháp học máy để cải tiến DWSAE hướng tới khử loại nhiễu tín hiệu điện não khác loại nhiễu loại tín hiệu hình ảnh, âm thanh… - Nghiên cứu phát triển hệ BCI dựa đặc trưng P300, nhịp vận động cảm giác đặc trưng tín hiệu điện não khác - Tích hợp biến đổi wavelet package để cải tiến phương pháp DWSAE - Phát triển thuật toán huấn luyện mạng học sâu kết nối phần (partly-connected), nút kích hoạt theo nhiệm vụ (activated by task) hướng đến xây dựng máy học đa nhiệm 115 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ Nguyen The Hoang Anh, Thanh Ha Le and The Duy Bui A deep wavelet sparse autoencoder method for online and automatic EOG artifact removal Neural Computing and Applications (2020) https://doi.org/10.1007/s00521-020-04953-0 (ISI-indexed) Nguyen The Hoang Anh, T T Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface Journal of Informatics and Mathematical Sciences Journal of Informatics and Mathematical Sciences 11.3-4 (2019): 383406 ISSN 0975-5748 (online); 0974-875X (print) Hoang-Anh The Nguyen, Anh Tuan Do, Thanh Ha Le and The Duy Bui “A deep sparse autoencoder method for automatic EOG artifact removal”, 2019 19th International Conference on Control, Automation and Systems (ICCAS 2019), Oct 15~18, 2019; ICC Jeju, Jeju, Korea, ISBN: 978-89-93215-18-2 IEEE Hoang-Anh The Nguyen, Thanh Ha Le, The Duy Bui “A Stacking Ensemble Learning Model for Mental State Recognition Towards Implementation of Brain Computer Interface”, the 2019 6th NAFOSTED Conference on Information and Computer Science (NICS), Dec 12-13, 2019; Hanoi, Vietnam, p 39-43, ISBN: 9781-7281-5162-5 IEEE, Huy Hoang Tran, Hoang Anh T Nguyen, Quoc-Vuong Do and Thanh Ha Le “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018 Nguyễn Thế Hoàng Anh, Huy Hoàng Trần, Anh Tuấn Đỗ, Quốc Vương Đỗ and Thanh Hà Lê “Phương pháp sử dụng mạng tự mã hóa thưa loại nhiễu tín hiệu điện não tự động, theo thời gian thực”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 22, 2019 Nguyen The Hoang Anh, Tran, H.H., Vu, T.T and Bui, T.Q.2016, October A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp 733-738) IEEE Nguyen The Hoang Anh, Hoang, T.H., Thang, V.T and Bui, T.Q 2016, November An Artificial Neural Network approach for electroencephalographic signal classification towards brain-computer interface implementation In Computing & Communication Technologies, Research, Innovation, and Vision for the Future (RIVF), 2016 IEEE RIVF International Conference on (pp 205-210) IEEE 116 Nguyễn Thế Hoàng Anh, Trần Huy Hoàng, Bùi Thị Thanh Quyên Phương pháp hệ thống thu nhận tín hiệu điện não để điều khiển thiết bị điện tử ứng dụng nhà thông minh (Đơn sáng chế Cục Sở hữu trí tuệ, Bộ KHCN chấp nhận đơn hợp lệ) 117 TÀI LIỆU THAM KHẢO Lupu, R G., Irimia, D C., Ungureanu, F., Poboroniuc, M S., & Moldoveanu, A (2018) BCI and FES based therapy for stroke rehabilitation using VR facilities Wireless Communications and Mobile Computing, 2018 Saeedi S, Chavarriaga R, Millán JD Long-term stable control of motor- imagery BCI by a locked-in user through adaptive assistance IEEE Transactions on Neural Systems and Rehabilitation Engineering 2017 Apr;25(4):380-91 Citi, L., Poli, R., Cinel, C., & Sepulveda, F (2008) P300-based BCI mouse with genetically-optimized analogue control IEEE transactions on neural systems and rehabilitation engineering, 16(1), 51-61 Zhang, X.P and Desai, M.D., 1998 Adaptive denoising based on SURE risk IEEE signal processing letters, 5(10), pp.265-267 Churchland, P.S., Sejnowski, T.J and Poggio, T.A., 2016 The computational brain MIT press Herculano-Houzel, S (2009) The human brain in numbers: a linearly scaled- up primate brain Frontiers in human neuroscience, 3, 31 Kevric, J and Subasi, A., 2017 Comparison of signal decomposition methods in classification of EEG signals for motor-imagery BCI system Biomedical Signal Processing and Control, 31, pp.398-406 Ahi, S T., Kambara, H., & Koike, Y (2010) A dictionary-driven P300 speller with a modified interface IEEE transactions on neural systems and rehabilitation engineering, 19(1), 6-14 Wolpaw, J.R and McFarland, D.J., 2004 Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans Proceedings of the national academy of sciences, 101(51), pp.17849-17854 10 Hotson, G., McMullen, D.P., Fifer, M.S., Johannes, M.S., Katyal, K.D., Para, M.P., Armiger, R., Anderson, W.S., Thakor, N.V., Wester, B.A and Crone, N.E., 2016 Individual finger control of a modular prosthetic limb using high-density 118 electrocorticography in a human subject Journal of neural engineering, 13(2), p.026017 11 Hamedi, M., Salleh, S.H and Noor, A.M., 2016 Electroencephalographic motor imagery brain connectivity analysis for BCI: a review Neural computation, 28(6), pp.999-1041 12 Farwell LA., Donchin E., "Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials," Electroencephalography and Clinical Neurophysiology, 70 (6): 510–23, 1988 13 Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R., “BCI2000: A general –purpose brain-computer interface system,” IEEE Trans on Biomedical Engineering, vol.51, no.6, 1034-1043, June 2004 14 Naseer, N and Hong, K.S., 2015 fNIRS-based brain-computer interfaces: a review Frontiers in human neuroscience, 9, p.3 15 Kundu, P., Voon, V., Balchandani, P., Lombardo, M V., Poser, B A., & Bandettini, P A (2017) Multi-echo fMRI: a review of applications in fMRI denoising and analysis of BOLD signals Neuroimage, 154, 59-80 16 Glover, G H (2011) Overview of functional magnetic resonance imaging Neurosurgery Clinics, 22(2), 133-139 17 Fleming, I.N., Manavaki, R., Blower, P.J., West, C., Williams, K.J., Harris, A.L., Domarkas, J., Lord, S., Baldry, C and Gilbert, F.J., 2015 Imaging tumour hypoxia with positron emission tomography British journal of cancer, 112(2), p.238 18 Sanei, S and Chambers, J.A., 2013 EEG signal processing John Wiley & Sons 19 Kim, J., Lee, J., Han, C and Park, K., 2019 An Instant Donning Multi- Channel EEG Headset (with Comb-Shaped Dry Electrodes) and BCI Applications Sensors, 19(7), p.1537 119 20 Jung, T.P., Makeig, S., Humphries, C., Lee, T.W., Mckeown, M.J., Iragui, V and Sejnowski, T.J., 2000 Removing electroencephalographic artifacts by blind source separation Psychophysiology, 37(2), pp.163-178 21 Rioul O., Vetterli M., Wavelet and signal processing, IEEE Signal Process Mag.8(4)(2002)14–38 22 Kalayci T., Ozdamar O., Wavelet preprocessing for automated neural network detetion of EEG spikes, IEEE Eng Med Biol Mag 14(2) (1995) 160–166 23 Rosso, O A., Martin, M T., Figliola, A., Keller, K., & Plastino, A (2006) EEG analysis using wavelet-based information tools Journal of neuroscience methods, 153(2), 163-182 24 De Clercq, W., Vergult, A., Vanrumste, B., Van Paesschen, W and Van Huffel, S., 2006 Canonical correlation analysis applied to remove muscle artifacts from the electroencephalogram IEEE transactions on Biomedical Engineering, 53(12), pp.2583-2587 25 Nguyen, H.A.T., Musson, J., Li, F., Wang, W., Zhang, G., Xu, R., Richey, C., Schnell, T., McKenzie, F.D and Li, J., 2012 EOG artifact removal using a wavelet neural network Neurocomputing, 97, pp.374-389 26 Donoho DL De-noising by soft-thresholding IEEE transactions on information theory 1995 May;41(3):613-27 27 Pascual-Marqui, R.D., 2002 Standardized low-resolution brain electromagnetic tomography (sLORETA): technical details Methods Find Exp Clin Pharmacol, 24(Suppl D), pp.5-12 28 Vidal J.J., “Real-time detection of brain events in EEG,” Proceedings of IEEE, 65 (5): 633–641, 1977 29 Blankertz, B., Muller, K.R., Krusienski, D.J., Schalk, G., Wolpaw, J.R., Schlogl, A., Pfurtscheller, G., Millan, J.R., Schroder, M and Birbaumer, N., 2006 The BCI competition III: Validating alternative approaches to actual BCI problems IEEE transactions on neural systems and rehabilitation engineering, 14(2), pp.153159 120 30 McFarland, D.J and Wolpaw, J.R., 2017 EEG-based brain–computer interfaces current opinion in Biomedical Engineering, 4, pp.194-200 31 Urigüen, J.A and Garcia-Zapirain, B., 2015 EEG artifact removal—state-of- the-art and guidelines Journal of neural engineering, 12(3), p.031001 32 Pizzagalli, D.A., 2007 Electroencephalography and high-density electrophysiological source localization Handbook of psychophysiology, 3, pp.5684 33 Hagemann, D and Naumann, E., 2001 The effects of ocular artifacts on (lateralized) broadband power in the EEG Clinical Neurophysiology, 112(2), pp.215-231 34 Li, X., Guan, C., Zhang, H and Ang, K.K., 2017 Discriminative ocular artifact correction for feature learning in EEG analysis IEEE Transactions on biomedical engineering, 64(8), pp.1906-1913 35 Yang, B., Duan, K., Fan, C., Hu, C and Wang, J., 2018 Automatic ocular artifacts removal in EEG using deep learning Biomedical Signal Processing and Control, 43, pp.148-158 36 Bengio, Y., Lamblin, P., Popovici, D and Larochelle, H., 2007 Greedy layer- wise training of deep networks In Advances in neural information processing systems (pp 153-160) 37 Goodfellow I., Le Q., Saxe A., Lee H., and Ng A., “Measuring invariances in deep networks,” in Proc NIPS, Vancouver, Canada, 2009, pp 646–654 38 Zhu, C., Byrd, R.H., Lu, P and Nocedal, J., 1997 Algorithm 778: L-BFGS- B: Fortran subroutines for large-scale bound-constrained optimization ACM Transactions on Mathematical Software (TOMS), 23(4), pp.550-560 39 Turnip, A., 2015 Comparison of ICA-Based JADE and SOBI methods EOG artifacts removal Journal of Medical and Bioengineering, 4(6) 40 Belouchrani, A., Abed-Meraim, K., Cardoso, J.F and Moulines, E., 1997 A blind source separation technique using second-order statistics IEEE Transactions on signal processing, 45(2), pp.434-444 121 41 Bell, A J., & Sejnowski, T J (1995) An information-maximization approach to blind separation and blind deconvolution Neural computation, 7(6), 1129-1159 42 He, T., Clifford, G., & Tarassenko, L (2006) Application of independent component analysis in removing artefacts from the electrocardiogram Neural Computing & Applications, 15(2), 105-116 43 Krishnaveni, V., Jayaraman, S., Anitha, L and Ramadoss, K., 2006 Removal of ocular artifacts from EEG using adaptive thresholding of wavelet coefficients Journal of Neural Engineering, 3(4), p.338 44 Chiappa, S and Barber, D., 2006 EEG classification using generative independent component analysis Neurocomputing, 69(7-9), pp.769-777 45 Anderson, C.W., Stolz, E.A and Shamsunder, S., 1998 Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks IEEE Transactions on Biomedical Engineering, 45(3), pp.277-286 46 Zhang, X., Yao, L., Kanhere, S.S., Liu, Y., Gu, T and Chen, K., 2017 MindID: Person identification from brain waves through attention-based recurrent neural network ACM J Comput Cult Herit., Vol 9, No 4, Article 39 47 Grandchamp, R., Braboszcz, C and Delorme, A., 2014 Oculometric variations during mind wandering Frontiers in psychology, 5, p.31 48 Nguyen, H.A.T., Tran, H.H., Vu, T.T and Bui, T.Q., 2016, October A combination of independent component analysis, relative wavelet energy, and support vector machine for mental state classification In Control, Automation and Systems (ICCAS), 2016 16th International Conference on (pp 733-738) IEEE 49 Guo, L., Rivero, D., Seoane, J.A and Pazos, A., 2009 Classification of EEG signals using relative wavelet energy and artificial neural networks In Proceedings of the first ACM/SIGEVO Summit on Genetic and Evolutionary Computation (pp 177-184) 50 Vapnik, Vladimir Naumovich, and Vlamimir Vapnik, Statistical learning theory Vol New York: Wiley, 1998 122 51 Tong, S., & Koller, D (2001) Support vector machine active learning with applications to text classification Journal of machine learning research, 2(Nov), 4566 52 Harris, T (2015) Credit scoring using the clustered support vector machine Expert Systems with Applications, 42(2), 741-750 53 Burges, Christopher JC "A tutorial on support vector machines for pattern recognition." Data mining and knowledge discovery 2.2 (1998): 121-167 54 Gavish, M and Donoho, D.L., 2014 The optimal hard threshold for singular values is 4/√3 IEEE Transactions on Information Theory, 60(8), pp.5040-5053 55 Yu, C., Manry, M T., Li, J., Narasimha, P L., “An efficient hidden layer training method for the multilayer perceptron,” Neurocomputing, Vol 70, No 1, pp 525–535, 2006 56 Abdi, H and Williams, L.J., 2010 Principal component analysis Wiley interdisciplinary reviews: computational statistics, 2(4), pp.433-459 57 LeCun, Y., Bengio, Y and Hinton, G., 2015 Deep learning nature, 521(7553), pp.436-444 58 Deng L., Yu D., “Deep learning for signal and information processing,” Microsoft Research Monograph, 2013 59 Hinton, G.E., Osindero, S and Teh, Y.W., 2006 A fast learning algorithm for deep belief nets Neural computation, 18(7), pp.1527-1554 60 Zhang, X L., & Wang, D (2016) A deep ensemble learning method for monaural speech separation IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), 24(5), 967-977 61 Kulesa A, Krzywinski M, Blainey P, Altman N Points of significance: Sampling distributions and the bootstrap Nature Methods 2015;12(6) 62 Wang, G., Hao, J., Ma, J., & Jiang, H (2011) A comparative assessment of ensemble learning for credit scoring Expert systems with applications, 38(1), 223230 123 63 Tresp, V., 2000 A Bayesian committee machine Neural computation, 12(11), pp.2719-2741 64 Mai, J K., Majtanik, M., & Paxinos, G (2015) Atlas of the human brain Academic Press 65 Huy Hoang Tran, Hoang Anh T Nguyen, Quoc-Vuong Do and Thanh Ha Le, “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018 66 Nguyen The Hoang Anh, T T Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface Journal of Informatics and Mathematical Sciences, 11(3-4), pp.383-406 67 Ng, A., 2011 Sparse autoencoder CS294A Lecture notes, 72(2011), pp.1-19 68 Blankertz, B., Losch, F., Krauledat, M., Dornhege, G., Curio, G and Müller, K.R., 2008 The Berlin Brain-Computer Interface: Accurate performance from firstsession in BCI-naive subjects IEEE transactions on biomedical engineering, 55(10), pp.2452-2462 124 ... CÔNG NGHỆ MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH Chun ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI... VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 19 Giới thiệu 19 Tín hiệu điện não phương pháp đo tín hiệu từ não 21 2.1 Các phương pháp đo tín. .. tích tín hiệu điện não Chương trình bày đề xuất phương pháp xử lý, tăng cường chất lượng tín hiệu điện não đầu vào hệ giao diện não máy tính cách khử tín hiệu điện não bất thường sinh nháy mắt Phương