báo cáo toàn văn nhập môn công nghệ thông tin đề bài brain computer interface

Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkins

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM

KHOA CÔNG NGHỆ TÔNG TIN

BÁO CÁO TOÀN VĂN NHẬP MÔN CÔNG NGHỆ THÔNG TIN

Đề bài: Brain – Computer Interface

Giảng viên hướng dẫn: Đinh Công Đoan

Nhóm thực hiện: Nhóm 3

Lớp: 231INIT130185_07

Tp Hồ Chí Minh, ngày 7 tháng 12 năm 2023

DANH SÁCH NHÓM

Họ và tên MSSV Phân công

Nhiệm vụ

Mức độhoànthành

Nguyễn Quốc

Khánh

23110239

Soạn đề cương,phần mở đầu vàtổng hợp, chỉnhsửa báo cáo,thuyết trình

100 %

Mai Hồng Tín 231103

42

Soạn chương 1,soạn đề cương,nhiệm vụ của luậnvăn, chỉnh sửabáo cáo

76 Soạn chương 2 100 %Phạm Thị Tuyết

Minh

231102

68 Soạn PowerPoint 100 %Nguyễn Thành

Tài

23110309

Soạn chương 4,kết luận và kiếnnghị

100 %

1.4.1 Hệ

BCI2000……….12 1.4.2 Hệ VR-BCI trong phục hồi chức

2.7.2 Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ………29

2.7.3 Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa

nhiễu……… 33

2.8 Thảo

luận……… 34 2.9 Kết luận Chương

4.1.1 Khối thu tín hiệu và thiết bị Emotiv

Epoc……….44

4.1.2 Khối

DSP……… 46

4.1.3 Khối WioT……… 47

4.2 Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông

minh……… 48

4.3 Kết quả và thảo

luận……… 51 4.4 Kết luận Chương

4……… …54 PHẦN KẾT LUẬN VÀ KIẾN

NGHỊ……… 55

TÀI LIỆU THAM

KHẢO……… 59

bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…

Tín hiệu điện não hay sóng điện não (Electroencephalogram– EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV

và tần số trong dải từ 1 Hz đến 100 Hz Tín hiệu EEG không tuântheo phân bố Gauss thông thường và cũng không tĩnh

(nonstationary) Thông thường, tín hiệu EEG cho biết thông tin

về các hoạt động theo nhịp (rhythmic activities) trên các dải tần

số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha(8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz) Phân tích tín hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới

7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Thetathu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh

Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3]

1

Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát)

Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch

(generative adversarial networks) là các thuật toán học máy được ứng dụng rất thành công trong nhiều lĩnh vực Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ càng trở nênhiệu quả trong việc thực hiện chức năng được “dạy” Kết quả thực nghiệm trong luận án này mới chỉ tiến hành trên một tập

dữ liệu quy mô nhỏ, tuy nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị

sẵn sàng để triển khai công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu Dựa trên những phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số ứng dụng cụ thể là một vấn đềnghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất cần thiết được tập trung nghiên cứu một cách kỹ lưỡng

2 Mục tiêu của luận án

Luận án đặt ra một số mục tiêu như sau:

- Phát triển phương pháp để tăng cường chất lượng điện nãodựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện não khác

- Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các

2

phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với 14 dữ liệu tín hiệuđiện não đầu vào đã được gán nhãn Trong trường hợp xử lý tín hiệu điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ

- Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năngđiều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi Tuy nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù hợp với nội dung củanghiên cứu Một số nghiên cứu khác chủ động tiến hành thu nhận và sử dụng dữ liệu thu được Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh

3 Cách tiếp cận và phương pháp nghiên cứu:

Đối tượng nghiên cứu: Nghiên cứu sẽ tập trung vào việc khảo sát và phân tích tín hiệu điện não, cũng như xác định khả năng ứng dụng của chúng trong BCI

Phạm vi nghiên cứu: Từ việc đánh giá và so sánh các phương pháp xử lý tín hiệu, đến việc đề xuất mô hình hệ thống BCI trong điều khiển máy móc

4 Phân tích những công trình có liên quan:

Chúng ta sẽ tiến hành phân tích kỹ lưỡng những nghiên cứu, công trình liên quan đã được thực hiện trước đó về BCI và ứng dụng của nó trong điều khiển máy móc Điều này sẽ giúp định hình được nền tảng kiến thức và hiểu rõ sâu hơn về trạng thái hiện tại của lĩnh vực này

5 Kết quả dự kiến đạt được:

3

wavelet được triển khai trên miền thời gian – tần số và thực tế, khi thực hiện các phương pháp này, các vùng tần số cụ thể của tín hiệu đã được lựa chọn để tiến hành khử nhiễu Trong khi đó, các phương pháp ICA được triển khai trên miền thời gian do đó, không thể hạn chế được ảnh hưởng trên các giải tần khác nhau của tín hiệu điện não, mặc dù các giải tần này không liên quan tới tín hiệu bất thường do nháy mắt EOG Điều này đồng nghĩa với việc trong khi khử nhiễu, các tín hiệu điện não thực sự trong các vùng giải tần không xuất hiện EOG cũng bị ảnh hưởng và thay đổi bởi các phương pháp ICA.

Chỉ số tương quan tần số FC cung cấp thông tin chi tiết hơn

về ảnh hưởng của các phương pháp này đối với các giải tần số

cụ thể khi thực hiện việc khử nhiễu Chỉ số FC khẳng định chắc chắn hơn quan sát đã thấy với chỉ số PSD Cụ thể, các phương pháp SOBI, JADE, Infomax thay đổi tín hiệu ban đầu trên hầu như toàn bộ giải tần tín hiệu điện não có ích (từ 0 – 50 Hz) Các phương pháp ICA này không chỉ tập trung vào vùng tần số thấp như các phương pháp dựa trên biến đổi wavelet DWSAE tác động một chút đến các giá trị tần số cao, chứ không chỉ trên giải tần xuất hiện giả tượng EOG Lý do là phương pháp DWSAE được tích hợp thêm một thuật toán dò đếm tín hiệu bất thường

do nháy mắt EOG DWSAE chỉ được triển khai trên các vùng tín hiệu chứa EOG và sau đó kết quả khử nhiễu được ghép nối để thay thế vùng tín hiệu ban đầu chứa nhiễu Chính quá trình ghép nối này làm thay đổi tần số tại vùng giải tần giả tượng EOG không xuất hiện Hiện tượng này không xuất hiện đối với kết quả khử nhiễu thực hiện bởi WNN và WT bởi vì các phương pháp này không được tích hợp phần dò tìm vùng nhiễu và ghép nối tín hiệu như vậy

Giữa ba phương pháp khử nhiễu dựa trên wavelet, DWSAE cho thấy khả năng khử tín hiệu bất thường do nháy mắt EOG hiệu quả hơn hai phương pháp còn lại với giá trị MSE của tín hiệu trước và sau khi khử nhiễu trên đoạn tín hiệu bán giả lập chứa nhiễu thấp nhất (Bảng 2) Ngoài ra, DWSAE có lợi thế hơn

so với WNN là DWSAE sử dụng mạng học sâu tự mã hóa thưa, một phương pháp học tự động với dữ liệu không cần nhãn, để làm máy khử nhiễu do đó cả phần huấn luyện và thực hiện khử nhiễu của DWSAE đều có thể thực hiện tự động DWSAE cũng không yêu cầu một mô hình mô phỏng để tạo ra tín hiệu gán nhãn dùng cho huấn luyện WNN

Bảng 3 So sánh đặc tính các phương pháp khử nhiễu tín

hiệu điện não

41

Bảng 3 tổng kết các đặc điểm của mỗi phương pháp được so

sánh ở đây

Phương pháp DWSAE và WT có thể khử nhiễu và tích hợp vào

hệ thống chạy theo thời gian thực được Trong khi đó WNN cũng

có thể khử nhiễu theo thời gian thực nhưng cần phải được huấn luyện mô hình Mạng nơ-ron off-line Cần nhấn mạnh là DWSAE

đã khắc phục được hạn chế này của WNN trong đó cả bước huấn luyện và bước khử nhiễu đều có thể thực hiện tự động hoàn toàn Trong khi đó tất cả các phương pháp ICA đều không chạy đơn kênh, không tự động khử nhiễu mà cần có bước can thiệp thủ công bằng cách quan sát, loại bỏ các thành phần IC cótính chất nhiễu, do đó các phương pháp này không thể tích hợp vào các hệ thống theo thời gian thực Ưu điểm của các phương pháp ICA là kết quả khử nhiễu rất tốt và có khả năng khử nhiều loạinhiễu khác nhau như nhiễu cơ, nhiễu tim… chứ không chỉ làkhử tín hiệu bất thường do nháy mắt EOG

2.9 Kết luận Chương 2

Chương này của luận án đã trình bày một phương pháp mới trong khử nhiễu tín hiệu điện não gọi là Mạng học sâu tự mã hóa thưa Wavelet (DWSAE) Kết quả khử nhiễu bởi DWSAE được

so sánh với các phương pháp khác như SOBI, JADE, Infomax, WNN và Wavelet thresholding cho thấy đây là một phương pháphiệu quả trong khử tín hiệu bất thường do nháy mắt EOG So vớicác phương pháp dựa trên phân tích thành phần độc lập ICA, DWSAE có ưu điểm là có thể thực hiện tự động trên đơn kênh dữliệu So với WNN, DWSAE không phải trải qua pha huấn luyện off-line mà có thể được huấn luyện và sử dụng để khử nhiễu theo thời gian thực, tự động Điều này rất cần thiết khi tích hợp phương pháp khử nhiễu này trong các hệ giao diện não máy tính BCI theo thời gian thực

Khả năng khử EOG của DWSAE chứng tỏ máy học sâu tự mãhóa thưa đã tự tìm được các đặc tính của tín hiệu điện não sạch qua đó cân chỉnh các giá trị bị ảnh hưởng bởi EOG của tín hiệu

42

điện não đầu vào cần làm sạch Do là một phương pháp học máy có thể tự động hóa quy trình huấn luyện, việc triển khai thành công DWSAE cho thấy tiềm năng của việc một máy học

có khả năng tự suy luận và giải quyết các vấn đề chưa được đặt

ra trong quá trình huấn luyện

Tăng cường chất lượng tín hiệu điện não, như đã trình bày ởchương này, thường được thực hiện trong bước tiền xử lý của

mô hình phân loại tín hiệu điện não Chương 3 tiếp theo sẽ trìnhbày một cách tổng thể mô hình phân loại tín hiệu điện não và

đề xuất một số cách tiếp cận dựa trên các phương pháp học máy có giám sát

CHƯƠNG 3: ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN MÁY

TÍNH 3.1.Đăt vấn đề

Theo thống kê, hiện nay, khoảng 6% dân số Việt Nam,tương đương với hơn 5 triệu người, đã vượt qua tuổi 64 Nhómnày dần trở nên kém linh hoạt và phụ thuộc ngày càng nhiềuvào người khác, đặc biệt khi họ già đi Có một nhóm khác trong

xã hội là những đối tượng yếu thế như những người bị đột quỵhoặc bại liệt Mặc dù họ không thể cử động, nhưng lại giữnguyên khả năng tư duy tốt Với mong muốn giúp đỡ nhómngười này tương tác và kiểm soát thiết bị điện tử trong môitrường xung quanh, nghiên cứu này đề xuất sử dụng Giao diệnNão Máy Tính (BCI) như một giải pháp hữu ích

43

Sau khi tham khảo nghiên cứu và tài liệu nước ngoài, vàdựa vào đặc điểm của hệ thống và yêu cầu nghiên cứu, nghiêncứu trong luận án này đã phát triển một qui trình thu thập dữliệu và thiết kế thí nghiệm riêng để đảm bảo tích hợp với hệthống BCI trong việc điều khiển các thiết bị điện tử gia dụngthông minh Phần dưới đây sẽ chi tiết hơn về Hệ Giao diện NãoMáy Tính này và đề xuất một số phương pháp phân tích và xử lýtín hiệu não dựa trên học máy để chuyển đổi thông điệp củangười sử dụng thành lệnh điều khiển cho các thiết bị điện tử giadụng thông minh.

3.2.Cơ sở dữ liệu thí nghiệm

Biến đổi Wavelet:

Biến đổi wavelet là một phương pháp mạnh mẽ trong việc

xử lý và phân tích tín hiệu điện não Quá trình thiết lập cơ sởcủa phương pháp này bao gồm:

Hàm Wavelet Cơ Bản:

Phương pháp sử dụng một tập hợp các hàm cơ sở, hay còngọi là sóng nhỏ (wavelet), để thực hiện phân tích Hàm cơ sởwavelet có thể được xây dựng từ một hàm wavelet mẹ duy nhất𝜓(𝑡),

Biến đổi Wavelet Liên Tục (CWT):

Biến đổi wavelet liên tục của một tín hiệu \(𝑥(𝑡)\) được xácđịnh bởi hệ số tương quan giữa hàm cơ sở wavelet và chính tínhiệu đó Công thức biểu diễn CWT như sau:

Biến đổi Wavelet Rời Rạc (DWT):

Do tín hiệu số hóa trên máy tính, sử dụng biến đổi waveletliên tục không khả thi Thay vào đó, sử dụng biến đổi waveletrời rạc (DWT)

Phương Pháp Tái Cấu Trúc:

Sau khi phân tích, phương pháp này trả về chuỗi hệ sốwavelet, bao gồm cả chi tiết (detail) và xấp xỉ (approximation) ởcác giải tần khác nhau Phương pháp tái cấu trúc có thể được ápdụng để xây dựng lại tín hiệu ban đầu hoặc điều chỉnh tín hiệu

để cải thiện chất lượng và loại bỏ nhiễu không mong muốn

44

Phân Tích Thành Phần Độc Lập (ICA):

Phương pháp này giúp trong việc tách nguồn mù và khửnhiễu tín hiệu điện não bằng cách thiết lập các thành phần độclập Các bước cơ bản của phương pháp ICA bao gồm:

Chuẩn Bị Dữ Liệu:

Dữ liệu điện não được chuẩn bị để phù hợp với phương phápICA, bao gồm việc chuyển đổi dữ liệu từ miền thời gian sangmiền tần số nếu cần

Tách Người Sử Dụng ICA:

Sử dụng ICA để tách thành phần độc lập từ tín hiệu Mỗithành phần tách ra thường đại diện cho một nguồn tín hiệuriêng biệt

Xử Lý Kết Quả:

Thực hiện xử lý trên các thành phần tách được, có thể baogồm việc loại bỏ các thành phần không mong muốn hoặc kếthợp lại các thành phần mong muốn

Cả hai phương pháp trên đều đóng vai trò quan trọng trong

cơ sở thiết lập và phân tích tín hiệu điện não, cung cấp cơ hộimạnh mẽ để hiểu rõ và xử lý tín hiệu phức tạp này

3.3 Đề xuất một số phương pháp phân loại trạng thai suy nghỉ dựa trên học máy

Đề Xuất Phương Pháp Phân Loại Trạng Thái Suy Nghĩ cho HệBCI Dựa Trên Tín Hiệu Điện Não

Để phân loại trạng thái suy nghĩ trong hệ BCI Computer Interface) và điều khiển thiết bị điện tử gia dụngthông minh, đề xuất sự kết hợp của Máy Vec-tơ Hỗ Trợ (SVM) vớibiến đổi wavelet và Phương pháp Phân Tách Nguồn Độc Lập(Independent Component Analysis - ICA) Kết hợp này sẽ tậndụng lợi ích của từng phương pháp để cải thiện độ chính xác và

(Brain-độ tin cậy của hệ thống

Biến Đổi Wavelet:

Tận dụng tính linh hoạt và khả năng xử lý đa tần số củabiến đổi wavelet để phân tích tín hiệu điện não

45