báo cáo toàn văn nhập môn công nghệ thông tin đề bài brain computer interface

Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkins

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ TÔNG TIN

BÁO CÁO TOÀN VĂN NHẬP MÔNCÔNG NGHỆ THÔNG TIN

Đề bài: Brain – Computer Interface

Giảng viên hướng dẫn: Đinh Công Đoan Nhóm thực hiện: Nhóm 3

Lớp: 231INIT130185_07

Tp Hồ Chí Minh, ngày 7 tháng 12 năm 2023

1.3.2 Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não….10

1.3.3 Mạng Nơron

wavelet……… 111.4 Một số ứng dụng hệ giao diện não máy tính……… 12

CHƯƠNG 2 PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY

2.7.2 Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái

CHƯƠNG 3 ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC

CHƯƠNG 4 ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG

4.2 Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông

minh………48

4.3 Kết quả và thảo

PHẦN MỞ ĐẦU

1.Tính cấp thiết

Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người Cơ chế hoạt động của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não là một cách tiếp cận phù hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…

Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz Tín hiệu EEG không tuân theo phân bố Gauss thông thường và cũng không tĩnh

(nonstationary) Thông thường, tín hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz) Phân tích tín hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh

Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3].

1

Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát)

Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch

(generative adversarial networks) là các thuật toán học máy được ứng dụng rất thành công trong nhiều lĩnh vực Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy” Kết quả thực nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị

sẵn sàng để triển khai công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu Dựa trên những phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất cần thiết được tập trung nghiên cứu một cách kỹ lưỡng.

2 Mục tiêu của luận án

Luận án đặt ra một số mục tiêu như sau:

- Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện não khác.

- Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các

2

phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với 14 dữ liệu tín hiệu điện não đầu vào đã được gán nhãn Trong trường hợp xử lý tín hiệu điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ

- Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi Tuy nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù hợp với nội dung của nghiên cứu Một số nghiên cứu khác chủ động tiến hành thu nhận và sử dụng dữ liệu thu được Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh.

3 Cách tiếp cận và phương pháp nghiên cứu:

Đối tượng nghiên cứu: Nghiên cứu sẽ tập trung vào việc khảo sát và phân tích tín hiệu điện não, cũng như xác định khả năng ứng dụng của chúng trong BCI.

Phạm vi nghiên cứu: Từ việc đánh giá và so sánh các phương pháp xử lý tín hiệu, đến việc đề xuất mô hình hệ thống BCI trong điều khiển máy móc.

4 Phân tích những công trình có liên quan:

Chúng ta sẽ tiến hành phân tích kỹ lưỡng những nghiên cứu, công trình liên quan đã được thực hiện trước đó về BCI và ứng dụng của nó trong điều khiển máy móc Điều này sẽ giúp định hình được nền tảng kiến thức và hiểu rõ sâu hơn về trạng thái hiện tại của lĩnh vực này.

5 Kết quả dự kiến đạt được:

3

wavelet được triển khai trên miền thời gian – tần số và thực tế, khi thực hiện các phương pháp này, các vùng tần số cụ thể của tín hiệu đã được lựa chọn để tiến hành khử nhiễu Trong khi đó, các phương pháp ICA được triển khai trên miền thời gian do đó, không thể hạn chế được ảnh hưởng trên các giải tần khác nhau của tín hiệu điện não, mặc dù các giải tần này không liên quan tới tín hiệu bất thường do nháy mắt EOG Điều này đồng nghĩa với việc trong khi khử nhiễu, các tín hiệu điện não thực sự trong các vùng giải tần không xuất hiện EOG cũng bị ảnh hưởng và thay đổi bởi các phương pháp ICA.

Chỉ số tương quan tần số FC cung cấp thông tin chi tiết hơn về ảnh hưởng của các phương pháp này đối với các giải tần số cụ thể khi thực hiện việc khử nhiễu Chỉ số FC khẳng định chắc chắn hơn quan sát đã thấy với chỉ số PSD Cụ thể, các phương pháp SOBI, JADE, Infomax thay đổi tín hiệu ban đầu trên hầu như toàn bộ giải tần tín hiệu điện não có ích (từ 0 – 50 Hz) Các phương pháp ICA này không chỉ tập trung vào vùng tần số thấp như các phương pháp dựa trên biến đổi wavelet DWSAE tác động một chút đến các giá trị tần số cao, chứ không chỉ trên giải tần xuất hiện giả tượng EOG Lý do là phương pháp DWSAE được tích hợp thêm một thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG DWSAE chỉ được triển khai trên các vùng tín hiệu chứa EOG và sau đó kết quả khử nhiễu được ghép nối để thay thế vùng tín hiệu ban đầu chứa nhiễu Chính quá trình ghép nối này làm thay đổi tần số tại vùng giải tần giả tượng EOG không xuất hiện Hiện tượng này không xuất hiện đối với kết quả khử nhiễu thực hiện bởi WNN và WT bởi vì các phương pháp này không được tích hợp phần dò tìm vùng nhiễu và ghép nối tín hiệu như vậy.

Giữa ba phương pháp khử nhiễu dựa trên wavelet, DWSAE cho thấy khả năng khử tín hiệu bất thường do nháy mắt EOG hiệu quả hơn hai phương pháp còn lại với giá trị MSE của tín hiệu trước và sau khi khử nhiễu trên đoạn tín hiệu bán giả lập chứa nhiễu thấp nhất (Bảng 2) Ngoài ra, DWSAE có lợi thế hơn so với WNN là DWSAE sử dụng mạng học sâu tự mã hóa thưa, một phương pháp học tự động với dữ liệu không cần nhãn, để làm máy khử nhiễu do đó cả phần huấn luyện và thực hiện khử nhiễu của DWSAE đều có thể thực hiện tự động DWSAE cũng không yêu cầu một mô hình mô phỏng để tạo ra tín hiệu gán nhãn dùng cho huấn luyện WNN.

Bảng 3 So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não

41

Bảng 3 tổng kết các đặc điểm của mỗi phương pháp được so sánh ở đây

Phương pháp DWSAE và WT có thể khử nhiễu và tích hợp vào hệ thống chạy theo thời gian thực được Trong khi đó WNN cũng có thể khử nhiễu theo thời gian thực nhưng cần phải được huấn luyện mô hình Mạng nơ-ron off-line Cần nhấn mạnh là DWSAE đã khắc phục được hạn chế này của WNN trong đó cả bước huấn luyện và bước khử nhiễu đều có thể thực hiện tự động hoàn toàn Trong khi đó tất cả các phương pháp ICA đều không chạy đơn kênh, không tự động khử nhiễu mà cần có bước can thiệp thủ công bằng cách quan sát, loại bỏ các thành phần IC có tính chất nhiễu, do đó các phương pháp này không thể tích hợp vào các hệ thống theo thời gian thực Ưu điểm của các phương pháp ICA là kết quả khử nhiễu rất tốt và có khả năng khử nhiều loạinhiễu khác nhau như nhiễu cơ, nhiễu tim… chứ không chỉ là khử tín hiệu bất thường do nháy mắt EOG.

2.9 Kết luận Chương 2

Chương này của luận án đã trình bày một phương pháp mới trong khử nhiễu tín hiệu điện não gọi là Mạng học sâu tự mã hóa thưa Wavelet (DWSAE) Kết quả khử nhiễu bởi DWSAE được so sánh với các phương pháp khác như SOBI, JADE, Infomax, WNN và Wavelet thresholding cho thấy đây là một phương pháp hiệu quả trong khử tín hiệu bất thường do nháy mắt EOG So với các phương pháp dựa trên phân tích thành phần độc lập ICA, DWSAE có ưu điểm là có thể thực hiện tự động trên đơn kênh dữ liệu So với WNN, DWSAE không phải trải qua pha huấn luyện off-line mà có thể được huấn luyện và sử dụng để khử nhiễu theo thời gian thực, tự động Điều này rất cần thiết khi tích hợp phương pháp khử nhiễu này trong các hệ giao diện não máy tính BCI theo thời gian thực.

Khả năng khử EOG của DWSAE chứng tỏ máy học sâu tự mã hóa thưa đã tự tìm được các đặc tính của tín hiệu điện não sạch qua đó cân chỉnh các giá trị bị ảnh hưởng bởi EOG của tín hiệu

42

điện não đầu vào cần làm sạch Do là một phương pháp học máy có thể tự động hóa quy trình huấn luyện, việc triển khai thành công DWSAE cho thấy tiềm năng của việc một máy học có khả năng tự suy luận và giải quyết các vấn đề chưa được đặt ra trong quá trình huấn luyện.

Tăng cường chất lượng tín hiệu điện não, như đã trình bày ở chương này, thường được thực hiện trong bước tiền xử lý của mô hình phân loại tín hiệu điện não Chương 3 tiếp theo sẽ trình bày một cách tổng thể mô hình phân loại tín hiệu điện não và đề xuất một số cách tiếp cận dựa trên các phương pháp học máy có giám sát.

CHƯƠNG 3: ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁPPHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN MÁY

TÍNH3.1.Đăt vấn đề

Theo thống kê, hiện nay, khoảng 6% dân số Việt Nam, tương đương với hơn 5 triệu người, đã vượt qua tuổi 64 Nhóm này dần trở nên kém linh hoạt và phụ thuộc ngày càng nhiều vào người khác, đặc biệt khi họ già đi Có một nhóm khác trong xã hội là những đối tượng yếu thế như những người bị đột quỵ hoặc bại liệt Mặc dù họ không thể cử động, nhưng lại giữ nguyên khả năng tư duy tốt Với mong muốn giúp đỡ nhóm người này tương tác và kiểm soát thiết bị điện tử trong môi trường xung quanh, nghiên cứu này đề xuất sử dụng Giao diện Não Máy Tính (BCI) như một giải pháp hữu ích.

43

Sau khi tham khảo nghiên cứu và tài liệu nước ngoài, và dựa vào đặc điểm của hệ thống và yêu cầu nghiên cứu, nghiên cứu trong luận án này đã phát triển một qui trình thu thập dữ liệu và thiết kế thí nghiệm riêng để đảm bảo tích hợp với hệ thống BCI trong việc điều khiển các thiết bị điện tử gia dụng thông minh Phần dưới đây sẽ chi tiết hơn về Hệ Giao diện Não Máy Tính này và đề xuất một số phương pháp phân tích và xử lý tín hiệu não dựa trên học máy để chuyển đổi thông điệp của người sử dụng thành lệnh điều khiển cho các thiết bị điện tử gia dụng thông minh.

3.2.Cơ sở dữ liệu thí nghiệm

Biến đổi Wavelet:

Biến đổi wavelet là một phương pháp mạnh mẽ trong việc xử lý và phân tích tín hiệu điện não Quá trình thiết lập cơ sở của phương pháp này bao gồm:

Hàm Wavelet Cơ Bản:

Phương pháp sử dụng một tập hợp các hàm cơ sở, hay còn gọi là sóng nhỏ (wavelet), để thực hiện phân tích Hàm cơ sở wavelet có thể được xây dựng từ một hàm wavelet mẹ duy nhất 𝜓(𝑡),

Biến đổi Wavelet Liên Tục (CWT):

Biến đổi wavelet liên tục của một tín hiệu \(𝑥(𝑡)\) được xác định bởi hệ số tương quan giữa hàm cơ sở wavelet và chính tín hiệu đó Công thức biểu diễn CWT như sau:

Biến đổi Wavelet Rời Rạc (DWT):

Do tín hiệu số hóa trên máy tính, sử dụng biến đổi wavelet liên tục không khả thi Thay vào đó, sử dụng biến đổi wavelet rời rạc (DWT)

Phương Pháp Tái Cấu Trúc:

Sau khi phân tích, phương pháp này trả về chuỗi hệ số wavelet, bao gồm cả chi tiết (detail) và xấp xỉ (approximation) ở các giải tần khác nhau Phương pháp tái cấu trúc có thể được áp dụng để xây dựng lại tín hiệu ban đầu hoặc điều chỉnh tín hiệu để cải thiện chất lượng và loại bỏ nhiễu không mong muốn.

44

Phân Tích Thành Phần Độc Lập (ICA):

Phương pháp này giúp trong việc tách nguồn mù và khử nhiễu tín hiệu điện não bằng cách thiết lập các thành phần độc lập Các bước cơ bản của phương pháp ICA bao gồm:

Chuẩn Bị Dữ Liệu:

Dữ liệu điện não được chuẩn bị để phù hợp với phương pháp ICA, bao gồm việc chuyển đổi dữ liệu từ miền thời gian sang miền tần số nếu cần.

Tách Người Sử Dụng ICA:

Sử dụng ICA để tách thành phần độc lập từ tín hiệu Mỗi thành phần tách ra thường đại diện cho một nguồn tín hiệu riêng biệt.

Xử Lý Kết Quả:

Thực hiện xử lý trên các thành phần tách được, có thể bao gồm việc loại bỏ các thành phần không mong muốn hoặc kết hợp lại các thành phần mong muốn.

Cả hai phương pháp trên đều đóng vai trò quan trọng trong cơ sở thiết lập và phân tích tín hiệu điện não, cung cấp cơ hội mạnh mẽ để hiểu rõ và xử lý tín hiệu phức tạp này.

3.3 Đề xuất một số phương pháp phân loại trạngthai suy nghỉ dựa trên học máy

Đề Xuất Phương Pháp Phân Loại Trạng Thái Suy Nghĩ cho Hệ BCI Dựa Trên Tín Hiệu Điện Não

Để phân loại trạng thái suy nghĩ trong hệ BCI (Brain-Computer Interface) và điều khiển thiết bị điện tử gia dụng thông minh, đề xuất sự kết hợp của Máy Vec-tơ Hỗ Trợ (SVM) với biến đổi wavelet và Phương pháp Phân Tách Nguồn Độc Lập (Independent Component Analysis - ICA) Kết hợp này sẽ tận dụng lợi ích của từng phương pháp để cải thiện độ chính xác và độ tin cậy của hệ thống.

Biến Đổi Wavelet:

Tận dụng tính linh hoạt và khả năng xử lý đa tần số của biến đổi wavelet để phân tích tín hiệu điện não

45