CHUONGS5 MÔ HÌNH BCI ONLINE
5.3 THU NGHIỆM NHẬN DẠNG SUY NGHĨ VÀ DIEU KHIÉN XE THEO PHƯƠNG THỨC ONLINEPHƯƠNG THỨC ONLINE
Ở mục 5.2, tác giả đã trình bày thí nghiệm sử dụng hoạt động mắt thu được từ sóng não dé điều khiến xe mô hình. Qua thí nghiệm cho thay, mô hình phan cứng xây dựng ở mục 5.1 hoạt động hiệu qua, có thé dùng để thử nghiệm nhận
dạng suy nghĩ theo phương thức online.
Từ các kết quả thử nghiệm đạt được ở chương 4, tác giả sẽ tiến hành xây dựng một mô hình BCI xử lý online để điều khiến một thiết bị ứng với suy nghĩ của người dùng. Trong đó, bộ tiền xử lý sử dụng bộ lọc CAR, khối trích đặc trưng
sử dụng thuật toán PSD kết hợp cùng phương pháp nhận dạng dùng mạng nơron nhân tạo xây dựng theo cau trúc mạng truyền thăng lan truyền ngược. Tat
cả sẽ được triển khai trên phần mềm LabVIEW.
Vì các thí nghiệm offline được xây dựng để nhận biết 3 hoạt động suy nghĩ là:
trạng thái thư giãn, tưởng tượng cử động tay trái, tưởng tượng cử động tay phải,
Trang 74
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
nên ở phan này sé sử dung mô hình dé tiến hành xây dựng một hệ thống thử nghiệm. Đối tượng thử nghiệm sẽ sử dụng suy nghĩ của mình để điều khiển xe
mô hình theo nguyên tắc sau:
e Néu trạng thái suy nghĩ của đối tượng là thư giãn thì xe sẽ đứng yên hoặc dừng lại (nếu xe đang đi tới hoặc lùi).
e Nếu trạng thái suy nghĩ của đối tượng là tưởng tượng cử động tay phải thì xe
sẽ chạy tới và chỉ dừng khi hoạt động tưởng tượng này kết thúc.
e Nếu trạng thái suy nghĩ của đối tượng là tưởng tượng cử động tay trái thì xe
sẽ chạy lùi và chỉ dừng khi hoạt động tưởng tượng này kết thúc.
5.3.1 Nguyên tắc chuyển đổi từ Offline sang Online Theo những khái niệm về hai phương thức xử lý tín hiệu online và offline được trình bày ở mục 2.5, ta có thể thay rõ về mặt bản chat thì hai phương thức này giống nhau, chỉ khác nhau về cơ chế hoạt động. Với phương thức offline, quy trình xử lý sẽ được diễn ra sau khi mẫu đã được thu day đủ trong suốt quá trình thu thập lâu dài. Còn với phương thức xử lý online, việc xử ly được tiễn hành đồng thời với việc thu thập. Nguồn dữ liệu cho
bộ xử lý tín hiệu của phương thức offline là những tập mẫu, còn ở phương thức online nguồn này là bộ đệm dữ liệu — Data queue, hay còn gọi là “cửa
số mẫu trượt”. Đây cũng là điểm khác biệt lớn nhất giữa hai phương thức
xử lý tín hiệu online và offline. Hình 5.16a và 5.16b bên dưới minh họa sự khác biệt giữa hai phương thức xử lý tín hiệu online và offline:
Thu thập dữ liệu Offline
choy Tap mau
chế À 2 ấu |——] ` Bo xử lý tín " (#ŠM Lọc Nhiéu dànhcho L--~ 3 9 Offli hiệu6 ine chn Ay
|
Hình 5.16a. Phương thức xử lý tín hiệu offline
Trang 75
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
A BH cht
al ASS r——*_! ”| Data queue | >
Ệ Š FC L. Jauquet2 —*' Bộ xử lý tin
a Loc Nhiêu mm ae
` 1 ob | hiệu
° ' , :
ho A, | tre
` Ay — Data queue n =,
Hình 5.16b. Phương thức xứ lý tin hiệu online
Bộ đệm dữ liệu — Data queue hoạt động theo nguyên tac FIFO (first in, first out) tức là khi một mẫu mới được thu thập, nó sẽ được lưu vào bộ đệm đồng thời sẽ có một mẫu ở quá khứ được day ra theo nguyên tac phan
tử vào bộ đệm trước nhất sẽ là phần tử ra khỏi bộ đệm trước nhất. Hình 5.17 bên dưới minh họa nguyên tắc hoạt động của một bộ đệm dữ liệu.
| eeeo Bae ot §
Hình 5.17. Nguyên tắc hoạt động của một bộ đệm dữ liệu
Queue
5.3.2 Xây dựng thuật toán online cho mô hình nhận dang suy nghĩ
Như tìm hiểu ở phan trên, về mặt xử lý theo phương thức online và offline không khác gi nhiều, chỉ khác nhau về cơ chế vận hành. Điểm khác biệt mẫu chốt là bộ đệm dữ liệu của phương thức online phải được thiết kế sao cho phù hợp dé có thé thay thé được tập mẫu của phương thức offline.
Ở mục 3.4 trình bày về các thí nghiệm thu thập dữ liệu cho phân xử lý offline, trong phần này phương pháp thử nghiệm sẽ thu các tập mẫu có độ dài là 8 giây trên 10 điện cực, tốc độ lấy mẫu của bộ Emotiv là 128 mẫu/giây. Vậy một tập mẫu sẽ chứa 10240 mẫu.
Trang 76
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
Đề có thể thay thế được tập mẫu của phương thức offline thì bộ đệm
phương thức online cũng phải có kích cỡ tương đương thì mới đảm bảo
được việc hoạt động của bộ xử lý tín hiệu đã được thiết kế trước đó. Vì vậy, trong thử nghiệm này tác giả quyết định sẽ xây dựng 10 bộ đệm dữ liệu hoạt động độc lập dùng để lưu trữ cho 10 kênh tín hiệu, mỗi một bộ đệm sẽ có kích cỡ là 1024 mẫu (tương ứng với 8 giây thu thập dữ liệu).
NN. ;
b2 Đ VÀ v " Data queue 1 Bộ loc thong dat: 8 - 10 Hz | FFT Fl
đủ TM~
ao | Boloc CAR
i]
2 : Bộ lọc thông đãi: 28 - 30 Hz | FET Fl
chl0 —|
Các đặc trưng của. `, suynght [4 -
> Data queue 10 Bộ lọc thong dat: 8 - 10 Hz | FFT F100
Bộ lọc thông da: 28 - 30 Hz HT F110
Mang noron phân loại suy nghĩ
„ NY biLépân
Lớp ngõ vào
Hình 5.18. Lưu đồ thuật toán online cho mô hình nhận dạng suy nghĩ
5.3.3 Xây dựng bộ lọc CAR trên LabVIEW
Bộ lọc CAR trên LabVIEW được xây dựng theo lưu đồ sau:
Begin )
Thu thập du liệu data raw
*
Tinh điện áp trung bình :
Tin hiệu sau loc:
Ch. = Ch, —V,,
"mm
Hình 5.19. Lưu đồ thuật toán của bộ lọc CAR
Trang 77
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
Dựa vào lưu đồ trên, bộ lọc CAR được triển khai trên LabVIEW theo code
Sau:
El
mn >
El“1l8)wiayim)n TE
A a Er a §Ol 1>”
[sa Ề
O2
>>
Hình 5.20. Chương trình bộ lọc CAR được triển khai trên LabVIEW
Để tiện cho việc sử dụng và để làm gọn chương trình, bộ lọc CAR được
đóng gói như hình bên dưới:
Hình 5.21. Đóng gói cúa bộ lọc CAR trong chương trình
Trang 78
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
Trong đó, subVI này có 10 input lần lượt là các tín hiệu của các kênh: F3, F4, FCS, FC6, T7, T8, P7, PS, OI, O2 và có 10 output lần lượt là: F3”,
F4', FC5”, FC6’, T7, T8’, P7, P8’, O1’, O2" (đây là các tín hiệu đã qua
xử lý của bộ lọc CAR).
5.3.4 Xây dựng bộ đệm dữ liệu trên LabVIEW
Trong phan mém LabVIEW đã có san công cu dé xây dựng bộ đệm dữ liệu này. Công cụ nảy có tên là Data Queue NI PtbyPt.lvlib. Dé lay công
cụ này ta vào mục: Signal Processing — Point By Point —> Other Function PtByPt > Data Queue PtByPt.vi.
Sơ do chân đóng gói của công cụ nay như sau:
initialize ce ì
input data point +++ +4] ` nang element sample length i-ib — urrent Queue
P , | Previous Queue
error
current length
Hình 5.22. So đồ chân đóng gói của bộ đệm dữ liệu
Cách sử dụng của công cụ này như sau:
Các input:
Initialize: khi TRUE, khởi tạo hoạt động của hàm, khi khởi tạo bộ đệm
được xóa trang.
input data point: mẫu dữ liệu dau vào.
sample length: kích thước của mỗi bộ dữ liệu. Mặc định là 100. Kích
thước này phải lớn hơn zero.
Các output:
eliminated element: mẫu vừa bị loại khỏi bộ đệm.
Current Queue: bộ đệm dữ liệu hiện tại.
Previous Queue: bộ đệm dữ liệu trước đó một vòng lặp.
Error: trả về bất kỳ lỗi hay cảnh báo từ VI.
current length: là kích thước của bộ đệm hiện hành.
C5: MÔ HÌNH BCI ONLINE Trang 79 HVTH: Pham Bá Toàn
Như đã nói ở phan trên, chúng ta sẽ xây dung các bộ đệm có kích thước
1024 mẫu nên việc setup các bộ đệm này trên LabVIEW như sau
rs Bo dem cho kenh tin hieu F8
T3? 1 |
1024
Hình 5.23. Bộ đệm cho kênh tín hiệu F8 5.3.5 Xây dựng bộ trích đặc trưng PSD trên LabVIEW
Bộ trích đặc trưng PSD sẽ được xây dựng theo lưu đỗ sau đây:
Begin
Dữ liệu bộ Dữ liệu bộ
|
Ỷ Ỷ ¥__
Lọc thông dai Lọc thông dãi Lọc eee Lọc thông dai
8 10 Hz đoạn 28-30 Hz OUD ei atee 28 - 30 Hz đoạn
tín hiệu trong eee doan tin higu eee tin higu trong ee6 tín hiệu trong bộ
bộ đệm 1 trong bộ đệm 1 bộ đệm 10 đệm 10
Ỷ Ỷ v Ỷ
Chuyén Chuyén Chuyén Chuyén đổi FFT đổi FFT doi FFT đổi FFT
FI Fl F100 F110
End
Hình 5.24. Lưu đồ thuật toán của bộ trích đặc trưng PSD
Theo đó, dữ liệu ở các bộ đệm sẽ được xử lý song song. Trong đó, dữ liệu
ở từng bộ đệm sẽ được đưa đến các hàm lọc thông dãi có độ rộng 2 Hz và trải dai từ 8-30 Hz. Sau đó được đưa vào phép chuyển đổi FFT. Hay nói
một cách khác, với 10 bộ đệm sẽ có 110 phép tính toán lọc thông dai và
Trang 80
C5: MÔ HÌNH BCI ONLINE HVTH: Phạm Bá Toàn
chuyển đối FFT cùng thực hiện một lúc để cho ra 110 đặc trưng của tín
hiệu sóng não.
Trong LabVIEW đã có sẵn các hàm hỗ trợ dé thiết kế bộ lọc thông dai và chuyển đổi FFT tại phan Control Panel — Signal Processing.
5.3.6 Xây dung mang noron nhân tao trên LabVIEW
Với bộ trọng số và số lượng nơron lớp ân đã được tối ưu tại phân thử nghiệm offline, tác giả xây dựng một mạng nơron nhân tạo trên phần mềm
LabVIEW dựa vào bộ công cụ Neural Network and Fuzzy Logic tại trang web:. hfíps://dectbel.mi.com.
Vì sử dụng bộ trọng số và số noron lớp ân (hay nói cách khác là việc học của mang noron diễn ra ở quy trình offline) nên mô hình được xây dựng chỉ có thể đáp ứng chính xác suy nghĩ của ba đối tượng được mời làm thí nghiệm thu thập mẫu offline. Đây cũng là nhược điểm lớn của mô hình, vì chưa có khâu trainning online (mạng noron sẽ tự học và cập nhật trọng số theo từng đối tượng sử dung).
5.3.7 Chương trình thir nghiệm và kết quả thử nghiệm Trong thử nghiệm này, sẽ có ba đối tượng người dùng tham gia thử nghiệm. Các đối tượng sẽ ngôi vào bàn thử nghiệm, đeo Headset vào đúng
vi tri các điện cực. Tín hiệu EEG sé được thu đồng thời ở 10 kênh: F3, F4,
FC5, FCó, T7, T8, P7, PS, OI, O2 khi thực hiện thử nghiệm (4 kênh AF3,
AF4, F7, F8 không sử dụng do tín hiệu ở các kênh này bị nhiễu cơ đáng kế với các hành vi nháy mắt). Đối tượng được yêu cầu để hai tay lên bàn thí nghiệm và được yêu cầu sẽ thực hiện các hoạt động tưởng tượng cử động tay theo hiệu lệnh ngẫu nhiên của người giám sát. Ứng với những tưởng tượng này, mô hình xe sẽ hoạt động tương ứng như đã trình bày ở phần đầu thử nghiệm.
Thử nghiệm sẽ tiến hành hai phép thử. Phép thử đâu tiên sẽ đo độ chính
xác của mồ hình. Phép thử thứ hai sé đo thời gian đáp ứng của mô hình.
Với phép thử đầu tiên, trên mỗi đối tượng người giám sát sẽ hô khẩu lệnh yêu câu đối tượng tưởng tượng nâng tay bên trái (phải) hoặc thư giãn. Dựa
Trang 81
C5: MO HINH BCI ONLINE HVTH: Pham Ba Toan
vào hoạt động của xe mô hình, độ chính xác của mỗi lần hô khẩu lệnh sẽ được xác định là đúng hay sai. Mỗi loại khẩu lệnh sẽ được hô 30 lần một cách ngẫu nhiên. Thời gian tối đa cho một khẩu lệnh là 1 phút, nếu khâu lệnh không được thực hiện trong | phút thì coi như lần thử nghiệm đó không đạt (sai)... Dưới đây là bảng thống kê kết quả của thử nghiệm này:
Bang 5.3. Thong kê kết qua của thử nghiệm
Tưởng tượng hoạt Tưởng tượng hoạt Tưởng tượng hoạt động tay trái động tay phải động thư giãn
Đối tượng | 22 lân 20 lân 26 lân Đôi tượng 2 20 lân 21 lân 27 lan Đôi tượng 3 24 lan 23 lan 26 lân
Tỷ lệ trung bình 73 % 71 % 88 %
Còn với phép thử đo độ dáp ứng của mồ hình sẽ được thực hiện như sau:
Người giám sát cũng sẽ hô 3 loại khẩu lệnh một cách ngẫu nhiên, số lần
hô của mỗi khẩu lệnh cũng là 30 lần, và chỉ tính khi khẩu lệnh được thực hiện chính xác. Nếu từ khi hô khẩu lệnh đến hơn | phút mà khẩu lệnh không được thực hiện thì coi như lần hô khẩu lệnh đó không thành công Người giám sát sẽ tiến hành đo khoảng thời gian từ lúc hô khẩu lệnh tới lúc khẩu lệnh được đáp ứng đúng bằng một đồng hồ tinh thời gian. Kết
quả sẽ được phân loại theo các mức như sau: mức | (dưới 5 giây), mức 2 (
từ 5 giây đến 8 giây), mức 3 (trên 8 giây)
Bang 5.4. Kết qua đo thời gian đáp ứng của hệ thong
C5: MÔ HÌNH BCI ONLINE
Đối tượng | Đối tương | Đối tượng Tỷ lệ trung
| 2 3 bình
Số lan đạt mức | 9 lân 5 lân 10 lân 8.9 %
Số lân đạt mức 2 19 lân 24 lan 25 lan 25.2 %
Số lân đạt mức 3 62 lân 61 lân 55 lân 65.9 %
Trang 82
HVTH: Pham Bá Toàn