Phân tích hoạt động mắt và ứng dụng điều khiển thiết bị sử dụng phần mềm emotiv pro

TỔNG QUAN BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 2 Hình 1.1 Thiết bị hỗ trợ vận động ReWalk Personal 6.0 [1] Nhận thấy rằng phân loại tín hiệu EEG là mấu chốt quan trọng nhất để ứng dụng tí

TỔNG QUAN

ĐẶT VẤN ĐỀ

Khoa học kỹ thuật ngày càng phát triển mạnh mẽ, việc áp dụng những thành tựu kỹ thuật vào các thiết bị, nhằm mục đích đáp ứng nhu cầu của con người là một việc vô cùng thiết yếu Việc ứng dụng khoa học điều khiển các thiết bị dân dụng giúp đời sống con người trở nên linh hoạt hơn Đặc biệt, đối với những người mất khả năng vận động, nhờ vào các thiết bị hỗ trợ di chuyển sẽ giúp họ cảm thấy dễ dàng hơn, cũng như cuộc sống họ sẽ ý nghĩa hơn

Người mất khả năng vận động thường từ rất nhiều nguyên nhân khác nhau như là dị tật bẩm sinh, tai nạn liên quan đến tổn thương thần kinh hoặc u cột sống, các bệnh về tủy sống, đột quỵ, v.v Mất khả năng trong việc di chuyển khiến con người gặp nhiều khó khăn trong sinh hoạt hằng ngày, cảm thấy tự ti, chán nản

Hiện nay, trên thế giới có khá nhiều các thiết bị hỗ trợ di chuyển, chẳng hạn như khung xương nâng đỡ hỗ trợ vận động Khung xương này có thể đeo được quấn quanh thân và chân giúp người bị tổn thương tủy sống có thể đi lại được Tuy nhiên, hạn chế của khung xương này là đối với các trường hợp tổn thương tủy sống nặng thì không sử dụng được

Một bước đột phá của khoa học công nghệ là nghiên cứu thành công khung đẩy bằng điện não đồ Nghiên cứu này giúp cho người mất khả năng vận động tự tin hơn, họ có thể đứng thẳng, đi bộ xoay người leo lên và xuống cầu thang Tuy nhiên, việc ứng dụng EEG trong nghiên cứu này vẫn còn nhiều hạn chế, người sử dụng phải đeo khung xương trong nhiều giờ, với kích thước lớn Thành công của nghiên cứu về khung đẩy đã mở ra một bước ngoặt mới cho việc ứng dụng tín hiệu điện não vào việc hỗ trợ những người bị mất khả năng vận động Thiết bị hỗ trợ vận động ReWalk Personal 6.0 được minh họa như hình 1.1

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 2

Hình 1.1 Thiết bị hỗ trợ vận động ReWalk Personal 6.0 [1]

Nhận thấy rằng phân loại tín hiệu EEG là mấu chốt quan trọng nhất để ứng dụng tín hiệu EEG vào việc điều khiển thiết bị, hỗ trợ di chuyển cho người mất khả năng vận động

“Detection of Atrial Fibrillation Using 1D Convolutional Neural Network” [2] của nhóm tác giả Chaur-Heh Hsieh, Yan-Shuo Li, Bor-Jiunn Hwang và Ching-Hua Hsiao phát hiện được rung tâm nhĩ ở tín hiệu ECG Nhóm tác giả này đã đưa ra một số mô hình CNN phân loại về tín hiệu 1D Ở đề tài “Đánh giá mối quan hệ giữa hoạt động thể chất và não người thông qua tín hiệu EEG” [3] của tác giả Nguyễn Trọng Thư đã đưa ra được kết quả khả thi về phân loại hai tín hiệu nháy mắt trái và nháy mắt phải là 92,9 % trên 140 tập dữ liệu, bao gồm cả tập huấn luyện và tập kiểm định

Công trình nghiên cứu “Detection of EEG-Based Eye-Blinks Using A Thresholding Algorithm” [4] thuộc nhóm tác giả của trường Đại học sư phạm kỹ thuật Tp HCM gồm ThS Trần Đăng Khoa, PGS.TS Nguyễn Thanh Hải, T.S Nguyễn Thanh Nghĩa Bài báo trình bày một phát hiện nháy mắt đơn giản, nhanh chóng và tự động, không yêu cầu đào tạo người dùng trước đây thực thi thuật toán

Qua quá trình tìm hiểu tài liệu cũng như nhận thấy tính thực tế và quan trọng của việc ứng dụng tín hiệu EEG, nhóm quyết định thực hiện đề tài “Phân tích hoạt động mắt và ứng dụng điều khiển thiết bị sử dụng phần mềm Emotiv Pro” Đề tài phân tích hoạt động mắt, sử dụng mạng CNN phân loại hoạt động mắt, sau đó chọn mô hình phân loại tốt nhất vào điều khiển thiết bị

MỤC TIÊU

Thiết kế hệ thống phân loại hoạt động mắt sử dụng mô hình mạng CNN Cụ thể, thu dữ liệu bằng thiết bị Emotiv Epoc+ 14 kênh, trong đó sử dụng 4 kênh AF3, AF4, F7 và F8 để thu tín hiệu nháy mắt Phân tích dữ liệu EEG từ các hành động nháy mắt trái, nháy mắt phải, nháy 2 mắt 1 lần, nháy 2 mắt 2 lần và tín hiệu mắt ở trạng thư giãn trong khoảng thời gian là 5 giây Đề tài lấy dữ liệu từ thiết bị Emotiv thông qua phần mềm Emotiv Pro, sau đó phân loại tín hiệu nháy mắt, ứng dụng điều khiển thiết bị.

GIỚI HẠN

- Đề tài chỉ phân loại 5 tín hiệu EEG về hoạt động mắt tự nguyện

- Đề tài xác định hoạt động mắt thông qua 4 điện cực: AF3, AF4, F7 và F8

- Dữ liệu dùng trong nghiên cứu được thu từ 15 người trong đó có 8 người kế thừa từ đề tài nghiên cứu trước và 7 người thu mới

- Phạm vi ứng dụng của đề tài là điều khiển xe lăn và thiết bị: đèn led, quạt.

NỘI DUNG NGHIÊN CỨU

Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “Phân tích hoạt động mắt và ứng dụng điều khiển thiết bị sử dụng phần mềm Emotiv Pro”, đề tài tập trung giải quyết và hoàn thành được những nội dung sau:

- Nội dung 1: Tìm hiểu những kiến thức về tín hiệu EEG và cách thức thu tín hiệu trên phần mềm Emotiv EPOC

- Nội dung 2: Nghiên cứu thử nghiệm và thu tín hiệu bằng thiết bị thu EEG Emotiv EPOC /Emotiv PRO

- Nội dung 3: Nghiên cứu về mô hình CNN

- Nội dung 4: Tiến hành xử lý đặc trưng và dán nhãn dữ liệu

- Nội dung 5: Viết chương trình phân loại hoạt động mắt sử dụng mô hình CNN

- Nội dung 6: Viết code, tiến hành phân loại hoạt động mắt bằng mô hình mạng CNN

- Nội dung 7: Viết chương trình điều khiển thiết bị

- Nội dung 8: Chạy chương trình, kiểm tra, hiệu chỉnh và đánh giá kết quả

- Nội dung 9: Viết báo cáo thực hiện

- Nội dung 10: Bảo vệ luận văn.

BỐ CỤC ĐỀ TÀI

Chương 1 trình bày về lý do chọn đề tài, mục tiêu đặt ra, nội dung nghiên cứu, giới hạn và bố cục đề tài

• Chương 2: Cơ sở lý thuyết

Chương 2 trình bày về cơ sở lý thuyết Các lý thuyết về tín hiệu EEG, tín hiệu nháy mắt trọng EEG Giới thiệu thiết bị thu dữ liệu Emotiv EPOC+, phần mềm Emotiv Pro Giới thiệu về mạng học sâu CNN

• Chương 3: Thu thập, tiền xử lý tín hiệu EEG và mô hình phân loại tín hiệu EEG

Trình bày thí nghiệm thu tín hiệu, giao thức ghi dữ liệu EEG Giới thiệu phương pháp trích xuất đặc trưng và dán nhãn dữ liệu Trình bày về thiết kế mô hình phân loại CNN và xây dựng mô hình phân loại 5 tín hiệu Trình bày phương pháp đánh giá mô hình

• Chương 4: Ứng dụng mô hình phân loại tín hiệu EEG cho điều khiển xe lăn điện Trình bày sơ đồ khối của hệ thống Thiết kế chương trình điều khiển thiết bị bằng tín hiệu EEG Trình bày thao tác sử dụng Đưa ra dự toán cho đề tài

• Chương 5: Kết quả, nhận xét và đánh giá

Chương này trình bày kết quả của mô hình phân loại và kết quả thí nghiệm điều khiển thiết bị sử dụng tín hiệu điện não

• Chương 6: Kết luận và hướng phát triển Đưa ra nhận xét, đánh giá và hướng phát triển về đề tài.

CƠ SỞ LÝ THUYẾT

TÍN HIỆU EEG

Điện não đồ là một kỹ thuật đo lường hoạt động điện não bằng cách đo điện thế hoạt động được phát ra từ vỏ não Tín hiệu EEG được ghi lại bằng các điện cực được đặt trên da đầu và phản ánh hoạt động điện của các tế bào não ngay lập tức Được phát hiện bởi Hans Berger vào năm 1924, EEG là một công cụ quan trọng trong nghiên cứu và chẩn đoán các rối loạn hoạt động não Tín hiệu EEG có thể phản ánh hoạt động điện của các tế bào não và các khu vực não khác nhau, cho phép các nhà nghiên cứu và chuyên gia y tế đánh giá hoạt động não và phát hiện các bất thường hoặc rối loạn liên quan đến hoạt động não [5] Bản ghi điện não đồ đầu tiên được minh họa như hình 2.1

Hình 2.1 Bản ghi điện não đồ đầu tiên phát hiện bới Berger vào năm 1924 [6] Tín hiệu EEG là một tín hiệu điện học của hoạt động não được ghi lại từ các điện cực được đặt trên da đầu của người hoặc động vật EEG được sử dụng rộng rãi trong nghiên cứu và chẩn đoán y tế để đánh giá hoạt động não, chẳng hạn như xác định sự tỉnh táo hoặc dấu hiệu của các bệnh lý não

Các tín hiệu EEG cũng có thể được sử dụng để giúp xác định các rối loạn như động kinh, bệnh Parkinson và chứng mất trí nhớ Để thu thập tín hiệu EEG, các điện cực được

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 đặt trên da đầu của bệnh nhân và kết nối với một bộ đo EEG Dữ liệu EEG được xử lý và phân tích để đánh giá hoạt động não và đưa ra chẩn đoán y tế hoặc nghiên cứu khoa học Đo lường EEG là quá trình ghi lại tín hiệu điện từ hoạt động não bằng cách sử dụng các điện cực được đặt trên da đầu của người hoặc động vật Khi các tế bào não hoạt động, chúng tạo ra các tín hiệu điện mà tín hiệu EEG ghi lại Việc đo lường EEG thường được thực hiện bằng cách gắn nhiều điện cực xung quanh đầu, chức năng của các điện cực là thu các điện thế ở vỏ não Mỗi điện cực sẽ thu nhận được các xung điện tại từng vùng riêng biệt, mỗi điện cực được xem như là 1 kênh Thời gian ghi điện não đồ cơ bản là khoảng 45 phút, cũng có nhiều trường hợp thời gian ghi điện não đồ là từ 30 – 90 phút [7] Tín hiệu điện não có biên độ trong khoảng 5-200 𝜇V, tần số thay đổi trong khoảng 1-100 Hz.

CÁC DẠNG SÓNG CƠ BẢN CỦA EEG

Tín hiệu EEG được biểu diễn dưới dạng đồ thị thời gian, trong đó trục ngang biểu thị thời gian và trục dọc biểu thị amplitudes của các sóng não Các sóng não được chia thành các tần số khác nhau, bao gồm sóng delta, theta, alpha, beta và gamma Mỗi sóng có các đặc điểm riêng và cho thấy hoạt động não khác nhau Về cơ bản, dải tần của sóng não EEG thường nằm trong khoảng từ 0,5 Hz – 40 Hz [8], các dạng sóng EEG được mô tả như hình 2.2

Hình 2.2 Các dạng sóng EEG cơ bản [9]

Sóng Beta: Sóng có tần số từ 13-30 Hz Loại sóng này xuất hiện ở mọi độ tuổi, tần

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 suất xuất hiện tại các vùng không vỏ Sóng có biên độ thấp (< 29 microvol) nhưng tần số khá lớn, thường xuất hiện khi người đang tập trung suy nghĩ hoặc lo lắng tốc độ cao [8]

Sóng Alpha: Sóng có tần số từ 8-13 Hz Biên độ 20-100 microvolt, có dạng hình sin, phân bố rõ vùng đỉnh, thái dương sau, chẩm Sóng thường xuất hiện ở người trưởng thành, xuất hiện nhiều hơn ở phía sau vỏ não người Thường xuất hiện khi con người thoải mái và nhắm mắt [8]

Sóng Theta: Tần số từ 4-8 Hz Sóng có biên độ khá thấp (30-60 microvolt), thường được phát hiện khi con người ngủ [8]

Sóng Delta: Tần số từ 0.5-4 Hz Sóng có tần số thấp và biên độ cao, thường được phát hiện khi con người chìm vào giấc ngủ sâu [8]

Ngoài ra, còn có một số dạng sóng sóng não khác như sóng Gamma, sóng Sigma, và sóng Mu, tuy nhiên chúng ít được sử dụng trong phân tích tín hiệu EEG.

TÍN HIỆU NHÁY MẮT TRONG EEG

Tín hiệu nháy mắt trong tín hiệu EEG được tạo ra bởi sự di chuyển của mắt Khi mắt di chuyển, nó tạo ra một dòng điện trong mô mắt và mô xung quanh, dẫn đến sự xuất hiện của tín hiệu nháy mắt trong tín hiệu EEG Cơ chế tạo ra tín hiệu nháy mắt được giải thích bởi hai nguyên lý vật lý chính Đầu tiên, khi mắt di chuyển, nó tạo ra một điện thế ở mô mắt và mô xung quanh Thứ hai, khi mắt di chuyển, nó thay đổi khoảng cách giữa các điện cực trên da đầu Điều này dẫn đến sự thay đổi của điện trường giữa các điện cực và dẫn đến sự xuất hiện của tín hiệu nháy mắt trong tín hiệu EEG Tín hiệu nháy mắt được phân loại dựa trên tín hiệu EEG bằng cách sử dụng phương pháp phân tích tín hiệu và các đặc trưng của sóng sóng não [9]

Trong EEG, tín hiệu nháy mắt thường xuất hiện dưới dạng các nhiễu sóng có tần số thấp và biên độ cao (gấp 10 lần tín hiệu EEG thông thường) Tín hiệu nháy mắt là một loại nhiễu trong tín hiệu EEG Do đó, việc phân loại tín hiệu nháy mắt là một bước quan trọng trong phân tích EEG

Tín hiệu nháy mắt được thu được ở các điện cực trên da đầu Các điện cực này được

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 8 đặt ở vị trí chiến lược để thu được tín hiệu nháy mắt chính xác nhất Có hai vùng trên da đầu được sử dụng phổ biến để đặt các điện cực thu tín hiệu nháy mắt, đó là vùng nửa thái dương và vùng dưới mắt như hình 2.3

Hình 2.3 Vị trí đặt điện cực cho tín hiệu nháy mắt [10]

Vùng nửa thái dương nằm ở trên và bên trong mắt, và được sử dụng để thu tín hiệu nháy mắt theo chiều ngang Vùng này thường được đặt các điện cực ở vị trí Fp1 và Fp2, tương ứng với hai điểm trên trán Vùng dưới mắt nằm phía dưới mắt, và được sử dụng để thu tín hiệu nháy mắt theo chiều dọc Vùng này thường được đặt các điện cực ở vị trí ngang và dọc, tương ứng với hai điểm ở gần mắt và dưới mắt.

PHÂN LOẠI TÍN HIỆU CỬ ĐỘNG MẮT

Phân loại tín hiệu EEG về hoạt động mắt ứng dụng vào việc điều khiển các thiết bị là mấu chốt quan trọng Hiện tại, có khá nhiều công trình nghiên cứu ứng dụng phân loại tín hiệu EEG thành công về nghiên cứu và ứng dụng Bên dưới là một số đề tài và phương pháp nghiên cứu ứng dụng tín EEG cũng như các đề tài liên quan tín hiệu cử động mắt

2.4.1 Phân loại chuyển động mắt dựa trên tín hiệu điện mắt và ứng dụng trên trò chơi bóng chày HCI

Bài báo “ EOG-Based Eye Movement Classification and Application on HCI Baseball Game” [11] thuộc nhóm tác giả CHIN-TENG LIN và cộng sự Bài báo này trình bày một kỹ thuật phân loại như tám chuyển động định hướng được nghiên cứu bằng cách

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 9 đưa ra khái niệm vùng đệm cùng với sự thay đổi độ dốc để tránh các hiệu ứng phân loại sai trong tín hiệu điện mắt Phát hiện nháy mắt trở nên phức tạp khi độ lớn của các tín hiệu được xem xét Vì thế, một kỹ thuật chỉnh sửa được giới thiệu để tránh phân loại sai cho chuyển động mắt xiên Trong khi đó, một nghiên cứu điển hình đã được xem xét để áp dụng các kỹ thuật hiệu chỉnh này vào trò chơi bóng chày HCI để học chuyển động của mắt Tín hiệu điện mắt được xem xét trong nghiên cứu này để phân biệt các loại chuyển động mắt của các đối tượng Một kỹ thuật phân loại là với điều kiện đã loại bỏ 90% nháy mắt cùng với việc giải nén Do đó, nó có hiệu quả trong việc loại bỏ nháy mắt Tổng thời gian tính toán đã được giảm bằng cách loại bỏ xuống lấy mẫu của các tín hiệu điện mắt Điều này đã làm tăng hiệu quả của hệ thống phân loại

2.4.2 Phát hiện tín hiệu cử động mắt dựa vào ngưỡng biên độ

Công trình nghiên cứu “Detection of EEG-Based Eye-Blinks Using A Thresholding Algorithm” [4] thuộc nhóm tác giả của trường Đại học sư phạm kỹ thuật Tp HCM gồm ThS Trần Đăng Khoa, PGS.TS Nguyễn Thanh Hải, ThS Nguyễn Thanh Nghĩa Bài báo trình bày một phát hiện nháy mắt đơn giản, nhanh chóng và tự động, không yêu cầu đào tạo người dùng trước đây thực thi thuật toán

Hình 2.4 Các đỉnh được phát hiện trong các tín hiệu EEG được xử lý trước tại các kênh

AF3 và AF4 khi đối tượng nháy cả hai mắt [4]

Các đỉnh được phát hiện trong các tín hiệu EEG được xử lý trước tại các kênh AF3 và AF4 khi đối tượng nháy cả hai mắt được thể hiện như hình 2.4 Tín hiệu điện não đồ được làm mịn và lọc trước khi phát hiện nháy mắt bằng cách tiến hành thử nghiệm với mười tình nguyện viên và thu thập ba bộ dữ liệu về nháy mắt khác nhau trong ba thử nghiệm sử dụng thiết bị Emotiv EPOC+ Phương pháp được đề xuất đã thực hiện một cách nhất quán và phát hiện thành công các hoạt động tăng đột biến của nháy mắt với độ chính xác trung bình trên 96%

2.4.3 Nghiên cứu và thiết kế mô hình phân loại tín hiệu eeg ứng dụng điều khiển xe lăn hỗ trợ di chuyển

Nghiên cứu “Nghiên cứu và thiết kế mô hình phân loại tín hiệu eeg ứng dụng điều khiển xe lăn hỗ trợ di chuyển”[12] của Vũ Khôi Nguyên và Nguyễn Hà Xuyên Nghiên cứu thực hiện thu thập, trích xuất đặc trưng, phân loại 4 dạng tín hiệu nháy mắt, ứng dụng điều khiển xe lăn

Nghiên cứu đạt kết quả mô hình phân loại bốn tín hiệu nháy mắt với độ chính xác tổng là 98,3% trên tập dữ liệu 800 tín hiệu điện não với độ dài 2804 trên một mẫu Sử dụng kết quả đạt được từ mô hình phân loại này vào điều khiển xe lăn điện trên thời gian thực để đi theo hướng mong muốn của người sử dụng

2.4.4 Phân loại tín hiệu cử động mắt sử dụng neural network

Công trình nghiên cứu thuộc nhóm tác giả Manish N Tibdewal và cộng sự được viết trong bài báo “Classification of artifactual EEG signal and detection of multiple eye movement artifact zones using novel Time-amplitude algorithm” 2020 [13] Nghiên cứu này trình bày một phương pháp mới được phát triển, đơn giản, hiệu quả và thống kê nhanh về mặt tính toán là bằng thuật toán biên độ thời gian (Time-Amplitude algorithm) Bằng cách áp dụng thuật toán biên độ thời gian mới trên tín hiệu được xác định, tín hiệu chớp mắt cùng với nhiều vùng được tự động phát hiện và đánh dấu chính xác

Phân tích ROC cung cấp độ chính xác của ANN mô hình phân loại sự hiện diện của các tín hiệu chớp mắt trong dữ liệu là 97,50% Thời gian thực hiện Thuật toán Biên độ thời

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 11 gian để tự động phát hiện chuyển động của mắt là rất ngắn (4,30 msec).

PHƯƠNG PHÁP PHÂN LOẠI HỌC SÂU

Mô hình CNN có tính bất biến và tính kết hợp cục Lớp giảm kích thước mang tính bất biến đối với phép dịch, phép quay và phép co giãn Tính kết hợp cục bộ cho các cấp độ biểu diễn thông tin từ mức độ thấp đến mức độ cao và trừu tượng hơn thông qua phép chập từ các filter khiến cho CNN cho ra mô hình với độ chính xác cao ở mỗi mô hình

Cấu trúc của mạng CNN cơ bản để giải quyết bài toán phân loại tín hiệu EEG được mô tả như hình 2.5

Hình 2.5 Cấu trúc cơ bản của một mạng Nơ-ron [14]

- Input Layer: Dữ liệu ngõ vào là tín hiệu EEG

Convolution là một phương pháp có trật tự trong đó hai nguồn thông tin được đan xen vào nhau.Lớp tích chập bao gồm các bộ lọc (kernel) kích thước nhỏ lần lượt quét qua các tín hiệu EEG Một bộ lọc là ma trận được chập với tín hiệu ngõ vào EEG

(2.1) Trong đó x là tín hiệu, h là bộ lọc và N là số lượng phần tử của x Vector ngõ ra là y

Thao tác bao gồm việc trượt một bộ lọc 2D và tóm tắt các đặc trưng nằm trong vùng được bao phủ bởi bộ lọc Pooling layer thường được dùng giữa các convolutional layer, để giảm kích thước dữ liệu nhưng vẫn giữ được các thuộc tính quan trọng Kích thước dữ liệu giảm giúp giảm việc tính toán trong model

Lớp Pooling lấy các mảng nhỏ từ lớp chập và tạo ra mẫu đặc trưng cho nó Có 3 kiểu pooling là max pooling và mean pooling và global pooling

Là một hoạt động tổng hợp chọn phần tử tối đa từ vùng của được bao phủ bởi bộ lọc Do đó, đầu ra sau lớp Max pooling sẽ là một hình ảnh đặc trưng chứa các đặc điểm nổi bật nhất của vùng đặc trưng trước đó

Tính toán giá trị trung bình của các phần tử có trong vùng đối tượng được bao phủ bởi bộ lọc

Giảm từng kênh trong vùng đặc trưng thành một giá trị duy nhất

Quy định số pixel trên mỗi phần tử phải dịch từ trái sang phải hoặc từ trên xuống dưới ở mỗi kernel đến cuối ma trận ngõ vào Stride thường được dùng để giảm kích thước của ma trận sau phép tính convolution

Sau khi ảnh được truyền qua nhiều convolutional layer và pooling layer thì model đã học được tương đối các đặc điểm của ảnh thì tensor của output của layer cuối cùng sẽ được là phẳng thành vector và đưa vào một lớp được kết nối như một mạng nơ-ron Với Fully- connected layer được kết hợp với các tính năng lại với nhau để tạo ra một mô hình Cuối

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 13 cùng sử dụng softmax hoặc sigmoid để phân loại đầu ra

Là vector biểu diễn các lớp được định nghĩa ở các tín hiệu ngõ vào Trong đề tài, output là một vector bao gồm dữ liệu đại diện cho các cử động nháy mắt [3].

THIẾT BỊ VÀ PHẦN MỀM EMOTIV

Emotiv là một công ty tin sinh học góp phần nâng cao kiến thức về não bộ của con người bằng cách sử dụng phương pháp ghi điện não đồ (EEG) Hãng Emotiv do 2 người

Mỹ gốc Việt là Lê Tần và Nam Đỗ sáng lập, cho ra một thiết bị emotiv có tính cách mạng công nghệ Thiết bị Emotiv Epoc+ là một thiết bị phân giải cao, đa kênh, không dây Thiết bị này sử dụng một bộ 14 kênh và 2 kênh tham chiếu để thu thập và phân tích tín hiệu điện từ não con người giúp con người giao tiếp với máy tính thông qua suy nghĩ, cảm xúc, các cử chỉ trên gương mặt [15]

Thiết bị Emotiv Epoc+ có thiết kế nhỏ gọn hỗ trợ 14 kênh đo có khối lượng 170 gam, kích thước 9x15x15 cm Thiết bị có 14 kênh cảm biến toàn não bộ, có sự hỗ trợ kết nối không dây sử dụng bluetooth 4.0, thiết bị hoạt động tốt trong phạm vi bán kính 10 m

Máy Emotiv Epoc+ như hình 2.6 hỗ trợ đo 14 kênh bao gồm: AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 Thực hiện kết nối thiết bị đo đơn giản và nhanh

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 14 chóng bằng bluetooth, kết nối với máy tính thông qua bộ thu USB mà không phải cài đặt driver Dữ liệu được thu thập với tốc độ lấy mẫu 128 mẫu/giây Tín hiệu thu được từ mỗi điện cực sẽ được truyền đến bộ chuyển đổi ADC Đầu ra của ADC là dữ liệu 24 - bit được chuyển đến bộ nhận USB thông qua Bluetooth, sau đó kết nối và đưa dữ liệu vào máy tính

[16] Vị trí của các điện cực khi đeo mũ Emotiv được mô tả như hình 2.7

Hình 2.7 Vị trí các điện cực khi đeo mũ Emotiv Epoc+ [16]

Emotiv Pro là giải pháp của Emotiv cho nghiên cứu khoa học thần kinh Emotiv PRO cho phép xây dựng bản ghi, thu thập và phân tích tất cả dữ liệu EEG trong một môi trường phần mềm tích hợp Ở đề tài này, sử dụng phần mềm Emotiv Pro để thu tín hiệu EEG về các hoạt động nháy mắt, đồng thời sử dụng dịch vụ Cortex để liên kết với phần mềm khác để ứng dụng điều khiển thiết bị

Cortex là dịch vụ do nhà sản xuất cung cấp sau khi mua phần mềm Emotiv Pro Dịch vụ có thể mở rộng cho việc giao tiếp giữa các ứng dụng và thiết bị dành cho người đăng ký khi dùng phương pháp API để kết nối với các phần mềm với nhau API Cortex được xây dựng trên JSON và WebSockets, giúp dễ dàng truy cập từ nhiều ngôn ngữ lập trình và nền tảng khác nhau Khi sử dụng Cortex API, người dùng có thể dễ dàng lấy được dữ liệu EEG, cảm biến gia tốc, con quay hồi chuyển theo thời gian thực cũng như nhiều chức năng khác từ các thiết bị sử dụng kèm.

THIẾT KẾ MÔ HÌNH PHÂN LOẠI TÍN HIỆU EEG

THU THẬP DỮ LIỆU

Tín hiệu nháy mắt có dạng là nháy mắt tự phát và nháy mắt tự nguyện Tín hiệu nháy mắt tự nguyện có biên độ lớn hơn rất nhiều so với tín hiệu nháy mắt tự phát Có thể phân biệt tín hiệu nháy mắt tự nguyện và tự phát bằng phương pháp ngưỡng Nghiên cứu này sử dụng tín hiệu nháy mắt tự nguyện Dữ liệu sử dụng trong đề tài khoảng 40% kế thừa từ các nghiên cứu trước, còn lại 60% dữ liệu thực hiện thu thập trên 7 bạn sinh viên Các bạn sinh viên này được nhờ để thu tín hiệu và đã có được sự đồng ý của các bạn, nên việc thu thập tín hiệu ở nghiên cứu này là sự tự nguyện

Việc thu thập dữ liệu được thực hiện bằng cách sử dụng phần mềm Emotiv Pro và thiết bị Emotiv Epoc+ 16 điện cực, bao gồm 14 điện cực ghi dữ liệu và 2 điện cực tham chiếu để thu tín hiệu Sử dụng 4 kênh AF3, F7, AF4, F8 để thu dữ liệu nháy mắt vì 4 kênh này có vị trí ở thùy trán nên sẽ phù hợp để thu tín hiệu nháy mắt tốt nhất Các kênh AF3 và F7 sẽ thể hiện cho mức điện áp của các chuyển động mắt trái, AF4 và F8 tương ứng với các chuyển động của mắt phải

Dữ liệu thu thập ở thí nghiệm được thu từ các tình nguyện viên là những thanh niên trong độ tuổi 10-22, có tình trạng sức khỏe tốt, tâm lý ổn định và đặc biệt không bị các tật về mắt Tín hiệu được thu ở trạng thái tốt nhất của cơ thể, các cá nhân thực hiện thí nghiệm đều ở trạng thái thư giãn trước khi bắt đầu đo Điều kiện thu dữ liệu tốt nhất là không gian thí nghiệm sạch sẽ, không tiếng ồn, không bị các tác nhân bên ngoài làm ảnh hưởng

Sử dụng thiết bị Emotiv Epoc+, phần mềm Emotiv Pro với tần số lấy mẫu 128 Hz/s để thu dữ liệu Người thao tác với thiết bị Emotiv cần có sự chuẩn bị kỹ lưỡng trước khi bắt đầu mang thiết bị cho người thực hiện Đầu tiên, nhỏ 3-4 giọt dung dịch muối chuyên dụng vào các điện cực giúp điện cực dẫn điện tốt hơn Sau đó gắn điện cực vào mũ Quy trình

CHƯƠNG 3.THIẾT KẾ MÔ HÌNH PHÂN LOẠI TÍN HIỆU EEG

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 16 mang mũ Emotiv được mô tả như hình 3.1

Hình 3.1 Quy trình mang thiết bị Emotiv Epoc+ [16]

Thiết bị Emotiv kết nối với máy tính thông qua USB nên được thao tác dễ dàng, chạy phần mềm Emotiv Pro Khi tiến hành thu dữ liệu EEG, người thực hiện sẽ được sắp đặt mũ cùng với các điện cực theo đúng vị trí đã được chỉ định trên phần mềm Emotiv Pro Tiếp theo, chỉnh sửa các vị trí điện cực chưa khớp với vị trí hướng dẫn Khi các vị trí điện cực dần hiện màu xanh lá cây thì kết nối đã chính xác Tiếp tục chỉnh sửa cho đến khi các vị trí điện cực hiện toàn màu xanh lá Khi màn hình hiện 100% như hình 3.2 thì các điện cực đã tiếp xúc với da đầu người thực hiện

Hình 3.2 Kiểm tra kết nối các điện cực tiếp xúc với da đầu Các tình nguyện viên sẽ được phổ biến các yêu cầu về các hoạt động mắt cần thực hiện trước khi bắt đầu Người thực hiện được kiểm tra kết nối thiết bị với da đầu, cũng như được tập luyện các hành động nháy mắt trước khi làm thí nghiệm Khi thực hiện bản thu, yêu cầu tình nguyện viên ngồi thẳng, tập trung và thực hiện đúng các cử động mắt yêu cầu để thu được kết quả tốt nhất

Các tình nguyện viên thực hiện 5 hoạt động mắt: nháy mắt trái, nháy mắt phải, nháy

2 mắt 1 lần, nháy 2 mắt 2 lần, mắt thư giãn Việc bổ sung vào mô hình phân loại trường hợp mắt lúc đang ở trạng thái nghỉ giúp cho quá trình phân loại hoạt động tốt hơn và tránh trường hợp mắt không thực hiện nháy mắt tự nguyện sẽ cho ra kết quả sai Do tần số lấy mẫu là 128 Hz/giây, một lần nháy mắt trong khoảng thời gian 5 giây, nên có 128 x 5d0 Hz/mẫu tuy nhiên để đảm bảo không có sai sót trong quá trình xử lý tín hiệu nên thực hiện tăng số mẫu lên 701 mẫu

Thí nghiệm thu được 5 tập dữ liệu, mỗi tập dữ liệu tương ứng với một hoạt động mắt Tên tập dữ liệu tương ứng với loại dữ liệu được mô tả như bảng 3.1

Bảng 3.1 Tên tập dữ liệu và loại tín hiệu tương ứng

Loại tập dữ liệu Loại tín hiệu

3.1.2 Giao thức thu tín hiệu EEG

Khi bắt đầu bản thu các tình nguyện viên sẽ phải thực hiện đúng các cử động mắt theo thiết lập trước Thiết lập bao gồm 30 giây cho mắt nghĩ Trong đó có 15 giây mở mắt và 15 giây nhắm mắt Sau thời gian cho mắt thư giãn, bắt đầu thực hiện các cử động mắt Mỗi cử động mắt sẽ thu trong 5 giây trong đó có 1 giây nháy mắt và 4 giây tiếp theo sẽ cho mắt nghỉ Mỗi bản thu sẽ có 10 lần nháy mắt tương đương với thời gian 80 giây cho mỗi bản thu

Việc thiết lập 30 giây cho mắt nghỉ là để mắt được thư giãn và giúp cho người thực hiện thí nghiệm có thời gian để chuẩn bị tốt nhất cho quá trình ghi dữ liệu, thời gian mắt nghỉ có thể ngắn hơn 30 giây Thời gian cử động mắt kéo dài 5 giây, đây là khoảng thời gian phù hợp để mắt thực hiện một cử động, giúp giảm được nhiễu khi mắt mỏi, cũng như là do một phần dữ liệu kế thừa từ các nghiên cứu trước, để đồng nhất các độ dài của một

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 18 tín hiệu nên chọn thời gian là 5 giây Quy trình thu tín hiệu được mô tả như hình 3.3

Hình 3.3 Quy trình thu tín hiệu mỗi cử động mắt

3.1.3 Tập dữ liệu thô sau khi thực hiện thí nghiệm

Khi hoàn thành thí nghiệm thu được một tập dữ liệu thô với 5 dạng hoạt động mắt: nháy mắt trái, nháy mắt phải, nháy 2 mắt 1 lần, nháy 2 mắt 2 lần và tín hiệu mắt nghỉ Tập dữ liệu thô được thu bằng giao thức đã được thiết lập với thời gian mắt nghỉ 30 giây và thời gian nháy mắt kéo dài trong 5 giây Vì thế, khoảng 5000 tín hiệu đầu tiên này thuộc vào tập dữ liệu mắt nghỉ Tín hiệu nháy mắt có biên độ 200 𝜇V- 12000 𝜇V Sóng của tín hiệu nháy mắt có biên độ tùy thuộc vào từng đối tượng đo, sự cử động mắt, độ nhạy của điện cực, v.v

Hình 3.4 Dữ liệu thô của tín hiệu nháy mắt trái (thí nghiệm E1)

Tín liệu nháy mắt trái được thể hiện ở điện cực AF3 và F7 Hình 3.4 cho thấy tín hiệu có biên độ trong khoảng từ 6000𝜇V -8000𝜇V, tùy vào từng đối tượng đo, biên độ của sóng có thể thay đổi

Hình 3.5 Dữ liệu thô của tín hiệu nháy mắt phải (thí nghiệm E2)

Tín liệu nháy phải được thể hiện ở điện cực AF4 và F8 Hình 3.5 cho thấy tín hiệu có biên độ trong khoảng từ 4500𝜇V -7000𝜇V, tùy vào từng đối tượng đo, biên độ của sóng có thể thay đổi

Hình 3.6 Dữ liệu thô của tín hiệu nháy 2 mắt 1 lần (thí nghiệm E3)

Hình 3.6 cho thấy tín hiệu có biên độ trong khoảng từ 5000𝜇V -6500𝜇V, tùy vào từng đối tượng đo, biên độ của sóng có thể thay đổi

Hình 3.7 Dữ liệu thô của tín hiệu nháy 2 mắt 2 lần (thí nghiệm E4)

Hình 3.7 cho thấy tín hiệu có biên độ trong khoảng từ 4000𝜇V - 7000𝜇V, tùy vào từng đối tượng đo, biên độ của sóng có thể thay đổi

Hình 3.8 Dữ liệu thô của tín hiệu mắt nghỉ (thí nghiệm E5) Hình 3.8 cho thấy tín hiệu có biên độ dao động trong khoảng từ 4100𝜇V -4500𝜇V, tùy vào từng đối tượng đo, biên độ của sóng có thể thay đổi.

TRÍCH XUẤT ĐẶC TRƯNG

Tập dữ liệu thô thu được bằng phần mềm Emotiv Pro có tần số lấy mẫu là 128 Hz/s, thời gian nháy mắt kéo dài khoảng 5s Tiến hành cắt 1 khoảng tín hiệu với độ dài 701 mẫu, từ 4 kênh với vị trí bắt đầu và kết thúc như nhau Sau đó ghép 4 kênh lần lượt theo thứ tự là AF3, F7, AF4, F8 lại với nhau tạo thành tín hiệu có độ dài mẫu là 701 x 4 = 2804 mẫu tín hiệu Cắt tập dữ liệu có độ dài 300 tín hiệu cho mỗi tín hiệu cử động mắt Kết quả thu được tập dữ liệu 1500 tín hiệu Mỗi tín hiệu chuyển động mắt sẽ được lấy từ tập dữ liệu thô thu được sau khi thực hiện các thí nghiệm E1, E2, E3, E4 , file tín hiệu được lưu dưới dạng E.csv

• Dạng tín hiệu nháy mắt trái

Cử động mắt trái được thể hiện bởi kênh AF3 và F7 Mỗi tín hiệu được trích xuất từ

4 kênh AF3, F7, AF4, F8 với độ dài là 701 mẫu, sau đó ghép lại với nhau tạo thành một tín hiệu có độ dài 2804 mẫu Tín hiệu nháy mắt ở hình được lấy từ file E1_7.csv trong tập dữ liệu thô E1

Hình 3.9 Tín hiệu nháy mắt trái thu được từ 4 kênh với độ dài 701 mẫu

Hình 3.10 Tín hiệu nháy mắt trái sau khi được ghép từ 4 kênh AF3, F7, AF4, F8

Từ hình 3.9 và hình 3.10 nhận thấy rằng ở dạng tín hiệu nháy mắt trái thì 2 kênh AF3 và F7 có biên độ cao, còn ở 2 kênh AF4 và F8 có biên độ không đáng kể Đây là dạng đặc trưng của tín hiệu nháy mắt trái

• Dạng tín hiệu nháy mắt phải

Cử động mắt phải được thể hiện bởi kênh AF4 và F8 Mỗi tín hiệu được trích xuất từ

4 kênh AF3, F7, AF4, F8 với độ dài là 701 mẫu, sau đó ghép lại với nhau tạo thành một tín hiệu có độ dài 2804 mẫu Tín hiệu nháy mắt ở hình được lấy từ file E2_1.csv trong tập dữ liệu thô E2

Hình 3.11 Tín hiệu nháy mắt phải thu được từ 4 kênh với độ dài 701 mẫu

Hình 3.12 Tín hiệu nháy mắt phải sau khi được ghép từ 4 kênh AF3, F7, AF4, F8

Từ hình 3.11 và hình 3.12 nhận thấy rằng ở dạng tín hiệu nháy mắt phải thì 2 kênh AF3 và F7 có biên độ không đáng kể, còn ở 2 kênh AF4 và F8 có biên độ cao Đây là dạng đặc trưng của tín hiệu nháy mắt phải

• Dạng tín hiệu nháy 2 mắt 1 lần

Hình 3.13 Tín hiệu nháy 2 mắt 1 lần thu được từ 4 kênh với độ dài 701 mẫu

Hình 3.14 Tín hiệu nháy 2 mắt 1 lần sau khi được ghép từ 4 kênh AF3, F7, AF4, F8

Mỗi tín hiệu nháy 2 mắt 1 lần được trích xuất từ 4 kênh AF3, F7, AF4, F8 với độ dài là 701 mẫu, sau đó ghép lại với nhau tạo thành một tín hiệu có độ dài 2804 mẫu Tín hiệu nháy 2 mắt 1 lần được lấy từ file E3_2.csv trong tập dữ liệu thô E3

Từ hình 3.13 và hình 3.14 nhận thấy rằng ở dạng tín hiệu nháy 2 mắt 1 lần thì cả 4 kênh AF3, F7, AF4 và F8 đều có biên độ cao, mỗi kênh có 1 đỉnh trong độ dài 701 mẫu tín hiệu Đây là dạng đặc trưng của tín hiệu nháy 2 mắt 1 lần

• Dạng tín hiệu nháy 2 mắt 2 lần

Tín hiệu này nháy 2 mắt 2 lần liên tiếp Mỗi tín hiệu nháy 2 mắt 2 lần được trích xuất từ 4 kênh AF3, F7, AF4, F8 với độ dài là 701 mẫu, sau đó ghép lại với nhau tạo thành một tín hiệu có độ dài 2804 mẫu Tín hiệu nháy mắt ở hình được lấy từ file E4_1.md.csv trong tập dữ liệu thô E4

Hình 3.15 Tín hiệu nháy 2 mắt 2 lần thu được từ 4 kênh với độ dài 701 mẫu

Hình 3.16 Tín hiệu nháy 2 mắt 2 lần sau khi được ghép từ 4 kênh AF3, F7, AF4, F8

Từ hình 3.15 và hình 3.16 nhận thấy rằng ở dạng tín hiệu nháy 2 mắt 2 lần thì cả 4 kênh AF3, F7, AF4 và F8 đều có biên độ cao, mỗi kênh có 2 đỉnh trong độ dài 701 mẫu tín hiệu Đây là dạng đặc trưng của tín hiệu nháy 2 mắt 2 lần

• Dạng tín hiệu mắt nghỉ

Hình 3.17 Tín hiệu mắt nghỉ thu được từ 4 kênh với độ dài 701 mẫu

Hình 3.18 Tín hiệu mắt nghỉ sau khi được ghép từ 4 kênh AF3, F7, AF4, F8

Tín hiệu mắt nghỉ là phần tín hiệu thư giãn của mắt trong 30s đầu khi thực hiện các loại nháy mắt trên Mỗi tín hiệu mắt nghỉ cũng được trích xuất từ 4 kênh AF3, F7, AF4, F8 với độ dài là 701 mẫu, sau đó ghép lại với nhau tạo thành một tín hiệu có độ dài 2804 mẫu

Từ hình 3.17 và hình 3.18 nhận thấy rằng ở dạng tín hiệu nháy 2 mắt 1 lần thì cả 4 kênh AF3, F7, AF4 và F8 đều có biên độ gần như không đáng kể Vì trong khi mắt thư giãn không xảy ra chuyển động của mắt Do đó đây là dạng đặc trưng của tín hiệu mắt nghỉ.

XÂY DỰNG TẬP DỮ LIỆU

Sau khi đã được trích xuất đặc trưng, tập dữ liệu được dán nhãn như ở bảng 3.2 để đưa vào mô hình huấn luyện

Bảng 3.2 Tên và nhãn tín hiệu

Tín hiệu Dán nhãn Số lượng

Mắt ở chế độ thư giãn N 300

Tập dữ liệu thu được bao gồm 1500 tín hiệu từ 5 tập dữ liệu là các dạng nháy mắt Mỗi tập dữ liệu nháy mắt gồm 300 tín hiệu Đề tài xây dựng tập dữ liệu theo tỉ lệ được trình bày như ở hình 3.19

Từ tập dữ liệu ban đầu, chia tập dữ liệu một cách ngẫu nhiên và đồng đều giữa các loại tín hiệu nháy mắt Tập dữ liệu được chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ 80 % tập huấn luyện tương đương với 1200 tín hiệu và 20 % tập kiểm định tương đương với 300 tín hiệu Để đánh giá hiệu suất của mô hình, tập dữ liệu xác thực được tách ra từ tập kiểm định với tỉ lệ là 30 % so với tập kiểm định Trong quá trình này, mô hình được huấn luyện trên tập huấn luyện và đánh giá hiệu suất trên tập kiểm định Tập kiểm định giúp đánh giá và điều chỉnh mô hình để tránh hiện tượng quá khớp hoặc không khớp

Hình 3.19 Xây dựng tập dữ liệu

MÔ HÌNH PHÂN LOẠI MẠNG CNN

Hình 3.20 Mô hình mạng CNN cho phân loại EEG

Mô hình phân loại tín hiệu EEG có dữ liệu đầu vào với kích thước là 2804x1500, trong đó 2804 là độ dài mẫu của 1 tín hiệu và 1500 tương ứng với 1500 tín hiệu được đưa vào mô hình để huấn luyện Mô hình gồm có 5 lớp tích chập, 5 lớp giảm kích thước tối đa và 3 lớp kết nối đầy đủ Lớp kết nối đầy đủ cuối cùng là lớp kết nối cho ra kết quả của mô hình phân loại 5 dạng tín hiệu

Bảng 3.3 Cấu hình của mô hình phân loại 5 tín hiệu nháy mắt trong thời gian 6 giây

Layers Kernel size Filters Stride

Bảng 3.3 mô tả cấu hình của mô hình phân loại 5 dạng tín hiệu nháy mắt: nháy mắt trái, nháy mắt phải, nháy 2 mắt 1 lần, nháy 2 mắt 2 lần và mắt thư giãn Chi tiết các lớp của mô hình như sau:

- Input: dữ liệu đầu vào có kích thước là 2804 mẫu, bao gồm 1500 tín hiệu, mỗi

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 31 dạng nháy mắt tương ứng với 300 tín hiệu

- Convolutional layer 1: lớp tích chập sử dụng 3 bộ lọc có kích cỡ là 201x1 phân tử, stride là 2

- Max pooling layer 1: lớp max pooling có kích cỡ cửa sổ là 2 x 1, stride là 2

- Convolutional layer 2: lớp tích chập sử dụng 3 bộ lọc có kích cỡ 54x 1 phần tử, stride là 2

- Convolutional layer 3: lớp tích chập sử dụng 10 bộ lọc có kích cỡ 25 x 1 phần tử, stride là 2

- Max pooling layer 5: lớp max pooling có kích cỡ cửa sổ là 2 x 1, stride phần tử là

- Lớp Flatten được sử dụng để chuyển đổi một ma trận đa chiều thành một vector một chiều Trong trường hợp này, lớp Flatten được sử dụng để chuyển đổi ma trận đầu vào của mô hình CNN thành một vector một chiều trước khi được đưa vào các lớp fully connected (hoàn toàn kết nối) trong mô hình

- Lớp Dropout (0.5): Giảm thiểu hiện tượng overfitting bằng cách loại bỏ một phần các nơ-ron ngẫu nhiên trong quá trình huấn luyện Tham số 0.5 ở đây cho biết rằng mỗi nơ-ron sẽ có xác suất bị loại bỏ là 50 %

- Dense_1, Dense_2, Dense_3: lớp kết nối đầy đủ cuối cùng có số nơron tương ứng

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 32 với số danh tính cần nhận dạng lần lượt là 50, 20 và 5 Trong đó, 5 là dạng tín hiệu cần phân loại là nháy mắt trái, nháy mắt phải, nháy hai mắt một lần và nháy hai mắt hai lần, tín hiệu mắt nghỉ

- Thêm một lớp kích hoạt Softmax vào mô hình CNN Lớp này được sử dụng để tính toán xác suất của các lớp đầu ra của mô hình Hàm Softmax sẽ chuyển đổi giá trị đầu ra của mô hình thành một phân phối xác suất trên các lớp đầu ra

- Output: phân loại ngõ ra

PHƯƠNG PHÁP ĐÁNH GIÁ KẾT QUẢ MÔ HÌNH PHÂN LOẠI

Confusion matrix là một phương pháp đánh giá kết quả mô hình phân loại, tương ứng với việc xem xét cả những chỉ số về độ chính xác và độ bao quát của các dự đoán cho từng lớp [17]

Một confusion matrix gồm 4 chỉ số với mỗi lớp phân loại:

- True Positive (TP): Số lượng dự đoán chính xác Kết quả dự đoán là “Positive” đúng so với giá trị thực là “Positive”

- False Positive (FP): Số lượng dự đoán chính xác một cách gián tiếp Kết quả dự đoán là “Positive” sai so với giá trị thực là “Negative”

- True Negative (TN): Số lượng các dự đoán sai lệch Kết quả dự đoán là

“Negative” đúng so với giá trị thực là “Negative”

- False Negative (FN): Số lượng các dự đoán sai lệch một cách gián tiếp Kết quả dự đoán là “Negative” sai so với giá trị thực là “Positive”

Mô hình này được đánh giá theo phương pháp như sau:

Accuracy: được tính bằng cách chia tổng số dự đoán đúng cho tất cả các dự đoán

Recall/Sensitivity: là tỷ lệ dự đoán là “B” thực tế cũng là “B” so với tổng số lượng

Precision: là tỷ lệ dự đoán đúng kết quả “B” với thực tế là “B” so với tổng số lượng tín hiệu dự đoán

F1 score: là trung bình của accuracy và recall Điểm F1 càng cao mô hình càng tốt

HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ SỬ DỤNG TÍN HIỆU EEG

HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ DÙNG TÍN HIỆU EEG

Hệ thống điều khiển thiết bị sử dụng tín hiệu nháy mắt được xây dựng theo sơ đồ khối hình 4.1

Hình 4.1 Sơ đồ khối của hệ thống điều khiển thiết bị sử dụng tín hiệu EEG

Tín hiệu nháy mắt sau khi được thu bằng thiết bị Emotiv Epoc+ và phần mềm Emotiv Pro được xử lý, trích xuất đặc trưng, dán nhãn từng loại nháy mắt, xây dựng tập dữ liệu và tiến hành phân loại các loại hoạt động nháy bằng mạng CNN Dựa vào kết quả các mô hình phân loại, lựa chọn mô hình phân loại tốt nhất để ứng dụng điều khiển thiết bị

Hình 4.2 Mô hình hoạt động của hệ thống điều khiển thiết bị

CHƯƠNG 4 HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ SỬ DỤNG TÍN HIỆU EEG

Mô hình hoạt động của hệ thống được minh họa như hình 4.2 Thiết bị Emotiv kết nối với máy tính thông qua Bluetooth, sử dụng phần mềm Emotiv Pro thu tín hiệu trực tiếp từ người thực hiện việc điều khiển thông qua dịch vụ Cortex Sau đó tín hiệu được gửi về máy tính để xử lý, chương trình xử lý tín hiệu được xây dựng trên ngôn ngữ lập trình Python Máy tính cũng là bộ xử lý kết nối tín hiệu nháy mắt với thiết bị bằng cách khi thu được tín hiệu sẽ gửi lệnh điều khiển từ python qua Arduino để thiết bị hoạt động

4.1.1 Thiết lập quyền truy cập tín hiệu EEG thời gian thực

Khi đã đăng ký giấy phép truy cập vào luồng dữ liệu EEG từ nhà sản xuất Emotiv, tiến hành đăng ký dịch vụ SDK API của Emotiv Vào trang chủ của nhà sản xuất qua đường dẫn https://www.emotiv.com/emotivpro, vào View License, sau đó vào phần API và đăng ký các thông tin nhà sản xuất yêu cầu Giao diện điền thông tin dịch vụ SDK API của Emotiv như hình 4.3

Hình 4.3 Điền thông tin dịch vụ SDK API của Emotiv Sau khi hoàn thành thông tin trên và gửi cho nhà sản xuất Chờ khoảng 2-3 ngày nhà sản xuất sẽ gửi email phê duyệt đăng ký Khi được phê duyệt, tiến hành tạo ứng dụng Cortex, truy cập vào đường dẫn https://www.emotiv.com/emotivpro/ vào My Account,

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 36 chọn Cortex Apps, tích vào ô My App requires EEG access, Nhập tên ở ô my new app Chọn Register Application như hình 4.4

Hình 4.4 Tạo chương trình trên Cortex Apps để lấy địa chỉ liên kết với Python

Nhập tên ứng dụng ở ô my new app , ID ứng dụng sẽ được tạo tự động dưới dạng com {your username}.{application-name} Đặc biệt, nên lưu chuỗi ID ứng dụng chỉ được chứa các ký tự chữ và số (A-Z, a-z, 0-9), dấu gạch nối (-) và dấu chấm (.) Tích vào ô “My App requires EEG access” để yêu cầu quyền truy cập vào luồng dữ liệu EEG, dễ dàng xử lý dữ liệu EEG thu được trực tiếp trên thời gian thực

Sau khi nhấp vào Register Application, Client secret và Client id được tạo sau khi đăng ký ứng dụng Cortex để được cấp quyền truy cập vào API Cortex Nên sao chép Client secret ngay lập tức vì Client secret chỉ xuất hiện một lần trên màn hình Khi viết chương trình thu tín hiệu trực tiếp trên Python, điền Client secret và Client ID được cung cấp như hình 4.5 để phần mềm biết được vị trí dữ liệu gửi về

Hình 4.5 Điền Client secret và Client ID vào chương trình Python

4.1.2 Hệ thống điều khiển xe lăn

❖ Sơ đồ khối điều khiển xe lăn

Hình 4.6 Sơ đồ khối của hệ thống điều khiển xe lăn

- Khối nguồn: Nguồn cung cấp chính cho xe lăn điện được lấy từ ắc quy 24V

DC, thiết kế vỏ bình xe lăn nhựa làm bằng nhựa ABS giúp bảo vệ bình ắc quy cho xe lăn điện

- Khối thu tín hiệu: Thu tín hiệu nháy mắt trực tiếp trên thời gian thực, sử dụng bộ đo điện não Emotiv Epoc+ 14 kênh và phần mềm Emotiv Pro

- Khối xử lý tín hiệu: Sử dụng máy tính nhận tín hiệu nháy mắt từ thiết bị

Emotiv được kết nối bluetooth, xử lý tín hiệu bằng ngôn ngữ lập trình Python, gửi tín hiệu sau khi xử lý qua khối xử lý trung tâm

- Khối xử lý trung tâm: đây là khối xử lý chính của hệ thống, nhận tín hiệu đã được xử lý, tiến hành định dạng dữ liệu và đưa vào mô hình phân loại, sau đó gửi tín

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 38 hiệu nháy mắt đã phân loại điều khiển xe lăn

- Khối điều khiển: Sử dụng hai mạch điều khiển động cơ BTS7960 đầu vào điện áp điều khiển động cơ 24VDC, mạch có dòng điện tải lên đến 43A để nhận tín hiệu từ vi điều khiển Arduino điều khiển hai động cơ quay thuận, nghịch giúp xe dễ dàng duy chuyển trước sau theo tốc độ điều khiển Hai chân EN_L và EN_R được nối chung để cho phép sự hoạt động của cầu H Các chân L_F, R_P, L_R và R_R là các chân PWM để điều khiển tốc độ động cơ

❖ Lưu đồ giải thuật quy trình xử lý tín hiệu EEG và điều khiển xe lăn

Chương trình thu thập, xử lý tín hiệu nháy mắt trực tiếp nên yêu cầu đầu tiên là máy tính cá nhân phải có tốc độ xử lý tốt Việc phân loại tín hiệu nháy mắt được thực hiện trước khi bắt đầu điều khiển, kết quả của mô hình phân loại được lưu lại với mô hình tốt nhất Khi thu tín hiệu, chương trình sẽ xử lý tín hiệu thu được và gửi lệnh điều khiển cho Arduino điều khiển xe lăn

• Lưu đồ giải thuật truy xuất vào Cortex Apps

Hình 4.7 Lưu đồ giải thuật truy xuất vào Cortex Apps Để ghi tín hiệu EEG trực tiếp từ Cortex Apps, đầu tiên điền tên và mật khẩu để đăng nhập vào phần mềm Emotiv Launcher và chọn phần mềm Emotiv Pro, nếu sai thì đăng ký tài khoản Tiến hành đăng ký một chương trình trên Cortex Apps để giao tiếp với thiết bị Emotiv Epoc Kiểm tra client id và client secret có trùng hợp với địa chỉ được cung cấp từ chương trình Cortex đó hay không, nếu sai tạo một chương trình mới Sau đó, yêu cầu quyền truy cập vào phần mềm Emotiv Pro, lệnh chấp thuận sẽ được gửi khi các địa chỉ được gọi thành công Tiếp theo, chương trình sẽ truy vấn thông tin thiết bị Emotiv và kết nối thiết bị Bắt đầu việc ghi dữ liệu, tiến hành gọi lệnh ủy quyền để tạo mã thông báo truy cập Cortex Apps và hoàn thành việc tạo bản ghi dữ liệu EEG

• Lưu đồ giải thuật quy trình thu dữ liệu EEG trên thời gian thực

Hình 4.8 Lưu đồ giải thuật quy trình thu dữ liệu EEG trên thời gian thực Để bắt đầu quá trình thu tín hiệu điện não, đầu tiên kiểm tra kết nối internet, nếu mất kết nối tiến hành kết nối lại Sau đó kiểm tra bluetooth kết nối phần mềm trên máy tính với thiết bị Emotiv, nếu sai kết nối lại Khi đã kết nối internet và bluetooth thành công, bắt đầu thu bản ghi tín hiệu nháy mắt với thời gian 6s, bản ghi này được tự động lưu về máy tính với định dạng file là “tên được tạo + EPOC + Ngày/tháng/năm/giờ/phút/giây + giờ mặt trời.csv” Chương trình sẽ tiến hành đọc file, cắt ghép 4 kênh theo thứ tự AF3, F7, AF4 và F8 và ghép thành một tín hiệu, cuối cùng là đưa ra dự đoán tín hiệu thu được

• Lưu đồ phân loại tín hiệu và gửi lệnh điều khiển xe lăn

Hình 4.9 Lưu đồ phân loại tín hiệu và gửi lệnh điều khiển xe lăn Khi nhận được dữ liệu, tiến hành định hình dữ liệu cho phù hợp với ngõ ra của mô hình phân loại Tín hiệu được đưa vào dự đoán với mô hình tốt nhất Nếu tín hiệu được dự đoán là output[0][1]=1 thì gửi tín hiệu xe lăn đi thẳng, tín hiệu được dự đoán là output[0][2]=1 thì gửi tín hiệu xe lăn quay trái , tín hiệu được dự đoán là output[0][4]=1 thì gửi tín hiệu xe lăn quay phải, trường hợp còn lại là tín hiệu mắt nghỉ output[0][3]=1 thì gửi tín hiệu xe lăn dừng lại Các trường hợp ngõ ra tương ứng với dạng nháy mắt được mô tả như bảng 4.1

Bảng 4.1 Các trường hợp phân loại

• Lưu đồ điều khiển xe lăn trên Arduino

Hình 4.10 Lưu đồ điều khiển xe lăn trên Arduino Khi bộ điều khiển xe lăn được cấp nguồn, bắt đầu khởi tạo các thư viện và các định tên các chân sử dụng Nếu serial lớn hơn 0 thì đọc giá trị từ python gửi qua bằng bluetooth, ngược lại quay lại so sánh tiếp Nếu nhận được lệnh serial = 1, chân L_F và R_F sẽ lên mức cao và điều khiển mô tơ quay thuận tương ứng với xe lăn đi thẳng Nhận lệnh serial = 2 thì

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 43 hai chân L_R và R_F sẽ lên mức cao và khi đó động cơ quay trái một góc 60 độ tương ứng với xe lăn quay trái 90 độ Nhận lệnh serial = 3 thì hai chân L_F và R_R sẽ lên mức cao và động cơ quay phải một góc 90 độ tương ứng với xe lăn quay phải 90 độ Khi nhận lệnh serial = 4 thì 2 chân L_R và R_R sẽ lên mức cao và động cơ quay nghịch tương ứng với xe lăn đi lùi Nếu nhận lệnh serial = 0 thì 2 chân L_F và R_F sẽ lên mức thấp và động cơ dừng tương ứng với xe lăn dừng

4.1.3 Hệ thống điều khiển đèn và quạt

❖ Sơ đồ khối điều khiển đèn và quạt

Hình 4.11 Sơ đồ khối của hệ thống điều khiển đèn và quạt

- Khối thu tín hiệu: Thu tín hiệu nháy mắt trực tiếp trên thời gian thực, sử dụng bộ đo điện não Emotiv Epoc+ 14 kênh và phần mềm Emotiv Pro

- Khối xử lý tín hiệu: Sử dụng máy tính nhận tín hiệu nháy mắt từ thiết bị

Emotiv được kết nối bluetooth, xử lý tín hiệu bằng ngôn ngữ lập trình Python, gửi tín hiệu sau khi xử lý qua khối xử lý trung tâm

- Khối xử lý trung tâm: đây là khối xử lý chính của hệ thống, nhận tín hiệu đã được xử lý, tiến hành định dạng dữ liệu và đưa vào mô hình phân loại, sau đó gửi tín hiệu nháy mắt đã phân loại điều khiển đèn và quạt

- Khối điều khiển: Nhận tín hiệu từ khối xử lý tín hiệu, sau đó dùng arduino

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 44 để điều khiển đèn và quạt

- Khối nguồn: sử dụng cặp nguồn pin 3.7 V mắc nối tiếp để cấp nguồn 5 V cho hệ thống hoạt động Pin được sạc qua mạch sạc và bảo vệ pin HX-2S-D20 2S-20A

Sử dụng cặp nguồn pin 3.7 V mắc nối tiếp thu được tổng điện áp là 7.4 V

Bảng 4.2 Giá trị điện áp và dòng điện của linh kiện

STT Tên linh kiện Điện áp hoạt động Dòng điện tiêu thụ

3 Động cơ motor mini DC 3V – 5 V 54 mA

Tổng dòng điện tiêu thụ = 10 mA + 10 mA + 54 mA x 2 = 128 mA

• Tổng công suất tiêu thụ trong toàn mạch:

Do chọn nguồn là 2 pin Cell 3800 mAh 3.7 V, khi mắc nối tiếp thì điện áp tổng 2 pin là 7.4V, dòng là 3.8 A Suy ra công suất tiêu thụ của pin:

Với Ppin = 28.12 W, ta thấy rằng P pin lớn hơn P tiêu thụ toàn mạch nên sử dụng 2 pin Cell 3800 mAh 3.7 V làm khối nguồn cho hệ thống là hợp lý

• Điện trở mắc nối tiếp với led được tính theo công thức:

R1 = (7.4V- V led đỏ )/I led đỏ = (7.4V-3V)/10 mAD0 

Nên sử dụng điện trở 470 

R2 = (7.4V- V led xanh )/I led xanh = (7.4V-2V)/10 mAT0 

R3 = (7.4V- V quạt xanh )/I quạt xanh = (7.4V-2V)/10 mA = 44.4 

R4 = (7.4V- V quạt đỏ )/I quạt đỏ = (7.4V-2V)/10 mA = 44.4 

Nên sử dụng điện trở 47 (Ohm)

Từ các giá trị điện trở đã tính toán, thiết kế sơ đồ mạch điện hệ thống điều khiển đèn led và quạt như hình dưới

HƯỚNG DẪN SỬ DỤNG

Khi hoàn thành hệ thống điều khiển thiết bị sử dụng tín hiệu nháy mắt Việc sử dụng hệ thống cần được hướng dẫn chi tiết để giúp người đọc hiểu rõ hơn về các thao tác thực hiện và tránh những thao tác sai khi thực hiện Hướng dẫn sử dụng gồm 4 bước được mô tả như hình 4.15

Hình 4.15 Các bước hướng dẫn sử dụng

• Bước 1: Thiết lập, kết nối với thiết bị

Thiết bị: Xe lăn điện

Trước khi sử dụng cần kiểm tra pin của xe lăn Thời gian sạc pin đầy cho ắc được đề xuất trong hướng dẫn là từ 8-10 tiếng Khi pin đầy sẽ hiện màu xanh như hình 4.16

Hình 4.16 Pin được sạc đầy Tiếp theo, kết nối các dây tín hiệu, dây nguồn theo các nhãn trên dây để lấy nguồn từ ắc quy cấp cho bộ điều khiển xe lăn thông qua mạch giảm áp có trong bộ điều khiển được mô tả như hình 4.17 Bật công tắc cho xe lăn điện hoạt động

Hình 4.17 Lắp hộp bảo vệ và dây bảo vệ

Thiết bị: đèn và quạt

Mô hình điều khiển đèn và quạt được thiết kế như hình 4.18 Mô hình gồm 2 đèn và

2 quạt được điều khiển bật tắt bằng tín hiệu nháy mắt

Hình 4.18 Mô hình điều khiển đèn và quạt

• Bước 2: Thao tác với thiết bị Emotiv và phần mềm Emotiv Pro

- Nhỏ 3-4 giọt dung dịch muối chuyên dụng vào các điện cực giúp điện cực

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 50 dẫn điện tốt hơn

- Gắn điện cực vào mũ

- Gắn USB của thiết bị Emotiv vào máy tính, đăng nhập vào Emotiv Pro, bật nút on trên thiết bị để kết nối với phần mềm Emotiv Pro trên máy tính

- Người thực hiện thí nghiệm sẽ được sắp đặt mũ Emotiv như hình 4.19, các điện cực được đặt theo đúng vị trí đã được chỉ định trên phần mềm Emotiv Pro, điều chỉnh cho đến khi vị trí điện cực hiện màu xanh lá cây và hiện 100% thì các điện cực đã tiếp xúc hoàn toàn với da đầu

Hình 4.19 Người thực hiện mang mũ Emotiv

• Bước 3: Thao tác trên phần mềm Arduino

Tải board cho Arduino Due Vào Tools, chọn Board, tiếp theo chọn Board Manager Sau đó tìm kiếm Arduino due, chọn INSTALL như hình 4.20

Hình 4.20 Tải Board Arduino Due Chọn Board Arduino Due đã tải Vào Tools, chọn Board, chọn Arduino SAM Boards (32- bits ARM Cortex-M3) và chọn Arduino due (Programming Port), Các bước chọn Board được mô tả ở hình 4.21

Hình 4.21 Chọn Board Arduino Due Chọn cổng giao tiếp Arduino Vào Tools, chọn Port, chọn cổng Arduino đang kết nối với máy tính Cuối cùng nạp code điều khiển cho Arduino bằng cách chọn Upload Hình 4.22 mô tả bước chọn cổng giao tiếp Arduino

Hình 4.22 Chọn cổng giao tiếp Arduino

Tải board cho Arduino Uno Vào Tools, chọn Board, chọn Board Manager Sau đó tìm kiếm Arduino Uno Chọn INSTALL như hình 4.23

Hình 4.23 Tải Board Arduino Uno Chọn Board Arduino Uno đã tải Vào Tools, chọn Board, chọn Arduino AVR Boards và chọn Arduino Uno như hình 4.24

Hình 4.24 Chọn Board Arduino Uno Chọn cổng giao tiếp Arduino Vào Tools, chọn Port, chọn cổng Arduino đang kết nối với máy tính Cuối cùng nạp code điều khiển cho Arduino bằng cách chọn Upload, các bước chọn cổng giao tiếp Arduino được mô tả như hình 4.25

Hình 4.25 Chọn cổng giao tiếp Arduino

• Bước 4: Chạy chương trình điều khiển thiết bị

Dùng cáp nối máy tính và hộp điều khiển thiết bị, nạp chương trình điều khiển thiết bị trên Arduino, nạp chương trình thu dữ liệu EEG để điều khiển thiết bị trên Python Kiểm tra các kết nối mạng và kết nối Bluetooth, tránh trường hợp mất mạng

Thực hiện bảng thu tín hiệu nháy mắt trong thời gian 6s, tín hiệu thu được trên phần mềm Emotiv Pro, tiếp theo tín hiệu được lưu về máy tính dưới dạng file csv Tín hiệu được cắt và ghép lại thành một tín hiệu có độ dài 2804 mẫu, sau đó tín hiệu được đưa vào dự đoán dạng tín hiệu nháy mắt Tín hiệu này được sử dụng để điều khiển thiết bị thông qua

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 54 giao tiếp giữa Python và Arduino Tùy vào từng dạng tín hiệu nháy mắt mà thiết bị sẽ được điều khiển

Khi đã chuẩn bị hoàn tất các bước, Người thực hiện ngồi vào xe lăn để bắt đầu điều khiển như hình 4.26

Hình 4.26 Người thực hiện điều khiển xe lăn bằng tín hiệu nháy mắt sử dụng phần mềm

Người thực hiện sẽ bắt đầu nháy mắt để điều khiển đèn và quạt như hình 4.27

Hình 4.27 Người thực hiện điều khiển đèn và quạt bằng tín hiệu nháy mắt sử dụng phần mềm Emotiv Pro

DỰ TOÁN MÔ HÌNH PHÂN LOẠI TÍN HIỆU NHÁY MẮT ỨNG DỤNG ĐIỀU KHIỂN THIẾT BỊ

Bảng 4.3 Bảng dự toán mô hình phân loại điều khiển thiết bị

STT Tên linh kiện Số lượng Tính năng, thông số kỹ thuật

2 Dung dịch muối 1 Tăng tính tiếp xúc với điện cực

3 Led 2 Thiết bị điều khiển 1 000

4 Động cơ DC mini 2 Điều khiển quạt 38 000

5 Arduino Uno 1 Lập trình và điều khiển thiết bị: đèn LED, motor

6 Cánh quạt 2 Thiết bị điều khiển 12 000

7 Công lao động 2 sinh viên làm việc trong 4 tháng

KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ

KẾT QUẢ PHÂN LOẠI TÍN HIÊU EEG

5.1.1 Kết quả của mô hình phân loại 3 tín hiệu nháy mắt

❖ Kết quả huấn luyện Ở mô hình thứ nhất, thực hiện huấn luyện tập dữ liệu gồm 3 loại tín hiệu là nháy 2 mắt 1 lần, nháy 2 mắt 2 lần và tập dữ liệu mắt lúc thư giãn Tổng số lượng tín hiệu dùng để huấn luyện là 900 tín hiệu, trong đó có 300 tín hiệu từ mỗi tập dữ liệu

Cấu hình máy tính dùng để huấn luyện mô hình có bộ vi xử lý Intel Core i3-1115G4, bộ nhớ RAM: 4 GB, ổ đĩa cứng HHD 256 GB

Tiến hành phân chia tập dữ liệu này làm tập huấn luyện chiếm tỉ lệ 80% và tập thử nghiệm với tỉ lệ 20% Mô hình phân chia được mô tả dưới bảng 5.1

Bảng 5.1 Phân chia dữ liệu huấn luyện và dữ liệu thẩm định với 3 dạng tín hiệu Phân loại Dán nhãn Tập huấn luyện (80%) Tập thử nghiệm (20%)

Tất cả 900 tín hiệu này sau khi dán nhãn sẽ được đưa vào mô hình huấn luyện Dữ liệu đưa vào huấn luyện gồm 720 tín hiệu và còn lại 180 tín hiệu của tập thử nghiệm dùng để kiểm tra độ chính xác của mô hình Đề tài thực hiện huấn luyện mô hình nhiều lần và ghi nhận lại 5 lần huấn luyện đạt được kết quả tốt nhất được trình bày trong bảng 5.2

CHƯƠNG 5 KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ

Bảng 5.2 Kết quả huấn luyện 5 lần cao nhất từ mô hình phân loại 3 dạng tín hiệu

Lần huấn luyện Độ chính xác (%) Thời gian huấn luyện

Kết quả ở 5 lần cao nhất của phân loại 3 dạng tín hiệu nháy mắt, thu được với độ chính xác trung bình là 97.407 % và mô hình có độ chính xác cao nhất là 98.611

% được thể hiện trong hình 5.1

Hình 5.1 Kết quả huấn luyện của mô hình phân loại 3 đạt độ chính xác cao nhất

Từ kết quả thu được bằng phương pháp confusion matrix có thể thấy ở mô hình huấn luyện 3 dạng tín hiệu đạt được kết quả với độ chính xác cao (cao nhất là 98.611%) Ở mô hình có độ chính xác cao nhất, tín hiệu nháy 2 mắt 1 lần (B) có độ dự đoán chính xác là 71 trên tổng 72 tín hiệu (98.6%), tín hiệu nháy 2 mắt 2 lần (DB) có độ dự đoán chính xác là

72 trên tổng 72 tín hiệu (100%) và tín hiệu khi mắt thư giãn (N) có độ dự đoán chính xác là 70 trên tổng 72 tín hiệu (97.2 %) Trong đó có một tín hiệu nháy 2 mắt 1 lần bị nhầm lẫn

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 58 với mắt khi thư giãn và có 2 tín hiệu mắt thư giãn bị nhầm lẫn với nháy 2 mắt 2 lần

Hình 5.2 Hình ảnh đánh giá mô hình phân loại 3 dạng tín hiệu có kết quả cao nhất

Mô hình phân loại sử dụng tập dữ liệu có kích thước là 2804x300 trên mỗi tập dữ liệu Với kích thước của tập dữ liệu đã đảm bảo được việc mô hình không bị tình trạng overfitting

❖ Kết quả phân loại Để đánh giá độ chính xác của các mô hình phân loại 3 dạng tín hiệu nháy mắt, đề tài sử dụng 10 mô hình có độ chính xác cao nhất đem kiểm tra trên tập thử nghiệm thu được kết quả ở bảng 5.3

Bảng 5.3 Kết quả phân loại 5 lần cao nhất từ mô hình phân loại 3 tín hiệu

Lần huấn luyện Accuracy (%) Precision(%) Recall(%)

Kết quả đánh giá trên tập kiểm tra thu được ở 10 mô hình phân loại tốt nhất có chỉ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 59 số Accuaracy, Precision và Recall trung bình lần lượt là 97.237, 97.322 và 97.237, mô hình có độ chính xác cao nhất với các chỉ số tướng ứng lần lượt là 98.765, 98.810 và 98.765 Nhận xét kết quả khi kiểm tra trên tập kiểm tra và kết quả đánh giá trên tập huấn luyện có độ chính xác tương đồng nhau Qua đó có thể kết luận độ phức tạp giữa tập dữ liệu huấn luyện và tập dữ liệu kiểm định là cân bằng nhau Độ chính xác của từng phân loại nháy mắt trên tập kiểm tra được thể hiện cụ thể trong hình 5.3

Hình 5.3 Kết quả phân loại của mô hình phân loại 3 đạt độ chính xác cao nhất Hình 5.3 trình bày kết quả đánh giá trên tập kiểm tra mô hình có độ chính xác cao nhất ở dạng phân loại 3 tín hiệu nháy mắt, tín hiệu nháy 2 mắt 1 lần (B) và tín hiệu nháy 2 mắt 2 lần (DB) có độ dự đoán chính xác là 54 trên tổng 54 tín hiệu (100%), tín hiệu khi mắt thư giãn (N) có độ dự đoán chính xác là 52 trên tổng 54 tín hiệu (96.3 %) Trong đó có

2 tín hiệu mắt khi thư giãn bị nhầm lẫn với tín hiệu nháy 2 mắt 2 lần

5.1.2 Kết quả mô hình phân loại 4 tín hiệu nháy mắt

❖ Kết quả huấn luyện Đề tài thực hiện huấn luyện tập dữ liệu gồm 4 loại tín hiệu là nháy 2 mắt 1 lần, nháy

2 mắt 2 lần, nháy mắt phải 1 lần và tập dữ liệu mắt lúc thư giãn Tổng số lượng tín hiệu dùng để huấn luyện là 1200 tín hiệu, trong đó có 300 tín hiệu từ mỗi tập dữ liệu

Tiến hành phân chia tập dữ liệu này làm tập huấn luyện chiếm tỉ lệ 80% và tập thử nghiệm với tỉ lệ 20% Mô hình phân chia được mô tả dưới bảng 5.4

Bảng 5.4 Phân chia dữ liệu huấn luyện và dữ liệu thẩm định với 4 dạng tín hiệu

Phân loại Dán nhãn Tập huấn luyện

Tất cả 1200 tín hiệu này sau khi dán nhãn sẽ được đưa vào mô hình huấn luyện Dữ liệu đưa vào huấn luyện gồm 960 tín hiệu và còn lại 240 tín hiệu của tập thử nghiệm dùng để kiểm tra độ chính xác của mô hình

Bảng 5.5 Kết quả huấn luyện 5 lần cao nhất từ mô hình phân loại 4 dạng tín hiệu

Lần huấn luyện Độ chính xác (%) Thời gian huấn luyện

Trung bình 96.944 9.2 phút Đề tài thực hiện huấn luyện mô hình nhiều lần và ghi nhận lại 5 lần huấn luyện đạt được kết quả tốt nhất được trình bày trong bảng 5.5

Kết quả ở 5 lần cao nhất của phân loại 4 dạng tín hiệu nháy mắt thu được với độ chính xác trung bình là 96.944 % và mô hình có độ chính xác cao nhất là 97.569 % được thể hiện trong hình 5.4

Hình 5.4 Kết quả huấn luyện của mô hình phân loại 4 đạt độ chính xác cao nhất

KẾT QUẢ ĐIỀU KHIỂN THIẾT BỊ

Khi hoàn thành mô hình phân loại tín hiệu EEG và hệ thống điều khiển thiết bị Sử dụng các giá trị đầu ra của của mô hình phân loại để điều khiển các hướng đi của xe lăn, bật tắt các thiết bị dân dụng như đèn và quạt,v.v Người thực hiện điều khiển các thiết bị bằng tín hiệu nháy mắt được thu bằng thiết bị Emotiv Epoc thông qua 4 kênh AF3, F7, AF4, F8

5.2.1 Kết quả điều khiển xe lăn

Người thực hiện tiến hành các kết nối giữa xe lăn, máy tính, mũ Emotiv với nhau Sau đó dùng tín hiệu nháy mắt thu được trực tiếp từ mũ Emotiv để điều khiển xe lăn

Hình 5.10 Mô hình điều khiển xe lăn Việc điều khiển xe lăn được thực hiện ở tầng 3, khu C, đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Môi trường thực hiện thí nghiệm như hình 5.11 Quãng đường xe lăn di chuyển là 21 m bao gồm các hướng di chuyển: đi thẳng, quay trái, quay phải, lùi lại, và dừng Khi bắt đầu điều khiển người thực hiện phải thư giãn, tránh trường hợp mắt mỏi, sau đó tập trung để đảm bảo chất lượng tín hiệu được tốt nhất và tránh kết quả điều khiển bị sai

Hình 5.11 Môi trường thí nghiệm Bảng 5.10 Các lệnh điều khiển xe lăn

Loại nháy mắt Dữ liệu đầu ra Lệnh điều khiển

Nháy 2 mắt 2 lần 1 Đi thẳng

Nháy mắt trái 2 Quay trái

Nháy mắt phải 4 Quay phải

Bảng 5.10 cho thấy các lệnh điều khiển xe lăn Xe lăn điện được thiết kế di chuyển với tốc độ 5 km/h Khi người thực hiện muốn xe lăn đi thẳng thì nháy 2 mắt 2 lần, muốn xe lăn lùi lại thì thực hiện nháy 2 mắt 1 lần Nếu muốn xe lăn dừng lại thì giữ mắt thư giãn,

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 70 muốn quay trái thì thực hiện nháy mắt trái và cuối cùng khi muốn thực hiện quay phải thì nháy mắt phải

Hình 5.12 Quãng đường xe lăn di chuyển

Quãng đường xe lăn di chuyển được mô tả như hình 5.12, đường đi là các đường màu đen Từ vị trí xuất phát người thực hiện sẽ nháy mắt phải để điều khiển xe lăn quay sang phải, tiếp tục sẽ nháy 2 mắt 2 lần để điều khiển xe lăn đi thẳng với quãng đường 6m, tiếp theo người thực hiện nháy mắt trái điều khiển xe lăn quay trái, tiếp tục nháy 2 mắt 2 lần điều khiển xe lăn đi thẳng với quảng đười 3m Sau đó, người thực hiện nháy mắt trái để điều khiển xe lăn quay trái, tiếp theo nháy 2 mắt 2 lần điều khiển xe lăn đi thẳng, tiếp tục nháy mắt trái để xe quay trái Tiếp tục nháy 2 mắt 2 lần để xe lăn đi thẳng, sau đó người thực hiện sẽ nháy 2 mắt 1 lần để điều khiển xe lăn lùi lại và cuối cùng để mắt ở trạng thái thư giãn để xe lăn dừng lại ở đích đến

Thời gian trung bình từ khi bắt đầu đến lúc thực hiện bản ghi nháy mắt là 11 giây Thời gian phân loại trung bình tính từ khi thực hiện nháy mắt và đưa ra lệnh điều khiển của nháy mắt trái là 14 giây, nháy mắt phải là 12 giây, nháy hai mắt là 13 giây và nháy hai mắt hai lần là 13 giây và mắt thư giãn là 13 giây Thời gian thực hiện nháy mắt là 6 giây Thời gian máy tính gửi tín hiệu cho bộ điều khiển đèn và quạt là 1 giây

Thời gian người thực hiện điều khiển xe lăn đi từ vị trí A-B là 5 giây, thời gian đi từ

B đến C là 22 giây, thời gian đi từ C đến D là 5 giây và thời gian từ D đến E là 11 giây, thời gian đi từ E đến F là 5 giây, thời gian đi từ F đến G là 22 giây, thời gian đi từ G đến H là 5 giây, thời gian đi từ H đến I là 11 giây và thời gian xe lăn di chuyển từ I đến đích là 11 Tổng thời gian là 97 giây

Sau khi điều khiển xe lăn dùng tín hiệu nháy mắt, nhận thấy việc phân loại tín hiệu thu được vẫn còn sai sót Kết quả phân loại trung bình được đưa ra dựa trên 10 lần thu tín hiệu trực tiếp như bảng 5.11

Bảng 5.11 Kết quả phân loại tín hiệu nháy mắt thu trực tiếp đối với mô hình điều khiển xe lăn điện

Loại nháy mắt Kết quả

5.2.2 Kết quả điều khiển đèn và quạt

Trước khi điều khiển thiết bị, người thực hiện tiến hành các kết nối giữa mô hình đèn và quạt, máy tính, mũ Emotiv với nhau Tiếp theo, sử dụng tín hiệu nháy mắt thu được trực tiếp từ mũ Emotiv để điều khiển xe lăn

Hình 5 13 Mô hình điều khiển đèn và quạt Bảng 5.12 Các lệnh điều khiển đèn và quạt

Loại nháy mắt Dữ liệu đầu ra Lệnh điều khiển

Nháy 2 mắt 1 lần 0 Bật quạt đỏ

Nháy 2 mắt 2 lần 1 Bật đèn đỏ

Nháy mắt trái 2 Bật đèn xanh

Mắt thư giãn 3 Tắt quạt, đèn

Nháy mắt phải 4 Bật quạt xanh

Các lệnh điều khiển đèn và quạt được mô tả như bảng 5.15 Đối với đèn và quạt là các thiết bị dân dụng trong gia đình, việc sử dụng tùy thuộc vào từng cá nhân Khi người thực hiện muốn điều khiển đèn đỏ sáng thì nháy 2 mắt 2 lần, muốn đèn xanh sáng thì thực hiện nháy mắt trái Nếu muốn bật quạt xanh thì nháy mắt phải, khi muốn thực hiện bật quạt đỏ thì nháy 2 mắt 1 lần Khi không có sử dụng đèn và quạt nữa thì giữ mắt ở trạng thái thư giãn để tắt đèn và quạt

Thời gian trung bình từ khi bắt đầu đến lúc thực hiện bản ghi nháy mắt là 10 giây Thời gian phân loại trung bình tính từ khi thực hiện nháy mắt và đưa ra lệnh điều khiển đèn và quạt của nháy mắt trái là 14 giây, nháy mắt phải là 12 giây, nháy hai mắt một lần là 14 giây và nháy hai mắt hai lần là 13 giây và mắt thư giãn là 13 giây Thời gian máy tính gửi tín hiệu cho bộ điều khiển đèn và quạt là 1 giây Thời gian thực hiện nháy mắt là 6 giây

Kết quả phân loại trung bình được đưa ra dựa trên 10 lần thu tín hiệu trực tiếp như bảng 5.16

Bảng 5.13 Kết quả phân loại tín hiệu nháy mắt thu trực tiếp đối với mô hình điều khiển đèn và quạt

Loại nháy mắt Kết quả

Tiêu đề	Phân Tích Hoạt Động Mắt Và Ứng Dụng Điều Khiển Thiết Bị Sử Dụng Phần Mềm Emotiv Pro
Tác giả	Nguyễn Thị Kiều Oanh, Trần Thị Kim Thành
Người hướng dẫn	Th.S Ngô Bá Việt
Trường học	Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
Chuyên ngành	Kỹ Thuật Y Sinh
Thể loại	Đồ Án Tốt Nghiệp
Năm xuất bản	2023
Thành phố	Tp. Hồ Chí Minh

Định dạng
Số trang	114
Dung lượng	7,79 MB