Điều khiển xe lăn điện thông minh qua sóng não p1

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH PHẠM VĂN HỮU THIỆN ĐIỀU KHIỂN XE LĂN ĐIỆN THÔNG MINH QUA SÓNG NÃO Chuyên ngành KỸ THUẬT ĐIỆN TỬ Mã chuyên ngành 8520203 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học TS Nguyễn Ngọc Sơn Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày tháng năm 2021 Thành ph.

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH PHẠM VĂN HỮU THIỆN ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH QUA SĨNG NÃO Chun ngành: KỸ THUẬT ĐIỆN TỬ Mã chuyên ngành: 8520203 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Nguyễn Ngọc Sơn Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh ngày tháng năm 2021 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: - Chủ tịch Hội đồng - Phản biện - Phản biện - Ủy viên - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG KHOA CÔNG NGHỆ ĐIỆN TỬ TRƯỞNG KHOA BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHẠM VĂN HỮU THIỆN MSHV: 18104691 Ngày, tháng, năm sinh: 08/10/1980 Nơi sinh: Vĩnh Long Chuyên ngành: Kỹ Thuật Điện Tử Mã chuyên ngành: 8520203 I TÊN ĐỀ TÀI: ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH QUA SĨNG NÃO NHIỆM VỤ VÀ NỘI DUNG: Thu thập trích xuất đặc trưng tín hiệu sóng não EEG từ cảm biến Mind Wave Mobile miền thời gian miền tần số Phân loại tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải, Dừng” dùng mạng nơ rôn nhân tạo Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG II NGÀY GIAO NHIỆM VỤ: Thực số 841/QĐ-ĐHCN ngày 10/07/2020 Trường Đại Học Cơng Nghiệp Thành Phố Hồ Chí Minh việc giao đề tài cử người hướng dẫn luận văn thạc sĩ III NGÀY HOÀN THÀNH NHIỆM VỤ: 20/01/2021 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Ngọc Sơn Tp Hồ Chí Minh, ngày … tháng 01 năm 2021 NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO KHOA CÔNG NGHỆ ĐIỆN TỬ TRƯỞNG KHOA LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn chân thành đến thầy TS Nguyễn Ngọc Sơn – Phó trưởng khoa Cơng nghệ Điện tử Trường Đại học Cơng Nghiệp Thành phố Hồ Chí Minh hướng dẫn, định hướng nghiên cứu suốt thời gian thực luận văn Những hướng dẫn tận tình, tác phong làm việc nghiêm túc trao đổi sâu sắc vấn đề luận văn thầy giúp nhiều nghiên cứu định hướng nghiên cứu Những điều học từ thầy sở quan trọng bước đường học tập, làm việc Xin cảm ơn Ban Giám hiệu, thầy cô khoa Công Nghệ Điện Tử Trường Đại Học Cơng Nghiệp Thành phố Hồ Chí Minh tạo điều kiện thuận lợi cho trình học tập Xin chân thành cảm ơn ông bà, cha mẹ động viên ủng hộ vật chất lẫn tinh thần suốt thời gian qua Xin cảm ơn quan tâm giúp đỡ ủng hộ anh chị, bạn bè, đồng nghiệp q trình thực luận văn i TĨM TẮT LUẬN VĂN THẠC SĨ Hiện nay, người cao tuổi, người khuyết tật bệnh nhân đột quỵ cộng đồng chiếm tỉ lệ cao Để giúp họ cải thiện chất lượng c̣c sống, khơng thể thiếu mợt xe lăn điện thơng minh điều khiển qua sóng não Trong đề tài này, trước tiên, tác giả trình bày cách ghi xử lý tín hiệu sóng não EEG thơ từ cảm biến điện não đồ MindWave Mobile2 Sau đó, thực phân tích trích xuất đặc trưng tín hiệu EEG mơ tả trạng thái (tới, lùi, rẽ trái, rẽ phải, dừng) miền thời gian dựa vào mẫu tín hiệu EEG ghi phân tích phổ tín hiệu biến đổi Fourier nhanh FFT (Fast Fourier Transform) biến đổi Fourier nhanh ngược IFFT (Inverse Fast Furier Transform) Các tín hiệu đặc trưng đưa vào mạng thần kinh nhân tạo để học phân loại thành tín hiêu điều khiển xe lăn chuyển động (tới, lùi, rẽ trái, rẽ phải, dừng) Cuối cùng, mơ hình thực nghiệm xe lăn điện thiết kế để kiểm chứng việc điều khiển xe lăn qua sóng não Kết kiểm chứng cho thấy, tỉ lệ điều khiển xe lăn qua sóng não di chuyển trung bình đạt 80% Trong tương lai, xe lăn điện tiếp tục khả điều khiển xác qua sóng não thiết kế bổ sung thêm tính khác tránh vật cản, định vị, đo thông số sức khỏe,… để xe lăn ngày thông minh thân thiện với người sử dụng ii ABSTRACT Currently, the elderly, people with disabilities and stroke patients in the community account for a high proportion To help them improve their quality of life, it is indispensable to have an intelligent electric wheelchair controlled through brain waves In this paper, we first present how to record and process raw EEG signals from the MindWave Mobile2 EEG sensor Then, perform analysis to extract characteristic signals describing states (forward, backward, left turn, right turn, stop) in time domain based on recorded EEG signal samples and analysis of signal spectrum The difference is the Fast Fourier FFT (Fast Fourier Transform) and the Inverse Fast Furier Transform (IFFT) These characteristic signals are fed into the artificial neural network for learning and classified into signals that control the wheelchair movement (forward, reverse, left turn, right turn, stop) Finally, the electric wheelchair experimental model is designed to test wheelchair control over brain waves The test results show that the average rate of controlling the wheelchair through the moving brain waves is over 80% In the future, electric wheelchairs will continue to have precise control over brain waves, and will also design to add other features such as obstacle avoidance, positioning, measuring health parameters for wheelchairs more and more intelligent and user friendly iii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu thân Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Phạm Văn Hữu Thiện iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv DANH MỤC HÌNH ẢNH ix DANH MỤC BẢNG BIỂU xi DANH MỤC TỪ VIẾT TẮT xii MỞ ĐẦU 1 Đặt vấn đề Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu Ý nghĩa thực tiễn đề tài CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Giới thiệu 1.2 Các nghiên cứu nước 1.2.1 Khái niệm Brain Computer Interface (BCI) 1.2.2 Các hệ thống BCI phát triển triển vọng 1.3 Nội dung nghiên cứu CHƯƠNG 2.1 CƠ SỞ LÝ THUYẾT Điện não đồ EEG 2.1.1 Cơ chế điện sinh lý điện não đồ EEG 2.1.2 Hoạt động điện màng tế bào thần kinh 10 2.1.3 Tế bào thần kinh lan truyền kích thích 11 2.1.4 Hoạt động điện da đầu 13 2.1.5 Các đặc trưng dạng sóng EEG 14 2.2 Các vị trí điện cực 16 v 2.3 Trích xuất đặc trưng 17 2.3.1 Các phương pháp trích xuất đặc trưng 18 2.3.2 Biến đổi Fast Fourier Transform (FFT) Inverse Fast Fourier Transform (IFFT) [23] 21 2.3.3 Đặc trưng EEG miền thời gian miền tần số 28 2.4 Mạng thần kinh nhân tạo 29 2.4.1 Mạng thần kinh nhân tạo ANN (Artificial Neural Network) 29 2.4.2 Mơ hình nơ rôn 29 2.4.3 Kiến trúc mạng 31 2.4.4 Huấn luyện mạng nơ rôn 35 2.4.5 Luật học mạng nơ rôn 36 2.4.6 Mạng Perceptron nhiều lớp 39 2.5 Cảm biến đo tín hiệu EEG 44 2.5.1 Các giá trị liệu 45 2.5.2 Cấu trúc gói liệu 45 2.5.3 Phân tích gói liệu 47 2.5.4 Phân tích data row 48 CHƯƠNG 3.1 PHÂN LOẠI TÍN HIỆU SĨNG NÃO EEG DÙNG MẠNG NƠ RƠN MLP 49 Xác định tín hiệu điều khiển xe lăn điện 49 3.1.1 Thu thập liệu 49 3.1.2 Xử lý liệu 50 3.1.3 Trích xuất đặc trưng 51 3.1.4 Kết thực nghiệm 52 3.2 Phân loại tín hiệu EEG dùng mạng nơ rôn 60 3.2.1 Cấu trúc mạng nơ rôn 61 3.2.2 Tập liệu huấn luyện 63 3.2.3 Thuật toán huấn luyện mạng 68 3.2.4 Kết phân loại EEG 69 3.3 Kết luận 76 CHƯƠNG ĐIỀU KHIỂN XE LĂN ĐIỆN DÙNG TÍN HIỆU EEG 77 vi 4.1 Lắp ráp xe lăn điện 77 4.1.1 Board điều khiển Arduino nano (H4_hình 4.1) 78 4.1.2 Mô đun thu phát RF Zigbee UART CC2530 (H8_hình 4.1) 79 4.1.3 Motor DC Board điều khiển cầu H Mosfet 80 4.1.4 Cảm biến siêu âm HC-SR04 82 4.1.5 Bo nguồn giảm áp LM2596 82 4.1.6 Bo chuyển đổi USB-TTL 83 4.1.7 Bình accqui 83 4.2 Kiến trúc điều khiển hệ thống 84 4.2.1 Neurosky Headset 84 4.2.2 Computer System 84 4.2.3 RF Zigbee 84 4.2.4 Arduino Nano 85 4.2.5 DC Motor Driver 85 4.2.6 DC Motor 85 4.2.7 Wheelchair 85 4.3 Lưu đồ giải thuật điều khiển xe lăn điện 86 4.3.1 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến 86 4.3.2 Lưu đồ giải thuật xử lý đặc trưng 87 4.3.3 Lưu đồ giải thuật Arduino Nano điều khiển xe lăn điện 88 4.4 Kết điều khiển xe lăn điện thực tế 90 4.4.1 Xử lý tín hiệu EEG 90 4.4.2 Điều khiển xe lăn điện 91 4.4.3 Kết điều khiển xe lăn điện 92 4.5 Kết luận 98 KẾT LUẬN VÀ KIẾN NGHỊ 99 Kết đạt 99 Hướng phát triển đề tài 100 DANH MỤC CƠNG TRÌNH ĐÃ CÔNG BỐ CỦA HỌC VIÊN 101 TÀI LIỆU THAM KHẢO 102 vii PHỤ LỤC 107 Chi tiết đặc tính kỹ thuật thiết bị 107 1.1 Bo điều khiển Arduino nano 107 1.2 Module thu phát RF Zigbee UART CC2530 114 1.3 Motor DC Board điều khiển cầu H Mosfet 117 1.4 Cảm biến siêu âm HC-SR04 122 1.5 Board nguồn giảm áp LM2596 123 Chương trình Matlab thu thập tín hiệu EEG, trích xuất đặc trưng phân loại tín hiệu điều khiển 124 Chương trình vi điều khiển Arduino nano điều khiển xe lăn điện 128 Đặc trưng tín hiệu EEG 136 4.1 Bảng 250 mẫu huấn luyện nơ rôn 136 4.2 Bảng 50 mẫu test nơ rôn 143 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 145 viii DANH MỤC HÌNH ẢNH Hình 1.1 Nguyên lý P300 [14] Hình 1.2 Mind cursor [17] Hình 2.1 Các thùy vỏ não [32] 10 Hình 2.2 Các giai đoạn đáp ứng kích thích tế bào thần kinh [33] 11 Hình 2.3 Cấu trúc mợt tế bào thần kinh [34] 12 Hình 2.4 Kết nối tế bào thần kinh [35] 13 Hình 2.5 Các sóng EEG [36] 14 Hình 2.6 Sóng mu [37] 16 Hình 2.7 Các vị trí điện cực theo tiêu chuẩn 10-20 [38] 17 Hình 2.8 Biến đổi Fourier hai dãy 24 Hình 2.9 Sơ đồ phân chia thời gian tín hiệu 25 Hình 2.10 Mơ hình nơ rơn nhân tạo 30 Hình 2.11 Mạng nơ rôn một lớp với S nơ rôn 32 Hình 2.12 Mơ hình mạng ANN một lớp gồm S nơ rôn 33 Hình 2.13 Mơ hình mạng ANN gồm lớp 33 Hình 2.14 Mạng ANN lớp dạng rút gọn 34 Hình 2.15 Mơ hình mạng có phản hồi 35 Hình 2.16 Mạng Multi Layer Perceptron lớp 40 Hình 2.17 Cảm biến MindWave Mobile [39] 44 Hình 3.1 Sơ đồ khối q trình xác định tín hiệu 49 Hình 3.2 Tín hiệu cử hành đợng “mở mắt”, 54 Hình 3.3 Tín hiệu “mở mắt” “nhắm mắt” miền tần số 9-11hz 55 Hình 3.4 Tín hiệu “mở mắt” “chớp mắt lần/giây” miền tần số 1-7hz 56 Hình 3.5 Tín hiệu “mở mắt” “chớp mắt lần/giây” miền thời gian 56 Hình 3.6 Tín hiệu “mở mắt” “chớp mắt >1 lần/giây” miền tần số 1-7hz 57 Hình 3.7 Tín hiệu “mở mắt” “chớp mắt >1 lần/giây” miền thời gian 58 Hình 3.8 Tín hiệu “mở mắt” “nhìn lên” miền thời gian 59 Hình 3.9 Sơ đồ cấu trúc mạng nơ rôn đề xuất 62 Hình 3.10 Lưu đồ thuật tốn h́n luyện mạng 68 Hình 3.11 Mơ hình mạng MLP sử dụng hệ thống 69 Hình 3.12 Mơ hình phân loại nơ rơn lớp ẩn 70 Hình 3.13 Kết phân loại nơ rôn lớp ẩn 70 Hình 3.14 Mơ hình phân loại nơ rôn lớp ẩn 72 Hình 3.15 Kết phân loại nơ rôn lớp ẩn 72 Hình 3.16 Kết phân loại nơ rôn lớp ẩn lần 74 ix Hình 4.1 Xe lăn điện tái sử dụng từ xe lăn thường 77 Hình 4.2 board điều khiển Arduino Nano 78 Hình 4.3 Module thu phát RF Zigbee UART CC2530 79 Hình 4.4 Motor xe lăn điện 80 Hình 4.5 Mạch điều khiển kép hai cầu H Mosfet 81 Hình 4.6 Cảm biến siêu âm HC-SR04 82 Hình 4.7 Board giảm áp DC LM2596 82 Hình 4.8 Board chuyển đổi USB-TTL 83 Hình 4.9 Kiến trúc điều khiển hệ thống 84 Hình 4.10 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến 86 Hình 4.11 Lưu đồ giải thuật xử lý đặc trưng 87 Hình 4.12 Lưu đồ giải thuật Arduino điều khiển xe lăn điện 88 Hình 4.13 Người điều khiển xe lăn điện thứ 93 Hình 4.14 Người điều khiển xe lăn điện thứ 94 Hình 4.15 Người điều khiển xe lăn điện thứ 95 Hình 4.16 Người điều khiển xe lăn điện thứ 96 Hình 4.17 Người điều khiển xe lăn điện thứ 97 x DANH MỤC BẢNG BIỂU Bảng 1.1 Kết phân tích liệu từ tín hiệu EEG Bảng 1.2 Dữ liệu kết từ người tham gia Bảng 2.1 Bảng định nghĩa Single Byte code 47 Bảng 2.2 Multi Byte Code 47 Bảng 3.1 Danh sách người tham gia lấy mẫu 52 Bảng 3.2 So sánh đặc trưng tín hiệu “mở mắt” “nhắm mắt” 55 Bảng 3.3 So sánh đặc trưng tín hiệu “mở mắt” “chớp mắt lần/giây” 57 Bảng 3.4 So sánh đặc trưng tín hiệu “mở mắt”, 58 Bảng 3.5 So sánh đặc trưng tín hiệu “mở mắt” “nhìn lên” 59 Bảng 3.6 So sánh đặc trưng tín hiệu cử hành động “mở mắt”, “nhắm mắt”, “chớp mắt lần/giây”, “chớp mắt >1 lần/giây” “nhìn lên” 60 Bảng 3.7 Tập liệu 50 mẫu “mở mắt” thu thập từ người tham gia 64 Bảng 3.8 Tập liệu 50 mẫu “nhắm mắt” thu thập từ người tham gia 64 Bảng 3.9 Tập liệu 50 mẫu “chớp mắt lần/giây” 65 Bảng 3.10 Tập liệu 50 mẫu “chớp mắt >1 lần/giây” 65 Bảng 3.11 Tập liệu 50 mẫu “nhìn lên” thu thập từ người tham gia 66 Bảng 3.12 Tập liệu 50 mẫu “test” thu thập từ người tham gia 67 Bảng 3.13 Kết phân loại nơ rôn lớp ẩn 70 Bảng 3.14 Kết phân loại nơ rôn lớp ẩn 73 Bảng 3.15 Kết phân loại nơ rôn lớp ẩn lần 75 Bảng 4.1 Tín hiệu điều khiển xe lăn điện 89 Bảng 4.2 Thông tin người tham gia điều khiển xe lăn điện 92 Bảng 4.3 Kết điều khiển 93 Bảng 4.4 Kết điều khiển 94 Bảng 4.5 Kết điều khiển 95 Bảng 4.6 Kết điều khiển 96 Bảng 4.7 Kết điều khiển 97 Bảng 4.8 Dữ liệu kết từ người tham gia 97 xi DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt ANN AI BCI BP CFT DFT EEG FFT IDFT 10 IFFT 11 MLP Thuật ngữ Artificial Neural Network Artificial Intelligence Brain Computer Interface Back Propagation Continuously Fourier Transform Discrete Fourier Transform Electroencephalogram Fast Fourier Transform Fast Continuous Fourier Transform Inverse Fast Fourier Transform Multi Layer Perceptron xii Ý nghĩa tiếng Việt Mạng thần kinh nhân tạo Trí tuệ nhân tạo Giao diện não máy tính Lan truyền ngược Biến đổi Fourier liên tục Biến đổi Fourier rời rạc Điện não đồ Biến đổi Fourier nhanh Biến đổi Fourier liên tục nhanh Biến đổi Fourier nhanh ngược Perceptron nhiều lớp MỞ ĐẦU Đặt vấn đề Ngày nay, tỷ lệ người cao tuổi dân số ngày tăng, nhu cầu sử dụng xe lăn tăng đáng kể không người khuyết tật cộng đồng mà người già bệnh khác đột quỵ làm mất tác dụng dây thần kinh bộ phận thể, bệnh nhân di chuyển mợt số khu vực nhất định (mắt, lưỡi não) Có nhiều phương pháp khác giúp cho người khuyết tật, bệnh nhân sau đột quỵ; điện não đồ phương pháp ghi lại hoạt động điện não thông qua da đầu Phương pháp sử dụng rộng rãi một công cụ điều trị y tế Phương pháp sử dụng điện não đồ giúp người khuyết tật, bệnh nhân sau đột quỵ sử dụng xe lăn mà họ điều khiển di chuyển cử não bộ BCI (Brain Computer Interface) mợt hệ thống giúp người giao tiếp, kiểm sốt, điều khiển thiết bị xung quanh tín hiệu sóng não, cách sử dụng BCI thiết bị đọc sóng não EEG kết hợp với xe lăn điện giúp người khuyết tật, bệnh nhân sau đột quỵ di chuyển theo suy nghĩ để giúp họ cải thiện chất lượng cuộc sống Như cần thiết để làm xe lăn điện thông minh sử dụng nhiều người từ bệnh nhân khác Một hệ thống nghiên cứu phát triển việc sử dụng tín hiệu xử lý điện não đồ (EEG) Brain Computer Interface (BCI) để điều khiển thiết bị như: xe tự động, cánh tay Robot, xe lăn điện,… Mục tiêu nghiên cứu Thu thập trích x́t đặc trưng tín hiệu sóng não EEG từ cảm biến Mind Wave Mobile miền thời gian miền tần số Phân loại tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải, Dừng” dùng mạng nơ rôn nhân tạo Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu: Xe lăn điện điều khiển sóng não EEG  Phạm vi nghiên cứu: Điện não đồ loại sóng não Cảm biến đọc sóng não EEG Biến đổi Fourier (FFT, IFFT) Mạng thần kinh nhân tạo ANN Vi điều khiển Các phương pháp điều khiển xe lăn điện Cách tiếp cận phương pháp nghiên cứu  Cách tiếp cận: Sử dụng thiết bị Neurosky mindwave mobile để thu thập tín hiệu đặc trưng sóng não (Tới, lùi, trái, phải, dừng), dựa vào cử hành động: (mở mắt, nhắm mắt, chớp mắt lần/giây, chớp mắt >1 lần/giây, nhìn lên) Dùng phép biến đổi Fourier nhanh Fast Fourier Transform (FFT) biến đổi ngược IFFT trích xuất đặc trưng cử hành động: (mở mắt, nhắm mắt, chớp mắt lần/giây, chớp mắt >1 lần/giây, nhìn lên) Dùng mạng nơ rôn nhân tạo để huấn luyện, nhận dạng phân loại cử hành động: (mở mắt, nhắm mắt, chớp mắt lần/giây, chớp mắt >1 lần/giây, nhìn lên) Lập trình vi điều khiển nhận tín hiệu từ laptop gửi đến qua RF Zigbee để điều khiển xe lăn điện di chuyển (Tới, lùi, trái, phải, dừng)  Phương pháp nghiên cứu: Tra cứu nghiên cứu liên quan EEG Nghiên cứu lý thuyết Thực nghiệm Ý nghĩa thực tiễn đề tài  Ý nghĩa khoa học: Phân tích trích xuất đặc trưng tín hiệu suy nghĩ sóng não thơ, dựa thuật tốn biến đổi Fourier nhanh (FFT) Fourier nhanh ngược (IFFT) Đặc trưng rất phù hợp để làm đầu vào cho mơ hình phân lớp học máy, nhất toán phân loại tín hiệu điện não Phân loại tín hiệu sóng não sử dụng mạng thần kinh nhân tạo ANN (mạng truyền thẳng MLP) để giải toán liên quan đến tín hiệu điện não hệ giao diện não máy tính Phân tích, trích xuất đặc trưng phân loại tín hiệu điện não bước đầu nghiên cứu tiếp cận với trí tuệ nhân tạo (AI)  Ý nghĩa thực tiễn: Nghiên cứu nhằm góp phần vào chế tạo xe lăn điện giá rẽ để hỗ trợ cho người già, tàn tật, bệnh nhân đột quỵ Nghiên cứu bước đầu để tiến tới điều khiển hệ thống thông minh khác như: Nhà thông điều khiển thiết bị suy nghĩ, xe không người láy, cảnh báo tài xế láy xe ngủ gật,… tiến xa trí tuệ nhân tạo (AI) CHƯƠNG 1.1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU Giới thiệu Não bộ trung tâm hệ thần kinh trung ương, chi phối hoạt động thể Trong q trình hoạt đợng, não bợ tiêu thụ lượng lớn đồng thời phát sinh tín hiệu đặc trưng, tín hiệu gọi EEG Đây sở khoa học cho thiết bị ghi nhận tín hiệu sóng não Các thiết bị sử dụng cặp điện cực chế tạo từ kim loại dẫn điện tốt như: bạc, vàng,… để ghi nhận mức chênh lệch áp điện cực, chúng chủ yếu sử dụng lĩnh vực y tế để hỗ trợ việc chẩn đoán điều trị cho bệnh thần kinh; đặc điểm chung chúng rất đắt tiền (đặc biệt mợt số thiết bị phẫu thuật) lý mà trước chúng phù hợp với ứng dụng điều kiện kỹ thuật nghiêm ngặt phịng thí nghiệm hay bệnh viện Ngày với tiến bộ khoa học kỹ thuật, nhiều thiết bị ghi nhận EEG phát triển với ưu điểm trình lắp đặt vận hành đơn giản, thiết kế với kích thước nhỏ gọn, người dùng dễ dàng mang đeo, chi phí thấp nên lựa chọn phù hợp cho hệ thống BCI (brain computer interface) Các hệ thống cho phép người dùng tương tác với máy tính mợt cách trực tiếp mà không cần thông qua ngoại vi như: cḥt hay bàn phím thay vào tín hiệu điều khiển phát từ não bợ mợt cách dễ dàng với hỗ trợ hệ thống BCI [1] người điều khiển thiết bị điện tử một phần thể, hướng phát triển dù nhiều hạn chế công nghệ dẫn đến độ tin cậy hệ thống không cao lại mở hy vọng cải thiện chất lượng cuộc sống người khiếm khuyết lực vận động tương lai gần [2-4] Trong phạm vi đề tài tác giả hướng đến mục tiêu tìm đặc trưng tần số biên đợ tín hiệu EEG để thành lệnh điều khiển xe lăn điện, khác với nghiên cứu trước tập trung sử dụng cảm biến EEG đa kênh [5-7]; đề tài hướng đến việc sử dụng cảm biến đơn kênh để tận dụng ưu điểm giá rẻ dễ dàng sử dụng mà đảm bảo cho kết tốt nhất Các nghiên cứu nước 1.2 Các tác giả báo [8] đề cập nghiên cứu “Xe lăn điều khiển dựa não giao diện máy tính sử dụng cảm biến Neurosky Mindwave Mobile 2” Nội dung nghiên cứu tác giả sử dụng thiết bị Neurosky Mindwave Mobile để đọc tín hiệu sóng não EEG, tín hiệu EEG thu từ cảm biến gửi đến máy tính cá nhân (Laptop) qua bluetooth, máy tính đưa tín hiệu nhận vào phần mềm Matlab để xử lý phân loại thành loại liệu điều khiển (tới, lùi, phải, trái, mặc định); sau máy tính gửi loại liệu điều khiển đến vi điều khiển (Arduino) module Bluetooth; vi điều khiển nhận liệu điều khiển cần điều khiển xe lăn điện di chuyển Trong nghiên cứu này, tác giả chủ yếu xử lý tín hiệu Alpha cao (tập trung ý thiền định) Tín hiệu Alpha cao đạt 4060% điều kiện bình thường đạt 100% cách tập trung ý thiền định Kết nghiên cứu sau: Bảng 1.1 Kết phân tích liệu từ tín hiệu EEG Phân loại tín hiệu Chú ý Thiền Alpha cao Tới 40 - 60 ≥ 60 ≥ 12000 Lùi ≥ 60 ≤ 55 ≥ 12000 Trái 40 - 70 ≥ 60 16000 - 38000 Phải ≥ 60 ≤ 55 16000 - 38000 Mặc định Từ liệu thu trên, kết tương đối tốt cho việc di chuyển tới, lùi mặc định Trong rẽ phải rẽ trái tín hiệu EEG tương tự với di chuyển tới lùi Vì vậy, tác giả báo đề xuất thêm chuyển động mắt liên tục cho rẽ phải rẽ trái Kết thêm chuyển động mắt liên tục cho rẽ phải rẽ trái kiểm nghiệm cho người tham gia (mỗi người kiểm nghiệm lần) sau: Bảng 1.2 Dữ liệu kết từ người tham gia Tín hiệu Người Người Người Người Người Toàn Tới 6/9 9/9 7/9 8/9 7/9 82,22% Lùi 8/9 6/9 7/9 6/9 6/9 73,33% Trái 4/9 4/9 5/9 3/9 5/9 46,67% Phải 2/9 1/9 1/9 2/9 2/9 17,78% 55,56% 55,56% 55,56% 52,78% 55,56% Tồn bợ 1.2.1 Khái niệm Brain Computer Interface (BCI) BCI cho phép người dùng điều khiển thiết bị mà không cần phải sử dụng phương pháp bình thường thơng qua ngoại vi (cḥt, bàn phím, micro,…), thay vào cách sử dụng tín hiệu từ não bợ [9] Hiện hầu hết hệ thống BCI phát triển chủ yếu tập trung vào lĩnh vực y học, tiềm chúng việc cải thiện chất lượng cuộc sống người bị khuyết tật khả vận động, phức tạp hệ thống BCI trước làm cho chúng phù hợp với nghiên cứu phịng thí nghiệm Tuy nhiên với tiến bộ khoa học kỹ thuật, thời gian gần dẫn đến đời thiết bị ghi nhận tín hiệu EEG giá rẻ, gọn nhẹ hướng đến người dùng đưa ứng dụng BCI gần với cuộc sống 1.2.2 Các hệ thống BCI phát triển triển vọng Trong vài năm trở lại đây, hệ thống BCI có bước tiến triển đáng kể, kích thước nhỏ gọn, dễ dàng lắp đặt sử dụng [10], giá phù hợp với người dùng yếu tố quan trọng để đưa nghiên cứu phịng thí nghiệm ứng dụng vào c̣c sống Một số công ty như: neurosky, emotiv,… phát triển thiết bị ứng dụng phục vụ cho yêu cầu giải trí nghiên cứu Các công ty cung cấp thiết bị phần cứng để ghi nhận tín hiệu EEG điều kiện bình thường ngồi phịng thí nghiệm với ưu điểm giá thành phù hợp Sự phát triển phần mềm mã nguồn mở xử lý tín hiệu dùng cho hệ thống BCI tích hợp với Matlab kể đến như: BCI 2000 [11], Open Vibe, EEG lab [12-13], yếu tố khuyến khích cợng đồng nghiên cứu tham gia nhiều vào lĩnh vực Hệ thống intendi X một hệ thống đánh vần dựa vào tín hiệu EEG sử dụng nguyên lý P300 [14-15] Người dùng mang một thiết bị ghi nhận gồm nhiều cảm biến một bảng ma trận với phần tử chữ alphabet, hàng cột ma trận chớp nhanh ngẫu nhiên; kích thích tạo phản ứng não bợ theo nguyên lý P300, phản ứng đủ để hệ thống nhận diện chữ mà người dùng muốn đánh vần [16] Hệ thống đánh giá có tốc đợ xử lý nhanh dễ dàng sử dụng theo intendi X “người dùng cần phải luyện tập để thục khoảng thời gian 10 phút” Hình 1.1 Ngun lý P300 [14] Mind cursor mợt nghiên cứu cải tiến wolpaw Macfarland, sử dụng ngun lý sóng Mu [17], đợ lớn biên độ để điều khiển trỏ di chuyển lên xuống theo phương thẳng đứng độ sai khác biên độ thành phần phổ lượng để điều khiển trỏ chuột di chuyển theo phương ngang Bằng phương pháp này, hệ thống cho phép người dùng điều khiển trỏ đến góc hình Phương pháp sử dụng sóng Mu sử dụng rợng rãi nghiên cứu điều khiển sóng não, có liên kết rất chặt chẽ đến suy nghĩ điều khiển vận đợng Hình 1.2 Mind cursor [17] Trong phương pháp ghi nhận sóng não, EEG xem xét phù hợp nhất với mục đích quy mơ đề tài, ưu điểm như: cảm biến EEG có giá thành phù hợp dễ dàng tìm thấy thị trường, kích thước nhỏ gọn, dễ dàng mang đeo, khơng tốn nhiều thời gian để lắp đặt nên sử dụng dễ dàng 1.3 Nội dung nghiên cứu Nghiên cứu tổng quan tín hiệu sóng não EEG cách thu thập sóng não EEG thực tế Phân tích, trích x́t đặc trưng tín hiệu sóng não EEG thu thập từ thiết bị Neurosky mindwave mobile Sử dụng mạng thần kinh nhân tạo ANN để nhận dạng phân loại 05 tín hiệu sóng não EEG Lập trình nhúng điều khiển xe lăn điện hoạt động Tới, Lùi, rẽ Phải, rẽ Trái dừng sóng não EEG Phân tích, đánh giá kết kiểm chứng thực nghiệm để từ tổng kết kết đạt được, hạn chế hướng phát triển ... Arduino điều khiển xe lăn điện 88 Hình 4.13 Người điều khiển xe lăn điện thứ 93 Hình 4.14 Người điều khiển xe lăn điện thứ 94 Hình 4.15 Người điều khiển xe lăn điện thứ ... điều khiển xe lăn điện 88 4.4 Kết điều khiển xe lăn điện thực tế 90 4.4.1 Xử lý tín hiệu EEG 90 4.4.2 Điều khiển xe lăn điện 91 4.4.3 Kết điều khiển xe lăn điện ... lệ điều khiển xe lăn qua sóng não di chuyển trung bình đạt 80% Trong tương lai, xe lăn điện tiếp tục khả điều khiển xác qua sóng não thiết kế bổ sung thêm tính khác tránh vật cản, định vị, đo thông