Điều khiển xe lăn điện thông minh qua sóng não

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH PHẠM VĂN HỮU THIỆN ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH QUA SĨNG NÃO Chun ngành: KỸ THUẬT ĐIỆN TỬ Mã chuyên ngành: 8520203 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Nguyễn Ngọc Sơn Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh ngày tháng năm 2021 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: - Chủ tịch Hội đồng - Phản biện - Phản biện - Ủy viên - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG KHOA CÔNG NGHỆ ĐIỆN TỬ TRƯỞNG KHOA BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHẠM VĂN HỮU THIỆN MSHV: 18104691 Ngày, tháng, năm sinh: 08/10/1980 Nơi sinh: Vĩnh Long Chuyên ngành: Kỹ Thuật Điện Tử Mã chuyên ngành: 8520203 I TÊN ĐỀ TÀI: ĐIỀU KHIỂN XE LĂN ĐIỆN THƠNG MINH QUA SĨNG NÃO NHIỆM VỤ VÀ NỘI DUNG: Thu thập trích xuất đặc trưng tín hiệu sóng não EEG từ cảm biến Mind Wave Mobile miền thời gian miền tần số Phân loại tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải, Dừng” dùng mạng nơ rôn nhân tạo Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG II NGÀY GIAO NHIỆM VỤ: Thực số 841/QĐ-ĐHCN ngày 10/07/2020 Trường Đại Học Cơng Nghiệp Thành Phố Hồ Chí Minh việc giao đề tài cử người hướng dẫn luận văn thạc sĩ III NGÀY HOÀN THÀNH NHIỆM VỤ: 20/01/2021 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Ngọc Sơn Tp Hồ Chí Minh, ngày … tháng 01 năm 2021 NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO KHOA CÔNG NGHỆ ĐIỆN TỬ TRƯỞNG KHOA LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn chân thành đến thầy TS Nguyễn Ngọc Sơn – Phó trưởng khoa Cơng nghệ Điện tử Trường Đại học Cơng Nghiệp Thành phố Hồ Chí Minh hướng dẫn, định hướng nghiên cứu suốt thời gian thực luận văn Những hướng dẫn tận tình, tác phong làm việc nghiêm túc trao đổi sâu sắc vấn đề luận văn thầy giúp nhiều nghiên cứu định hướng nghiên cứu Những điều học từ thầy sở quan trọng bước đường học tập, làm việc Xin cảm ơn Ban Giám hiệu, thầy cô khoa Công Nghệ Điện Tử Trường Đại Học Cơng Nghiệp Thành phố Hồ Chí Minh tạo điều kiện thuận lợi cho trình học tập Xin chân thành cảm ơn ông bà, cha mẹ động viên ủng hộ vật chất lẫn tinh thần suốt thời gian qua Xin cảm ơn quan tâm giúp đỡ ủng hộ anh chị, bạn bè, đồng nghiệp q trình thực luận văn i TĨM TẮT LUẬN VĂN THẠC SĨ Hiện nay, người cao tuổi, người khuyết tật bệnh nhân đột quỵ cộng đồng chiếm tỉ lệ cao Để giúp họ cải thiện chất lượng c̣c sống, khơng thể thiếu mợt xe lăn điện thơng minh điều khiển qua sóng não Trong đề tài này, trước tiên, tác giả trình bày cách ghi xử lý tín hiệu sóng não EEG thơ từ cảm biến điện não đồ MindWave Mobile2 Sau đó, thực phân tích trích xuất đặc trưng tín hiệu EEG mơ tả trạng thái (tới, lùi, rẽ trái, rẽ phải, dừng) miền thời gian dựa vào mẫu tín hiệu EEG ghi phân tích phổ tín hiệu biến đổi Fourier nhanh FFT (Fast Fourier Transform) biến đổi Fourier nhanh ngược IFFT (Inverse Fast Furier Transform) Các tín hiệu đặc trưng đưa vào mạng thần kinh nhân tạo để học phân loại thành tín hiêu điều khiển xe lăn chuyển động (tới, lùi, rẽ trái, rẽ phải, dừng) Cuối cùng, mơ hình thực nghiệm xe lăn điện thiết kế để kiểm chứng việc điều khiển xe lăn qua sóng não Kết kiểm chứng cho thấy, tỉ lệ điều khiển xe lăn qua sóng não di chuyển trung bình đạt 80% Trong tương lai, xe lăn điện tiếp tục khả điều khiển xác qua sóng não thiết kế bổ sung thêm tính khác tránh vật cản, định vị, đo thông số sức khỏe,… để xe lăn ngày thông minh thân thiện với người sử dụng ii ABSTRACT Currently, the elderly, people with disabilities and stroke patients in the community account for a high proportion To help them improve their quality of life, it is indispensable to have an intelligent electric wheelchair controlled through brain waves In this paper, we first present how to record and process raw EEG signals from the MindWave Mobile2 EEG sensor Then, perform analysis to extract characteristic signals describing states (forward, backward, left turn, right turn, stop) in time domain based on recorded EEG signal samples and analysis of signal spectrum The difference is the Fast Fourier FFT (Fast Fourier Transform) and the Inverse Fast Furier Transform (IFFT) These characteristic signals are fed into the artificial neural network for learning and classified into signals that control the wheelchair movement (forward, reverse, left turn, right turn, stop) Finally, the electric wheelchair experimental model is designed to test wheelchair control over brain waves The test results show that the average rate of controlling the wheelchair through the moving brain waves is over 80% In the future, electric wheelchairs will continue to have precise control over brain waves, and will also design to add other features such as obstacle avoidance, positioning, measuring health parameters for wheelchairs more and more intelligent and user friendly iii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu thân Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Phạm Văn Hữu Thiện iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv DANH MỤC HÌNH ẢNH ix DANH MỤC BẢNG BIỂU xi DANH MỤC TỪ VIẾT TẮT xii MỞ ĐẦU 1 Đặt vấn đề Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu Ý nghĩa thực tiễn đề tài CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Giới thiệu 1.2 Các nghiên cứu nước 1.2.1 Khái niệm Brain Computer Interface (BCI) 1.2.2 Các hệ thống BCI phát triển triển vọng 1.3 Nội dung nghiên cứu CHƯƠNG 2.1 CƠ SỞ LÝ THUYẾT Điện não đồ EEG 2.1.1 Cơ chế điện sinh lý điện não đồ EEG 2.1.2 Hoạt động điện màng tế bào thần kinh 10 2.1.3 Tế bào thần kinh lan truyền kích thích 11 2.1.4 Hoạt động điện da đầu 13 2.1.5 Các đặc trưng dạng sóng EEG 14 2.2 Các vị trí điện cực 16 v 2.3 Trích xuất đặc trưng 17 2.3.1 Các phương pháp trích xuất đặc trưng 18 2.3.2 Biến đổi Fast Fourier Transform (FFT) Inverse Fast Fourier Transform (IFFT) [23] 21 2.3.3 Đặc trưng EEG miền thời gian miền tần số 28 2.4 Mạng thần kinh nhân tạo 29 2.4.1 Mạng thần kinh nhân tạo ANN (Artificial Neural Network) 29 2.4.2 Mơ hình nơ rôn 29 2.4.3 Kiến trúc mạng 31 2.4.4 Huấn luyện mạng nơ rôn 35 2.4.5 Luật học mạng nơ rôn 36 2.4.6 Mạng Perceptron nhiều lớp 39 2.5 Cảm biến đo tín hiệu EEG 44 2.5.1 Các giá trị liệu 45 2.5.2 Cấu trúc gói liệu 45 2.5.3 Phân tích gói liệu 47 2.5.4 Phân tích data row 48 CHƯƠNG 3.1 PHÂN LOẠI TÍN HIỆU SĨNG NÃO EEG DÙNG MẠNG NƠ RƠN MLP 49 Xác định tín hiệu điều khiển xe lăn điện 49 3.1.1 Thu thập liệu 49 3.1.2 Xử lý liệu 50 3.1.3 Trích xuất đặc trưng 51 3.1.4 Kết thực nghiệm 52 3.2 Phân loại tín hiệu EEG dùng mạng nơ rôn 60 3.2.1 Cấu trúc mạng nơ rôn 61 3.2.2 Tập liệu huấn luyện 63 3.2.3 Thuật toán huấn luyện mạng 68 3.2.4 Kết phân loại EEG 69 3.3 Kết luận 76 CHƯƠNG ĐIỀU KHIỂN XE LĂN ĐIỆN DÙNG TÍN HIỆU EEG 77 vi 4.1 Lắp ráp xe lăn điện 77 4.1.1 Board điều khiển Arduino nano (H4_hình 4.1) 78 4.1.2 Mô đun thu phát RF Zigbee UART CC2530 (H8_hình 4.1) 79 4.1.3 Motor DC Board điều khiển cầu H Mosfet 80 4.1.4 Cảm biến siêu âm HC-SR04 82 4.1.5 Bo nguồn giảm áp LM2596 82 4.1.6 Bo chuyển đổi USB-TTL 83 4.1.7 Bình accqui 83 4.2 Kiến trúc điều khiển hệ thống 84 4.2.1 Neurosky Headset 84 4.2.2 Computer System 84 4.2.3 RF Zigbee 84 4.2.4 Arduino Nano 85 4.2.5 DC Motor Driver 85 4.2.6 DC Motor 85 4.2.7 Wheelchair 85 4.3 Lưu đồ giải thuật điều khiển xe lăn điện 86 4.3.1 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến 86 4.3.2 Lưu đồ giải thuật xử lý đặc trưng 87 4.3.3 Lưu đồ giải thuật Arduino Nano điều khiển xe lăn điện 88 4.4 Kết điều khiển xe lăn điện thực tế 90 4.4.1 Xử lý tín hiệu EEG 90 4.4.2 Điều khiển xe lăn điện 91 4.4.3 Kết điều khiển xe lăn điện 92 4.5 Kết luận 98 KẾT LUẬN VÀ KIẾN NGHỊ 99 Kết đạt 99 Hướng phát triển đề tài 100 DANH MỤC CƠNG TRÌNH ĐÃ CÔNG BỐ CỦA HỌC VIÊN 101 TÀI LIỆU THAM KHẢO 102 vii if (bien3==0){ digitalWrite(dir_1, HIGH); //trai //digitalWrite(dir_2, HIGH); for (int i = 0;i