Luận án với mục tiêu tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một cách dễ dàng và hiệu quả. Sử dụng các công cụ toán học để phân tích tín hiệu thành các đặc trưng cơ bản, sử dụng gom cụm dữ liệu trước khi đưa vào mạng neural để nhận dạng đối tượng.
BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA CHUYÊN NGÀNH KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 9520216 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS NGUYỄN HỮU KHƯƠNG PGS TS VÕ CƠNG PHƯƠNG TP HỒ CHÍ MINH – 03/2020 MỞ ĐẦU Nghiên cứu tín hiệu điện não lĩnh vực quan tâm nhiều nhà khoa học nay, với mục đích phát triển ứng dụng hỗ trợ, phát bệnh lý người stress, trầm cảm…, chẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ, chấn thương não), nhiên lĩnh vực điều khiển tự động phục vụ cho người, đặc biệt người khuyết tật chưa nghiên cứu nhiều Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ công việc bác sĩ chuyên khoa thần kinh hay tim mạch, ngày với phát triển cơng cụ phân tích xử lý tín hiệu đại mạng neural hay hệ thống AI loại tín hiệu xử lý để đưa thông tin phục vụ cho yêu cầu khác, để điều khiển hỗ trợ hoạt động người Vì mục tiêu luận án xây dựng hệ thống hỗ trợ điều khiển số hoạt động người thơng qua tín hiệu điện não, ví dụ điều khiển chuyển động xe lăn cho người tàn tật khả hoạt động tay chân, đáp ứng nhu cầu xã hội thiết Nghiên cứu phân tích ba phương pháp tiền xử lý tín hiệu từ EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT (Hilbert Huang Transform), để biến đối thành dạng sóng Delta, Theta, Alpha, Beta, Gamma, sau sử dụng kỹ thuật gom cụm liệu trước đưa vào mạng neuron để phân loại thành tín hiệu mong muốn chuyển động Các mạng neural thử nghiệm từ mạng đơn lớp đến mạng đa lớp cụ thể luận án lớp Hệ thống xử lý tín hiệu EEG tiền xử lý HHT dùng mạng neural với camera thử nghiệm mơ hình thực tế điều khiển xe lăn mơ hình cho kết xác tốt đến 92,4% nhóm 20 người chọn cho thực nghiệm Điều thể thành công ý nghĩa thực tiễn luận án Trang ABSTRACT Nowadays, EEG signal, one of the most important field was interested by science researchers, the main purpose research is support applications devlepment, diagnose and find out pathological of human as stress, depression, epileptic, alzheimer, brain trauma…, however, in the field of automatic control serving for human, especially for disabilities people, has not been studied so much For long time ago, recording and processing the EEGs or ECGs signal was the work of neurologists or cardiologists Nowadays, with the development of modern signal processing and analysis tools such as neural networks and AI systems, such signals can be processed to meet the other needs, such as the control system support human acitivites.The goal of this thesis is to build a control system, which support some basic human activities through EEG signal For example, wheelchair equipement control for disabled people, meet today’s pressing social needs The author researched and analyzed three EEG signal preprocessing methods as using Fourier transform, Wavelet transform and HHT transform, converting EEG signal to basic waves (Delta, Theta, Alpha, Beta, Gamma), and then using data clustering technical before put them into input layer of multi neural network The neural network was test from single to multi layer (3 layer) The EEG signal processing system with HHT pre-processing and image processing using multi neural network to control the wheelchair model with accuracy rate 92.4% for group 20 students, this shows the successful in the practical of the thesis Trang CẤU TRÚC NỘI DUNG LUẬN ÁN Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG nước, ứng dụng đạt nay, phân tích vấn đề chưa giải quyết, cịn hạn chế mà luận án cần giải quyết, tác giả trình bày mục đích phạm vi nghiên cứu, đóng góp luận án khoa học thực tiễn Chương 2: Cơ sở lý thuyết – Trình bày kiến thức liên quan đến luận án: Các phương pháp trích đặc điểm tín hiệu như: Fourier, Wavelet Transform, HHT…, gom cụm liệu, đến việc phân loại đặc tính mẫu tín hiệu mạng neural đa lớp Chương 3: Xây dựng mơ hình – Trình bày q trình xây dựng mạng neural đa lớp, việc xây dựng mạng neural đa lớp tiến hành bước từ việc phân loại mẫu tín hiệu đến phân loại mẫu tín hiệu Trong chương trình bày việc xử lý tín hiệu điện não kết hợp với xử lý ảnh thơng qua camera Mỗi kết có cơng trình nghiên cứu đăng tạp chí quốc tế kỷ yếu hội nghị quốc tế Chương 4: Xây dựng phần mềm phần cứng điều khiển xe lăn mơ hình Trong chương tác giả giới thiệu chức phần mềm, xử lý ảnh từ camera để phát di chuyển hướng mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa kết cuối Tác giả trình bày kết thực nghiệm, so sánh kết thực nghiệm phương pháp riêng biệt (tín hiệu điện não xử lý ảnh), cuối kết hợp phương pháp Chương 5: Kết luận kiến nghị – Chương đánh giá kết đạt so với yêu cầu luận án đề xuất hướng phát triển luận án ngày hoàn thiện Trang CHƯƠNG TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO 1.1 Tình hình nghiên cứu nước Cho đến thời điểm nay, cơng trình nghiên cứu lĩnh vực điện não nước ta chủ yếu tập trung vào hoạt động học chớp mắt, di chuyển đầu… việc phát phân loại kiện xác định phương pháp ngưỡng biên độ, chưa có đề tài liên quan đến cảm nhận hình ảnh thơng qua hoạt động quan sát mắt, việc phân tích tín hiệu EEG thơng qua việc quan sát mắt dùng phương pháp ngưỡng biên độ mà phải phân tích tín hiệu thành đặc trưng nhận dạng thơng qua mạng neural 1.2 Tình hình nghiên cứu ngồi nước Các cơng trình nghiên cứu cơng bố báo tạp chí nước tập trung nghiên cứu chủ yếu vào lĩnh vực y sinh: phát stress, trầm cảm, động kinh,… lĩnh vực điều khiển như: đánh vần (spelling), chớp mắt, di chuyển đầu, tính nhẫm, tưởng tượng chuyển động vật thể… nhìn chung cơng trình nghiên cứu thực dạng liệu offline, mà chưa tập trung nhiều đến trích đặc điểm phát kiện theo thời gian thực (online) phục vụ lĩnh vực điều khiển tự động 1.3 Nội dung thực đề tài Trong trình thực luận án, tác giả dựa vào sở liệu tín hiệu điện não EEG có sẵn cung cấp trường Đại học San Diego (UCSD) có uy tín Mỹ, xếp hạng thứ 38 giới năm 2018, để xây dựng giải thuật xử lý nhận dạng mẫu tín hiệu điện não, sau đánh giá tính khả thi của việc nhận dạng mẫu tín hiệu thơng qua mạng neural, tác giả tiến hành thu nhận mẫu tín hiệu điện não thơng qua việc quan sát loại hình khác bảng quan sát (con người, thành phố, phong cảnh, hoa vật), cải tiến luận án so với cơng trình trước tác giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến có kết hợp camera để tăng độ xác giải thuật, ngồi khâu tiền xử lý tác giả kết hợp trích đặc điểm HHT với giải thuật gom cụm liệu giúp cho việc nhận dạng thông qua mạng neural nhanh sử dụng phương pháp khác wavelet transform giúp cho mạng neural làm việc hiệu hơn, xác tránh overfitting Trang 1.4 Mục đích nghiên cứu Tìm phương thức thu nhận mẫu tín hiệu điện não EEG cách dễ dàng hiệu Sử dụng cơng cụ tốn học để phân tích tín hiệu thành đặc trưng bản, sử dụng gom cụm liệu trước đưa vào mạng neural để nhận đạng đối tượng Kết hợp tín hiệu camera tín hiệu điện não để xác định thời điểm xuất mẫu tín hiệu xác phục vụ cho việc phân loại điều khiển xe 1.5 Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu luận án sử dụng mạng neural để phân loại mẫu tín hiệu thành dạng lệnh điều khiển tương ứng với lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải, quay trái, dừng lại, luận án đề cập đến trình xử lý ảnh để phát hướng mắt hỗ trợ cho việc điều khiển xe xác hiệu hơn, nhiên phần xử lý ảnh tác giả không tập trung nhiều mà chủ yếu phần tín hiệu điện não EEG 1.6 Những đóng góp luận án 1.6.1 Đóng góp mặt lý thuyết Tìm bảng quan sát phù hợp đơn giản để thu thập liệu, kết hợp cách khoa học giải thuật trích đặc điểm gom cụm liệu trước đưa vào mạng neural để phân loại mẫu liệu 1.6.2 Đóng góp mặt thực tiễn Kết thực nghiệm luận án cho thấy rằng, việc phân loại đối tượng thông qua việc quan sát mắt (những hình ảnh có đặc trưng khác nhau) đầu óc cịn minh mẫn mắt hoạt động người bình thường hoàn toàn thực CHƯƠNG – CƠ SỞ LÝ THUYẾT 2.1 Các dạng sóng tín hiệu điện não EEG Sóng Delta có tần số từ đến Hz, biên độ lớn hình 2.1, sóng xuất nhiều lứa tuổi từ bé đến tuổi người lớn lúc ngủ, ngủ say, dạng sóng thường xuất khắp nơi da đầu Trang Hình Dạng sóng Delta Sóng Theta có tần số từ Hz đến Hz thường xuất nhắm mắt tinh thần trạng thái thư giãn hình 2.2, xuất người trẻ lúc tỉnh thức người lớn tuổi thường xuất vùng thái dương Hình 2 Dạng sóng Theta Sóng Alpha có tần số từ đến 13 Hz hình 2.3, xuất nhiều người lớn tuổi, sóng alpha thường xảy bên đầu có biên độ bên khơng Sóng alpha xuất nhắm mắt (trạng thái thư giãn) thường biến mở mắt hay bị stress Hình Dạng sóng Alpha Sóng Beta có biên độ nhỏ hình 2.4, dãy tần số từ 13 đến 30 Hz Dạng sóng thường xuất bệnh nhân người mà thường có tâm trạng cảnh giác, đề phịng, lo lắng… Sóng Beta phân bố đối xứng bên rõ ràng phía trước, thường xuất phía trước đỉnh đầu vỏ não, biên độ sóng Beta thường nhỏ 30uV Hình Dạng sóng Beta Trang Sóng Gamma có dãy tần số từ 30 đến 45 Hz hình 2.5, thường gọi sóng nhanh Beta Sóng thường có biên độ thấp xuất hiện, việc phát sóng đóng vai trò quan trọng việc xác định bệnh lý thần kinh, sóng xảy trung tâm vỏ não Hình Dạng sóng Gamma 2.2 Vị trí điện cực thiết bị EEG Não quan lớn phức tạp thể người Nó hình thành từ 100 tỉ dây thần kinh, liên lạc tới 1000 tỉ khớp thần kinh, vị trí gắn điện điện cực đầu theo tiêu chuẩn quốc tế 10/20 hình 2.6 Hình Tên vị trí điện cực theo chuẩn quốc tế 10/20 CHƯƠNG XÂY DỰNG MƠ HÌNH HỆ THỐNG ĐIỀU KHIỂN Để bắt đầu trình nghiên cứu, tác giả sử dụng CSDL cung cấp website trường Đại học San Diego (UCSD) có uy tín Mỹ, xếp hạng 38 giới năm 2018, liệu thu từ việc người tham gia nhìn vào đối tượng hình ảnh khác (con người, vật, thành phố, phong cảnh bơng hoa), kích thước hình Trang ảnh bit màu (256 pixel rộng 384 pixel cao) Tổng số lượng mẫu cho sở liệu 21.000 mẫu Trong chương này, tác giả bước xây dựng mơ hình từ đơn giản đến phức tạp, sau đánh giá kết thực nghiệm CSDL trường Đại học San Diego (UCSD) từ 80 sinh viên trường Cao Đẳng Cơng Thương TP.HCM để làm rõ phần đóng góp ý nghĩa khoa học luận án 3.1 Mơ hình mạng Neural đơn lớp Giai đoạn đầu tiên, tác giả xây dựng mơ hình mạng neural để phân loại tín hiệu riêng biệt (con vật khơng phải vật), mục đích lần nghiên cứu đánh giá xem mơ hình neural có đáp ứng yêu cầu phân loại hay không, hệ thống sử dụng phần mềm Matlab cho trình thực nghiệm CSDL tín hiệu điện não EEG trích đặc điểm phương pháp biến đổi Wavelet dạng hình nón Mêhicơ sử dụng mạng Neural đơn lớp để nhận dạng Mơ hình hệ thống thể hình 3.1, mơ hình bao gồm giai đoạn: giai đoạn 1: q trình tiền xử lý nhẳm xử lý tín hiệu liệu thơ tổng hợp thành tín hiệu sóng Delta, Theta, Alpha, Beta Gamma Giai đoạn 2: xây dựng mạng Neural đơn lớp với ngõ vào tín hiệu sóng Delta, Theta, Alpha, Beta, Gamma ngõ để xác định kết nhận dạng Dữ liệu thơ Q trình tiền xử lý Mạng neural đơn lớp Kết nhận dạng Hình Mơ hình hệ thống Neural đơn lớp Q trình huấn luyện mạng thực tập liệu huấn luyện với tham số sau: Tỷ lệ học cố định là: 0,7 Trọng số khởi tạo ngẫu nhiên đoạn từ -0,5 đến 0,5 Trang Ngưỡng sai số 1x10-5 với cách tính sai số dựa MSE (Mean Square Error) Số vòng lặp tối đa là: 5.000 Kết thực nghiệm nhận dạng tập liệu kiểm tra thể bảng 3.1 Bảng Kết thực nghiệm liệu kiểm tra Loại ảnh Con vật/Phong cảnh Tỷ lệ nhận dạng France Phong cảnh 99,13% Wild sheep Con vật 98,67% Wild cats Con vật 99,28% Bali, Indonesia Phong cảnh 62,44% Wild animals Con vật 99,64% California Coasts Phong cảnh 56,89% Wolves Con vật 98,64% Mushrooms Phong cảnh 95,16% Kenya Con vật 99,76% The big Apple Phong cảnh 98,79% Snakes, lizards Con vật 98,32% Caves Con vật 67,18% Polar bears Con vật 99,03% Exotic Hong Kong Phong cảnh 98,72% Images of France Phong cảnh 99,37% Fabulous fruit Phong cảnh 98,25% Wild animals Con vật 93,97% Sand & solitude Con vật 98,42% Lions Con vật 62,78% Great Silk Road Phong cảnh 98,47% Trang Hình 11 Mơ hình mạng Neural Lớp chứa nút Delta, Theta, Alpha, Beta, Gamma, d1, d2, d3 d4 Lớp gọi lớp nhập Lớp thứ hai lớp ẩn, số lượng Neural lớp ẩn 11 Neural Lớp xuất chứa nút, kết nút sử dụng để phân loại tín hiệu EEG Do hàm hành động sử dụng mơ hình hàm hyperbolic tangent, giá trị nút xuất nằm khoảng [-1, 1] Vì ngõ có nút, nút có giá trị lớn nhất, nút chọn tín hiệu điều khiển 3.3.4 Chọn tập liệu kết thực nghiệm Dữ liệu thực nghiệm thu thập từ 80 sinh viên trường Cao đẳng Công thương TP.HCM tham gia tình nguyện Sinh viên đeo thiết bị Emotiv EEG ngồi cách bảng quan sát 120cm Dữ liệu thực nghiệm chia thành liệu sau: Tập liệu huấn luyện thu thập từ 70% liệu 60 SV Tập liệu kiểm tra thu thập từ 30% liệu 60 SV Trang 19 Tập liệu kiểm tra thứ hai thu thập từ liệu 20 SV lại Sau huấn luyện mạng Neural từ tập liệu huấn luyện Kết thực nghiệm tập liệu kiểm tra thứ thể ma trận nhầm lẫn (confusion matrix) thể bảng 3.5 tỷ lệ nhận dạng thể bảng 3.6 Bảng Ma trận nhầm lẫn kết phân loại tập liệu kiểm tra thứ Phân loại thực tế Phân loại tiên đốn Con người Con vật Bơng hoa Thành phố Phong cảnh 91,2% 1,6% 3,1% 0,9% 2,7% Con vật 1,9% 91,1% 1,2% 3,2% 2,0% Bông hoa 2,8% 2,5% 92,8% 1,7% 1,5% Thành phố 2,4% 2,1% 0,7% 92,1% 1,9% Con người 1,7% 2,7% 2,2% 2,1% 91,9% Phong cảnh Bảng Kết thực nghiệm tập liệu kiểm tra thứ TP TN FP FN AC P Con người 91.2% 91.3% 8.7% 8.8% 91.3% 91.3% Con vật 91.1% 91.1% 8.9% 8.9% 91.1% 91.1% Bông hoa 92.8% 92.6% 7.4% 7.2% 92.7% 92.6% Thành phố 92.1% 92.2% 7.8% 7.9% 92.2% 92.2% 91.9% 92.1% 7.9% 8.1% 92.0% 92.1% Phong cảnh Kết thực nghiệm tập liệu kiểm tra thứ hai thể ma trận nhầm lẫn (confusion matrix) thể bảng 3.7 tỷ lệ nhận dạng thể bảng 3.8 Bảng Ma trận nhầm lẫn kết phân loại tập liệu kiểm tra thứ hai Phân loại thực tế Trang 20 Con Con Bông Thành Phong người vật hoa phố cảnh Phân 90.7% 1.9% 2.7% 1.1% 3.1% Con người loại 1.4% 90.8% 2.1% 2.6% 2.4% Con vật tiên 2.3% 2.3% 92.3% 3.2% 1.7% Bơng hoa đốn 3.1% 2.6% 1.2% 91.6% 1.3% Thành phố 2.5% 2.4% 1.7% 1.5% 91.5% Phong cảnh Bảng Kết thực nghiệm tập liệu kiểm tra thứ hai TP TN FP FN AC P Con người 90.7% 90.9% 9.1% 9.3% 90.8% 90.9% Con vật 90.8% 91.0% 9.0% 9.2% 90.9% 91.0% Bông hoa 92.3% 92.1% 7.9% 7.7% 92.2% 92.1% Thành phố 91.6% 91.8% 8.2% 8.4% 91.7% 91.8% Phong cảnh 91.5% 91.9% 8.1% 8.5% 91.7% 91.9% Kết thực nghiệm tín hiệu hướng mắt thể bảng 3.9 tín hiệu EEG thể bảng 3.10 Bảng 3.11 so sánh kết thực nghiệm Đồ thị hình 3.12 mô tả so sánh kết thực nghiệm tín hiệu nhận dạng riêng biệt Bảng Kết thực nghiệm tín hiệu hướng mắt TP TN FP FN AC P Con người 85.1% 85.7% 14.3% 14.9% 85.4% 85.6% Con vật 84.5% 84.1% 15.9% 15.5% 84.3% 84.2% Bông hoa 87.3% 86.3% 13.7% 12.7% 86.8% 86.4% Thành phố 83.6% 84.0% 16.0% 16.4% 83.8% 83.9% Phong cảnh 84.2% 83.2% 16.8% 15.8% 83.7% 83.4% Bảng 10 Kết thực nghiệm tín hiệu EEG TP TN FP FN AC Con người 90.2% 89.9% 10.1% 9.8% P 90.1% 89.9% Trang 21 Con vật 90.3% 90.0% 10.0% 9.7% 90.2% 90.0% Bông hoa 92.3% 91.8% 8.2% 7.7% 92.1% 91.8% Thành phố 90.7% 90.4% 9.6% 9.3% 90.6% 90.4% Phong cảnh 90.4% 90.5% 9.5% 9.6% 90.5% 90.5% Bảng 11 Kết thực nghiệm phương pháp nhận dạng EEG kết hợp Camera EEG Camera Con người 90,8% 90,1% 85,4% Con vật 90,9% 90,0% 84,3% Bông hoa 92,2% 91,8% 86,8% Thành phố 91,7% 90,4% 83,8% Phong cảnh 91,7% 90,5% 83,7% SO SÁNH KẾT QUẢ THỰC NGHIỆM CỦA PHƯƠNG PHÁP RIÊNG BIỆT 94.0% 92.0% 90.0% 88.0% 86.0% 84.0% 82.0% Con Người Động Vật EEG Kết hợp Camera Hoa Thành Phố EEG Phong Cảnh Camera Hình 12 Kết thực nghiệm phương pháp riêng biệt Trang 22 CHƯƠNG XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ THỐNG ĐIỀU KHIỂN XE LĂN MƠ HÌNH Trong chương này, tác giả xây dựng hệ thống phần cứng phần mềm điều khiển xe lăn mơ hình dựa mơ hình nghiên cứu chương Sau đó, đánh giá kết thực nghiệm thực tế để làm rõ phần đóng góp ý nghĩa thực tiễn luận án 4.1 Hệ thống phần mềm điều khiển xe lăn Phần mềm điều khiển xe lăn thiết kế Visual Studio C# 2015, giao diện phần mềm gồm có chức sau: 4.1.1 Đăng nhập hệ thống Trong phần bắt buộc người sử dụng phần mềm điều phải có tài khoản (account) để đăng nhập hệ thống, chưa có phải đăng ký vào hệ thống Tài khoản cá nhân dùng để quản lý sở liệu tín hiệu điện não, thời gian huấn luyện, mức độ xác q trình điều khiển Giao diện phần đăng nhập hình 4.1 Đăng ký/ đăng nhập hệ thống Vị trí điện cực Hình ảnh từ camera Đồ thị 14 kênh tín hiệu EEG Hiển thị kết điều khiển Hình Giao diện đăng nhập hệ thống 4.1.2 Huấn luyện điều khiển xe lăn Đối với người chưa tham gia điều khiển điều phải thực bước này, giống người chưa lái xe phải học lái xe trước lái xe, để tự điều khiển người tham gia phải thực điều khiển lệnh với tỉ lệ đạt 90% cho lệnh, mục đích việc huấn luyện giúp người tham gia làm quen với việc điều khiển xe lăn quen với việc tập trung điều khiển, giao diện phần huấn luyện thể hình 4.2 Trang 23 Hình Giao diện huấn luyện 4.1.3 Xem đồ thị liệu Phần mềm có chức xem lại đồ thị liệu tín hiệu điện não theo kênh, tùy vào mục đích sử nghiên cứu việc bấm vào vị trí kênh điện cực hình 4.3 Hình Giao diện xem kênh tín hiệu điện não EEG 4.1.4 Trích đặc điểm liệu Để trích đặc điểm liệu ta áp dụng phương pháp HHT trình bày phần sở lý thuyết Tổng số kênh cần xử lý 10, kênh phân tích thành 12 IMF (hàm chất), có tất 120 IMF cho lần xử lý, chương trình để trích xuất kênh liệu thành IMF, sau từ IMF ta trích xuất theo dạng sóng hình 4.4: Trang 24 Hình 4 Một kênh tín hiệu EEG biến đổi thành dạng sóng 4.2 Hệ thống phần cứng Hệ thống phần cứng bao gồm thiết bị bảng quan sát, xe lăn mơ hình, thiết bị Emotiv máy tính có phần mềm điều khiển, hệ thống mô tả hình 4.5 Hình Tư ngồi thiết bị phần cứng 4.2.1 Bảng quan sát Bảng quan sát có kích thước 46x42 cm, điều chỉnh hướng nghiêng hình laptop cho phù hợp với người điều khiển, bảng quan sát có hình kích thước hình 8x12 cm đặt cách với khoảng cách 8cm, camera đặt hình người bơng hoa dùng để ghi nhận hướng di chuyển mắt hình 4.6 Trang 25 Hình Bảng quan sát Camera gắn bảng quan sát để phát di chuyển mắt tương ứng với 05 hình bảng điều khiển Camera sử dụng hãng Logitech với model C615, hãng sản xuất camera tiếng, có kích thước nhỏ gọn, dễ lắp ráp có độ ổn định cao với thông số kỹ thuật sau: Độ phân giải HD 1080, tần số quét 30fps, trường ngắm 78o, kết nối máy tính qua cổng USB Camera thể hình 4.7 Hình Camera Logitech C615 4.2.2 Xe lăn mơ hình Xe lăn mơ hình dùng để mơ q trình di chuyển nhận lệnh từ máy tính, xe có kích thước nhỏ gọn chạy tới, chạy lui, quay phải, quay trái dừng lại phù hợp với yêu cầu luận án, sơ đồ nguyên lý mạch điện thể hình 4.9, thơng số chi tiết xe thể bảng 4.1 Trang 26 Hình Xe lăn mơ hình Bảng Thơng số kỹ thuật xe lăn mơ hình Stt Mơ tả xe Kích thước xe (dài – rộng – cao) Động xe Số lượng động Xe sử dụng pin sạc 9VDC Trọng lượng xe Thơng số kỹ thuật 35x30x35 cm 200 vịng/phút, VDC 02 2000 mA 0.8 kg Sơ đồ nguyên lý xe lăn bao gồm xử lý arduino UNO3, driver cho động board LM298, module bluetooth HC-05 dùng để nhận lệnh điều khiển từ máy tính Hình Sơ đồ ngun lý mạch điện 4.2.3 Thiết bị Emotiv Trang 27 Một thiết bị thiếu việc thực nghiệm điều khiển thiết bị Emotiv EPOC+ (nón EPOC+) dùng để ghi nhận tín hiệu điện não phát tín hiệu máy tính thơng qua bluetooth, thiết bị EPOC+ thể hình 4.10 Hình 10 Nón EPOC+ Nón EPOC+ có thơng số kỹ thuật sau: Số kênh thu nhận tín hiệu: 14 kênh + kênh tham chiếu Tần suất lấy mẫu: 128 SPS/ 256 SPS Độ phân giải liệu 14 bits, LSB = 0.51 uV Giao tiếp máy tính bluetooth, băng tần 2.4GHz Thời gian sử dụng 12 Máy tính liên kết với thiết bị nón EPOC+ xe lăn mơ hình bluetooth mơ tả hình 4.11 Hình 11 Máy tính giao tiếp với thiết bị thông qua bluetooth 4.3 Lựa chọn nhóm tham gia q trình đánh giá hệ thống Sau thiết kế xong bước trên, tác giả tiến hành bước thực nghiệm cuối để đánh giá lại toàn kết nghiên cứu, giai đoạn tác giả chọn nhóm tình nguyện viên sau: Nhóm 1: Chọn 20 tổng số 60 sinh viên tham gia có kết thực nghiệm giai đoạn tốt (đóng góp nhiều vào CSDL để xây dựng mạng neural) Nhóm 2: Chọn 20 tổng số 60 sinh viên cịn lại (chọn ngẫu nhiên) Nhóm 3: 20 tình nguyện viên chưa tham gia thực nghiệm Trang 28 Trong nhóm 2, tình nguyện viên qua bước huấn luyện để thực nghiệm, riêng nhóm 3, tình nguyện viên phải huấn luyện bước thực thao tác sử dụng thiết bị chương trình thu nhận điều khiển, thời gian tiến hành thực nghiệm mô tả bảng 4.2 Bảng Thời gian tiến hành thực nghiệm đánh giá hệ thống Thời gian Đặc điểm thực nghiệm Nhóm Nhóm đóng góp nhiều 04/03/2019 – cho CSDL 08/03/2019 Nhóm Đã tham gia thực 11/03/2019 – nghiệm 15/03/2019 Nhóm Chưa tham gia thực 18/03/2019 – nghiệm 22/03/2019 4.4 Kết thực nghiệm cho phương án sử dụng EEG Camera Kết thực nghiệm nhóm sau: Bảng Tổng hợp kết nhận dạng nhóm Kết sử dụng Kết sử Kết sử tín hiệu EEG kết dụng tín hiệu dụng hợp Camera EEG Camera Nhóm 92,4% 92,4% 86,7% Nhóm 88,6% 86,2% 84,9% Nhóm 86,4% 72,3% 83,5% Từ kết bảng 4.3 sau thực chạy thực nghiệm cho nhóm trên, tác giả nhận thấy người sử dụng biết nhiều vận hành hệ thống có kết khả thi kết EEG, kết camera có tỉ lệ tương đối nhau, để sử dụng hệ thống cách có hiệu quả, việc yêu cầu người tham gia phải qua buổi giới thiệu hoạt động hệ thống Trang 29 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 5.1 Kết luận Qua trình nghiên cứu lý thuyết, xây dựng thuật tốn, xây dựng mơ hình tiến hành thực nghiệm trình bày luận án, tác giả nhận thấy tốn sử dụng tín hiệu điện não EEG với hỗ trợ Camera cho người khuyết tật nặng để điều khiển xe lăn giải đạt mục tiêu đặt Một số đóng góp khoa học luận án tóm tắt sau: Sử dụng phương pháp HHT để trích đặc điểm tín hiệu điện não EEG, tín hiệu tổng hợp thành tổng tín hiệu trước đưa vào mạng neural đề xuất luận án giúp cho việc phân loại mẫu tín hiệu nhanh xác 92,68% Giảm bớt số kênh phân tích tín hiệu giúp giảm thời gian xử lý, việc giảm số kênh tín hiệu dựa vào đặc điểm vị trí điện cực vỏ não qua trình thực nghiệm Việc kết hợp gắn camera để quan sát hướng mắt giúp cho hệ thống chạy ổn định giúp cho người tham gia huấn luyện nhanh chóng thành thạo với việc điều khiển xe lăn Sử dụng tín hiệu điện não EEG lĩnh vực điều khiển đề xuất luận án số cơng trình nghiên cứu nước tìm hiểu tín hiệu điện não, lọc nhiễu tín hiệu, sử dụng chớp mắt việc nhận dạng phát tượng chớp mắt Xây dựng hệ thống phần mềm thu nhận tín hiệu EEG thử nghiệm điều khiển xe lăn mơ hình bluetooth Tác giả xây dựng hệ thống điều khiển thông qua xử lý tín hiệu điện não EEG điều khiển mơ hình vật lý xe lăn hình 5.1, kết hợp với trình động học xe xử lý lệnh điều khiển liên tục… giúp mơ hình tiếp tục phát triển ứng dụng thực tế 5.2 Kiến nghị Qua trình nghiên cứu, tác giả mong nhận quan tâm bạn bè, đồng nghiệp, nhà nghiên cứu khoa học, nhà hoạt động xã hội quan tâm ủng hộ mặt tinh thần chia sẻ kiến thức liên quan để xây dựng cơng trình hồn thiện Trang 30 có ích cho xã hội nói chung người khuyết tật nói riêng Hình Mơ hình tổng hợp đề tài Việc thu nhận, xử lý nhận dạng tín hiệu điện não EEG tiếp tục nghiên cứu mạnh giới… nhằm giải nhiều vấn đề khác y học, điều khiển xe hình 5.2, sản xuất, kinh doanh, giải trí… thiết nghĩ Việt Nam nói chung trường Đại Học Giao thơng Vận tải Tp Hồ Chí Minh nói riêng nên tiếp tục nghiên cứu để tạo sản phẩm thật có ích cho xã hội Hình Xe lăn điều khiển tín hiệu EEG Ngồi việc nghiên cứu tín hiệu điện não EEG hỗ trợ điều khiển, tín hiệu EEG áp dụng lĩnh vực khác tâm lý y sinh phát trường hợp bị trầm cảm, stress để đưa đề xuất phù hợp cho người Về kinh doanh, khu trưng bày sản phẩm, thương hiệu, tín hiệu EEG giúp cho Trang 31 nhà kinh doanh biết sản phẩm khách hàng quan tâm nhất, từ giúp nhà hoạch định đưa chiến lược kinh doanh phù hợp hiệu Hình Khảo sát tâm lý khách hàng tín hiệu EEG Cuối để lĩnh vực ngày phát triển giúp nghiên cứu sinh có đam mê lĩnh vực kế thừa phát triển ngày tốt hơn, đề nghị Viện sau đại học Nhà trường trang bị phịng nghiên cứu tín hiệu điện não, để nghiên cứu sinh dễ dàng trao đổi vào học tập lẫn Trang 32 CÁC CƠNG TRÌNH NGHIÊN CỨU ĐÃ CÔNG BỐ [1] Quang Chuyen Lam, Luong Anh Tuan Nguyen, Huu Khuong Nguyen A Novel Approach for Classifying EEG Signal with Multi-Layer Neural Network ICRAI 2017 Proceedings of the 2017 International Conference on Robotics and Artificial Intelligence (ISBN:978-1-4503- 5358-8), (ACM Digital Library), Pages 79-83, December, 2017 (Scopus) [2] Lâm Quang Chuyên, Nguyễn Hữu Khương Nhận dạng tín hiệu EEG với thiết bị Emotiv thông quan mạng nơron đa lớp Kỷ yếu Hội Nghị Khoa Học Công Nghệ Giao Thông Vận Tải lần IV (ISBN: 978-604-76-1578-0), Trang 150-156 Tháng 05 Năm 2018 [3] Quang Chuyen Lam, Luong Anh Tuan Nguyen, Huu Khuong Nguyen Build Control Command Set Based on EEG Signals via Clustering Algorithm and Multi-Layer Neural Network Journal of Communications (ISSN: 1796-2021), pages 406-413, Vol 13, No 7, July, 2018 (Scopus) [4] Luong Anh Tuan Nguyen, Quang Chuyen Lam and Huu Khuong Nguyen Developing a Wheelchair System Controlled Based on EEG Signal and Eye-Direction International Journal of Computer Science and Network Security (ISSN: 1738-7906), Pages 115-122, VOL.19 No.3, March 2019 (ISI – ESCI) [5] Nguyễn Hữu Khương, Lâm Quang Chuyên, Phạm Thúy Ngọc, Đề tài nghiên cứu khoa học cấp trường “Xây dựng hệ thống điều khiển xe lăn dựa vào tín hiệu điện não với hỗ trợ Camera”, Mã số: KH1818, nghiệm thu tháng 8/2019 Trang 33 ... bày luận án, tác giả nhận thấy tốn sử dụng tín hiệu điện não EEG với hỗ trợ Camera cho người khuyết tật nặng để điều khiển xe lăn giải đạt mục tiêu đặt Một số đóng góp khoa học luận án tóm tắt. .. luyện điều khiển xe lăn Đối với người chưa tham gia điều khiển điều phải thực bước này, giống người chưa lái xe phải học lái xe trước lái xe, để tự điều khiển người tham gia phải thực điều khiển. .. Trang 26 Hình Xe lăn mơ hình Bảng Thông số kỹ thuật xe lăn mô hình Stt Mơ tả xe Kích thước xe (dài – rộng – cao) Động xe Số lượng động Xe sử dụng pin sạc 9VDC Trọng lượng xe Thông số kỹ thuật 35x30x35