BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA LUẬN ÁN TIẾN SĨ KỸ THUẬT TP HỒ CHÍ MINH – 3/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THƠNG VẬN TẢI TP HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA CHUYÊN NGÀNH KỸ THUÂT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 9520216 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS NGUYỄN HỮU KHƯƠNG PGS TS VÕ CƠNG PHƯƠNG TP HỒ CHÍ MINH – 3/2020 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng tôi, kết nghiên cứu trình bày luận án trung thực, khách quan chưa để bảo vệ học vị Tôi xin cam đoan giúp đỡ cho việc thực luận án cám ơn, thơng tin trích dẫn luận án rõ nguồn gốc Tp Hồ Chí Minh, ngày 30 tháng 03 năm 2020 Tác giả luận án Lâm Quang Chuyên Trang i LỜI CẢM ƠN Để hoàn thành luận án Tiến sĩ xin chân thành cảm ơn đến với Thầy hướng dẫn PGS TS Nguyễn Hữu Khương tận tình hướng dẫn, giúp đỡ động viên tơi suốt q trình thực luận án Tôi xin chân thành cảm ơn Thầy PGS TS Võ Công Phương động viên, giúp đỡ trong q trình thực luận án Tơi xin chân thành cảm ơn Thầy TS Nguyễn Lương Anh Tuấn giúp đỡ vấn đề học thuật góp ý số vấn đề liên quan đến luận án Tôi xin chân thành cảm ơn Thầy PGS TS Đặng Xuân Kiên tạo điều kiện thuận lợi trình thực luận án Ngồi tơi chân thành cảm ơn đến quý Thầy/Cô khoa Điện Viện sau đại học Trường Đại học Giao thông Vận tải TP HCM, đồng nghiệp Trường Cao đẳng Công thương TP HCM tạo điều kiện thuận lợi q trình nghiên cứu, bổ sung hồn thành thủ tục q trình nghiên cứu, tơi xin chân thành cảm ơn em sinh viên Trường Cao đẳng Cơng thương TP Hồ Chí Minh nhiệt tình tham gia trình thu thập liệu, thực nghiệm điều khiển xe mơ hình, tơi xin chân thành cảm ơn đến với tất bạn nghiên cứu sinh tơi Tp Hồ Chí Minh, ngày 30 tháng 03 năm 2020 Tác giả luận án Lâm Quang Chuyên Trang ii MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC VÀ CHỮ VIẾT TẮT vi DANH MỤC HÌNH vii DANH MỤC BẢNG x MỞ ĐẦU xi CHƯƠNG TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO 1.1 Tình hình nghiên cứu nước 1.2 Tình hình nghiên cứu ngồi nước - 1.3 Nội dung thực đề tài - 1.4 Mục đích nghiên cứu 1.5 Đối tượng phạm vi nghiên cứu - 1.6 Những đóng góp luận án - 1.6.1 Đóng góp mặt lý thuyết - 1.6.2 Đóng góp mặt thực tiễn - 1.7 Cấu trúc nội dung luận án 1.8 Kết luận chương - CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Tín hiệu điện não EEG 2.1.1 Giới thiệu tín hiệu điện não EEG 2.2.2 Các loại thiết bị thu nhận tín hiệu điện não EEG 10 2.2.3 Các dạng sóng tín hiệu điện não EEG - 13 2.2 Ý nghĩa vị trí điện cực thiết bị EEG 16 2.3 Các phương pháp trích đặc điểm tín hiệu 19 2.3.1 Biến đổi Fourier - 20 Trang iii 2.3.2 Biến đổi Wavelet - 20 2.3.3 Biến đổi HHT (Hilbert Huang Transform) 23 2.4 Gom cụm liệu 29 2.5 Mô hình mạng Neural 31 2.5.1 Cấu trúc mạng Neural 31 2.5.2 Thuật toán huấn luyện mạng 33 2.6 Kết luận chương 34 CHƯƠNG XÂY DỰNG MƠ HÌNH HỆ THỐNG ĐIỀU KHIỂN 35 3.1 Mơ hình mạng Neural đơn lớp 35 3.1.1 Quá trình tiền xử lý - 36 3.1.2 Mạng Neural đơn lớp 39 3.1.3 Kết thực nghiệm với mơ hình mạng Neural đơn lớp - 40 3.2 Mơ hình mạng Neural đa lớp 42 3.2.1 Quá trình tiền xử lý - 45 3.2.2 Mơ hình mạng Neural đa lớp 46 3.2.3 Kết thực nghiệm với mơ hình mạng Neural đa lớp - 49 3.3 Thiết kế mơ hình tổng hợp xử lý tín hiệu 52 3.3.1 Khối nhận dạng tín hiệu EEG - 53 3.3.2 Khối nhận dạng tín hiệu hướng mắt 54 3.3.3 Mơ hình mạng Neural đa lớp lan truyền ngược 55 3.3.4 Kết thực nghiệm với mơ hình tổng hợp thiết kế - 56 3.3.5 Dữ liệu thực nghiệm với mơ hình điều khiển xe lăn xây dựng 59 3.3.6 Chọn tập liệu kết thực nghiệm - 59 3.4 Kết luận chương 62 CHƯƠNG XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ THỐNG ĐIỀU KHIỂN XE LĂN MƠ HÌNH 63 4.1 Chức phần mềm điều khiển xe lăn - 63 4.1.1 Đăng nhập hệ thống 63 4.1.2 Huấn luyện điều khiển xe lăn - 64 4.1.3 Điều khiển xe lăn - 66 4.1.4 Xem đồ thị liệu 69 Trang iv 4.2 Các công việc phần mềm đảm nhận 69 4.2.1 Thu nhận liệu 70 4.2.2 Trích đặc điểm liệu - 71 4.2.3 Gom cụm liệu - 71 4.2.4 Mạng neural đa lớp lan truyền ngược 71 4.2.5 Xử lý ảnh thông qua Camera 71 4.3 Hệ thống phần cứng 72 4.3.1 Bảng quan sát - 72 4.3.2 Xe lăn mơ hình 73 4.3.3 Thiết bị Emotiv - 76 4.4 Các bước tiến hành thực nghiệm - 78 4.4.1 Quá trình huấn luyện người tham gia điều khiển - 78 4.4.2 Điều khiển xe lăn - 79 4.5 Lựa chọn nhóm tham gia trình đánh giá hệ thống - 79 4.6 Kết thực nghiệm cho phương án sử dụng EEG Camera 79 4.7 Kết luận chương 80 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 81 5.1 Kết luận 81 5.2 Kiến nghị - 83 TÀI LIỆU THAM KHẢO 86 Trang v DANH MỤC VÀ CHỮ VIẾT TẮT Stt Viết tắt Tiếng Việt Tiếng Anh ANN Mạng neural nhân tạo Artificial neural network BCI Điều khiển thiết bị suy nghĩ Brain Computer Interfaces CSDL Cơ sở liệu Database EEG Tín hiệu điện não Electroencephalographic EMD Phân tích theo kinh nghiệm Empirical Mode Decomposition FFT Biến đổi Fourier nhanh Fast Fourier Transform HHT Biến đổi Hilbert – Huang Hilbert Huang Transform HT Biến đổi Hilbert Hilbert Transform IMF Hàm chất Intrinsic Mode Function 10 LDA Phân tích di biệt tuyến tính Linear Discriminant Analysis 11 PSD Mật độ phổ cơng suất Power Spectral Density 12 RMS Giá trị hiệu dụng Root Mean Square 13 SNR Tỉ lệ nhiễu tín hiệu Signal to Noise Ratio 14 SQL Ngôn ngữ truy vấn Structured Query Language 15 SV Sinh viên Student 16 SVM Thuật tốn học máy có giám sát Support Vector Machines 17 TNV Tình nguyện viên Volunteer 18 WT Biến đổi Wavelet Wavelet Transform Trang vi DANH MỤC HÌNH Hình Thu nhận tín hiệu điện não EEG Hình 2 Vị trí điện cực theo chuẩn 10-20 - Hình Nhà tâm thần học Hans Berger - 10 Hình Sản phẩm NeuroScan - 11 Hình Sản phẩm Brain Products 11 Hình Sản phẩm BioSemi 12 Hình Sản phẩm EGI - 12 Hình Sản phẩm Emotiv 13 Hình Dạng sóng Delta 14 Hình 10 Dạng sóng Theta 14 Hình 11 Dạng sóng Alpha - 15 Hình 12 Dạng sóng Beta - 15 Hình 13 Dạng sóng Gamma - 16 Hình 14 Vị trí thùy vỏ não - 16 Hình 15 Tên vị trí điện cực theo chuẩn quốc tế 10/20 - 18 Hình 16 Các dạng hàm Wavelet - 21 Hình 17 Tín hiệu EEG phân tích thành thành phần - 22 Hình 18 Tín hiệu biến đổi Wavelet dạng ảnh - 22 Hình 19 Tín hiệu biến đổi Wavelet dạng ảnh - 23 Hình 20 Lưu đồ giải thuật EMD 25 Hình 21 Tín hiệu EEG cần phân tích - 26 Hình 22 Tín hiệu phân tích thành IMF1 - 26 Hình 23 Tín hiệu phân tích thành IMF2 - 27 Hình 24 Tín hiệu phân tích thành IMF3 - 27 Hình 25 Tín hiệu phân tích thành IMF4 - 27 Hình 26 Tín hiệu phân tích thành IMF5 - 27 Hình 27 Tín hiệu phân tích thành IMF6 - 27 Hình 28 Tín hiệu phân tích thành IMF7 - 28 Hình 29 Tín hiệu phân tích thành IMF8 - 28 Trang vii Hình 30 Tín hiệu phân tích thành IMF9 - 28 Hình 31 Tín hiệu phân tích thành IMF10 - 28 Hình 32 Tín hiệu phân tích thành IMF11 - 28 Hình 33 Tín hiệu phân tích thành IMF12 - 28 Hình 34 Một kênh tín hiệu EEG biến đổi thành dạng sóng - 29 Hình 35 Mô tả gom cụm liệu 29 Hình 36 Mơ hình mạng Neural đơn lớp có nút nhập - 32 Hình 37 Mơ hình mạng Neural đa lớp - 33 Hình Mơ hình hệ thống - 36 Hình Quá trình tiền xử lý 36 Hình 3 Sóng dạng hình nón Mêhicơ - 37 Hình Tín hiệu EEG ghi nhận - 38 Hình Một kênh tín hiệu xử lý biến đổi sóng 38 Hình Mơ hình mạng Neural - 39 Hình Phân lớp kết nhận dạng 40 Hình Giản đồ thời gian thu nhận cho khung hình - 41 Hình Phân loại hình ảnh thành 05 lớp 43 Hình 10 Lệnh điều khiển tương ứng 44 Hình 11 Mơ hình hệ thống - 44 Hình 12 Thuật toán K-Means 46 Hình 13 Mơ hình mạng Neural đa lớp 46 Hình 14 Thuật toán huấn luyện mạng Neural - 47 Hình 15 Kiến trúc hệ thống 53 Hình 16 Phát mắt lông mày 54 Hình 17 Tâm đồng tử, phân đoạn ảnh mắt lông mày - 54 Hình 18 Tỷ lệ mắt trái lông mày trái 54 Hình 19 Tỷ lệ mắt phải lông mày phải - 55 Hình 20 Tỷ lệ tâm đồng tử chiều dài mắt 55 Hình 21 Mơ hình mạng Neural 56 Hình 22 Hệ thống phần cứng phần mềm - 57 Trang viii CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ Tóm tắt chương Chương đánh giá kết đạt so với yêu cầu luận án đề xuất hướng phát triển đề tài để ngày hoàn thiện 5.1 Kết luận Qua trình nghiên cứu lý thuyết, xây dựng thuật tốn, xây dựng mơ hình tiến hành thực nghiệm trình bày luận án này, tác giả nhận thấy tốn sử dụng tín hiệu điện não EEG camera hỗ trợ cho người khuyết tật nặng để điều khiển xe lăn giải đạt mục tiêu đặt Luận án trình bày đầy đủ bước từ việc xây dựng bảng quan sát (thu nhận liệu từ việc quan sát hình ảnh người, phong cảnh, thành phố,…), q trình ứng dụng cơng cụ tốn học để thu nhận, xử lý, phân loại, nhận dạng tín hiệu điện não EEG để thu nhận kết cuối đưa vào điều khiển trình tự bước phải thực xây dựng thuật toán, phân tích sở tốn học để giảm thiểu số kênh tín hiệu điện não nhằm giảm thời gian xử lý tối thiểu hóa độ lớn sở liệu Trong luận án sử dụng phương pháp trích đặc điểm tín hiệu theo phương pháp HHT có cải tiến cho phù hợp với đề tài, phân cụm liệu giúp cho mạng neural huấn luyện mạng nhanh hội tụ, tránh bị “overfitting” nhận diện câu lệnh đầy đủ, xác hơn; mạng neural sau phân loại câu lệnh, hệ thống xuất tín hiệu điều khiển để điều khiển xe lăn thông qua kết nối không dây với bluetooth, giúp cho hệ thống hoạt động gọn gàng đơn giản hơn, cấu chấp hành xe lập trình để nhận lệnh từ máy tính thực thi theo câu lệnh Trong luận án, tác giả tập trung nghiên cứu tìm phương thức thu nhận mẫu tín hiệu điện não dễ thực hiện, giảm thời gian, tránh sai sót việc xây dựng bảng quan sát với kích thước phù hợp tương ứng với đối tượng hình ảnh khác Phương pháp trích đặc điểm tín hiệu điện não EEG việc tổng hợp tổng tín hiệu trước đưa vào mạng neural đề xuất Trang 81 luận án giúp cho việc phân loại mẫu tín hiệu nhanh xác 92,4% Giảm bớt số kênh phân tích tín hiệu giúp giảm thời gian xử lý, việc giảm số kênh tín hiệu dựa vào đặc điểm vị trí điện cực vỏ não qua trình thực nghiệm Việc kết hợp gắn camera để quan sát hướng mắt giúp cho hệ thống chạy ổn định giúp cho người tham gia huấn luyện nhanh chóng thành thạo với việc điều khiển xe lăn Sử dụng tín hiệu điện não EEG lĩnh vực điều khiển đề xuất luận án số cơng trình nghiên cứu nước tìm hiểu tín hiệu điện não, lọc nhiễu tín hiệu, sử dụng chớp mắt việc nhận dạng phát tượng chớp mắt Xây dựng hệ thống phần mềm thu nhận tín hiệu EEG thử nghiệm điều khiển xe lăn mơ hình Tác giả xây dựng hệ thống điều khiển thơng qua xử lý tín hiệu điện não EEG điều khiển mơ hình vật lý xe lăn hình 5.1, kết hợp với trình động học xe xử lý lệnh điều khiển liên tục… giúp mô hình tiếp tục phát triển ứng dụng thực tế Sau thời gian tìm hiểu, nghiên cứu vấn đề liên quan đến tín hiệu điện não EEG, chuẩn bị tiến hành thực nghiệm đối tượng sinh viên để tìm tập liệu mẫu đáng tin cậy phục vụ cho việc huấn luyện mạng neural, tác giả nghiên cứu cách cẩn thận khoa học từ giới thiệu mục đích thực nghiệm, tâm lý người thực nghiệm (tránh lo ngại, không tự tin, tập trung tham gia thực nghiệm), quy trình tiến hành thực nghiệm hợp lý, dễ thực hiện, lựa chọn thời gian thực nghiệm cho phù hợp với sinh viên, cuối việc sàng lọc liệu để có tập liệu đáng tin cậy, sau có mẫu liệu đáng tin cậy này, tiến hành thực nghiệm cho số sinh viên (chưa tham gia huấn luyện) số sinh viên tham gia huấn luyện để có kết luận xác khoa học độ tin cậy hệ thống Ngoài ra, việc kết hợp xử lý, phân loại tín hiệu EEG kết hợp với camera giúp cho hệ thống hoạt động hiệu an toàn hơn, người tham gia thực nghiệm Trang 82 dễ dàng điều chỉnh suy nghĩ tập trung q trình học lệnh có phản hồi kịp thời âm (kết từ việc xử lý ảnh xử lý tín hiệu) Trong q trình nghiên cứu, tác giả tham gia báo cáo kết nghiên cứu hội nghị khoa học quốc gia quốc tế, công bố báo khoa học quốc tế, báo hội nghị nước đề nghiên cứu khoa học cấp trường nghiệm thu, có trich dẫn Scopus, 01 trích dẫn ISI (chuẩn ESCI) 5.2 Kiến nghị Qua trình nghiên cứu, tác giả mong nhận quan tâm bạn bè, đồng nghiệp, nhà nghiên cứu khoa học, nhà hoạt động xã hội quan tâm ủng hộ mặt tinh thần chia sẻ kiến thức liên quan để xây dựng cơng trình hồn thiện có ích cho xã hội nói chung người khuyết tật nói riêng Hình Mơ hình tổng hợp đề tài Việc thu nhận, xử lý nhận dạng tín hiệu điện não EEG tiếp tục nghiên cứu giới, nhằm giải nhiều vấn đề khác y học nhiều lĩnh vực khác sản xuất, đời sống kinh tế, xã hội, ví dụ điều khiển xe hình 5.2, sản xuất, lĩnh vực kinh doanh, giải trí… thiết nghĩ Việt Nam nói chung trường Đại Học Giao thơng Vận tải Tp Hồ Chí Minh Trang 83 nói riêng nên tiếp tục nghiên cứu để tạo sản phẩm, thật có ích cho xã hội Hình Xe lăn điều khiển tín hiệu EEG Ngồi việc nghiên cứu tín hiệu điện não EEG hỗ trợ cho người khuyết tật, việc phân tích xử lý tín hiệu điện não EEG vận dụng để áp dụng lĩnh vực khác tâm lý y sinh nhằm phát trường hợp bị trầm cảm, stress đưa đề xuất phù hợp cho người; lĩnh vực kinh doanh marketing khảo sát tâm lý khách hàng, ví dụ khu vực trưng bày sản phẩm, khách hàng quan tâm nhiều đến sản phẩm tín hiệu não EEG ghi nhận lại hình 5.3, từ nhà hoạch định kinh doanh đưa chiến lược kinh doanh phù hợp hiệu Hình Khảo sát khách hàng tín hiệu EEG Cuối để ứng dụng lĩnh vực điều khiển tự động tín hiệu điện não EEG ngày phát triển giúp nghiên cứu sinh có đam mê lĩnh vực này, tác giả mạnh dạn đề nghị Khoa Điện, Điện Tử - Viễn Thông, Viện Đào tạo sau đại học Nhà trường trang bị phòng nghiên cứu lĩnh vực để nghiên cứu sinh dễ dàng trao đổi vào học tập lẫn Trang 84 CÁC CÔNG TRÌNH NGHIÊN CỨU ĐÃ CƠNG BỐ [1] Quang Chuyen Lam, Luong Anh Tuan Nguyen, Huu Khuong Nguyen A Novel Approach for Classifying EEG Signal with Multi-Layer Neural Network ICRAI 2017 Proceedings of the 2017 International Conference on Robotics and Artificial Intelligence (ISBN:978-1-4503- 5358-8 ), (ACM Digital Library), Pages 79-83, December, 2017 (Scopus) [2] Lâm Quang Chuyên, Nguyễn Hữu Khương, Nhận dạng tín hiệu EEG với thiết bị Emotiv thơng qua mạng nơron đa lớp Kỷ yếu Hội Nghị Khoa Học Công Nghệ Giao Thông Vận Tải lần IV (ISBN: 978-604-76-1578-0), Trang 150-156 Tháng 05 Năm 2018 [3] Quang Chuyen Lam, Luong Anh Tuan Nguyen, Huu Khuong Nguyen Build Control Command Set Based on EEG Signals via Clustering Algorithm and Multi-Layer Neural Network Journal of Communications (ISSN: 1796-2021), pages 406-413, Vol 13, No 7, July, 2018 (Scopus) [4] Luong Anh Tuan Nguyen, Quang Chuyen Lam and Huu Khuong Nguyen Developing a Wheelchair System Controlled Based on EEG Signal and Eye-Direction International Journal of Computer Science and Network Security (ISSN: 1738-7906), Pages 115-122, VOL.19 No.3, March 2019 (ISI – ESCI) [5] Nguyễn Hữu Khương, Lâm Quang Chuyên, Phạm Thúy Ngọc đề tài nghiên cứu khoa học cấp trường “Xây dựng hệ thống điều khiển xe lăn dựa vào tín hiệu điện não với hỗ trợ Camera”, Mã số: KH1818, nghiệm thu tháng 8/2019 Trang 85 TÀI LIỆU THAM KHẢO [1] P J Werbos (1974), Beyond regression: new tools for prediction and analysis in the behavior sciences PhD Thesis, Harvard University, Committee on Applied Mathematics, 1974 [2] A Temko, G Boylan, W Marnane, and G Lightbody “Robust neonatal EEG seizure detection through adaptive background modeling,” Int J Neural Syst., vol 23, no 4,pp 1350018, 2013 [3] Temko A, Boylan G, Marnane W, Lightbody G Robust neonatal EEG seizure detection through adaptive background modeling Int J Neural Syst 2013;23(4): 1350018 [4] Nguyễn Thanh Hải, Nguyễn Văn Trung (Trường ĐH Sư phạm Kỹ thuật), Võ Văn Tới (Trường Đại học Quốc tế, ĐHQG-HCM) “Điều khiển xe lăn điện hoạt động mắt dựa tín hiệu điện não” Trường ĐH Sư phạm Kỹ thuật Tp HCM, 09/2013 – Science & Technology Development, Vol 16, No K3 – 2003 [5] Huỳnh Văn Tuấn, Huỳnh Quang Vũ “Nghiên cứu phương pháp lọc nhiễu tín hiệu điện não ứng dụng nhận diện số trạng thái tín hiệu điện não”, Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM, tạp chí phát triển KH&CN, tập 20, số T4-2017 [6] Duc-Nghi Tran1, Duc-Tan Tran2 “Nghiên cứu phát triển phần mềm loại nhiễu phục vụ chuẩn đoán điện não đồ” 1Vietnam Acdemy of Science and Technology, Phenikaa University, Hội thảo quốc gia 2014 điện tử, Truyền thông Công nghệ thông tin (ECIT2014), Conference Paper: January 2014 [7] Secid Sanei and J A Chambers – “EEG Signal Processing” – Centre of Digital Signal Processing – Cardiff University, UK, John Wiley & Sons, Ltd – 2007 [8] Naisan Yazdani, Fatemah Khazab, Sean Fitzgibbon, Martin Luerssen “Towards a brain-controlled Wheelchair Prototype” © 2010 [9] https://www.asianscientist.com/2015/11/in-the-lab/high-speed-spelling- brain-waves/ Trang 86 [10] Brijil Chambayil, Rajesh Singla, R Jha, “EEG Eye Blink Classification Using Neural Network”, pp 603-608, vol 1, Springer-Verlag Berlin Heidelberg, July 2, 2010 [11] Attaullah Sahito,M Abdul Rahman, Jamil Ahmed - Department of Computer Science - Sukkur Institute of Business Administration - Airport road Sukkur, Pakistan “Adaptive Error Detection method for P300-Based Spelling using Riemannian Geometry” (IJACSA) International Journal of Advanced Computer Science and Applications, Vol 7, No 11, 2016 [12] Mohammed Azher Therib, mohammedtherib@gmail.com “Smart blinding stick with holes, obstacles and ponds detector based on microcontroller” Al-Furat Al-Awsat Technical University/ Engineering Technical College of Al-Najaf Journal of Babylon University/Engineering Sciences/ No.(5)/ Vol.(25): 2017 [13] D.Sathya, M.J.Ahanaa - 1, 2, S.Nithyaroopa, P.Betty, G.Santhoshni, S.Sabharinath, Assistant Professor, Department of Computer Science and Engineering, Kumaraguru College of Technology Coimbatore 2, 3, UG Final Year, Computer Science and Engineering, Kumaraguru College of Technology, Coimbatore “SMART WALKING STICK FOR BLIND PERSON” International Journal of Pure and Applied Mathematics - Volume 118 No 20 2018, 4531-4536 - ISSN: 1314-3395 (on-line version) url: http://www.ijpam.eu Special Issue [14] Dada Emmanuel Gbenga #1, Arhyel Ibrahim Shani #2, Adebimpe Lateef Adekunle *3 # Department of Computer Engineering, *Department of Computer Science, 1,2 University of Maiduguri, Maiduguri, Borno State, Nigeria Emmanuel Alayande College of Education, Oyo, Oyo State, Nigeria “Smart Walking Stick for Visually Impaired People Using Ultrasonic Sensors and Arduino” Dada Emmanuel Gbenga et al / International Journal of Engineering and Technology (IJET) ISSN (Print) : 2319-8613 ISSN (Online) : 0975-4024 [15] Abdel Ilah N Alshbatat, Peter J Vial, Prashan Premaratne, Le C Tran, “EEG-based Brain-computer Interface for Automating Home Appliances”, JOURNAL OF COMPUTERS, VOL 9, NO 9, SEPTEMBER 2014 [16] Vilic, A.; Kjaer, T.W.; Thomsen, C.E.; Puthusserypady, S.; Sorensen, H.B.D DTU BCI speller: An SSVEP-based spelling system with dictionary Trang 87 support In Proceedings of the 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Osaka, Japan, 3–7 July 2013; pp 2212–2215 [17] Fatma Ben Taher, Nader Ben Amor, Mohamed Jallouli “A multimodal wheelchair control system based on EEG signals and Eye tracking fusion” Ecole Nationale d’Ingnieurs de Sfax Univrsit de Sfax 978-1-4673-7751-5/15/$31.00 ©2015 IEEE [18] Amin, H U., Malik, A S., Ahmad, R F., Badruddin, N., Kamel, N., & Hussain, M., et al (2015) Feature extraction and classification for eeg signals using Wavelet Transform and machine learning techniques Australasian Physical & Engineering Sciences in Medicine, 38(1), 1-11 [19] Maziar A Sharbafi, Caro Lucas, and Roozbeh Daneshvar Motion Control of Omni-Directional ThreeWheel Robots by Brain-Emotional-Learning-Based Intelligent Controller IEEE Trans on Systems, Man, and Cybernetics—Part C: Applications and Reviews, Vol 40, No 6, 2010 [20] Vito Puliafito, Silvano Vergura, Mario Carpentieri, “Fourier, Wavelet, and Hilbert-Huang Transforms for Studying Electrical Users in the Time and Frequency Domain” This paper is an extended version of paper published in the International Conference: EEEIC 2016, Florence, Italy, 7–10 June 2016 [21] Alexander J Casson, David C Yates, Shyam Patel and Esther Rodriguez- Villegas, An analogue bandpass filter realisation of the Continuous Wavelet Transform, Proceedings of the 29th Annual International Conference of the IEEE EMBS, pp 1850-1854Lyon, France August 23-26, 2007 [22] Smith S J M EEG in the diagnosis, classification, and management of patients with epilepsy Journal of Neurol Neurosurg and Psychiatry 2005;76:ii2ii7 [23] Kijewski-Correa, T., and A Kareem (2006) Efficacy of Hilbert and Wavelet Transforms for time-frequency analysis, J Eng Mech 132, no 10, 1037– 1049 Trang 88 [24] D Cvetkovic, E D Ubeyli, and I Cosic, “Wavelet Transform feature extraction from human PPG, ECG, and EEG signal responses to ELF PEMF exposures: a pilot study,” Digital Signal Processing, vol 18, no 5, pp 861–874, 2008 [25] Lukas Maly, Ludek Zalud, “CONTROL OF THE ELECTRIC WHEELCHAIR USING EEG CLASSIFICATION” [26] EEG Data, URL: http://sccn.ucsd.edu/~arno/fam2data/publicly_available_EEG_data.html [27] https://www.topuniversities.com/node/2243/ranking-details/world- university-rankings [28] Liu, Z & Ying, Q & Luo, Z & Fan, Y (2016) Analysis and research on EEG signals based on HHT algorithm 423-426 10.1201/9781315265278-95 [29] Mwasiagi, J I., Wang, X H., & Huang, X B (2009) The use of K-means and artificial neural network to classify cotton lint Fiber and Polymers, 10, 379– 383 [30] J I Mwasiagi, X H Wang, and X B Huang, “The use of K-means and artificial neural network to classify cotton lint,” Fiber and Polymers, no 10, pp 379–383, 2009 [31] ChaitrashreeV1, Vivechana M S2, Anindita Das3, Shewtha N.S4, Shilpashree P S.5 “WIRELESS GESTURE CONTROLLED WHEEL CHAIR USING IMAGE PROCESSING” Department of Electronics and Communication, Siddaganga Institute of Technology Tumakuru, Karnataka, ISSN, (PRINT): 2393-8374, (ONLINE): 2394-0697, Volume-4, Issue-7, 2017 [32] Srimathi P, Kanthini B1, Kaushik Kumar Sen2, “Wheelchair Control Using An Eye Tracking System For Assisted Mobility”, Electronics and Communication Engineering, SRM University, Vadapalani, International Journal for Research in Applied Science & Engineering Technology (IJRASET), www.ijraset.com, IC Value: 13.98, Volume 3, Special Issue-1, May 2015, ISSN: 2321-9653 [33] Devansh Mittal, S Rajalakshmi and T Shankar “Demonstration of automatic wheelchair control by tracking eye movement and using IR sensors”, Trang 89 Eepartment of Electronics and Communication Engineering, SENSE VIT University, Vellore, Tamil Nadu, India, Email: srajalakshmi@vit.ac.in, www.arpnjournals.com, ARPN Journal of Engineering and Applied Sciences – 2006-2018 Asian Research Publishing Network (ARPN) All rights reserved, Vol 13, No 11, June 2018, ISSN 1819-6608 [34] C C Lo, T Y I Chien, Y C Chen, S H Tsai, W C Fang, and B S Lin, “A wearable channel selection-based brain-computer interface for motor imagery detection,” Sensors, vol 16, no 2, 2016 [35] Camilo J Cela Conde, Gisele Marty “Mind Architecture and Brain Architecture” Biology and Philosophy 12: 327–340, 1997 c 1997 Kluwer Academic Publishers Printed in the Netherlands [36] Jiawei Zhang - jiawei@ifmlab.org - Founder and Director – “Secrets of the Brain: An Introduction to the Brain Anatomical Structure and Biological Function” Information Fusion and Mining Laboratory, (First Version: April 2019; Revision: April 2019.) [37] https://asa.scitation.org/doi/abs/10.1121/1.406528 [38] Abdelkader Nasreddine Belkacem, Hideaki Hirose, Natsue Yoshimura, Duk Shin,Yasuharu Koike, Classification of Four Eye Directions from EEG Signals for Eye-Movement-Based Communication Systems, Journal of Medical and Biological Engineering, 34(6): 581-58, December 2014 [39] David Steyrl, Reinmar J Kobler, Gernot R Müller-Putz “On Similarities and Differences of Invasive and Non-Invasive Electrical Brain Signals in BrainComputer Interfacing” Received 12 May 2016; accepted 26 June 2016; published 30 June 2016, J Biomedical Science and Engineering, 2016, 9, 393-398 [40] Valer Jurcak, Daisuke Tsuzuki, Ippeita Dan “10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems” Sensory and Cognitive Food Science Laboratory, National Food Research Institute, 2-1-12 Kannondai, Tsukuba 305-8642, Japan, Received 29 September 2005; revised 30 August 2006; accepted 20 September 2006 Available online January 2007 Trang 90 [41] M Teplan “Fundamentals of EEG measurement” Institute of Measurement Science, Slovak Academy of Sciences, Dúbravská cesta 9, 841 04 Bratislava, Slovakia, MEASUREMENT SCIENCE REVIEW, Volume 2, Section 2, 2002 [42] William O Tatum, Aatif M Husain, Selim R Benbahis, Peter W Kaplan “Handbook of EEG Interpretation” ISBN-13: 978-1-933864-11-2 (pbk: alk paper) ISBN-10: 1-933864-11-7 (pbk.: alk paper) [43] Suzana Herculano-Houzel, Laboratório de Neuroanatomia Comparada, Instituto de Ciências Biomédicas, Universidade Federal Rio de Janeiro, Rua Carlos Chagas Filho 373, 21950-902 Rio de Janeiro, Rio de Janeiro, Brazil email: moc.liamg@hhanazus – “The Human Brain in Numbers: A Linearly Scaledup Primate Brain” Published online 2009 Nov Prepublished online 2009 Aug PMCID: PMC2776484 PMID: 19915731 [44] Y M Chi, T.-P Jung, and G Cauwenberghs, "Dry-contact and Noncontact Biopotential Electrodes: Methodological Review," IEEE Reviews in Biomedical Engineering, vol Vol 3, pp pp 106-119, 2010 [45] Emilia Mikolajewska, Dariusz Mikolajewski “Non – invasive EEG based brain computer interfaces in patients with disorders of consciousness” , Mikołajewska and Mikołajewski Military Medical Research 2014 [46] L Mayaud, M Congedo, A van Laghenhove et al., “A comparison of recording modalities of P300 Event Related Potentials (ERP) for Brain-Computer Interface (BCI) paradigm,” Clinical Neurophysiology, vol 43, no 4, pp 217–227, 2013 [47] Heaton, Jeffrey (2008) Introduction to Neural Networks for Java [48] Prof Brad Osgood “The Fourier Transform and its Applications” Electrical Engineering Department Stanford University [49] Hornero et al., 2009 Nonlinear analysis of electroencephalogram and magnetoencephalogram recordings in patients with Alzheimer’s disease Phil Trans R Soc A 367:317–336 [50] E Niedermeyer and F H L da Silva, Electroencephalography: Basic Principles, Clinical Applications, and Related Fields: Lippincott Williams & Wilkins, 2005 Trang 91 [51] T Heinonen, P.J Lahti “Heisenberg’s Uncertainty Principle” Department of Physics, University of Turku, Turku, Finland, 12/ 2006 [52] Signal quality of simultaneously recorded invasive and non-invasive EEG, volume 46, Issue 3, 01-July-2009, pages 708-716 [53] D Brunet, G Young et al 2000 Electroencephalography, Guidelines for Clinical Practice and Facility Standards, College of Physicians and Surgeons of Ontario, Canada [54] Jiawei Zhang - jiawei@ifmlab.org - Founder and Director – “Secrets of the Brain: An Introduction to the Brain Anatomical Structure and Biological Function” Information Fusion and Mining Laboratory, (First Version: April 2019; Revision: April 2019.) [55] Amjed S Al-Fahoum1 and Ausilah A Al-Fraihat “Review Article Methods of EEG Signal Features Extraction Using Analysis in Frequency and Time-Frequency Domains” Hindawi Linear Publishing Corporation ISRN Neuroscience Volume 2014, Article ID 730218, pages [56] Wang, T.; Zhang, M.; Yu, Q.; Zhang, H Comparing the applications of EMD and EEMD on time-frequency analysis of seismic signal J Appl Geophys 2012, 83, 29–34 [57] D J McFarland, C W Anderson, K R Muller, A Schlogl, and D J Krusienski, "BCI meeting 2005-workshop on BCI signal processing: feature extraction and translation," IEEE Transaction on Neural Systems and Rehabilitation Engineering, vol 14, pp 135-138, 2006 [58] P Goupillaud, A Grossmann, and J Morlet, “Cycleoctave and related Transforms in seismic signal analysis,” Geoexploration, vol 23, no 1, pp 85–102, 1984 [59] Maria Sandsten “Time-Frequency Analysis of Time-Varying Signals and Non-Stationary Processes” LUND UNIVERSITY, CENTRUM SCIENTIARUM MATHEMATICARUM, Centre for Mathematical Sciences, 2018 [60] Chadwick, N.A.; McMeekin, D.A.; Tan, T., Classifying eye and head movement artifacts in EEG signals, Proceedings of the 5th IEEE International Conference on Digital Ecosystems and Technologies Conference (DEST), pp 285 – 291, 2011 Trang 92 [61] Joel Feldman “The Fourier Transform” 2007 All rights reserved March 1, 2007 [62] Yerin Yoo “Tutorial on Fourier Theory” March 2001 [63] Mazdak Fatahi “An introduction to Wavelet Transform” Razi university 12/ 2003 [64] Chun Lin, Liu “A totorial of the Wavelet Transform” 02/ 2010 [65] Daniel T.L Lee, Akio Yamamoto “Wavelet Analysis Theory and Application” December 1994, Hewlett – Packard Journal [66] Y Meyer, Wavelets and Applications, Paris: Masson; 1992 [67] Köse, Ayşe & Sarabaty, H (2017) EEG Signals Analysis using Hilbert- Huang Transform [68] Chi-Chun Lo, Tsung-Yi Chien, Yu-Chun Chen, Shang-Ho Tsai, Wai-Chi Fang, and Bor-Shyh Lin, “A Wearable Channel Selection-Based Brain-Computer Interface for Motor Imagery Detection,” Sensors, vol 16, no 2, 2016 [69] Deniel C Browman, Jonathan M Lees “The Hilbert–Huang Transform: A High Resolution Spectral Method for Nonlinear and Nonstationary Time Series” [70] Yumlembam Rahul, Mr.Rupam Kumar Sharma, Ms.Nissi Paul “A REVIEW ON EEG CONTROL SMART WHEEL CHAIR” ISSN No 0976-5697 , Volume 8, No 9, November-December 2017 [71] Norden E Huang, Zhaohua Wu “A review on Hilbert Huang Transform Method and its applications to geophysical studies” N E Huang, Research Center for Adaptive Data Analysis, National Central University, 300 Jhongda Road, Chungli, 32001 Taiwan (norden@ncu.edu.tw) Z Wu, Center for Ocean-LandAtmosphere Studies, Calverton, MD 20705, USA, published June 2008 [72] B Jenita Amali Rani, A Umamakeswari “Electroencephalogram-based Brain Controlled Robotic Wheelchair” ISSN (Print) : 0974-6846, ISSN (Online) : 0974-5645, Indian Journal of Science and Technology, Vol 8(S9), 188–197, May 2015 [73] D E Rumelhart, G E Hinton, and R J Williams (1986), Learning representations by back-propagating errors Nature, 323:533–536, 1986 Trang 93 [74] C Willmott and K Matsuura, “Advantages of the Mean Absolute Error (MAE) over the Root Mean Square Error (RMSE) in assessing average model performance,” Clim Res., no 30, pp 79–82, 2005 [75] Jiawei Han, Micheline Kamber, Data Mining: Concepts and Techniques, Second Edition, Elsevier Inc All rights reserved, 2006 [76] Hengqing Ge, Guibin Chen, Haichun Yu, Huabao Chen and Fengping An “Theoretical Analysis of Empirical Mode Decomposition” School of Physics and Electronic Electrical Engineering, Huaiyin Normal University, Huaian 223001, China; ghq@hytc.edu.cn (H.G.); gbchen@hytc.edu.cn (G.C.); yhc@hytc.edu.cn (H.Y.); chbchb@hytc.edu.cn (H.C.) * Correspondence: anfengping@bit.edu.cn; Tel.: +86-517-8418-0686, Published: 10 November 2018 [77] S Haykin (1999), Neural networks: A comprehensive foundation, in The Knowlegde Engineering Review Vol 13, 1999, pp 409–412 [78] S H Liao and C H Wen (2005), Artificial neural networks classification and clustering of methodologies and applications - literature analysis from 1995 to 2005, in Expert Systems with Applications, vol 32, 2007, pp 1–11 [79] Youguo Li, Haiyan Wu, Department of Computer Science, Xinyang Agriculture College, Xingyang, Henan 464000, China “A Clustering Method Based on K-Means Algorithm”, 2012 International Conference on Solid State Devices and Materials Science, Physics Procedia 25 (2012) 1104-1109, SciVerse ScienceDirect, Elsevier, www.sciencedirect.com [80] R Kohavi and F Provost, Glossary of Terms, Editorial for the Special Issue on Applications of Machine Learning and the Knowledge Discovery Process, 1998 [81] G P Zhang (2000), Neural networks for classification: a survey, in Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, Vol 30, 2000, pp 451–462 [82] Vijay Khare, Jayashree Santhosh, Sneh Anand, Manvir Bhatia “Brain Computer Interface Based Real Time Control of Wheelchair Using Electroencephalogram” International Journal of Soft Computing and Engineering (IJSCE) SSN: 2231-2307, Volume-1, Issue-5, Nov 2011 Trang 94 [83] Vijay Khare, Jayashree Santhosh, Sneh Anand, Manvir Bhatia, “Control WheelChair Using Electroencephalogram” (IJCSIS) International Journal of Computer Science and Information Security, Vol 8, No.2, 2010 [84] Rahib H Abiyev, Nurullah Akkaya, Ersin Aytac, Irfan Gunsel, Ahmet Cagman, “BRAIN BASED CONTROL OF WHEELCHAIR” Applied Artificial Intelligence Research Centre, Near East University, Lefkosa, Mersin-10, North Cyprus, Turkey [85] Anas Fattouh, Odile Horn, Guy Bourhis Emotional BCI Control of a Smart Wheelchair IJCSI International Journal of Computer Science Issues, Vol 10, Issue 3, No 1, May 2013 [86] Daniel C Brown, Jonathan M Lees “The Hilbert–Huang Transform: A High Resolution Spectral Method for Nonlinear and Nonstationary Time Series”, Seismological Research Letters Volume 84, Number November/December 2013 [87] Nikhil R Folane, R M Autee “EEG Based Brain Controlled Wheelchair for Physically Challenged People” International Journal of Innovative Research in Computer and Communication Engineering, vol 4, Issue 1, January 2016, ISSN (Online): 2320-9801; ISSN (Print): 2320-9798 [88] T W Ridler and S Calvard, “Picture thresholding using an iterative selection method,” IEEE Transactions on Systems, Man and Cybernetics, SMC-8, pp.630-632, 1978 Trang 95 ... VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ... lăn mơ hình Thiết kế thiết bị điều khiển xe lăn mơ hình phục vụ cho người khuyết tật nặng sử dụng công nghệ điện não EEG camera, kết luận án cho thấy người khuyết tật nặng, tự di chuyển (nhưng cịn... cứu cho luận văn tốt nghiệp 1.6.2 Đóng góp mặt thực tiễn Luận án cho thấy kết nghiên cứu hồn tồn áp dụng cho người tàn tật nặng khơng thể tự di chuyển, điều khiển xe lăn theo ý muốn (người tàn tật