Kết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồ

Kết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồKết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH NGƠ BÁ VIỆT KẾT HỢP TÍN HIỆU EEG, CAMERA VÀ VẬT MỐC ĐỂ ĐỊNH VỊ, ĐIỀU KHIỂN XE LĂN ĐIỆN ĐẾN ĐÍCH DỰA VÀO BẢN ĐỒ LUẬN ÁN TIẾN SĨ NGÀNH: KỸ THUẬT ĐIỆN TỬ Tp Hồ Chí Minh, tháng 1/2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH NGƠ BÁ VIỆT KẾT HỢP TÍN HIỆU EEG, CAMERA VÀ VẬT MỐC ĐỂ ĐỊNH VỊ, ĐIỀU KHIỂN XE LĂN ĐIỆN ĐẾN ĐÍCH DỰA VÀO BẢN ĐỒ NGÀNH: KỸ THUẬT ĐIỆN TỬ - 9520203 Hướng dẫn khoa học: PGS.TS NGUYỄN THANH HẢI Phản biện 1: Phản biện 2: Phản biện 3: Tp Hồ Chí Minh, tháng 1/2024 QUYẾT ĐỊNH GIAO ĐỀ TÀI QUYẾT ĐỊNH GIAO ĐỀ TÀI Trang – iii – LÝ LỊCH CÁ NHÂN LÝ LỊCH CÁ NHÂN I THÔNG TIN CÁ NHÂN Họ tên: Ngơ Bá Việt Giới tính: Nam Ngày, tháng, năm sinh: 18 -04-1987 Nơi sinh: Bình Định Địa nhà: 04.2 Lô B chung cư Thủ Thiêm Star, Phường Bình Trưng Đơng, Thành Phố Thủ Đức, Thành Phố Hồ Chí Minh Điện thoại: 0907689357 E-mail: vietnb@hcmute.edu.vn Cơ quan - nơi làm việc: Trường Đại Học Sư Phạm Kỹ Thuật Tp Hồ Chí Minh Địa quan: 01 Võ Văn Ngân, Thành Phố Thủ Đức, Thành Phố Hồ Chí Minh Điện thoại: (+84.8) 37225766; Website: www.hcmute.edu.vn II QUÁ TRÌNH ĐÀO TẠO - Từ 2005 – 2010: Sinh viên ngành Kỹ thuật điện – điện tử, Trường Đại học Sư phạm Kỹ thuật Tp.HCM - Từ 2011 – 2013: Học viên cao học ngành Kỹ thuật điện tử, Trường Đại học Sư phạm Kỹ thuật Tp.HCM - Từ 2016 – nay: Nghiên cứu sinh ngành Kỹ thuật điện tử, Trường Đại học Sư phạm Kỹ thuật Tp.HCM III QUÁ TRÌNH CƠNG TÁC Thời gian 03/2007- 10/2010 Nơi cơng tác Công việc đảm nhiệm Công Ty GreyStone Data Systems Việt Nam 08/2011- 01/2019 Trường Cao Đẳng Kỹ Thuật Cao Thắng 02/2019- Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh Kỹ sư lập trình Giảng viên Giảng viên Tp Hồ Chí Minh, ngày 18 tháng năm 2024 NGÔ BÁ VIỆT Trang – iv – LỜI CAM ĐOAN LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 18 tháng năm 2024 NGÔ BÁ VIỆT Trang – v – LỜI CẢM ƠN LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn chân thành sâu sắc đến Thầy PGS TS Nguyễn Thanh Hải, người ln nhiệt tình hướng dẫn, góp ý định hướng giúp tơi đạt kết tốt suốt trình thực luận án Tôi xin gửi lời cảm ơn đến Ban Giám Hiệu Trường Đại Học SPKT Tp.HCM, Ban Chủ Nhiệm Khoa Điện – Điện tử, Thầy/Cô đồng nghiệp hỗ trợ tơi q trình thực luận án Cuối cùng, xin gửi lời cảm ơn đến gia đình tơi, chỗ dựa tinh thần nguồn động viên vô to lớn, giúp tơi thực tốt cơng việc học tập nghiên cứu Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 18 tháng năm 2024 NGƠ BÁ VIỆT Trang – vi – TĨM TẮT TĨM TẮT Trong năm gần đây, số lượng người gặp vấn đề vận động tăng lên Việt Nam giới Đối với người già người khuyết tật, chức thể chất họ bị giảm sút nghiêm trọng, xe lăn điện gần phương tiện để trì tính động Luận án đề xuất số phương pháp cho việc điều khiển bán tự động cho xe lăn điện dựa vào tín hiệu điện não đồ (EEG), camera, vật mốc đồ Cụ thể, để điều khiển bán tự động cho xe lăn đến đích, q trình gồm giai đoạn thực hiện, bao gồm: (1) người dùng chọn vị trí điểm đích giao diện máy tính tín hiệu EEG; (2) xe lăn tự xác định vị trí bắt đầu đồ dựa vào vật mốc môi trường; (3) hệ thống điều khiển xe lăn điện tự động đến đích dựa vào thơng tin điểm bắt đầu đích đến Trong mơi trường nhà, để bắt đầu cho lộ trình di chuyển tự động, điểm đích cần phải lựa chọn Khi người khuyết tật bị hạn chế vận động chẳng hạn cử động tay đầu, hoạt động nháy mắt phù hợp để người dùng lệnh lựa chọn đích đến giao diện máy tính thiết kế trước với điểm đích Từ đó, luận án đề xuất hai phương pháp phân loại hoạt động nháy mắt từ tín hiệu EEG gồm phương pháp ngưỡng biên độ mơ hình học sâu CNN-1D Ưu điểm phương pháp phân loại hoạt động mắt nháy mắt trái, nháy mắt phải, dùng thuật toán ngưỡng biên độ độ xác cao, 97% cho loại, xử lý trực tiếp tín hiệu mà không cần phải huấn luyện trước Với phương pháp phân loại hoạt động mắt dùng mạng học sâu CNN-1D, tập liệu huấn luyện cần thu thập trước theo quy trình chuẩn hóa Với đặc điểm hoạt động mắt, có tín hiệu từ điện cực tổng số 14 điện cực thu từ thiết bị Emotiv Epoc+ trích xuất ghép lại tạo thành tín hiệu cho huấn luyện Các tín hiệu làm trơn dùng lọc SavitzkyGolay trước đưa vào huấn luyện Kết phân loại cho loại nháy mắt gồm nháy mắt trái, nháy mắt phải, nháy hai mắt, nháy hai mắt hai lần liên tiếp khơng nháy mắt có độ xác trung bình 97% Trang – vii – TÓM TẮT Sau người dùng chọn điểm đích, vị trí ban đầu xe lăn đồ cần xác định Với xe lăn điện trang bị camera, thông tin vật mốc tự nhiên bao gồm hình ảnh vật mốc vị trí mơi trường, cần thiết cho việc xác định vị trí xe lăn Để định vị đồ dựa vào vật mốc, xe lăn cần thu thập thông tin vật mốc lưu vào sở liệu, sau q trình di chuyển xe lăn xác định vị trí dựa vào vật mốc Để thu thập thông tin vật mốc môi trường, luận án kiến nghị phương pháp mật độ điểm đặc trưng lớn cho nhận biết vật mốc tự nhiên phương pháp xác định vị trí vật mốc dựa vào vị trí xe lăn thơng tin 3D từ camera Cụ thể, hình ảnh mơi trường thu thập từ camera trích xuất đặc trưng, sau thuật tốn hình thái học thực để kết nối điểm đặc trưng lại tạo thành đối tượng ảnh Mật độ điểm đặc trưng cho đối tượng tính tốn đối tượng có mật độ điểm đặc trưng lớn chọn vật mốc Với vật mốc lựa chọn, thông tin 3D vật mốc vị trí xe lăn môi trường dùng để xác định vị trí vật mốc Bên cạnh đó, luận án kiến nghị phương pháp xác định vị trí xe lăn đồ lưới 2D ảo từ thông tin vật mốc môi trường thực, nhằm phục vụ cho việc điều khiển xe lăn Cụ thể, sau nhận dạng vật mốc có sở liệu thu thập trước đó, thơng tin tọa độ vị trí vật mốc không gian môi trường không gian camera dùng để tính tốn vị trí xe lăn mơi trường thực đồ 2D lưới ảo phương trình lượng giác Để giảm bớt việc tham gia điều khiển người sử dụng tăng an toàn, luận án đề xuất mơ hình điều khiển thực - ảo cho xe lăn điện dựa vào đồ lưới 2D ảo, cho phép người khuyết tật đến điểm đến định sẵn đồ lưới Cụ thể, đồ lưới 2D ảo xây dựng từ môi trường thực cách chia thành ô lưới chứa khoảng trống chướng ngại vật Sau đó, đồ với lưới vẽ mơ để tìm đường tối ưu để đến vị trí đích mơ hình Deep Q-Networks (DQNs) với hàm kích hoạt PreLU Bên mơ hình DQNs-PreLU mạng nơ-ron truyền thẳng sử dụng phương pháp lan Trang – viii – TĨM TẮT truyền ngược để cập nhật thơng số mạng Ngõ vào mơ hình đồ lưới ngõ hành động xe lăn tương ứng đồ bao gồm Lên, Xuống, Trái, Phải Với thí nghiệm thực hiện, mơ hình DQNs-PreLU cho thấy thời gian huấn luyện ngắn nhiều so với mơ hình khác thơng số mơ hình lưu trữ lại để dùng cho điều khiển xe lăn môi trường thực Để điều khiển xe lăn mơi trường thực, thuật toán đề xuất để chuyển đổi hành động xe lăn từ ngõ mơ hình DQNs-PreLU mơ với đồ lưới 2D ảo thành lệnh điều khiển thực tế cho xe lăn Kết thí nghiệm cho thấy mơ hình điều khiển đề xuất tự động điều khiển xe lăn đến đích mong muốn với tính ổn định an toàn so với người dùng tự điều khiển Từ kết này, mô hình xe lăn điện bán tự động cho người khuyết tật mơi trường nhà ứng dụng thực tế Hiệu phương pháp đề xuất đánh giá thông qua kết thí nghiệm Các phương pháp mơ hình kiến nghị với kết thu luận án đăng kỷ yếu hội thảo khoa học tạp chí khoa học Với mơ hình xe lăn điện bán tự động đề xuất với kết thử nghiệm, xe lăn điện với chi phí thấp sản xuất tương lai gần, hướng đến nhu cầu di chuyển thiết yếu an toàn cho người khuyết tật Trang – ix – TÓM TẮT ABSTRACT In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information In an indoor environment, to initiate an automatic travel route, a destination needs to be selected In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the CNN-1D deep learning model In particular, the advantage of the first method with eye activities such as left-eye blink, and right-eye blink is that the amplitude threshold algorithm has a high accuracy, over 97% for each type, and can allow to directly process on the signals without pre-training required With the second method using a CNN-1D deep learning network is that the training data set needs to be pre-collected according to a normalized procedure With the characteristics of eye activities, only the EEG signals obtained from electrodes of the Emotiv Epoc+ system with 14-electrodes are extracted and reassembled to produce one signal for training Moreover, the EEG signals are smoothed using Savitzky-Golay filters Trang – x –