luận án tiến sĩ kết hợp tín hiệu eeg camera và vật mốc để định vị điều khiển xe lăn điện đến đích dựa vào bản đồ

LuÁn án này đã đà xuÃt mát sá ph°¢ng pháp cho viÉc điÃu khiÅn bán tď đáng cho xe ln điÉn dďa vào tín hiÉu điÉn não đã EEG, camera, các vÁt mác và bÁn đã.. Că thÅ, đÅ điÃu khiÅn bán tď đá

THÀNH PHà Hâ CHÍ MINH

NGÔ BÁ VIàT

Đ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN Đ¾N ĐÍCH

LU¾N ÁN TI¾N S)

NGÀNH: Kþ THU¾T ĐIàN TĊ

Bà GIÁO DĂC VÀ ĐÀO T¾O

TR¯âNG Đ¾I HàC S¯ PH¾M Kþ THU¾T THÀNH PHà Hâ CHÍ MINH

NGÔ BÁ VIàT

Đ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN Đ¾N ĐÍCH

QUY¾T ĐÞNH GIAO ĐÀ TÀI

LÝ LÞCH CÁ NHÂN

I THÔNG TIN CÁ NHÂN

Ngày, tháng, nm sinh: 18 -04-1987 N¢i sinh: Bình Đánh

Đáa chß nhà: 04.2 Lô B chung c° Thą Thiêm Star, Ph°ång Bình Tr°ng Đông, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh

ĐiÉn tho¿i: 0907689357 E-mail: vietnb@hcmute.edu.vn

C¢ quan - n¢i làm viÉc: Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Tp Hã Chí Minh Đáa chß c¢ quan: 01 Võ Vn Ngân, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh ĐiÉn tho¿i: (+84.8) 37225766; Website: www.hcmute.edu.vn

II QUÁ TRÌNH ĐÀO T¾O

- Tĉ 2005 3 2010: Sinh viên ngành Kỹ thuÁt điÉn 3 điÉn tċ, Tr°ång Đ¿i hãc

III QUÁ TRÌNH CÔNG TÁC

03/2007- 10/2010 Công Ty GreyStone Data Systems ViÉt

08/2011- 01/2019 Tr°ång Cao Đẳng Kỹ ThuÁt Cao ThÃng GiÁng viên 02/2019- nay Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Thành

Tp Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

LâI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cću cąa tôi

Các sá liÉu, kÁt quÁ nêu trong luÁn vn là trung thďc và ch°a tĉng đ°āc công bá trong bÃt kỳ công trình nào khác

Tp Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

LâI CÀM ¡N

Đầu tiên, tôi xin gċi låi cÁm ¢n chân thành và sâu sÃc đÁn Thầy PGS TS NguyÇn Thanh HÁi, ng°åi đã luôn nhiÉt tình h°ãng d¿n, góp ý và đánh h°ãng giúp tôi đ¿t đ°āc nhčng kÁt quÁ tát nhÃt trong suát quá trình thďc hiÉn luÁn án

Tôi xin gċi låi cÁm ¢n đÁn Ban Giám HiÉu Tr°ång Đ¿i Hãc SPKT Tp.HCM, Ban Chą NhiÉm Khoa ĐiÉn 3 ĐiÉn tċ, nhčng Thầy/Cô và đãng nghiÉp đã hß trā tôi trong quá trình thďc hiÉn luÁn án này

Cuái cùng, tôi xin đ°āc gċi låi cÁm ¢n đÁn gia đình tôi, chß dďa tinh thần và là nguãn đáng viên vô cùng to lãn, giúp tôi có thÅ thďc hiÉn tát công viÉc hãc tÁp và nghiên cću cąa mình

Xin chân thành cÁm ¢n!

Tp Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

TÓM TÀT

Trong nhčng nm gần đây, sá l°āng ng°åi gÁp vÃn đà và vÁn đáng đã tng lên ç ViÉt Nam và trên thÁ giãi Đái vãi ng°åi già và ng°åi khuyÁt tÁt, các chćc nng thÅ chÃt cąa hã bá giÁm sút nghiêm trãng, và do đó xe ln điÉn gần nh° là ph°¢ng tiÉn duy nhÃt đÅ duy trì tính c¢ đáng LuÁn án này đã đà xuÃt mát sá ph°¢ng pháp cho viÉc điÃu khiÅn bán tď đáng cho xe ln điÉn dďa vào tín hiÉu điÉn não đã (EEG), camera, các vÁt mác và bÁn đã Că thÅ, đÅ điÃu khiÅn bán tď đáng cho xe ln đÁn đích, mát quá trình gãm 3 giai đo¿n đ°āc thďc hiÉn, bao gãm: (1) ng°åi dùng chãn vá trí điÅm đích trên giao diÉn máy tính bằng tín hiÉu EEG; (2) xe ln tď xác đánh vá trí bÃt đầu trên bÁn đã dďa vào các vÁt mác trong môi tr°ång; và (3) hÉ tháng điÃu khiÅn xe ln điÉn tď đáng đÁn đích dďa vào thông tin điÅm bÃt đầu và đích đÁn

Trong môi tr°ång trong nhà, đÅ bÃt đầu cho mát lá trình di chuyÅn tď đáng, mát điÅm đích cần phÁi đ°āc lďa chãn Khi ng°åi khuyÁt tÁt bá h¿n chÁ và vÁn đáng chẳng h¿n nh° không thÅ cċ đáng tay hoÁc đầu, các ho¿t đáng nháy mÃt là phù hāp đÅ ng°åi dùng ra các lÉnh lďa chãn đích đÁn trên mát giao diÉn máy tính đã đ°āc thiÁt kÁ tr°ãc vãi các điÅm đích Tĉ đó, luÁn án đà xuÃt hai ph°¢ng pháp phân lo¿i các ho¿t đáng nháy mÃt tĉ tín hiÉu EEG gãm ph°¢ng pháp ng°ÿng biên đá và mô hình hãc sâu CNN-1D ¯u điÅm cąa ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt nh° nháy mÃt trái, nháy mÃt phÁi, dùng thuÁt toán ng°ÿng biên đá là đá chính xác cao, trên 97% cho mßi lo¿i, và có thÅ xċ lý trďc tiÁp trên tín hiÉu mà không cần phÁi đ°āc huÃn luyÉn tr°ãc Vãi ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt dùng m¿ng hãc sâu CNN-1D, tÁp dč liÉu huÃn luyÉn cần đ°āc thu thÁp tr°ãc theo mát quy trình đ°āc chuẩn hóa Vãi đÁc điÅm cąa các ho¿t đáng mÃt, chß có tín hiÉu tĉ 4 điÉn cďc trong tång sá 14 điÉn cďc thu đ°āc tĉ thiÁt bá Emotiv Epoc+ đ°āc trích xuÃt và ghép l¿i t¿o thành 1 tín hiÉu cho huÃn luyÉn Các tín hiÉu này đ°āc làm tr¢n dùng bá lãc Savitzky-Golay tr°ãc khi đ°a vào huÃn luyÉn KÁt quÁ phân lo¿i cho 5 lo¿i nháy mÃt gãm nháy mÃt trái, nháy mÃt phÁi, nháy hai mÃt, nháy hai mÃt hai lần liên tiÁp và không nháy mÃt có đá chính xác trung bình trên 97%

Sau khi ng°åi dùng đã chãn đ°āc điÅm đích, vá trí ban đầu cąa xe ln trên bÁn đã cần đ°āc xác đánh Vãi xe ln điÉn đ°āc trang bá camera, thông tin cąa các vÁt mác tď nhiên bao gãm hình Ánh vÁt mác và vá trí cąa nó trong môi tr°ång, là rÃt cần thiÁt cho viÉc xác đánh vá trí cąa xe ln ĐÅ đánh vá trên bÁn đã dďa vào vÁt mác, xe ln cần thu thÁp thông tin vÁt mác và l°u vào c¢ sç dč liÉu, sau đó trong quá trình di chuyÅn xe ln s¿ xác đánh vá trí dďa vào các vÁt mác này ĐÅ thu thÁp thông tin vÁt mác trong môi tr°ång, luÁn án kiÁn nghá ph°¢ng pháp mÁt đá điÅm đÁc tr°ng lãn nhÃt cho nhÁn biÁt vÁt mác tď nhiên và ph°¢ng pháp xác đánh vá trí cąa vÁt mác dďa vào vá trí xe ln và thông tin 3D tĉ camera Că thÅ, hình Ánh môi tr°ång thu thÁp đ°āc tĉ camera s¿ đ°āc trích xuÃt đÁc tr°ng, và sau đó các thuÁt toán hình thái hãc đ°āc thďc hiÉn đÅ kÁt nái các điÅm đÁc tr°ng này l¿i t¿o thành các đái t°āng trong Ánh MÁt đá điÅm đÁc tr°ng cho tĉng đái t°āng này s¿ đ°āc tính toán và đái t°āng nào có mÁt đá điÅm đÁc tr°ng lãn nhÃt đ°āc chãn là vÁt mác Vãi vÁt mác đã đ°āc lďa chãn, thông tin 3D cąa vÁt mác và vá trí cąa xe ln trong môi tr°ång đ°āc dùng đÅ xác đánh vá trí vÁt mác Bên c¿nh đó, luÁn án cũng kiÁn nghá ph°¢ng pháp xác đánh vá trí xe ln trên bÁn đã l°ãi 2D Áo tĉ thông tin vÁt mác trong môi tr°ång thďc, nhằm phăc vă cho viÉc điÃu khiÅn xe ln Că thÅ, sau khi nhÁn d¿ng đ°āc các vÁt mác có trong c¢ sç dč liÉu đã thu thÁp tr°ãc đó, thông tin tãa đá vá trí cąa các vÁt mác này trong không gian môi tr°ång và trong không gian cąa camera s¿ đ°āc dùng đÅ tính toán vá trí xe ln trong môi tr°ång thďc và trên bÁn đã 2D l°ãi Áo bằng các ph°¢ng trình l°āng giác

ĐÅ giÁm bãt viÉc tham gia điÃu khiÅn cąa ng°åi sċ dăng và tng sď an toàn, luÁn án đà xuÃt mô hình điÃu khiÅn thďc - Áo cho xe ln điÉn dďa vào bÁn đã l°ãi 2D Áo, cho phép ng°åi khuyÁt tÁt đÁn bÃt kỳ điÅm đÁn đánh s¿n nào trên bÁn đã l°ãi này Că thÅ, bÁn đã l°ãi 2D Áo đ°āc xây dďng tĉ môi tr°ång thďc bằng cách chia thành các ô l°ãi có thÅ chća các khoÁng tráng hoÁc ch°ãng ng¿i vÁt Sau đó, bÁn đã vãi các ô l°ãi đ°āc v¿ này s¿ đ°āc mô phßng đÅ tìm các đ°ång đi tái °u đÅ đÁn các vá trí đích bằng mô hình Deep Q-Networks (DQNs) vãi hàm kích ho¿t PreLU Bên trong mô hình DQNs-PreLU là mát m¿ng n¢-ron truyÃn thẳng sċ dăng ph°¢ng pháp lan

truyÃn ng°āc đÅ cÁp nhÁt các thông sá m¿ng Ngõ vào mô hình là bÁn đã l°ãi và ngõ ra là các hành đáng cąa xe ln t°¢ng ćng trên bÁn đã bao gãm Lên, Xuáng, Trái, PhÁi Vãi các thí nghiÉm đã đ°āc thďc hiÉn, mô hình DQNs-PreLU cho thÃy thåi gian huÃn luyÉn ngÃn h¢n rÃt nhiÃu so vãi các mô hình khác và các thông sá mô hình có thÅ l°u trč l¿i đÅ dùng cho điÃu khiÅn xe ln trong môi tr°ång thďc ĐÅ có thÅ điÃu khiÅn xe ln trong môi tr°ång thďc, mát thuÁt toán mãi đ°āc đà xuÃt đÅ chuyÅn đåi các hành đáng cąa xe ln tĉ ngõ ra cąa mô hình DQNs-PreLU khi mô phßng vãi bÁn đã l°ãi 2D Áo thành các lÉnh điÃu khiÅn thďc tÁ cho xe ln KÁt quÁ thí nghiÉm đã cho thÃy mô hình điÃu khiÅn đà xuÃt có thÅ tď đáng điÃu khiÅn xe ln đÁn đích mong muán vãi tính ån đánh và an toàn h¢n so vãi khi ng°åi dùng tď điÃu khiÅn

Tĉ nhčng kÁt quÁ này, mát mô hình xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt trong môi tr°ång trong nhà có thÅ đ°āc ćng dăng trong thďc tÁ HiÉu quÁ cąa các ph°¢ng pháp đà xuÃt đã đ°āc đánh giá thông qua các kÁt quÁ thí nghiÉm Các ph°¢ng pháp và mô hình đ°āc kiÁn nghá cùng vãi các kÁt quÁ thu đ°āc trong luÁn án này đã đ°āc đng trong các kỷ yÁu hái thÁo khoa hãc và t¿p chí khoa hãc Vãi mô hình xe ln điÉn bán tď đáng đ°āc đà xuÃt cùng vãi các kÁt quÁ thċ nghiÉm, xe ln điÉn vãi chi phí thÃp có thÅ đ°āc sÁn xuÃt trong t°¢ng lai gần, h°ãng đÁn nhu cầu di chuyÅn thiÁt yÁu và an toàn cho ng°åi khuyÁt tÁt

ABSTRACT

In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information

In an indoor environment, to initiate an automatic travel route, a destination needs to be selected In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the CNN-1D deep learning model In particular, the advantage of the first method with eye activities such as left-eye blink, and right-eye blink is that the amplitude threshold algorithm has a high accuracy, over 97% for each type, and can allow to directly process on the signals without pre-training required With the second method using a CNN-1D deep learning network is that the training data set needs to be pre-collected according to a normalized procedure With the characteristics of eye activities, only the EEG signals obtained from 4 electrodes of the Emotiv Epoc+ system with 14-electrodes are extracted and reassembled to produce one signal for training Moreover, the EEG signals are smoothed using Savitzky-Golay filters

before training and this can produce the better accuracy Finally, the classification results for 5 types of blinking activities, including left-eye blink, right-eye blink, two-eye blink, double two-two-eye blink, and neutral have an accuracy of over 97%

After the user has selected a desired destination on the map, the wheelchair's initial position needs to be determined With an electric wheelchair equipped with a camera, the information of natural landmarks, including the image of the landmark and its position in the environment, are essential for determining the position of the wheelchair To determine the location based on these landmarks, the wheelchair needs to collect landmark information and then stores them in a database during the movement Therefore, to collect information of landmarks in an indoor environment, the thesis proposes the methods of the maximum feature density for the identification of natural landmarks and determining the positions of landmarks based on the wheelchair's position and 3D information from the camera In particular, environmental images collected from the camera will be extracted features, and then morphological algorithms are performed to connect these feature points for creating objects in the image The feature density for each of these objects will be calculated and the object with the highest feature density is selected as the landmark With the landmark selected, the 3D information of that landmark and the wheelchair's position in the environment are used for locating the landmark In addition, the thesis proposes the method for locating the wheelchair on a virtual 2D grid map from landmark information in the real environment for controlling the mobile wheelchair In particular, after identifying landmarks in the collected database, the coordinate of these landmarks in the environmental and camera spaces will be used to calculate the wheelchair position in the real environment and the virtual 2D grid map using the trigonometric equations

To reduce the user's participation in control and increase safety, the thesis proposes a virtual-real control model for electric wheelchairs based on a virtual 2D grid map, allowing people with disabilities to reach any destination pre-designed on this grid map In particular, the virtual 2D grid map is built from the real environment

by dividing it into grid cells that may contain free spaces or obstacles This map with the plotted grid cells is then simulated for finding the optimal paths to reach the desired destination using a Deep Q-Networks (DQNs) model with the PreLU activation function Therefore, the DQNs-PreLU model is designed with a feedforward neural network using backpropagation for updating the network parameters The network algorithm is that the input is the grid map and the output is the wheelchair actions including Up, Down, Left, and Right With the experiments performed, the DQNs-PreLU model shows that the training time is much shorter than other models and the model parameters can be stored for controlling the wheelchair in the real environment In addition, to control the wheelchair in the real environment better, a new algorithm was proposed to convert the wheelchair actions from the output of the DQNs-PreLU model after simulated with the virtual 2D grid map into real control commands Experimental results show that the proposed control model can allow to automatically control the wheelchair to reach the desired destination with more stability and safety compared to the wheelchair controlled by user

From these results, the semi-automatic electric wheelchair model for the disabled people can be applied in practice In addition, the effectiveness of the proposed methods has been evaluated through experimental results In particular, these proposed methods with the results in this thesis have been published in the proceedings of scientific conferences and scientific journals With the proposed semi-autonomous electric wheelchair model along with the test results, a low-cost electric wheelchair with the safe mobility can be produced to support the disabled people

MĂC LĂC xiii

DANH SÁCH CÁC TĈ VI¾T TÀT xvii

DANH SÁCH CÁC HÌNH xix

DANH SÁCH CÁC BÀNG xxiv

CH¯¡NG 1 1

TäNG QUAN 1

1.1 TÍNH CÂP THIÀT CĄA ĐÂ TÀI LUÀN ÁN 1

1.2 MĂC TIÊU NGHIÊN CĆU CĄA LUÀN ÁN 10

1.3 ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU 10

1.4 CÁCH TIÀP CÀN VÀ PH¯¡NG PHÁP NGHIÊN CĆU 11

1.5 ĐÓNG GÓP VÂ KHOA HâC CĄA LUÀN ÁN 12

1.6 CÂU TRÚC CĄA LUÀN ÁN 14

CH¯¡NG 2 16

C¡ Sä LÝ THUY¾T 16

2.1 TäNG QUAN VÂ TÍN HIÈU EEG 16

2.2 PHÂN LO¾I HO¾T ĐàNG DĎA VÀO TÍN HIÈU EEG 17

2.2.1 Phát hiÉn ho¿t đáng mÃt dďa vào ng°ÿng biên đá tín hiÉu EEG 17

2.2.2 Phân lo¿i tín hiÉu EEG dùng m¿ng n¢-ron 18

2.2.3 Phân lo¿i tín hiÉu EEG dùng m¿ng n¢-ron tích chÁp 19

2.3 GIAO TIÀP GIČA NÃO NG¯äI VÀ MÁY TÍNH 20

2.4 MÔ HÌNH XE LN ĐIÈN CHO NG¯äI KHUYÀT TÀT 21

2.4.1 Xe ln điÉn thông minh 21

2.4.2 Xe ln điÉn vãi bá điÃu khiÅn robot 22

2.4.3 Xe ln điÉn tích hāp vãi môi tr°ång thông minh 23

2.4.4 Xe ln điÉn vãi tính nng tránh ch°ãng ng¿i vÁt 24

2.4.5 HÉ tháng chia sẻ điÃu khiÅn cho xe ln điÉn 25

2.5 PH¯¡NG PHÁP XÂY DĎNG BÀN Đâ L¯âI 2D ĐÄ ĐIÂU H¯âNG

2.7.1 Ph°¢ng pháp nhÁn d¿ng dďa trên diÉn m¿o 31

2.7.2 Ph°¢ng pháp nhÁn d¿ng dďa trên các điÅm đÁc tr°ng 32

2.7.3 NhÁn d¿ng vÁt thÅ theo ph°¢ng pháp máy hãc 32

2.8 MÔ HÌNH HÓA VÀ ĐIÂU KHIÄN XE LN ĐIÈN 33

2.9 PH¯¡NG PHÁP LÀP KÀ HO¾CH Đ¯äNG ĐI CHO ROBOT DI ĐàNG35 2.9.1 Ph°¢ng pháp A* 35

2.9.2 Ph°¢ng pháp hãc tng c°ång 36

CH¯¡NG 3 39

PHÂN LO¾I TÍN HIàU EEG CĄA HO¾T ĐÞNG MÀT CHO ĆNG DĂNG GIAO TI¾P GIČA NÃO NG¯âI VÀ MÁY TÍNH 39

3.1 TÍN HIÈU EEG CĄA HO¾T ĐàNG NHÁY MÂT 39

3.2 THU THÀP DČ LIÈU 42

3.2.1 Quy trình thu thÁp dč liÉu 42

3.2.2 TÁp dč liÉu gác cąa tín hiÉu EEG 44

3.3 XĊ LÝ TÍN HIÈU 48

3.3.1 Lãc nhiÇu dùng bá lãc Hamming 48

3.3.2 Làm tr¢n tín hiÉu dùng bá lãc Savitzky 3 Golay 49

3.4 PHÂN LO¾I TÍN HIÈU EEG CĄA HO¾T ĐàNG MÂT 52

3.4.1 Phân lo¿i ho¿t đáng nháy mÃt theo ph°¢ng pháp ng°ÿng biên đá 52

3.4.2 Phân lo¿i tín hiÉu ho¿t đáng mÃt dùng mô hình CNN-1D 56

CH¯¡NG 4 74

NH¾N D¾NG VÀ XÁC ĐÞNH VÞ TRÍ V¾T MàC TĎ NHIÊN TRONG MÔI

MÔ HÌNH ĐIÀU KHIÂN XE LN ĐIàN K¾T HĀP TÍN HIàU EEG VÀ CAMERA DĎA VÀO BÀN Đâ 98

5.1 HÈ THàNG ĐIÂU KHIÄN THĎC - ÀO CHO XE LN ĐIÈN DĎA VÀO BÀN Đâ L¯âI 2D ÀO 98

5.1.1 CÃu trúc hÉ tháng điÃu khiÅn thďc -Áo cho xe ln điÉn 98

5.1.2 BÁn đã l°ãi 2D Áo 100

5.1.3 Giao diÉn lďa chãn đích đÁn cho xe ln 102

5.1.4 Mô hình DQNs lÁp kÁ ho¿ch đ°ång đi tái °u cho xe ln 103

5.2 ĐàNH Và XE LN ĐIÈN TRONG BÀN Đâ L¯âI 2D ÀO DĎA VÀO VÀT MàC TĎ NHIÊN 107

5.3 ĐIÂU H¯âNG XE LN ĐIÈN TRONG MÔI TR¯äNG THĎC 109

5.4 PH¯¡NG PHÁP TRÁNH VÀT CÀN DĎA VÀO THÔNG TIN 3D MÔI TR¯äNG 112

5.5 KÀT QUÀ THÍ NGHIÈM ĐIÂU KHIÄN XE LN ĐIÈN 113

5.5.1 Mô phßng huÃn luyÉn tìm đ°ång đi cho xe ln dďa vào bÁn đã l°ãi 2D Áo

113

5.5.2 KÁt quÁ nhÁn d¿ng vÁt mác 119

5.5.3 Xác đánh vá trí xe ln trên bÁn đã l°ãi 2D Áo dďa vào vÁt mác 122

5.5.4 Xe ln di chuyÅn đÁn đích mong muán dďa vào bÁn đã l°ãi 2D Áo 125

DANH SÁCH CÁC TĈ VI¾T TÀT

APF Angle-based Potential Field Vùng góc tiÃm nng

ALS Amyotrophic Lateral Sclerosis BÉnh x¢ cćng teo c¢ bên

BCI Brain 3 Computer Interface Giao tiÁp não ng°åi và

CNN Convolutional Neural Network M¿ng n¢-ron tích chÁp

DWA Dynamic Window Approach Ph°¢ng pháp cċa så đáng

D-DWA Double Dynamic Window Approach Ph°¢ng pháp cċa så đáng kép

DRL Deep Reinforcement Learning Hãc tng c°ång sâu

FAST Features from Accelerated Segment Test Các đÁc tr°ng tĉ kiÅm tra phân đo¿n tng tác

GPS Global Positioning System HÉ tháng đánh vá toàn cầu

HOG Histogram of Oriented Gradients BiÅu đã Gradient đánh h°ãng

HHT Hilbert3Huang Transform BiÁn đåi Hilbert3Huang

IOU Intersection over Union Vùng giao nhau t¿i nhčng liên kÁt

IMU Inertial Measurement Unit Đ¢n vá đo l°ång quán tính

LIDAR Light Detection and Ranging Đo khoÁng cách bằng ánh sáng

PCA Principal Component Analysis Phân tích thành phần chính

PWM Pulse Width Modulation ĐiÃu chÁ đá ráng xung

RGB-D Red 3 Green - Blue - Depth Đß - Lăc 3 Lam - Đá sâu

RFID Radio Frequency Identification NhÁn d¿ng tần sá vô tuyÁn điÉn

ROC Receiver Operating Characteristic ĐÁc tính ho¿t đáng cąa bá thu

SLAM Simultaneous Localization and Mapping BÁn đã hóa và bÁn đáa hóa đãng thåi

SURF Speeded Up Robust Features Tng tác đÁc tính bÃn včng

SIFT Scale-Invariant Feature Transform BiÁn đåi đÁc tr°ng bÃt biÁn theo tỷ lÉ

SSVEP Steady-State Visual Evoked Potential TiÃm nng kích thích trďc quan ç tr¿ng thái ån đánh

VFH Vector Field Histogram BiÅu đã tr°ång vect¢

WHO World Health Organization Tå chćc Y tÁ ThÁ giãi

DANH SÁCH CÁC HÌNH

Hình 1.1 S¢ đã khái quá trình điÃu khiÅn xe ln điÉn dďa vào tín hiÉu EEG, camera,

vÁt mác và bÁn đã 9

Hình 2.1 Tín hiÉu EEG đ°āc phát hiÉn vãi các vùng chuyÅn đáng cąa mÃt & 18

Hình 2.2 S¢ đã điÃu khiÅn kÁt hāp cąa BCI và xe ln & 22

Hình 2.3 S¢ đã bá điÃu khiÅn xe ln di đáng kÁt hāp cánh tay robot& 23

Hình 2.4 Mô hình hÉ tháng xe ln đa ph°¢ng thćc & 24

Hình 2.5 HÉ tháng xe ln điÉn vãi chćc nng đánh vá và tránh vÁt cÁn & 24

Hình 2.6 HÉ tháng chia sẻ điÃu khiÅn cho xe ln điÉn & 25

Hình 2.7 Mô hình chia sẻ điÃu khiÅn xe ln điÉn sċ dăng BCI và cÁm biÁn & 27

Hình 2.8 BiÅu diÇn chùm sonar trên bÁn đã l°ãi 2D & 28

Hình 2.9 Ph°¢ng pháp xây dďng bÁn đã l°ãi kÁt hāp ngč nghĩa đái t°āng & 29

Hknh 2.10 Đánh vá robot dùng các vÁt mác trên trần nhà& 30

Hknh 2.11 Sċ dăng Wifi đÅ đánh vá vá trí robot & 31

Hknh 2.12 HÉ quy chiÁu toàn căc và hÉ quy chiÁu căc bá cąa xe ln hoÁc robot 34

Hình 3.1 Mát sá tín hiÉu c¢ bÁn cąa chuyÅn đáng mÃt & 40

Hình 3.2 Tín hiÉu EEG khi nháy mÃt & 41

Hình 3.3: Hai lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt & 42

Hình 3.4 ThiÁt bá Emotiv Epoch+ &43 Hình 3.5 H°ãng d¿n đeo thiÁt bá và kiÅm tra kÁt nái & 43

Hình 3.6 Quy trình thďc hiÉn thí nghiÉm& 44

Hình 3.7 Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy mÃt trái 45

Hình 3.8 Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy mÃt phÁi 46

Hình 3.9 Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy hai mÃt 46

Hình 3.10 Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy hai mÃt hai lần liên tiÁp 47

Hình 3.11 Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng không nháy mÃt

Hình 3.15 Mô tÁ cách thćc chia tín hiÉu EEG thành các khung dč liÉu 52

Hình 3.16 Mô tÁ tín hiÉu nháy mÃt tď nguyÉn 53

Hình 3.17 KÁt quÁ nhÁn d¿ng ho¿t đáng mÃt 55

Hình 3.18 Tín hiÉu nháy mÃt trái thu đ°āc tĉ 4 kênh AF3, F7, AF4, F8 57

Hình 3.19 Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy mÃt trái 58 Hình 3.20 Tín hiÉu nháy mÃt phÁi thu đ°āc tĉ 4 kênh AF3, F7, AF4, F8 58

Hình 3.21 Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy mÃt phÁi 59

Hình 3.22 D¿ng tín hiÉu nháy hai mÃt đ°āc thu ç 4 kênh AF3, F7, AF4, F8 59

Hình 3.23 Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy hai mÃt 60 Hình 3.24 D¿ng dč liÉu chãp hai mÃt hai lần liên tiÁp đ°āc thu ç 4 kênh AF3, F7,

Hình 3.30 Tå chćc dč liÉu đÅ huÃn luyÉn mô hình CNN-1D 66

Hình 3.31 Đã thá biÅu diÇn hiÉu suÃt huÃn luyÉn mô hình CNN-1D phân lo¿i ho¿t đáng mÃt 67

Hình 3.32 KÁt quÁ phân lo¿i các ho¿t đáng mÃt cąa mô hình CNN-1D trên tÁp kiÅm tra 69

Hình 3.33 KÁt quÁ phân lo¿i các ho¿t đáng mÃt vãi hai lo¿i nháy mÃt trái và phÁi dùng tín hiÉu không ghép kênh 71

Hình 4.1 Các b°ãc xác đánh vÁt mác tď nhiên 76

Hình 4.2 Mô hình xe ln di đáng hai bánh vi sai và hai bánh tď do 80

Hình 4.3 ¯ãc tính vá trí mác trong không gian 2D 82

Hình 4.4 Xe ln vãi camera RGB-D, Encoder và máy tính 83

Hình 4.5 Các đái t°āng chća các điÅm đÁc tr°ng 84

Hình 4.6 BiÅu diÇn sď giãn nç vãi các lần lÁp khác nhau bằng cách sċ dăng mÁt n¿ 3 × 3 85

Hình 4.7 Ành chća đ°ång bao đái t°āng và khung đÁc tr°ng 85

Hình 4.8 Quá trình nhÁn d¿ng vÁt mác trong phòng thí nghiÉm ç khoÁng cách 2 m tĉ camera đÁn các đái t°āng 86

Hình 4.9 Quá trình nhÁn d¿ng vÁt mác trong phòng thí nghiÉm ç khoÁng cách 1 m tĉ camera đÁn các đái t°āng 87

Hình 4.10 IOU cho các háp giãi h¿n 87

Hình 4.11 NhÁn biÁt mác tď nhiên trong môi tr°ång phòng thí nghiÉm vãi các điÃu

Hình 4.16 BiÅu đã sai sá t°¢ng đái cąa phép đo khoÁng cách tãi các vÁt mác đ°āc

phát hiÉn 93

Hình 4.17 BiÅu diÇn quỹ đ¿o chuyÅn đáng cąa xe ln đÁn các vá trí đÁt tr°ãc 94 Hình 5.1 HÉ tháng điÃu khiÅn thďc - Áo cho xe ln điÉn dďa trên bÁn đã l°ãi 2D Áo

99

Hình 5.2 Quá trình t¿o bÁn đã l°ãi 2D Áo tĉ môi tr°ång thďc 101 Hình 5.3 BÁn đã l°ãi 2D Áo cąa môi tr°ång thďc 101 Hình 5.4 Quy trình thďc hiÉn lďa chãn đích đÁn dùng BCI 102 Hình 5.5 Giao diÉn ng°åi dùng đÅ chãn điÅm đÁn mong muán 103 Hình 5.6 Giao diÉn ng°åi dùng chãn điÅm đÁn mong muán <Phòng ngą= bằng lÉnh

EEG 103

Hình 5.7 CÃu trúc m¿ng n¢-ron trong mô hình DQNs 106 Hình 5.8 Các m¿u vÁt mác trong môi tr°ång trong nhà 107 Hình 5.9 HÉ tãa đá cąa camera RGB-D 107 Hình 5.10 Vá trí cąa xe ln vãi bán h°ãng 109 Hình 5.11 Tãa đá cąa xe ln, vÁt mác và đích đÁn trong bÁn đã l°ãi 2D Áo

110

Hình 5.12 BiÅu diÇn bá chuyÅn đåi các lÉnh điÃu khiÅn thďc tÁ tĉ mô phßng 110 Hình 5.13 Ành đá sâu đ°āc chăp tĉ camera RGB-D 112 Hình 5.14 Mô tÁ chuyÅn đåi bÁn đã điÅm 3D sang 2D vãi đá cao đ°āc đánh tr°ãc

113

Hình 5.15 Môi tr°ång huÃn luyÉn 114 Hình 5.16 So sánh tỷ lÉ Win khi huÃn luyÉn mô hình DQNs vãi 2 lo¿i hàm kích ho¿t

trong tr°ång hāp bÁn đã l°ãi 8x11 115

Hình 5.17 So sánh tỷ lÉ Win khi huÃn luyÉn mô hình DQNs vãi hai lo¿i hàm kích

ho¿t trong tr°ång hāp bÁn đã l°ãi 11x33 116

Hình 5.18 Các thành phần vect¢ mô tÁ cąa vùng con trong Ánh 119 Hình 5.19 Bán lo¿i vÁt mác khác nhau đ°āc nhÁn d¿ng dďa trên các vÁt mác đ°āc

l°u trč trong c¢ sç dč liÉu 120

Hình 5.20 Sai sá tuyÉt đái cąa phép đo Xa tĉ camera đÁn các vÁt mác t¿i các vá trí khác nhau 122

Hình 5.21 Sai sá tuyÉt đái cąa khoÁng cách Za tĉ camera đÁn các vÁt mác t¿i các vá trí khác nhau 122

Hình 5.22 Môi tr°ång thí nghiÉm trong nhà 123 Hình 5.23 Bán vá trí cąa xe ln trên bÁn đã l°ãi 2D vãi các vÁt mác 124 Hình 5.24 Vá trí xe ln trên bÁn đã l°ãi 2D vãi 3 vÁt mác 125 Hình 5.25 HÉ tháng xe ln vãi các camera RGB-D, Emotiv Epoc+, bá điÃu khiÅn và

máy tính 126

Hình 5.26 Môi tr°ång thí nghiÉm 127 Hình 5.27 Đ°ång di chuyÅn cąa xe ln trong môi tr°ång thďc tÁ 128 Hình 5.28 Qui trình điÃu h°ãng xe ln điÉn ç chÁ đá bán tď đáng 129 Hình 5.29 BiÅu diÇn đ°ång đi mô phßng và đ°ång đi thďc cąa xe ln bằng điÃu

khiÅn bán tď đáng 130

Hình 5.30 So sánh chuyÅn đáng cąa xe ln theo hai ph°¢ng pháp điÃu khiÅn (điÃu

khiÅn bán tď đáng và tď điÃu khiÅn) 132

Hình 5.31 Môi tr°ång trong thí nghiÉm thć hai 133 Hình 5.32 So sánh chuyÅn đáng cąa xe ln trong hai ph°¢ng pháp điÃu khiÅn (điÃu

khiÅn bán tď đáng và tď điÃu khiÅn) 134

Hình 5.33 ChuyÅn đáng cąa xe ln khi có vÁt cÁn 135

DANH SÁCH CÁC BÀNG

BÁng 2.1 Các d¿ng sóng EEG 17 BÁng 3.1 Các tr°ång hāp phân lo¿i ho¿t đáng mÃt 55 BÁng 3.2 Tên và nhãn tín hiÉu cąa các ho¿t đáng mÃt 63 BÁng 3.3 Mô tÁ dč liÉu huÃn luyÉn phân lo¿i ho¿t đáng mÃt 66 BÁng 3.4 HiÉu suÃt mô hình CNN-1D khi huÃn luyÉn phân lo¿i các ho¿t đáng mÃt

68

BÁng 3.5 Xác thďc chéo 5 lần đái vãi bá phân lo¿i ho¿t đáng nháy mÃt 70 BÁng 3.6 Các nghiên cću phân lo¿i ho¿t đáng mÃt 72 BÁng 3.7 Thåi gian xċ lý phân lo¿i tín hiÉu EEG cąa ho¿t đáng mÃt 73 BÁng 4.1 KÁt quÁ trích đÁc tr°ng dùng các ph°¢ng pháp khác nhau 84 BÁng 4.2 IOU vãi các khoÁng cách khác nhau 88 BÁng 4.3 IOU vãi điÃu kiÉn ánh sáng khác nhau 89 BÁng 4.4 Thåi gian xċ lý nhÁn d¿ng vÁt mác cąa ph°¢ng pháp đà xuÃt 92 BÁng 4.5 Đánh giá sai sá vá trí cąa xe ln 95 BÁng 4.6 KÁt quÁ đánh vá vÁt mác dďa vào vá trí xe ln 95 BÁng 4.7 Các nghiên cću nhÁn d¿ng, thu thÁp thông tin vá trí đái t°āng tď đáng 96 BÁng 5.1 Thông sá mô hình huÃn luyÉn 114 BÁng 5.2 HiÉu suÃt cąa các mô hình DQNs đ°āc đà xuÃt 117 BÁng 5.3 So sánh hiÉu suÃt cąa các mô hình 117 BÁng 5.4 Đá chính xác khi nhÁn d¿ng các vÁt mác bằng ph°¢ng pháp SURF 121 BÁng 5.5 Đá chính xác cąa viÉc đánh vá xe ln 124 BÁng 5.6 Đá chính xác khi đánh vá xe ln bằng 3 vÁt mác 125 BÁng 5.7 Các giá trá và tr¿ng thái điÃu khiÅn xe ln điÉn 126 BÁng 5.8 Các lÉnh điÃu khiÅn xe ln đ°āc chuyÅn đåi tĉ các lÉnh mô phßng 131 BÁng 5.9 Sai sá đ°ång đi cąa xe ln trong các môi tr°ång thí nghiÉm 135

CH¯¡NG 1 TäNG QUAN

1.1 TÍNH CÂP THI¾T CĄA ĐÀ TÀI LU¾N ÁN

Trong xã hái hiÉn nay, ng°åi khuyÁt tÁt luôn gÁp phÁi nhčng khó khn và thiÉt thòi cÁ và thÅ chÃt và tinh thần h¢n so vãi nhčng ng°åi bình th°ång khác Nhčng khiÁm khuyÁt trên c¢ thÅ t¿o ra nhčng suy giÁm đáng kÅ và Ánh h°çng lâu dài, trďc tiÁp đÁn khÁ nng t° duy, ho¿t đáng, sinh ho¿t hằng ngày cąa hã, gây nên nhčng khó khn nhÃt đánh trong cuác sáng Tháng kê cąa Tå chćc y tÁ thÁ giãi (WHO) nm 2022 cho thÃy 16% dân sá thÁ giãi t°¢ng đ°¢ng 1,3 tỷ ng°åi bá khuyÁt tÁt và ngày càng tng lên [1] Theo Tång căc Tháng kê nm 2019, ViÉt Nam là quác gia có sá l°āng ng°åi khuyÁt tÁt khá lãn so vãi tång dân sá trong khu vďc châu Á-Thái Bình D°¢ng, có khoÁng 6,2 triÉu ng°åi khuyÁt tÁt, chiÁm 7,06% dân sá tĉ 2 tuåi trç lên, trong đó có 58% là nč, 28,3% là trẻ em, gần 29% là ng°åi khuyÁt tÁt nÁng và đÁc biÉt nÁng [2] Ngoài ra, tháng kê cũng cho thÃy tỷ lÉ ng°åi khuyÁt tÁt vÁn đáng là 29,41%, khuyÁt tÁt nghe nói 9,32%; khuyÁt tÁt nhìn 13,84%, khuyÁt tÁt thần kinh và tâm thần 16,83%, khuyÁt tÁt trí tuÉ 6,52% và khuyÁt tÁt khác 24,08% Ng°åi khuyÁt tÁt gÁp rÃt nhiÃu khó khn trong cuác sáng, đÁc biÉt đái vãi ng°åi khuyÁt tÁt và vÁn đáng KhoÁng 7% trong sá nhčng ng°åi khuyÁt tÁt và vÁn đáng trên thÁ giãi cần dùng đÁn xe ln [3] Thá tr°ång xe ln điÉn đã đ¿t doanh thu 2,89 tỷ USD vào nm 2021 và dď kiÁn đ¿t 5,27 tỷ USD Thá tr°ång xe ln điÉn dď kiÁn s¿ tng tr°çng gần 10,76% trong giai đo¿n 2022-2027 [4]

VÁn hành xe ln truyÃn tháng là mát công viÉc đầy khó khn đái vãi ng°åi khuyÁt tÁt Do đó, viÉc sċ dăng xe ln điÉn đÅ mang l¿i khÁ nng c¢ đáng dÇ dàng là cần thiÁt Xe ln điÉn đ°āc trang bá các thiÁt bá công nghÉ cao có thÅ giúp cho ng°åi

khuyÁt tÁt di chuyÅn mà không cần sď trā giúp Đ¢n giÁn nhÃt là xe ln điÉn đ°āc trang bá mát cần điÃu khiÅn mà ng°åi sċ dăng có thÅ điÃu khiÅn h°ãng di chuyÅn cąa xe ln theo ý muán cąa mình [5] Trong nhčng nm gần đây, nhiÃu ph°¢ng pháp đã đ°āc giãi thiÉu đÅ phát triÅn hÉ tháng xe ln thông minh đÅ phù hāp vãi ng°åi khuyÁt tÁt Xu h°ãng phát triÅn có thÅ đ°āc phân lo¿i thành ba lĩnh vďc chính: 1) CÁi tiÁn công nghÉ hß trā [6], 2) CÁi tiÁn giao diÉn vÁt lý cąa ng°åi dùng [7], 3) CÁi thiÉn điÃu khiÅn chia sẻ giča ng°åi dùng và máy [8] Mát trong nhčng vÃn đà quan trãng cąa xe ln thông minh là cung cÃp khÁ nng di chuyÅn đác lÁp cho ng°åi tàn tÁt nÁng, nhčng ng°åi không thÅ điÃu khiÅn xe ln bằng cần điÃu khiÅn tiêu chuẩn Do đó, viÉc phăc hãi khÁ nng vÁn đáng cąa hã có thÅ cÁi thiÉn đáng kÅ chÃt l°āng cuác sáng

Xe ln thông minh đ°āc phát triÅn phă thuác nhiÃu vào tình tr¿ng sćc khße ng°åi dùng, tćc là khÁ nng và khuyÁt tÁt, và không có giÁi pháp duy nhÃt phù hāp cho tÃt cÁ ng°åi dùng BÉnh nhân bá suy yÁu vÁn đáng th°ång thiÁu kiÅm soát c¢ bÃp và trong tr°ång hāp xÃu nhÃt hã không thÅ cċ đáng cánh tay và chân ĐÅ hß trā khÁ nng di chuyÅn cąa nhčng bÉnh nhân này, tín hiÉu hoÁc hành đáng tĉ giãng nói, l°ÿi, có thÅ t¿o ra các lÉnh điÃu khiÅn [9, 10] ĐiÃu h°ãng bằng giãng nói đòi hßi môi tr°ång yên tĩnh và có thÅ không tát đÅ sċ dăng trong môi tr°ång ãn ào H¢n nča, giÁi pháp này đôi khi đ°āc coi là bÃt lách sď khi nói to trong mát khu vďc yên tĩnh Jin Sun Ju và các cáng sď đã sċ dăng mát camera nhÁn d¿ng các cċ chß trên khuôn mÁt cąa ng°åi sċ dăng đÅ điÃu khiÅn xe ln đi thẳng, đi lùi, r¿ trái, r¿ phÁi [11] Trong nghiên cću cąa Y Zhang và các cáng sď [12], mát camera nhÁn d¿ng các cċ chß cąa bàn tay đÅ điÃu khiÅn h°ãng đi cho xe ln điÉn Sadi [13] cùng vãi Mhaske và Chhaya.G.Patil [14] dùng camera nhÁn d¿ng sá ngón tay đ°āc gi¢ lên đÅ thďc hiÉn các lÉnh điÃu khiÅn cho xe ln Mát cách điÃu khiÅn xe ln khác sċ dăng cċ chß cąa ng°åi sċ dăng là nhÁn d¿ng sď di chuyÅn cąa mÃt, vãi đá chính xác phân lo¿i là 99,3% và có thÅ đ°a ra dď đoán trong khoÁng 1,57 ms [15] MÁc dù các nghiên cću dùng camera đÅ phát hiÉn các cċ chß cąa ng°åi sċ dăng có thåi gian xċ lý nhanh và đá chính xác phân lo¿i cao, nh°ng chß phù hāp vãi mát điÃu kiÉn ánh sáng chuẩn Đá

chính xác s¿ giÁm đáng kÅ khi bá quá sáng hoÁc quá tái, hoÁc vá trí cąa khuôn mÁt, mÃt, bàn tay bá lÉch khßi vùng ghi hình cąa camera

Đái vãi viÉc sċ dăng EEG trong nhčng nm gần đây đã trç thành mát chą đà đ°āc quan tâm đÅ điÃu khiÅn máy móc cho nhčng đái t°āng tàn tÁt nÁng không thÅ dùng giãng nói hay vÁn đáng các chi hoÁc đầu đÅ ra lÉnh điÃu khiÅn [16] ĐÅ làm nh° vÁy, các m¿u tín hiÉu EEG cần đ°āc phân lo¿i và nhóm thành các hành đáng dď đánh Xe ln điÃu khiÅn bằng EEG là thiÁt bá thích hāp cho nhčng bÉnh nhân bá liÉt hoàn toàn vãi bá não khße m¿nh đÅ điÃu h°ãng môi tr°ång cąa hã [17] Ng°åi sċ dăng s¿ đ°āc gÃn các điÉn cďc lên đầu đÅ thu thÁp các tín hiÉu EEG và truyÃn và máy tính Tín hiÉu EEG thu đ°āc là d¿ng tín hiÉu ng¿u nhiên khá phćc t¿p, do đó cần sċ dăng các bá lãc và các thuÁt toán đÅ trích các đÁc tr°ng cąa tín hiÉu, cho biÁt tín hiÉu nào liên quan đÁn ho¿t đáng cąa c¢ thÅ Nhóm nghiên cću cąa NguyÇn Thanh HÁi [18, 19] thu thÁp tín hiÉu EEG tĉ ho¿t đáng cąa mÃt (mç mÃt, chãp mÃt, liÁc trái, liÁc phÁi) và sċ dăng bá lãc Hamming đÅ chia tín hiÉu thành các dÁi tần khác nhau cho tĉng ho¿t đáng Sau đó, thông qua m¿ng n¢-ron đÅ huÃn luyÉn các tín hiÉu thành bán lÉnh điÃu khiÅn cho xe ln nh° đi tãi, đi lùi, r¿ trái, r¿ phÁi vãi tác đá di chuyÅn 5km/h trong môi tr°ång trong nhà Bên c¿nh đó, các nghiên cću và viÉc sċ dăng tín hiÉu EEG đÅ điÃu khiÅn xe ln cho ng°åi khuyÁt tÁt cũng đ°āc quan tâm phát triÅn vãi măc đích điÃu khiÅn thuÁn tiÉn cho ng°åi sċ dăng vãi chi phí đầu t° thÃp [20] Tuy nhiên, khi sċ dăng tín hiÉu EEG cho điÃu khiÅn xe ln, ng°åi dùng phÁi có sď kiÅm soát cÁm xúc và sď tÁp trung tát đÅ điÃu khiÅn hiÉu quÁ Đây là mát gánh nÁng cho ng°åi dùng mÁc dù ph°¢ng pháp này có thÅ là mát lďa chãn tát cho nhčng ng°åi có c¢ thÅ bá tê liÉt hoàn toàn Có l¿ giÁi pháp tát nhÃt cho tr°ång hāp này là dďa vào các ph°¢ng pháp sċ dăng nhiÃu tín hiÉu tĉ ng°åi dùng và môi tr°ång xung quanh đÅ phân tích tr°ãc khi đ°a ra lÉnh mong muán [21] Sċ dăng chiÁn l°āc này, s¿ áp đÁt ít gánh nÁng h¢n cho ng°åi dùng so vãi tr°ång hāp chß dďa vào mát đầu vào

Nhằm giÁm bãt sď điÃu khiÅn cąa ng°åi dùng và đÁm bÁo an toàn, xe ln đ°āc điÃu khiÅn tď đáng hoÁc bán tď đáng là mát giÁi pháp cần thiÁt ChÁ đá tď đáng cąa xe ln đãng nghĩa vãi viÉc xe ln phÁi tď di chuyÅn đÁn điÅm đích mà ng°åi sċ dăng

mong muán, đãng thåi phÁi tránh đ°āc nhčng ch°ãng ng¿i vÁt trên đ°ång đi Trong nhčng nm gần đây, đã có nhiÃu ph°¢ng pháp đ°āc áp dăng đÅ xe ln tď hành nh° di chuyÅn theo đ°ång đi đã đ°āc v¿ch s¿n [22], di chuyÅn theo tãa đá sċ dăng đánh vá GPS và bá lãc Kalman [23], di chuyÅn theo bÁn đã [24] Bên c¿nh đó, xe ln thông minh cũng đã đ°āc cÁi thiÉn và các bá phÁn điÃu h°ãng, chẳng h¿n nh° tď đáng tránh ch°ãng ng¿i vÁt, ph°¢ng thćc giao tiÁp giča ng°åi dùng và hÉ tháng điÃu khiÅn và sď thích ćng vãi mćc đá khuyÁt tÁt [25] Trong thÁp kỷ qua, mát sá thuÁt toán điÃu h°ãng đã đ°āc nghiên cću cho các xe ln điÉn thông minh và hầu hÁt trong sá các nghiên cću này sċ dăng các cÁm biÁn khác nhau đÅ phát hiÉn và tránh ch°ãng ng¿i vÁt Xe ln đ°āc phát triÅn cho ng°åi cao tuåi và có thÅ nhÁn ra các ch°ãng ng¿i vÁt khác nhau bằng cách sċ dăng cÁm biÁn siêu âm [26] Tĉ đó, ph°¢ng pháp kÁt hāp các cÁm biÁn s¿ hß trā ng°åi dùng điÃu h°ãng trong các không gian hẹp Xe ln điÉn đ°āc thiÁt kÁ có khÁ nng tránh ch°ãng ng¿i vÁt và tď đáng đi đÁn các điÅm đích đ°āc chãn bçi ng°åi dùng [27, 28] Xe ln này sċ dăng mát hÉ tháng điÃu khiÅn an toàn DSS đã đ°āc triÅn khai đÅ hß trā cho ng°åi dùng khiÁm thá và cho phép xe ln di chuyÅn theo mát bćc t°ång và v°āt qua các cċa bên trong tòa nhà Malek Njah [29] đã sċ dăng đãng thåi bá điÃu khiÅn må đÅ tránh ch°ãng ng¿i vÁt và bá lãc Kalman mç ráng đÅ tång hāp dč liÉu tĉ cÁm biÁn siêu âm và encoder mang l¿i đá chính xác cao cho hÉ tháng đánh vá MÁc dù, kỹ thuÁt tång hāp dč liÉu tĉ nhiÃu lo¿i cÁm biÁn giúp cÁi thiÉn đá chính xác cąa dč liÉu và thông tin thu thÁp đ°āc, nh°ng đÅ triÅn khai và duy trì mát hÉ tháng kÁt hāp nhiÃu cÁm biÁn có thÅ tán kém vì yêu cầu phần cćng và phần mÃm phćc t¿p H¢n nča, viÉc xċ lý và kÁt hāp dč liÉu tĉ nhiÃu nguãn có thÅ t¿o ra đá trÇ trong viÉc tính toán, điÃu này là quan trãng trong các ćng dăng yêu cầu đá phÁn ćng nhanh [30, 31]

ĐiÃu h°ãng dďa trên thá giác máy ngày càng đ°āc sď chú ý m¿nh m¿ nh° là mát giÁi pháp thay thÁ cho điÃu h°ãng dďa trên cÁm biÁn Các ph°¢ng pháp này đ°āc phân lo¿i thành các ph°¢ng pháp dďa trên thá giác lÁp thÅ (stereovision) và thá giác mát mÃt (monocular vision) Các ph°¢ng pháp sċ dăng các kỹ thuÁt stereovision phân biÉt ch°ãng ng¿i vÁt bằng cách sċ dăng thông tin đá sâu ba chiÃu [32] H¿n chÁ đáng

kÅ cąa các ph°¢ng pháp này là thåi gian tính toán nhiÃu và chi phí phần cćng cao Ng°āc l¿i, các hÉ tháng điÃu h°ãng dďa trên monocular vision sċ dăng các kỹ thuÁt xċ lý Ánh đÅ nhÁn biÁt các ch°ãng ng¿i vÁt, liên quan đÁn tÃt cÁ các vÁt thÅ khác nhau trong môi tr°ång [33] Gần đây, LiDAR và camera ngày càng đ°āc sċ dăng nhiÃu do khÁ nng cung cÃp thông tin 3 chiÃu (3D) và môi tr°ång so vãi các lo¿i cÁm biÁn khác chß cung cÃp thông tin 2 chiÃu (2D) nh° siêu âm, laser 2D LiDAR cung cÃp thông tin 3D chính xác vãi khoÁng cách xa so vãi camera do ít bá Ánh h°çng bçi điÃu kiÉn ánh sáng cąa môi tr°ång xung quanh, trong khi đó camera có thÅ cung cÃp nhiÃu thông tin và môi tr°ång h¢n nh° hình Ánh, màu sÃc, và ngč nghĩa [34] Ngoài ra, LiDAR có giá thành cao h¢n nhiÃu so vãi camera Nhóm nghiên cću cąa J Hoey [35] và nhóm cąa Jordan S Nguyen [36] đã sċ dăng camera vãi các thuÁt toán áp dăng vào viÉc phát hiÉn vÁt cÁn, tìm khoÁng tráng đÅ xe ln điÉn v°āt qua vÁt cÁn HÉ tháng này có thÅ giúp ng°åi sċ dăng cÁm thÃy an toàn h¢n khi di chuyÅn trong khu vďc có nhiÃu ch°ãng ng¿i vÁt

Lĩnh vďc v¿ bÁn đã và đánh vá đã và đang đ°āc nghiên cću ráng rãi cho xe ln hay robot tď hành Xe ln hay robot tď hành phÁi đ°āc cung cÃp chi tiÁt và bÁn đã di chuyÅn đÅ có thÅ đ°āc đánh vá trong không gian di chuyÅn H¢n nča, tãa đá hiÉn t¿i cąa xe ln hay robot đ°āc dùng làm c¢ sç thu thÁp thêm nhčng thông tin mãi trong quá trình di chuyÅn [37] Các thuÁt toán v¿ bÁn đã dần đ°āc phát triÅn nh° thuÁt toán bÁn đáa hóa và bÁn đã hóa đãng thåi (SLAM) đ°āc áp dăng đÅ v¿ bÁn đã 3D [38] ĐÅ đánh vá xe ln hay robot trong không gian di chuyÅn, có nhiÃu ph°¢ng pháp đ°āc thďc hiÉn Đầu tiên là nhčng ph°¢ng pháp đánh vá 2D sċ dăng nhčng thông tin khoÁng cách thu và tĉ sóng Wifi [39], cÁm biÁn laser kÁt hāp vãi RFID [40], đánh vá bằng ph°¢ng pháp tìm nhčng đ°ång thẳng t°¢ng đãng trong không gian 2D [41] HiÉn nay, các ph°¢ng pháp xċ lý Ánh dần đ°āc sċ dăng trong đánh vá robot [42] Ph°¢ng pháp xċ lý Ánh đ°āc sċ dăng đÅ nhÁn biÁt các vÁt mác nhân t¿o cá đánh đ°āc xây dďng s¿n trong không gian di chuyÅn [43], tĉ đó áp dăng vào viÉc xác đánh vá trí hiÉn t¿i cąa xe ln trên mát bÁn đã đã đ°āc xây dďng tr°ãc trong quá trình di chuyÅn Alcantarilla và các cáng sď đà xuÃt ph°¢ng pháp m¿nh m¿ và nhanh chóng đánh vá

cho xe ln dďa vào thá giác máy tính, trong đó các đÁc tr°ng cąa hình Ánh đ°āc trích xuÃt, kÁt hāp vãi các thành phần bÁn đã đÅ đ°a ra vá trí hiÉn t¿i cąa robot tď hành [44] Trong thďc tÁ, bÁn đã hóa cho robot di đáng trong môi tr°ång là mát thách thćc lãn do dč liÉu thu đ°āc tĉ môi tr°ång và thuÁt toán đ°āc áp dăng trên chúng [45, 46] Vãi các robot di đáng dďa trên thông tin mang tính b°ãc ngoÁt, viÉc chãn các vÁt mác nh° cċa ra vào, cầu thang, t°ång, trần nhà, sàn nhà và trích xuÃt các đÁc tr°ng cąa chúng đÅ nhÁn d¿ng đóng vai trò quan trãng [47, 48] Do đó, đÅ phát hiÉn các đái t°āng dďa trên các đÁc tr°ng, ng°åi ta có thÅ dďa trên màu sÃc, kÁt cÃu, đá sáng, kích th°ãc đái t°āng

Tĉ các phân tích trên, sď kÁt hāp cąa mát chiÁc xe ln điÉn, hÉ tháng máy tính, thiÁt bá thu thÁp tín hiÉu điÉn não EEG, hÉ tháng camera 3D và bÁn đã cần thiÁt đ°āc nghiên cću đÅ cho phép ng°åi sċ dăng xe ln cÁm thÃy thuÁn lāi h¢n trong viÉc điÃu khiÅn và an toàn h¢n khi di chuyÅn trong môi tr°ång trong nhà Ng°åi khuyÁt tÁt có thÅ tď điÃu khiÅn xe ln thông qua tín hiÉu EEG, tránh vÁt cÁn tď đáng trong nhčng tr°ång hāp khẩn cÃp khi ng°åi sċ dăng không thÅ phÁn ćng káp thåi thông qua hÉ tháng camera Vãi hÉ tháng camera và bÁn đã, xe ln có thÅ nhÁn d¿ng vÁt mác, tính toán khoÁng cách và góc lÉch giča vÁt mác và đánh vá trên bÁn đã dďa vào vÁt mác Vãi vá trí đ°āc xác đánh trên bÁn đã, xe ln có thÅ đ°a ra quyÁt đánh di chuyÅn phù hāp đÅ đÁn đích mong muán

❖ CÁC K¾T QUÀ TRONG VÀ NGOÀI N¯àC ĐÃ Đ¯ĀC CÔNG Bà

ĐÅ hß trā nhčng ng°åi gÁp vÃn đà nghiêm trãng và di chuyÅn giÁm bãt hoÁc lo¿i bß viÉc điÃu khiÅn xe ln điÉn, đã có nhiÃu công trình nghiên cću trong và ngoài n°ãc nghiên cću và công nghÉ xe ln thông minh D°ãi đây trình bày tóm tÃt mát sá kÁt quÁ nghiên cću đã đ°āc thďc hiÉn

Trong đà tài nghiên cću Phát triÃn xe ln đián thông minh dùng kÿ thu¿t đián não EEG và cÁm bi¿n camera cho ng°ãi tàn t¿t n¿ng cąa TiÁn sĩ NguyÇn

Thanh HÁi nm 2013, mát mô hình xe ln bán tď đáng đ°āc thiÁt kÁ bao gãm sď kÁt hāp giča ng°åi điÃu khiÅn bằng điÉn não EEG và chÁ đá điÃu khiÅn tď đáng tránh vÁt

cÁn [49] Đà tài sċ dăng tín hiÉu EEG trong điÃu khiÅn các chuyÅn đáng đi tãi - lui hoÁc r¿ trái - phÁi cąa xe ln dďa vào chãp mÃt-mç mÃt hay liÁc mÃt trái - phÁi Trong quá trình di chuyÅn, nhčng lÉnh điÃu khiÅn cąa ng°åi sċ dăng bằng điÉn não có thÅ không chÃc chÃn ĐiÃu này có nghĩa là ng°åi sċ dăng không đ°āc an toàn vì có thÅ va ch¿m vào vÁt cÁn trên đ°ång đi Do đó, mát khoÁng cách an toàn giča camera và xe ln đ°āc cài đÁt tr°ãc và xe ln luôn đ°āc camera dò tìm các vÁt cÁn ç phía tr°ãc đÅ tránh va ch¿m nÁu quá gần ĐÅ cung cÃp thông tin 3D cho phát hiÉn khoÁng tráng và nhčng vÁt cÁn, hÉ tháng stereo camera <Bumblebee= đ°āc gÃn trên mát chiÁc xe ln điÉn Că thÅ, mát thuÁt toán tång sai lÉch tuyÉt đái đ°āc sċ dăng đÅ tính toán sai lÉch tái °u giča vá trí cąa mát điÅm Ánh trên Ánh trái và Ánh phÁi tĉ stereo camera Dďa vào sď sai lÉch này, bÁn đã điÅm 3D và bÁn đã khoÁng cách 2D đ°āc t¿o ra cho măc đích tìm khoÁng tráng và tránh vÁt cÁn

LuÁn án tiÁn sĩ cąa tác giÁ Lâm Quang Chuyên vãi đà tài <M¿ng neural trong

há tháng điÁu khiÃn xe ln cho ng°ãi tàn t¿t n¿ng sċ dăng đián não (EEG) và camera= thďc hiÉn nm 2020 đã phân tích ba ph°¢ng pháp tiÃn xċ lý tín hiÉu tĉ EEG,

dùng biÁn đåi Fourier, phép biÁn đåi Wavelet, thuÁt toán biÁn đåi Hilbert Huang (HHT), đÅ biÁn đái thành 5 d¿ng sóng c¢ bÁn Delta, Theta, Alpha, Beta, Gamma, sau đó sċ dăng kỹ thuÁt gom căm dč liÉu tr°ãc khi đ°a vào m¿ng neuron đÅ phân lo¿i thành 5 tín hiÉu mong muán chuyÅn đáng [50] Các m¿ng n¢-ron đ°āc thċ nghiÉm tĉ m¿ng đ¢n lãp đÁn m¿ng đa lãp că thÅ trong luÁn án này là 3 lãp HÉ tháng xċ lý tín hiÉu EEG bằng tiÃn xċ lý HHT, dùng m¿ng n¢-ron cùng vãi camera đ°āc thċ nghiÉm trên mô hình thďc tÁ điÃu khiÅn xe ln đã cho nhčng kÁt quÁ chính xác tát nhÃt đÁn 92,4% đái vãi nhóm 20 ng°åi đ°āc chãn cho thďc nghiÉm

Bên c¿nh các nghiên cću trong n°ãc và xây dďng hÉ tháng xe ln dùng tín hiÉu EEG và cÁm biÁn, các nghiên cću trên thÁ giãi cũng đã đà xuÃt nhiÃu mô hình kÁt hāp điÃu khiÅn hoÁc chia sẻ quyÃn điÃu khiÅn xe ln cho ng°åi khuyÁt tÁt Trong nghiên cću nm 2016, Ana Lopes đã đà xuÃt mát mô hình chia sẻ điÃu khiÅn giča hÉ tháng giao tiÁp giča não ng°åi và máy tính (BCI) P300 và thuÁt toán lÁp kÁ ho¿ch đÅ điÃu khiÅn xe ln điÉn trong môi tr°ång thďc tÁ trong nhà và theo thåi gian thďc [51]

Công că lÁp kÁ ho¿ch đ°ång d¿n toàn căc 3D dďa trên thuÁt toán A* cÁi tiÁn, sau đó nái suy đ°ång d¿n đ°āc t¿o bçi các điÅm tham chiÁu 3D (xi, yi,θi) Công că lÁp kÁ ho¿ch đ°ång d¿n toàn căc 3D chß ho¿t đáng khi măc tiêu đ°āc cung cÃp Công că lÁp kÁ ho¿ch căc bá sċ dăng ph°¢ng pháp cċa så đáng đôi (D-DWA), thuÁt toán này có đ°āc bằng cách áp dăng ph°¢ng pháp cċa så đáng (DWA) t¿i hai lần điÃu khiÅn khác nhau Bá điÃu khiÅn chia sẻ cho phép ng°åi sċ dăng chß cần ra mát lÉnh điÃu khiÅn nh° đi thẳng, r¿ trái, r¿ phÁi, quay l¿i mà không yêu cầu phÁn ćng liên tăc hoÁc theo thåi gian HÉ tháng s¿ v¿n ho¿t đáng mà không đÁt ng°åi điÃu khiÅn vào tình huáng nguy hiÅm trong tr°ång hāp ng°åi điÃu khiÅn không thÅ phÁn hãi vì bÁn thďc hiÉn các nhiÉm vă khác Trong nghiên cću khác nm 2016 cąa Zhijun Li, mát ph°¢ng pháp điÃu khiÅn kÁt hāp giča ng°åi và máy đ°āc đà xuÃt đÅ điÃu khiÅn chuyÅn h°ãng cąa xe ln, bao gãm chÁ đá điÃu khiÅn BCI và chÁ đá điÃu khiÅn tď đáng [52] Trong chÁ đá điÃu khiÅn BCI, mát giao diÉn não ng°åi và máy tính sċ dăng ph°¢ng pháp phát hiÉn sď tÁp trung ån đánh vào hình Ánh trên giao diÉn máy tính (SSVEP) đ°āc trình bày Trong chÁ đá điÃu khiÅn tď đáng, kỹ thuÁt tr°ång tiÃm nng dďa trên góc (APF) và kỹ thuÁt SLAM dďa trên thá giác máy tính đ°āc đà xuÃt đÅ h°ãng d¿n xe ln điÃu h°ãng giča các ch°ãng ng¿i vÁt

Jingsheng Tang đã đà xuÃt mát cÃu trúc di đáng cÁi tiÁn đ°āc trang bá cho xe ln bao gãm cánh tay robot nhẹ, mô-đun nhÁn d¿ng măc tiêu và mô-đun điÃu khiÅn tď đáng trong nghiên cću cąa mình nm 2018 [53] Dďa trên thuÁt toán YOLO, trong thåi gian thďc, hÉ tháng này có thÅ nhÁn d¿ng và đánh vá các măc tiêu trong môi tr°ång bằng camera Kinect và ng°åi dùng xác nhÁn mát măc tiêu thông qua giao diÉn BCI 3 P300 HÉ tháng dùng cÁm biÁn LIDAR đÅ t¿o ra mát bÁn đã, dùng ph°¢ng pháp DWA lÁp kÁ ho¿ch đ°ång đi căc bá cho xe ln, và công că lÁp kÁ ho¿ch đ°ång đi toàn căc dďa trên thuÁt toán A* Trong quá trình di chuyÅn, măc tiêu cũng đ°āc theo dõi bằng cách sċ dăng kỹ thuÁt theo dõi hình Ánh Mô-đun nhÁn d¿ng măc tiêu s¿ nhÁn d¿ng và đánh vá măc tiêu trong môi tr°ång trďc tuyÁn, ng°åi dùng xác nhÁn mát măc tiêu bằng cách chãn măc tiêu này trďc tiÁp thông qua hÉ tháng BCI và

mô-đun điÃu h°ãng tď đáng điÃu khiÅn xe ln đÁn đích đ°āc chß đánh Ngoài ra, xe ln còn đ°āc trang bá mát cánh tay robot nhẹ giúp ng°åi dùng lÃy các đã vÁt

Vãi nhčng °u điÅm cąa viÉc sċ dăng tín hiÉu EEG, camera, vÁt mác và bÁn đã cho xe ln điÉn bán tď đáng, đà tài <K¿t hāp tín hiáu EEG, Stereo camera và

v¿t mác đà đßnh vß, điÁu khiÃn xe ln đián đ¿n đích dďa vào bÁn đã= đ°āc lďa

chãn đÅ nghiên cću

❖ CÂU TRÚC Hà THàNG XE LN ĐIàN K¾T HĀP TÍN HIàU EEG, CAMERA, V¾T MàC VÀ BÀN Đâ

Sď kÁt hāp cąa mát chiÁc xe ln điÉn, hÉ tháng máy tính, thiÁt bá thu thÁp tín hiÉu điÉn não EEG, hÉ tháng camera 3D và bÁn đã cho phép ng°åi sċ dăng xe ln cÁm thÃy thuÁn lāi h¢n trong viÉc điÃu khiÅn và an toàn h¢n khi di chuyÅn trong môi tr°ång trong nhà Ng°åi khuyÁt tÁt lďa chãn đích đÁn thông qua tín hiÉu EEG và giao diÉn BCI Vãi hÉ tháng camera và bÁn đã, xe ln có thÅ nhÁn d¿ng các vÁt mác trong môi tr°ång và xác đánh vá trí hiÉn t¿i trên bÁn đã trong quá trình di chuyÅn Vá trí hiÉn t¿i và đích đÁn cąa xe ln s¿ đ°āc cung cÃp cho hÉ tháng điÃu khiÅn tď đáng đÅ lÁp lá trình Ngoài ra, trong quá trình di chuyÅn, xe ln có thÅ tránh vÁt cÁn tď đáng thông qua hÉ tháng camera Quá trình thu thÁp dč liÉu tĉ camera, tín hiÉu EEG và bÁn đã đÅ điÃu khiÅn xe ln điÉn đ°āc thďc hiÉn nh° hình 1.1

Hình 1.1 S¡ đồ khối quá trình điều khiển xe lăn điện dựa vào tín hiệu EEG, camera, vật mốc và bÁn đồ

1.2 MĂC TIÊU NGHIÊN CĆU CĄA LU¾N ÁN

Măc tiêu cąa luÁn án là thiÁt kÁ và xây dďng hÉ tháng điÃu khiÅn bán tď đáng cho xe ln điÉn trong môi tr°ång trong nhà dďa vào sď kÁt hāp tín hiÉu điÉn não EEG, hÉ tháng camera, vÁt mác và bÁn đã nhằm giÁm mćc đá điÃu khiÅn ng°åi khuyÁt tÁt và tng đá an toàn ĐÅ thďc hiÉn đ°āc măc tiêu chính này, các măc tiêu că thÅ cần thďc hiÉn là:

1 ThiÁt kÁ mát giao diÉn giao tiÁp giča ng°åi và máy tính thông qua tín hiÉu EEG tĉ ho¿t đáng nháy mÃt đÅ chãn đích đÁn mong muán Tr°ãc tiên, các thành phần c¢ bÁn cąa mát tín hiÉu EEG cąa ho¿t đáng nháy mÃt đ°āc phân tích chi tiÁt Tĉ đó xây dďng mát bá lãc nhiÇu và làm tr¢n tín hiÉu EEG, cũng nh° trích xuÃt các thành phần đÁc tr°ng cąa tín hiÉu đÅ có đ°āc mát tín hiÉu EEG cąa ho¿t đáng nháy mÃt tát nhÃt Cuái cùng, các bá phân lo¿i các ho¿t đáng nháy mÃt tĉ tín hiÉu EEG vãi đá chính xác cao và thåi gian xċ lý nhanh, và sau đó gán các lÉnh điÃu khiÅn giao tiÁp vãi máy tính, cũng cần đ°āc nghiên cću thiÁt kÁ

2 Đà xuÃt ph°¢ng pháp đánh vá xe ln điÉn trên bÁn đã dďa vào vá trí các vÁt mác trong môi tr°ång ĐÅ thďc hiÉn viÉc này, các vÁt mác vãi thông tin vá trí cąa nó trong môi tr°ång cần phÁi đ°āc thu thÁp Do đó, ph°¢ng pháp nhÁn biÁt các vÁt mác trong môi tr°ång tď nhiên và xác đánh vá trí cąa vÁt mác cần đ°āc nghiên cću H¢n nča, vãi c¢ sç dč liÉu và vÁt mác đã thu thÁp đ°āc, ph°¢ng pháp đánh vá vá trí cąa xe ln trên bÁn đã vãi đá chính xác cao cũng cần đ°āc đà xuÃt nghiên cću

3 Xây dďng mô hình điÃu khiÅn bán tď đáng cho xe ln đÁn đích mong muán, trong đó giÁm thiÅu tái đa sď điÃu khiÅn cąa ng°åi sċ dăng Că thÅ, vãi vá trí cąa xe ln đã đ°āc xác đánh dďa vào các vÁt mác và vá trí điÅm đích mà ng°åi dùng lďa chãn, mát ph°¢ng pháp điÃu khiÅn tď đáng vãi tính ån đánh và đá an toàn cao đ°āc đà xuÃt nghiên cću

1.3 ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU

▪ Đái t°āng nghiên cću

− Nghiên cću ph°¢ng pháp phân lo¿i ho¿t đáng nháy mÃt tĉ tín hiÉu EEG

− Nghiên cću thuÁt toán nhÁn d¿ng vÁt mác trong môi tr°ång tď nhiên − Nghiên cću thuÁt toán đánh vá dďa vào vÁt mác trong môi tr°ång tď nhiên − Nghiên cću thuÁt toán điÃu khiÅn tď đáng cho xe ln dďa vào sď kÁt hāp tín

hiÉu EEG, vÁt mác và bÁn đã ▪ Ph¿m vi nghiên cću

− LuÁn án tÁp trung nghiên cću hÉ tháng điÃu khiÅn xe ln điÉn trong không gian trong nhà, vãi ng°åi sċ dăng là nhčng ng°åi khuyÁt tÁt bá h¿n chÁ vÁn đáng tay, chân hoÁc đầu nh°ng mÃt v¿n còn khße

1.4 CÁCH TI¾P C¾N VÀ PH¯¡NG PHÁP NGHIÊN CĆU

Dďa trên đái t°āng nghiên cću, cũng nh° măc tiêu đã đ°āc đÁt ra cąa luÁn án Cách tiÁp cÁn và ph°¢ng pháp nghiên cću trong luÁn án này đ°āc mô tÁ theo tĉng b°ãc că thÅ nh° bên d°ãi:

- Ph°¢ng pháp khÁo sát lý thuyÁt: tìm hiÅu, phân tích và tång hāp các c¢ sç lý thuyÁt liên quan đÁn luÁn án cũng nh° tång hāp ph°¢ng pháp và kÁt quÁ cąa các công trình nghiên cću tr°ãc đó đã đ°āc công bá trong và ngoài n°ãc và điÃu khiÅn xe ln điÉn trong môi tr°ång trong nhà Tĉ nhčng c¢ sç lý thuyÁt đ°āc khÁo sát và phân tích s¿ là tiÃn đà cho viÉc xây dďng măc tiêu nghiên cću

- Ph°¢ng pháp tính toán, thiÁt kÁ và hiÉu chßnh: tĉ nhčng lý thuyÁt liên quan đ°āc khÁo sát, mát hÉ tháng s¿ đ°āc tính toán và thiÁt kÁ đÅ điÃu khiÅn xe ln điÉn Quá trình thiÁt kÁ s¿ đ°āc kiÅm tra và hiÉu chßnh đÅ đ¿t đ°āc kÁt quÁ tát nhÃt

- Ph°¢ng pháp mô phßng: tĉ hÉ tháng đ°āc thiÁt kÁ, sċ dăng các ch°¢ng trình mô phßng có đá tin cÁy cao đÅ đánh giá hÉ tháng

- Ph°¢ng pháp phân tích và tång hāp: tång hāp kÁt quÁ đã đ¿t đ°āc trong luÁn án và so sánh vãi các kÁt quÁ đã đ°āc công bá tr°ãc đó đÅ bình luÁn và phân tích °u nh°āc điÅm cąa ph°¢ng pháp đ°āc đà xuÃt trong luÁn án

- Ph°¢ng pháp thďc nghiÉm: tiÁn hành các thí nghiÉm trong môi tr°ång thďc đÅ quan sát, thu thÁp thông tin, tĉ đó kiÅm chćng và đánh giá tính thďc tÁ cąa các ph°¢ng pháp đ°āc đà xuÃt trong luÁn án

1.5 ĐÓNG GÓP VÀ KHOA HàC CĄA LU¾N ÁN

❖ Đóng góp mái vÁ khoa hác cąa lu¿n án

LuÁn án tÁp trung vào nghiên cću xây dďng mô hình hÉ tháng điÃu khiÅn bán tď đáng cho xe ln điÉn trong môi tr°ång trong nhà dďa vào sď kÁt hāp tín hiÉu điÉn não EEG, hÉ tháng camera, vÁt mác và bÁn đã nhằm giÁm mćc đá điÃu khiÅn ng°åi khuyÁt tÁt và tng đá an toàn Vì vÁy, nhčng đóng góp mãi và mÁt khoa hãc cąa luÁn án gãm:

- ĐÃ xuÃt ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào ng°ÿng biên đá và ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào m¿ng hãc sâu CNN-1D Că thÅ, tín hiÉu EEG cąa ho¿t đáng nháy mÃt đ°āc thu thÁp và tiÃn xċ lý s¿ đ°āc thu thÁp cho quá trình phân lo¿i Ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào ng°ÿng biên đá cho phép xċ lý trďc tiÁp tín hiÉu EEG vãi thåi gian ngÃn và đá chính xác cao Vãi mô hình m¿ng hãc sâu CNN-1D, dč liÉu cần đ°āc thu thÁp tr°ãc cho quá trình huÃn luyÉn Tuy nhiên, m¿ng CNN-1D cho phép phân lo¿i đ°āc nhiÃu lo¿i nháy mÃt h¢n, vãi đá chính xác cao h¢n

- Đà xuÃt ph°¢ng pháp nhÁn d¿ng vÁt mác tď nhiên và xác đánh vá trí vÁt mác trong môi tr°ång trong nhà Trong quá trình di chuyÅn, vãi ph°¢ng pháp này, các vÁt mác không cần phÁi đ°āc hãc tr°ãc mà xe ln s¿ tď nhÁn biÁt và lďa chãn vÁt mác dďa vào mÁt đá đÁc tr°ng cąa các đái t°āng có trong Ánh môi tr°ång Tĉ đó, xe ln s¿ tính toán vá trí cąa vÁt mác, và sau đó thu thÁp vào c¢ sç dč liÉu Quá trình thu thÁp các vÁt mác và thông tin vá trí cąa nó đ°āc thďc hiÉn vãi thåi gian ngÃn vãi đá chính xác cao, làm c¢ sç cho viÉc đánh vá xe ln trên bÁn đã

- Vãi thông tin cąa vÁt mác, luÁn án đà xuÃt ph°¢ng pháp đánh vá xe ln trên bÁn đã l°ãi 2D Áo, giúp cho quá trình điÃu khiÅn xe ln đÁn đích đ°āc chính xác và nhanh chóng h¢n Că thÅ, bằng viÉc xây dďng mát bÁn đã l°ãi 2D Áo tĉ môi tr°ång thďc vãi các ô tráng và ô vÁt cÁn, xe ln cần đ°āc xác đánh vá trí đÅ hÉ tháng điÃu khiÅn đà xuÃt đ°ång đi tái °u đÁn đích Vá trí này đ°āc tính toán tĉ vá trí cąa vÁt mác trong không gian môi tr°ång và trong không gian 3D cąa camera ViÉc sċ dăng mát vÁt mác đÅ đánh vá xe ln đ°āc kiÁn nghá vì cho đá chính xác cao h¢n so vãi viÉc dùng 3 vÁt mác

- Đà xuÃt mô hình điÃu khiÅn thďc - Áo cho xe ln điÉn bán tď đáng Trong đó, mô hình DQNs-PreLU đ°āc kiÁn nghá đÅ huÃn luyÉn tìm đ°ång đi tái °u cho xe ln dďa vào bÁn đã l°ãi 2D Áo Mô hình DQNs-PreLU vãi các thông sá đďa lďa chãn giúp giÁm thåi gian huÃn luyÉn nh°ng v¿n đÁm bÁo đá chính xác H¢n nča, thuÁt toán điÃu khiÅn xe ln trong môi tr°ång thďc tĉ các đ°ång đi mô phßng trên bÁn đã l°ãi cũng đ°āc đà xuÃt

❖ Ý ngh*a thďc tißn cąa lu¿n án

Vãi các phân tích và tính cÃp thiÁt đã đ°āc trình bày ç phần trên, luÁn án có ý nghĩa thďc tiÇn trong viÉc xây dďng mát mô hình xe ln điÉn bán tď đáng cho nhčng ng°åi khuyÁt tÁt bá h¿n chÁ và vÁn đáng tay, chân hoÁc đầu nh°ng mÃt v¿n còn khße Că thÅ, mô hình xe ln điÉn bán tď đáng vãi sď kÁt hāp cąa giao diÉn giao tiÁp giča ng°åi và máy tính thông qua tín hiÉu EEG cho phép ng°åi dùng chãn đích đÁn mong muán, và ph°¢ng pháp điÃu khiÅn xe ln tď đáng dďa vào bÁn đã l°ãi 2D, camera và các vÁt mác trong môi tr°ång trong nhà s¿ có ý nghĩa quan trãng trong viÉc giÁi quyÁt các vÃn đà sau: (1) GiÁm nß lďc điÃu khiÅn xe ln cąa ng°åi khuyÁt tÁt; (2) ĐÁm bÁo an toàn trong quá trình di chuyÅn; (3) GiÁm giá thành sÁn phẩm vãi viÉc sċ dăng phần cćng có chi phí thÃp và phần mÃm mã nguãn mç; (4) HÉ tháng đ°āc thiÁt kÁ có tính di đáng cho ng°åi dùng Ngoài ra, kÁt quÁ nghiên cću còn đ°āc áp dăng đÅ giÁng d¿y cho các sinh viên chuyên ngành Kỹ ThuÁt Y Sinh t¿i Bá Môn ĐiÉn Tċ Công NghiÉp 3 Y Sinh cąa Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Tp.HCM

1.6 CÂU TRÚC CĄA LU¾N ÁN

Ch°¢ng 1: Tång quan, ch°¢ng này giãi thiÉu tång quan và đà tài, măc tiêu, đái t°āng nghiên cću, ph°¢ng pháp nghiên cću, các đóng góp mãi và khoa hãc

Ch°¢ng 2: C¢ så lý thuy¿t, ch°¢ng này trình bày các vÃn đà liên quan đÁn

viÉc thiÁt kÁ mát hÉ tháng xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt Că thÅ, giao tiÁp giča não ng°åi và máy tính BCI thông qua viÉc sċ dăng tín hiÉu điÉn não EEG và các ćng dăng cąa nó trong thiÁt kÁ mô hình xe ln điÉn cho ng°åi khuyÁt tÁt s¿ đ°āc trình bày Bên c¿nh đó, các ph°¢ng pháp xây dďng bÁn đã l°ãi 2D môi tr°ång trong nhà và thuÁt toán hãc tng c°ång cho điÃu khiÅn robot di đáng cũng s¿ đ°āc tóm l°āc

Ch°¢ng 3: Phân lo¿i tín hiáu EEG cąa ho¿t đßng mÁt cho ćng dăng giao ti¿p giča não ng°ãi và máy tính, ch°¢ng này trình bày ph°¢ng pháp phân lo¿i các

ho¿t đáng nháy mÃt dďa vào tín hiÉu EEG Quá trình thu thÁp dč liÉu EEG tĉ thiÁt bá Emotiv Epoc+ đ°āc trình bày bao gãm các ph°¢ng pháp tiÃn xċ lý tín hiÉu, phân tích tín hiÉu và gán nhãn dč liÉu Ngoài ra, các ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa các ho¿t đáng mÃt cũng đ°āc đà xuÃt trong ch°¢ng này bao gãm ph°¢ng pháp phân lo¿i theo ng°ÿng biên đá và ph°¢ng pháp phân lo¿i dďa vào mô hình m¿ng hãc sâu CNN-1D Các thí nghiÉm s¿ đ°āc trình bày đÅ đánh giá hiÉu suÃt phân lo¿i tín hiÉu

Ch°¢ng 4: Nh¿n d¿ng và xác đßnh vß trí v¿t mác tď nhiên trong môi tr°ãng trong nhà, ch°¢ng này trình bày ph°¢ng pháp mÁt đá điÅm đÁc tr°ng lãn

nhÃt đÅ nhÁn biÁt các vÁt mác tď nhiên trong môi tr°ång trong nhà H¢n nča, ph°¢ng pháp đánh vá vÁt mác dďa vào vá trí xe ln và thông tin 3D cąa vÁt mác có đ°āc tĉ camera cũng đ°āc trình bày că thÅ HiÉu suÃt nhÁn d¿ng vÁt mác đ°āc đo l°ång bằng hÉ sá IOU, và đá chính xác cąa vá trí vÁt mác đ°āc đánh giá thông qua tính toán sai sá tuyÉt đái và t°¢ng đái giča vá trí thďc và vá trí tính toán

Ch°¢ng 5: Mô hknh điÁu khiÃn xe ln đián k¿t hāp tín hiáu EEG và camera dďa vào bÁn đã, ch°¢ng này trình bày mô hình điÃu khiÅn bán tď đáng có

sď kÁt hāp tín hiÉu EEG, camera, vÁt mác và bÁn đã l°ãi 2D Áo đÅ điÃu khiÅn xe ln

đÁn đích mong muán Mô hình điÃu khiÅn thďc - Áo bao gãm công că lÁp kÁ ho¿ch di chuyÅn (MP) và bá chuyÅn đåi hành đáng cąa xe ln (WAC) đ°āc trình bày H¢n nča, xe ln cần xác đánh vá trí hiÉn t¿i cąa nó trong cÁ môi tr°ång thďc và Áo sċ dăng thông tin cąa các vÁt mác tď nhiên Ngoài ra, mô hình Deep Q-Networks (DQNs) và bÁn đã l°ãi 2D Áo đÅ ho¿ch đánh đ°ång đi tái °u cho xe ln đ°āc đà xuÃt Sau đó, ph°¢ng pháp điÃu khiÅn xe ln điÉn trong môi tr°ång thďc cùng vãi các thí nghiÉm mô phßng và thí nghiÉm trong môi tr°ång thďc cũng đ°āc trình bày

Ch°¢ng 6: K¿t lu¿n và h°áng phát triÃn, ch°¢ng này trình bày nhčng kÁt

quÁ đã đ¿t đ°āc cąa luÁn án và đà xuÃt ph°¢ng h°ãng phát triÅn các nghiên cću cąa luÁn án trong t°¢ng lai

CH¯¡NG 2

C¡ Sä LÝ THUY¾T

Ch°¢ng này trình bày các vÃn đà liên quan đÁn viÉc thiÁt kÁ mát hÉ tháng xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt Că thÅ, giao tiÁp giča não ng°åi và máy tính BCI thông qua viÉc sċ dăng tín hiÉu điÉn não EEG và các ćng dăng cąa nó trong thiÁt kÁ mô hình xe ln điÉn cho ng°åi khuyÁt tÁt s¿ đ°āc trình bày Đây là nÃn tÁng c¢ sç đÅ xây dďng mô hình điÃu khiÅn xe ln điÉn trong luÁn án này Bên c¿nh đó, các ph°¢ng pháp xây dďng bÁn đã l°ãi 2D môi tr°ång trong nhà và các ph°¢ng pháp lÁp kÁ ho¿ch đ°ång đi cũng s¿ đ°āc tóm l°āc, h°ãng đÁn hình thành ph°¢ng pháp điÃu khiÅn xe ln điÉn trong môi tr°ång trong nhà

2.1 TäNG QUAN VÀ TÍN HIàU EEG

EEG là tín hiÉu điÉn cąa ho¿t đáng vß não đ°āc phát hiÉn bçi Hans Berger nm 1924 Tín hiÉu này đ°āc đo bằng mát dăng că đo dòng điÉn vãi điÉn cďc đ°āc gÃn trên đầu và ghi l¿i nhčng dao đáng điÉn Các ho¿t đáng cąa não có mái liên quan đÁn các tín hiÉu tĉ vß não [54] Do đó, viÉc phân tích tín hiÉu EEG có thÅ phát hiÉn nhčng bÃt th°ång trong ho¿t đáng cąa não [55] Tín hiÉu điÉn não có biên đá trong khoÁng 5-200 uV Tần sá thay đåi trong khoÁng 1-100 Hz Vì biên đá nhß nên rÃt dÇ bá nhiÇu, chą yÁu là các thành phần tín hiÉu điÉn c¢ (EMG) và tín hiÉu điÉn tim (ECG) [56] Ph°¢ng pháp đo điÉn não EEG có thÅ phát hiÉn ra nhčng thay đåi trong thåi gian vài mili giây, trong khi đó điÉn thÁ ho¿t đáng truyÃn giča các n¢-ron mÃt xÃp xß tĉ 0,5 - 130 ms nên hoàn toàn có thÅ ghi nhÁn đ°āc Ngoài ra, tín hiÉu EEG cũng cho thÃy sď khác nhau và c°ång đá và vá trí cąa ho¿t đáng t¿i mßi khu vďc cąa não

Các d¿ng sóng cąa tín hiÉu EEG th°ång đ°āc phân lo¿i theo tần sá, biên đá, hình d¿ng cũng nh° vá trí cąa các điÉn cďc trên da đầu Sď phân lo¿i cąa các d¿ng