Mөc tiêu và nhiӋm vө luұQYăQ
Mөc tiêu luұQYăQ
Mөc tiêu cӫa luұn YăQOjӭng dөng thuұt toán hӑFPi\ÿӇ thӵc hiӋn viӋc phát hiӋn, phân loҥi và giám sát FiFÿӕLWѭӧng xung quanh xe tӵ lái, sӱ dөng thông tin tӯ các cҧm biӃQÿӇ thӵc hiӋQÿӏnh vӏ và lұp bҧQÿӗ trong quá trình di chuyӇn giúp cҧnh báo va chҥm trong quá trình di chuyӇn cӫa xe
ThuұWWRiQÿӅ xuҩt sӱ dөng thông tin tӯ máy ҧnh, cҧm biӃQÿRNKRҧng cách bҵng ánh sáng và dӳ liӋu ÿӏnh vӏ GPS/INS Hình ҧnh tӯ máy ҧQKÿѭӧc sӱ dөQJÿӇ phát hiӋn và phân loҥi các ÿӕLWѭӧng Cҧm biӃn ÿRNKRҧng cách (LiDAR) cung cҩp thông tin vӅ khoҧQJFiFKYjKѭӟng cӫDFiFÿӕLWѭӧng GPS/INS cung cҩp thông tin vӅ vӏ trí cӫa xe tӵ lái Mô hình phát hiӋn và nhұn dҥQJÿӕLWѭӧQJÿѭӧc cҧi tiӃn bҵng cách kӃt hӧp dӳ liӋu hình ҧnh và cҧm biӃn LiDAR Các thông tin tӯ máy ҧnh, cҧm biӃn LiDAR ÿѭӧc xӱ lý và kӃt hӧp vӟi dӳ liӋu GPS/INS bҵng mӝt bӝ lӑc Kalman mӣ rӝQJÿӇ thӵc hiӋn ÿӏnh vӏ và lұp bҧQÿӗ thӡi gian thӵc
LuұQYăQlà tiӅQÿӅ cho các nghiên cӭu vӅ hoҥFKÿӏQKÿѭӡQJÿLYjWӵ ÿӝng hóa hoàn toàn cho xe tӵ lái WURQJWѭѫQJlai.
NhiӋm vө luұQYăQ
Tìm hiӇu tәng quan vӅ chӭFQăQJYjhoҥWÿӝng FѫEҧn cӫa xe tӵ lái
Tìm hiӇu giҧi thuұt phát hiӋn, nhұn dҥng và giám sát các ÿӕLWѭӧng áp dөng cho xe tӵ lái
Tìm hiӇu giҧi thuұt tәng hӧp cҧm biӃQGQJFKRÿӏnh vӏ và lұp bҧQÿӗ thӡi gian thӵc áp dөng trên xe tӵ lái
Xây dӵQJFKѭѫQJWUuQKSKiWKLӋn, nhұn dҥng và giám sát nhiӅXÿӕLWѭӧng áp dөng các thuұt toán máy hӑc cho dӳ liӋu thu thұSÿѭӧc tӯ nhiӅu cҧm biӃn trên xe tӵ lái Xây dӵQJFKѭѫQJWUuQKWәng hӧp cҧm biӃQGQJFKRÿӏnh vӏ và lұp bҧQÿӗ thӡi gian thӵc áp dөng cho xe tӵ lái
Mô phӓQJÿiQKJLiNӃt quҧ các giҧi thuұWÿm[k\Gӵng
Phҥm vi luұQYăQ
Phҥm vi luұQYăQ
Trong phҥm vi luұQYăQgiӟi hҥn FiFÿӕLWѭӧQJÿѭӧc phát hiӋn và phân loҥi gӗm 5 lӟSOj³[Hÿҥp´³xe ô tô´, ³QJѭӡi ÿLEӝ´, ³xe tҧi´Yj³ÿqQJLDRWK{QJ´&iFÿӕi Wѭӧng này ÿѭӧc thӇ hiӋn bӣi mӝWÿӕLWѭӧQJÿLӇPYjNtFKWKѭӟc Kѭӟng di chuyӇn cӫa chúng
Ngoài ra trong phҥm vӏ luұQYăQFiFÿӕLWѭӧQJÿѭӧc phát hiӋn ÿѭӧc giҧ ÿӏnh là có mô hình di chuyӇn ngүu nhiên vӟLSKѭѫQJVDLGӵ kiӃn và NK{QJÿѭӧc mô hình hóa bҵng mô hình chuyӇQÿӝng cө thӇ
ThuұWWRiQÿѭӧc phát triӇn chӍ ÿѭӧc thӱ nghiӋm bҵng bӝ dӳ liӋu có sҹn [2] mà FKѭD ÿѭӧc thӵc nghiӋm trong mӝt hӋ thӕng thӵc (xe tӵ OiLWUrQÿѭӡng)
Dӳ liӋu hình ҧnh tӯ máy ҧnh và khoҧng cách tӯ cҧm biӃn LiDAR ÿѭӧc tiӅn xӱ lý riêng biӋWÿӇ giҧm thӡi gian tính toán, mô phӓng cӫa toàn bӝ FKѭѫQJWUuQK Mô hình phát hiӋn và nhұn dҥQJÿӕLWѭӧQJWUѭӟFÿjRWҥo tӯ FѫVӣ dӳ liӋu mүu.
Cҩu trúc luұQYăQ
Cҧm biӃQÿRNKRҧng cách bҵng ánh sáng ± LiDAR
Mӝt trong nhӳng công nghӋ ÿѭӧc sӱ dөng nhiӅu nhҩWÿӇ lұp bҧQÿӗ P{LWUѭӡng là cҧm biӃn LiDAR ± viӃt tҳt cӫD³OLJKWGHWHFWLRQDQGUDQJLQJ´ Nguyên lý hoҥWÿӝng là dӵa vào thӡi gian di chuyӇn cӫa ánh sáng tӯ cӵc phát và thu lҥi ӣ cӵc thu cӫa cҧm biӃn tӯ ÿyWtQKUDNKRҧng cách ÿӇ mô tҧ P{LWUѭӡng 2D hoһc 3D Nguyên lý hoҥWÿӝng gӗm Eѭӟc:
Phát xung tín hiӋu tӯ cӵc cӫa phát cҧm biӃn,
Thu nhұn tia sáng phҧn xҥ tӯ P{LWUѭӡng ӣ cӵc thu, ĈӃm thӡi gian cӫa xung ánh sáng tӯ O~FSKiWÿӃn lúc thu lҥi,
Tính khoҧng cách dӵa vào thӡi gian và vұn tӕc di chuyӇn cӫa tia sáng
JLӡ %ӅPһW ÿӕLWѭӧQJ KRҧQJ cách
Hình 2.1 Nguyên lý hoҥWÿӝng cӫa cҧm biӃn LiDAR
/L'$5WKѭӡng ít bӏ ҧQKKѭӣng bӣLÿLӅu kiӋn thӡi tiӃWKѫQVRvӟi máy ҧnh, có thӇ hoҥWÿӝng tӕt cҧ khi trӡi sáng và tӕi, sӱ dөng tӕWÿӇ phát hiӋn các vұt cҧQWUrQÿѭӡQJÿLTuy nhiên LiDAR không có khҧ QăQJFKөp lҥi kӃt cҩu bӅ mһt bên ngoài FiFÿӕLWѭӧng GRÿyNKyNKăQNKLVӱ dөQJÿӇ phân loҥLÿӕLWѭӧQJ+ѫQ nӳDFiFÿiPPk\ÿLӇm rҩt
7 WKѭDWKӟt, tӭc là luôn có mӝt mӭFÿӝ không chҳc chҳn giӳDFiFFKPTXpWÿһc biӋt là ÿӕi vӟLFiFÿLӇm ӣ xa hay bӏ che khuҩt mӝt phҫn Nhӳng tiӃn bӝ gҫQÿk\WURQJF{QJ nghӋ LiDAR gӑi là Flash LiDAR có thӇ tҥo ra các chi tiӃWÿӕi tѭӧQJFyÿӝ phân giҧi cao gҫn QKѭhình ҧnh chөp tӯ máy ҧnh.
Máy ҧnh
Máy ҧnh có bҧn chҩt là mӝt thiӃt bӏ quang hӑFÿѭӧc sӱ dөQJÿӇ ghi lҥi hình ҧnh cӫa P{LWUѭӡng bên ngoài VӅ FѫEҧn, máy ҧnh sӁ ánh xҥ thӃ giӟi 3D thành hình ҧnh 2D Gѭӟi dҥQJFiFÿLӇm ҧnh (pixel) Tӯ ҧnh 2D này có thӇ ánh xҥ QJѭӧc sang 3D bҵng phép chiӃu phӕi cҧnh, tuy nhiên cҫn có thông tin vӅ khoҧng cách cӫDFiFÿӕLWѭӧng trên ҧnh
Máy ҧnh có thӇ ÿѭӧc phân loҥi thành 2 nhóm chính WKHREѭӟc sóng hoҥWÿӝng: máy ҧnh sӱ dөng ánh sáng có thӇ nhìn thҩy (máy ҧnh RGB), máy ҧnh hӗng ngoҥi (máy ҧnh tҫm nhiӋt) Máy ҧnh RGB hoҥWÿӝng vӟi ánh sáng phҧn chiӃu có thӇ nhìn thҩy qua ba NrQKÿӓ, lөc và lam) GRÿy nó phө thuӝFYjRÿLӅu kiӋn ánh sáng, chӍ sӱ dөng tӕt khi WURQJP{LWUѭӡng có ҧQKViQJÿҫ\ÿӫ, trong khi máy ҧnh hӗng ngoҥLÿѭӧc sӱ dөng tӕt WURQJÿLӅu kiӋn ánh sáng yӃXEDQÿrP a) Máy ҧQKÿѫQ b) Máy ҧnh lұp thӇ c) Máy ҧnh ÿӝ sâu d) Máy ҧnh mҳt cá
Hình 2.2 Các loҥi máy ҧnh phә biӃn
8 Mһt khác, hình ҧnh RGB có lӧi thӃ KѫQVRYӟi hình ҧnh nhiӋt trong viӋc thu thұp và xӱ lý thông tin, tӕWKѫQKuQKҧnh nhiӋt khi áp khi nhұn dҥng và giám sát các ÿӕLWѭӧng vì các vӟi ҧnh RGB sӁ cung cҩp nhiӅXWK{QJWLQKѫQYӅ ÿӕLWѭӧng Ngoài ra, vӅ cҩu tҥo máy ҧnh có thӇ phân loҥLWKHRFiFQKyPQKѭVDXPi\ҧQKÿѫQmonocular camera), máy ҧnh lұp thӇ (stereo camera), máy ҧnh ÿӝ sâu (RGB-D camera), máy ҧnh mҳt cá (fisheye camera)
2.1.3 Sӱ dөng máy ҧnh ÿӇ ÿRNKRҧng cách
Hình 2.3 Mô hình mӝt máy ҧnh pinhole
1KѭÿmQyLӣ trên, thӃ giӟi thӵc là 3DWK{QJWLQÿӝ sâu cӫa P{LWUѭӡng rҩt quan trӑQJÿӇ thӵc hiӋn phát hiӋQÿӕLWѭӧng ҦQKWKXÿѭӧc tӯ mӝt máy ҧQKWK{QJWKѭӡng chӍ là hình ҧnh 2D Fyÿѭӧc nhӡ xҥ P{LWUѭӡng tӯ 3D sang 2D, do vұy kӃt quҧ không thu ÿѭӧc trӵc tiӃp thông tin vӅ ÿӝ sâu cӫa các vұt thӇ trong ҧnh Vӟi mӝt máy ҧnh thông WKѭӡng hoҥWÿӝng theo nguyên tҳc mô hình máy ҧnh pinhole WURQJÿyFiFWLDViQJÿLTXD lӛVDXÿy các tia sáng P{LWUѭӡQJ'ÿѭӧc chiӃu QJѭӧc trên mһt phҷng hình ҧnh (Hình 2.3) Các thông sӕ cӫDP{KuQKSLQKROHÿѭӧF[iFÿӏnh bӣi ma trұn máy ҧnh (thông sӕ nӝi tҥi) ba gӗm thông tin PmKyDÿӝ dài tiêu cӵ YjNtFKWKѭӟc cҧm biӃn cӫa máy ҧnh 6DXÿyÿӇ hӧp nhҩWÿҫu ra cӫa hai cҧm biӃQÿѭӧFÿһt ӣ mӝt khoҧng cách nhҩWÿӏnh (dӡi gӕc tӑDÿӝ vӅ cùng vӏ trí) trong không gian thӃ giӟi, các cҧm biӃn trҧi qua mӝt quy trình tính toán bӣi các tham sӕ bên ngoài (tham sӕ ngoҥi lai)
Hình 2.4 Nguyên lý ÿRNKoҧng cách bҵng máy ҧnh lұp thӇ
Ngoài ra vүn có mӝt sӕ loҥi máy ҧnh có thӇ GQJÿӇ thu thұp thông tin khoҧng cách trӵc tiӃp, loҥi máy ҧnh này là máy ҧnh lұp thӇ Máy ҧnh lұp thӇ ÿѭӧc sӱ dөQJÿӇ nhұn biӃWÿӝ sâu hoһc phҥm vi cӫa cҧnh sӱ dөng hai máy ҧnh WѭѫQJWӵ QKѭFiFKFRQQJѭӡi nhìn nhұn qua tҫm nhìn lұp thӇ khoҧng cách cӫa các vұt thӇ trên thӃ giӟi (Hình 2.4) Vҩn ÿӅ chính ÿRNKRҧQJFiFKQKѭWUrQ là ÿӝ chính xác cӫa viӋFWuPÿ~QJcác pixel ҧnh cho cùng mӝWÿӕLWѭӧQJÿLӇm P trong Hình 2.4), tӭc là th{QJWLQÿӝ sâu dӉ gһp phҧi sai sӕ và ÿRÿykém chính xác
Hҥn chӃ lӟn nhҩt khi sӱ dөng máy ҧnh là ÿLӅu kiӋn ánh sáng khi chөp ҧnh và chҩt Oѭӧng cҧm biӃn cӫa máy ҧnh Hai yӃu tӕ này ҧQKKѭӣng trӵc tiӃSÿӃn chҩt lѭӧng ҧnh chөSÿѭӧc Tӯ ÿyҧQKKѭӣQJÿӃn kӃt quҧ xӱ lý ҧnh cӫa hӋ thӕng
2.1.4 ĈRKjQKWUuQKEҵng thông tin thӏ giác (visual odometry)
Khái niӋPÿRKjQKWUuQKodometry) truyӅn thӕng là viӋc sӱ dөng dӳ liӋu thu thұp tӯ chuyӇQÿӝng cӫa bӝ truyӅQÿӝQJÿӇ ѭӟc tính sӵ WKD\ÿәi vӏ trí theo thӡi gian thông qua eQFRGHUÿӇ ÿRYzQJTXD\FӫDEiQK[H3KѭѫQJSKiS rҩt ÿѫQJLҧn và hiӋu quҧ cho FiFSKѭѫQJWLӋn có FѫFҩu di chuyӇn là bánh xeQKѭQJNK{QJiSGөQJÿѭӧc cho các URERWGLÿӝng vӟLFiFFiFFѫFҩu di chuyӇn phӭc tҥSQKѭURERWFyFKkQURERWFi, các robot trờn kh{QJYjGѭӟLQѭӟc ô1JRjLUDÿRKjQKWUuQKEҵng encoder xoay dӉ xҧy ra sai sӕ vì trong thӵc tӃ EiQK[HFy[XKѭӟQJWUѭӧWNKLOăQ WUrQÿѭӡng, cӝng vӟi viӋc xҧy ra sai sӕ khi bánh xe di chuyӇn trên các bӅ mһt gӗ ghӅ không bҵng phҷng
10 7URQJOƭQKYӵc tӵ ÿӝng hóa FNJQJQKѭWKӏ JLiFPi\WtQKÿR hành trình bҵng thông tin thӏ giác (hay VO ± VLVXDORGRPHWU\ÿѭӧFÿӏQKQJKƭDOjTXiWUuQKѭӟc Oѭӧng chuyӇn ÿӝng cӫa thiӃt bӏ GLÿӝng (tӏnh tiӃn và quay so vӟi khung tham chiӃu) bҵng cách phân tích chuӛi các hình ҧnh liên tiӃp WKXÿѭӧc tӯ máy ҧnh ÿӇ WtQKÿӝ dӏch chuyӇn bҵng cách kiӇm tra nhӳQJWKD\ÿәi mà chuyӇQÿӝng gây ra trên hình ҧnhĈRKjQKWUuQK bҵng thӏ JLiFFKRSKpSWăQJFѭӡQJÿӝ FKtQK[iFÿLӅXKѭӟng cӫDSKѭѫQJWLӋn sӱ dөng bҩt kǤ cách thӭc di chuyӇn nào trên bҩt kǤ bӅ mһt nàoP{LWUѭӡng nào, kӇ cҧ WUrQNK{QJYjGѭӟi Qѭӟc Tuy nhiên giӕng vӟi các SKѭѫQJSKiSÿRFѫKӑc khácSKѭѫQJSKiSÿREҵng thӏ JLiFFNJQJ[ҧy ra sai sӕ WtFKONJ\WKHRWKӡi gian ĈR hành trình bҵng thӏ giác có thӇ ÿѭӧc phân loҥi theo mӝt sӕ cách nhѭVDX:
3KѭѫQJSKiSVӱ dөng máy ҧQKÿѫQYjSKѭѫQJSKiSVӱ dөng máy ҧnh lұp thӇ: Tùy thuӝc vào cҩu tҥo máy ҧnh ÿѭӧc sӱ dөng cho ѭӟc Oѭӧng chuyӇQÿӝng mà QJѭӡi ta có thӇ phân làm hai loҥi gӗm monocular visual odometry và stereo visual odometry 3KѭѫQJSKiSdӵDWUrQFiFÿһFWUѭQJFӫa hình ҧnh (feature-basedYjSKѭѫQJSKiS trӵc tiӃp (direct): Thông tin hình ҧnh cӫa VO dӵa trên viӋc trích xuҩWFiFÿһFWUѭQJ trong hình ҧnh và giám sát sӵ dӏch chuyӇn cӫa chúng trong chuӛi hình ҧnh, tӯ ÿy[iF ÿӏQKÿѭӧc khoҧng cácKYjKѭӟng di chuyӇn sau mӛi khung hình Các nghiên cӭu gҫQÿk\ÿmÿѭDUD mӝt giҧi pháp thay thӃ OjSKѭѫQJSKiSWUӵc tiӃp, sӱ dөQJFѭӡng ÿӝ pixel trong chuӛi hình ҧnh trӵc tiӃSOjPÿҫu vào ÿӇ [iFÿӏnh sӵ dӏch chuyӇn cӫa khung hình Hai SKѭѫQJSKiS có thӇ ÿѭӧc sӱ dөng kӃt hӧp ÿӇ nâng FDRÿӝ chính xác Visual inertial odometry: có thӇ sӱ dөng cҧm biӃn ÿROѭӡng quán tính (IMU) cho hӋ thӕng VO, NKLÿySKѭѫQJSKiSQj\Jӑi là Ĉo hành trình quán tính thӏ giác (visual inertial odometry ± VIO)
Quá trình tәng quát cӫDSKѭѫQJSKiSÿR hành trình bҵng thông tin thӏ giác dӵa trên FiFÿһFWUѭQJFӫa hình ҧnh:
WUѭQJ %ӝOӑF ѬӟFOѭӧQJ
FKX\ӇQÿӝQJ ӃWTXҧÿR
Hình 2.5 Quy trình chung cӫa visual odometry
11 Xét vӅ kӻ thuұt ÿһc tính ѭӟFOѭӧng chuyӇQÿӝng, SKѭѫQJSKiSÿRKjQKWUuQK bҵng thӏ giác có thӇ chia thành ba loҥi bao gӗPѬӟFOѭӧng chuyӇQÿӝng 3D±'ѭӟFOѭӧng chuyӇQÿӝng 3D±2D và ѭӟFOѭӧng chuyӇQÿӝng 2D±2D: ѬӟFOѭӧng chuyӇQÿӝng 3D±3D: ChuyӇQÿӝQJÿѭӧFѭӟc tính bҵQJFiFÿLӇm ÿһc WUѭQJ'WKHRKuQKWDPJLiFÿѭӧc quan sát trong mӝt chuӛi hình ҧnh Sӵ chuyӇQÿәi giӳa các khung ҧQKVDXÿyÿѭӧFѭӟc tính bҵng cách tӕi thiӇu khoҧng cách Euclide 3D giӳDFiFÿLӇP'WѭѫQJӭQJQKѭHình 2.6 Công thӭc tính hàm giá trӏ QKѭVDX ܶ ൌ ் หܺ െ ܶܺሶ ห ଶ
(2.1) trong ÿy, ܶ là phép biӃQÿәLѭӟc Oѭӧng giӳa hai khung ҧnh liên tiӃp, ܺ OjÿLӇPÿһFWUѭQJ 'ÿѭӧc quan sát bӣi khung hiӋn tҥi ܨ , ܺሶ OjÿLӇPÿһFWUѭQJ'WѭѫQJӭng trong khung WUѭӟc ܨ ିଵ và là sӕ Oѭӧng tӕi thiӇu cӫa các cһSWtQKQăQJFҫn thiӃWÿӇ ràng buӝc phép chuyӇQÿәi Sӕ ÿLӇm tӕi thiӇu cҫn thiӃWÿӇ tính toán phө thuӝc vào DOF cӫa hӋ thӕng và loҥLP{KuQKÿѭӧc sӱ dөng ѬӟFOѭӧng chuyӇQÿӝng 3D±2D: 3KѭѫQJSKiSQj\WѭѫQJWӵ QKѭSKѭѫQJSKiS'± 3D, sai sӕ phép chiӃu lҥi 2D tӕi giҧn ÿѭӧc sӱ dөng ÿӇ tìm phép biӃn ÿәi cҫn thiӃt KLÿyKàm giá trӏ FKRSKѭѫQJSKiSQj\QKѭVDX ܶ ൌ ் หݖ െ ݂൫ܶǡ ܺሶ ൯ห ଶ
(2.2) tURQJÿyܶ là phép biӃQÿәLѭӟc tính giӳa hai khung liên tiӃp, ݖOjÿLӇPÿһFWUѭQJTXDQViWÿѭӧc trong khung hiӋn tҥi ܨ , ݂൫ܶǡ ܺሶ ൯ là chӭFQăQJFKLӃu lҥi cӫDÿLӇPÿһFWUѭQJ'WѭѫQJӭng cӫDQyWURQJNKXQJWUѭӟc ܨ ିଵ sau khi áp dөng phép biӃQÿәi ܶ và ݅ là sӕ cһp WtQKQăQJSӕ ÿLӇm tӕi thiӇu cҫn thiӃt cӫa phép biӃQÿәi dӵa trên sӕ Oѭӧng ràng buӝc trong hӋ thӕng
12 Hình 2.6 3KѭѫQJSKiSVӱ dөng máy ҧQKÿѫQgiám sát sӵ di chuyӇn cӫDFiFÿLӇPÿһc
WUѭQJTXDWӯng khung ҧnh ѬӟFOѭӧng chuyӇQÿӝng 2D±2D: 3KѭѫQJSKiS'±3D và 3D±2D chӍ có thӇ có áp dөng khi có dӳ liӋu ÿҫu vào 3D Trong ѭӟc tính phép biӃQÿәLWѭѫQJÿӕi giӳa hai khung hình ÿѫQ ÿѭӧc hiӋu chӍQKÿҫu tiên trong ÿyFiFÿLӇPFKѭDÿѭӧc tam giác hóa 7URQJWUѭӡng hӧp này, hình hӑFHSLSRODUÿѭӧFNKDLWKiFÿӇ ѭӟc tính cho phép biӃn ÿәi 1KѭYtGө ӣ Hình 2.7, hình ҧQKWKXÿѭӧc tӯ cùng mӝWÿLӇm cӫa máy ҧnh khi nó bӏ WKD\ÿәi bӣi mӝt phép quay, mӝt phép tӏnh tiӃn Mӛi máy ҧnh ghi lҥi hình ҧnh 2D cӫa hình ҧnh 3D
Hình 2.7 Hình hӑc epipolar cӫa máy ҧnh lұp thӇ
13 ViӋc chuyӇQÿәi tӯ 'VDQJ'Qj\ÿѭӧc gӑi là phép chiӃu phӕi cҧQKYjÿѭӧc mô tҧ chi tiӃWKѫQWURQJSKҫn Mô hình hóa máy ҧnh và HiӋu chӍnh Máy ҧnh Ràng buӝc HSLSRODUÿѭӧc sӱ dөQJWURQJSKѭѫQJSKiSQj\ÿѭӧc viӃt là: ݍԢ ் ܧݍ ൌ Ͳ (2.3) tURQJÿyݍԢ và ݍ OjFiFÿLӇm ҧQKÿӗng nhҩWWѭѫQJӭng trong hai khung liên tiӃp và E là ma trұn thiӃt FѫEҧn cho bӣi: ܧ ൌ ሾݐሿ ൈ ܴ (2.4) tURQJÿyܴ là ma trұn xoay, ݐ là ma trұn tӏnh tiӃn ÿѭӧc cho bӣi: ݐ ൌ ݐ ௫ ݐ ௬ ݐ ௭ ൩ (2.5) và ሾݐሿ ൈ là ma trұQÿӕi xӭng chéo ÿѭӧc cho bӣi: ሾݐሿ ൈ ൌ Ͳ െݐ ௭ ݐ ௬ ݐ ௭ Ͳ ݐ ௬ െݐ ௬ ݐ ௫ Ͳ (2.6)
Mӝt sӕ yêu cҫu cҫn thiӃt khi sӱ dөQJSKѭѫQJSKiSvisual odometry:
0{LWUѭӡQJÿѭӧc chiӃXViQJÿҫ\ÿӫ;
CҧQKWƭQKFKLӃPѭXWKӃ so vӟi các vұt thӇ chuyӇQÿӝng; Ĉӫ kӃt cҩu trên hình ҧQKÿӇ cho phép trích xuҩWÿѭӧc chuyӇQÿӝng; Ĉӫ cҧnh chӗng lҩp giӳa các khung liên tiӃp
2.1.5 ĈRKjQKWUuQKEҵng thӏ giác dӵDWUrQSKѭѫQJSKiSiQK[ҥ (Optical flow)
Optical flow là khái niӋm chӍ sӵ chuyӇQÿӝQJWѭѫQJÿӕi cӫDFiFÿLӇm trên bӅ mһt mӝWÿӕLWѭӧng, vұt thӇ QjRÿyJk\UDGѭӟi góc quan sát cӫa mӝWÿLӇm mӕc (mҳt, máy ҧnhô6ӵ chuyӇQÿӝng cӫa cỏc vұt thӇ trong khụng gian 3DNKLÿѭӧc chiӃu lờn mӝt mһt phҷQJTXDQViW'ÿѭӧc gӑi là WUѭӡng chuyӇQÿӝng (motion field) MөFÿtFKFӫa FiFSKѭѫQJSKiS ѭӟFOѭӧng RSWLFDOIORZOjÿӇ [iFÿӏnh WUѭӡng chuyӇQÿӝng tӯ mӝt tұp FiFNKXQJKuQKWKD\ÿәi theo thӡLJLDQFK~QJÿѭӧc sӱ dөng rӝng rãi trong các bài toán SKkQÿRҥQÿӕLWѭӧng, phỏt hiӋn chuyӇQÿӝng, giỏm sỏt FiFÿӕLWѭӧngô
VҩQÿӅ nhұn thӭc vӅ P{LWUѭӡng xung quanh xe tӵ lái
Sӵ nhұn thӭc vӅ P{LWUѭӡng xung quanh cӫa mӝt thiӃt bӏ tӵ hành là quá trình tái tҥo sӵ thӇ hiӋQP{LWUѭӡng xung quanh nó vào bӝ nhӟ bҵng cách diӉn giҧi dӳ liӋu WKXÿѭӧc tӯ các cҧm biӃn Quá trình này bao gӗm viӋFѭӟc tính vӏ trí cӫa thiӃt bӏ tӵ hành trong P{LWUѭӡng, ѭӟc tính vӏ WUtWѭѫQJÿӕi cӫa các vұt thӇ ÿӭng yên và chuyӇQÿӝng xung quanh, giám sát các vұt thӇ quan tâm, có thӇ gây nguy hiӇm cho quá trình di chuyӇn ңŵďŝұŶ ŶŐŽҢŝǀŝ EŚҨŶƚŚӈĐ >ljůƵҨŶǀă ƋƵLJұƚĜҷŶŚ ,ăŶŚĜҾŶŐ ŚҶƚŚҷĐҿĐҤƵ ĐŚҤƉŚăŶŚ dҨƉŚӄƉĐĄĐ ŚăŶŚĜҾŶŐ
Mô hình ŵƀŝƚƌӇӁŶŐ
Hình 2.8 Mô hình nhұn thӭc môLWUѭӡng cӫa xe tӵ lái [22]
Vӟi mӝt chiӃc xe tӵ lái, quá trình nhұn thӭc sӁ ÿѭӧc chia thành hai thành phҫn chính:
Thӭ nhҩt, chiӃc xe phҧi có khҧ QăQJtӵ ÿӏnh vӏ trong P{LWUѭӡng bҵng cách tính toán các mӕi quan hӋ không gian giӳa nó vӟLFiFÿӕLWѭӧQJWƭQK6DXÿy, phҧi xây dӵng lҥi bҧQÿӗ P{LWUѭӡng bҵng cách thiӃt lұp các mӕi quan hӋ không gian giӳDFiFÿӕi WѭӧQJWƭQK vӟi nhau Quá trình này Ojÿӏnh vӏ và lұp bҧQÿӗ thӡi gian thӵc (SLAM) ÿӇ nҳm bҳt và biӇu diӉn các thành phҫQWƭQh cӫDP{LWUѭӡng
Thӭ hai, tURQJP{LWUѭӡng sӁ có nhiӅXÿӕLWѭӧQJWƭQKYjFKX\ӇQÿӝQJWѭѫQJWiFYӟi nhau, do vұy chiӃc xe cҫn phҧi thӵc hiӋn phát hiӋn và giám sát FiFÿӕLWѭӧng chuyӇn ÿӝng bҵng cách thiӃt lұp mӕi quan hӋ không gian và thӡi gian giӳa các vұt thӇ chuyӇn ÿӝng và nó, và giӳa các vұt thӇ chuyӇQÿӝng và không gian WƭQK Phát hiӋn và giám ViWFiFÿӕLWѭӧng chuyӇQÿӝQJWKѭӡQJÿѭӧc coi là hai nhiӋm vө riêng biӋWYjÿѭӧc thӵc hiӋQÿӝc lұp, tuy nhiên chúng có liên quan mұt thiӃt và có thӇ ÿѭӧc xem xét mӝt cách tәng thӇ Vì lý do này, cҧ hai nhiӋm vө trên là vҩQÿӅ cӕt lõi thӭ hai cӫa viӋc nhұn thӭc: phát hiӋQYjJLiPViWFiFÿӕLWѭӧng chuyӇQÿӝng (DATMO ± Detection and tracking of moving objects) VҩQÿӅ Qj\ÿmÿѭӧc nghiên cӭu rӝng rãi và mӝt sӕ SKѭѫQJSKiSÿmÿѭӧFÿӅ xuҩt
17 4XiWUuQKÿӏnh vӏ và tái tҥo bҧQÿӗ thӡi gian thӵc ÿѭӧFÿӅ xuҩt lҫQÿҫu tiên trong [26] Kӻ thuұt 6/$0FKRSKpSFiFSKѭѫQJWLӋn tӵ hành thӵc hiӋn ÿӗng thӡi viӋc xác ÿӏnh vӏ trí cӫa nó trong P{LWUѭӡQJFKѭDELӃt và tái tҥo bҧQÿӗ cӫa P{LWUѭӡng ÿy Sӵ phát triӇn cӫa kӻ thuұt 6/$0FyêQJKƭDrҩt lӟn trong sӵ phát triӇn cӫa OƭQKYӵc robot tӵ hành, bao gӗm cҧ robot trên bӝWUrQNK{QJYjGѭӟLQѭӟc Hҫu hӃt các nghiên cӭu vӅ 6/$0ÿӅu giҧ ÿӏQKP{LWUѭӡQJOjWƭQKYjFRLFKX\ӇQÿӝng cӫa các vұt thӇ là các nhiӉu
ViӋc phát hiӋn và giám sát các vұt thӇ chuyӇQ ÿӝng (DATMO ± Detection and tracking of moving objects) là mӝt trong nhӳng vҩQÿӅ thách thӭc nhҩt và rҩt quan trӑng trong viӋFÿҧm bҧo an toàn và tránh va chҥm khi di chuyӇn Sӵ kӃt hӧp cӫa SLAM vӟi DATMO có thӇ giúp giҧi quyӃt vҩn di chuyӇn cӫa các robot tӵ hành
NhiӅXSKѭѫQJSKiSgiám sát FiFÿӕLWѭӧng dӵa vào viӋc phát hiӋQFKtQK[iFFiFÿӕi Wѭӧng chuyӇQÿӝQJYjGRÿyWұp trung vào kӃt hӧSÿRÿҥc ± giám sát, quҧQOêÿӕLWѭӧng ÿmgiám sát và tӵ giám sát Tuy nhiên, phát hiӋQÿӕLWѭӧng chuyӇQÿӝng không cung cҩp GDQKViFKFiFÿӕLWѭӧng chuyӇQÿӝQJGѭѫQJWtQKJLҧ'RÿyÿӇ thӵc hiӋn giám sát mӝt cách chính xác, phát hiӋQÿӕLWѭӧng chuyӇQÿӝng là mӝt khía cҥnh quan trӑng trong mӝt hӋ thӕng DATMO [23]
7K{QJWKѭӡQJ'$702ÿѭӧc chia thành ba nhiӋm vө chính: phát hiӋQÿӕLWѭӧng chuyӇQÿӝng, giám sát FiFÿӕLWѭӧng chuyӇQÿӝng và kӃt hӧp dӳ liӋu
Sӵ kӃt hӧp giӳD6/$0Yj'$702ÿmÿѭӧc tiӃp cұn theo nhiӅu cách thӭc khác nhau Các tài liӋu [18], [27], [28], sӱ dөQJ'$702ÿmJLҧi quyӃt vҩQÿӅ bҵng cách sӱ dөng cҧm biӃQÿRNKRҧng cách bҵQJiQKViQJOjP³Fҧm biӃn nhұn thӭF´FKtQKFӫa xe Trong các nghiên cӭu trên, dӳ liӋu tӯ cҧm biӃQÿRNKRҧQJFiFKÿѭӧc sӱ dөQJÿӇ phát hiӋn vұt thӇ chuyӇQÿӝng VҩQÿӅ cӫa viӋc chӍ sӱ dөng cҧm biӃQÿRNKRҧng cách là hình dҥQJTXDQViWÿѭӧc cӫa mӝWÿӕLWѭӧQJÿѭӧc phát hiӋn có thӇ WKD\ÿәi tӯ lҫn quét này sang lҫn quét khác trong khi viӋc phân loҥi lҥi phө thuӝc vào hình dҥng bên ngoài cӫa vұt thӇ, khiӃn viӋc giám sát các ÿӕLWѭӧng trӣ QrQNKyNKăQĈӕLWѭӧng có thӇ bӏ phân loҥi sai vì hình dҥng cӫa mӝWÿӕLWѭӧng có thӇ gҫn giӕQJQKѭPӝWÿӕLWѭӧng khác, khó giám sát ÿѭӧFÿӕi Wѭӧng qua các lҫn quét liên tiӃp'RÿyVӱ dөng dөng cҧm biӃQÿR khoҧng cách bҵQJiQKViQJOjP³Fҧm biӃn nhұn thӭF´GX\QKҩt có nhiӅu hҥn chӃ trong viӋc nhұn dҥng và giám sát FiFÿӕLWѭӧng
18 Vӟi nhӳng tiӃn bӝ WURQJOƭQKYӵc máy tính, cө thӇ kӻ thuұt hӑc sâu (deep learning), và sӵ cҧi thiӋn tӕFÿӝ tính toán nhӡ, viӋc sӱ dөng thông tin tӯ hình ҧQKYѭӧt trӝLKѫQVѫ vӟLFiFSKѭѫQJSKiSNKiFÿӇ phát hiӋn và phân loҥi các ÿӕLWѭӧng ChӍ vӟi hình ҧnh chөSÿѭӧc tӯ máy ҧnh sӁ thu thұSÿѭӧc rҩt nhiӅu thông tin vӅ môi WUѭӡng MӝWÿӕLWѭӧng ÿѭӧc phát hiӋn bҵng máy ҧnh có thӇ ÿѭӧc hӧp nhҩt vӟi thông tin khoҧQJFiFKWKXÿѭӧc tӯ cҧm biӃQÿRNKRҧng cách bҵQJiQKViQJÿӇ cҧi thiӋn hiӋu suҩt cӫa DATMO
%DQÿҫu các giҧLSKiSÿѭӧFÿӅ xuҩt cho các thiӃt bӏ quân sӵ QKѭKӋ thӕng giám sát hoһc hӋ thӕQJQK~QJWUrQFiFSKѭѫQJWLӋn trên biӇn và trên không, nhiӅu giҧi pháp hiӋn ÿҥi tұp trung vào ngành công nghiӋp ô tô và sӱ dөng
Trong các nghiên cӭXWUѭӟFÿk\QJѭӡi ta coi SLAM và DATMO là các vҩQÿӅ riêng biӋt Tuy nhiên, các công trình nghiên cӭu gҫQÿk\ÿmÿӅ xuҩt mӝt sӕ SKѭѫQJSKiSWKӵc hiӋQÿӗng thӡL6/$0Yj'$7023KѭѫQJSKiSQj\ÿѭӧc gӑLOjÿӏnh vӏ, lұp bҧQÿӗ thӡi gian thӵc và giám sát FiF ÿӕLWѭӧng chuyӇQÿӝng (SLAMMOT ± Simultaneous localization, mapping and moving object tracking)
7DÿӏQKQJKƭDPӝt tұp hӧp các quan sát cҧm biӃn ܼ ௧ cӫa xe và biӃQÿҫu vào ܷ ௧ ÿӃn thӡLÿLӇm t QKѭVDX ܼ ௧ ൌ ሼݖ ǡ ݖ ଵ ǡ ǥ ݖ ௧ ሽ (2.9) ܷ ௧ ൌ ሼݑ ଵ ǡ ݑ ଶ ǡ ǥ ݖ ௧ ሽ (2.10) Ӣ mӝt thӡLÿLӇm ݐ sӁ FyEDÿҫu ra chính:
Tұp hӧp các trҥQJWKiLѭӟc tính cӫD[HÿӃn thӡLÿLӇm : ܺ ௧ ൌ ሼݔ ǡ ݔ ଵ ǡ ǥ ݔ ௧ ሽ (2.11) [iFÿӏnh vӏ WUtYjÿӏQKKѭӟng cӫa xe;
Thӭ hai, tұp hӧSFiFÿӕLWѭӧQJWƭQKWURQJP{LWUѭӡQJÿѭӧc GQJÿӇ lұp bҧQÿӗ: ܯ ௧ ൌ ሼ݉ ǡ ݉ ଵ ǡ ǥ ݉ ሽ (2.12) trong ÿyܭ là tәng sӕ ÿӕLWѭӧQJWURQJP{LWUѭӡng ሼ݉ ȁͳ ݇ ܭሽ, chӍ ÿӏnh các thuӝc tính và vӏ trí cӫa tӯQJÿӕLWѭӧng
19 Cuӕi cùng là tұp hӧSFiFÿӕLWѭӧng chuyӇQÿӝng ܬ ÿѭӧc giám sát tҥi thӡLÿLӇm ݐ, vӟi ͳ ݆ ܬ ÿѭӧFÿӏQKQJKƭDOj ܶ ௧ ൌ ൛ ଵ ǡ ଶ ǡ ǥ ൟ (2.13) Chúng ta có thӇ ÿӏQKQJKƭDYҩQÿӅ nhұn thӭc là phép tính xác suҩWQKѭVDX ܲሺݔ ௧ ǡ ܯ ௧ ǡ ܶ ௧ ȁܼ ௧ ǡ ܷ ௧ ǡ ݔ ሻ (2.14) WURQJÿyݔ là cho trҥQJWKiLEDQÿҫu cӫa chiӃc xe
Chúng ta có thӇ chia nhұn thӭc thành hai phҫn gӗm SLAM: ܲሺݔ ௧ ǡ ܯ ௧ ȁܼ ௧ ௦ ǡ ܷ ௧ ǡ ݔ ሻ (2.15) và DATMO: ܲሺܶ ௧ หܼ ௧ ௗ ǡ ݔ ௧ ǡ ܯ ௧ ሻ (2.16) tURQJÿyܼ ௧ bao gӗPTXDQViWWƭQKܼ ௧ ௦ YjTXDQViWÿӝng ܼ ௧ ௗ : ܼ ௧ ൌ ܼ ௧ ௦ ܼ ௧ ௗ (2.17)
Hình 2.9: Mô hình nhұn thӭc ÿӕi vӟi xe tӵ lái.
Phát hiӋn, nhұn dҥQJYjJLiPViWFiFÿӕLWѭӧng
Phát hiӋn, nhұn dҥng các lӟSÿӕLWѭӧng
MөFÿtFKFӫa phát hiӋQÿӕLWѭӧng dҥQJÿӕLWѭӧQJFiFSKѭѫQJSKiSSKә biӃn nhҩt hiӋn nay hҫu hӃWÿӅu dӵDWUrQFiFSKѭѫQJSKiS[ӱ lý ҧnh
Vӟi yêu cҫu thӵc tӃ tӯ mӝt hình ҧnh duy nhҩt cҫn phҧi nhұn dҥng nhiӅXÿӕLWѭӧng vӟi yêu cҫu vӅ ÿӝ chính xác trong thӡi gian thӵc Phát hiӋQÿӕLWѭӧng là mӝt trong nhӳng chӫ ÿӅ ÿѭӧc nghiên cӭu nhiӅu nhҩWWURQJOƭQKYӵc thӏ giác máy tính Phát hiӋQÿӕLWѭӧng là sӱ dөng dӳ liӋu tӯ các cҧm biӃQÿӇ [iFÿӏQK[HPFyFiFÿӕLWѭӧng xung quanh hay NK{QJYjWuPUDÿ~QJYӏ WUtWѭѫQJÿӕi cӫDFiFÿӕLWѭӧQJÿyĈLӅu này giúp phát hiӋn các vұt thӇ SKtDWUѭӟF[Hÿѭӧc coi là nhӳng trӣ ngҥi có thӇ có mà hӋ thӕng sӁ phҧi giám sát ÿӇ dӵ ÿRiQOLӋu có thӇ xҧy ra va chҥPWURQJWѭѫQJODLKD\NK{QJ6DXÿyFiFWKXӝc tính Qj\ÿѭӧFÿѭDÿӃn bӝ phân loҥLÿӇ [iFÿӏQKÿӕLWѭӧng 7UѭӟFÿk\YiӋc phát hiӋQÿӕi WѭӧQJWKѭӡng dӵa trên trích xuҩt các thuӝc tính tӯ hình ҧQKÿҫu vào bҵng thuұt toán khác nhau, có thӇ kӇ ÿӃn Haar Transform [29] hoһc HOG Transform [30]
Ngày nay vӟi sӵ phát triӇn cӫa hӑc sâu, có nhiӅu kiӃn trúc mҥng thҫn kinh tích chұp
&11ÿmYѭӧt trӝLKѫQSKѭѫQJSKiSSKiWKLӋQÿӕLWѭӧng bҵng cách sӱ dөng mӝt bӝ trích xuҩWWtQKQăQJ1Kӳng CNN này cӕ gҳng bҳWFKѭӟc hoҥWÿӝng cӫa các tӃ bào thҫn kinh cӫDFRQQJѭӡi CNN tìm hiӇXWtQKQăQJWURQJÿӕLWѭӧQJWURQJTXiWUuQKÿjRWҥo và có thӇ NKiLTXiWWtQKQăQJFKRÿӕLWѭӧng và phát hiӋQÿӕLWѭӧng Có thӇ kӇ ÿӃn các thuұt toán dӵDWUrQ&11QKѭR-CNN [31], Faster R-CNN [32], YOLO [4][8][13]FiFSKѭѫQJ pháp này ÿӅu hoҥWÿӝng rҩt tӕt vӟi yêu cҫu phát hiӋn nhiӅXÿӕLWѭӧng Trong luұQYăQ thuұt toán YOLO (You only look once) ÿѭӧFÿӅ xuҩt sӱ dөng ѬXÿLӇm cӫa viӋc sӱ dөng YOLO là có tӕc ÿӝ nhұn dҥng QKDQKÿҥWÿӃQNKXQJKuQKJLk\FDRKѫQQKLӅu so vӟi các thuұt toán khác trong khi vүQGX\WUuÿӝ chính xác cao Các thuұt toán khác phát hiӋQFiFÿӕLWѭӧng bҵng cách sӱ dөng các kӻ thuұWÿӅ xuҩt khu vӵc hoһFSKѭѫQJ pháp cӱa sә WUѭӧt và lһp lҥi trên hình ҧnh nhiӅu lҫn Toàn bӝ hình ҧQKÿѭӧc cung cҩp thông qua CNN và phát hiӋn nhiӅXÿӕLWѭӧng cùng mӝt lúc
YOLO là mӝt mô hình mҥng CNN cho viӋc phát hiӋn, nhұn dҥng, phân loҥLÿӕi Wѭӧng YOLO khác vӟi cáFSKѭѫQJWKӭc phát hiӋQÿӕLWѭӧng khác ӣ chӛ nó thӵc chҩt là
21 mӝt bài toán hӗLTX\QyÿLWKҷng tӯ các pixel trên ҧQKÿӃn tӑDÿӝ hӝp giӟi hҥn và xác suҩt các lӟSÿӕLWѭӧng YOLO FyTX\WUuQKNKiÿѫQJLҧQKѫQQhiӅu thuұt toán phát hiӋn ÿӕLWѭӧng khác có quy trình tҥp, chұm và khó tӕLѭXKyD, YOLO có khҧ QăQJWKӵc thi nhanh nhanh mà vүQÿҥWÿѭӧFÿӝ chính xác phát hiӋn cao Ĉҫu vào mô hình mҥng này là hình ҧnh, ÿҫu ra là loҥLÿӕLWѭӧQJÿѭӧc phát hiӋn và vӏ trí cӫDÿӕLWѭӧQJÿy trên hình ҧnh Mô hình nhұn dҥng cӫDSKѭѫQJSKiSQj\ÿѭӧc mô tҧ QKѭ trong Hình 2.10 ErQGѭӟi Ĉҫu tiên, YOLO chia hình ҧQKÿҫu vào thành Oѭӟi S×S, nӃu tâm cӫa mӝWÿӕLWѭӧng UѫLYjRPӝW{Oѭӟi, mӛi {ÿyFKӏu trách nhiӋm phát hiӋn các ÿӕLWѭӧng MӛL{Oѭӟi dӵ ÿRiQFiFKӝp giӟi hҥQYjÿLӇm tin cұy cho các hӝSÿy0ӛi hӝp giӟi hҥn có các dӵ ÿRiQ cho tӑDÿӝ tâm cӫa hӝp, chiӅu rӝng và chiӅu cao cӫa hӝSYjÿLӇm tin cұy Ngoài ra, mӛi {Oѭӟi dӵ ÿRiQ[iFVXҩt cӫa lӟSFyÿLӅu kiӋn C là Pr(Class|Object) và sӱ dөQJFK~QJÿӇ tҥo bҧQÿӗ xác suҩt lӟp Cuӕi cùng, các dӵ ÿRiQKӝp giӟi hҥn và bҧQÿӗ xác suҩt lӟp ÿѭӧc kӃt hӧSÿӇ tҥo ra các phát hiӋn cuӕi cùng và các lӟSWѭѫQJӭng Các lӟp tích chұp EDQÿҫu trích xuҩt ÿһFWUѭQJWӯ hình ҧnh trong khi các lӟp kӃt nӕLÿҫ\ÿӫ dӵ ÿRiQ[iF suҩt và tӑDÿӝ ӣ ÿҫu ra
Hình 2.10 Ví dө nhұn dҥQJYjÿӏnh vӏ ÿӕLWѭӧng vӟi mô hình YOLO [4]
Trong nhӳQJQăPJҫQÿk\Vӵ xuҩt hiӋn cӫDFiFSKѭѫQJSKiSGӵa trên tәng hӧp dӳ liӋXÿѭӧc sӱ dөng phә biӃn trong các ӭng dөQJNKiFQKDXQKѭ lұp bҧQÿӗ P{LWUѭӡng và xe tӵ lái Sӱ dөng kӃt hӧp các máy ҧnh vӟi các cҧm biӃn ngoҥi vi NKiFOjFiFKÿӇ mӝt chiӃc xe tӵ lái phát hiӋn các vұt thӇ YjFyÿѭӧc chính xác thông tin khoҧng cách
22 Mӝt camera cho chúng ta hình ҧnh cҧnh chҩWOѭӧng cao và mӝt cҧm biӃn khác nhau cung cҩp thông tin vӅ ÿӝ sâu hoһc khoҧng cách cӫDP{LWUѭӡng Dӳ liӋu cҧm biӃQÿѫQWKѭӡng NK{QJÿӫ cho nhұn thӭFÿҫ\ÿӫ vӅ P{LWUѭӡng xung quanh cӫa mӝt chiӃc xe tӵ lái chӫ yӃu là do nhӳng hҥn chӃ cӫa mӛi cҧm biӃnĈDSKѭѫQJWKӭc (dӳ liӋu tӯ nhiӅu cҧm biӃn) UDÿӡLÿӇ nhұn biӃt các thuӝc tính khác nhau cӫDP{LWUѭӡQJÿӇ ÿѭDUDTX\ӃWÿӏnh kiӇm soát chính xác Mһt khác, dӳ liӋXÿDSKѭѫQJWKӭc có nhӳng hҥn chӃ riêng sӁ ÿѭӧc thҧo luұQWURQJFiFFKѭѫQJVDX Trong khuôn khә luұQYăQQj\, hình ҧnh và dӳ liӋu LiDAR ÿѭӧc kӃt hӧp ÿӇ phát hiӋn và phân loҥi các ÿӕLWѭӧng
Thông tin tӯ cҧm biӃn LiDAR kӃt hӧp vӟi vӏ trí chiӃF[Hÿѭӧc sӱ dөQJÿӇ tҥo ra tұp hӧp ÿLӇm 3D cӫDP{LWUѭӡng SDXÿythông tin này ÿѭӧc chiӃu lên hình ҧnh 2D ViӋc chuyӇQÿәi tӑDÿӝ 3'WKXÿѭӧc tӯ quét LiDAR sang pixel hình ҧQK'ÿѭӧc thӵc hiӋn bҵng mô hình máy ҧnh pinhole Các tӑDÿӝ LiDAR ሺݔǡ ݕǡ ݖሻ ÿѭӧc chuyӇQÿәi thành pixel ሺݑǡ ݒሻtrong ҧnh QKѭVDX ݑ ൌ ݂ ݖݔ ݑ (2.18) ݒ ൌ ݂ ݖݕ ݒ (2.19) tURQJÿy݂ là tiêu cӵ cӫa máy ҧnh và ሺݑ ǡ ݒ ሻ là tâm quang hӑc cӫa camera
MӛLÿӕLWѭӧQJÿѭӧc phát hiӋn nhӡ YOLO sӁ có mӝt hӝp giӟi hҥn bao quanh, giúp ÿӏnh vӏ ÿӕLWѭӧng trong ҧnh Sau NKLFyÿѭӧc tӑDÿӝ cӫa tӯQJÿӕLWѭӧQJÿѭӧc phát hiӋn, thông tin này ÿѭӧc ÿӗng bӝ vӟLFiFÿiPPk\ÿLӇm LiDAR ĈLӅu này sӁ cho phép hӋ thӕQJFyÿѭӧc thông tin khoҧng cách cho tӯQJÿӕLWѭӧQJÿѭӧc phát hiӋn, sӁ ÿѭӧc sӱ dөQJÿӇ giám sát FiFÿӕLWѭӧng giúp xe di chuyӇn an toàn, tránh va chҥm
Hình 2.11 cho thҩ\ÿӕLWѭӧQJÿѭӧc phát hiӋn bӣi thuұt toán YOLO và khoҧng cách ÿӃQÿӕLWѭӧQJWKXÿѭӧc nhӡ cҧm biӃQÿRNKRҧng cách bҵng ánh sáng (LiDAR) chiӃu WUrQFiFÿӕLWѭӧQJÿѭӧc phát hiӋn
Hình 2.11 Phát hiӋQÿӕLWѭӧng WUrQÿѭӡng bҵng YOLO
&iFÿӕLWѭӧQJÿmSKiWKLӋQÿѭӧc biӇu diӉQGѭӟi dҥQJÿӕLWѭӧQJÿLӇm trên mӝt bҧn ÿӗ cho mөFÿtFKgiám sát KhoҧQJFiFKWѭѫQJÿӕLÿӃQÿӕLWѭӧQJÿѭӧc lҩy trung bình là khoҧng cách cӫa tӯ cҧm biӃQ/L'$5ÿӃn trӑng tâm cӫDÿӕLWѭӧng Hình 2.11 biӇu diӉn vӏ WUtFiFÿӕLWѭӧQJÿѭӧc phát hiӋn bao gӗm vӏ trí và loҥLÿӕLWѭӧng
Hình 2.12 BҧQÿӗ 2D cӫa các ÿӕLWѭӧQJÿѭӧc phát hiӋn so vӟi xe.
So khӟSÿӕLWѭӧng (object matching)
ViӋc giám sát các ÿӕLWѭӧng ngoài viӋc phát hiӋn và nhұn dҥng còn phҧi liên kӃt ÿѭӧFÿӕLWѭӧng vӯa tìm thҩy vӟi các hình ҧnh khác Sӵ liên kӃWQj\ÿѭӧc thӵc hiӋn bҵng cách so khӟSFiFWtQKQăQJFӫDÿӕLWѭӧng trong mӝt hình ҧnh vӟLFiFWtQKQăQJSKiWKLӋn trong hình ҧnh tiӃp theo
24 Trong nӝi dung luұQYăQSKѭѫQJSKiS2ULHQWHG)$67Yj5RWDWHG%5,()25% ÿѭӧc ÿӅ xuҩt sӱ dөQJÿӇ so khӟSFiFWtQKQăQJFӫDFiFÿӕLWѭӧQJYjÿӇ giám sát FiFÿӕi Wѭӧng tӯ hình ҧnh này sang hình ҧnh khác ORB là mӝt bӝ nhãn miêu tҧ nhӏ phân rҩt nhanh và hiӋu quҧ thay thӃ cho SIFT [33] vӟi hiӋu suҩWWѭѫQJWӵ Sӱ dөQJÿLӇm chính ORB (keypoint) tӯ hình ҧQKÿjRWҥo và hình ҧnh truy vҩQÿѭӧc trích xuҩt và so khӟp
Sӵ so khӟp cho tӯng ÿLӇm chíQK ÿѭӧc thӵc hiӋn bҵng chӭF QăQJ Brute-Force Matcher tӯ WKѭYLӋn OpenCV Brute-Force Matcher lҩy mô tҧ cӫa mӝWWtQKQăQJWURQJ hình ҧnh huҩn luyӋn và ÿӇ so khӟp vӟi tҩt cҧ FiFWtQKQăQJWURQJKuQKҧnh truy vҩn, bҵng cách tính ÿӝ lӋch WtQKQăQJFyÿӝ lӋch tӕi thiӇXÿѭӧc cho là khӟp 3KѭѫQJSKiSQj\Yүn có kӃt quҧ VDLGRÿy 3KѭѫQJSKiSOjPJLҧm sai sӕ là tìm vӏ trí gҫn nhҩt có sai sӕ thӭ hai và tính lӋ sai sӕ giӳa ÿLӇm thӭ nhҩt và thӭ hai QKѭWURQJWjLOLӋu [34] Tҩt cҧ FiFÿLӇm khӟp có tӹ lӋ khoҧng cách giӳa gҫn nhҩt và thӭ hai gҫn nhҩt lӟQKѫQEӏ loҥi bӓ
Hình 2.13 So khӟp FiFÿһFWUѭQJFӫDÿӕi Wѭӧng trong chuәi hình ҧnh
Hình trên mô tҧ quá trình so khӟSFiFÿLӇm chính tӯ ÿӕLWѭӧQJÿѭӧc phát hiӋn trong mӝt khung ҧQKWUѭӟc vӟLFiFÿӕLWѭӧQJÿѭӧc phát hiӋn trong khung hình tiӃp theo Có thӇ thҩy rҵng sӕ OѭӧQJÿLӇm chính khӟp giӳa cùng mӝWÿӕLWѭӧng trong mӝt khung hình vӟi khung hình khác là rҩt cao so vӟi mӝWÿӕLWѭӧng khác
NӃXÿӕLWѭӧQJÿѭӧc phát hiӋn trong mӝt khung hình không khӟp vӟi bҩt kǤ ÿӕi WѭӧQJQjRÿѭӧc phát hiӋn trong khung hình tiӃSWKHRWKuÿӕLWѭӧng sӁ bӏ xóa khӓLFѫVӣ dӳ liӋu NӃu mӝWÿӕLWѭӧQJÿѭӧc phát hiӋn lҥLVDXNKL[yDQyÿѭӧFFRLOjÿӕLWѭӧng mӟi và tiӃp tөc ÿѭӧc giám sát
2.4 Ĉӏnh vӏ và lұp bҧQÿӗ ÿӗng thӡi (SLAM ± Simultaneous localization and mapping) Ĉӏnh vӏ và lұp bҧQÿӗ ÿӗng thӡi (SLAM) là mӝt giҧi pháp ÿӇ giҧi quyӃt cҧ hai vҩn ÿӅ ÿӏnh vӏ và lұp bҧQÿӗ cho các thiӃt bӏ tӵ hành khi ӣ trong mӝWP{LWѭӡng không xác ÿӏnh Khi vӏ trí xe và bҧQÿӗ ÿӅu không [iFÿӏnh, lúc chiӃc xe di chuyӇQQyWtFKONJ\FiF lӛi vӅ hình hӑc, làm cho nó dҫn dҫn tagchҳc chҳQKѫQYӅ vӏ WUtĈӇ xây dӵng mӝt bҧQÿӗ chính xác vӅ P{LWUѭӡng xung quanh, chúng ta cҫn biӃWFKtQK[iFFiFWѭWKӃ cӫa chiӃc [H1KѭQJÿӇ ѭӟc tính vӏ trí xe chính xác, chúng ta cҫn ÿӏnh vӏ chiӃc xe trong bҧQÿӗ, GRÿyFҫn có bҧQÿӗ chính xác vӅ P{LWUѭӡng Do vұy vӟi SLAM, chiӃF[HFyÿѭӧc mӝt bҧQÿӗ P{LWUѭӡQJWURQJNKLÿӗng thӡi ÿӏnh vӏ trong bҧQÿӗ này vӟi tҩt cҧ FiFSKpSÿR tӯ cҧm biӃQÿROѭӡng và nhұn thӭc Ӣ dҥng bài toán xác suҩW6/$0OLrQTXDQÿӃn viӋc ѭӟc tính phân phӕi xác suҩt QKѭVDX: ܲሺܺ ௧ ǡ ܯȁܼ ǣ௧ ǡ ܷ ଵǣ௧ ሻ (2.20)
Phân phӕi xác suҩt trên mô tҧ mұWÿӝ hұu nghiӋm kӃt hӧp cӫa bҧQÿӗ và trҥng thái xe tҥi thӡLÿLӇm ݐÿѭDUDFiFSKpSÿRYjNLӇPVRiWÿҫXYjRFKRÿӃn thӡLÿLӇm ݐ Vì dӳ liӋu cҧm biӃQQKkQÿѭӧc theo thӡi gian, cҫn phҧi thӵc hiӋn ÿӋ quy cho SLAM BҳWÿҫu vӟi ѭӟc tính cho phân phӕi ܲሺܺ ௧ିଵ ǡ ܯȁܼ ǣ௧ିଵ ǡ ܷ ଵǣ௧ିଵ ሻ tҥi thӡLÿLӇm ሺݐ െ ͳሻ, hұu nghiӋm kӃt hӧp cho bӣi mӝWÿLӅu khiӇn ܷ ǣ௧ và giá trӏ ÿROѭӡng ܼ ௧ ÿѭӧFѭӟc tính bҵng cách sӱ dөng bӝ lӑc Bayes [18]: ܲሺܺᇣᇧᇧᇧᇧᇤᇧᇧᇧᇧᇥ ௧ ǡ ܯȁܼ ǣ௧ ǡ ܷ ଵǣ௧ ሻ ୦ኼ୳୬୦୧ዉ୫୲୧୲୦ዕ୧¯୧୫௧ ן ܲሺܼᇣᇧᇧᇧᇤᇧᇧᇧᇥ ௧ ǡ ȁܺ ௧ ǡ ܯሻ ୡኼ୮୬୦ኼ୲ න ܲሺܺ ௧ ȁܺ ௧ିଵ ǡ ܷ ௧ ሻ ܲሺܺᇣᇧᇧᇧᇧᇧᇧᇤᇧᇧᇧᇧᇧᇧᇥ ௧ିଵ ǡ ܯȁܼ ǣ௧ିଵ ǡ ܷ ଵǣ௧ିଵ ሻ ୦ኼ୳୬୦୧ዉ୫୲୧ሺ௧ିଵሻ ݀ܺ ௧ିଵ షభ ᇣᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇤᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇥ ୢዠ¯୭୬
Mô hình chuyӇQÿӝng mô tҧ phân phӕi xác suҩt khi chuyӇn trҥQJWKiL[Hÿѭӧc coi là mӝt quá trình Markov theo thӭ tӵ ÿҫXWLrQWURQJÿyWUҥng thái tiӃp theo ܺ ௧ chӍ phө thuӝc vào trҥQJWKiLWUѭӟFÿyܺ ௧ିଵ và có tín hiӋu ÿLӅu khiӇn ܷ ௧ (lӋQKÿLӅu khiӇn, ÿӑc encoder, ÿRÿӝ dӏch chuyӇn), và ÿӝc lұp vӟi cҧ các quan sát và bҧQÿӗ
%ѭӟc dӵ ÿRiQWKӵc hiӋn cұp nhұt dӵa trên thӡi gian: ܲሺܺ ௧ ǡ ܯ ௧ ȁܼ ǣ௧ ǡ ܷ ଵǣ௧ ሻ ൌ න ܲሺܺ ௧ ȁܺ ௧ିଵ ǡ ܷ ௧ ሻܲሺܺ ௧ିଵ ǡ ܯ ௧ ȁܼ ǣ௧ିଵ ǡ ܷ ǣ௧ିଵ ሻ݀ܺ ௧ିଵ (2.22)
%ѭӟc chӍnh sӱa cұp nhұt thông tin dӵDWUrQFiFSKpSÿRPӟi có sҹn: ܲሺܺ ௧ ǡ ܯ ௧ ȁܼ ǣଵ ǡ ܷ ଵǣ௧ ሻ ൌܲሺܼ ௧ ȁܺ ௧ ǡ ܯ ௧ ሻܲሺܺ ௧ ǡ ܯ ௧ ȁܼ ǣ௧ ǡ ܷ ǣ௧ ሻ ܲሺܼ ௧ ȁܼ ǣ௧ିଵ ǡ ܷ ǣ௧ ሻ (2.23) vӟi ܲሺܺ ௧ ȁܺ ௧ିଵ ǡ ܷ ௧ ሻ là mô hình cӫa xe, ܲሺܼ ௧ ȁܺ ௧ ǡ ܯ ௧ ሻ là mô hình cҧm biӃn.
BiӇu diӉn bҧQÿӗ
Có nhiӅXSKѭѫQJSKiSbiӇu diӉn bҧQÿӗ ÿmÿѭӧc nghiên cӭu Lӵa chӑn cách biӇu diӉn bҧQÿӗ là mӝWEѭӟc quan trӑng khi giҧi quyӃt vҩQÿӅ vӅ nhұn thӭc cӫa thiӃt bӏ tӵ hành&iFSKѭѫQJSKiSSKә biӃQÿӇ thӇ hiӋn bҧQÿӗ P{LWUѭӡng bao gӗPSKѭѫQJSKiS dӵa trên ÿһc WUѭQJ [26@SKѭѫQJSKiSGӵDWUrQOѭӟi [35@SKѭѫQJSKiSWUӵc tiӃp [36] và SKѭѫQJ SKiS tiӃp cұn topological [37@ 3KѭѫQJ SKiS ELӇu diӉn bҧQ ÿӗ topological WKѭӡQJÿѭӧc tҥo trên tӯ bҧQÿӗ ÿһc dҥng WUѭQJKRһc bҧQÿӗ dҥng Oѭӟi bҵng cách phân vùng các bҧQÿӗ dӵDWUrQOѭӟi hoһc ÿһFWUѭQJ thành các vùng kӃt hӧp
(a) BҧQÿӗ ÿiPPk\ÿLӇm (b) BҧQÿӗ ÿһFWUѭQJ
(c) BҧQÿӗ Oѭӟi Hình 2.14 Ví dө vӅ FiFSKѭѫQJSKiSELӇu diӉn khác nhau cӫa bҧQÿӗ ÿѭӧc xây dӵng tӯ cùng mӝt bӝ FiFSKpSÿRGӳ liӋu laser
27 a) 3KѭѫQJSKiSELӇu diӉn trӵc tiӃp: 3KѭѫQJSKiSWUӵc tiӃSWKѭӡQJÿѭӧc cho các thiӃt bӏ sӱ dөng cỏc cҧm biӃn phҥPYLQKѭFiFPi\TXpWODVHUUDGDUô3KѭѫQJSKiSQj\ ÿDQJVӱ dөQJFiFSKpSÿRdӳ liӋXWK{ÿӇ thӇ hiӋQP{LWUѭӡng vұt lý mà không trích xuҩWFiFWtQKQăQJÿѭӧF[iFÿӏQKWUѭӟF7URQJWUѭӡng hӧp laser, mӛLSKpSÿRTXpW laser là mӝt tұp hӧSFiFÿLӇPOjWiFÿӝng cӫa chùm tia laser vӟLFKѭӟng ngҥi vұt Mӝt bҧQÿӗ có thӇ ÿѭӧc xây dӵng bҵng FiFKÿѫQJLҧn là tәng hӧSFiFÿLӇPÿRÿѭӧc dүQÿӃn biӇu diӉn bҧQÿӗ ÿiPPk\ÿLӇPQKѭ+uQK-a b) 3KѭѫQJSKiSELӇu diӉn dӵDWUrQÿһFWUѭQJ: 3KѭѫQJSKiSWLӃp cұn dӵDWUrQWtQKQăQJ nén dӳ liӋXÿRWKjQKFiFÿһFWUѭQJKuQKKӑFFѫVӣ QKѭÿLӇPÿѭӡng thҷng, vòng WUzQ6DXÿyiQK[ҥ sӁ ѭӟc tính các tham sӕ cӫDFiFÿһFWUѭQJFѫVӣ ÿyÿӇ vӁ chính xác hình dҥQJĈӇ phát hiӋQFiFÿһFWUѭQJKuQKKӑc có thӇ kӇ ÿӃn mӝt sӕ SKѭѫQJ SKiSÿiQJFK~êSKѭѫQJSKiSSKkQWiFKYjKӧp nhҩt (split-and-merge) [38@ÿӇ phát hiӋn FiFÿѭӡQJSKkQÿRҥn, biӃQÿәi Hough [30] hoһFSKѭѫQJSKiS5$16$&>39] ÿӇ phát hiӋQFiFÿѭӡng hoһc vòng tròn Mӝt ví dө vӅ bҧQÿӗ ÿһFWUѭQJKuQKKӑc hai chiӅXÿѭӧc trình bày trong Hình 2.5-b
VӅ nӝi dung thông tin không gian, bҧQÿӗ ÿһFWUѭQJÿѭӧc giӟi hҥn ӣ các mӕc tham sӕ hoһFFiFÿӕLWѭӧQJÿѭӧc mô hình hóa BiӇu diӉn hình hӑc không bӏ ҧQKKѭӣng bӣi FiFP{LWUѭӡng phӭc tҥSKѫQQKѭNKRҧng trӕng ӣ giӳDFiFÿһFWUѭQJYjFҩu trúc tӵ nhiên Nói chung, ÿk\chӍ là xҩp xӍ các cҩu trúc tӵ nhiên c) 3KѭѫQJSKiSELӇu diӉn dӵDWUrQOѭӟi
/ѭӟi rõ rӋt (evidence grids) hoһFOѭӟi chiӃm chӛ (occupancy grids) ÿѭӧc giӟi thiӋu lҫQÿҫu tiên bӣi Elfes [35] Trong SKѭѫQJSKiSbiӇu diӉQQj\P{LWUѭӡQJÿѭӧc chia thành mӝt mҧng chuҭn hoһc mӝWOѭӟi các ô hình chӳ nhұWĈӝ phân giҧi cӫa biӇu diӉn P{LWUѭӡng trӵc tiӃp phө thuӝFYjRNtFKWKѭӟc cӫa các ô Ngoài sӵ phân biӋt không gian này, mӝt biӋn pháp chiӃm hӳu xác suҩWÿѭӧFѭӟc tính cho tӯng ô cӫDOѭӟi cho biӃW{ÿy có bӏ FKѭӟng ngҥi vұt chiӃm giӳ KD\NK{QJĈӇ cұp nhұt trҥng thái chiӃm chӛ cho tӯng ô cӫDOѭӟi khi cұp nhұt dӳ liӋu, nhiӅXSKѭѫQJSKiSÿmÿѭӧc giӟi thiӋu bao gӗm lӑc Bayes [35][40], lý thuyӃt Dempster-Shafer [41][42] và Logic Mӡ [43]
Mӝt ví dө vӅ biӇu diӉn bҧQÿӗ Oѭӟi chiӃm chӛ ÿѭӧc thӇ hiӋn trong Hình 2.14-c, trong ÿyFiFYQJPjXWUҳQJWѭѫQJӭng vӟi các ô trӕng YjFiFYQJPjXÿHQFKRFiF{Eӏ
28 chiӃP/ѭӟi rõ rӋt là mӝt cách tiӃp cұn hiӋu quҧ ÿӇ thӇ hiӋn tính không chҳc chҳQYjÿӇ hӧp nhҩt nhiӅXSKpSÿRFҧm biӃn 3KѭѫQJSKip này OêWѭӣng cho viӋc kӃt hӧp các mô hình khác nhau cӫDÿӝ NK{QJÿҧm bҧo cӫa cҧm biӃn d) 6RViQKFiFSKѭѫQJSKiSELӇu diӉn bҧQÿӗ
Bҧng 2.1: BҧQJVRViQKFiFSKѭѫQJSKiSELӇu diӉn bҧQÿӗ
3KѭѫQJSKiS Nén dӳ liӋu Chi tiӃt Quҧn lý bҩWÿӏnh Ĉһc trѭng cҧm biӃn
Dӵa trên Bҧng 2.SKѭѫQJSKiSELӇu diӉn dҥQJOѭӟi là phù hӧp nhҩWÿѭӧFÿӅ xuҩt Mһc dù biӇu diӉn dҥQJOѭӟi có thӇ yêu cҫXGXQJOѭӧQJOѭXWUӳ cao (kӇ cҧ không dӳ liӋu) và tính toán xӱ OêQKѭQJFyWKӇ biӇu diӉQFiFWtQKQăQJW\êYjFXQJFҩp các biӇu diӉn chi tiӃt vӅ P{LWUѭӡng Ngoài ra, còn khҧ QăQJTXҧn lý sӵ bҩWÿӏnh tӯ các giá trӏ cҧm biӃn và bao gӗPFiFÿһc tính cҧm biӃn.
Kalman Filter SLAM
Mô hình chuyӇQÿӝQJÿӇ ѭӟc tính hұu nghiӋm phә biӃn nhҩt cho các mô hình này là mӝt hàm tuyӃn tính vӟi nhiӉu cӝng Gaussian, dүQÿӃn viӋc sӱ dөQJSKѭѫQJSKiSWLӃp cұn dӵa trên bӝ lӑF.DOPDQÿӇ giҧi quyӃt vҩQÿӅ SLAM
Các bҧQÿӗ WURQJSKѭѫQJSKiSWLӃp cұn bӝ lӑF.DOPDQWKѭӡQJÿѭӧc thӇ hiӋn bҵng mӝt bӝ ÿһFWUѭQJ&iFÿһFWUѭQJSKKӧp có thӇ là các cӝt mӕFFiFÿӕLWѭӧQJÿһc biӋt hoһc hình dҥng hình hӑc cӫDP{LWUѭӡng Sӕ OѭӧQJFiFÿһFWUѭQJWURQJEҧQÿӗ theo K và trҥng thái chung cӫDWѭWKӃ xe và bҧQÿӗ theo ܺ ௧ ൌ ሺݔ ௧ ǡ ܯሻ ் , hұu nghiӋPÿѭӧc biӇu thӏ bҵng Gaussian: ܲሺܺ ௧ ǡ ܯ ௧ ȁܼ ǣ௧ ǡ ܷ ଵǣ௧ ሻ ൌ ܲሺܺ ௧ ȁܼ ǣ௧ ǡ ܷ ଵǣ௧ ሻ̱ܰሺߤ ௧ ȁȭ ௧ ሻ (2.24) vӟi giá trӏ trung bình ߤ ௧ và hiӋSSKѭѫQJVDLȭ ௧ , có thӇ viӃt lҥi (2.24) nhѭVDX
(2.25) Ánh xҥ bӝ lӑc Kalman dӵa trên ba giҧ ÿӏQKFѫEҧn Mӝt là hàm trҥng thái tiӃp theo (mô hình chuyӇQÿӝng) phҧi tuyӃn tính vӟi nhiӉu cӝng Gaussian Thӭ KDLOjFiFÿһc ÿLӇPWѭѫQJWӵ FNJQJSKҧLÿѭӧc áp dөQJFKRP{KuQKÿROѭӡng Và thӭ EDOjÿӝ bҩWÿӏnh EDQÿҫu phҧi là Gaussian
Bӝ lӑc Kalman thӵc tӃ hóa chính nó liên tөFVRViQKFiFÿҫXYjRWUѭӟFÿyYӟi các giá trӏ thӵc tӃ ÿRÿѭӧFYjWKD\ÿәi trӑng sӕ cӫa các biӃn mang lҥLÿӝ FKtQK[iFKѫQ&iF dӵ ÿRiQFӫa nó trӣ QrQFKtQK[iFKѫQNKLQKLӅu cұp nhұWÿѭӧc thӵc hiӋn là dӵ ÿRiQÿҫu tiên là mӝt lӵa chӑn mӡ Mô hình con này gӱi các vӏ trí dӵ ÿRiQWLӃSWKHRÿӃn hӋ thӕng phát hiӋn va chҥm sӁ tính toán nӃXWURQJÿѭӡng dүn này, vӏ trí cӫDFiFÿӕLWѭӧQJÿѭӧc phát hiӋQÿmJLDRQKDXYӟi vӏ trí cӫa xe
Hàm trҥQJWKiLWKѭӡng bӏ chi phӕi bӣLKjPOѭӧng giác phi tuyӃn phө thuӝc phi tuyӃn YjRWѭWKӃ WUѭӟc ܺ ௧ିଵ và tín hiӋu ÿLӅu khiӇnܷ ௧ ĈӇ phù hӧp vӟi các phi tuyӃQQKѭYұy, bӝ lӑc Kalman xҩp xӍ mô hình chuyӇQÿӝng cӫa xe bҵng cách sӱ dөng chӭFQăQJWX\Ӄn WtQKWKXÿѭӧc thông qua viӋc mӣ rӝng chuӛi Taylor Bӝ lӑc Kalman kӃt quҧ ÿѭӧc gӑi là bӝ lӑc Kalman mӣ rӝng (EKF) KӃt quҧ cӫa viӋc tuyӃn tính hóa là hàm chuyӇn trҥng thái có thӇ ÿѭӧc viӃWGѭӟi dҥng hàm tuyӃn tính có thêm nhiӉu Gaussian: ܲሺܺ ௧ ȁܺ ௧ିଵ ǡ ܷ ௧ ሻ ൌ ܣܺ ௧ିଵ ܤܷ ௧ ߝ (2.26) tURQJÿyܣ và ܤ là các ma trұn thӵc hiӋn ánh xҥ tuyӃn tính tӯ trҥng thái ܺ ௧ିଵ Yjÿҫu vào ÿLӅu khiӇn ܷ ௧ sang biӃn trҥng thái tiӃp theo ܺ ௧ WѭѫQJӭng NhiӉu trong chuyӇQÿӝQJÿѭӧc mô hình hóa thông qua biӃQÿӝng ߝ ÿѭӧc giҧ sӱ là phân phӕi chuҭn vӟi giá trӏ trung bình bҵng 0 và hiӋSSKѭѫQJVDLȭ
1KѭYӟi chuyӇQÿӝng cӫD[HFiFSKpSÿRFҧm biӃQWKѭӡng là phi tuyӃn, vӟi nhiӉu khác *DXVVLDQ'RÿyFK~QJFNJQJÿѭӧc tính gҫQÿ~QJWK{QJTXDYLӋc mӣ rӝng chuӛi 7D\ORUÿӝ ÿҫu tiên .KLÿy SKѭѫQJSKiSOӑc Kalman yêu cҫXP{KuQKÿRܲሺܼ ௧ ȁܺ ௧ ሻcó dҥng sau:
30 ܲሺܼ ௧ ȁܺ ௧ ሻ ൌ ܥܺ ௧ ߝ (2.27) tURQJÿyܥ là mӝt ma trұn thӵc hiӋn ánh xҥ tuyӃn tính và ߝ là nhiӉXÿROѭӡng phân phӕi chuҭn vӟi giá trӏ trung bình bҵng 0 và hiӋSSKѭѫQJVDL ȭ
7KHRSKѭѫQJSKiSJҫQÿ~QJWX\Ӄn tính và nhiӉu Gaussian, bӝ lӑc Bayes trong (2.25) có thӇ ÿѭӧc tính toán thuұn tiӋn bҵng cách sӱ dөQJFiFSKѭѫQJWUuQKEӝ lӑc Kalman tiêu chuҭn: ߤԢ ௧ିଵ ൌ ߤ ௧ିଵ ܤܷ ௧ ȭԢ ௧ିଵ ൌ ȭ ௧ିଵ ȭ ܭ ௧ ൌ ȭ ᇱ ௧ିଵ ܥ ் ሺܥȭ ᇱ ௧ିଵ ܥ ் ȭ ሻ ିଵ ߤ ௧ ൌ ߤԢ ௧ିଵ ܭ ௧ ሺܼ ௧ െ ܥߤԢ ௧ିଵ ሻ ܳ ௧ ൌ ሺܫ െ ܭ ௧ ܥሻȭ ᇱ ௧ିଵ
Hӧp lý cӵFÿҥi (Maximum Likelihood SLAM)
Mӝt cách tiӃp cұn phә biӃn khác cho vҩQÿӅ 6/$0OjSKѭѫQJSKiS+ӧp lý cӵFÿҥi Không giӕQJQKѭFiFSKѭѫQJSKiSOӑc Kalman cӕ gҳng thӵc hiӋQѭӟFWtQKVDXÿҫ\ÿӫ trên vӏ trí và bҧQÿӗ [HêWѭӣng cӫDQyOjWăQJGҫn mӝt bҧQÿӗ khi dӳ liӋu cҧm biӃQÿӃn mà không theo dõi bҩt kǤ sӵ không chҳc chҳn còn lҥLQjRѬXÿLӇm cӫa mô hình này nҵm ӣ sӵ ÿѫQJLҧn chiӃm sӵ phә biӃn cӫa nó
GiӕQJQKѭ.DOPDQILOWHU6/$0SKѭѫQJSKiSQj\FyWKӇ xây dӵng bҧQÿӗ trong thӡi gian thӵFQKѭQJNK{QJGX\WUuNKiLQLӋm bҩWÿӏQK+ѫQQӳa, Hӧp lý cӵFÿҥi chӍ là mӝt Eѭӟc chӭ không phҧi trên toàn bӝ tұp dӳ liӋu Cө thӇ, mӝWNKLÿm[iFÿӏQKÿѭӧFWѭ thӃ ݔො ௧ và bҧQÿӗ, chúng sӁ bӏ khóa và không thӇ sӱDÿәi dӵa trên dӳ liӋXWURQJWѭѫQJODL mӝWWtQKQăQJFKtQKFӫa SLAM dӵa trên Kalman ĈLӇm yӃu này dүQÿӃn viӋc không thӇ ánh xҥ FiFP{LWUѭӡng tuҫQKRjQWURQJÿyOӛi WURQJFiFWѭWKӃ ݔො ௧ có thӇ phát triӇn mà không có giӟi hҥn GҫQÿk\+DHKQHO>44@ÿmÿӅ xuҩt mӝWSKѭѫQJSKiSFyWKӇ theo dõi mӝt sӕ giҧ thuyӃt bҧQÿӗ bҵng cách sӱ dөng cây
31 liên kӃt Tuy nhiên, viӋc mӣ rӝng cҫn thiӃt cӫa cây này có thӇ QJăQFiFKWLӃp cұn không khҧ thi cho hoҥWÿӝng thӡi gian thӵc.
FastSLAM 1.0
FastSLAM 1.0 [45] là kӻ thuұt SLAM phә biӃn dӵa trên bӝ lӑc hҥt Rao- Blackwellized [46@1Kѭÿѭӧc mô tҧ trong [47] FastSLAM 1.0 bao gӗPEDJLDLÿRҥn chính: Lҩy mүu, Cұp nhұt và Lҩy mүu lҥi (dӵa trên mӝt nhân tӕ quan trӑng) Mӝt giҧ ÿӏnh quan trӑQJNKiFWURQJSKѭѫQJSKiS)DVW6/$0OjFiFÿһFWUѭQJ ÿӝc lұSFyÿLӅu kiӋn vӟLWѭWKӃ URERW1yLFiFKNKiFWUiLQJѭӧc vӟi EKF-SLAM sӱ dөng mӝt EKF duy nhҩWÿӇ ѭӟFWtQKWѭWKӃ robot và bҧQÿӗ, FastSLAM 1.0 sӱ dөng các EKF riêng biӋt (bao gӗm trung bình ߤ ǡ௧ và hiӋSSKѭѫQJVDLȭ ǡ௧ ) cho mӛLWtQKQăQJYjWӯng hҥWĈLӅu này có QJKƭDOjWәng sӕ EKF là ܯ ൈ ܰ WURQJÿyܰ là tәng sӕ WtQKQăQJÿѭӧc quan sát Giҧ ÿӏnh rҵng mô hình chuyӇQÿӝQJÿѭӧc sӱ dөng ӣ ÿk\JLӕng vӟLP{KuQKÿѭӧc mô tҧ trong phҫn EKF-6/$0Yj FiF TXDQ ViW FNJQJ GӵD WUrQ FiF SKpSÿRFҧm biӃn .KL ÿy hұu nghiӋm SLAM ÿҫ\ÿӫ là ܻ ௧ bao gӗm: ൣݔ ௧ ǡ ൫ߤ ଵǡ௧ ǡ ȭ ଵǡ௧ ൯ǡ ǥ ǡ ൫ߤ ǡ௧ ǡ ȭ ǡ௧ ൯൧ (2.29) vӟi ݇ ൌ ͳǣܯ hҥt và ݆ ൌ ͳǣܰ, ݔ ௧ OjWѭWKӃ cӫa hҥt thӭ ݇ tҥi thӡLÿLӇm ݐ
Hình 2.15 %DEѭӟc chính trong thuұt toán Particle Filter
%DEѭӟc chính trong giҧi thuұt dùng bӝ lӑc particle:
Predict: dӵ ÿRiQWUҥQJWKiLÿӕLWѭӧng tҥi thӡLÿLӇm t dӵDWUrQP{KuQKÿӝng các giá trӏ tӯ thӡLÿLӇm ሺݐ െ ͳሻ trӣ vӅ WUѭӟc
32 Measure: tính toán trӑng sӕ các mүu trong tұp hӧp dӵa trên các quan sát (tín hiӋu tӯ video ± so sánh các histogram cӫa các mүu) tҥi thӡLÿLӇm t hiӋn tҥi, tӯ ÿyVX\UDPүu QjR³JLӕQJ´YӟLÿӕLWѭӧng nhҩt
Resample: tái chӑn mүXÿӇ tránh hiӋQWѭӧng thoái hóa mүu tӯ tұp hӧp mүu hiӋn tҥi ta tҥo mӝt tұp mүu mӟi vӟi trӑng sӕ không quá nhӓ.
RGB-D SLAM
RGB-D SLAM (hoһc lұp bҧQÿӗ bҵng ҧnh RGB-'OjSKѭѫQJSKiS6/$0Vӱ dөng cҧm biӃn RGB-D ÿӇ ÿӏnh vӏ và lұp bҧQÿӗ Cҧm biӃn RGB-D là nhӳng cҧm biӃn cung cҩp thông tin màu sҳFÿӓ, lөc, lam) và ÿӝ sâu Mһc dù các cҧm biӃn RGB-'ÿmÿѭӧc phә biӃn bӣi Microsoft Kinect và Asus Xtion PRO tӯ QăPFiFJLҧi pháp SLAM RGB-'FNJKѫQÿmWӗn tҥi Ví dө, tài liӋX>@ÿmÿӅ xuҩt mӝWSKѭѫQJSKiS6/$0Vӱ dөng kӃt hӧp máy quét laser và máy ҧnh toàn cҧnh Các máy ҧnh RGB-D gҫQÿk\QKѭ Kinect ÿѭӧc chӃ tҥRÿӇ chөp ҧnh màu RGB và cung cҩSWK{QJWLQÿӝ sâu cӫa mӛi pixel Ĉӏnh vӏ và lұp bҧQÿӗ bҵng máy ҧnh RGB-'ÿmWUӣ thành mӝWOƭQKYӵc nghiên cӭu tiӅm QăQJ do chi phí thҩp cӫa các máy ҧnh này cung cҩp thông tin rҩt hӳu ích cho viӋc lұp bҧQÿӗ MөFÿtFKFӫa RGB-'6/$0OjÿӇ biӇu diӉn không gian 'Gj\ÿһc cӫa môi WUѭӡQJWURQJNKLWKHRG}LWѭWKӃ máy ҧnh cùng mӝt lúc Sӱ dөng cҧ thông tin màu sҳc và ÿӝ sâu có mӝt sӕ lӧi thӃ so vӟi viӋc sӱ dөng màu sҳc hoһFÿӝ sâu riêng biӋt Mӝt sӕ lý GRÿѭӧFQrXGѭӟLÿk\
Liên kӃt mӛi pixel vӟi giá trӏ ÿӝ sâu cung cҩp mӝWÿiPPk\ÿLӇPGj\ÿһc và có màu ĈLӅXQj\FKRSKpSKuQKGXQJFiFP{LWUѭӡng tái tҥR'Gj\ÿһc
Cҧm biӃn RGB-D cung cҩp thông tin sӕ liӋXGRÿyNKҳc phөc vҩQÿӅ PѫKӗ quy mô trong các hӋ thӕng SLAM dӵa trên hình ҧnh
Mӝt sӕ môi WUѭӡng chӭa kӃt cҩu hҥn chӃ DRÿyWtQKNKҧ dөng cӫDWK{QJWLQÿӝ sâu cho phép hӋ thӕng SLAM quay trӣ lҥi vӟLFiFSKѭѫQJSKiSWLӃp cұn cKX\rQVkXKѫQ
&iFP{LWUѭӡng khác có thӇ chӭa cҩu trúc hҥn chӃ Trong nhӳQJWUѭӡng hӧSÿyKӋ thӕng có thӇ quay lҥi sӱ dөQJWK{QJWLQ5*%ÿӇ khӟp và ghi nhұn vào bӝ nhӟ.
Phát hiӋn, nhұn dҥQJYjJLiPViWFiFÿӕLWѭӧng
Phát hiӋQÿӕLWѭӧng bҵng YOLO
1KѭÿmÿӅ cұp ӣ FKѭѫQJWUѭӟc luұQYăQVӁ sӱ dөng giҧi thuұt YOLO cho viӋc phát hiӋn và nhұn dҥQJÿӕLWѭӧng xung quanh xe tӵ lái vӟi ѭXÿLӇm là chӍ sӱ dөng thông tin toàn bӝ bӭc ҧnh mӝt lҫn và dӵ ÿRiQvӏ trí và phân loҥi FiFÿӕLWѭӧng, tӕFÿӝ xӱ Oêÿҥt ÿӃn thӡi gian thӵc Mô hình sӱ dөng dӵa mô phiên bҧn YOLO-v3 [4]
3.1.1.1 TiӅn xӱ lý ĈӇ thӵc hiӋn các quá trình nhұn dҥng cҫn tiӅn xӱ lý các dӳ liӋu hình ҧQKEDQÿҫu
&iFEѭӟc tiӅn xӱ lý bao gӗPWKD\ÿәLNtFKWKѭӟc hình ҧnh (theo NtFKWKѭӟc ҧQKÿҫu vào cӫa mô hình) và chuyӇQÿәi tӑDÿӝ hӝp giӟi hҥn thành dҥng thích hӧp Vӟi mөc ÿtFK xây dӵng mӝt mô hình phát hiӋQÿӕLWѭӧng cho xe tӵ lái, cҫn thӵc hiӋn huҩn luyӋn phát hiӋn và khoanh vùng 5 lӟp khác nhau Nhӳng lӟp này là ³[Hÿҥp´ ³[HKѫL´, ³QJѭӡLÿL bӝ´, ³ÿqQJLDRthông´Yj³xe tҧi´'RÿyELӃn mөFWLrXÿѭӧF[iFÿӏnh là: ݕො ൌ ሾܾ ܾ ௫ ܾ ௬ ܾ ௪ ܾ ܿ ଵ ܿ ଶ ܿ ଷ ܿ ସ ܿ ହ ሿ ் (3.1) WURQJÿy ܾ : xác suҩWÿӝ tin cұy cӫa mӝWÿӕLWѭӧng có mһt trong hӝp giӟi hҥn ܾ ௫ , ܾ ௬ : tӑa ÿӝ tâm cӫa hӝp giӟi hҥn ܾ ௪ : chiӅu rӝng cӫa khung giӟi hҥn ÿӕi vӟi chiӅu rӝng hình ҧnh ܾ : chiӅu cao cӫa khung giӟi hҥn ÿӕi vӟi chiӅu cao hình ҧnh ܿ : xác suҩt cӫa lӟp thӭ ݅ (gӗm 5 lӟSQKѭWUrQ
1KѭQJYuWӑDÿӝ hӝp giӟi hҥn ÿѭӧc cung cҩp trong tұp dӳ liӋXFyÿӏnh dҥng: ݔ ୫୧୬ , ݕ ୫୧୬ , ݔ ୫ୟ୶ , ݕ ୫ୟ୶ (QKѭHình 3.1), cҫn chuyӇQÿәi các giá trӏ này theo biӃn mөFWLrXÿѭӧc [iFÿӏnh ӣ trên
34 ĈLӅu này có thӇ ÿѭӧc thӵc hiӋQQKѭVDX ܾ ௫ ൌሺݔ ୫୧୬ ݔ ୫ୟ୶ ሻ ʹ ൈ ܹ Ǣܾ ௬ ൌሺݕ ୫୧୬ ݕ ୫ୟ୶ ሻ ʹ ൈ ܪ ܾ ௪ ൌሺݔ ୫ୟ୶ െ ݔ ୫୧୬ ሻ ʹ ൈ ܹ Ǣܾ ൌሺݕ ୫ୟ୶ െ ݕ ୫୧୬ ሻ ʹ ൈ ܪ
(3.2) vӟi ܹ là chiӅu rӝng cӫa ҧnh gӕc và ܪ là chiӅu cao cӫa ҧnh gӕc
Hình 3.1.TӑDÿӝ hӝp giӟi hҥn trong biӃn mөc tiêu
Intersection over union (IoU) ± tҥm gӑi là giao liên hӧp là chӍ sӕ ÿiQKJLiÿѭӧc sӱ dөQJÿӇ ÿRÿӝ chính xác cӫa các bӝ phát hiӋQÿӕLWѭӧng trên tұp dӳ liӋu cө thӇĈӇ tính toán sӕ liӋu này cҫn phҧi có hai thông sӕ:
TҥRÿӝ các hӝp giӟi hҥn tham chiӃu
TҥRÿӝ các hӝp giӟi hҥn dӵ ÿRiQWӯ mô hình
IoU là tӹ lӋ giӳa diӋn tích phҫn giao trên diӋn tích phҫn hӧp bӏ chiӃm bӣi hӝp giӟi hҥn tham chiӃu và hӝp giӟi hҥn dӵ ÿRiQ+uQKFKRWKҩy ,R8FKRFiFWUѭӡng hӧp kӃt quҧ dӵ ÿRiQFiFKӝp giӟi hҥn khác nhau Công thӭFWtQK,R8ÿѭӧc mô tҧ QKѭVDX ܲ ூை ൌܦ݅ዉ݊ݐÀ݄ܿ൫ܤܤ ת ܤܤ ൯ ܦ݅ዉ݊ݐÀ݄ܿ൫ܤܤ ܤܤ ൯ (3.3) vӟi ୧ là hӝp giӟi hҥn phát hiӋn và là hӝp giӟi hҥn tham chiӃu cӫDÿӕLWѭӧng
Hình 3.2 Ví dө mӝt sӕ WUѭӡng hӧp tính IoU hӝp giӟi hҥn phát hiӋn, hӝp giӟi hҥn tham chiӃu
NӃu biӃn mөc tiêu ݕ ÿѭӧFÿӏQKQJKƭDOj ݕ ൌ ሾܾ ܾ ௫ ܾ ௬ ܾ ௪ ܾ ܿ ଵ ܿ ଶ ܿ ଷ ܿ ସ ܿ ହ ሿ ் ݕଵ ݕ ଶ ݕ ଷ ݕ ସ ݕ ହ ݕ ݕ ݕ ଼ ݕ ଽ ݕ ଵ (3.4) hàm tӕt cho phân vùng ÿӕLWѭӧQJÿѭӧFÿӏQKQJKƭDOj: ࣦሺݕොǡ ݕሻ ൌ ൜ሺݕෞ െ ݕ ଵ ଵ ሻ ଶ ሺݕෞ െ ݕ ଶ ଶ ሻ ଶ ڮ ሺݕෞ െ ݕ ଼ ଼ ሻ ଶ ሺݕෞ െ ݕ ଵ ଵ ሻ ଶ ǡ ݕ ଵ ൌ ͳ ǡ ݕ ଵ ൌ Ͳ (3.5) Hàm tәn thҩt WURQJWUѭӡng hӧp thuұWWRiQ@PjFKѭDÿѭӧc thӵc nghiӋm trong mӝt hӋ thӕng thӵc (xe tӵ OiLWUrQÿѭӡng)
Dӳ liӋu tӯ máy ҧnh, dӳ liӋu khoҧng cách tӯ cҧm biӃQ/L'$5ÿѭӧc tiӅn xӱ lý riêng biӋWÿӇ giҧm thӡi gian tính toán, mô phӓng cӫa toàn bӝ FKѭѫQJWUuQKDo tӕFÿӝ xӱ lý cӫa máy tính cá nhân bӏ hҥn chӃ nên các giҧi thuұt xӱ Oêÿѭӧc thӵc hiӋn riêng biӋt
Mô hình phát hiӋn và nhұn dҥQJÿӕLWѭӧng bҵng kӻ thuұt hӑFPi\ÿѭӧFÿjRWҥo tӯ FѫVӣ dӳ liӋu có sҹn [51], cҫn thêm nhiӅu FѫVӥ dӳ liӋXÿӇ WăQJÿӝ chính xác
ThiӃt kӃ mӝt mô hình thӵc tӃ gӗm các cҧm biӃQQKѭWUrQÿӇ kiӇm tra hoҥWÿӝng cӫa các giҧi thuұt, áp dөng các kӃt quҧ trên cho viӋc thiӃt kӃ mô hình thӵc nghiӋm xe tӵ lái
Tác giҧ nghiên cӭu sӱ dөng sӱ dөng các máy tính chuyên dөng cho xӱ lý hình ҧnh ± $,ÿӇ WăQJWӕFÿӝ xӱ lý
VӟLÿLӅu kiӋn hiӋn tҥLWKuWURQJWѭѫQJODLJҫn khó áp dөng xe tӵ lái vào thӵc tӃ ӣ Qѭӟc ta Tuy nhiên viӋc sӵ dөng vào các mөFÿtFKGLFKX\ӇQWURQJNKXGkQFѭÿ{ thӏ nhӓNKXYXLFKѫL± du lӏch là hoàn toàn khҧ thi Ĉk\OjKѭӟng phát hiӇn nhiӅu tiӅPQăQJ
Ngoài ra các giҧi thuұt xӱ OêÿѭӧFWUuQKEj\FNJQJFyWKӇ áp dөng cho các mcө ÿtFKNKiFQKѭFKR$*9WURQJQKjNKRURERWK~WEөLô
[1] K Yousif, A Bab-+DGLDVKDU Yj 5 +RVHLQQH]KDG ³$Q 2YHUYLHZ WR 9LVXDO 2GRPHWU\ DQG 9LVXDO 6/$0 $SSOLFDWLRQV WR 0RELOH 5RERWLFV´ Intelligent Industrial Systems, tұp 1, sӕ 4, pp 289-311, 12 2015
[2] Will Maddern, Geoffrey Pascoe, Chris Linegar và 3DXO1HZPDQ³