Định vị và vẽ bản đồ đồng thời dựa trên kết hợp camera và lidar trong môi trường sông ngòi

I H C QU C GIA THÀNH PH H CHệ MINH TR NG I H C BÁCH KHOA PH M QUANG HÀ NH V VÀ V B N NG TH I D A TRểN K T H P CAMERA VÀ LIDAR TRONG MỌI TR NG SỌNG NGọI SIMULTANEOUS LOCALIZATION AND MAPPING BASED ON CAMERA-LIDAR FUSION IN RIVERINE ENVIRONMENTS Chuyên ngành: K Thu t i u Khi n VƠ T Mư s : 8520216 LU N V N TH C S TP H CHệ MINH, tháng n m 2022 ng Hóa CỌNG TRỊNH C HỒN THÀNH T I TR NG I H C BÁCH KHOA ậ HQG-HCM Cán b h ng d n khoa h c: TS Tr n Ng c Huy Cán b ch m nh n xét 1: TS Nguy n V nh H o Cán b ch m nh n xét 2: TS Nguy n Ng c S n Lu n v n th c s đ c b o v t i Tr HCM ngày 24 tháng n m 2022 ng i h c Bách Khoa, HQG Tp Thành ph n H i đ ng đánh giá lu n v n th c s g m: GS.TS H Ph m Huy Ánh - Ch t ch TS Nguy n Tr ng TƠi - Th ký TS Nguy n V nh H o - Ph n bi n TS Nguy n Ng c S n - Ph n bi n PGS.TS Lê M HƠ - U viên Xác nh n c a Ch t ch H i đ ng đánh giá LV Tr ng Khoa qu n lý chuyên ngành sau lu n v n đ c s a ch a (n u có) CH T CH H I NG GS.TS H Ph m Huy Ánh TR NG KHOA I N ậ I N T TR I H C QU C GIA TP.HCM NG I H C BÁCH KHOA C NG HọA XÃ H I CH NGH A VI T NAM c l p - T - H nh phúc NHI M V LU N V N TH C S H tên h c viên: Ph m Quang HƠ MSHV: 2070626 NgƠy, tháng, n m sinh: 25/08/1998 N i sinh: Gia Lai Chuyên ngành: K Thu t i u Khi n VƠ T I TểN ng Hóa Mư s : 8520216 TÀI nh v vƠ v b n đ đ ng th i d a k t h p camera vƠ lidar mơi tr ng sơng ngịi Simultaneous Localization and Mapping based on Camera-LiDAR Fusion in Riverine Environments II NHI M V VÀ N I DUNG - Phát tri n gi i thu t c l ng đ d i t th gi a khung nh c a camera Phát tri n gi i thu t c l ng t th gi a đám mơy LiDAR vƠ b n đ Phát tri n gi i thu t k t h p c l ng t camera vƠ LiDAR Tích h p gi i thu t đư phát tri n, k t h p v i m t s th vi n khác đ hoƠn ch nh h th ng SLAM vƠ hi n th c hoá thƠnh ph n m m Xơy d ng môi tr ng mô ph ng sơng ngịi đ trích xu t t p d li u riêng Ti n hƠnh ch y h th ng SLAM t p d li u sơng ngịi M r ng kh o sát ch t l ng h th ng SLAM t p d li u môi tr ng khác III NGÀY GIAO NHI M V : 06/09/2021 IV NGÀY HOÀN THÀNH NHI M V : 22/05/2022 V CÁN B H CÁN B NG D N: TS Tr n Ng c Huy H Tp HCM, ngày tháng n m 2022 CH NHI M B MỌN ÀO T O NG D N TS Tr n Ng c Huy TR NG KHOA I N ậ I N T i L I CÁM N u tiên, xin g i l i c m n đ n quý th y cô khoa i n - i n T vƠ b môn i u Khi n T ng t i Tr ng i h c Bách Khoa, HQG-HCM đư trang b nh ng ki n th c b ích nh ng kinh nghi m quý báu su t nh ng n m tháng đ i h c vƠ cao h c Tôi xin cám n Tr ph ng i h c Bách Khoa, HQG-HCM đư h tr th i gian vƠ ng ti n v t ch t cho nghiên c u nƠy Xin g i l i c m n th y TS Tr n Ng c Huy đư đ a nh ng góp ý, nh n xét, đ nh h ng c ng nh t o m i u ki n thu n l i đ hoƠn thƠnh lu n v n Xin c m n quý th y cô h i đ ng lu n v n đư dƠnh th i gian quý báu đ ch m đ tƠi, c ng nh đ a nh n xét quý giá Xin c m n t p th thƠnh viên VIAM Lab đư nhi t tình h tr góp ý q trình th c hi n lu n v n Cu i cùng, xin g i l i c m n đ n nh ng ng nh ng n m tháng đ i h c vƠ cao h c ii i b n thơn thi t đư đ ng hƠnh TịM T T LU N V N Lu n v n nƠy t p trung xơy d ng m t h th ng đ nh v vƠ v b n đ đ ng th i (SLAM) c s k t h p d li u thô t camera đ n 3D LiDAR đ th b c vƠ b n đ đám mơy mơi tr cl ng sơng ngịi nói riêng vƠ mơi tr ngoƠi tr i nói chung Trong h th ng, gi i thu t image alignment c i ti n đ xu t đ cl ng t ng cđ ng đ d i t th gi a khung nh camera liên ti p v i gánh n ng tính tốn nh h n vƠ đ b n v ng cao h n Bên c nh đó, gi i thu t cloud registration nhanh đ cl ng t th LiDAR vƠ b n đ hi n t i đ alignment nhi u tr l c phát tri n đ b tr image ng h p phép đo camera tiêu bi n k t h p k t qu ng t ngu n gi i thu t, gi i thu t windowed optimization đ c c đ xu t c s xơy d ng vƠ c p nh t đ th nhơn t K t h p v i c u trúc d li u ikd-Tree đ qu n lý b n đ , h th ng đ c hoƠn ch nh vƠ đ qua ngôn ng C++ h tr kh o sát h th ng, ta xơy d ng môi tr mô ph ng vƠ ph ng ti n thuy n không ng c hi n th c hoá b ng ph n m m thơng ng sơng ngịi i lái (USV) Gazebo vƠ trích xu t d li u c m bi n đ t o t p d li u GazeboRiverine Thông qua kh o sát t p d li u ICL-NUIM_RGB-D vƠ GazeboRiverine, ta đư ch ng minh vi c tích h p camera vƠ LiDAR khơng nh ng t ng c ng tính n đ nh mà cịn c i thi n đ xác c a h th ng Thông qua kh o sát t p USVInland, ta đư ch ng minh h th ng c a ta ho t đ ng n đ nh, xác vƠ th hi n đ trôi th p h n so v i h đ nh v th giác vƠ laser khác môi tr li u thu th p t i đ ng sơng ngịi Khi m r ng kh o sát t p d ng ph đô th (UrbanLoco) vƠ khuôn viên đ i h c (NewerCollege), h th ng đư đ c ch ng minh r ng có th t ng qt hố nh ng c i thi n môi tr ng phi sơng ngịi iii ABSTRACT This thesis focuses on developing a simultaneous localization and mapping (SLAM) system based on fusing raw measurements from mono-camera and 3D LiDAR to estimate 6-DOF pose and point cloud map in riverine environment in particular and ourdoor ones in general In the system, an improved image alignment algorithm is proposed to estimate the pose displacement between adjacent camera’s frames with lower computational burden and higher robustness Besides, a fast cloud registration algorithm that estimates the LiDAR’s pose in the current map is developed to complement image alignment in camera’s degraded cases To fuse the estimated results from these algorithms, a windowed optimization algorithm is proposed based on building and updating a factor graph Combined with ikd-Tree data structure for map management, our system is finalized and realized by software through C++ programming language To support the evaluation of the proposed system, we develop a simulated riverine environment together with a simulated unmanned surface vessel (USV) in Gazebo and extract sensor measurements to create GazeboRiverine dataset Through evaluation on ICL-NUIM_RGB-D and GazeboRiverine datasets, we prove that integrating camera and LiDAR not only improves the robustness but also enhances the accuracy of our system Through evaluation on USVInland dataset, we prove that our system exhibits better robustness, higher accuracy and lower drift compared to that of other visual or laser odometry systems By extending the evalutation on datasets recorded in urban streets (UrbanLoco) and university campus (NewerCollege), our system is proven to generalize those improved features in non-riverine environments iv L I CAM OAN Tôi xin cam đoan r ng lu n v n nƠy hoƠn toƠn th c hi n T t c s li u, b ng bi u vƠ vƠ hình v , n u khơng đ c trích d n, đ u th c hi n T t c d li u (s li u, b ng bi u vƠ hình v ) vƠ thơng tin t ngu n tƠi li u tham kh o đ u đ c trích d n đ y đ Tơi xin ch u trách nhi m tr c b môn, khoa vƠ nhƠ tr ng v s cam đoan nƠy Tp H Chí Minh, ngày … tháng … n m 2022 H c viên Ph m Quang HƠ v M CL C M 1.1 Lý ch n đ tài 1.2 M c tiêu nghiên c u T NG QUAN TÀI LI U 2.1 S c n thi t ti n hành nghiên c u 2.2 Tình hình nghiên c u vƠ ngoƠi n c C S LÝ THUY T 13 3.1 Lý thuy t Lie 13 3.1.1 Khái ni m nhóm Lie 13 3.1.2 Không gian ti p n c a nhóm Lie 14 3.1.3 o hàm nhóm Lie 16 3.1.4 a t p ph c h p nhóm Lie 17 3.1.5 Nhóm Lie ma tr n 18 3.2 Bi u di n v trí vƠ góc h ng 19 3.2.1 Bi u di n góc h 3.2.2 Bi u di n t th chi u 20 3.3 U T i u bình ph ng chi u 19 ng c c ti u phi n 21 3.3.1 D n gi i toán IRLS 21 3.3.2 Thi t k hàm tr ng s 22 THI T K GI I THU T 25 4.1 S đ kh i toàn h th ng 25 4.2 Gi i tốn IRLS khơng gian Lie 26 4.3 Xây d ng module Candidate Selector 28 4.4 Xây d ng module Image Aligner 28 4.4.1 4.4.2 4.4.3 Mơ hình hố camera 28 cl ng đ d i t th gi a hai khung nh 30 Bi n đ i th ng d vƠ x p x Taylor toán 33 4.5 Xây d ng module Cloud Registrator 36 4.6 Xây d ng module Windowed Optimizer 39 4.6.1 Xây d ng đ th nhân t 39 vi 4.6.2 4.7 T i u đ th nhân t 40 Xây d ng module Map Manager 42 PHỂN TệCH VÀ ÁNH GIÁ K T QU 44 5.1 L a ch n ch tiêu đánh giá 44 5.2 K t qu t p d li u ICL-NUIM_RGB-D 45 5.3 K t qu t p d li u GazeboRiverine 47 5.4 K t qu t p d li u USVInland 51 5.5 K t qu t p d li u UrbanLoco 55 5.6 K t qu t p d li u NewerCollege 59 K T LU N VÀ H NG PHÁT TRI N 63 6.1 K t lu n 63 6.2 H ng phát tri n 66 DANH M C CÁC CƠNG TRÌNH KHOA H C 68 TÀI LI U THAM KH O 69 LÝ L CH TRÍCH NGANG 75 vii DANH M C HỊNH V Hình 2.1 Tình tr ng nhi m n c Vi t Nam [2] Hình 2.2 Thuy n ME120 (trái) đ c s d ng đ đo n ng đ ph t-pho (ph i) khúc sông dài 3.5km t i Chi t Giang, Trung Qu c [3] Hình 2.3 Canoe tích h p stereo camera vƠ IMU (hình a) đ c i thi n ch t l ng đinh v (hình b) sơng Sangamon (hình c, d), bang Illinois, M [4] Hình 2.4 Thuy n Kingfisher tích h p PTZ camera (hình a) đ đ nh v tái t o c u trúc 3D c a môi tr ng ven b (hình b, c, d) [5] Hình 2.5 c tr ng đ c trích xu t k t n i gi a nh (trái), b n đ thu đ c t p h p v trí 3D đ c tr ng (ph i) [10] Hình 2.6 sâu c a đ c c l ng theo t ng nh (hình a, b), n b n đ thu đ c dày đ c (hình c) [12] Hình 2.7 Trong Cartographer (trái [16]) s d ng scan-to-submap matching, LOAM t n d ng k t h p scan-to-scan matching scan-to-map matching (ph i [17]) Hình 2.8 Hai h th ng Visual-LiDAR SLAM n hình: V-LOAM (hình a) [28] s d ng trích xu t đ c tr ng, DVL-SLAM (hình b, c) [29] tr c ti p t i u c ng đ sáng c a nh Hình 2.9 T i sơng ngịi t nhiên, SLAM truy n th ng ph i xét y u t môi tr ng có đ ph n chi u l n (trái [33]) hay c ng đ sáng thay đ i đ t ng t (ph i [5]) 10 Hình 2.10 Thuy n Roboat t n d ng k t h p LiDAR, GNSS vƠ IMU đ t o h th ng SLAM ph c v vi c đ nh v l p b n đ khu v c lịng kênh th [42] 11 Hình 3.1 Ln t n t i m t không gian vector , ti p n v i đa t p tr n t i m , x p x n tính [50] 13 Hình 3.2 Khi gi m, “đi” c a phân ph i (trái), th hi n rõ h n thang log (ph i), tr nên dƠi h n, n phân ph i b n v ng h n v i outlier [54] 23 Hình 3.3 HƠm đ c tr ng c a nhân t ng quát Barron (trái) hàm tr ng s t ng ng v i giá tr khác [56] 24 Hình 4.1 S đ kh i c a h th ng SLAM 25 Hình 4.2 T p m nh tr c (trái) sau (ph i) ch n l c [29] 28 Hình 4.3 S t o thành nh c a v t theo mơ hình pinhole [54] 29 Hình 4.4 Thu t ng dùng mơ hình pinhole [54] 29 Hình 4.5 Image alignment x p ch ng nh (hình b) vào nh (hình a) đ nh đư x p ch ng (hình c) cho khác bi t c ng đ sáng (hình d) v i nh bé nh t [57] 30 Hình 4.6 Th i gian ph i sáng khác (hình a, b) ng v i m t khung c nh; vi n nh b m (hình c, d) v i góc ch p khác [58] 31 Hình 4.7 Vi c thu nh nh (trên) vƠ đ sơu (d i) thành nhi u n c (hình a, b, c) giúp c l ng d dƠng đ d i l n [59] 33 Hình 4.8 Phân ph i t bi u di n th ng d t t h n h n phân ph i Gauss (ph i) tính liên t c quang h c b vi ph m nghiêm tr ng (trái) [60] 33 Hình 4.9 M i quan h gi a m đám mơy vƠ m t ph ng t ng đ ng 37 viii nh ng không n đ nh Trong đó, v trí dao đ ng, g t l c cl ng t FAST-LIO2 x y b t th ng nhi u khúc xoay g t hay ch y vòng Nguyên nhơn n LeGO-LOAM FAST-LIO2 ho t đ ng thi u n đ nh ch y t p d li u nƠy có th chuy n đ ng b khơng m t, môi tr tông vƠ cơy c i ầ H th ng c a ta, v n t n t i m t vƠi đo n nh ng nhìn chung đ đ ng cl ng m cl ng h n t p bê ng b t th ng, t, qua ch ng t h th ng c a ta có n đ nh cao h n nhi u so v i LeGO-LOAM FAST-LIO2 Hình 5.20 B n đ So sánh RMSE ATE đ cl ng ng t phân t p c a NewerCollege cl ng c a t ng h th ng, ta nh n th y h th ng c a ta cho sai s nh h n r t nhi u so v i hai h th ng l i K t qu nƠy đ ng nh t v i nh n xét v tính n đ nh đ c p 61 B ng 5.11 So sánh RMSE ATE [m] c a đ ng c l ng c a LeGO-LOAM, FASTLIO2 vƠ c a ta ch y t p NewerCollege LeGO-LOAM 0.7696 Xét đ FAST-LIO2 0.7837 Ours 0.3110 ng RPE c a h th ng, ta nh n th y h th ng c a ta cho k t qu t t nh t t t c tr ng h p i u nƠy ch ng t đ ng cl ng c a ta không nh ng có đ xác vƠ tính n đ nh cao nh t mƠ cịn th hi n đ trơi th p nh t Hình 5.21 So sánh đ T ng t ph n tr ng RPE c a LeGO-LOAM (l c), FAST-LIO2 (lam) c a ta (đ ) ch y t p NewerCollege c, ta kh o sát th i gian th c thi c a t ng tác v h th ng đ đánh giá tính kh thi ch y th i gian th c Vì t ng th i gian đ th c hi n m t chu k cl ng có d li u đ ng b t LiDAR vƠ camera nh h n chu k l y m u c a LiDAR nên tính th i gian th c c a h th ng đư đ c đ m b o B ng 5.12 So sánh th i gian tính tốn [ms] c a t ng tác v h th ng ch y t p NewerCollege Time for preprocessing Time for image alignment Time for cloud registration Time for windowed optimization Time for map management Total time 62 26.03 ± 1.23 29.14 ± 6.91 12.12 ± 1.48 2.07 ± 0.18 2.26 ± 7.02 71.61 ± 10.47 K T LU N VÀ H 6.1 K t lu n Lu n v n đư đ t đ NG PHÁT TRI N c nh ng k t qu sau: • Phát tri n thành công gi i thu t image alignment đ cl ng đ d i t th gi a khung nh camera, có c i ti n v t c đ tính tốn vƠ tính b n v ng • Phát tri n thƠnh cơng gi i thu t cloud registration đ cl ng t th gi a đám mơy LiDAR vƠ b n đ , có c i ti n gi m đáng k kh i l ng tính tốn • Phát tri n thƠnh công gi i thu t windowed optimization đ k t h p cl ng t camera vƠ LiDAR, d a vi c t xơy d ng vƠ t i u m t đ th nhơn t • Hi n th c hố h th ng thành cơng b ng ch ng trình máy tính thơng qua ngơn ng C++, c s module hoá ch c n ng, tích h p gi i thu t đư phát tri n vƠ m t s th vi n có s n • Xơy d ng thành cơng mơi tr ng mơ ph ng sơng ngịi vƠ ph ng ti n mô ph ng USV Gazebo đ trích xu t t p d li u riêng GazeboRiverine ch ng minh vi c tích h p • cl ng t camera vƠ LiDAR không nh ng giúp h th ng ch y n đ nh h n mƠ cịn xác h n thơng qua kh o sát t p d li u ICL-NUIM_RGB-D GazeboRiverine • Ch ng minh h th ng SLAM lu n v n ho t đ ng n đ nh, xác vƠ th hi n đ trơi th p h n so v i h đ nh v th giác vƠ laser khác môi tr ng sông ngịi ( t p USVInland) • M r ng kh o sát t p d li u môi tr ng đô th khuôn viên đ i h c (UrbanLoco vƠ NewerCollege) đ ch ng minh tính t ng quát vƠ tính u vi t ( n đ nh h n, xác h n, trơi th p h n) c a h th ng SLAM lu n v n so v i h đ nh v th giác vƠ laser khác Lu n v n đư thƠnh công vi c xơy d ng m t h th ng SLAM v i nh ng u m nh sau so v i ph • ng pháp c a nhóm nghiên c u khác th gi i: xác cao h n: h th ng c a ta cho sai s RSME ATE nh nh t h u h t phơn t p d li u 63 • trơi th p h n: h th ng c a ta cho sai s RPE t nh ti n vƠ RPE xoay (trung bình t t c đo n đ • ng) th p nh t h u h t phơn t p d li u n đ nh cao h n: h th ng c a ta lƠ ph ng pháp nh t ch y thƠnh công t t c phơn t p d li u • Tính t ng quát cao h n: h th ng c a ta ch y thƠnh công vƠ gi nguyên nh ng u m nêu nhi u môi tr ng phơn bi t (sơng ngịi, đ ng th , khuôn viên đ i h c), v i nhi u d ng chuy n đ ng khác (ch y u 2D m t sông, di chuy n leo d c nhanh vƠ d ng đ t ng t đô th , g p gh nh đ t quưng khuôn viên đ i h c) B ng 6.1 So sánh RMSE ATE [m] c a đ ng c l ng t i t t c t p d li u c a LeGOLOAM, VINS-Mono, FAST-LIO2, DVL-SLAM vƠ c a ta N03_3_605_760 N03_4_440_523 N03_5_12_340 CALombardStreet CAColiTower NewerCollege LeGO-LOAM 1.0327 x 2.0287 8.9651 5.7093 0.7696 VINS-Mono x x x 10.4706 12.3130 x FAST-LIO2 x x x 13.7341 8.3058 0.7837 DVL-SLAM 2.4730 1.1645 2.3613 30.2436 19.2758 x Ours 1.3289 0.6284 1.0833 7.6092 4.7423 0.3110 B ng 6.2 So sánh RPE t nh ti n [%] vƠ RPE xoay [deg/m], tính trung bình t t c đo n đ ng, c a đ ng c l ng t i t t c t p d li u c a LeGO-LOAM, VINS-Mono, FASTLIO2, DVL-SLAM vƠ c a ta N03_3_605_760 N03_4_440_523 N03_5_12_340 CALombardStreet CAColiTower NewerCollege LeGO-LOAM 5.268/0.020 x 4.215/0.018 4.398/0.017 4.749/0.017 1.239/0.012 VINS-Mono x x x 5.231/0.016 5.518/0.014 x S thƠnh công c a h th ng SLAM đ ph ng pháp khác đ FAST-LIO2 x x x 5.285/0.025 5.219/0.021 0.862/0.009 DVL-SLAM 4.891/0.053 4.736/0.093 2.484/0.019 9.528/0.034 8.727/0.025 x Ours 2.668/0.014 2.375/0.017 2.735/0.010 3.887/0.014 4.045/0.014 0.912/0.010 c xơy d ng lu n v n so v i c th hi n qua m t s nguyên nhơn sau: • H th ng c a ta k t h p camera LiDAR đ b tr m t hai c m bi n r i vƠo th khó: gradient nh y u, ngu n sáng th t th ng (th khó c a camera); t p m laser th a th t, phơn b không đ u (th khó c a LiDAR) Vi c s d ng ph ng pháp cl ng đ c l p t camera (image alignment) vƠ t LiDAR (cloud registration), sau m i k t h p thơng qua đ 64 th nhơn t , giúp h th ng c a ta v n hƠnh thƠnh công nhi u u ki n mơi tr ng khác • So v i h th ng đ nh v thu n th giác, h th ng c a ta khơng m t cơng cl ng đ sơu mƠ trích đ sơu tr c ti p t LiDAR So v i h th ng đ nh v thu n laser, h th ng c a ta s d ng gradient nh đ ch n l c t p m đám mơy có thơng tin cao đ th c hi n tính tốn mƠ v n b o toƠn ch t l cl ng, qua gi m đáng k kh i l ng ng • M t m n i b t c a h th ng c a ta lƠ s d ng tr c ti p d li u thô t camera (khung nh) vƠ LiDAR (đám mơy) đ cl ng, lo i b hoƠn toƠn q trình trích xu t đ c tr ng • B nđ đ c c p nh t vƠ qu n lý b ng c u trúc d li u ikd-Tree nên th i gian c p nh t vƠ truy xu t r t nhanh, h tr nén d li u nên tƠi nguyên chi m d ng Phơn tích k h n đ c m c a ph ng pháp đ c đem so sánh v i h th ng c a ta, ta th y r ng: • DVL-SLAM c ng k t h p camera vƠ LiDAR nh ng d a hoƠn toƠn vƠo đ nh v th giác thông qua image alignment Ph ng pháp nƠy ch s d ng LiDAR đ l y đ sơu m nh ch khơng th c hi n mây LiDAR Do đó, ph cl ng t th tr c ti p t đám ng pháp nƠy d th t b i camera r i vƠo th khó • LeGO-LOAM ch s d ng LiDAR vƠ ch ho t đ ng t t t p đ c tr ng trích xu t đa d ng, phơn b đ u, b n v ng vƠ phơn bi t cao • VINS-Mono lƠ h đ nh v th giác quán tính Dù tích h p ch t c m bi n IMU đ b tr camera, ph nhi u môi tr m t n ng pháp nƠy g p khó kh n ng đ sơu t i ng có c nh quan khó nh sơng ngịi (do có ph n chi u hình nh c) • FAST-LIO2 lƠ h đ nh v laser quán tính Ph m t đ cl ng pháp ho t đ ng r t t t m laser đám mơy LiDAR dƠy đ c (nh t p NewerCollege khuôn viên đ i h c) s d ng cloud registration Tuy nhiên, v i ki u đám mơy th a th t (nh t p USVInland), h th ng th t b i l p t c 65 Tuy nhiên, lu n v n t n t i m t s h n ch : • Trong nhi u u ki n c c kì kh t nghi t sơng ngịi (s sáng g t ầ), h th ng ch a th v n hƠnh thƠnh công ng mù, m a, ph n i v i camera, tính liên t c quang h c b vi ph m nghiêm tr ng ngu n sáng thay đ i đ t ng t (n ng g t), y u t nhi u lo n môi tr (s ng cao (m a) hay gradient nh b lƠm y u ng mù) Các tia quét t LiDAR c ng b h p th m nh b i n c m a hay s ng mù, lƠm gi m đáng k m t đ m đám mơy LiDAR Nh ng h ng gi i quy t ti m n ng cho v n đ có th lƠ: thay th c ng đ nh b ng gradient nh th ng d quang h c, c i ti n gi i thu t cloud registration theo h ng plane-to-plane thay point-to-plane nh hi n t i ầ (a) N ng g t (b) M a (c) S ng mù Hình 6.1 Nh ng u ki n mơi tr ng kh t nghi t t p d li u USVInland [68] mà h th ng SLAM lu n v n ch a th v n hành thành cơng • Ch a đ thi t b (c m bi n ch a k p v , d ki n s v tháng n m nay) đ xơy d ng h c m bi n riêng vƠ ti n hƠnh th c nghi m môi tr ng th c t t i Vi t Nam 6.2 H ng phát tri n Trong t ng lai, nh ng h ng phát tri n ti m n ng c a lu n v n bao g m: • Tích h p ch t d li u t c m bi n IMU b thu GNSS đ c i thi n h n n a ch t l ng cl ng c a h th ng • T ng h p k t qu đ ti n hƠnh công b qu c t t i t p chí chun ngƠnh phù h p • Hi n t i, nhóm nghiên c u đư xơy d ng thƠnh cơng mơ hình thuy n t hƠnh, VIAM-USV2000, đ ti n hƠnh th c nghi m t ng lai, có đ thi t b (ch y u lƠ c m bi n), nhóm s tích h p lên thuy n vƠ ti n hƠnh thu th p d li u vƠ kh o sát tính kh thi c a gi i thu t môi tr Nam 66 ng sơng ngịi Vi t Hình 6.2 Mơi tr ng thuy n VIAM-USV2000 [73] 67 DANH M C CÁC CƠNG TRÌNH KHOA H C T p chí qu c t N.-H Tran, Q.-H Pham, J.-H Lee and H.-S Choi, "VIAM-USV2000: An Unmanned Surface Vessel with Novel Autonomous Capabilities in Confined Riverine Environments," Machines, vol 9, no 7, p 133, 2021 K y u h i ngh qu c t Q.-H Pham, N.-H Tran and T.-D Nguyen, "IMU-Assisted Direct VisualLaser Odometry in Challenging Outdoor Environments," in 2022 6th International Conference on Green Technology and Sustainable Development (GTSD), Nha Trang City, 2022 (accepted) Q.-H Pham, N.-H Tran, T.-T Nguyen and T.-P Tran, "Online Robust Sliding-Windowed LiDAR SLAM in Natural Environments," in 2021 International Symposium on Electrical and Electronics Engineering (ISEE), Ho Chi Minh City, 2021 68 TÀI LI U THAM KH O [1] H.-H Tran, T.-N Vo, V.-T Nguyen H.-T Nguyen, Báo cáo hi n tr ng môi tr ng qu c gia n m 2018 Chuyên đ : Môi tr ng n c l u v c sông, Hanoi: Ministry of Natural Resources and Environment, 2018 [2] H.-K.-P Thai, “Th c tr ng ô nhi m môi tr ng n c vƠ trách nhi m b o v ngu n n c s ch,” Internet: https://tanbinh.hochiminhcity.gov.vn/web/neoportal/danh-muctin-tuc-su-kien/-/asset_publisher/VN5j2Vj9DHkT/content/thuc-trang-o-nhiem-moitruong-nuoc-va-trach-nhiem-bao-ve-nguon-nuoc-sach, 2021 [3] Chris, “ME120 Conducts Mobile Total Phosphorus Survey to Assist Water Pollution Management,” Internet: https://geo-matching.com/content/me120-conducts-mobiletotal-phosphorus-survey-to-assist-water-pollution-management, 2019 [4] M Miller, “Hardware and Software Considerations for Monocular SLAM in a Riverine Environment,” M.A thesis, University of Illinois at Urbana-Champaign, Illinois, 2017 [5] X Wu and C Pradalier, “Illumination Robust Monocular Direct Visual Odometry for Outdoor Environment Mapping,” in 2019 International Conference on Robotics and Automation (ICRA), Montreal, 2019 [6] G Klein and D Murray, “Parallel tracking and mapping for small AR workspaces,” in 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality, Nara, 2007 [7] E Rosten and T Drummond, “Machine Learning for High-Speed Corner Detection,” in Computer Vision – ECCV 2006, Berlin, 2006 [8] H Strasdat, A J Davison, J Montiel and K Konolige, “Double window optimisation for constant time visual SLAM,” in 2011 International Conference on Computer Vision, Barcelona, 2011 [9] H Bay, T Tuytelaars and L V Gool, “SURF: Speeded Up Robust Features,” in Computer Vision – ECCV 2006, Berlin, 2006 [10] R Mur-Artal, J M M Montiel and J D Tardós, “ORB-SLAM: A Versatile and Accurate Monocular SLAM System,” IEEE Transactions on Robotics, vol 31, no 5, pp 1147-1163, 2015 [11] E Rublee, V Rabaud, K Konolige and G Bradski, “ORB: An efficient alternative to SIFT or SURF,” in 2011 International Conference on Computer Vision, Barcelona, 2011 [12] J Engel, T Schöps and D Cremers, “LSD-SLAM: Large-Scale Direct Monocular SLAM,” in Computer Vision – ECCV 2014, Berlin, 2014 [13] J Engel, V Koltun and D Cremers, “Direct Sparse Odometry,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 40, no 3, pp 611-625, 2018 69 [14] X Gao, R Wang, N Demmel and D Cremers, “LDSO: Direct Sparse Odometry with Loop Closure,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018 [15] N Yang, L v Stumberg, R Wang and D Cremers, “D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, 2020 [16] W Hess, D Kohler, H Rapp and D Andor, “Real-time loop closure in 2D LIDAR SLAM,” in 2016 IEEE International Conference on Robotics and Automation (ICRA), Stockholm, 2016 [17] J Zhang and S Singh, “Low-drift and Real-time Lidar Odometry and Mapping,” Autonomous Robots, vol 41, pp 401-416, 2017 [18] G Grisetti, C Stachniss and W Burgard, “Improved Techniques for Grid Mapping With Rao-Blackwellized Particle Filters,” IEEE Transactions on Robotics, vol 23, no 1, pp 34-46, 2007 [19] B Li, Y Wang, Y Zhang, W Zhao, J Ruan and P Li, “GP-SLAM: laser-based SLAM approach based on regionalized Gaussian process map reconstruction,” Autonomous Robots, vol 44, pp 947-967, 2020 [20] C Schulz and A Zell, “Real-Time Graph-Based SLAM with Occupancy Normal Distributions Transforms,” in 2020 IEEE International Conference on Robotics and Automation (ICRA), Paris, 2020 [21] J Behley and C Stachniss, “Efficient Surfel-Based SLAM using 3D Laser Range Data in Urban Environments,” in Robotics: Science and Systems 2018, Pittsburgh, 2018 [22] S Rusinkiewicz and M Levoy, “Efficient variants of the ICP algorithm,” in Proceedings Third International Conference on 3-D Digital Imaging and Modeling, Quebec, 2001 [23] P Biber and W Strasser, “The normal distributions transform: a new approach to laser scan matching,” in Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat No.03CH37453), Las Vegas, 2003 [24] E B Olson, “Real-time correlative scan matching,” in 2009 IEEE International Conference on Robotics and Automation, Kobe, 2009 [25] M Himstedt, J Frost, S Hellbach, H.-J Böhme and E Maehle, “Large scale place recognition in 2D LIDAR scans using Geometrical Landmark Relations,” in 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, 2014 [26] K Granström, T B Schön, J I Nieto and F T Ramos, “Learning to close loops from range data,” The International Journal of Robotics Research, vol 30, no 14, pp 17281754, 2011 [27] C Park, P Moghadam, S Kim, A Elfes, C Fookes and S Sridharan, “Elastic LiDAR Fusion: Dense Map-Centric Continuous-Time SLAM,” in 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, 2018 70 [28] J Zhang and S Singh, “Visual-lidar odometry and mapping: low-drift, robust, and fast,” in 2015 IEEE International Conference on Robotics and Automation (ICRA), Seattle, 2015 [29] Y.-S Shin, Y S Park and A Kim, “DVL-SLAM: sparse depth enhanced direct visualLiDAR SLAM,” Autonomous Robots, vol 44, no 2, pp 115-130, 2019 [30] J Zhang, M Kaess and S Singh, “A real-time method for depth enhanced visual odometry,” Autonomous Robots, vol 41, no 1, pp 31-43, 2015 [31] J Graeter, A Wilczynski and M Lauer, “LIMO: Lidar-Monocular Visual Odometry,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018 [32] D Galvez-López and J D Tardos, “Bags of Binary Words for Fast Place Recognition in Image Sequences,” IEEE Transactions on Robotics, vol 28, no 5, pp 1188-1197, 2012 [33] K Meier, S Chung and S Hutchinson, “River segmentation for autonomous surface vehicle localization and river boundary mapping,” Journal of Field Robotics, vol 38, no 2, pp 192-211, 2021 [34] J Garforth and B Webb, “Visual Appearance Analysis of Forest Scenes for Monocular SLAM,” in 2019 International Conference on Robotics and Automation (ICRA), Montreal, 2019 [35] T Tsubouchi, A Asano, T Mochizuki, S Kondou, K Shiozawa and M Matsumoto, “Forest 3D Mapping and Tree Sizes Measurement for Forest Management Based on Sensing Technology for Mobile Robots,” in Field and Service Robotics Springer Tracts in Advanced Robotics, vol 92, Springer, 2014, pp 357-368 [36] M Pierzchaờa, P Giguère and R Astrup, “Mapping forests using an unmanned ground vehicle with 3D LiDAR and graph-SLAM,” Computers and Electronics in Agriculture, vol 145, pp 217-225, 2018 [37] M Miettinen, M Ohman, A Visala and P Forsman, “Simultaneous Localization and Mapping for Forest Harvesters,” in Proceedings 2007 IEEE International Conference on Robotics and Automation, Roma, 2007 [38] M Öhman, M Miettinen, K Kannas, J Jutila, A Visala and P Forsman, “Tree Measurement and Simultaneous Localization and Mapping System for Forest Harvesters,” in Field and Service Robotics Springer Tracts in Advanced Robotics, vol 42, Springer, 2008, pp 369-378 [39] J Tomaởtík, Ở Salo , D Tunák, F Chudý and M Kardoở, “Tango in forests ậ An initial experience of the use of the new Google technology in connection with forest inventory tasks,” Computers and Electronics in Agriculture, vol 141, pp 109-117, 2017 71 [40] C Qian, H Liu, J Tang, Y Chen, H Kaartinen, A Kukko, L Zhu, X Liang, L Chen and J HyyppƯ, “An Integrated GNSS/INS/LiDAR-SLAM Positioning Method for Highly Accurate Forest Stem Mapping.,” Remote Sens, vol 9, no 1, 2017 [41] M Hussein, K Iagnemma and M Renner, “Global Localization of Autonomous Robots in Forest Environments,” Photogrammetric Engineering & Remote Sensing, vol 81, no 11, pp 839-846, 2015 [42] W Wang, T Shan, P Leoni, D Fernández-Gutiérrez, D Meyers, C Ratti and D Rus, “Roboat II: A Novel Autonomous Surface Vessel for Urban Environments,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, 2020 [43] K Richmond, C Flesher, L Lindzey, N Tanner and W C Stone, “SUNFISH®: A human-portable exploration AUV for complex 3D environments,” in OCEANS 2018 MTS/IEEE Charleston, Charleston, SC, 2018 [44] S Rahman, A Q Li and I Rekleitis, “SVIn2: An Underwater SLAM System using Sonar, Visual, Inertial, and Depth Sensor,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, 2019 [45] J Han, J Park, T Kim and J Kim, “Precision navigation and mapping under bridges with an unmanned surface vehicle,” Autonomous Robots, vol 38, p 349ậ362, 2015 [46] J Han and J Kim, “Three-Dimensional Reconstruction of a Marine Floating Structure With an Unmanned Surface Vessel,” IEEE Journal of Oceanic Engineering, vol 44, no 4, pp 984-996, 2019 [47] T Kim and J Kim, “Panel-based bathymetric SLAM with a multibeam echosounder,” in 2017 IEEE Underwater Technology (UT), Busan, 2017 [48] J Han, Y Cho and J Kim, “Coastal SLAM With Marine Radar for USV Operation in GPS-Restricted Situations,” IEEE Journal of Oceanic Engineering, vol 44, no 2, pp 300-309, 2019 [49] W Wang, B Gheneti, L A Mateos, F Duarte, C Ratti and D Rus, “Roboat: An autonomous surface vehicle for urban waterways,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, 2019 [50] J Solà, J Deray and D Atchuthan, “A micro Lie theory for state estimation in robotics,” arXiv preprint arXiv:1812.01537, 2020 [51] C Kerl, J Sturm and D Cremers, “Robust odometry estimation for RGB-D cameras,” in 2013 IEEE International Conference on Robotics and Automation, Karlsruhe, 2013 [52] Z Zhang, “Parameter estimation techniques: A tutorial with application to conic fitting,” Image and Vision Computing, vol 15, no 1, pp 59-76, 1997 [53] J C Lagarias, J A Reeds, M H Wright and P E Wright, “Convergence Properties of the Nelder Mead Simplex Method in Low Dimensions,” SIAM Journal on Optimization, vol 9, no 1, p 112ậ147, 1998 72 [54] S J Prince, Computer Vision: Models Learning and Inference, New York: Cambridge University Press, 2012 [55] J T Barron, “A General and Adaptive Robust Loss Function,” in 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019 [56] N Chebrolu, T LƯbe, O Vysotska, J Behley and C Stachniss, “Adaptive Robust Kernels for Non-Linear Least Squares Problems,” IEEE Robotics and Automation Letters, vol 6, no 2, pp 2240-2247, 2021 [57] F Steinbrücker, J Sturm and D Cremers, “Real-Time Visual Odometry from Dense RGB-D Images,” in 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), Barcelona, 2011 [58] J Engel, V Usenko and D Cremers, “A Photometrically Calibrated Benchmark For Monocular Visual Odometry,” arXiv preprint arXiv:1607.02555, 2016 [59] T Schöps, J Engel and D Cremers, “Semi-dense visual odometry for AR on a smartphone,” in 2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Munich, 2014 [60] J Zubizarreta, I Aguinaga and J M M Montiel, “Direct Sparse Mapping,” IEEE Transactions on Robotics, vol 36, no 4, pp 1363-1370, 2020 [61] W Xu, Y Cai, D He, J Lin and F Zhang, “FAST-LIO2: Fast Direct LiDAR-Inertial Odometry,” IEEE Transactions on Robotics (Early Access, DOI: 10.1109/TRO.2022.3141876), pp 1-21, 2022 [62] J Sturm, N Engelhard, F Endres, W Burgard and D Cremers, “A benchmark for the evaluation of RGB-D SLAM systems,” in 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, Vilamoura, 2012 [63] R Kümmerle, B Steder, C Dornhege, M Ruhnke, G Grisetti and C Stachniss, “On measuring the accuracy of SLAM algorithms,” Autonomous Robots, vol 27, no 4, pp 1573-7527, 2009 [64] B K P Horn, “Closed-form solution of absolute orientation using unit quaternions,” Journal of the Optical Society of America A, vol 4, no 4, pp 629-642, 1987 [65] A Geiger, P Lenz and R Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, 2012 [66] A Handa, T Whelan, J McDonald and A J Davison, “A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, 2014 [67] B Bingham, C Agüero, M McCarrin, J Klamo, J Malia, K Allen, T Lum, M Rawson and R Waqar, “Toward Maritime Robotic Simulation in Gazebo,” in OCEANS 2019 MTS/IEEE SEATTLE, Seattle, WA, 2019 73 [68] Y Cheng, M Jiang, J Zhu and Y Liu, “Are We Ready for Unmanned Surface Vehicles in Inland Waterways? The USVInland Multisensor Dataset and Benchmark,” IEEE Robotics and Automation Letters, vol 6, no 2, pp 3964-3970, 2021 [69] T Shan and B Englot, “LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018 [70] W Wen, Y Zhou, G Zhang, S Fahandezh-Saadi, X Bai, W Zhan, M Tomizuka and L.-T Hsu, “UrbanLoco: A Full Sensor Suite Dataset for Mapping and Localization in Urban Scenes,” in 2020 IEEE International Conference on Robotics and Automation (ICRA), Paris, 2020 [71] T Qin, P Li and S Shen, “VINS-Mono: A Robust and Versatile Monocular VisualInertial State Estimator,” IEEE Transactions on Robotics, vol 34, no 4, pp 10041020, 2018 [72] M Ramezani, Y Wang, M Camurri, D Wisth, M Mattamala and M Fallon, “The Newer College Dataset: Handheld LiDAR, Inertial and Vision with Ground Truth,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, 2020 [73] N.-H Tran, Q.-H Pham, J.-H Lee and H.-S Choi, “VIAM-USV2000: An Unmanned Surface Vessel with Novel Autonomous Capabilities in Confined Riverine Environments,” Machines, vol 9, no 7, p 133, 2021 74 LÝ L CH TRÍCH NGANG H vƠ tên: PH M QUANG HÀ Gi i tính: Nam NgƠy, tháng, n m sinh: 25/08/1998 N i sinh: Gia Lai i n tho i liên h : 039 849 8181 Email: qha258@gmail.com a ch liên h : 70/13 Nguy n S Sách, ph ng 15, Tơn Bình, Tp H Chí Minh Q trình đƠo t o - T tháng 9/2016 đ n tháng 11/2020: h c k s ngƠnh K Thu t i u Khi n VƠ T - ng Hóa t i Tr ng i h c Bách Khoa, HQG-HCM T tháng 3/2021 đ n nay: h c th c s ngành K Thu t i u Khi n VƠ T Hóa t i Tr ng ng i h c Bách Khoa, HQG-HCM Q trình cơng tác - T tháng 7/2018 đ n nay: nghiên c u viên t i phòng thí nghi m Các ph pháp gia cơng tiên ti n, nhƠ C1, Tr ng 75 i h c Bách Khoa, HQG-HCM ng ... n đ đ ng th i d a k t h p camera vƠ lidar môi tr ng sơng ngịi Simultaneous Localization and Mapping based on Camera- LiDAR Fusion in Riverine Environments II NHI M V VÀ N I DUNG - Phát tri n gi... thi n môi tr ng phi sông ngòi iii ABSTRACT This thesis focuses on developing a simultaneous localization and mapping (SLAM) system based on fusing raw measurements from mono -camera and 3D LiDAR. .. tr ng đ phát hi n vịng hay D3VO [15] tích h p m ng neuron sơu đ cl ng đ sơu, t th camera vƠ đ b t đ nh LiDAR lƠ m t nh ng c m bi n ph bi n nh t đ gi i quy t SLAM So v i camera, LiDAR th hi n u