Bài viết Xây dựng hệ thống định vị và điều hướng trong nhà dựa trên monocular SLAM cho Robot di động đề xuất một hướng tiếp cận cho hệ thống định vị và điều hướng đối với robot hai bánh vi sai dựa trên monocular SLAM. Hệ thống được thực hiện trên hệ điều hành lập trình cho robot (Robot Operating System - ROS). Phần cứng của robot là một robot hai bánh với nền tảng máy tính nhúng Jetson Xavier AGX, camera 2D và một cảm biến LiDAR nhằm thu thập thông tin từ môi trường bên ngoài. Mời các bạn cùng tham khảo!
Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Xây dựng hệ thống định vị điều hướng nhà dựa monocular SLAM cho Robot di động Nguyễn Cảnh Thanh, Đỗ Đức Mạnh Hồng Văn Xiêm Bộ mơn Kỹ thuật Robot, Khoa Điện tử - Viễn Thông Trường Đại học Công Nghệ - Đại học Quốc gia Hà Nội Email: canhthanhlt@gmail.com, ddmanh99@gmail.com, xiemhoang@vnu.edu.vn Tóm tắt—Định vị điều hướng cho robot hai vấn đề quan trọng robot di động Trong báo đề xuất hướng tiếp cận cho hệ thống định vị điều hướng robot hai bánh vi sai dựa monocular SLAM Hệ thống thực hệ điều hành lập trình cho robot (Robot Operating System - ROS) Phần cứng robot robot hai bánh với tảng máy tính nhúng Jetson Xavier AGX, camera 2D cảm biến LiDAR nhằm thu thập thông tin từ môi trường bên ngồi Thuật tốn A∗ phương pháp tiếp cận cửa sổ (DWA) áp dụng lập kế hoạch đường dựa đồ lưới 2D Thuật tốn ORB_SLAM3 trích xuất đặc trưng mơi trường từ cung cấp tư robot cho qua trình định vị điều hướng Cuối cùng, hệ thống thử nghiệm môi trường mô Gazebo trực quan hóa qua Rviz từ chứng minh độ hiệu tiềm hệ thống việc định vị điều hướng cho robot di động nhà Từ khóa—Navigation, Localization, Monocular SLAM, SLAM, ROS, Robot di động thiện độ xác q trình định vị, loại cảm biến đại tích hợp sonar, beacon, camera, laser, GPS, IPS, Bên cạnh đó, điểm đánh dấu ngày sử dụng rộng rãi bao gồm mốc tự nhiên mốc nhân tạo Các lọc Bayesian dựa thuật toán xác suất Kalman Particle [3] sử dụng nhằm ước tính trạng thái hệ thống từ thơng tin cảm biến chuỗi Markov I GIỚI THIỆU Hình 1: Tổng quan hệ thống phần cứng A Bối cảnh động lực Ngày nay, Robot di động thu hút nhiều ý với đó, vấn đề định vị điều hướng công nghệ lõi, dần trở thành phần thiếu robot Vấn đề định vị điều hướng tóm tắt ba câu hỏi: "Tôi đâu?", "Tôi đâu" "Làm để tơi đến đó?" [1] Độ xác định vị ảnh hưởng trực tiếp tới trình điều hướng, robot di động thực nhiệm vụ cách nhanh chóng xác dựa khả thực hệ thống định vị [2] Trong hệ thống điều hướng robot, cảm biến dựa dead-reckoning (DR) sử dụng rộng rãi [1] Odometry, IMU Phương pháp DR ước tính tổng quãng đường di chuyển từ điểm xuất phát nhiên sai số ước lượng tích lũy theo thời gian Để cải ISBN 978-604-80-7468-5 36 Hệ điều hành ROS (Robot Operating System) framework phổ biến công nghệ robot ngày [4] ROS cung cấp công cụ giả lập, trực quan hóa đồng thời trừu tượng hóa hệ thống phần cứng hỗ trợ điều khiển robot cách dễ dàng Hơn nữa, ROS có tập thư viện phong phú bao gồm thuật toán SLAM, thuật tốn điều hướng, từ giảm thiểu đáng kể chi phí, cơng sức việc xây dựng phát triển robot B Các nghiên cứu liên quan Vấn đề định vị điều hướng robot di động nhà nghiên cứu quan tâm từ nước Nghiên cứu [5] sử dụng phương pháp Fuzzy nhằm định vị robot tập mờ định nghĩa Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2022) Hình 2: Sơ đồ kết nối thành phần hệ thống khơng gian vị trí robot Tuy nhiên phương pháp giải vấn đề kid-napping phương pháp định vị tiếng Monte Carlo (MCL) xây dựng nhằm khắc phục vấn đề Các nghiên cứu dựa lọc Particle [6] hay lọc Kalman biến thể [1], [7] giải vấn đề định vị cục toàn cục sử dụng kết hợp đa cảm biến nhằm giảm thiểu sai số định vị cách đáng kể Các nghiên cứu [8], [9] sử dụng điểm mốc đánh dấu nhằm cung cấp tư tham chiếu tồn cục từ tư robot ước lượng thơng qua mối quan hệ vị trí điểm đánh dấu robot Gần đây, hướng tiếp cận dựa mạng nơ-ron sâu triển khai nhằm cải thiện khả địa hóa robot [10] Tuy nhiên phương pháp có độ xác thấp so với phương pháp tiếp cận thông tin trước phương pháp hình học [11] Hướng tiếp cận dựa SLAM khai thác tiêu biểu nghiên cứu [12], [13], [14] Nghiên cứu [15] phân tích hệ thống định vị điều hướng dựa SLAM từ cho thấy mức độ hệ thống Nghiên cứu [16] so sánh thuật toán vSLAM cho kết ORB_SLAM2 có độ xác khoảng cách quỹ đạo cao nhà C Đóng góp báo Trong báo này, đề xuất hệ thống định vị dẫn đường cho robot hai bánh vi sai hoạt động môi trường nhà dựa monocular SLAM Thuật toán ORB_SLAM3 khai thác nhằm sử dụng thông tin tư camera thay cho thông tin robot Odometry, IMU nhằm cải thiện độ xác q trình định vị Chúng tơi thiết ISBN 978-604-80-7468-5 37 kế robot bao gồm máy tính nhúng hiệu cao Jetson Xavier AGX, camera 2D LiDAR Robot có khả di chuyển, thu thập liệu để lập kế hoạch đường Cuối cùng, hệ thống trực quan hóa thơng qua trình mơ Gazebo, Rviz D Bố cục báo Bài báo trình bày phần: Phần I giới thiệu bối cảnh nghiên cứu, đưa nghiên cứu liên quan đồng thời nêu bật lên đóng góp báo Phần II mơ tả tổng quan hệ thống, đưa mơ hình phần cứng, mơ hình động học robot Phương pháp đề xuất trình bày phần III Phần IV đưa số kết thử nghiệm nhằm đánh giá hiệu hoạt động phương pháp đề xuất Cuối kết luận hướng phát triển phần V II TỔNG QUAN HỆ THỐNG A Hệ thống phần cứng Hình mơ tả tổng quan thành phần hệ thống tích hợp mono camera (Logitech C270), cảm biến LiDAR (Hokuyo 04-LX) Logitech camera thu nhận thông tin ảnh RGB, LiDAR Hokuyo thu thập thơng tin từ mơi trường sau chuyển tới máy tính nhúng Jetson Xavier AGX Robot điều khiển máy tính khác thơng qua wifi Sơ đồ kết nối thành phần chi tiết robot nhằm thực cho việc di chuyển, định vị điều hướng môi trường nhà thể qua Hình Các thành phần chia làm thành phần chính: Phần định vị điều hướng, phần chuyển động phần nguồn Máy tính nhúng Jetson Xavier AGX sử dụng ROS Ubuntu 18.04 đóng vai trị làm xử lý trung tâm, tiếp Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) nhận thông tin từ node bao gồm Camera, LiDAR, Arduino Mega sau phân bổ ngược trở lại Bộ phận chuyển động bao gồm vi điều khiển Arduino Mega, driver điều khiển L298 động DC Khối nguồn cung cấp điện áp cho hai khối bao gồm nguồn 11.1 V cho khối chuyển động chuyển đổi từ 36V xuống 19V cho khối định vị điều hướng Robot thiết kế nhỏ gọn đảm bảo tính an tồn hiệu thiết bị B Mơ hình động học robot Chúng sử dụng robot hai bánh vi sai mặt phẳng đất Hình Tư robot xác định mặt phẳng (Xw , Yw ) với vị trí (x, y) hướng θ Phương trình động học robot cho bởi: x˙ = vcos(θ) y˙ = vsin(θ) θ˙ = ω (1) v, ω vận tốc tuyến tính vận tốc góc robot Do robot điều khiển máy tính nhúng, cần rời rạc hóa phương trình động học thuận Gọi ∆t thời gian lấy mẫu (xt , yt , θt )là tư robot bước thời gian t Đạo hàm tính gần sau: xt1 −x (2) ∆t Phương trình động học thuận rời rạc đưa bởi: x˙ = xt+1 = xt + vt ∆tcos(θt ) yt+1 = yt + vt ∆tsin(θt ) θt+1 = θt + ωt ∆t (3) Hình 3: Hệ trục tọa độ robot hai bánh vi sai ISBN 978-604-80-7468-5 38 III ĐỊNH VỊ VÀ ĐIỀU HƯỚNG DỰA TRÊN MONOCULAR SLAM Chúng để xuất triển khai ORB_SLAM vào Navigation Stack ROS đề điều hướng cho robot Khối AMCL khối tùy chọn Navigation Stack cung cấp, thay phương pháp đề xuất dựa ORB_SLAM nhằm định vị robot dựa monocular camera Các thành phần kiến trúc ROS đề xuất dựa navigation stack monocular slam thể Hình ORB_SLAM [17] sử dụng ảnh RGB làm đầu vào Tại khung hình, tập điểm đặc trưng trích xuất Các khung hình lựa chọn dựa khả đồng hiển thị với khung hình khác Các khung hình điểm đặc trưng lưu trữ để thực địa hóa chọn khung hình Các phép dịch chuyển camera tính tốn (vị trí, góc) hệ thống sau chuyển qua hệ tọa độ robot từ xác định tư robot đồ Hệ thống định vị điều hướng chúng tơi đề xuất sử dụng ORB_SLAM nhằm ước tính tư robot LiDAR cho tác vụ phát vật cản xung quanh, liệu đồ tĩnh cho lập kế hoạch chuyển động Gói ROS move_base sử dụng nhằm thực điều hướng tự động Gói sử dụng thơng tin địa hóa từ cảm biến cung cấp lệnh di chuyển tới robot để robot di chuyển an tồn mơi trường mà khơng va chạm với chướng ngại vật Hệ thống điều hướng cho robot bao gồm hai phần chính: Phần lập quỹ đạo toàn cục (global_planner) lập quỹ đạo cục (local_planner) Cơng cụ lập quỹ đạo tồn cục dựa dựa thuật tốn tìm kiếm A∗ cho phép robot sử dụng thơng tin đồ tĩnh từ mơi trường từ lập quỹ đạo toàn cục đảm bảo di chuyển tới đích với quỹ đạo nhắn an tồn tránh vật thể tĩnh mà không cần xem xét tới ràng buộc động học robot Công cụ lập kế hoạch cục dựa thuật toán DWA sử dụng quỹ đạo tham chiếu thu từ quỹ đạo tồn cục từ tạo lệnh vận tốc dựa tư robot tính tốn qua ORB_SLAM đảm bảo robot di chuyển tới đích Bên cạnh đó, hai đồ chi phí (cost_map) cung cấp cho lập đồ toàn cục lập đồ cục nhằm mở rộng phạm vi vật cản, tránh va chạm trình di chuyển Trong trình điều hướng tự động, chướng ngại vật động phát 2D LiDAR Thông qua việc cập nhật đồ chi phí cục (local_costmap) để nhận khả tránh chướng ngại vật động Ước tính tư ORB_SLAM xác góp phần khởi tạo Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Cơng nghệ Thơng tin (REV-ECIT2022) Hình 4: Tổng quan hệ thống định vị dẫn đường dựa monocular SLAM Bảng I: Thơng số mơ hình robot Tốc độ tuyến tính Tốc độ góc Bán kính robot Bán kính bánh xe 0.30 0.20 0.22 0.03 (m/s) (rad/s) (m) (m) cho việc lập quỹ đạo tồn cục ước tính tư mạnh mẽ theo thời gian thực ORB_SLAM giúp lập quỹ đạo cục cách xác IV KẾT QUẢ Hiệu suất hệ thống định vị vẽ đồ đánh giá thông qua phầm mềm mơ Gazebo trực quan hóa qua phầm mềm Rviz A Thiết lập môi trường Chúng xây dựng môi trường giả lập nhà bao gồm nhiều đồ dùng, bàn ghế, cho giống môi trường thực tế thể Hình Môi trường bao quanh vách tường vật thể xếp ngẫu nhiên môi trường Mơ hình robot thiết kế Hình với tham số mô thực nghiệm giống thể qua Bảng I Robot tối giản hóa mơi trường mơ phỏng, giữ lại thành phần cho định vị dẫn đường bao gồm khung xe, động cơ, bánh xe, cảm biến LiDAR camera 2D Thông số cho cảm biến LiDAR camera 2D mô tả chi tiết Bảng II Bảng III Hình 6: Mơ hình 3D robot hai bánh vi sai B Kết mô Đầu tiên, robot khởi tạo mơi trường Hình Tiếp theo chúng tơi thực qt đồ ISBN 978-604-80-7468-5 Hình 5: Môi trường giả lập nhà 39 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Bảng II: Thông số cảm biến LiDAR Góc quét Tần số quét Phạm vi Độ phân giải góc 270 (◦ ) 10 (Hz) 0.06 - 6.40 (m) 0.36 (◦ ) (360◦ /1024) Bảng III: Thông số camera 2D Độ phân giải RGB Giới hạn khoảng cách Tốc độ khung hình Góc qt 1280 x 720 (pixel) 0.02 - 20 (m) 30 (FPS) 270 (◦ ) Hình 8: Trích xuất đặc trưng ảnh thơng qua ORB_SLAM môi trường nhằm thu thập đồ tĩnh mơi trường thơng qua Google CartoGrapher Sau đó, đồ tĩnh thêm vào khối cost_map khối move_base nhằm triển khai điều hướng trực quan hóa Rviz Hình Bản đồ tĩnh sau qua khối cost_map bao gồm có giá trị từ đến 255 khối màu đen biểu diễn vùng chứa vật cản, màu trắng biểu thị khu vực trống, vùng màu xám biểu thị khu vực chưa biết rõ Quanh khu vực vật cản mở rộng thêm vùng (màu đỏ) nhằm tránh việc robot đụng chạm trình di chuyển Hình 9: Tư camera thơng qua ORB_SLAM Hình 7: Trực quan hóa đồ tĩnh môi trường Hệ thống định vị thiết lập dựa ORB_SLAM nhận thơng tin đầu vào từ ảnh RGB camera Hình thể đặc trưng ảnh trích xuất thơng qua thuật tốn biểu diễn điểm màu xanh Tư robot dựa mối tương quan điểm đặc trưng khung hình trước khung hình sau từ tạo thành quỹ đạo chuyển động Hình Tiếp theo, Robot di chuyển từ A (-4.0, 3.0) tới B (0.2, -3.0) theo tọa độ (x,y) Chúng tơi sử dụng thuật tốn A∗ nhằm tính tốn quỹ đạo tồn cục cho robot thuật tốn DWA nhằm tính tốn quỹ đạo cục Kết trình điều hướng thể qua Hình 10 ISBN 978-604-80-7468-5 40 Hình 10: Quỹ đạo chuyển động robot trình điều hướng Robot định vị thông qua ORB_SLAM, thông tin môi trường thu thập thông qua cảm biến LiDAR Hệ thống điều hướng bao gồm hai loại quỹ đạo Quỹ đạo toàn cục nhằm đưa quỹ đạo sơ cho robot đường ngắn an toàn để robot di chuyển từ điểm xuất phát tới điểm đích Quỹ đạo cục tính tốn lại đưa quỹ đạo điều chỉnh phù hợp cho robot để tránh vật cản theo thời Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) (a) Quỹ đạo bám điều khiển (b) Sai số theo trục x (c) Sai số theo trục y Hình 11: Sai số điều hướng theo thành phần điểm thông qua đường quỹ đạo màu đỏ Sai số quỹ đạo tham chiếu vị trí thực tế robot thể thơng qua Hình 11 Hệ thống có độ xác cao với sai số nhỏ 0.25m sai số thành phần x, y nhỏ 0.1m 0.3m Một phần sai số kết dựa việc thực trích xuất đặc trưng khó khăn mơi trường giả lập thực tế V KẾT LUẬN Bài báo đề xuất hệ thống định vị điều hướng cho robot hai bánh vi sai nhà dựa hệ điều hành cho robot ROS dựa monocular SLAM Phương pháp monocular SLAM cho phép robot thu thập, tiếp nhận xử lý thông tin từ môi trường nhằm định vị vị trí đồ Sau định vị vị trí, hệ thống điều hướng tính tốn quỹ đạo cục toàn cục dựa thuật tốn DWA A∗ Các kết mơ phỏng, thử nghiệm cho thấy tính hiệu hệ thống định vị điều hướng cho robot di động nhà TÀI LIỆU THAM KHẢO [1] E I Al Khatib, M A Jaradat, M Abdel-Hafez, and M Roigari, “Multiple sensor fusion for mobile robot localization and navigation using the extended kalman filter,” in 2015 10th International Symposium on Mechatronics and its Applications (ISMA), 2015, pp 1–5 [2] H Zhang, C Zhang, W Yang, and C.-Y Chen, “Localization and navigation using qr code for mobile robot in indoor environment,” in 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2015, pp 2501–2506 [3] B Liu, S Cheng, and Y Shi, “Particle filter optimization: A brief introduction,” 06 2016, pp 95–104 [4] B M Dinh, A V Dang, C T Nguyen, and V X Hoang, “Đánh giá tối Ưu thuật toán hector slam Ứng dụng lập Đồ Định vị pimouse robot,” in The 24nd National Conference on Electronics, Communications and Information, 2021 [5] D Herrero-Perez, H Barberá, K LeBlanc, and A Saffiotti, “Fuzzy uncertainty modeling for grid based localization of mobile robots,” International Journal of Approximate Reasoning, vol 51, pp 912–932, 10 2010 ISBN 978-604-80-7468-5 41 [6] V Rostami, S N Rad, A G Akar, and P Mansoumia, “Localization and navigation omni-directional robots based on sensors fusion and particle filter,” in 2018 9th Conference on Artificial Intelligence and Robotics and 2nd Asia-Pacific International Symposium, 2018, pp 65–73 [7] S Xu and W Chou, “An improved indoor localization method for mobile robot based on wifi fingerprint and amcl,” in 2017 10th International Symposium on Computational Intelligence and Design (ISCID), vol 1, 2017, pp 324–329 [8] H Zhang, C Zhang, W Yang, and C.-Y Chen, “Localization and navigation using qr code for mobile robot in indoor environment,” in 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2015, pp 2501–2506 [9] W Yuan, Z Li, and C.-Y Su, “Rgb-d sensor-based visual slam for localization and navigation of indoor mobile robot,” in 2016 International Conference on Advanced Robotics and Mechatronics (ICARM), 2016, pp 82–87 [10] A Kendall, M Grimes, and R Cipolla, “Posenet: A convolutional network for real-time 6-dof camera relocalization,” 2015 [Online] Available: https://arxiv.org/abs/1505.07427 [11] T Sattler, Q Zhou, M Pollefeys, and L Leal-Taixe, “Understanding the limitations of cnn-based absolute camera pose regression,” 2019 [Online] Available: https://arxiv.org/abs/1903.07504 [12] S Han, M U Ahmed, and P K Rhee, “Monocular slam and obstacle removal for indoor navigation,” in 2018 International Conference on Machine Learning and Data Engineering (iCMLDE), 2018, pp 67–76 [13] C Gómez, M Mattamala, T Resink, and J Ruiz-del Solar, “Visual slam-based localization and navigation for service robots: The pepper case,” 06 2018 [14] W Guan and P Yue, “Technology report : Robotic localization and navigation system for visible light positioning and slam,” 2021 [Online] Available: https://arxiv.org/abs/2104.14755 [15] Z Xuexi, L Guokun, G Fu, X Dongliang, and L Shiliu, “Slam algorithm analysis of mobile robot based on lidar,” 07 2019, pp 4739–4745 [16] K J de Jesus, H J Kobs, A R Cukla, M A de Souza Leite Cuadros, and D F T Gamarra, “Comparison of visual slam algorithms orb-slam2, rtab-map and sptam in internal and external environments with ros,” in 2021 Latin American Robotics Symposium (LARS), 2021 Brazilian Symposium on Robotics (SBR), and 2021 Workshop on Robotics in Education (WRE), 2021, pp 216–221 [17] C Campos, R Elvira, J J G Rodriguez, J M M Montiel, and J D Tardos, “ORB-SLAM3: An accurate open-source library for visual, visual–inertial, and multimap SLAM,” IEEE Transactions on Robotics, vol 37, no 6, pp 1874–1890, dec 2021 [Online] Available: ... kết dựa việc thực trích xuất đặc trưng khó khăn mơi trường giả lập thực tế V KẾT LUẬN Bài báo đề xuất hệ thống định vị điều hướng cho robot hai bánh vi sai nhà dựa hệ điều hành cho robot ROS dựa. .. robot ROS dựa monocular SLAM Phương pháp monocular SLAM cho phép robot thu thập, tiếp nhận xử lý thông tin từ môi trường nhằm định vị vị trí đồ Sau định vị vị trí, hệ thống điều hướng tính tốn... toán vSLAM cho kết ORB _SLAM2 có độ xác khoảng cách quỹ đạo cao nhà C Đóng góp báo Trong báo này, đề xuất hệ thống định vị dẫn đường cho robot hai bánh vi sai hoạt động môi trường nhà dựa monocular