Nghiên cứu phát triển robot xây dựng đồ định vị đồng thời tảng ROS Phan Hoàng Anh, Bùi Duy Nam, Trần Hữu Quốc Đông, Vũ Tiến Đạt, Nguyễn Thị Thanh Vân Khoa Điện tử Viễn thông, Đại học Công nghệ, Đại học Quốc Gia Hà Nội Email: anh.ph@vnu.edu.vn, duynam.robotics@gmail.com, dongtran.robotics@gmail.com, v.d98@gmail.com,vanntt@vnu.edu.vn Tóm tắt—Bài báo trình bày nghiên cứu, thiết kế robot có khả xây dựng đồ định vị đồng thời (SLAM) tảng mã nguồn mở hệ điều hành robot (ROS) Với kích thước nhỏ gọn chi phí thấp, robot có khả tự động di chuyển, thu liệu môi trường, xây dựng đồ định vị vị trí đồ mơi trường nhà có cấu trúc khơng xác định Hiệu hoạt động robot kiểm nghiệm thông qua đánh giá thực nghiệm mơi trường thực Từ khóa—robot di động, SLAM, RTAB-Map, ROS I GIỚI THIỆU Ngày robot di động sử dụng rộng rãi ứng dụng liên quan tới hoạt động tự trị, không cần giám sát người Hoạt động tự trị robot di động môi trường chưa biết trước liên quan đến khả tự nhận biết môi trường xung quanh, xây dựng đồ, định vị, lập kế hoạch đường điều khiển chuyển động [1], [2] Xây dựng đồ định vị đồng thời hay gọi SLAM (Simultaneous Localization and Mapping) [3], [4] vấn đề quan tâm nghiên cứu nhiều năm gần Phương pháp liệu từ cảm biến để tái tạo môi trường hoạt động thông qua việc đưa thông tin môi trường vào đồ 2D 3D Trên liệu đồ xây dựng, robot định vị trạng thái hay tư đồ Cảm biến sử dụng SLAM phân thành hai loại: cảm biến ngoại vi (thu nhận liệu từ mơi trường bên ngồi) cảm biến nội vi (xác định thay đổi vị trí, hướng hay gia tốc, ) Để tăng độ xác, SLAM thường kết hợp liệu từ nhiều cảm biến thông qua phương pháp xác suất Markov, Kalman, PF, [5], [4], [7] Tuy nhiên việc sử dụng nhiều cảm biến làm tăng độ phức tạp chi phí hệ thống Hiện với phát triển lĩnh vực thị giác máy nên hệ thống SLAM thường sử dụng camera để thu liệu ảnh từ môi trường hoạt động Hệ thống SLAM sử dụng cảm biến ảnh hoạt động mơi trường ngồi trời hay nhà cách thuận lợi, dễ dàng không phụ thuộc vào số lượng hay vị trí lắp đặt cảm biến, ví dụ IPS với beacon gắn tường Bên cạnh đó, với xu hướng sử dụng hệ điều hành robot - ROS (Robot Operating System) [8], [12] phần mềm mã nguồn mở phương pháp SLAM phát triển hiệu Phương pháp SLAM sử dụng cảm biến ảnh phổ biến tảng ROS Visual SLAM Một số phương pháp Visual SLAM maplab, ORB-SLAM2, DVO-SLAM, Elastic Fusion, Các phương pháp giả định camera khơng bị cản trở hình ảnh thu ln đầy đủ tính Việc giả định không phù hợp với thực tế môi trường động với thay đổi khó dự đốn trước Một số phương pháp Visual SLAM có tính mạnh MCPTAM, RGBDSLAMv2 hay RTAB-Map khắc phục hạn chế [9], [10], [11] Trong phương pháp Visual SLAM RTABMap tương đối tồn diện cung cấp đồ dạng lưới 2D (Occupancy Grid) cách sử dụng cảm biến thông thường hay đồ 3D (Octomap) RTABMap phát triển tảng thư viện độc lập C++, phân phối dạng ROS package có khả xử lý thời gian thực, tối ưu hóa xác việc định vị tạo đồ thực tế Bài báo nghiên cứu xây dựng robot có khả xây dựng đồ định vị đồng thời sử dụng phương pháp RTAB-Map tảng ROS Kích thước robot nhỏ, thiết bị lắp đặt phù hợp tối ưu phù hợp với hoạt động môi trường nhà Robot có khả di chuyển tự động, thu liệu, xây dựng đồ định vị vị trí đồ Kết SLAM sử dụng để lập kế hoạch đường cho robot hệ thống dẫn đường tự động Cấu trúc báo trình bày phần Phần giới thiệu mục tiêu nghiên cứu Phần trình bày chi tiết mơ hình hệ thống xây dựng đồ định vị đồng thời Một số kết thực nghiệm để đánh giá hiệu hoạt động robot đề xuất trình bày phần Phần cuối kết luận hướng phát triển II MƠ HÌNH HỆ THỐNG A Hệ thống phần cứng Hình thể sơ đồ kết nối thành phần hệ thống robot nhằm thực việc di chuyển để xây dựng đồ định vị môi trường nhà Các thành phần hệ thống chia thành hai khối chính: khối xây dựng đồ định vị sử dụng camera Realsense D435 kết nối với máy tính Jetson Nano với ROS Ubuntu 18.04, khối chuyển động cấu di chuyển hai bánh vi sai kết nối với vi điều khiển Arduino Mega2560, giao tiếp Arduino Jetson Nano qua UART Nguồn điện áp hai khối cung cấp từ khối nguồn - 12 V Các thành phần phần cứng Hình Thiết kế 3D robot Hình Sơ đồ kết nối thành phần hệ thống đặt khung robot Với yêu cầu trọng lượng nhỏ, độ linh hoạt cao môi trường nhà nên khung robot thiết kế công nghệ in 3D với vật liệu nhựa, mô đun hóa cao nên dễ dàng lắp đặt, điều chỉnh Hình thể mơ hình thiết kế 3D robot Robot có kích thước 180 cm x 150 cm x 118 mm Đường kính bánh xe 0,065 m khoảng cách hai bánh 0,15 m Hình mơ tả vị trí lắp đặt thiết bị khung robot Thiết kế cho phép tối ưu kích thước robot mà đảm bảo an toàn tính hiệu thiết bị Hình ảnh robot thực tế thể Hình B Hệ thống phần mềm Hình thể sơ đồ khối hệ thống phần mềm điều khiển thực chức SLAM Chương trình hoạt động theo ngun lý vịng khép kín: thuật tốn thăm dị hoạch định đường tự động cho robot môi trường chưa biết trước ước lượng vị trí tương đối cảm biến, trả trạng thái robot (x,y,θ) làm Hình Vị trí thiết bị khung robot liệu cho khối chuyển động; khối chuyển động điều khiển chuyển động robot, đồng hóa odometry từ bánh xe liệu từ hệ thống cảm biến đưa vào khối xây dựng đồ định vị sử dụng phương pháp RTAB_Map; khối tổng hợp liệu tổng hợp liệ cảm biến, so sánh tương quan ước lượng trạng thái tương đối rbot đồ; phân đoạn Pointcloud lắp ghép node liệu quan trọng để xây dựng thành đồ hoàn chỉnh Chi tiết hai khối SLAM chuyển động miêu tả phần 1) Khối xây dựng đồ định vị: Khối xây dựng đồ định vị đồng thời hay gọi SLAM sử dụng camera Realsense D345 để thu ảnh chiều sâu qua thư viện librealsense2 Phương pháp RTAB_Map xây dựng đồ dựa xuất vật thời gian thực Hình thể sơ đồ khối phương pháp RTAB_Map với chức khối sau: • Front-end: trích xuất đặc trưng ảnh RGB lấy 2) Khối chuyển động: Khối chuyển động có cấu trúc hai bánh vi sai dẫn động bánh dẫn hướng Hoạt động vi sai dựa chênh lệch vận tốc hai bánh xe làm cho robot chuyển động theo cung trịn có tâm nằm trục bánh xe Hình mơ hình động học cấu trúc hai bánh vi sai hệ tọa độ Đề Trong (XG , OG , YG ) hệ tọa độ toàn cục, (XR , OR , YR ) hệ tọa độ gắn với robot Tư robot bao gồm Hình Hình ảnh robot thực tế Hình Mơ hình động học cấu trúc hai bánh vi sai Hình Sơ đồ hệ thống điều khiển • chiều sâu tương ứng đặc trưng hình ảnh độ sâu sau ước tính chuyển động với hình ảnh trước đặc trưng 3D tương ứng Mỗi node đồ tạo chứa hình ảnh RGB hình độ độ sâu với tư (odometry) Back-end: liên kết chuyển đổi node Khi đồ cập nhật, RTAB_Map so sánh hình ảnh với tất hình ảnh trước đồ để tìm vịng lặp Khi tìm thây vịng lặp, thực tối ưu hóa đồ với tư chỉnh sửa vị trí hướng hệ tọa độ tồn cục biểu diễn thơng qua biến trạng thái (x, y, θ) R bán kính bánh xe L khoảng cách hai bánh Vận tốc tuyến tính u vận tốc góc ω liên quan tới chuyển động robot Mơ hình động học biểu diễn thay đổi trạng thái robot thông qua biến vận tốc sau: ˙ = u(t)cos(θ(t)) x(t) (1) y(t) ˙ = u(t)sin(θ(t)) ˙ θ = ω(t) Vận tốc tuyến tính u vận tốc góc ω xác định thơng qua vận tốc góc bánh trái (ωL ) bánh phải (ωR ) theo công thức sau: u(t) = R(ωL + ωR )/2; ω(t) = R(ωR − ωL )/L (2) III KẾT QUẢ THỰC NGHIỆM Hiệu hệ thống xây dựng đồ định vị đánh giá thông qua hoạt động robot môi trường nhà Robot di chuyển với vận tốc trung bình để xây dựng đồ với thơng số sau: vận tốc tuyến tính 0,129 (m/s), vận tốc góc 0,29 (rad/s), tốc độ xử lý ảnh Hz, tần số lấy mẫu liệu 30 Hz A Xây dựng đồ định vị phịng Hình Sơ đồ phương pháp RTAB_Map Phịng phịng thí nghiệm nhà có diện tích 50 m2 , lát đá Hình (a) hình ảnh thực tế của phịng Phịng thí nghiệm có kê dãy bàn thực nghiệm có khoảng trống dãy bàn Robot di chuyển xung quanh phòng, sử dụng camera để thu ảnh di chuyển, từ tái tạo lại đồ phịng Hình (b) kết xây dựng đồ 2D phòng Bản đồ 3D thu Hình (c) pointcloud hay cịn gọi đám mây điểm Đây tập hợp điểm không gian chiều Dữ liệu đám mây biểu thị hình ảnh vật thể dạng nhiều điểm khơng gian điểm mang tọa độ (x, y, z) Đường màu xanh đồ thể đường robot qua, vùng trắng khơng gian khơng có vật thể robot hoạt động vùng này, vùng màu đen nơi robot khơng hoạt động có vật cản Hình biểu diễn chi tiết kết xây dựng đồ khu vực phòng Do kích thước robot nhỏ, nên thị trường hoạt động camera vùng tầm thấp thu ảnh khoảng cách xa Kết cho thấy robot có khả tái tạo lại đồ cách hiệu Sau đồ xây dựng, vị trí điểm đồ xác định Hình 10 Tọa độ (x, y) số điểm (A, B, C, D, E) cần xác định có giá trị Bảng I Bảng I ĐỊNH VỊ CÁC VỊ TRÍ TRÊN BẢN ĐỒ Vị trí A B C D E Tọa độ (x, y) (m) (1,430 2,925) (2,470 0,390) (5,850 0,455) (5,655 2,860) (5,655 5,070) Để đánh giá độ xác phương pháp xây dựng đồ định vị Bảng II đánh giá khoảng cách đường đồ đường thực tế phòng với số sau: đường đánh giá tạo điểm định vị Bảng I; giá trị đo đồ; giá trị đo thực tế phòng; sai số giá trị đo đồ giá trị đo thực tế Sai số trung bình đoạn 0,028 (m) Sai số phù hợp với kích thước robot B Xây dựng đồ định vị phòng Phịng có diện tích nhỏ, 10 m2 , với bàn, ghế tủ Robot di chuyển quanh phòng để xây dựng đồ phịng Hình 11 thể kết định vị phòng với đồ 2D (Hình 11 (a)) đồ 3D (Hình Bảng II ĐÁNH GIÁ KHOẢNG CÁCH CÁC ĐƯỜNG TRÊN BẢN ĐỒ VÀ THỰC TẾ PHÒNG Khoảng cách (m) AB CD EF GH IK Giá trị đồ (m) 5,92 1,89 2,01 0,91 2,7 Giá trị thực tế (m) 5,9 1,85 2,0 0,94 2,66 Sai số (%) 0,02 0,04 0,01 0,03 0,04 11 (b)) Bản đồ thu với vùng màu trằng vùng robot hoạt động vùng không hoạt động màu đen chứa đồ vật Các vùng trằng đen xác định đồ giống với không thực tế phòng Kết định vị đường đồ phịng thể Hình 12 Bảng III cho thấy giá trị khoảng cách đường đo đồ thực tế Sai số trung bình đường 0.0163 (m) Giá trị sai số nhỏ trường hợp phòng phù hợp với kích thước robot Kết thực nghiệm Bảng III ĐÁNH GIÁ KHOẢNG CÁCH CÁC ĐƯỜNG TRÊN BẢN ĐỒ VÀ THỰC TẾ PHÒNG Khoảng cách (m) AB CD EF GH Giá trị đồ (m) 0,585 0,195 1,235 0,92 Giá trị thực tế (m) 0,6 0,2 1,22 0,95 Sai số (%) 0,015 0,005 0,015 0,03 trình xây dựng đồ định vị robot hai phòng cho thấy hiệu hoạt động hệ thống SLAM Hệ thống có khả tái tạo lại đồ định vị vị trí đồ Sai số hệ thống nhỏ, phù hợp với kích thước robot IV KẾT LUẬN Một robot có kích thước nhỏ gọn, chi phí thấp phát triển nghiên cứu Phương pháp Visual SLAM tảng ROS cho phép robot thu liệu mơi trường, xây dựng đồ định vị ví trí đồ môi trường nhà Hiệu hoạt động robot kiểm nghiệm thông qua đánh giá thực nghiệm phòng thực tế Kết SLAM sử dụng để lập kế hoạch đường cho robot hệ thống dẫn đường tự động (a) Hình ảnh thực tế (b) Bản đồ 2D (c) Bản đồ 3D Hình Xây dựng đồ phịng (a) Hình ảnh thực tế (b) Bản đồ 3D (c) Hình ảnh thực tế (d) Bản đồ 3D (e) Hình ảnh thực tế (f) Bản đồ 3D (g) Hình ảnh thực tế (h) Bản đồ 3D Hình Xây dựng đồ số vùng phòng TÀI LIỆU THAM KHẢO Hình 10 Định vị phịng LỜI CẢM ƠN Nghiên cứu tài trợ Đại học Quốc gia Hà nội theo đề tài mã số QG.17.69 [1] Roland Siegwart, IIlah R Noubaskh, "Introduction to Autonomous Mobile Robot", MIT Press, London, England, 2004 [2] Phillip McKerrow, "Introduction to Robotics", Addison-Wesley, 1991 [3] "https://www.gislounge.com/robotic-mapping-simultaneouslocalization-and-mapping-slam/" [4] Giorgio Grisetti, Rainer Kummerle, Cyrill Stachniss, Wolfram Burgard, “A Tutorial on Graph-Based SLAM”, IEEE Intelligent Transportation Systems Magazine, Volume: 2, Issue: 4, 2010 [5] Dieter Fox, Wolfram Burgard, and Sebastian Thrun, "Markov Localization for Mobile Robots in Dynamic Environments", Journal of Artificial Intelligence Research 11, pp 391-427, 1999 [6] D Simon, "Optimal State Estimation: Kalman, H Infinity, and Nonlinear Approaches", Inc, ISBN 9780471708582, 2006 [7] E A Wan and R v d Merwe, "The Unscented Kalman Filter for Nonlinear Estimation", Proceedings of Symposium 2000 on Adaptive Systems for Signal Processing, Communication and Control (AS-SPCC), Lake Louise, Alberta, Canada, 2000 [8] ROS: http://wiki.ros.org/Documentation [9] Sarganil Das, “Simultaneous Localization and Mapping (SLAM) using RTAB-Map”, 2018 [10] D Schleicher, L.Bergasa, M.Ocan, R.Barea and E.Lo pez “Realtime hierarchical stereo Visual SLAM in large-scale environ- 10.20944/preprints201907.0035.v1, 2019 (a) Bản đồ 2D (b) Bản đồ 3D Hình 11 Xây dựng đồ phịng Hình 12 Định vị phịng ments”, Robotics and Autonomous Systems, vol 58, no 8, pp 991–1002, 2010 [11] Nicolas Ragot, Redouane Khemmar, Adithya Pokala, Romain Rossi "Benchmark of Visual SLAM Algorithm: ORB-SLAM2 vs RTAB-Map", Eighth International Conference on Emerging Security Technologies (EST),DOI: 10.1109/EST.2019.8806213 2019 [12] Bruno M F da Silva, Rodrigo S Xavier and Luiz M G Gonc¸alves "Mapping and Navigation for Indoor Robots under ROS: An Experimental Analysis", Doi: ... rbot đồ; phân đoạn Pointcloud lắp ghép node liệu quan trọng để xây dựng thành đồ hoàn chỉnh Chi tiết hai khối SLAM chuyển động miêu tả phần 1) Khối xây dựng đồ định vị: Khối xây dựng đồ định vị đồng. .. thước robot B Xây dựng đồ định vị phòng Phịng có diện tích nhỏ, 10 m2 , với bàn, ghế tủ Robot di chuyển quanh phòng để xây dựng đồ phịng Hình 11 thể kết định vị phòng với đồ 2D (Hình 11 (a)) đồ. .. nhỏ gọn, chi phí thấp phát triển nghiên cứu Phương pháp Visual SLAM tảng ROS cho phép robot thu liệu mơi trường, xây dựng đồ định vị ví trí đồ môi trường nhà Hiệu hoạt động robot kiểm nghiệm thông