Cải thiện tốc độ tính toán ma trận cơ sở cho bài toán visual odometry Nguyễn Hữu Hùng∗, Vũ Anh Đức∗ ∗ Viện tích hợp hệ thống Học Viện Kỹ thuật Quân Sự Hà Nội, Việt Nam Email hungnh isi edu vn Tóm tắt—[.]
Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Cải thiện tốc độ tính tốn ma trận sở cho toán visual odometry Nguyễn Hữu Hùng∗, Vũ Anh Đức∗ ∗ Viện tích hợp hệ thống Học Viện Kỹ thuật Quân Sự Hà Nội, Việt Nam Email: hungnh.isi.edu.vn Tóm tắt—Trong hệ thống dẫn đường tự động ứng dụng robot, xe tự hành, phương pháp dẫn đường sử dụng hình ảnh thu từ camera đơn hay đôi sử dụng rộng rãi nhờ chi phí rẻ độ xác cao Trong báo này, đề xuất phương án cải thiện tốc độ tính tốn ma trận sở (essential matrix) cách lựa chọn số lượng nghiệm thông qua so sánh với vector sở hai frame ảnh liền trước Phương pháp đề xuất đánh giá tập liệu mở KITTI cho xe tự hành tốc độ tính tốn giảm 5,6 % so với phương pháp cũ Từ khóa—Xử lý ảnh, Dẫn đường hình ảnh, Dẫn đường robot, Xe tự hành I GIỚI THIỆU Phương pháp định vị xây dựng đồ đồng thời (SLAM)[1] kỹ thuật tiếng dành cho hệ thống điều hướng tự hành robot tự hành hành tinh, robot di chuyển nước phương tiện tự hành bao gồm ô tô tự lái, máy bay không người lái tự động, đặc biệt mơi trường nguy hiểm cho tính mạng người VO [2] [3] phần thiết yếu vSLAM sử dụng hình ảnh, đóng vai trị động lái xe hệ thống định vị tự động Chuyển động xe xác định từ điểm đặc trưng trích xuất chuỗi hình ảnh camera chụp lại Sự chuyển động tính tốn từ camera Tuy nhiên, thuật toán VO sử dụng camera túy gặp phải vấn đề độ lệch tỷ lệ dịch chuyển áp dụng điều chỉnh tối ưu toàn cục, vấn đề mơ hồ tỷ lệ dịch chuyển theo chiều sâu Thuật toán VO sử dụng hai camera, thường stereo camera (SVO) với tham số hiệu chỉnh máy ảnh trái-phải, quy đường sở phương pháp đơn giản hiệu để giải tượng lệch tỷ lệ Nó ISBN 978-604-80-7468-5 124 sử dụng từ năm 1980 với ứng dụng thành công robot thám hiểm Hỏa vào năm 2004 [4] Hai cách tiếp cận VO hình học bao gồm phương pháp gián tiếp (dựa đặc trưng) [1] [5] phương pháp trực tiếp [6] - [7] Các phương pháp trực tiếp đặt ước tính từ tương ứng rõ ràng Các phương pháp gián tiếp giải việc giảm thiểu lượng màu sắc hình ảnh tính lỗi cong vênh để xác định tư máy ảnh thông số đồ Ví dụ, ORB-SLAM2 [1] hệ thống SLAM đầy đủ sử dụng phương pháp dựa tính với phân phối điểm khóa ORB thưa thớt, DSO [7] biết đến phương pháp SLAM trực tiếp đầy đủ Bên cạnh đó, VISO2 [5] khung VO phổ biến mà phép quay phép tịnh tiến đồng thời thu cách thu nhỏ phép chiếu lại gọi phương pháp PnP Tương tự, Fanfani dụng phương pháp PnP với lựa chọn khung hình điểm đặc trưng [8] Gần đây, VO [7] dựa ma trận sở cho thấy hiệu suất vượt trội tập liệu KITTI so với phương pháp PnP Ví dụ, phương pháp SOFT2 đề xuất lược đồ lựa chọn đối tượng địa lý cẩn thận dựa đặc điểm đối tượng địa lý sau ước lượng xoay vòng dựa ma trận bản, sau dịch ước tính cách giảm thiểu lỗi chiếu lại Hay phương pháp MESVO_FP [9] đề xuất tích hợp nhiều khung hình để định vị dựa ma trận thiết yếu cách điều tra chuyển đổi tích hợp tính ba khung hình cuối giao diện người dùng Ràng buộc vịng kín sử dụng để tinh chỉnh tư tương đối khung hình trước khung hình từ tư hai khung hình trước Ngồi ra, vị trí đặc trưng khung tinh chỉnh ràng buộc hình học từ Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2022) Hình Phương pháp cải thiện tốc độ tính tốn Khổi màu vàng mơ tả thuật tốn năm điểm [3] Khơi màu xám mơ tả thuật tốn đề xuất giảm số lượng nghiệm đánh giá sai số từ m xuống để tăng tốc thời gian tính tốn khung trước Được biết, xe tự hành thường di chuyển tốc độ cao dịch chuyển khơng có khác biệt đáng kể góc quay hướng nên ma trận sở hay vector sở gần thay đổi Từ đề xuất phương pháp để giảm thời gian tính tốn Bài báo trình bày cải tiến tốc độ tính tốn ma trận sở cho toán VO cách chọn hai từ m nghiệm lưu so sánh vector sở hai khung hình liền kề trước biểu diễn vector × Hai nghiệm có sai số góc nhỏ so với vector sở hai khung hình liền trước Hình mơ tả cách tiếp cận đề xuất dựa thuật toán năm điểm tiếng [3] Bắt đầu từ cặp điểm tương đồng đưa vào điều kiện (2), (3) , (4) để biến đổi thành phương trình biến bậc 10 Giải phương trình có tối đa 10 nghiệm tìm nghiệm có sai số nhỏ dựa điều kiện epipolar Đóng góp chúng tơi nằm chỗ đánh dấu khối màu đỏ, từ N nghiệm thu dựa vào vector frame liền kề trước để chọn nghiệm có sai số nhỏ so với vector sở Và cuối tìm nghiệm có sai số nhỏ từ nghiệm vừa tìm Với cải tiến này, phương pháp đề xuất thu sai số trung bình dịch 0,87 % sai số trung bình quay 0,321 độ / 100m có cao chút so với phương pháp ban đầu (0,84 % 0,304) số frame có kết tốt thời gian thực ngắn so với phương ISBN 978-604-80-7468-5 125 pháp cũ 5% Phần lại báo bố trí sau Phần II, chúng tơi tóm tắt kỹ thuật tính tốn ma trận chuyển bao gồm ma trận quay vector tịnh tiến dựa ma trận sở đề xuất để tăng tốc ma trân sở Trong Phần III, đánh giá hiệu suất phương pháp đề xuất tập liệu KITTI cách so sánh với cách tiếp cận thơng thường khác II CẢI THIỆN TỐC ĐỘ TÍNH TỐN MA TRẬN CƠ SỞ Phần tóm tắt ngắn gọn visual odometry dựa ma trận sở, điểm đặc trưng trích xuất xác định cặp điểm tương đồng [5] Ước tính ma trận dịch chuyển dịch chuyển tịnh tiến hai phần để xác định vị trí phương tiện so với vị trí ban đầu Phương pháp cải tiến thời gian mô tả cụ thể mục B A Xác định dịch chuyển dựa ma trận sở Sự dịch chuyển robot biểu diễn ma trận quay vector tịnh tiến Giá trị ma trân quay hướng dịch chuyển tịnh tiến tính tốn thơng qua ma trận thiết yếu (E) Ma trận E thể mối liên hệ cặp điểm đặc trưng trích xuất từ ảnh ảnh liền trước Nó thể qua công thức sau (1) E = T× R (1) Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) đó, R T × hai ma trận × bao gồm ma trận quay ma trận xiên Hơn nữa, ma trận E phải thỏa mãn hai ràng buộc sau: det(E) = 0, (2) 2EET E − tr(EET )E = (3) Mỗi cặp điểm đặc trưng tương đồng 2D (p, q) hai khung ảnh thỏa mãn ràng buộc biểu thức pT Eq = (4) Kết hợp ràng buộc biểu thức phương trình (2) (3) để có ma trận sở sử dụng thuật toán năm điểm Nister [3] Khi ma trận ước lượng ma trận quay R hướng dịch chuyển t khơi phục B Cải thiện tốc độ tính tốn ma trận sở Như mô tả trên, ma trận sở tính tốn từ tập cặp điểm tương đồng Năm cặp điểm đưa vào điều kiện phương trình (2), (3) (4) Sau biến đổi phương trình thành phương trình biến bậc mười nên tối đa có 10 nghiệm Theo thuật tốn năm điểm Nister [3], trung bình có 5-6 nghiệm Tuy nhiên xe tự hành, chúng thường di chuyển với tốc độ cao, nên dịch chuyển khơng có nhiều khác biệt góc quay hướng, tận dụng điều kiện để loại bỏ bớt nghiệm ma trận sở nhằm giảm thời gian tính tốn Ma trân sở × biến đổi thành vector sở × Vector sở hai frame ảnh liền trước lưu để loại bỏ nghiệm ma trận sở frame trước Eprv Phương pháp lựa chọn m nghiệm ma trận sở với ý tưởng đơn giản mô tả cụ thể Hình Vector sở khung hình trước Eprev lưu trữ trước Khi tìm m ngiệm vector sở Ei khung hình liền kề trước, tiến hành đánh giá sai số sai khác góc vector biểu diễn dot product dot = EprevEi (5) Chỉ m vector (tốt tốt nhì có sai số góc nhỏ so với Eprev) giữ lại cho giai đoạn đánh giá sai số, m− vector loại bỏ thường góc lớn so với Eprev Kết việc đánh giá sai số chọn vector có sai số nhỏ cho cặp điểm Việc ISBN 978-604-80-7468-5 126 Hình Phương pháp lựa chọn m nghiệm thực lặp n lần với N cặp điểm tương đồng để chọn vector sở cuối Việc tính tốn ma trận quay dịch chuyển tịnh tiến thực theo [3] vector sở frame liền trước lại lưu vào Eprev đề phục vụ việc so sánh frame III KẾT QUẢ THỰC NGHIỆM Chúng tơi thử thuật tốn tập liệu KITTI để có đánh giá chi tiết hiệu suất độ xác thời gian tính tốn Bộ liệu KITTI phổ biến với nhà nghiên cứu hệ thống lái xe tự động bao gồm 22 chuỗi ảnh chia thành hai phần: 1) tập liệu đào tạo (00-10) 2) tập liệu kiểm tra (11-21) Bộ liệu thu thập điều kiện môi trường khác tốc độ, ánh sáng, điều kiện bóng tối, đối tượng chuyển động để đánh giá thuật toán cách xác Bộ liệu hỗ trợ công cụ cho phép đánh giá hiệu suất thuật toán cách tự động cách đo sai số tương đối (RMSE) trình quay dịch [10] Nó xác định số sai số trung bình tất chuỗi có độ dài (100, 200, , 800 mét) Để có đánh giá khách quan, chúng tơi so sánh kết thuật tốn với phương pháp khác VISO2 [5] MESVO_PF [9] Kết phương pháp đề xuất dựa phương pháp MESVO_PF [9] với thay đổi cách thức lựa chọn số lượng nghiệm Thuật tốn chúng tơi so sánh với phương pháp khác VISO2[5], MESVO_PF [9] để đánh giá hiệu suất Sai số RE sai số ma trận quay trung bình (độ / 100m) sai số dịch chuyển tịnh tiến TE (%) Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Bảng I ĐÁNH GIÁ ĐỘ CHÍNH XÁC TRÊN BỘ DỮ LIỆU KITTI Sec Num TE (%) 2,43 2,46 4,42 2,19 2,54 1,02 2,07 1,31 2,30 2,74 2,76 1,63 Avg 10 VISO2 [5] RE deg ( 100m ) 1,106 1,181 1,015 0,808 1,198 0,866 1,124 0,917 1,771 1,336 1,152 1,118 MESVO_PF [9] RE TE deg ( 100m ) (%) 0,84 0,304 0,78 0,350 1,62 0,269 0,83 0,264 0,77 0,247 0,75 0,229 0,63 0,264 0,83 0,310 1,20 0,877 1,03 0,310 0,78 0,201 0,82 0,292 tóm tắt Bảng II Nó cho thấy RMSE tất 11 chuỗi chi tiết trung bình chúng cho ba cách tiếp cận Phương pháp chúng tơi đánh giá với hai tùy chọn: 1) tích hợp nhiều khung với tinh chỉnh tư (MESVO_P) 2) tích hợp nhiều khung với tinh chỉnh tư tính (MESVO_PF) TE (%) 0,87 0,82 0,68 0,75 0,92 0,55 0,67 0,97 0,88 1,17 0,93 0,78 Đề xuất RE deg ( 100m ) 0,321 0,355 0,344 0,269 0,315 0,195 0,304 0,338 0,527 0,361 0,252 0,327 1000 800 Z(m) 600 400 500 200 400 GT VISO2 MESVO_PF 300 Ours Z(m) -200 -100 200 300 400 500 600 700 Hình Quỹ đạo Chuỗi 02 cho cách tiếp cận so với ground-truth 100 GT VISO2 MESVO_PF Ours -100 -300 100 X(m) 200 0 -200 -100 100 200 300 X(m) Hình Quỹ đạo Chuỗi 00 cho cách tiếp cận so với ground-truth Đối với lỗi dịch xoay, thuật toán chúng tơi nhận kết trung bình thấp so với VISO2 cao chút so với MESVO_FP có kết số chuỗi tốt MESVO_FP Ví dụ, sai số quay trung bình VISO2, MESVO_FP phương pháp 1,106 độ / 100m, 0,304 độ / 100m 0,321 độ / 100m, sai số quay chuỗi VISO2, ISBN 978-604-80-7468-5 127 MESVO_FP phương pháp 0,87 độ / 100m, 0,23 độ / 100m 0,2 độ / 100m Mặc dù sử dụng phương pháp dựa ma trận thiết yếu tương tự VISO2 MESVO_FP, phương pháp với việc dựa vector frame liền để chọn nghiệm làm giảm sai số xoay trung bình khoảng 30% so với VISO2 nhỉnh 5,5% so với MESVO_FP Độ xác ma trận dựa xoay chứng minh cao so với VISO2 cao số chuỗi so với MESVO_FP Sai số dịch thuật VISO2 MESVO_FP tương ứng 2,43%, 0,84%, phương pháp tiếp cận đề xuất 0,87% Có nghĩa lỗi dịch thuật trung bình Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2022) xác cải thiện tốt chuỗi ảnh mà xe tốc độ cao, số lượng điểm đặc trung thu Trong tương lai, tiếp tục nghiên cứu hướng chuyên sâu khác để cải thiện hiệu suất cho toán visual odometry cho xe tự hành máy bay tự lái Bảng II ĐÁNH GIÁ THỜI GIAN VÀ SỐ LƯỢNG NGHIỆM Số lượng nghiệm Thời gian trung bình(ms) MESVO_PF 4,2 58,6 Đề xuất 55,3 TÀI phương pháp tiếp cận giảm khoảng 36% so với VISO2 thấp 3,6% so với MESVO_FP kể từ áp dụng phương pháp chọn nghiệm dựa frame liền kề trước Dù sai số có tăng lên chút nhiên chuỗi có sai số lớn chuỗi 01 07, phương pháp chúng tơi có xu giảm việc trì điều kiện tính tốn ma trận sở, phương pháp khác việc tính tốn dễ bị sai số lượng inlier Để minh chứng cho độ xác, vẽ lại đường xe tự hành với Chuỗi 00 Sector Chuỗi liệu KITTI Đường đỏ đường ground-truth xây dựng từ Gps Imu coi đường xác phương tiện Đường màu xanh màu xanh da trời kết phương pháp VISO2 MES_FP Đường màu đen kết phương pháp đề xuất Kết phương pháp tương đương so với MES_FP xây dựng từ phương pháp Chúng đánh giá thời gian tính tốn ma trận sở phương pháp : (1) phương pháp điểm dùng MESVO_FP (2) phương pháp chọn hai vector nghiệm đề xuất Ngồi chúng tơi đo số lượng nghiệm trung bình phương pháp Cả kết tổng hợp Bảng II Thời gian tính tốn phương pháp đề xuất trung bình 55,3ms so với phương pháp năm điểm sử dụng MESVO_FP 58,5ms giảm 5,6% Trong số lượng nghiệm giảm từ 4,2 xuống IV KẾT LUẬN Trong báo chúng tơi nghiên cứu cải tiến tốc độ tính tốn ma trận cho tóan visual odometry phương pháp chọn nghiệm từ m nghiệm dựa vector frame liền kề để cuối chọn nghiệm có sai số nhỏ Chúng tơi chứng minh sử dụng phương pháp sai số tương đối cải thiện nhiều so với phương pháp VISO2 Tuy sai số tương đối có phần phương pháp MESVO_PF thời gian thực thuật toán nhanh phương pháp khoảng 5,6% Bên cạnh độ ISBN 978-604-80-7468-5 128 LIỆU [1] Hans P Moravec The stanford cart and the cmu rover Proceedings of the IEEE, 71(7):872–884, 1983 [2] Huu Hung Nguyen, Quang Thi Nguyen, Cong Manh Tran, and Dong-Seong Kim Adaptive essential matrix based stereo visual odometry with joint forward-backward translation estimation In International Conference on Industrial Networks and Intelligent Systems, pages 127–137 Springer, 2020 [3] David Nistér, Oleg Naroditsky, and James Bergen Visual odometry In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 CVPR 2004., volume 1, pages I–I Ieee, 2004 [4] Raul Mur-Artal and Juan D Tardós Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras IEEE transactions on robotics, 33(5):1255–1262, 2017 [5] Bernd Kitt, Andreas Geiger, and Henning Lategahn Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme In 2010 ieee intelligent vehicles symposium, pages 486–492 IEEE, 2010 [6] Huu Hung Nguyen and Sukhan Lee Orthogonality index based optimal feature selection for visual odometry IEEE Access, 7:62284–62299, 2019 [7] Igor Cvisˇic´ and Ivan Petrovic´ Stereo odometry based on careful feature selection and tracking In 2015 European Conference on Mobile Robots (ECMR), pages 1–6 IEEE, 2015 [8] Marco Fanfani, Fabio Bellavia, and Carlo Colombo Accurate keyframe selection and keypoint tracking for robust visual odometry Machine Vision and Applications, 27(6):833–844, 2016 [9] Huu-Hung Nguyen, The-Tien Nguyen, Xuan-Phuc Nguyen, Cong-Manh Tran, and Quang-Thi Nguyen Multiple frame integration for essential matrix-based visual odometry In 2022 16th International Conference on Ubiquitous Information Management and Communication (IMCOM), pages 1–6 IEEE, 2022 [10] Andreas Geiger, Philip Lenz, and Raquel Urtasun Are we ready for autonomous driving? the kitti vision benchmark suite In 2012 IEEE conference on computer vision and pattern recognition, pages 3354–3361 IEEE, 2012 ... để có ma trận sở sử dụng thuật toán năm điểm Nister [3] Khi ma trận ước lượng ma trận quay R hướng dịch chuyển t khơi phục B Cải thiện tốc độ tính tốn ma trận sở Như mô tả trên, ma trận sở tính. .. thường khác II CẢI THIỆN TỐC ĐỘ TÍNH TỐN MA TRẬN CƠ SỞ Phần tóm tắt ngắn gọn visual odometry dựa ma trận sở, điểm đặc trưng trích xuất xác định cặp điểm tương đồng [5] Ước tính ma trận dịch chuyển... xuất phương pháp để giảm thời gian tính tốn Bài báo trình bày cải tiến tốc độ tính tốn ma trận sở cho toán VO cách chọn hai từ m nghiệm lưu so sánh vector sở hai khung hình liền kề trước biểu