Chú thích: (a) kịch bản đơn giản và (b) kịch bản phức tạp hơn
Hình 4.12 minh họa kết quả theo dõi vị trí của xe rơ-bốt với hai loại kịch bản gồm kịch bản có một vật cản và kịch bản có nhiều vật cản. Vị trí của điểm bắt đầu và điểm kết thúc được biểu thị bằng tọa độ 2D. Rô-bốt được khởi tạo ở hướng 12h. Sau khi rô- bốt nhận được tọa độ của điểm bắt đầu và điểm kết thúc, nó sẽ xác định góc quay để hướng về về mục tiêu trước rồi di chuyển về phía mục tiêu như minh họa bằng phân đoạn đường theo dõi vị trí xe rơ-bốt màu xanh đầu tiên. Khi hệ thống phát hiện tắc nghẽn đầu tiên, nó xác định góc quay để tránh chướng ngại vật và tránh xa các vật cản để đảm bảo chúng đủ an toàn (đoạn đỏ đầu tiên). Như vậy, rơ-bốt hồn tồn tn thủ chiến lược di chuyển được đề xuất. Rơ-bốt đạt được điểm đến của mình trong cả hai trường hợp với một vật cản và nhiều vật cản với góc điều chỉnh hướng gần như vơ cấp. Vì vậy, phương pháp điều hướng AMSD đề xuất thể hiện tính linh hoạt hơn và mượt mà hơn ba cơng trình khác gần đây như so sánh được trình bày trong Bảng 4.1. Kết quả điều hướng được đánh giá dựa trên các yếu tố phạm vi góc điều hướng, số lượng hướng đi trong góc phạm vi đó. Đáng chú ý là bước góc quay điều chỉnh hướng của phương pháp đề xuất là rất nhỏ. Nó minh chứng cho hiệu quả của thuật tốn áp dụng cho việc điều khiển rô- bốt tự trị trong nhà.
Tỷ lệ định hướng hoặc phân loại tình huống đúng của chiến thuật dẫn đường đề xuất được so sánh với kết quả của các phương pháp khác (Bảng 4.2). Rơ-bốt đạt đến đích với tỷ lệ thành cơng 98.7%, tuy nhiên thời gian của mỗi bài kiểm tra không giống nhau.
97
Bảng 4.1. So sánh hiệu năng các phương pháp dẫn đường cho rô-bốt trong nhà
Phương pháp (Tác giả) Bước lượng tử (0) Sai số lượng tử (0) Phạm vi điều hướng (0) Số lượng hướng điều hướng Correa [36] (2012) 22.5 11.25 180 8 Zainuddin [73] (2014) 90 45 180 4 XIN Jing [74] (2016) 22.5 11.25 360 16 Phương pháp đề xuất AMSD 1 0.5 180 180
Bảng 4.2. So sánh tỷ lệ điều hướng thành công
Phương pháp (Tác giả) Tỷ lệ định hướng/phân loại đúng (%)
(Correa) [36] 92
(Biswas) [95] 100
Phương pháp đề xuất AMSD 100
4.3.3. Kết luận
Trong nghiên cứu này, tác giả tập trung vào việc phát triển hệ thống dẫn đường tự trị trong nhà cho các ứng dụng rô-bốt di động bằng cách khai thác bản đồ độ sâu. Hệ thống rô-bốt trong nhà được trang bị với một máy ảnh RGB-D đã thực hiện tốt với phương pháp điều hướng đề xuất, không bị ảnh hưởng bởi cường độ ánh sáng của môi trường hoạt động. Kết quả thu hoạch chứng minh giải quyết vấn đề điều hướng rô-bốt trong một môi trường động chưa biết với phương pháp AMSD được đề xuất. Máy ảnh RGB-D sử dụng là Kinect phù hợp cho ứng dụng dẫn đường cục bộ bởi khả năng cung cấp dữ liệu mạnh mẽ và đáng tin cậy để tránh chướng ngại vật trong môi trường trong nhà phức tạp. Dự án điều hướng dựa trên khai thác video chiều sâu thời gian thực đã được cải thiện với hiệu suất cao hơn bằng cách so sánh các thông số tỷ lệ thành cơng và khả năng của góc hướng trong số các phương pháp điều hướng thú vị hiện tại. Trong
98
tương lai, cần sử dụng máy ảnh có độ phân giải cao để phân tích thêm về hình học đối tượng. Ngồi ra, nghiên cứu cũng nên khai thác dữ liệu sâu hơn nữa bằng cách kết hợp luồng dữ liệu chiều sâu với luồng dữ liệu màu để mang lại kết quả tinh tế và nhân bản hơn.
Tổng kết chương
Chương này đã trình bày phương pháp điều hướng AMSD cho rô-bốt di động trong môi trường trong nhà chỉ sử dụng luồng dữ liệu độ sâu. Phương pháp điều hướng thời gian thực được tích hợp trong hệ thống rơ-bốt tự xây dựng được trang bị máy ảnh RGB-D có độ phân giải 640x480. Đầu tiên, phương pháp này áp dụng nguyên tắc di chuyển khả thi là phương tiện giao thông đường bộ thường di chuyển trên mặt đất. Vì vậy, phương pháp này bắt đầu với việc tìm kiếm mặt đất từ video chiều sâu được cung cấp ổn định. Dựa trên hình dạng của mặt đất đáng tin cậy này, đề xuất thuật toán lựa chọn hướng di chuyển mạnh mẽ. Trong khi chờ đợi, hệ thống rô-bốt luôn theo chiến lược khoảng cách đường tối thiểu đến mục tiêu đã cho. Đồng thời, với một bản đồ được xác định trước về môi trường hoạt động, vấn đề điều hướng rô-bốt được giải quyết với cùng mức tỷ lệ thành công của các phương pháp gần đây như FSPF. Hệ thống rô-bốt được điều hướng mạnh mẽ hơn và linh hoạt hơn phương pháp mạng nơ-ron với bước góc điều chỉnh 10. Các thử nghiệm đã chỉ ra rằng độ ổn định và độ chính xác của thuật toán điều hướng được đề xuất lên đến 98%. Thời gian xử lý của phương pháp đề xuất điều hướng được giảm thiểu để đáp ứng các ứng dụng thời gian thực của rô-bốt.
Rô-bốt được dẫn đường thành cơng trong một phịng là một bước tiến tới sự phát triển của thiết bị tự trị hồn tồn. Việc tích hợp hệ thống dẫn đường thị giác vào rơ-bốt có thể được sử dụng làm nền tảng. Các ứng dụng khai thác dữ liệu độ sâu cũng như luồng ảnh màu ngày càng sâu rộng để tiếp tục đánh giá và phát triển các chức năng liên quan đến các phương tiện tự trị thị giác tương lai. Mặc dù các điều kiện giữa môi trường trong nhà và ngồi nhà khác nhau rất lớn nhưng nhiều tính năng cơ bản của hệ thống điều khiển hồn tồn giống nhau. Hệ thống rơ-bốt cần nâng cao phân hệ cơ khí phù hợp, hỗ trợ tối ưu di chuyển an tồn. Các phần cứng máy tính mạnh mẽ, phân hệ nguồn cung cấp dung lượng lớn tạo điều kiện tăng hiệu năng của xe rô-bốt. Mỗi hệ thống rơ-bốt cần nhận biết được các tính chất của mơi trường vận hành.
99
KẾT LUẬN VÀ KIẾN NGHỊ
1. Kết luận
Đóng góp khoa học của luận án
1. Luận án đề xuất thuật toán xác định các mặt phẳng từ bản đồ độ sâu. Bước đầu, đề xuất tăng cường thuật tốn tính bản đồ chênh lệch SAD. Phương pháp thực hiện tính tốn trên tập điểm biên của ảnh thị giác nổi, giúp giảm sâu khối lượng dữ liệu cần xử lý. Từ đó giảm thời gian tính tốn, đáp ứng các phát triển các ứng dụng thời gian thực. Tiếp theo, luận án đề xuất phương pháp trích mặt phẳng từ bản đồ độ sâu sử dụng thuật tốn Lọc và gom nhóm hàng xóm (NGaF) có khả năng giảm độ phức tạp tính tốn cũng như tăng tốc độ xử lý. Sau đó, luận án đề xuất phương pháp nhận dạng mặt đất áp dụng thuật toán Bản đồ gradient độ sâu (GDM) để khai thác bản đồ độ sâu. Thuật toán được nghiên cứu trên dữ liệu được cung cấp bởi máy ảnh màu cơ bản và độ sâu (RGB-D) hoặc hệ thống thị giác nổi. Mục đích chính của bài tốn nhận dạng mặt đất là phát triển ứng dụng dẫn đường dựa trên hệ thống thị giác cho hệ rô-bốt di động trong nhà.
2. Luận án đề xuất phương pháp dẫn đường cho rô-bốt trong môi trường không biết trước dựa trên việc xác định mặt phẳng đất gọi là Luôn di chuyển thẳng tới đích (AMSD). Kế thừa những kết quả nghiên cứu đạt được trong bài toán nhận dạng mặt phẳng đất, luận án phát triển việc khai thác mặt đất để tìm ra hướng đi ngắn nhất tới đích cho trước. Ban đầu là việc xây dựng mơ hình xe rơ-bốt thích hợp với mơi trường thử nghiệm cái mà chỉ được trang bị hệ cảm biến RGB-D. Thuật tốn tìm mặt đất tích hợp trong hệ rơ-bốt đáp ứng được thời gian thực, giúp cho việc tìm phương hướng một cách chắc chắn và nhanh chóng. Đây cũng chính là giải quyết tránh vật cản trở đạt hiệu quả cao.
2. Kiến nghị nghiên cứu tiếp theo
Các kiến nghị nghiên cứu tiếp theo cũng chính là các vấn đề còn hạn chế của luận án này cũng như định hướng hoàn thiện đề tài.
1. Tăng cường chất lượng trích xuất mặt phẳng, nhận dạng mặt đất. Xây dựng mơ hình 3D theo thời gian thực và có độ chính xác cao.
2. Tăng cường khai thác dữ liệu độ sâu kết hợp với các luồng dữ liệu màu để mở rộng nhận dạng được nhiều loại đối tượng trong ảnh. Nghiên cứu theo định hướng tích hợp mơ hình trí tuệ nhân tạo để giải quyết sâu hơn bài tốn nhận dạng.
100
DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN
A. Các cơng trình cơng bố là kết quả trực tiếp của luận án
1. D. K. Hoa, L. Dung and N. T. Dzung, (2013), "Efficient determination of disparity map from
stereo images with modified sum of absolute differences (SAD) algorithm", IEEE, 2013
International Conference on Advanced Technologies for Communications (ATC 2013), Ho Chi Minh City, 2013, ISBN Information: Electronic ISBN: 978-1-4799-1089-2, Print ISBN: 978-1-4799-1086-1, CD-ROM ISBN: 978-1-4799-1088-5, ISSN Information: Print ISSN: 2162-1020, Electronic ISSN: 2162-1039, doi: 10.1109/ATC.2013.6698196, http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6698196&isnumber=6698065, pp. 657-660.
2. Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2016), “Gradient depth map
based ground plane detection for mobile robot applications”, 8th Asian Conference on
Intelligent Information and Database Systems, (ACIIDS 2016), Lecture Notes in Artificial Intelligence, Part I (LNAI 9621), subseri of Lecture Notes in Computer Science (LNCS), ISSN 0302-9743, ISBN 978-3-662-49380-9, ISBN 978-3-662-49381-6 (eBook), © Springer-Verlag Berlin Heidelberg 2016, pp. 721-729. (ISI Conference Proceedings Citation Index, Scopus, Q1-2016).
3. Dang Khanh Hoa, Bach Ngoc Minh, Nguyen Tien Dzung, (2017), “Effective Method For
Detecting Multi Planes From Depth Maps”, VNU Journal of Science: Natural Sciences and
Technology, ISSN 0866-8612, vol. 33(1), pp. 58-66.
4. Dang Khanh Hoa, Pham The Cuong, Nguyen Tien Dzung, (2017), “An Effective Ground
Plane Extraction using Depth Map Estimation from a Kinect Devide”, Journal of Science &
Technology of Technical Universities, vol. 123, ISSN 2354-1083, pp. 19-25.
5. Dang Khanh Hoa, Than Viet Duc, Vu Minh Hoang, Vu Song Tung and Nguyen Tien
Dzung, (2018), “AN EFFECTIVE DEPTH MAP NAVIGATION FOR MOBILE ROBOT IN
INDOOR ENVIRONMENTS”, JP Journal of Heat and Mass Transfer, Special Volume, Issue
II, Advances in Mechanical System and ICT-convergence, ISSN: 0973-5763, http://dx.doi.org/10.17654/HMSI218221, pp. 221 – 237. (Scopus, Q4-2017).
6. Dang Khanh Hoa, Than Viet Duc, Do Trong Anh, Vu Song Tung, Le Dzung,
Nguyen Tien Dzung, (2018), “An Improved Navigation Method for Robot in Indoor
Dynamic Environment Based on Ground Extraction”, Journal of Science &
Technology of Technical Universities, vol. 131 (11/2018), ISSN: 2354-1083, pp.062- 068.
101
B. Đề tài khoa học và công nghệ công bố liên quan đến luận án
7. Chủ nhiệm đề tài KH&CN cấp cơ sở phân cấp mã số T2016-PC-108, (2017), “Nghiên
cứu phát triển thuật tốn trích mặt phẳng đất và vật cản dựa trên hệ thống cảm biến kinect ứng dụng hỗ trợ dẫn đường cho rô-bốt di động”.
102
TÀI LIỆU THAM KHẢO
[1] R. R. A. Bourne and a. el, "Magnitude, temporal trends, and projections of the global prevalence of blindness and distance and near vision impairment: a systematic review and meta-analysis," Articles, vol. 5, no. 9, pp. 888-897, 2017.
[2] F. TR, T. N, R. S, P. E, B. A, H. SM, N. T and N. KS, "Global Prevalence of Presbyopia and Vision Impairment from Uncorrected Presbyopia: Systematic Review, Meta- analysis, and Modelling," Ophthalmology, vol. 125, no. 10, pp. 1492-1499, 2018. [3] F. Rong, C. Du-wu and H. Bo, "A Novel Hough Transform Algorithm for Multi-
objective Detection," in 2009 Third International Symposium on Intelligent Information
Technology Application, Shanghai, 2009 .
[4] D. Borrmann, J. Elseberg, K. Lingemann and A. Nüchter, "The 3D Hough Transform for plane detection in point clouds: A review and a new accumulator design," 3D Research, vol. II, no. 2, pp. 1-13, 2011.
[5] Yang, M. Ying and W. Förstner, "Plane detection in point cloud data," Bonn, Germany, 2010.
[6] P. Labatut, J.-P. Pons and R. Keriven, "Hierarchical shape-based surface reconstruction for dense multi-view stereo," in IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), Kyoto, Japan, 2009.
[7] E. Bughin, A. Almansa, R. G. v. Gioi and Y. Tendero, "Fast Plane Detection In Disparity Maps," in Proceedings of 2010 IEEE 17th International Conference on Image Processing, Hong Kong, 2010.
[8] L. V. Hung, V. Hai, N. T. Thuy, L. T. Lan and T. T. T. Hai, "Table plane detction using geometrical constraints on depth image," in Proceedings of the National conference on
Fundamental and applied IT research (FAIR), Hanoi, 2015.
[9] V.-H. LE, M. VLAMINCK, H. VU, T.-T. NGUYEN, T.-L. LE, T.-H. TRAN, Q.-H. LUONG, P. VEELAERT and W. PHILIPS, "Real-Time Table Plane Detection Using Accelerometer Information And Organized Point Cloud Data From Kinect Sensor,"
Journal of Computer Science and Cybernetics, vol. 32, no. 3, p. 243–258, 2016.
[10] M. Zhang, G. Jiang, C. Wu and L. Quan, "Horizontal plane detection from 3D point clouds of buildings," Electronics letters, vol. 48, no. 13, pp. 764-765, 2012.
[11] H. Masuta, S. Makino and H.-o. Lim, "3D plane detection for robot perception applying particle swarm optimization," in 2014 World Automation Congress (WAC), Waikoloa, HI, USA, 2014 .
103 [12] Bouchafa, Samia, A. Patri and B. Zavidovique, "Efficient plane detection from a single
moving camera," in 2009 16th IEEE International Conference on Image Processing (ICIP), Cairo, Egypt, 2009.
[13] H. Osian and C. Andrew, "Detecting planes and estimating their orientation from a single image," Visual Information Laboratory, University of Bristol, Bristol, 2012.
[14] J. E. Deschaud and F. Goulette, "A fast and accurate plane detection algorithm for large noisy point clouds using filtered normals and voxel growing," HAL, Paris, France, 2010. [15] H. W. Yoo, W. H. Kim, J. W. Park, W. H. Lee and M. J. Chung, "Real-time plane detection based on depth map from Kinect," in 2013 44th International Symposium on Robotics (ISR), Seoul, South Korea, 2013.
[16] F. D. F., D. Scharstein and A. J. Briggs, "Multiple plane detection in image pairs using j-linkage," in 2010 20th International Conference on Pattern Recognition (ICPR),
Istanbul, Turkey, 2010.
[17] A. Hast, J. Nysjö and A. Marchetti, "Optimal RANSAC – towards a repeatable algorithm for Finding the optimal set," Journal of WSCG, vol. 21, no. 1, p. 21–30, 2013.
[18] X. Hu, Rodriguez and Gepperth, "A multi-modal system for road detection and segmentation," in 2014 IEEE Intelligent Vehicles Symposium Proceedings, Michigan,
USA, 2014.
[19] A. Sakai, Y. Tamura and Y. Kuroda, "Visual odometry using feature point and ground plane for urban environment," in 41st International Symposium on and 2010 6th German
Conference on Robotics (ROBOTIK), Munich, Germany, 2010.
[20] Z. Wang and J. Zhao, "Optical flow based plane detection for mobile robot navigation," in The 8th World Congress on Intelligent Control and Automation, Taiwan, 2011. [21] A. Jamal, P. Mishra, S. Rakshit, A. K. Singh and M. Kumar, "Real-time ground plane
segmentation and obstacle detection for mobile robot navigation," in 2010 International
Conference on Emerging Trends in Robotics and Communication Technologies (INTERACT 2010), Chennai, India, 2010.
[22] K. Gong and R. Green, "Ground-plane detection using stereo depth values for wheelchair guidance," in 24th International Conference Image and Vision Computing New Zealand
(IVCNZ), Wellington, New Zealand, 2009.
[23] H. Haberdar and S. K. Shah, "Disparity Map Refinement for Video Based Scene Change Detection Using a Mobile Stereo Camera Platform," in 2010 20th International Conference on Pattern Recognition, Istanbul, 2010.
104 [24] C. Teoh, C. Tan and Y. C. Tan, "Ground plane detection for autonomous vehicle in
rainforest terrain," in IEEE Conference on Sustainable Utilization and Development in Engineering and Technology (STUDENT), Wellington, New Zealand, 2010.
[25] F. Tarsha-Kurdi, T. Landes and P. Grussenmeyer, "Hough-transform and extended ransac algorithms for automatic detection of 3d building roof planes from lidar data," in
Proceedings of the ISPRS Workshop on Laser Scanning, Vol. 36;, Espoo, Finland, 2007.
[26] J. Arrospide, L. Salgado, M. Nieto and R. Mohedano, "Homography-based ground plane detection using a single on-board camera," IET Intelligent Transport Systems, vol. 4, no. 2, p. 149–160, 2010.
[27] N. M. M.Elhabiby and N. El-Sheimy, "Indoor localization and mapping using camera and inertial measurement unit (IMU)," in 2014 IEEE/ION Position, Location and Navigation Symposium (PLANS 2014), Monterey, CA, USA, 2014.
[28] P. Mishra, J. K. Kishore, R. Shetty, A. Malhotra and R. Kukreja, "Monocular vision based real-time exploration in autonomous rovers," in 2013 International Conference on
Advances in Computing, Communications and Informatics (ICACCI), Mysore, India,
2013.
[29] I. FLIR Systems, "ptgrey," [Online]. Available: https://www.ptgrey.com/corporate/about-us. [Accessed 20 8 2017].
[30] F. Endres, J. Hess, N. Engelhard, J. Sturm, D. Cremers and W. Burgard, "An evaluation