(Luận văn thạc sĩ hcmute) quy hoạch quỹ đạo cho robot di động dựa trên thị giác máy tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, 2011 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS NGƠ VĂN THUN TP Hồ Chí Minh, tháng 10/2011 Luan van LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Nguyễn Hữu Nam Giới tính: Nam Ngày, tháng, năm sinh: 30/04/1986 Nơi sinh: Đồng Nai Quê quán: Nghệ An Dân tộc: Kinh Chỗ riêng địa liên lạc: 34/81 khu phố 13 phƣờng Hố Nai thành phố Biên Hòa tỉnh Đồng Nai Điện thoại quan: Điện thoại nhà riêng: 0982.941.136 E-mail:nguyenhuunam86@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trƣờng, thành phố): Ngành học: Đại học: Hệ đào tạo: Thời gian đào tạo từ 10/2004 đến 07/ 2009 Nơi học (trƣờng, thành phố): Đa ̣i Ho ̣c Sƣ Pha ̣m Kỹ Thuâ ̣t TP.HCM Ngành học: Kỹ Thuật Điện – Điê ̣n Tƣ̉ Tên đồ án, luận án môn thi tốt nghiệp: Điều Khiển Quá Trình, Truyền Hình Số, Chuyên Đề Tốt Nghiệp Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Đa ̣i Ho ̣c Sƣ Pha ̣m Kỹ Thuâ ̣t TP.HCM i Luan van Ngƣời hƣớng dẫn: III QUÁ TRÌNH CƠNG TÁC CHUN MƠN KỂ TƢ̀ KHI TỚT NGHIỆP ĐẠI HỌC: Thời gian 2009-2011 Nơi công tác Công việc đảm nhiệm Đai Học Sƣ Phạm Kỹ Thuật Học viên ii Luan van LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi với hƣớng dẫn TS Ngô Văn Thuyên Các kết nêu luận văn trung thực chƣa đƣợc cơng bố cơng trình Tp Hồ Chí Minh, ngày 10 tháng 11 năm 2011 (Ký tên ghi rõ họ tên) iii Luan van LỜI CẢM TẠ Đầu tiên, xin gửi lời cám ơn chân thành đến TS Ngô Văn Thuyên – người trực tiếp hướng dẫn tơi cách tận tình chu đáo từ xây dựng lúc thực hồn thành đề tài nảy Trong q trình làm đề tài, thầy ln theo sát tiến trình thực tơi có gợi ý giúp tơi định hướng giải vấn đề khó khăn gặp phải Bên cạnh đó, gia đình ln chỗ dựa nguồn động viên vô to lớn tiếp sức cho tơi suốt q trình nghiên cứu đề tài Cuối xin gửi lời cảm ơn đến anh Nguyễn Hừng Đơng anh Nguyễn Hồng Anh người hỗ trợ tơi q trình xây dựng đề tài Những ý kiến đóng góp anh giúp tơi hồn thiện tốt đề tài Xin chân thành cảm ơn! Biên Hịa, ngày 10 tháng 10 nằm 2011 Học Viên Nguyễn Hữu Nam iv Luan van TÓM TẮT Camera ngày đƣợc sử dụng nhiều ứng dụng robot di động khả cung cấp thơng tin mơi trƣờng xác loại cảm biến nhƣ siêu âm, laser Camera cung cấp thơng tin màu sắc, hình dáng vật thể, khoảng cách tới vật thể cảm biến nhƣ siêu âm, laser cung cấp thông tin khoảng cách Đề tài xây dựng thuật toán quy hoạch quỹ đạo cho robot di động sử dụng thị giác máy tính Robot có khả di chuyển môi trƣờng định sẵn, đồ mơi trƣờng đƣợc cung cấp cho robot Trong trình di chuyển robot định hƣớng dựa đồ Việc xác định vị trí robot môi trƣờng di chuyển dựa kỹ thuật dead reckoning mà chủ yếu dựa vào encoder bánh xe cho sai số lớn có tính chất cộng dồn Robot đƣợc trang bị camera cho phép xác định vị trí các điểm mốc đƣợc thêm vào đƣờng di chuyển để xác định lại vị trí robot Việc xác định điểm mốc dựa thuật tốn nhận dạng màu sắc, điểm mốc có màu đồng đƣợc định trƣớc Các vật cản xuất ngẫu nhiên đƣờng di chuyển, robot phải có khả nhận biết di chuyển qua vật cản Để tránh vật cản robot sử dụng thông tin độ sâu từ cảm biến để xây dựng biểu đồ histogram mơi trƣờng từ xác định vùng an tồn di chuyển qua Bản đồ cho biết vùng điểm đích đƣợc đặt mà khơng cho biết vị trí xác robot phải sử dụng tḥt tốn nhận dạng để tìm kiếm vật thể đích Mơ hình robot di động sử dụng loại ba bánh xe kiểu lái vi sai Cảm biến đƣợc sử dụng cho robot camera Kinect Kinect gồm hai camera cảm biến chiếu IR cung cấp cho robot hai liệu ảnh liệu độ sâu Máy tính thu thập liệu từ camera, thực thuật toán dựa thƣ viện OpenCV Chƣơng trình xử lý điều khiển robot đƣợc viết phần mềm mã nguồn mở điều khiển robot thông dụng Player v Luan van ABSTRACT Cameras have been widely used on mobile robots due to the ability to provide more accurate information of the working environment compared to ultrasonic and laser sensor Cameras can provide information about color, shapes of and distance to objects whereas ultrasonic and laser sensors can only give information on distance This thesis presented a motion planning method for mobile robots using computer vision The robot can move in a known environment with a map being provided On moving, the robot will localize its self based on the provided map The position of robot provides by dead reckoning method which is based on the encoders attached with the robot wheels is inaccurate and accumulative in error The robot is equipped with a camera that allows it to determine its position at a certain point with beacons The recognition of beacons is based on their colors The robot can also recognize the obstacle on its course to avoid them To avoid the obstacles, the robot constructs an obstacle histogram of the environment from which it can determine the safe path The robot is not given the exact position of the goal object but only its area and color The robot moves to the goal using object recognition algorithm The mobile robot platform is equipped with differential drive wheels and a caster one Kinect Camera is used in this thesis The Kinect is equipped with two cameras, and IR to provide the image and depth of each pixel A computer is used collect the data from the camera and perform motion planning algorithms using available library of OpenCV Control commands are sent to the robot based on the protocol in Player, a popular open source code to link with robot vi Luan van MỤC LỤC LỜI CAM ĐOAN iii LỜI CẢM TẠ iv TÓM TẮT v MỤC LỤC vii DANH SÁCH CÁC CHỮ VIẾT TẮT .x DANH SÁCH CÁC BẢNG xi DANH SÁCH CÁC HÌNH xii Chƣơng Giới Thiệu 1.1 Tổng quan chung lĩnh vực nghiên cứu 1.2 Mục tiêu nghiên cứu 1.3 Phạm vi nghiên cứu .4 1.4 Phƣơng pháp nghiên cứu Chƣơng Thị Giác Máy Tính Thƣ Viện OpenCV .5 2.1 Giới thiệu 2.2 Sự phát triển thị giác máy tính 2.3 Lĩnh vực ứng dụng 2.4 Hệ thống thị giác máy tính 11 2.5 Thƣ viện mã nguồn mở OpenCV .12 Chƣơng Các Phƣơng Pháp Quy Hoạch Quỹ Đạo Cho Robot 19 vii Luan van 3.1 Phƣơng pháp định hƣớng 19 3.1.1 Phƣơng pháp định hƣớng dựa đồ 20 3.1.2 Định hƣớng dựa xây dựng đồ 24 3.1.3 Định hƣớng không dựa đồ 25 3.2 Phƣơng pháp tránh vật cản 28 3.2.1 Phƣơng pháp Bug .28 3.2.2 Phƣơng pháp Potential Field .29 3.2.3 Phƣơng pháp Vecto Field Histogram (VFH) 32 3.3 Phƣơng pháp nhận dạng vật thể 37 3.3.1 Phƣơng pháp so khớp đặc điểm hình học 38 3.3.2 Phƣơng pháp nhận dạng dựa diện mạo 39 3.3.3 Phƣơng pháp nhận dạng dựa đặc điểm cục 41 Chƣơng Thuật Toán Quy Hoạch Quỹ Đạo 44 4.1 Quy hoạch quỹ đạo 44 4.1.1 Bản đồ môi trƣờng 44 4.1.2 Giải thuật quy hoạch quỹ dạo chuyển động .46 4.2 Thuật toán tránh vật cản 47 4.2.1 Xây dựng biểu đồ histogram 47 4.2.2 Tính góc lái 49 4.3 Thuật tốn định vị trí điểm mốc .49 4.3.1 Tìm điểm mốc ảnh 50 4.3.2 Thuật Toán Meanshift 52 viii Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.11 Biểu đồ histogram ii) Thuật toán xác định điểm mốc Kết thực nghiệm thuật toán xác định điểm mốc đƣợc trình bày hình 5.12 5.13 Hình 5.12 ảnh so sánh vùng màu ảnh với màu mẫu Hình 5.13 ảnh phát hai điềm mốc Thuật toán xác định điểm mốc dựa vào nhận dạng màu sắc đơn giản, robot nhận dạng nhầm xác định vị trí sai có vật thể vùng khơng gian gần có màu sắc giống nhƣ điểm mốc Ngoài ánh sáng kích thƣớc vật mốc ảnh hƣởng đến chất lƣợng nhận dạng vật mốc Nếu ánh sáng tối khó nhận dạng vật mốc, cịn kích thƣớc vật mốc nhỏ cho vùng điểm sáng sau so sánh nhỏ dễ bị nhầm với nhiễu Tuy nhiên kích thƣớc vật mốc lớn gây sai số đo khoảng cách từ tâm điểm mốc đến robot tâm vùng màu phát khơng trùng với tọa độ tâm điểm mốc Một yếu tố khác ảnh hƣởng đến khả nhận dạng màu góc nhìn camera so với điểm mốc Góc nhận dạng tốt điểm mốc đặt vuông góc với hƣớng nhìn camera Góc nhìn lớn vật mốc đặt song song với robot, góc nhìn lớn khả nhận dạng giảm 73 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.12 Ảnh so sánh màu điềm mốc với màu mẫu Hình 5.13 Phát hai điềm mốc gắn hai bên tường iii) Thuật toán nhận dạng cửa Hình 5.14, 5.15, 5.16 5.17 trình bày kết tḥt tốn nhận dạng cửa Hình 5.14 ảnh camera, hình 5.15 thể kết phát cạnh sử dụng tḥt tốn Canny Sau ảnh tiếp tục đƣợc xử lý thuật toán biến đổi Hough để tìm đƣờng thẳng 74 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm ảnh nhƣ hình 5.16 Hình 5.17 thể kết tìm cạnh cửa Nhận dạng cửa dựa đặc điểm cạnh đứng đƣợc trích xuất từ hai q trình xử lý ảnh phát cạnh Canny biến đổi Hough Đặc điểm thƣờng hay nhầm lẫn với cạnh tƣờng nhƣ hình 5.16, để loại bỏ cạnh thƣờng sử dụng thơng số độ rộng cửa Tuy nhiên có trƣờng hợp nhận dạng nhầm cạnh cửa cạnh tƣờng hay hai cạnh tƣờng độ rộng hai cạnh sấp sỉ với thông số cửa sai số liệu đo cảm biến gây iv) Thuật tốn nhận dạng vật thể đích Kết tḥt tốn nhận dạng vật thể đích đƣợc trình bày hình 5.18 Thơng thƣờng để nhận dạng tốt khoảng cách vật thể cần nhận dạng camera phải nhỏ, khoảng cách tốt để nhận dạng qua thực nghiệm nhỏ 1m Việc nhận dạng vật thể đặc điểm cục kết hợp với nhận dạng màu vật thể giúp robot linh hoạt việc tới điểm đích Tuy nhiên để đạt đƣợc điều vật thể đích phải có màu chủ đạo đủ lớn để sử dụng tḥt tốn nhận dạng màu Đối với vật thể phức tạp có nhiều màu sắc cần gắn thêm điểm mốc vật đích Để nhận dạng hiệu ảnh vật thể mẫu để xây dựng tập đặc điểm vật thể phải đƣợc chụp nhiều góc nhìn Hình 5.14 Ảnh camera nhận dạng cửa 75 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.15 Phát cạnh ảnh sử dụng thuật tốn Canny Hình 5.16 Tìm đường thẳng sử dụng thuật tốn biến đổi Hough 76 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.17 Phát cửa Hình 5.18 Vật thể đích nhận dạng 77 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm 5.2.3 Kết thực nghiệm thuật toán quy đạo hoạch cho robot Kết thực nghiệm thuật toán quy hoạch cho robot di động đƣợc trình bày hình 5.19, 5.20, 5.21, 5.22 Hình 5.19 Kết snapshot từ 0s đến 28s 78 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.20 Kết snapshot từ 32s đến 60s 79 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.21 Kết snapshot từ 64s đến 92s 80 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.22 Kết snapshot từ 96s đến 124s 81 Luan van Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Tọa độ ban đầu robot 𝑥, 𝑦, 𝜑 = 0,0, 𝜋 , 𝑥, 𝑦 tọa độ robot 𝜑 góc quay robot Robot di chuyển dọc theo hành lang để đến điểm đích nằm phịng thứ hai tính từ vị trí ban đầu robot Tḥt tốn tránh vật cản áp dụng robot thực nghiệm chạy ổn định, robot di chuyển tránh vật cản qua khoảng không gian hẹp bé 65cm so với kích thƣớc robot 40 × 45 cm nhƣ hình 5.19 5.20 Robot nhận dạng tốt điểm mốc với kích thƣớc 18 × 13 cm Khi robot qua vị trí điểm mốc thứ 2, robot bắt đầu tìm cửa sử dụng thuật toán nhận dạng cửa liệu độ sâu đo khoảng cách từ robot tới cửa Do sai số gây cảm biến nên di chuyển tới cửa robot bẻ góc lái khơng vào cửa mà bị lệch phía cạnh cửa nhƣ hình 5.21 Robot tiến hành nhận dạng vật thể sau tìm vật thể tḥt tốn nhận dạng màu vật thể di chuyển tới dừng trƣớc vật thể khoảng cách nhỏ lơn m Thuật toán kết thúc robot nhận dạng thành cơng vật thể đích Giá trị hƣớng di chuyển robot đƣợc trình bày hình 5.23 𝜋 robot quay trái tƣng ứng giá trị hƣớng di chuyển tăng ngƣợc lại Hình 5.23 Hướng di chuyển robot 82 Luan van Kết Luận Chƣơng Kết Luận Chƣơng đề cập kết mà đề tài đạt đƣợc, hạn chế hƣớng phát triển hƣớng nghiên cứu để khắc phục hạn chế hoàn thiện nội dung đề tài 6.1 Kết đạt đƣợc Những kết đạt đƣợc qua trình thƣc đề tài:  Đề tài xây dựng đƣợc thuật toán quy hoạch quỹ đạo cho robot dựa thị giác máy tính áp dụng thuât toán lên robot di động thực nghiệm Những thuật toán đƣợc xây dựng dựa hỗ trợ chƣơng trình player thƣ viện OpenCV  Robot sau áp dụng tḥt tốn có khả di chuyển tới vị trí đích mơi trƣờng định sẵn Khi gặp vật cản robot nhận biết tránh vật cản  Robot có khả nhận dạng màu sắc, nhận dạng cửa vật thể đích robot tự dị tìm vật đích vủng khơng gian chứa vật thể mà khơng cần biết trƣớc vị trí 6.2 Hạn chế đề tài Do robot phụ thuộc nhiều vào đồ môi trƣờng đƣợc cung cấp nên robot thƣờng bị hạn chế khơng gian hoạt động Ngồi ra, thơng tin ảnh lớn 83 Luan van Kết Luận đa dạng tùy vào độ phức tạp môi trƣờng mà robot hoạt động, nên việc thực thuật tốn dừng lại mơi trƣờng đơn giản Trong đề tài, mơi trƣờng hoạt động phải khơng có vật thể có màu trùng với điểm mốc khơng có vật cản điềm mốc robot khơng nhận dạng đƣợc điểm mốc định vị sai vị trí Do sai số gây encoder càm biến nên đề tài chì dừng lại việc định vị vị trí tƣơng đối robot 6.3 Hƣớng phát triển đề tài Do robot phụ thuộc nhiều vào đồ đƣợc cung cấp nên hƣớng phát triển đề tài xây dựng áp dụng thuật tốn xây dựng đồ cho robot, từ giúp robot linh hoạt việc di chuyển 84 Luan van TÀI LIỆU THAM KHẢO [1] S Y Nof, "Handbook of industrial robotics," John Wiley and Sons, 1999, p 1348 [2] P T Cát, “Xu thế phát triể n Robot thế giới và tin ̀ h hin ̀ h nghiên cƣ́u Robot ở Viê ̣t Nam hiê ̣n ” Tạp chí tự động hóa ngày nay, vol 123, no 7, pp 62 - 72, 2011 [3] R Szeliski, "Computer Vision: Algorithms and Applications," Texts in Computer Science, Springer, 2011, p 812 [4] G N DeSouza, and A C Kak, “Vision for mobile robot navigation: a survey,” IEEE trans.on Pattern Analysis and Machine Intelligence, vol 24, no 2, pp 237 - 267, 2002 [5] D Kim, and R Nevatia, “Representation and Computation of the Spatial Environment for Indoor Navigation,” Proc Int’l Conf.Computer Vision and Pattern Recognition, pp 475-482, 1994 [6] S Atiya, and G D Hager, “Real-Time Vision-Based Robot Localization,” IEEE Trans Robotics and Automation, vol 9, no 6, pp 785 - 800, Dec 1993 [7] A Kosaka, and A C Kak, “Fast Vision-Guided Mobile Robot Navigation Using Model-Based Reasoning and Prediction of Uncertainties,” Computer Vision, Graphics, and Image Processing - Image Understanding, vol 56, no 3, pp 271-329, 1992 [8] H P Moravec, “The Stanford Cart and the CMU Rover,” Proc IEEE Journal of Robotics and Automation, vol 71, no 7, pp 872-884, 1983 [9] Santos-Victor, G Sandini, F Curotto et al., “Divergent Stereo for Robot Navigation: Learning from Bees,” Proc IEEE CS Conf Computer Vision and Pattern Recognition, 1993 [10] T Ohno, A Ohya, and S Yuta, “Autonomous Navigation for Mobile Robots Referring Pre-Recorded Image Sequence,” Proc IEEE Int’l Conf Intelligent Robots and Systems, vol 2, pp 672-679, 1996 [11] D Kim, and R Nevatia, “Recognition and Localization of Generic Objects for Indoor Navigation Using Functionality,” Image and Vision Computing, vol 16, no 11, pp 729-743, 1998 [12] V Lumelsky, and T Skewis, “Incorporating Range Sensing in the Robot Navigation Function,” IEEE Transactions on Systems, Man, and Cybernetics, vol 20, pp 1058–1068, 1990 85 Luan van [13] O Khatib, “Real-time obstacle avoidance for manipulators and mobile robots,” International Journal of Robotics Research, vol 5, no 1, pp 90–98, 1995 [14] J Borenstein, and Y Koren, “The Vector Field Histogram – Fast Obstacle Avoidance for Mobile Robots,” IEEE Journal of Robotics and Automation, vol 7, no 3, pp 278 - 288, June 1991 [15] H Murase, and S Nayar, “Visual Learning and Recognition of 3D Objects from Appearance,” International Journal of Computer Vision, vol 14, pp 524, 1995 [16] M J SWAIN, and D H BALLARD, “Color Indexing,” International Journal of Computer Vision, vol 7, no 1, pp 11 - 32, 1991 [17] T Tuytelaars, and K Mikolajczyk, “Local Invariant Feature Detectors: A Survey,” Foundations and Trends in Computer Graphics and Vision, vol 3, no 3, pp 177–280, 2007 [18] K Fukunaga, Introduction to Statistical Pattern Recognition, Boston: Academic Press, 1990 [19] H Bay, T Tuytelaars, and L V Gool, “SURF: Speeded up robust features,” Proceedings of the Ninth European Conference on Computer Vision pp 404–417, 2006 [20] N H Đơng, Xây dựng mơ hình robot di động mã nguồn mở chương trình Player, Đại học Sƣ Phạm Kỹ Thuật TP HCM, 2011 86 Luan van Luan van ... Pháp Quy Hoạch Quỹ Đạo Cho Robot Chương Các Phƣơng Pháp Quy Hoạch Quỹ Đạo Cho Robot Quy hoạch quy? ? đạo nhiệm vụ khó khăn mà robot cần thực trình di chuyển đến mục tiêu định Để xây dựng quy? ? đạo di. .. toán quy hoạch quy? ? đạo cho robot di động sử dụng thị giác máy tính Robot có khả di chuyển môi trƣờng định sẵn, đồ mơi trƣờng đƣợc cung cấp cho robot Trong trình di chuyển robot định hƣớng dựa. .. PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS NGƠ VĂN THUN TP Hồ Chí Minh,