(Luận văn thạc sĩ) quy hoạch quỹ đạo cho robot di động dựa trên thị giác máy tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, 2011 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS NGÔ VĂN THUYÊN TP Hồ Chí Minh, tháng 10/2011 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Nguyễn Hữu Nam Giới tính: Nam Ngày, tháng, năm sinh: 30/04/1986 Nơi sinh: Đồng Nai Quê quán: Nghệ An Dân tộc: Kinh Chỗ riêng địa liên lạc: 34/81 khu phố 13 phƣờng Hố Nai thành phố Biên Hòa tỉnh Đồng Nai Điện thoại quan: Điện thoại nhà riêng: 0982.941.136 E-mail:nguyenhuunam86@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trƣờng, thành phố): Ngành học: Đại học: Hệ đào tạo: Thời gian đào tạo từ 10/2004 đến 07/ 2009 Nơi học (trƣờng, thành phố): Đa ̣i Ho ̣c Sƣ Pha ̣m Kỹ Thuâ ̣t TP.HCM Ngành học: Kỹ Thuật Điện – Điê ̣n Tƣ̉ Tên đồ án, luận án môn thi tốt nghiệp: Điều Khiển Quá Trình, Truyền Hình Số, Chuyên Đề Tốt Nghiệp Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Đa ̣i Ho ̣c Sƣ Pha ̣m Kỹ Thuâ ̣t TP.HCM i Ngƣời hƣớng dẫn: III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TƢ̀ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian 2009-2011 Nơi công tác Công việc đảm nhiệm Đai Học Sƣ Phạm Kỹ Thuật Học viên ii LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi với hƣớng dẫn TS Ngô Văn Thuyên Các kết nêu luận văn trung thực chƣa đƣợc cơng bố cơng trình Tp Hồ Chí Minh, ngày 10 tháng 11 năm 2011 (Ký tên ghi rõ họ tên) iii LỜI CẢM TẠ Đầu tiên, xin gửi lời cám ơn chân thành đến TS Ngô Văn Thuyên – người trực tiếp hướng dẫn tơi cách tận tình chu đáo từ xây dựng lúc thực hồn thành đề tài nảy Trong q trình làm đề tài, thầy ln theo sát tiến trình thực tơi có gợi ý giúp tơi định hướng giải vấn đề khó khăn gặp phải Bên cạnh đó, gia đình ln chỗ dựa nguồn động viên vô to lớn tiếp sức cho tơi suốt q trình nghiên cứu đề tài Cuối xin gửi lời cảm ơn đến anh Nguyễn Hừng Đơng anh Nguyễn Hồng Anh người hỗ trợ tơi q trình xây dựng đề tài Những ý kiến đóng góp anh giúp tơi hồn thiện tốt đề tài Xin chân thành cảm ơn! Biên Hịa, ngày 10 tháng 10 nằm 2011 Học Viên Nguyễn Hữu Nam iv MỤC LỤC LỜI CAM ĐOAN iii LỜI CẢM TẠ iv TÓM TẮT v MỤC LỤC vii DANH SÁCH CÁC CHỮ VIẾT TẮT .x DANH SÁCH CÁC BẢNG xi DANH SÁCH CÁC HÌNH xii Chƣơng Giới Thiệu 1.1 Tổng quan chung lĩnh vực nghiên cứu 1.2 Mục tiêu nghiên cứu 1.3 Phạm vi nghiên cứu .4 1.4 Phƣơng pháp nghiên cứu Chƣơng Thị Giác Máy Tính Thƣ Viện OpenCV .5 2.1 Giới thiệu 2.2 Sự phát triển thị giác máy tính 2.3 Lĩnh vực ứng dụng 2.4 Hệ thống thị giác máy tính 11 2.5 Thƣ viện mã nguồn mở OpenCV .12 Chƣơng Các Phƣơng Pháp Quy Hoạch Quỹ Đạo Cho Robot 19 vii 3.1 Phƣơng pháp định hƣớng 19 3.1.1 Phƣơng pháp định hƣớng dựa đồ 20 3.1.2 Định hƣớng dựa xây dựng đồ 24 3.1.3 Định hƣớng không dựa đồ 25 3.2 Phƣơng pháp tránh vật cản 28 3.2.1 Phƣơng pháp Bug .28 3.2.2 Phƣơng pháp Potential Field .29 3.2.3 Phƣơng pháp Vecto Field Histogram (VFH) 32 3.3 Phƣơng pháp nhận dạng vật thể 37 3.3.1 Phƣơng pháp so khớp đặc điểm hình học 38 3.3.2 Phƣơng pháp nhận dạng dựa diện mạo 39 3.3.3 Phƣơng pháp nhận dạng dựa đặc điểm cục 41 Chƣơng Thuật Toán Quy Hoạch Quỹ Đạo 44 4.1 Quy hoạch quỹ đạo 44 4.1.1 Bản đồ môi trƣờng 44 4.1.2 Giải thuật quy hoạch quỹ dạo chuyển động .46 4.2 Thuật toán tránh vật cản 47 4.2.1 Xây dựng biểu đồ histogram 47 4.2.2 Tính góc lái 49 4.3 Thuật toán định vị trí điểm mốc .49 4.3.1 Tìm điểm mốc ảnh 50 4.3.2 Thuật Toán Meanshift 52 viii 4.3.3 4.4 Định vị trí điểm mốc 55 Phát cửa 56 4.4.1 Đặc điểm cửa .56 4.4.2 Thuật toán phát cửa 57 4.5 Tìm vật thể đích 58 4.5.1 Thuật tốn nhận dạng vật thể đích 59 4.5.2 Phƣơng pháp nhận dạng SURF 59 Chƣơng Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm 64 5.1 Mô hình robot di động .64 5.1.1 Mơ hình hệ thống 64 5.1.2 Cảm biến camera Kinect 66 5.2 Kết thực nghiệm 70 5.2.1 Bản đồ môi trƣờng 70 5.2.2 Kết thực nghiệm thuật toán 71 5.2.3 Kết thực nghiệm thuật toán quy đạo hoạch cho robot 78 Chƣơng Kết Luận 83 6.1 Kết đạt đƣợc .83 6.2 Hạn chế đề tài 83 6.3 Hƣớng phát triển đề tài 84 TÀI LIỆU THAM KHẢO 85 ix Giới Thiệu Chương Giới Thiệu 1.1 Tổng quan chung lĩnh vực nghiên cứu Trong nửa kỷ hình thành phát triển, lĩnh vực nghiên cứu, chế tạo robot có nhiều bƣớc tiến đáng kể Robot đƣợc ứng dụng công nghiệp vào thập niên 60 để thay ngƣời làm công việc nặng nhọc, nguy hiểm môi trƣờng độc hại [1] Ban đầu, robot chủ yếu đƣợc ứng dụng nhà máy xí nghiệp nhƣng đến robot có ứng dụng khác nhƣ y tế, nơng nghiệp, xây dựng, an ninh quốc phịng, thám hiểm khơng gian gia đình [2] Từ nhu cầu ngày lớn đa dạng nhƣ vậy tạo thúc đẩy lớn cho lĩnh vực nghiên cứu robot phát triển Xu hƣớng nghiên cứu giới hƣớng dịch vụ hoạt động robot mơi trƣờng tự nhiên Có thể phân loại số loại robot đƣợc nghiên cứu nhƣ tay máy robot (Robot Manipulators), robot di động (Mobile Robots), robot sinh học (Bio Inspired Robots) robot cá nhân (Personal Robots) [2] Tay máy robot bao gồm loại robot cơng nghiệp (Industrial Robot) nhƣ hình 1.1a, robot y tế (Medical Robot) robot trợ giúp ngƣời tàn tật (Rehabilitation robot) Robot di động đƣợc nghiên cứu nhiều nhƣ xe tự hành mặt đất AGV (Autonomous Guided Vehicles), robot tự hành dƣới nƣớc AUV (Autonomous Underwater Vehicles) nhƣ hình 1.1b, robot tự hành khơng UAV (Unmanned Arial Vehicles) robot vũ trụ (Space robots) Với robot sinh học, nghiên cứu tập trung vào loại Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.11 Biểu đồ histogram ii) Thuật toán xác định điểm mốc Kết thực nghiệm tḥt tốn xác định điểm mốc đƣợc trình bày hình 5.12 5.13 Hình 5.12 ảnh so sánh vùng màu ảnh với màu mẫu Hình 5.13 ảnh phát hai điềm mốc Thuật toán xác định điểm mốc dựa vào nhận dạng màu sắc đơn giản, robot nhận dạng nhầm xác định vị trí sai có vật thể vùng khơng gian gần có màu sắc giống nhƣ điểm mốc Ngồi ánh sáng kích thƣớc vật mốc ảnh hƣởng đến chất lƣợng nhận dạng vật mốc Nếu ánh sáng tối khó nhận dạng vật mốc, cịn kích thƣớc vật mốc nhỏ cho vùng điểm sáng sau so sánh nhỏ dễ bị nhầm với nhiễu Tuy nhiên kích thƣớc vật mốc lớn gây sai số đo khoảng cách từ tâm điểm mốc đến robot tâm vùng màu phát khơng trùng với tọa độ tâm điểm mốc Một yếu tố khác ảnh hƣởng đến khả nhận dạng màu góc nhìn camera so với điểm mốc Góc nhận dạng tốt điểm mốc đặt vng góc với hƣớng nhìn camera Góc nhìn lớn vật mốc đặt song song với robot, góc nhìn lớn khả nhận dạng giảm 73 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.12 Ảnh so sánh màu điềm mốc với màu mẫu Hình 5.13 Phát hai điềm mốc gắn hai bên tường iii) Thuật tốn nhận dạng cửa Hình 5.14, 5.15, 5.16 5.17 trình bày kết tḥt tốn nhận dạng cửa Hình 5.14 ảnh camera, hình 5.15 thể kết phát cạnh sử dụng thuật tốn Canny Sau ảnh tiếp tục đƣợc xử lý tḥt tốn biến đổi Hough để tìm đƣờng thẳng 74 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm ảnh nhƣ hình 5.16 Hình 5.17 thể kết tìm cạnh cửa Nhận dạng cửa dựa đặc điểm cạnh đứng đƣợc trích xuất từ hai trình xử lý ảnh phát cạnh Canny biến đổi Hough Đặc điểm thƣờng hay nhầm lẫn với cạnh tƣờng nhƣ hình 5.16, để loại bỏ cạnh thƣờng sử dụng thông số độ rộng cửa Tuy nhiên có trƣờng hợp nhận dạng nhầm cạnh cửa cạnh tƣờng hay hai cạnh tƣờng độ rộng hai cạnh sấp sỉ với thông số cửa sai số liệu đo cảm biến gây iv) Thuật toán nhận dạng vật thể đích Kết tḥt tốn nhận dạng vật thể đích đƣợc trình bày hình 5.18 Thơng thƣờng để nhận dạng tốt khoảng cách vật thể cần nhận dạng camera phải nhỏ, khoảng cách tốt để nhận dạng qua thực nghiệm nhỏ 1m Việc nhận dạng vật thể đặc điểm cục kết hợp với nhận dạng màu vật thể giúp robot linh hoạt việc tới điểm đích Tuy nhiên để đạt đƣợc điều vật thể đích phải có màu chủ đạo đủ lớn để sử dụng thuật toán nhận dạng màu Đối với vật thể phức tạp có nhiều màu sắc cần gắn thêm điểm mốc vật đích Để nhận dạng hiệu ảnh vật thể mẫu để xây dựng tập đặc điểm vật thể phải đƣợc chụp nhiều góc nhìn Hình 5.14 Ảnh camera nhận dạng cửa 75 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.15 Phát cạnh ảnh sử dụng thuật tốn Canny Hình 5.16 Tìm đường thẳng sử dụng thuật tốn biến đổi Hough 76 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.17 Phát cửa Hình 5.18 Vật thể đích nhận dạng 77 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm 5.2.3 Kết thực nghiệm thuật toán quy đạo hoạch cho robot Kết thực nghiệm thuật tốn quy hoạch cho robot di động đƣợc trình bày hình 5.19, 5.20, 5.21, 5.22 Hình 5.19 Kết snapshot từ 0s đến 28s 78 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.20 Kết snapshot từ 32s đến 60s 79 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.21 Kết snapshot từ 64s đến 92s 80 Mô Hình Robot Di Động Và Kết Quả Thực Nghiệm Hình 5.22 Kết snapshot từ 96s đến 124s 81 Mơ Hình Robot Di Động Và Kết Quả Thực Nghiệm Tọa độ ban đầu robot 𝑥, 𝑦, 𝜑 = 0,0, 𝜋 , 𝑥, 𝑦 tọa độ robot 𝜑 góc quay robot Robot di chuyển dọc theo hành lang để đến điểm đích nằm phịng thứ hai tính từ vị trí ban đầu robot Tḥt tốn tránh vật cản áp dụng robot thực nghiệm chạy ổn định, robot di chuyển tránh vật cản qua khoảng không gian hẹp bé 65cm so với kích thƣớc robot 40 × 45 cm nhƣ hình 5.19 5.20 Robot nhận dạng tốt điểm mốc với kích thƣớc 18 × 13 cm Khi robot qua vị trí điểm mốc thứ 2, robot bắt đầu tìm cửa sử dụng thuật toán nhận dạng cửa liệu độ sâu đo khoảng cách từ robot tới cửa Do sai số gây cảm biến nên di chuyển tới cửa robot bẻ góc lái khơng vào cửa mà bị lệch phía cạnh cửa nhƣ hình 5.21 Robot tiến hành nhận dạng vật thể sau tìm vật thể thuật toán nhận dạng màu vật thể di chuyển tới dừng trƣớc vật thể khoảng cách nhỏ lơn m Thuật toán kết thúc robot nhận dạng thành cơng vật thể đích Giá trị hƣớng di chuyển robot đƣợc trình bày hình 5.23 𝜋 robot quay trái tƣng ứng giá trị hƣớng di chuyển tăng ngƣợc lại Hình 5.23 Hướng di chuyển robot 82 Kết Luận Chƣơng Kết Luận Chƣơng đề cập kết mà đề tài đạt đƣợc, hạn chế hƣớng phát triển hƣớng nghiên cứu để khắc phục hạn chế hồn thiện nội dung đề tài 6.1 Kết đạt đƣợc Những kết đạt đƣợc qua trình thƣc đề tài:  Đề tài xây dựng đƣợc thuật toán quy hoạch quỹ đạo cho robot dựa thị giác máy tính áp dụng tht tốn lên robot di động thực nghiệm Những thuật toán đƣợc xây dựng dựa hỗ trợ chƣơng trình player thƣ viện OpenCV  Robot sau áp dụng tḥt tốn có khả di chuyển tới vị trí đích mơi trƣờng định sẵn Khi gặp vật cản robot nhận biết tránh vật cản  Robot có khả nhận dạng màu sắc, nhận dạng cửa vật thể đích robot tự dị tìm vật đích vủng không gian chứa vật thể mà không cần biết trƣớc vị trí 6.2 Hạn chế đề tài Do robot phụ thuộc nhiều vào đồ môi trƣờng đƣợc cung cấp nên robot thƣờng bị hạn chế không gian hoạt động Ngồi ra, thơng tin ảnh lớn 83 Kết Luận đa dạng tùy vào độ phức tạp môi trƣờng mà robot hoạt động, nên việc thực thuật toán dừng lại môi trƣờng đơn giản Trong đề tài, môi trƣờng hoạt động phải khơng có vật thể có màu trùng với điểm mốc khơng có vật cản điềm mốc robot khơng nhận dạng đƣợc điểm mốc định vị sai vị trí Do sai số gây encoder càm biến nên đề tài chì dừng lại việc định vị vị trí tƣơng đối robot 6.3 Hƣớng phát triển đề tài Do robot phụ thuộc nhiều vào đồ đƣợc cung cấp nên hƣớng phát triển đề tài xây dựng áp dụng thuật toán xây dựng đồ cho robot, từ giúp robot linh hoạt việc di chuyển 84 TÀI LIỆU THAM KHẢO [1] S Y Nof, "Handbook of industrial robotics," John Wiley and Sons, 1999, p 1348 [2] P T Cát, “Xu thế phát triể n Robot thế giới và tin ̀ h hin ̀ h nghiên cƣ́u Robot ở Viê ̣t Nam hiê ̣n ” Tạp chí tự động hóa ngày nay, vol 123, no 7, pp 62 - 72, 2011 [3] R Szeliski, "Computer Vision: Algorithms and Applications," Texts in Computer Science, Springer, 2011, p 812 [4] G N DeSouza, and A C Kak, “Vision for mobile robot navigation: a survey,” IEEE trans.on Pattern Analysis and Machine Intelligence, vol 24, no 2, pp 237 - 267, 2002 [5] D Kim, and R Nevatia, “Representation and Computation of the Spatial Environment for Indoor Navigation,” Proc Int’l Conf.Computer Vision and Pattern Recognition, pp 475-482, 1994 [6] S Atiya, and G D Hager, “Real-Time Vision-Based Robot Localization,” IEEE Trans Robotics and Automation, vol 9, no 6, pp 785 - 800, Dec 1993 [7] A Kosaka, and A C Kak, “Fast Vision-Guided Mobile Robot Navigation Using Model-Based Reasoning and Prediction of Uncertainties,” Computer Vision, Graphics, and Image Processing - Image Understanding, vol 56, no 3, pp 271-329, 1992 [8] H P Moravec, “The Stanford Cart and the CMU Rover,” Proc IEEE Journal of Robotics and Automation, vol 71, no 7, pp 872-884, 1983 [9] Santos-Victor, G Sandini, F Curotto et al., “Divergent Stereo for Robot Navigation: Learning from Bees,” Proc IEEE CS Conf Computer Vision and Pattern Recognition, 1993 [10] T Ohno, A Ohya, and S Yuta, “Autonomous Navigation for Mobile Robots Referring Pre-Recorded Image Sequence,” Proc IEEE Int’l Conf Intelligent Robots and Systems, vol 2, pp 672-679, 1996 [11] D Kim, and R Nevatia, “Recognition and Localization of Generic Objects for Indoor Navigation Using Functionality,” Image and Vision Computing, vol 16, no 11, pp 729-743, 1998 [12] V Lumelsky, and T Skewis, “Incorporating Range Sensing in the Robot Navigation Function,” IEEE Transactions on Systems, Man, and Cybernetics, vol 20, pp 1058–1068, 1990 85 [13] O Khatib, “Real-time obstacle avoidance for manipulators and mobile robots,” International Journal of Robotics Research, vol 5, no 1, pp 90–98, 1995 [14] J Borenstein, and Y Koren, “The Vector Field Histogram – Fast Obstacle Avoidance for Mobile Robots,” IEEE Journal of Robotics and Automation, vol 7, no 3, pp 278 - 288, June 1991 [15] H Murase, and S Nayar, “Visual Learning and Recognition of 3D Objects from Appearance,” International Journal of Computer Vision, vol 14, pp 524, 1995 [16] M J SWAIN, and D H BALLARD, “Color Indexing,” International Journal of Computer Vision, vol 7, no 1, pp 11 - 32, 1991 [17] T Tuytelaars, and K Mikolajczyk, “Local Invariant Feature Detectors: A Survey,” Foundations and Trends in Computer Graphics and Vision, vol 3, no 3, pp 177–280, 2007 [18] K Fukunaga, Introduction to Statistical Pattern Recognition, Boston: Academic Press, 1990 [19] H Bay, T Tuytelaars, and L V Gool, “SURF: Speeded up robust features,” Proceedings of the Ninth European Conference on Computer Vision pp 404–417, 2006 [20] N H Đơng, Xây dựng mơ hình robot di động mã nguồn mở chương trình Player, Đại học Sƣ Phạm Kỹ Thuật TP HCM, 2011 86 ... Pháp Quy Hoạch Quỹ Đạo Cho Robot Chương Các Phƣơng Pháp Quy Hoạch Quỹ Đạo Cho Robot Quy hoạch quy? ? đạo nhiệm vụ khó khăn mà robot cần thực trình di chuyển đến mục tiêu định Để xây dựng quy? ? đạo di. .. PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN HỮU NAM QUY HOẠCH QŨY ĐẠO CHO ROBOT DI ĐỘNG DỰA TRÊN THỊ GIÁC MÁY TÍNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS NGƠ VĂN THUN TP Hồ Chí Minh,... dụng thị giác máy tính cho robot đặc biệt robot tự hành Việc sử dụng thị giác máy tính cho robot sử dụng camera để chụp lại hình ảnh từ mơi trƣờng xung quanh sau hình ảnh đƣợc chuyển tới máy tính