A review and evaluation of visual servoing techniques

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA VÕ DUY CÔNG NGHIÊN CỨU VÀ ĐÁNH GIÁ CÁC KỸ THUẬT ĐIỀU KHIỂN VISUAL SERVOING A REVIEW AND EVALUATION OF VISUAL SERVOING TECHNIQUES Chuyên ngành: Kỹ Thuật Cơ Điện Tử Mã số: 8520114 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học: TS Lê Đức Hạnh Cán chấm nhận xét 1: TS Lê Ngọc Bích Cán chấm nhận xét 2: PGS.TS Nguyễn Thanh Phương Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 03 tháng 09 năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Nguyễn Quốc Chí TS Ngơ Hà Quang Thịnh TS Lê Ngọc Bích PGS.TS Nguyễn Thanh Phương TS Phạm Công Bằng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ii ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Võ Duy Công MSHV: 1870379 Ngày, tháng, năm sinh: 05/08/1995 Nơi sinh: Quảng Ngãi Chuyên ngành: Cơ điện tử Mã số : 8520114 I TÊN ĐỀ TÀI: Nghiên cứu đánh giá giải thuật điều khiển visual servoing II NHIỆM VỤ VÀ NỘI DUNG: Thực nghiên cứu giải thuật điều khiển visual servoing, đánh giá cho sơ đồ điều khiển visual servoing khác Nhiệm vụ cụ thể bao gồm: - Xây dụng hệ thống thị giác liên quan đến visual servoing - Tìm hiểu lý thuyết điều khiển visual servoing, kỹ thuật điều khiển visual servoing - Phân tích vấn đề thường gặp visual servoing - Tiến hành mô phỏng, đánh giá so sánh sơ đồ điều khiển visual servoing - Xây dựng ứng dụng cụ thể sử dùng visual servoing III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) 19/08/2019 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) 07/06/2020 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS Lê Đức Hạnh Tp HCM, ngày 19 tháng 08 năm 2019 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) iii LỜI CẢM ƠN Đầu tiên, em xin chân thành cảm ơn quý Thầy môn Cơ Điện Tử, khoa Cơ khí, trường Đại học Bách Khoa TPHCM tận tình truyền đạt kiến thức kinh nghiệm năm em học tập Vốn kiến thức tiếp thu q trình học tập khơng tảng cho trình thực luận văn mà hành trang quý báu để em bước vào đời cách tự tin vững Em xin chân thành cảm ơn Thầy TS Lê Đức Hạnh tận tình hướng dẫn em suốt thời gian thực luận văn Thầy người giúp em tháo gỡ khó khăn, vướng mắc gặp phải thưc đề tài Sự hiểu biết sâu sắc khoa học, kinh nghiệm Thầy học kiến thức Thầy mà em học Thầy phương pháp nghiên cứu nhiệt tâm người Thầy với học trò Với trân trọng cảm kích, em xin gửi lời cảm ơn đến ba mẹ, ba mẹ động viên nhiều suốt trình học tập trường đại học giai đoạn thực luận văn iv TÓM TẮT LUẬN VĂN Visual servoing kỹ thuật để điều khiển robot, thông tin hồi tiếp thị giác sử dụng vòng điều khiển kín giúp cải thiện độ xác Các tác vụ điều khiển visual servoing định nghĩa để điều khiển vận tốc robot, sử dụng đặc trưng thị giác trích xuất từ hình ảnh Visual servoing gặp phải nhiều vấn đề khác cực tiểu cục bộ, singularity, điểm đặc trưng khỏi trường nhìn camera… Các vấn đề giải cách sử dụng đặc trưng khác sử dụng sơ đồ điều khiển khác Nội dung luận văn cố gắng trình bày tất hiểu biết học viên liên quan đến visual servoing Bắt đầu từ hệ thống thị giác: xây dựng mơ hình camera từ phép chiếu phối cảnh, thiết lập quan hệ phép chiếu thông qua ràng buộc epipolar ma trận homography, tiến hành xây dựng chuyển vị camera cách phân tách ma trận homography ước lượng thơng số chiều sâu Sau đó, dựa tảng thị giác máy tính, trình bày kỹ thuật điều khiển visual servoing Lý thuyết chung visual servoing đưa trước tiên, sau áp dụng cho sơ đồ điều khiển cụ thể, năm sơ đồ khác trình bày để tiến hành so sánh đánh giá Các đặc trưng thị giác trình bày cách chi tiết, tập trung diễn giải đặc trưng hình học Ngồi số sơ đồ tăng cường kết hợp trình bày, sơ đồ phối hợp visual servoing với kỹ thuật điều khiển khác giúp tăng độ mạnh mẽ cho visual servoing Các vấn đề thường gặp áp dụng visual servoing trình bày sau phương pháp xấp xỉ ma trận tương tác để giải vấn đề Các sơ đồ phổ biến visual servoing trình bày mơ Matlab thực so sánh đánh giá Để tiến hành đánh giá, luận văn đưa tác vụ điều khiển điển hình chuyển động tịnh tiến xoay quanh trục Các tiêu chí hiệu suất sử dụng để làm thông số đánh giá định lượng cho sơ đồ Các đánh giá tiến hành với thông số chuyển động thay đổi ảnh hưởng khác nhiễu Kết tiêu chí hiển thị cách trực quan dạng biểu đồ 3D, từ nhận xét so sánh cho sơ đồ đưa Ngoài ra, luận văn tiến hành đánh giá sơ đồ thực chuyển động tổng quát v Các tác vụ tổng quát mô với robot PUMA560 Mỗi tác vụ có mục đích riêng để thấy vấn đề số sơ đồ cách sơ đồ khác giải vấn đề Phần cuối nội dung phát triển giai đoạn sau trình thực luận văn Phần đề xuất phương án sử dụng phối hợp sơ đồ visual servoing để thực tác vụ bám theo đường viền nằm mặt phẳng khơng biết trước hình dáng vi THESIS ABSTRACT Visual servoing is a technique for robot control, in which visual feedback is used in a closed loop control to improves the accuracy The control tasks in visual servoing are defined to control the velocity of the robot, using visual features extracted from the image Visual servoing encounters various problems such as local minima, singularity, feature points out of the camera field of view These problems are solved by using different features or using different control schemes The content of the thesis will try to present all students' knowledge related to visual servoing Begin with vision system: building camera model from perspective projection, establishing relationships between projections through epipolar constraints and homography matrix, estimate the camera displacement by decompositing homography matrix and estimate depth parameters Then, based on the computer vision vision system, visual servoing control techniques were presented The general theory of visual servoing will be presented first, after that applied to specific control schemes, five different schemes will be presented for the comparison and evaluation Visual features are also presented in detail, focusing on the geometric features In addition, the enhancement and combination schemes are also presented, which are a combination of visual servoing with various control techniques that help increase the robusted of visual servoing Common problems in applying visual servoing are also presented and then interactive matrix approximation methods are presented to solve those problems The popular diagrams in visual servoing that have been presented will be simulated on Matlab and perform comparasion and evaluation To conduct the assessment, the thesis will give typical control tasks that are translational movements and rotation around axes Performance criteria are used as a quantitative evaluation parameter for the schemes The evaluations will be conducted with the varying motion parameters and the varying effects of noise The results of the criteria will be displayed visually as a 3D chart, from which the reviews and compares of schemes are conducted In addition, the thesis also evaluates the diagrams when performing general movements General tasks will be simulated with the PUMA560 robot Each task has its own purpose for seeing problems in some schemes as well as how others solve them vii The final section will be the content to be developed at a later stage of the thesis implementation process This section proposes the method using visual servoing schemes in combination to perform the task of following a contour in any plane and without knowing the shape viii LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp “Nghiên cứu đánh giá kỹ thuật điều khiển visual servoing” cơng trình nghiên cứu thân Những phần sử dụng tài liệu tham khảo luận văn nêu rõ phần tài liệu tham khảo Các số liệu, kết trình bày luận văn hồn tồn trung thực, sai tơi xin chịu hoàn toàn trách nhiệm chịu kỷ luật môn nhà trường đề Tp HCM, ngày tháng năm 2020 Võ Duy Công ix MỤC LỤC LỜI CẢM ƠN ii TÓM TẮT LUẬN VĂN v MỤC LỤC… .x DANH SÁCH HÌNH ẢNH xiii DANH SÁCH BẢNG BIỂU .xvi DANH SÁCH TỪ VIẾT TẮT xvii CHƯƠNG GIỚI THIỆU 1.1 Giới thiệu chung .1 1.2 Lý thực luận văn 1.3 Mục tiêu luận văn CHƯƠNG THỊ GIÁC MÁY TÍNH 2.1 Xây dựng mơ hình camera 2.1.1 Không gian chiếu không gian Euclidian 2.1.2 Phép chiếu phối cảnh 2.1.3 Mơ hình camera .7 2.2 Ma trận homography .8 2.2.1 Quan hệ hai phép chiếu 2.2.2 Ràng buộc epipolar ma trận homography 2.2.3 Ước lượng ma trận homography 10 2.3 Ước lượng chuyển vị camera từ ma trận homography .11 2.4 Ước lượng chiều sâu từ ma trận homography 14 2.5 Kết luận 15 CHƯƠNG VISUAL SERVOING 16 3.1 Giới thiệu 16 x CHƯƠNG BÁM THEO ĐƯỜNG VIỀN SỬ DỤNG VISUAL SERVOING Hình 5.9: Kết bảm theo đường thẳng với bán kính r = 80 pixels Thực giảm bán kính xuống cịn 80 pixels, kết thi hình 5.9 Có thể thấy giảm bán kính xuống số lần lặp để hội tụ tăng gấp đôi từ 650 lên 1300 lần Trong sai số tối đa giảm từ 0.2mm xuống cịn 0.14mm Sai số hình ảnh lúc trì mức 67 pixels trình điểm tracking thay đổi giảm không cuối đường thẳng Bây thử thêm nhiễu vào tọa độ hình ảnh đường viền Kết với nhiễu có phương sai thể hình 5.10 Có thể thấy nhễu khơng có ảnh hưởng lớn đến kết bám theo đường viền, sai số lớn 0.14mm quỹ đạo traking có hình dáng gần giống lúc chưa thêm nhiễu Như thấy dụng IBVS cho kết bị ảnh hưởng nhiễu Tiến hành tăng phương sai nhiễu lên 10 lần, kết thể hình 5.11 Lúc nhiễu làm thay đổi hình dạng quỹ đạo robot Tuy nhiên sai số tối đa lúc cũng đạt mức 0.2mm Có thể nói khơng ảnh hưởng nhiều đến độ xác tác vụ Hình 5.10: Kết bám theo đường thẳng với nhiễu 111 CHƯƠNG BÁM THEO ĐƯỜNG VIỀN SỬ DỤNG VISUAL SERVOING Hình 5.11: Kết bám theo đường thẳng với nhiễu 10 Hình 5.9 kết mơ robot bám theo đường trịn có bán kính 300mm, điều kiện nhiễu với phương sai 10 Robot thực bám xác theo đường trịn với sai số tối đa gần 1mm lúc cuối đường tròn Trong khoảng 3/4 đường tròn, sai số mức 0.2 mm Sai số tăng lên ¼ phần cịn lại Hình 5.13 kết mơ robot bám theo hình vng cạnh 600mm Có thể thấy robot thực bám tốt theo đường thẳng đứng, nhiên thực chuyển đổi hướng góc vng, sai số robot tăng lên trì liên tục đoạn nằm ngang Kết tạo thành cung tròn nhỏ góc vng Sai số lớn góc vng thứ ba lên tới 2.3mm Hình 5.12: Quỹ đạo sai số bám theo đường tròn 112 CHƯƠNG BÁM THEO ĐƯỜNG VIỀN SỬ DỤNG VISUAL SERVOING Hình 5.13: Quỹ đạo sai số bám theo hình vng Hình 5.14 số kết cho robot bám theo đường viền với hình dáng Hình bên trái quỹ đạo mà robot bám theo, bên phải sai số quỹ đạo thực tế quỹ đạo mà robot vẽ Có thể thấy với đường viền trơn tru, khơng có thay đổi hướng đột ngột robot bám theo với sai số nhỏ 1mm Sai số tăng lên đoạn cuối đường viền Như có cộng dồn sai số, sai số đoạn đầu không triệt tiêu, cộng dồn liên tục điểm tracking di chuyển làm tăng sai số cuối đường viền 113 CHƯƠNG BÁM THEO ĐƯỜNG VIỀN SỬ DỤNG VISUAL SERVOING Hình 5.14: Một số kết bám theo quỹ đạo dùng IBVS 114 CHƯƠNG BÁM THEO ĐƯỜNG VIỀN SỬ DỤNG VISUAL SERVOING 5.5 Kết luận Chương trình bày phương pháp sử dụng kết hợp hai kỹ thuật visual servoing để thực tác vụ bám theo đường viền SPVS sử dụng giai đoạn đầu để đưa robot đến mặt phẳng song song với đường viền cho kết hội tụ vị trí ban dầu quãng đường robot ngắn Giai đoạn tracking sử dụng IBVS, cho kết bị ảnh hưởng nhiễu điểm đặc trưng sử dụng IBVS điểm đặc trưng ảo tạo từ điểm traking nằm đường viền cách tâm ảnh khoảng không đổi Kết mơ cho thấy phương pháp đề xuất thực bám theo đường viền tốt, với sai số tối đa 1mm điều kiện có nhiễu cho đường viền trơn tru, sai số lớn chỗ có thay đổi hướng đột ngột đường viền 115 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] O Faugeras and F Lustman, “Motion and structure from motion in a piecewise planar environment”, in International Journal of Pattern Recognition and Artificial Intelligence, 2(3):485–508, 1988 [2] Z Zhang, and A.R Hanson “3D Reconstruction based on homography mapping”, in Proc ARPA96, pp 1007-1012, 1996 [3] L.E Weiss, A.C Sanderson, C.P Neuman – Dynamic sensor-based control of robots with visual feedback IEEE journal of Robotics and Automation, 3(5):404–417, October 1987 [4] J Feddema, O Mitchell Vision-guided servoing with feature-based trajectory generation IEEE Trans on Robotics and Automation, 5(5):691–700, October 1989 [5] S Hutchinson, G Hager, P Corke A tutorial on visual servo control IEEE Transactions on Robotics and Automation, 12(5):651– 670, October 1996 [6] F Chaumette, S Hutchinson – Visual servo control, part I: Basic approaches IEEE Robotics and Automation Magazine, 13(4):82– 90, December 2006 [7] F Chaumette, S Hutchinson – Visual servo control, part II: Advanced approaches IEEE Robotics and Automation Magazine, 14(1):109–118, March 2007 [8] B Espiau, F Chaumette, and P Rives A new approach to visual servoing in robotics IEEE Transactions on Robotics and Automation, 8(3):313-326, June 1992 [9] K Hashimoto Visual Serving: Real Time Control of Robot Manipulators Based on Visual Sensory Feedback World Scientific Series in Robotics and Automated Systems World Scientific Publishing Company Incorporated, 1993 [10] Y Shirai and H Inoue Guiding a robot by visual feedback in assembling tasks Pattern Recognition, 5(2):99-108, 1973 [11] D Kragic and H.I Christensen Survey on visual servoing for manipulation Research report, Centre for Autonomous Systems Sweden, 2002 116 TÀI LIỆU THAM KHẢO [12] A C Sanderson and L.E Weiss Image-based visual servo control using relational graph error signals In IEEE International Conference on Cybernetics and Society, pages 1074-1077, Oct 1980 [13] E Malis, F Chaumette, and S Boudet 2-1/2 D visual servoing IEEE Transactions on Robotics and Automation, 15(2):238-250, Aprl 1999 [14] D Dementhon and L S Davis Model-based object pose in 25 lines of code International Journal of Computer Vision, 15(1/2):123-141, June 1995 [15] B Espiau Effect of camera calibration errors on visual servoing in robotics In 3rd International Symposium on Experimental Robotics, Kyoto, Japan, October 1993 [16] E Dombre and W Khalil ISTE, Cambridge, Massachusetts, 2010 [17] Mark W Spong, S Hutchinson, and M Vidyasagar Robot Modeling and Control Wiley, 2006 [18] F Chaumette Potential problems of stability and convergence in image-based and position-based visual servoing In The Confluence of Vision and Control, pages 66-78 LNCIS Series, No 237, Springer-Verlag, 1998 [19] J.T Feddema, C.S.G Lee, and O.R Mitchell Weighted selection of image features for resolved rate visual feedback control IEEE Transactions on Robotics and Automation, 7(1):31-47, Feb 1991 [20] F Janabi-Sharifi and W.J Wilson Automatic selection of image features for visual servoing IEEE Transactions on Robotics and Automation, 13(6):890-903, Dec 1997 [21] Jianbo Shi and C Tomasi Good features to track In Computer Vision and Pattern Recognition, 1994 Proceedings CVPR ’94., 1994 IEEE Computer Society Conference on, pages 593{600, Jun 1994 [22] N Andreff, B Espiau, and R Horaud Visual servoing from lines In IEEE International Conference on Robotics and Automation, 3, pages 2070-2075, 2000 117 TÀI LIỆU THAM KHẢO [23] M Iwatsuki and N Okiyama A new formulation of visual servoing based on cylindrical coordinate system IEEE Transactions on Robotics, 21(2):266{273, April 2005 [24] F Chaumette A first step toward visual servoing using image moments In IEEE/RSJ International Conference on Intelligent Robots and Systems, 1, pages 378 383, 2002 [25] F Chaumette Image moments: a general and useful set of features for visual servoing IEEE Transactions on Robotics, 20(4):713-723, Aug 2004 [26] O Tahri and F Chaumette Image moments: generic descriptors for decoupled image-based visual servo In IEEE International Conference on Robotics and Automation, 2, pages 1185-1190, April 2004 [27] O Tahri and F Chaumette Point-based and region-based image moments for visual servoing of planar objects IEEE Transactions on Robotics, 21(6):1116-1127, Dec 2005 [28] Yimin Zhao, Wen-Fang Xie, and Sining Liu Image-based visual servoing using improved image moments in 6-DOF robot systems International Journal of Control, Automation and Systems, 11(3):586-596, 2013 [29] O Tahri and F Chaumette Application of moment invariants to visual servoing In IEEE International Conference on Robotics and Automation, 3, pages 4276-4281, Sept 2003 [30] O Tahri and F Chaumette Complex Objects Pose Estimation based on Image Moment Invariants In IEEE International Conference on Robotics and Automation, pages 436-441, April 2005 [31] P Martinet, J Gallice, and D Khadraoui Vision Based Control Law using 3D Visual Features In Committees, Econometrica, pages 497{502, 1996 [32] L Deng, W.J Wilson, and F Janabi-Sharifi Dynamic performance of the positionbased visual servoing method in the Cartesian and image spaces In IEEE/RSJ International Conference on Intelligent Robots and Systems, 1, pages 510-515, Oct 2003 118 TÀI LIỆU THAM KHẢO [33] W.J Wilson, C.C Williams Hulls, and G.S Bell Relative end-effector control using Cartesian position based visual servoing IEEE Transactions on Robotics and Automation, 12(5):684-696, Oct 1996 [34] Enrique Cervera, Angel P Del Pobil, FranA~§ois Berry, and Philippe Martinet Improving Image-Based Visual Servoing with Three-Dimensional Features The International Journal of Robotics Research, 22(10-11):821-840, 2003 [35] J Wang and W.J Wilson 3D relative position and orientation estimation using Kalman filter for robot control In IEEE International Conference on Robotics and Automation, pages 2638-2645, May 1992 [36] G Hu, N Gans, N Fitz-Coy, and W Dixon Adaptive homography-based visual servo tracking control via a quaternion formulation Control Systems Technology, IEEE Transactions on, 18(1):128-135, Jan 2010 [37] L Deng, F Janabi-Sharifi, and W.J Wilson Hybrid strategies for image constraints avoidance in visual servoing In IEEE/RSJ International Conference on Intelligent Robots and Systems, 1, pages 348-353, 2002 [38] E Marchand and F Chaumette Feature tracking for visual servoing purposes Robotics and Autonomous Systems, 52(1):53-70, June 2005 [39] P.I Corke, F Spindler, and F Chaumette Combining Cartesian and polar coordinates in IBVS In IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5962-5967, Oct 2009 [40] S.K Nayar, S.A Nene, and H Murase Subspace methods for robot vision IEEE Transactions on Robotics and Automation, 12(5):750-758, Oct 1996 [41] Koichiro Deguchi A Direct Interpretation of Dynamic Images with Camera and Object Motions for Vision Guided Robot Control International Journal of Computer Vision, 37(1):7-20, 2000 [42] V Kallem, M Dewan, J.P Swensen, G.D Hager, and N.J Cowan Kernel based visual servoing In IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 1975-1980, Oct 2007 119 TÀI LIỆU THAM KHẢO [43] C Collewet, E Marchand, and F Chaumette Visual servoing set free from image processing In IEEE International Conference on Robotics and Automation, pages 8186, May 2008 [44] C Collewet and E Marchand Colorimetry-based visual servoing In IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 54385443, Oct 2009 [45] C Collewet and E Marchand Photometry-based visual servoing using light reflexion models In Robotics and Automation, 2009 ICRA ’09 IEEE International Conference on, pages 701-706, May 2009 [46] A Cretual and F Chaumette Visual servoing based on image motion The International Journal of Robotics Research, 20(11):857-877, 2001 [47] R Kelly, J Moreno, and Ricardo Campa Visual servoing of planar robots via velocity fields In IEEE Conference on Decision and Control (CDC), 4, pages 40284033 Vol.4, Dec 2004 [48] R Kelly, E Bugarin, and V Sanchez Image-based visual control of nonholonomic mobile robots via velocity fields: Case of partially calibrated inclined camera In IEEE Conference on Decision and Control, pages 3071{3076, Dec 2006 [49] L Deng, W.J Wilson, and F Janabi-Sharifi Characteristics of robot visual servoing methods and target model estimation In IEEE International Symposium on Intelligent Control, pages 684{689, Oct 2002 [50] E Malis Visual servoing invariant to changes in camera-intrinsic parameters IEEE Transactions on Robotics and Automation, 20(1):72{81, Feb 2004 [51] Corke, P I & Hutchinson S A., Aug 2001, “A new partitioned approach to imagebased visual servo control” IEEE Transactions on Robotics and Automation, vol 17, no 4, pp 507–515 [52] Franỗois Chaumette, E Malis 1/2 D visual servoing: a possible solution to improve image-based and position-based visual servoings IEEE Int Conf on Robotics and Automation, ICRA’00, 2000, San Francisco, USA, United States pp.630-635 120 TÀI LIỆU THAM KHẢO [53] V Kyrki, D Kragic and H I Christensen, "New shortest-path approaches to visual servoing," 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (IEEE Cat No.04CH37566), Sendai, 2004, pp 349-354 vol.1 [54] P Zanne, G Morel, and F Piestan Robust vision-based 3D trajectory tracking using sliding mode control In IEEE International Conference on Robotics and Automation, 3, pages 2088 - 2093 vol.3, Apr 2000 [55] P I Corke and S.A Hutchinson A new hybrid image-based visual servo control scheme In Proceedings of the 39th IEEE Conference on Decision and Control, 3, pages 2521 - 2526, 2000 21 [56] J Pages, C Collewet, F Chaumette, and J Salvi Optimizing plane-to-plane positioning tasks by image-based visual servoing and structured light IEEE Transactions on Robotics, 22(5):1000 - 1010, Oct 2006 21 [57] Nicholas Gans, Seth Hutchinson, and Peter Corke Performance tests for visual servo control systems, with application to partitioned approaches to visual servo control The International Journal of Robotics Research, 22(10/11):955 - 981, October 2003 [58] Y Mezouar and F Chaumette Path planning for robust image-based control IEEE Transactions on Robotics and Automation, 18(4):534-549, Aug 2002 [59] G Chesi Visual servoing path planning via homogeneous forms and LMI optimizations IEEE Transactions on Robotics, 25(2):281-291, Apr 2009 [60] Gans, Nicholas & Hutchinson, Seth (2002) A switching approach to visual servo control 2002 IEEE InternationalSymposiumon Intelligent Control Vancower, Canada: 770 – 776, October 27-30, 2002 [61] G Chesi, K Hashimoto, D Prattichizzo and A Vicino, "A switching control law for keeping features in the field of view in eye-in-hand visual servoing," 2003 IEEE International Conference on Robotics and Automation (Cat No.03CH37422), Taipei, Taiwan, 2003, pp 3929-3934 vol.3 121 TÀI LIỆU THAM KHẢO [62] N R Gans and S A Hutchinson, "Stable Visual Servoing Through Hybrid Switched-System Control," in IEEE Transactions on Robotics, vol 23, no 3, pp 530540, June 2007 [63] N R Gans and S A Hutchinson, "An experimental study of hybrid switched system approaches to visual servoing," 2003 IEEE International Conference on Robotics and Automation, Taipei, Taiwan, 2003, pp 3061-3068 vol.3 [64] N R Gans and S A Hutchinson, "An asymptotically stable switched system visual controller for eye in hand robots," Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003), Las Vegas, NV, USA, 2003, pp 735-742 vol.1 [65] G Chesi, K Hashimoto, D Prattichizio, A Vicino: Keeping features in the field of view in eye-inhand visual servoing: a switching approach, IEEE Trans Robot Autom 20, 908–913 (2004) [66] Liberzon, D & Morse, A., 1999, “Basic problems in stability and design of switched systems” in IEEE Control Systems Magazine 19 [67] Branicky, M., 1998, “Multiple Lyapunov functions and other analysis tools for switched and hybrid systems” in IEEE Trans Automat Control [68] Mansard, N and Chaumette, F., Nov 2004, “Tasks sequencing for visual servoing” in IEEE/RSJ Int Conf on Intelligent Robots and Systems (IROS’04), Sendai, Japan [69] Mansard, N & Chaumette, F., 2005, “A new redundancy formalism for avoidance in visual servoing” in IEEE/RSJ International Conference on Intelligent Robots and Systems [70] P I Corke, “Robotics toolbox for MATLAB,” IEEE Robotics & Automation Magazine, vol 3, no 1, pp 24–32, 1996 [71] H Golnabi, A Asadpour, Design and application of industrial machine vision systems, Robot Computer-Integr Manuf 23 (6) (2007) 630–637 122 TÀI LIỆU THAM KHẢO [72] A Watanabe, S Sakakibara, K Ban, M Yamada, G Shen, T Arai, Autonomous visual measurement for accurate setting of workpieces in robotic cells, CIRP Ann – Manuf Technol 54 (1) (2005) 13–18 [73] R.F Vassallo, H.J Schneebeli, J Santos-Victor, Visual servoing and appearance for navigation, Robot Auton Syst 31 (2000) 87–97 [74] A Krupa, J Gangloff, C Doignon, M.F De Mathelin, G Morel, J Leroy, J Marescaux, Autonomous 3-D positioning of surgical instruments in robotized laparoscopic surgery using visual servoing, IEEE Trans Robot Autom 19 (2003) 842– 853 [75] F Janabi-Sharifi, M Marey, A kalman-filter-based method for pose estimation in visual servoing, IEEE Trans Robot 26 (2010) 939–947 [76] J A Gangloff and M F de Mathelin, "Visual servoing of a 6-DOF manipulator for unknown 3-D profile following," IEEE Trans Robot Automat., vol 18, pp 511520, Aug 2002 [77] W C Chang, "Binocular vision-based 3-D trajectory following for autonomous robotic manipulation," Robotica, vol 25, no 5, pp 615-626, Sep 2007 [78] H Koch, A konig, K Kleinmann, A Weigl-Seitz, "Filtering and corner detection in predictive robotic contour following," in Proc Robotik, May 21-22, 2012, German, pp 1-6 [79] V Chari, A Sharma, A Namboodiri, C V Jawahar, "Frequency domain visual servoing using planar contours," in Proc Computer Vision, Graphics and Image Processing Conj., Dec 18-19, 2008, India, pp.87 94 [80] F Lange and G Hirzinger, "Predictive visual tracking of lines by industrial robots," the International Journal on Robotics Research, vol 22, no 10-11, pp 889-903, Oct 2003 [81] C C Cheah, S P Hou, Y Zhao, and J J E Slotine, "Adaptive vision and force tracking control for robots with constraint uncertainty," IEEE Trans Mechatron., vol 15, no 3, pp.389-399, June 2010 123 TÀI LIỆU THAM KHẢO [82] Y Mezouar, F Chaumette, Path planning for robust image-based control, IEEE Trans Robot Autom 18 (2002) 534–549 [83] G Chesi, Visual servoing path planning via homogeneous forms and LMI optimizations, IEEE Trans Robot 25 (2009) 281–291 [84] V D Cong and L D Hanh, "Evaluate Control Laws Related to Interaction Matrix for Image-Based Visual Servoing," 2019 6th NAFOSTED Conference on Information and Computer Science (NICS), Hanoi, Vietnam, 2019, pp 454-459 [85] Eissa Nematollahi and Farrokh Janabi-Sharifi, “Generalizations to control laws of image-based visual servoing” International Journal of Optomechatronics, vol 3, pp 167–186, 2009 [86] E Malis, “Improving vision-based control using efficient second-order minimization techniques,” IEEE International Conference on Robotics and Automation, pp 1843-1848, 2004 [87] K Hosoda, K Sakamato, M Asada: Trajectory generation for obstacle avoidance of uncalibrated stereo visual servoing without 3-D reconstruction, IEEE/RSJ Int Conf Intell Robots Syst., Vol (Pittsburgh 1995) pp 29–34 [88] Y Mezouar, F Chaumette: Path planning for robust image-based control, IEEE Trans Robot Autom 18, 534–549 (2002) [89] Mansard, N & Chaumette, F., 2005, “A new redundancy formalism for avoidance in visual servoing” in IEEE/RSJ International Conference on Intelligent Robots and Systems [90] Mansard, N and Chaumette, F., Nov 2004, “Tasks sequencing for visual servoing” in IEEE/RSJ Int Conf on Intelligent Robots and Systems (IROS’04), Sendai, Japan [91] Mansard, N and Chaumette, F., Feb 2007, “Task sequencing for high level sensorbased control”, IEEE Transactions on Robotics 124 TÀI LIỆU THAM KHẢO PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Võ Duy Công Ngày, tháng, năm sinh: 05/08/1995 Nơi sinh: Quảng Ngãi Địa liên lạc: 730/15/9 Lạc Long Quân, P.4, Q Tân Bình, TpHCM QUÁ TRÌNH ĐÀO TẠO Bậc đào tạo Thời gian Nơi đào tạo Chuyên nghành Đại học 2013-2018 Trường ĐH Bách khoa TpHCM Kỹ thuật Cơ điện tử Thạc sĩ 2018-2020 Trường ĐH Bách khoa TpHCM Kỹ thuật Cơ điện tử QUÁ TRÌNH CƠNG TÁC Thời gian Nơi cơng tác Chức vụ 2018 Công ty Fossil Kỹ sư 2018 đến 2020 Trường ĐH Bách khoa TpHCM Giảng viên 125 ... path visual servoing CJM – Constant Jacobian matrix VJM – Varying Jacobian matrix PMJM – Pseudo-inverse of the mean of Jacobian MJPM – Mean of the Jacobian pseudo-inverse PAJM – Parametric approximations... evaluation To conduct the assessment, the thesis will give typical control tasks that are translational movements and rotation around axes Performance criteria are used as a quantitative evaluation. .. matrix approximation methods are presented to solve those problems The popular diagrams in visual servoing that have been presented will be simulated on Matlab and perform comparasion and evaluation