Ứng dụng trí tuệ nhân tạo và giải thuật visual servoing cho tay máy gắp vật

I H C QU C GIA TP.HCM I H C BÁCH KHOA - NG B O DUY NG D NG TRÍ TU NHÂN T O VÀ GI I THU T VISUAL SERVOING CHO TAY MÁY G P V T Chuyên ngành: K thu nT Mã s : 8520114 LU TP H Chí ii c hồn thành t i: Cán b i h c Bách Khoa ng d n khoa h c: TS -HCM c H nh Cán b ch m nh n xét 1: PGS.TS.Nguy Cán b ch m nh n xét 2: PGS.TS.Lê M Hà Lu c cb ov t (tr c n) ih Thành ph n H m: Ch t ch: PGS.TS.Nguy n Duy Anh Ph n bi n 1: PGS.TS.Nguy Ph n bi n 2: PGS.TS.Lê M Hà U Th o Xác nh n c a Ch t ch H ngành sau lu CH T CH H NG ng Khoa qu n lý chuyên c s a ch a (n u có) i I H C QU C GIA TP.HCM C NG HÒA XÃ H I CH I H C BÁCH KHOA T NAM c l p T H nh phúc NHI M V LU H tên h ng B o Duy MSHV: 1970026 Chuyên ngành: K Thu I TÀI: n T Mã s : 8520114 ng d ng trí tu nhân t o gi i thu t visual servoing cho tay máy g p v t NHI M V VÀ N I DUNG: a Nghiên c u t ng quan v liên quan b Mơ hình tay máy lý thuy t gi i thu c ng d nh n di n trích xu u n visual servoing ng bao v t d Mô ph ng visual servoing, th c nghi m k t lu n II NGÀY GIAO NHI M V : 21/09/2020 III NGÀY HOÀN THÀNH NHI M V : 02/08/2021 IV CÁN B NG D N: c H nh Tp.HCM, ngày CÁN B NG D N tháng CH NHI M B (H tên ch ký) (H tên ch ký) (H tên ch ký) O ii L IC Vi c lu t nghi p g n li n v i nh ng s h tr , dù hay nhi u, dù tr c ti p hay gián ti p c a nhi th i gian t b uh ct p nhi u s gi ng cao h cr t c a quý th y cô, gi V i lòng bi c nh t, em xin g nt i khác Trong su t n bè n quý th y cô i H c Bách Khoa TP H tri th c tâm huy t c truy su t th i gian h c t p t ng Em xin chân thành c i t v n ki n th c quý báu cho chúng em cH i thi tài lu c hi n c bi t xin c cH t ng bu i g p m ng d n em qua ng bu i nói chuy n, th o lu n v Và em xin c ng l i nh n xét, góp ý c a th y u khơng có nh ng l M h ng d n, d y b o c a th y em ch c a em r t khó có th hồn thi chân thành c tài lu c M t l n n a, em xin y g ng n l kh i nh ng thi hồn thành lu c khơng tránh u ch c ch n, em r t mong nh góp quý báu c a quý th y cô b n h c l c nh ng ý ki em có th h c h i hồn thi Em xin chân thành c Tp H Sinh viên th c hi n ng B o Duy iii TÓM T T ng d ng trí tu nhân t o gi i thu t visual lý nh nh n di cb u n cánh tay robot b c t d ng eye-in- n v trí nh mong mu n b ng thu t toán Visual Servoing tài s d ng trí tu nhân t o (Artificial Intelligence) cho nh n di n v t th nh m kh c ph c h n ch c lý truy n th mô ph ng gi i thu bám nh m n v trí c n g p v t v i sai s Công vi c x lý ng cánh tay robot m c t i thi u c th c hi n Google Colab Notebook h tr cho công vi c khoa h c d li u máy h c v ph tài s d ng n x lý nh detectron2 Mô c th c hi n Matlab b ng công c Robotics Toolbox Machine Vision Toolbox (c a tác gi Peter Corke) N i dung c a lu u t ng quan v ng d liên quan nh n di n, trích xu t gi i thu ng bao v t th c nghi m u n visual servoing ng visual servoing, th c nghi m k t lu n iv ABSTRACT Appliance for 6Deep Learning and a robot controlling method which control a DOF eye-in-hand robot to a desired position by Visual Servoing algorithm This thesis uses Artificial Intelligence for detecting objects to improve limitations of classical detecting object method The thesis uses and simulates Visual Servoing algorithm to tracking the object image position, controlling 6-DOF robot arm to object position with minimum position error The image processing works is performed on Google Colab Notebook service that offers an integrated and secure JupyterLab environment for data scientists and machine learning developers and Detectron2 a Facebook AI Research library that provides state-of-the-art detection and segmentation algorithms Simulation works is performed on Matlab using Robotics ToolBox and Machine Vision ToolBox (developed by Peter Corke professor) Main contents of the thesis include below chapters: Chapter 1: Overview of related solutions Chapter 2: Artificial Intelligence theory in detection and segmentation object application and Experiments Chapter 3: Robot arm architecture analysis and Visual Servoing algorithm Chapter 4: Controlling robot arm simulation using Visual servoing, Experiments and Conclusions v L u th c hi n Các s li u, k t qu nêu Lu ng m i s cc c xác cho vi c th c hi n Lu o Lu c trích ngu n H c viên th c hi n Lu ng B o Duy vi M CL C Contents NHI M V LU L i .ii TÓM T T iii ABSTRACT iv L v M C L C vi M C L C HÌNH NH ix M C L C B NG BI U xiii DANH M C CÁC T M VI T T T, KÝ HI U xiv U T ng quan v 1.1 1.2 tv liên quan T ng quan 1.2.1 Quy trình chi 1.2.2 M t s tay máy robot [2] 1.2.3 M t s v trí g n camera 1.2.4 M ts ng d 2.1 p chai n di nh n di n, trích xu ng bao v t th ng bao v t th c nghi m 14 c lý thuy t AI 14 2.1.1 Gi i thi u v neuron network .14 2.1.2 Gi i thi u v deep learning 16 2.1.2.1 M -ron tích ch p (Convolutional Neural Networks) 16 2.1.2.2 Feature Pyramid Network (FPN) 21 2.1.2.3 Resnet (Residual network) .22 2.1.2.4 ResNeXt 23 vii 2.1.2.5 -CNN Regions with convolutional neural networks) .24 2.2 Calibration 29 2.2.1 Mơ hình hóa camera .29 2.2.2 méo Camera Calibration 31 2.2.3 Quá trình Camera Calibration .33 2.2.4 Ki m tra sai s trình Camera Calibration .35 2.3 Gi i thu t nh n d c l p trình 36 2.3.1 Ph n m 2.3.2 Gi i thu t x lý nh th c nghi m 40 2.3.2.1 2.3.2.2 nl c s d ng 36 gi i thu t x lý nh b ng m ng Deep Learning 40 Th c nghi ng h p nh n d Mơ hình tay máy lý thuy t gi i thu 3.1 n c 45 u n visual servoing 50 ng h c c a tay máy 50 3.1.1 Gi i thi u robot Nachi-MZ07 .50 3.1.2 ng h c thu n .50 3.1.3 Jacobian 53 3.1.4 c .56 3.2 Lý thuy t gi i thu t u n visual servoing 57 3.2.1 c v moment nh 57 3.2.2 Moment kh i tâm b t bi n 59 3.2.3 Thu t toán visual servoing s d ng moment nh [12], [13],[15] 60 Mô ph ng visual servoing, th c nghi m k t lu n 66 4.1 Mơ t gi i thu t q trình mơ ph ng thu t toán visual servoing .66 4.2 Th c nghi m k t qu mô ph ng k t lu n 70 viii 4.3 K t lu n 75 4.3.1 Các k t qu 4.3.2 H n ch 75 4.3.3 ng phát tri c 75 75 TÀI LI U THAM KH O 77 PH N LÝ L CH TRÍCH NGANG 80 65 (3.40) (3.41) i ta ch ph ng nh vi ng h p m t ph ng v t th song song v i m t u ph ng v t th u n khó bi t ph ng v t th t i n v trí vng góc v i m t x px th c tính ma tr n t ng th c h s A, B c a m nên có th coi 66 Mô ph ng visual servoing, th c nghi m k t lu n 4.1 Mô t gi i thu t q trình mơ ph ng thu t tốn visual servoing mơ ph ng lý thuy t c a gi i thu t tài s d ng ph n m m Matlab v i s h tr c a Robotics ToolBox Machine Vision Toolbox c a tác gi u vào t ng bao c c l y t khâu x lý nh Google Colab Tay máy s bám l y v t cho nh c a v t trùng v i nh mong mu c sai s mong mu ti g p v t b ng cách di chuy n theo chi u th mong mu g pl yv ng xu tài xin b qua ph n g p v n tv iv nt c ti t ki m th i gian ch c n có v n t c robot theo chi u Z, thành ph n khác c a vector v n t c b ng dùng ma tr n Jacobian tính v n t c kh p c u ti n v v trí c a c g p Quy trình mơ ph ng gi i thu t visual servoing t hình 4.1 c mơ trang ti p theo M c tiêu c a gi i thu t mô ph ng làm cho chai c m u trùng v i v cc c ch chai 7up, gi i thu t cịn có th di bám lo i c khác mi n có th nh n c mô ph ng gi i thu c mô t chi ti B u ch T ng bao c ct i d ng fil chuy n file xlsx thành file mat T Hình 4.1 cm cm c c n bám s c load vào c c n bám bên ph i 67 T o bi n, thông s , ma tr mô ph ng 3D m trình s kh i t o b ng DH t B ng 2.1, giá tr u c a kh p , ma tr n Jacobian theo công th c 2.11 V i thơng s có c, s d ng Rob t o không gian chi u m t mơ hình mơ ph ng tay máy b c t Machi Hình 4.2 Kh i t o tay máy b c t c th t o camera thông s kho ng cách t camera t c a nh, giá tr ch phân gi u tay máy v i m f s kh i t o v i giá tr m it trí camera c Nh p nh f=8mm, ng camera v i v b ng Machine Vision Toolbox 68 Start - - -DOF - - - - - i=1 Sai End i 11 - vcam Sai e(1:6) - e_ref s* dq = -inv(J)* inv(Ls)*e Hình 4.3 gi i thu t mơ ph ng visual servoing i=i+1 - - 10 69 nt v t nh c cm c c n bám g c O tay máy r i v mô ph ng tay máy v c m u c c n bám Hình 4.4 cm c c n bám màu xanh n ma tr n 0.1 l c a c m u t cơng th c 2.35 Tính theo công th c 2.40 Ch n h s ma tr ng chéo b ng ph i ch n cho tay máy không nhanh, n u nhanh s b rung ng quanh v t Kh i t o giá tr mong mu n u cho ma tr n sai s e, bi n v n t c b u vòng l p v Ch n sai s mơ ph ng q trình tay máy di chuy n bám theo v t Khi s v n l mong mu n camera o ch c th c th r i sai s tr n Jacobian p nh t giá tr ma v trí hi n t tính v n t c c mong mu 2.24 Tính v n t c mong mu n , bi n sai s , bi n v n t c 10 Ti v dùng u n tay máy u n kh p theo công th c c cho bi n kh p p nh t v trí m i c a tay máy theo bi n kh cm cc nh 70 v hay c p nh t v trí c cm c c n bám hình c Hình 4.5 bên trái: hình tay máy robot; bên ph i: c t camera 11 Gi i thu t ch c th xong hi n th th sai s th v trí kh p theo s vịng l p Ti ti p t c l p l c th t v c hi n t i Sau c th t thúc ng vi c gi i thu u n tay máy có th nhi u v t liên t c ph c v cho vi c g p liên t c nhi c c 4.2 Th c nghi m k t qu mô ph ng k t lu n K t qu mơ ph ng g m hình nh tay máy, hình trình bám theo v c th ghi l i v trí c a góc kh p, ghi l i sai s c nh i mô t q trình mơ ph cm u trùng v máy hình c t c c a camera, nh s s cu servoing c mu n g p màu xanh Bên trái mô t tay 3D th c t , bên ph i mô ph ng nh ch p tìm sai c v trí kh p c n di chuy n thông qua gi i thu t visual 71 Hình 4.6 pv t Khi tay máy di chuy trùng v i c màu xanh bên ph i v xu Hình 4.7 nv c m u mong mu n sai s n m vùng mong mu n th mơ t s di chuy n c a kh c m u s p trùng v i cha Hình 4.8 th v trí góc kh p th sai s c màu xanh bên ph i 72 Hình 4.9 Hình 4.10 Các sai s mong mu n th sai s m nh th sai s t ng h u h i t v 0, y v c m u trùng v i v i chi ph c tình tr ng có th gi m t 4.9 có nhi u sóng t t ng t d làm h tay máy xu ng b ng cách cho tay máy xu ng th ng b n Hình kh c ph c có sai s nh nhi Hình 4.11 mơ t v trí kh p v i gi m b t Hình 4.12 mơ t sai s e3, e4 v i it kh c tay máy ch y nhanh mà sai s e4, e5 l i nh Th c có th coi sai s g nhi c hình 4.8, kh p di chuy n nhanh nên t o thành chóp nh n ch y th c t s th gi m t nh tay máy ch , có th th y chóp nh cho th kh 73 Hình 4.11 th v trí kh p v i Hình 4.12 Sai s e3, e4 sai s t ng h p v i c m u di chuy n nv c màu xanh bên ph Hình 4.13 c màu xanh bên trái t v th sau c m u trùng v c màu xanh bên trái 74 Hình 4.14 Hình 4.15 Hình 4.16 th v trí góp kh th sai s m th sai s t ng h c bên trái c bên trái c bên trái 75 c bên ph i, có th kh nhi u sai s hình 4.15 b ng cách gi m v n t c c a tay máy b ng cách gi m h s t tay máy nh y v i ng th i s ng ch ng 4.3 K t lu n 4.3.1 Các k t qu - c hóa cơng vi c mơ ph ng công vi c n u th c t - t o nh ph ng Phân tích ch n model x lý nh AI Nh n di v c nhi c ng h p b ng thu t toán AI xu t mask c a v t Thu t toán AI th hi n t i v t dính sát - X l - Nghiên c AI v i t ng bao sai s ng h p có th nh n di ng h p nh n di su t ch - c c, th nghi m c su c c d p Tính tốn cơng th c, mô ph ng gi i thu u n bám hai v t - Tính tốn sai s v th 4.3.2 H n ch - Nh n di n c - Thu t toán visual servoing ch y không t t v i v n t c cao Không ch y cv c su t ng h c ph m vi camera, nghiêng hay xa tay máy - Code b ng python cho x lý nh Google Colab code mơ ph ng Matlab r t om có th tích h p c hai vào m 4.3.3 ng phát tri - Có th áp d ng v i tay máy th c t tìm hi t c robot v i 76 - ành m t mã ngu n nh t V i s phát tri n c a cơng ngh c su t s m u AI có th nh n d ng n cho vi c áp d ng AI vào robot làm th giác máy tính - X lý nh b ng AI có th nh n d cho phân lo i v t, phân lo i rác th c nhi u lo i v t có th áp d ng 77 TÀI LI U THAM KH O [1] N Fujikoshi "MZ Series Catalog" Internet: fujikoshi.co.jp/eng/web/pdf/R7702E-10.pdf, 2019 https://www.nachi- [2] C ence Between Industrial Robots?" Internet: https://www.machinedesign.com/markets/robotics/article/21835000/ whats-the-difference-between-industrial-robots, 2016 [3] M Philippe "Some words on visual servoing" Internet: https://www.gdrrobotique.org/cours_de_robotique/online/Martinet_VisualServoings/Martinet_Visual-Servoings_slides.pdf, 2010 [4] A Pablo "Boundary Detection Benchmark: Algorithm Ranking" Internet: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/bench /html/algorithms.html, 2013 [5] H.Q Th y et al "Báo cáo ti u lu n môn h c khai phá d li u" Internet: http://uet.vnu.edu.vn/~thuyhq/PPNCKH/18_Ban_dich_K61_Charu_C_ %20Aggarwal_Neural_Networks_&_Deep_Learning_A_Textbook_P14.pdf [6] X Saining et al "Aggregated Residual Transformations for Deep Neural Networks" Internet: https://arxiv.org/pdf/1611.05431.pdf, 2017 [7] M Edward, Xie et al "Enhancing ResNet to ResNeXt for image classification" Internet: https://medium.com/dataseries/enhancing-resnet-to -resnext-for-image-classification-3449f62a774c, 2016 [8] H Kaiming et al "Mask R-CNN" Internet: https://arxiv.org/pdf/1703.06870 pdf, 2018 [9] H Tram " c tri n khai Mask R-CNN cho toán Image Segmentation" Internet: https://itzone.com.vn/vi/article/maskrcnn-cac-buoctrien-khai-mask-r-cnn-cho-bai-toan-image-segmentation/, 2020 [10] Sik-Ho "Review: FPN Feature Pyramid Network (Object Detection)" Internet: https://towardsdatascience.com/ review-fpn-feature-pyramid-network-object-detection-262fc7482610, 2019 [11] M.-K Hu, "Visual pattern recognition by moment invariants," IRE transactions on information theory, vol 8, no 2, pp 179-187, 1962 78 [12] F Chaumette, "Image moments: a general and useful set of features for visual servoing," IEEE Transactions on Robotics, vol 20, no 4, pp 713-723, 2004 [13] M Ezio, C Francois, and B Sylvie, "2D 1/2 Visual Servoing".IEEE TRANS ON ROBOTICS AND AUTOMATION, vol 15, pp 238-250, 1999 [14] P Corke Robotic-vision and Control: Fundamental Algorithms in Matlab, Springer, 1st edition Internet: https://idoc.pub/documents/peter-corke-authrobotics-vision-and-control-fundamental-algorithms-in-matlabd47eze18qyn2, 2011 [15] N.D T nghi [16] T.P.P [17] L Tsung-Yi et al https://cocodataset.org/#explore, 2020 [18] W Yuxin, K Alexander, M Francisco, L Wan-Yen and G Ross u n h i ti p nh cho robot công nghi p" Lu ng d ng máy h c cho tay máy g p v t" Lu t t nghi p, : 2019 [19] u v thu t toán R-CNN, Fast R-CNN, Faster R-CNN, Mask R-detection-tim-hieu-vethuat-toan-r-cnn-fast-r-cnn-va-faster-r-cnn, 2020 [20] D https://doi.org/10.1155/2018/7068349, 2018 79 PH N LÝ L CH TRÍCH NGANG H ng B o Duy a ch liên l c: 4/9A, Bàu Bàng, P.13, Q Tân Bình, TP H Chí Minh O (B ut T t nghi i h c t i nay) i h c Bách Khoa TP H QUÁ TRÌNH CƠNG TÁC (B ut n nay) Làm vi c t i Công ty TNHH Thi t K Renesas Vi t Nam t n ... ng trí tu nhân t o gi i thu t visual servoing cho tay máy g p v t NHI M V VÀ N I DUNG: a Nghiên c u t ng quan v liên quan b Mơ hình tay máy lý thuy t gi i thu c ng d nh n di n trích xu u n visual. .. TÓM T T ng d ng trí tu nhân t o gi i thu t visual lý nh nh n di cb u n cánh tay robot b c t d ng eye-in- n v trí nh mong mu n b ng thu t toán Visual Servoing tài s d ng trí tu nhân t o (Artificial... nguyên nhân trên, em quy c nh m nh ch tài: ng d ng trí tu nhân t o gi i thu t visual servoing cho tay máy 2 M tài M tài nh m nghiên c u, áp d ng khai thác l i ích c a công ngh m i hi n vào x lý