Luận văn thạc sĩ Kỹ thuật cơ điện tử: Nghiên cứu và đánh giá các kỹ thuật điều khiển Visual Servoing

ĈҤI HӐC QUӔC GIA TP HCM

&Ð1*75Î1+ĈѬӦC HOÀN THÀNH TҤI 75ѬӠ1*ĈҤI HӐC BÁCH KHOA ±Ĉ+4*-HCM Cán bӝ Kѭӟng dүn khoa hӑc: 76/rĈӭc Hҥnh

2 TS Ngô Hà Quang Thӏnh 3 TS Lê Ngӑc Bích

4 PGS.TS NguyӉn Thanh 3KѭѫQJ 5 TS Phҥm Công Bҵng

Xác nhұn cӫa Chӫ tӏch HӝLÿӗQJÿiQKJLi/9Yj7Uѭӣng Khoa quҧn lý chuyên ngành sau khi luұQYăQÿmÿѭӧc sӱa chӳa (nӃu có)

CHӪ TӎCH HӜ,ĈӖNG 75ѬӢNG KHOA

ĈҤI HӐC QUӔC GIA TP.HCM

I TÊ1Ĉӄ TÀI: Nghiên cӭu và ÿánh giá các giҧi thuұt ÿLӅu khiӇn visual servoing II NHIӊM VӨ VÀ NӜI DUNG: Thӵc hiӋn nghiên cӭu các giҧi thuұt ÿLӅu khiӇn visual

servoing, ÿiQKJLiFKRFiFVѫÿӗ ÿLӅu khiӇn visual servoing khác nhau NhiӋm vө cө thӇ bao gӗm:

- Xây dөng hӋ thӕng thӏ giác liên quan ÿӃn visual servoing

- Tìm hiӇu lý thuyӃt ÿLӅu khiӇn visual servoing, các kӻ thuұt ÿLӅu khiӇn visual servoing

- Phân tích các vҩQÿӅ WKѭӡng gһp trong visual servoing

- TiӃn hành mô phӓQJÿiQKJLiYjVRViQKFiFsѫÿӗ ÿLӅu khiӇn visual servoing - Xây dӵng mӝt ӭng dөng cө thӇ sӱ dùng visual servoing

III NGÀY GIAO NHIӊM VӨ : (*KLWKHRWURQJ4ĈJLDRÿӅ tài) 19/08/2019 IV NGÀY HOÀN THÀNH NHIӊM VӨ: (*KLWKHRWURQJ4ĈJLDRÿӅ tài)

LӠI CҦ0Ѫ1

Ĉҫu tiên, em xin chân thành cҧPѫQTXê7Kҫy trong bӝ P{Q&ѫĈLӋn TӱNKRD&ѫNKtWUѭӡQJĈҥi hӑF%iFK.KRD73+&0ÿmWұn tình truyӅQÿҥt nhӳng kiӃn thӭc và kinh nghiӋm trong nhӳQJQăPHPKӑc tұp Vӕn kiӃn thӭFÿѭӧc tiӃp thu trong quá trình hӑc tұp không chӍ là nӅn tҧng cho quá trình thӵc hiӋn luұQYăn mà còn là hành trang quý báu ÿӇ HPEѭӟFYjRÿӡi mӝt cách tӵ tin và vӳng chҳc

(PFNJQJ[LQFKkQWKjQKFҧPѫQ7Kҫy TS Lê Ĉӭc HҥQKÿmWұQWuQKKѭӟng dүn em trong suӕt thӡi gian thӵc hiӋn luұQYăQ7Kҫ\OjQJѭӡLÿmJL~SHPWKiRJӥ nhӳng khó NKăQYѭӟng mҳc gһp phҧLNKLWKѭFKLӋQÿӅ tài Sӵ hiӇu biӃt sâu sҳc vӅ khoa hӑFFNJQJQKѭNLQKQJKLӋm cӫa Thҫy không nhӳng hӑFÿѭӧc kiӃn thӭc cӫa Thҫy mà em còn hӑc ÿѭӧc ӣ Thҫ\SKѭѫQJSKiSQJKLrQFӭu và sӵ nhiӋt tâm cӫDQJѭӡi Thҫy vӟi hӑc trò

Vӟi sӵ trân trӑng và cҧm kích, em xin gӱi lӡi cҧPѫQÿӃn ba mҽ, ba mҽ ÿmÿӝng viên con rҩt nhiӅu trong suӕt quá trình hӑc tұp tҥLWUѭӡQJÿҥi hӑc và nhҩWOjJLDLÿRҥn thӵc hiӋn luұQYăQ

TÓM TҲT LUҰ19Ă1

Visual servoing là mӝt kӻ thuұWÿӇ ÿLӅu khiӇQURERWWURQJÿҩy thông tin hӗi tiӃp thӏ JLiFÿѭӧc sӱ dөQJWURQJYzQJÿLӅu khiӇn kín giúp cҧi thiӋQÿӝ chính xác Các tác vө ÿLӅu khiӇQWURQJYLVXDOVHUYRLQJÿѭӧFÿӏQKQJKƭDÿӇ ÿLӅu khiӇn vұn tӕc cӫa robot, sӱ dөQJFiFÿһFWUѭQJWKӏ JLiFÿѭӧc trích xuҩt tӯ hình ҧnh Visual servoing gһp phҧi nhiӅu vҩQÿӅ NKiFQKDXQKѭFӵc tiӇu cөc bӝ, singularityFiFÿLӇPÿһFWUѭQJUDNKӓLWUѭӡng nhìn cӫDFDPHUD«&iFYҩQÿӅ Qj\ÿѭӧc giҧi quyӃt bҵng cách sӱ dөng cáFÿһFWUѭQJkhác nhau hoһc sӱ dөQJFiFVѫÿӗ ÿLӅu khiӇn khác nhau

Nӝi dung luұQYăQVӁ cӕ gҳng trình bày tҩt cҧ hiӇu biӃt cӫa hӑc viên OLrQTXDQÿӃn visual servoing BҳWÿҫu tӯ hӋ thӕng thӏ giác: xây dӵng mô hình camera tӯ phép chiӃu phӕi cҧnh, thiӃt lұp quan hӋ giӳa các phép chiӃu thông qua ràng buӝc epipolar và ma trұn homography, tiӃn hành xây dӵng chuyӇn vӏ cӫa camera bҵng cách phân tách ma trұQKRPRJUDSK\YjѭӟFOѭӧng các thông sӕ chiӅXVkX6DXÿyGӵa trên nӅn tҧng thӏ giác máy tính, trình bày vӅ các kӻ thuұWÿLӅu khiӇn visual servoing Lý thuyӃt chung vӅ visual servoing sӁ ÿѭӧFÿѭDUDWUѭӟFWLrQVDXÿyVӁ áp dөQJFKRFiFVѫÿӗ ÿLӅu khiӇn cө thӇQăPVѫÿӗ khác nhau sӁ ÿѭӧFWUuQKEj\ÿӇ tiӃQKjQKFiFVRViQKYjÿiQKJLi&iFÿһFWUѭQJWKӏ JLiFFNJQJ ÿѭӧc trình bày mӝt cách chi tiӃWWURQJÿҩy tұp trung diӉn giҧi FiFÿһFWUѭQJKuQKKӑc Ngoài ra mӝt sӕ Vѫÿӗ WăQJFѭӡng và kӃt hӧSFNJQJÿѭӧc trình Ej\FiFVѫÿӗ này là sӵ phӕi hӧp cӫa visual servoing vӟi các kӻ thuұWÿLӅu khiӇn khác nhau JL~SWăQJÿӝ mҥnh mӁ cho visual servoing Các vҩQÿӅ WKѭӡng gһp khi áp dөng YLVXDOVHUYRLQJFNJQJÿѭӧFWUuQKEj\YjVDXÿyOjFiFSKѭѫQJSKiS[ҩp xӍ ma trұQWѭѫQJWiFÿӇ giҧi quyӃt các vҩQÿӅ ÿҩy

&iFVѫÿӗ phә biӃQWURQJYLVXDOVHUYRLQJÿmÿѭӧc trình bày sӁ ÿѭӧc mô phӓng trên Matlab và thӵc hiӋQFiFVRViQKYjÿiQKJLiĈӇ tiӃQKjQKFiFÿiQKJLiOXұQYăQVӁ ÿѭDra các tác vө ÿLӅu khiӇQÿLӇn hình là các chuyӇQÿӝng tӏnh tiӃn và xoay quanh các trөc Các tiêu chí vӅ hiӋu suҩWÿѭӧc sӱ dөQJÿӇ làm thông sӕ ÿiQKJLiÿӏnh OѭӧQJFKRFiFVѫÿӗ &iFÿiQKJLiVӁ ÿѭӧc tiӃn hành vӟi các thông sӕ chuyӇQÿӝQJWKD\ÿәi và ҧQKKѭӣng khác nhau cӫa nhiӉu KӃt quҧ cӫa các tiêu chí sӁ ÿѭӧc hiӇn thӏ mӝt cách trӵFTXDQGѭӟi dҥng biӇXÿӗ 3D, và tӯ ÿyFiFQKұQ[pWYjVRViQKFKRFiFVѫÿӗ ÿѭӧFÿѭDUD1JRjLUDluұQYăQFNJQJWLӃQKjQKÿiQKJLiFiFVѫÿӗ khi thӵc hiӋn các chuyӇQÿӝng tәng quát

Các tác vө tәng quát sӁ ÿѭӧc mô phӓng vӟi robot PUMA560 Mӛi tác vө ÿӅu có mӝt mөFÿíFKULrQJÿӇ thҩy ÿѭӧc các vҩQÿӅ trong mӝt sӕ Vѫÿӗ FNJQJQKѭFiFKFiFVѫÿӗ khác giҧi quyӃt các vҩQÿӅ này

Phҫn cuӕi sӁ là nӝLGXQJÿѭӧc phát triӇn ӣ JLDLÿRҥn sau cӫa quá trình thӵc hiӋn luұQYăQ3KҫQQj\ÿӅ xuҩWSKѭѫQJiQVӱ dөng phӕi hӧSFiFVѫÿӗ YLVXDOVHUYRLQJÿӇ thӵc hiӋn tác vө bám theo mӝWÿѭӡng viӅn nҵm trong mһt phҷng bҩt kǤ và không biӃt WUѭӟc hình dáng

THESIS ABSTRACT

Visual servoing is a technique for robot control, in which visual feedback is used in a closed loop control to improves the accuracy The control tasks in visual servoing are defined to control the velocity of the robot, using visual features extracted from the image Visual servoing encounters various problems such as local minima, singularity, feature points out of the camera field of view These problems are solved by using different features or using different control schemes

The content of the thesis will try to present all students' knowledge related to visual servoing Begin with vision system: building camera model from perspective projection, establishing relationships between projections through epipolar constraints and homography matrix, estimate the camera displacement by decompositing homography matrix and estimate depth parameters Then, based on the computer vision vision system, visual servoing control techniques were presented The general theory of visual servoing will be presented first, after that applied to specific control schemes, five different schemes will be presented for the comparison and evaluation Visual features are also presented in detail, focusing on the geometric features In addition, the enhancement and combination schemes are also presented, which are a combination of visual servoing with various control techniques that help increase the robusted of visual servoing Common problems in applying visual servoing are also presented and then interactive matrix approximation methods are presented to solve those problems

The popular diagrams in visual servoing that have been presented will be simulated on Matlab and perform comparasion and evaluation To conduct the assessment, the thesis will give typical control tasks that are translational movements and rotation around axes Performance criteria are used as a quantitative evaluation parameter for the schemes The evaluations will be conducted with the varying motion parameters and the varying effects of noise The results of the criteria will be displayed visually as a 3D chart, from which the reviews and compares of schemes are conducted In addition, the thesis also evaluates the diagrams when performing general movements General tasks will be simulated with the PUMA560 robot Each task has its own purpose for seeing problems in some schemes as well as how others solve them

The final section will be the content to be developed at a later stage of the thesis implementation process This section proposes the method using visual servoing schemes in combination to perform the task of following a contour in any plane and without knowing the shape

LӠ,&$0Ĉ2$1

7{L[LQFDPÿRDQluұQYăQ tӕt nghiӋS³Nghiên cӭXYjÿiQKJLiFiFNӻ thuұWÿLӅu khiӇn visual servoing´OjF{QJWUuQKQJKLrQFӭu cӫa bҧn thân Nhӳng phҫn sӱ dөng tài liӋu tham khҧo trong luұQYăQ ÿmÿѭӧc nêu rõ trong phҫn tài liӋu tham khҧo Các sӕ liӋu, kӃt quҧ trình bày trong luұn YăQ là hoàn toàn trung thӵc, nӃu sai tôi xin chӏu hoàn toàn trách nhiӋm và chӏu mӑi kӹ luұt cӫa bӝ P{QYjQKjWUѭӡQJÿӅ ra

Tp HCM, ngày 3 tháng 9 QăP20

Võ Duy Công

DANH SÁCH BҦNG BIӆU xvi

DANH SÁCH TӮ VIӂT TҲT xvii

&+ѬѪ1* GIӞI THIӊU 1

1.1 Giӟi thiӋu chung 1

1.2 Lý do thӵc hiӋn luұQYăQ 3

1.3 Mөc tiêu luұQYăQ 3

&+ѬѪ1* THӎ GIÁC MÁY TÍNH 4

2.1 Xây dӵng mô hình camera 5

2.1.1 Không gian chiӃu và không gian Euclidian 5

2.1.2 Phép chiӃu phӕi cҧnh 6

2.1.3 Mô hình camera 7

2.2 Ma trұn homography 8

2.2.1 Quan hӋ giӳa hai phép chiӃu 8

2.2.2 Ràng buӝc epipolar và ma trұn homography 9

2.2.3 ѬӟFOѭӧng ma trұn homography 10

2.3 ѬӟFOѭӧng chuyӇn vӏ cӫa camera tӯ ma trұn homography 11

2.4 ѬӟFOѭӧng chiӅu sâu tӯ ma trұn homography 14

2.5 KӃt luұn 15

&+ѬѪ1* VISUAL SERVOING 16

3.1 Giӟi thiӋu 16

3.2 Cҩu hình camera 17

3.2.1 Cҩu hình eye-in-hand 17

3.2.2 Cҩu hình eye-to-hand 17

3.3 Lý thuyӃt chung vӅ visual servoing 19

3.4 &iFVѫÿӗ ÿLӅu khiӇn visual servoing 21

3.4.1 Position Based Visual Servoing (PBVS) 22

3.4.2 Image Based Visual Servoing (IBVS) 23

3.4.3 2 ½ D Visual Servoing (2.5D VS) 25

3.4.4 Partitioned Visual Servoing (PVS) 28

3.4.5 Shorted Path Visual Servoing (SPVS) 30

3.5 Lӵa chӑQFiFÿһFWUѭQJWKӏ giác 33

3.5.1 ĈһFWUѭQJKuQKKӑc 34

3.5.2 ĈһFWUѭQJTXDQWUҳc 45

3.5.3 ĈһFWUѭQJWUѭӡng vұn tӕc 45

3.6 &iFVѫÿӗ ÿLӅu khiӇn kӃt hӧSYjWăQJFѭӡng 46

3.6.1 &iFVѫÿӗ chuyӇQÿәi (switching) 46

3.6.2 Task sequencing 50

3.6.3 Feature Trajectory Planning 53

3.7 Các vҩQÿӅ trong visual servoing 54

3.8.3 Parametric approximations for the Jacobian matrix (PAJM) 61

4.2.1 ChuyӇQÿӝng xoay quanh trөc quang hӑc vӟi nhiӉu 68

4.2.2 Tӏnh tiӃn dӑc theo trөc quang hӑc cӫa camera 75

4.2.3 ChuyӇQÿӝng xoay quanh trөc Y cӫa camera 79

4.2.4 Tӏnh tiӃn dӑc theo Y cӫa camera 84

+uQK&iFVѫÿӗ ÿLӅu khiӇn visual servoing 21

+uQKĈһFWUѭQJYӅ góc xoay cho PVS 29

+uQK&iFÿһFWUѭQJWKӏ giác trong Visual Servoing 33

+uQK&iFYQJÿӇ lӵa chӑQVѫÿӗ ÿLӅu khiӇn 50

Hình 3.7: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJNKLWKӵc hiӋn chuyӇQÿӝng quay quanh trөc quang hӑc sӱ dөng CJM 57

Hình 3.8 Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJNKLWKӵc hiӋn chuyӇQÿӝng quay quanh trөc quang hӑc sӱ dөng VJM 58

Hình 3.9 ChuyӇQÿӝng rút lui cӫa camera khi quay quanh trөc quang hӑc sӱ dөQJSKѭѫQJSKiS[ҩp xӍ VJM 58

Hình 3.10 KӃt cӫa áp dөQJSKѭѫQJSKiS[ҩp xӍ PMJM cho chuyӇQÿӝng xoay quanh trөc quang hӑc 59

Hình 3.11: KӃt quҧ cho sӵ kӃt hӧp chuyӇQÿӝng tӏnh tiӃn và quanh trөc quang hӑc vӟi góc quay 1200 cӫDKDLSKѭѫQJSKiSWUXQJEuQK 60

Hình 3.12 KӃt quҧ sӱ dөng PAJM vӟi chuyӇQÿӝng quay 1800 quanh trөc quang hӑc 62

Hình 4.1: Robot Puma 560 64

Hình 4.2&iFÿLӇPÿһFWUѭQJFKRFiFWiFYө ÿLӅu khiӇn 65

Hình 4.3: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJYӟi chuyӇQÿӝng xoay 600 quanh trөc Z 68 Hình 4.4: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJYӟi chuyӇQÿӝng xoay 1800 quanh trөc Z 69

Hình 4.5: Sai sӕ pixel trung bình khi quay quanh trөc Z 70

Hình 4.6: Sӕ lҫn lһSÿӃn khi hӝi tө khi quay quanh trөc Z 71

Hình 4.7: Khoҧng cách tӕLÿDFӫDÿLӇPÿһc WUѭQJVRYӟi tâm ҧnh vӟi chuyӇQÿӝng xoay quanh trөc Z 73

Hình 4.8: ChuyӇn dӏch cӫa camera khi quay quanh trөc Z 74

Hình 4.9: Quӻ ÿҥo cӫDFiFÿLӇPÿһFWUѭQJNKLWӏnh tiӃn dӑc theo trөc Z 75

Hình 4.10: Sai sӕ pixel trung bình khi tӏnh tiӃn theo trөc Z 77

Hình 4.11: Sӕ lҫn lһSÿӃn khi hӝi tө khi tӏnh tiӃn theo trөc Z 78

Hình 4.12: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQg khi xoay quanh trөc Y 79

Hình 4.13: Sai sӕ pixel trung bình khi xoay quanh trөc Y 80

Hình 4.14: Sӕ lҫn lһSÿӃn lúc dӯng khi xoay quanh trөc Y 81

Hình 4.15: ChuyӇn dӏch cӫa camera khi quay quanh trөc Y 83

Hình 4.16: Quӻ ÿҥo cӫDFiFÿLӇPÿһFWUѭQJNKLWӏnh tiӃn theo trөc Y 84

Hình 4.17: Sai sӕ pixel trung bình khi tӏnh tiӃn theo trөc Y 85

Hình 4.18: Sӕ lҫn lһSÿӃn lúc dӯng khi tӏnh tiӃn theo trөc Y 86

Hình 4.19: Cҩu hình robot tҥi vӏ trí mong muӕn 87

Hình 4.20: Cҩu hình robot tҥi vӏ WUtEDQÿҫu cho test 1 87

Hình 4.21: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJÿӕi vӟi Test 1 89

Hình 4.22: Quӻ ÿҥo 3D cӫDFDPHUDÿӕi vӟi Test 1 89

Hình 4.23: Vұn tӕc cӫa camera 90

Hình 4.24: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJÿӕi vӟi Test 2 91

Hình 4.25: TӑDÿӝ 3D cӫDFDPHUDÿӕi vӟi test 2 91

Hình 4.26: Vұn tӕc góc cӫDFDPHUDÿӕi vӟi test 2 92

Hình 4.27: Vұ tӕc dài cӫDFDPHUDÿӕi vӟi test 2 93

Hình 4.28: Cҩu hình robot tҥi vӏ WUtEDQÿҫu cho test 3 93

Hình 4.29: Quӻ ÿҥRFiFÿLӇPÿһFWUѭQJNKLWKӵc hiӋn test 3 95

Hình 4.30: Quӻ ÿҥo cӫa camera khi thӵc hiӋn test 3 95

+uQKĈӗ thӏ vұn tӕc dài cӫa camera khi thӵc hiӋn test 3 96

+uQKĈӗ thӏ vұn tӕc góc cӫa camera khi thӵc hiӋn test 3 96

Hình 4.33: Cҩu hình robot tҥi vӏ WUtEDQÿҫu cho test 4 97

+uQKĈӗ thӏ quӻ ÿҥRFiFÿLӇPÿһFWUѭQJFKRWHVW 99

Hình 4.35: Quӻ ÿҥo 3D cӫa camera cho test 4 99

+uQKĈӗ thӏ vұn tӕc dài cӫa camera cho test 4 100

+uQKĈӗ thӏ vұn tӕc góc cӫa camera cho test 4 100

Hình 5.1: KӃt quҧ nӝi suy sӱ dөQJÿѭӡng cubic Bezier 104

+uQK;iFÿӏQKÿLӇm tracking 106

Hình 5.3: TҥRÿLӇPÿһFWUѭQJҧo trong hình ҧnh 107

Hình 5.4: Vӏ WUtEDQÿҫu cӫa robot 108

Hình 5.5: Quӻ ÿҥo cӫDFiFÿLӇPÿһFWUѭQJYjFӫa robot 109

Hình 5.6: Robot ӣ vӏ trí song song mӟi mһt phҷQJÿѭӡng viӅn 109

+uQK5RERWVDXNKLÿLKӃWÿRҥn thҷng 110

Hình 5.8: KӃt quҧ bҧPWKHRÿѭӡng thҷng vӟi bán kính r = 160 pixels 110

Hình 5.9: KӃt quҧ bҧPWKHRÿѭӡng thҷng vӟi bán kính r = 80 pixels 111

Hình 5.10: KӃt quҧ EiPWKHRÿѭӡng thҷng vӟi nhiӉu bҵng 1 111

Hình 5.11: KӃt quҧ EiPWKHRÿѭӡng thҷng vӟi nhiӉu bҵng 10 112

Hình 5.12: Quӻ ÿҥo và sai sӕ NKLEiPWKHRÿѭӡng tròn 112

Hình 5.13: Quӻ ÿҥo và sai sӕ khi bám theo hình vuông 113

Hình 5.14: Mӝt sӕ kӃt quҧ bám theo quӻ ÿҥo dùng IBVS 114

DANH SÁCH BҦNG BIӆU

Bҧng 4.1: ChӍ sӕ hiӋu suҩt khi thӵc hiӋn test 1 88

Bҧng 4.2: ChӍ sӕ hiӋu suҩt khi thӵc hiӋn test 2 90

Bҧng 4.3: ChӍ sӕ hiӋu suҩt khi thӵc hiӋn test 3 94

Bҧng 4.4: ChӍ sӕ hiӋu suҩt khi thӵc hiӋn test 4 98

DANH SÁCH TӮ VIӂT TҲT

VS ± Visual servoing

IBVS ± Image based visual servoing PBVS ± Position based visual servoing PVS ± Partioned visual servoing

2.5DVS ± 2 ½ D visual servoing SPVS ± Shorted path visual servoing CJM ± Constant Jacobian matrix VJM ± Varying Jacobian matrix

PMJM ± Pseudo-inverse of the mean of Jacobian MJPM ± Mean of the Jacobian pseudo-inverse

PAJM ± Parametric approximations for the Jacobian matrix

Sӱ dөQJÿLӅu khiӇn dӵa trên thӏ giác giúp robot có thӇ cҧm nhұn và phҧn ӭng vӟi P{LWUѭӡng phӭc tҥp, không biӃWWUѭӟc Camera bҳWÿҫXÿѭӧc sӱ dөQJWURQJÿLӅu khiӇn robot tӯ nhӳQJQăPViXPѭѫL cӫa thӃ kӍ WUѭӟc Thông tin thӏ JLiFÿѭӧc sӱ dөng trong bӝ ÿLӅu khiӇn vòng hӣURERW³QKuQ´YjVDXÿҩ\³GLFKX\ӇQ´GRÿyÿӝ chính xác phө thuӝc trӵc tiӃSYjRÿӝ chính xác cӫa cҧm biӃn hình ҧnh và cӫa robot ĈLӅu khiӇn hӗi tiӃp sӱ dөng thông tin thӏ JLiFÿLӅu khiӇn vòng kín) chӍ bҳWÿҫu phát triӇn vào nhӳng QăP giúSWăQJÿӝ chính xác cӫa hӋ thӕng HӋ thӕQJÿLӅu khiӇQYzQJNtQQj\ÿѭӧc

gӑi là Visual Servoing

Visual servoing là mӝt kӻ thuұWÿӇ ÿLӅu khiӇn robotWURQJÿҩy thông tin hӗi tiӃp thӏ JLiFÿѭӧc sӱ dөQJWURQJYzQJÿLӅu khiӇn kín giúp cҧi thiӋQÿӝ chính xác Ĉk\OjPӝt NƭWKXұt vӟi sӵ kӃt hӧp cӫa nhiӅXOƭQKYӵFNKiFQKDXQKѭWKӏ JLiFPi\WtQKÿӝng hӑc và ÿӝng lӵc hӑc, lý thuyӃWÿLӅu khiӇQYjFiFNƭWKXұt tӕLѭXKyD (Hình 1.1) Sӵ thiӃu chính xác cӫDFѫFҩXFѫNKtFyWKӇ ÿѭӧFEÿҳp khi sӱ dөng kӻ thuұt visual servoing Dӳ liӋu thӏ JLiFÿѭӧc hӗi tiӃSWURQJVѫÿӗ ÿLӅu khiӇn giúp hӋ thӕQJÿҥWÿѭӧFÿӝ chính xác yêu cҫu cho dù hӋ thӕQJFѫNKtFKѭDWKұt sӵ hoàn chӍnh

&+ѬѪ1*GIӞI THIӊU

Mӝt tác vө robot trong visual servoing sӱ dөng các ÿһFWUѭQJKuQKҧnh trích xuҩt tӯ ÿӕLWѭӧng ÿӇ ÿLӅu khiӇn chuyӇQÿӝng cӫa robot/camera Có nhiӅu nghiên cӭu khác nhau tұp trung vào viӋc lӵa chӑQFiFÿһFWUѭQJKuQKҧnh, cҩu trúc cӫDVѫÿӗ ÿLӅu khiӇn, khҧo sát sӵ mҥnh mӁ ÿӕi vӟi các sai sӕ hay sӵ không chҳc chҳn khi hiӋuu chӍnh robot và camera Mӝt hӋ thӕng visual servoing có thӇ ÿѭӧc thiӃt kӃ sӱ dөQJFiFÿһFWUѭQJ'QKѭWӑDÿӝ FiFÿLӇm trong hình ҧQKFiFÿһFWUѭQJ'QKѭWӑDÿӝ Cartesian hoһc kӃt hӧp cҧ hai Dӵa trên sӵ lӵa chӑQFiFÿһFWUѭQJYjVѫÿӗ ÿLӅu khiӇn, hӋ thӕng robot sӁ có các KjQKYLNKiFQKDX'yÿyVӁ Jk\UDFiFNKyNKăQÿӇ có thӇ thiӃt kӃ và lӵa chӑQÿѭӧc các thông tin thӏ giác YjVѫÿӗ ÿLӅu khiӇn cho ra ÿiSӭng phù hӧp

Sӱ dөng thӏ JLiFWURQJÿLӅu khiӇn robot giúp giҧi quyӃWÿѭӧc nhiӅu vҩQÿӅ khác nhau nhӡ vào thông tin thӏ JLiFÿѭӧc thu thұp mà không có sӵ tiӃp xúc vӟLP{LWUѭӡng Tuy nhiên, mӝt sӕ vҩQÿӅ cҫQÿѭӧc xem xét khi sӱ dөng cҧm biӃn thӏ giác trong ÿLӅu khiӇn robot Nhӳng vҩQÿӅ này bao gӗm sӵ әQÿӏnh cөc bӝ hoһc toàn cҫu, quӻ ÿҥo cӫa robot và cӫa các WtQKQăQJ hình ҧnh phҧi phù hӧp, tách rӡi tӕLÿDJLӳa thông tin thӏ giác và bұc tӵ GRÿѭӧc ÿLӅu khiӇn, tránh sӵ kǤ dӏ và cӵc tiӇu cөc bӝ cӫa ma trұQÿLӅu khiӇn (ma trұn WѭѫQJWiF ÿҧm bҧo FiFWtQKQăQJnҵm WURQJWUѭӡng nhìn cӫa camera, tránh va chҥm và tránh giӟi hҥn các góc khӟp cӫa robot

Hình 1.1 &iFOƭQKYӵFOLrQTXDQÿӃn visual servoing

&+ѬѪ1*GIӞI THIӊU 1.2 Lý do thӵc hiӋn luұQYăQ

Visual servoing có thӇ ÿѭӧc áp dөng trong hҫu hӃt các hӋ thӕng robot thӵc hiӋn các công viӋF ÿӏnh vӏ và mang tính chҩt lһp lҥi (ví dө QKѭ PRELOH URERW URERW DUPKXPDQRLGURERW« Visual servoing gһp phҧi nhiӅu vҩQÿӅ NKiFQKDXQKѭFӵc tiӇXÿӏa SKѭѫQJVLQJXODULWLHVFiFÿLӇPÿһFWUѭQJUDNhӓLWUѭӡng nhìn cӫDFDPHUD« Các vҩQÿӅ Qj\ÿѭӧc giҧi quyӃt bҵng cách sӱ dөQJFiFÿһFWUѭQJNKiFQKDXKRһc sӱ dөQJFiFVѫÿӗ ÿLӅu khiӇn khác nhau Có nhiӅu kӻ thuұWYLVXDOVHUYRLQJNKiFQKDXÿmÿѭӧc phát triӇn nhҵm giҧi quyӃt các vҩQÿӅ trên Mӛi kӻ thuұWFyFiFѭXQKѭӧFÿLӇm khác nhau, giҧi quyӃt mӝt sӕ vҩQÿӅ và mӝt sӕ vҩQÿӅ vүn còn tӗn tҥi và sӁ ÿѭӧc khҳc phөc bӣLSKѭѫQJSKiSNKiF'RÿyOXұQYăQVӁ xem xét các kӻ thuұt phә biӃn trong visual servoing và thӵc hiӋQFiFÿiQKJLiGӵa trên hiӋu quҧ và khҧ QăQJJLҧi quyӃt các vҩQÿӅ gһp phҧi trong visual servoing cӫa các kӻ thuұt

1.3 Mөc tiêu luұQYăQ

Mөc tiêu cӫa luұQYăQVӁ cӕ gҳng tìm hiӇu và trình bày các khía cҥQKOLrQTXDQÿӃn kӻ thuұWÿLӅu khiӇn visual servoing Thӵc hiӋQFiFÿiQKJLiFKRFiFVѫÿӗ ÿLӅu khiӇn visual servoing khác nhau Mөc tiêu cө thӇ bao gӗm:

x Xây dөng hӋ thӕng thӏ giác mô tҧ quan hӋ giӳa các phép chiӃXѬӟFOѭӧng ma trұn homography biӇu diӉn quan hӋ giӳa hai phép chiӃu

x Phân tách ma trұQKRPRJUDSK\ÿӇ ѭӟFOѭӧng chuyӇn vӏ cӫa camera x Tìm hiӇu lý thuyӃt chung vӅ visual servoing

x Tìm hiӇu hai thành phҫQWURQJYLVXDOVHUYRLQJFiFVѫÿӗ ÿLӅu khiӇQYjFiFÿһc WUѭQJWKӏ giác

x Tìm hiӇXFiFVѫÿӗ WăQJFѭӡng và phӕi hӧp

x Phân tích các vҩQÿӅ WKѭӡng gһp trong visual servoing

x TiӃn hành mô phӓQJÿiQKJLiYjVRViQKFiFNӻ thuұt visual servoing

x Xây dӵng mӝt ӭng dөng dùng visual servoing, cө thӇ là áp dөng cho bài toán ÿLӅu khiӇQURERWEiPWKHRÿѭӡng viӅn vӟi hình dҥng bҩt kǤ.

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

&+ѬѪ1* THӎ GIÁC MÁY TÍNH

Ĉӕi vӟi mӝt robot hoҥWÿӝQJWURQJOƭQKYӵc công nghiӋp tӵ ÿӝng hóaP{LWUѭӡng xung quanh là hoàn toàn biӃWWUѭӟc Thách thӭc là phát triӇn mӝt hӋ thӕng tӵ ÿӝng trong P{LWUѭӡQJNK{QJ[iFÿӏnh ĈӇ xây dӵng mӝt hӋ thӕQJQKѭYұ\ÿLӅu quan tâm hàng ÿҫu là phҧi thu thұSÿѭӧc càng nhiӅu thông tin tӯ P{LWUѭӡng xung quanh càng tӕt Cҧm biӃn có thӇ ÿiSӭng tӕt nhҩWÿLӅu này là cҧm biӃn thӏ giác (camera) Vӟi sӵ phát triӇn cӫa camera kӻ thuұt sӕ, viӋc thu thұp dӳ liӋu hình ҧnh ngày càng dӉ dàng và có thӇ nhanh chóng liên kӃt vӟi bӝ ÿLӅu khiӇn 6DXÿҩy, hình ҧnh cҫn phҧLÿѭӧc tiӅn xӱ lý bҵng các kӻ thuұWQKѭOӑc nhiӉu, làm sҳFQpW«

Khi hình ҧQKÿѭӧc thu nhұn, cҫn phҧL[iFÿӏQKÿӕLWѭӧng cҫn quan tâm trong hình ҧnKĈLӅu này có thӇ NKyNKăQYuFyQKLӅXÿӕLWѭӧng khác nhau trong hình ҧnh và nӅn có nhiӅu kӃt cҩu khác nhau 6DX NKL[iF ÿӏQKÿѭӧFÿӕLWѭӧQJFiF ÿһFWUѭQJFӫDÿӕi Wѭӧng cҫn trích xuҩWÿyFyWKӇ là ÿLӇPÿѭӡng thҷng, ÿѭӡng tròn, màu sҳc, mӭc xám, hình dҥng cө thӇ &iFWtQKQăQJQj\FyWKӇ ÿѭӧc sӱ dөng QKѭÿҫu vào cӫDVѫÿӗ ÿLӅu khiӇQKD\ÿӇ ѭӟFOѭӧng vӏ trí cӫDÿӕLWѭӧng

Thông tin ba chiӅu cӫa thӃ giӟi thӵFVDXNKLÿѭDYjRKuQKҧnh thì chӍ còn lҥi hai chiӅu, thông tin vӅ chiӅu sâu cӫDÿӕLWѭӧng sӁ bӏ mҩWÿL'RÿyYҩQÿӅ là làm sao xây dӵng lҥLÿѭӧc mô hình 3D cӫDÿәLWѭӧng chӍ tӯ hình ҧnh 2D ĈLӅu này có thӇ thӵc hiӋn ÿѭӧc nӃu biӃWWUѭӟFÿѭӧc các ràng buӝc hình hӑc cӫDÿӕLWѭӧng, tuy nhiên lҥi làm giҧm tính linh hoҥt cӫa hӋ thӕng MӝWSKѭѫQJSKiSNKiFFyWKӇ ÿѭӧc sӱ dөng là xây dӵng chuyӇn vӏ cӫa camera tӯ hai hình ҧnh Trong visual servoing thì hình ҧnh cӫDÿӕLWѭӧng tҥi vӏ trí mong muӕQOX{QÿѭӧF[iFÿӏQKWUѭӟFGRÿyWӯ hình ҧnh mong muӕn và hình ҧnh hiӋn tҥi cӫDÿӕLWѭӧng, ta có thӇ xây dӵng lҥLÿѭӧc mô hình cӫDÿӕLWѭӧQJ3KѭѫQJ

pháp này gӑi là chuyӇQÿӝng và xây dӵng cҩu trúc tӯ chuyӇQÿӝng (motion and structure from motion)

7URQJFKѭѫQJQj\WUuQKEj\FiFYҩQÿӅ FѫEҧn trong thӏ giác máy tính Xây dӵng mô hình camera ÿLtӯ phép chiӃu phӕi cҧnh trong không gian chiӃu, các ràng buӝc giӳa hai khung hình cӫa cùng mӝWÿӕLWѭӧQJÿѭӧc chөp ӣ haLWѭWKӃ khác nhau cӫa camera và cách xây dӵng chuyӇn vӏ cӫa camera sӱ dөng ma trұn homography

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH 2.1 Xây dӵng mô hình camera

2.1.1 Không gian chiӃu và không gian Euclidian

Không gian chiӃXႢn, vӅ mһt hình hӑc có thӇ [HPQKѭOjVӵ mӣ rӝng cӫa không gian Euclidean vì nó cho phép giҧi quyӃt các thao tác vӟL ÿӕL Wѭӧng hình hӑc ӣ ³Y{

FQJ´ MӝWÿLӇm P trong không gian Euclidean n chiӅXÿѭӧc biӇu diӉn trong hӋ tӑDÿӝ

bӣi vector ሾܺଵǡ ܺଶǡ ǥ ǡ ܺ௡ሿ் א ܴ௡ có thӇ ÿѭӧc biӇu diӉn trong không gian chiӃXႢn vӟi tӑD ÿӝ ÿӗng nhҩt ሾܺଵǡ ܺଶǡ ǥ ǡ ܺ௡ǡ ͳሿ் א ܴ௡ାଵ Và mӝW YHFWRU Kѭӟng ሾܺଵǡ ܺଶǡ ǥ ǡ ܺ௡ሿ்

WURQJNK{QJJLDQ(XFOLGHDQPjWѭѫQJӭng vӟi mӝW³ÿLӇm ӣ Y{FQJ´FyWKӇ ÿѭӧc biӇu diӉn bҵng tӑDÿӝ ÿӗng nhҩt bӣLÿLӇm chiӃu ሾܺଵǡ ܺଶǡ ǥ ǡ ܺ௡ǡ Ͳሿ் 7URQJWUѭӡng hӧp tәng quát, mӝWÿLӇm trong không gian chiӃXႢn ÿѭӧc biӇu diӉn bӣi vector khác không có kích WKѭӟc là n+1 Các phҫn tӱ ÿѭӧF[iFÿӏnh theo mӝt hӋ sӕ tӍ lӋ và có ít nhҩt 1 phҫn tӱ khác không ĈLӇPWѭѫQJӭQJWURQJNK{QJJLDQ(XFOLGHDQÿѭӧF[iFÿӏnh bҵng cách chia tҩt cҧ các tӑDÿӝ cho tӑDÿӝ cuӕi trong không gian chiӃu nӃu phҫn tӱ này khác 0 Mӝt mһt phҷng (hyper-plane) trong không gian Euclidean là mӝt tұp hӧSFiFÿLӇm mà tӑDÿӝ cӫa chúng thӓa mãn mӝWSKѭѫQJWUuQKWX\Ӄn tính Sӱ dөng tӑDÿӝ ÿӗng nhҩt, hyper-plane có

thӇ ÿѭӧc biӇu diӉn trong không gian chiӃu bҵng vector khác không q có n + 1 phҫn tӱ,

[iFÿӏnh theo mӝt hӋ sӕ tӍ lӋ Mӝt hyper-SODQHÿһc biӋt trong không gian Euclidean bao gӗPFiFÿLӇm nҵm ӣ Y{FQJPjWѭѫQJӭng vӟi mӝW³Pһt phҷng ӣ vô cùQJ´FyWKӇ ÿѭӧc biӇu diӉn bӣi ࢗஶ ൌ ሾͲǡ Ͳǡ ǥ ǡͳሿ் Tҩt cҧ FiFÿLӇPWURQJႢn thuӝc mӝt hyper-plane sӁ thӓDPmQSKѭѫQJWUuQK்ࢗࡼ ൌ Ͳ3KѭѫQJWUuQKQj\WKӇ hiӋn sӵ ÿӕi xӭng giӳa tӑDÿӝ

hyper-plane q và tӑDÿӝ ÿLӇm P vì ்ࢗࡼ ൌ ࡼ்ࢗ ൌ Ͳ

Hình hӑc chiӃu là mӝt công cө mҥnh mӁ PjÿѫQJLҧn trong tính toán Tuy nhiên cҫn phҧi nhҩn mҥnh rҵng các nhiӋm vө WURQJURERWLFVÿѭӧc thӵc hiӋn trong không gian Euclidean và vì vұy, sau khi tính toán, viӋFÿLӅu khiӇn robot phҧi thiӃt kӃ trong không gian Euclidean Liên kӃt giӳa không gian chiӃXYjNK{QJJLDQ(XFOLGHDQÿѭӧc thӵc hiӋn sӱ dөng tӑDÿӝ ÿӗng nhҩt Pjÿmÿѭӧc biӃWÿӃn trong ngành robot vì sӵ WKD\ÿәi tӑDÿӝ Cartesian có thӇ ÿѭӧc biӇu diӉn bҵng ma trұn biӃQÿәLÿӗng nhҩWKRPRJHQHRXV +ѫQnӳa, ma trұn chuyӇQÿәLÿӗng nhҩWÿѭӧc sӱ dөQJWURQJP{KuQKKyDURERWYjÿLӅu khiӇn [8] Chúng ta nhҳc lҥi mӝt sӕ ÿLӅXFѫEҧn cӫa ma trұn chuyӇQÿәLÿӗng nhҩt

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

Ĉһt ܨכ là hӋ tӑD ÿӝ tham chiӃu toàn cөc trong không gian Cartesian Ma trұn chuyӇQÿәLÿӗng nhҩt giӳa hӋ tӑDÿӝ ܨכ và hӋ tӑDÿӝ F là:

biӇu diӉn trong hӋ tӑDÿӝ F QKѭVDX

Mӝt mһt phҷng trong không gian Cartesian, biӇu diӉn trong hӋ tӑDÿӝ ܨכÿѭӧFÿһc

WUѭQJEӣi vector chӍ SKѭѫQJn* và khoҧng cách d* tӯ gӕc tӑDÿӝ C* cӫa hӋ tӑDÿӝ tham

chiӃu Sӱ dөng tӑDÿӝ ÿӗng nhҩt, nó sӁ ÿѭӧc biӇu diӉn bӣi vector ࢗכ ൌ ሾ࢔כ െ ݀כሿ் Mһt phҷQJWѭѫQJWӵ ࢗ ൌ ሾ࢔ െ ݀ሿ் trong hӋ tӑDÿӝ F ÿѭӧc biӇu diӉQQKѭVDX

ࢗ ൌ ሺࢀכሻି்ࢗכ՜ ቂ ࢔

െ݀ቃ ൌ ቂ ࡾ࢔כ

െ݀כെ ்࢚ࡾ࢔כቃ (2.4) Vӟi ma trұn ሺࢀכሻି் là ma trұQÿӕi ngүu cӫa ࢀכ

Vӟi ࡽ ൌ ࡽכࢀכൌ ሾࡾ࢚ሿ là ma trұn 3ൈÿѭӧc diӉn giҧi trong hӋ tӑDÿӝ mӟi và ߣ là

mӝt hӋ sӕ khác không Trong không gian Euclidean, chúng ta có ߣ ൌ ܼȀ݂

2.1.3 Mô hình camera

Camera, sӱ dөQJP{KuQKSLQKROHÿӇ thӵc hiӋn mӝt phép chiӃu phӕi cҧnh cӫa mӝt ÿLӇm ࡼ א Զଷ WKjQKÿLӇm ҧnh ࢓ א Զଶ vӟi tӑDÿӝ SL[HOÿӗng nhҩt ࢓ ൌ ሾݑ ݒ ͳሿ்

Giҧ sӱ camera không bӏ méo ӕng kính thì quan hӋ giӳa các tӑDÿӝ P và m là tuyӃn tính

Sӵ chuyӇQÿәi giӳa tӑDÿӝ chuҭn hóa và tӑDÿӝ pixels cӫDÿLӇm ҧQKWKHRSKѭѫQJWUuQK

vӟi A là ma trұn thӕng sӕ nӝi cӫa camera:

ܣ ൌ ൥

݂݇௨ ݂݇௨ܿ݋ݐሺᢥሻ ݑ଴Ͳ ݂݇௩Ȁݏ݅݊ሺᢥሻ ݒ଴

൩ ൌ ቈ

ߙ௨ ߙ௨௩ ݑ଴Ͳ ߙ௩ ݒ଴

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

7URQJÿҩy ݑ଴ và ݒ଴ là tӑDÿӝ pixel cӫa principal point, ݇௨ và ݇௩ là hӋ sӕ tӍ lӋ WKHRSKѭѫQJݔԦ và ݕԦ ÿѫQYӏ pixel/m), và ݊ là góc giӳa hai trөFQj\'RÿyiSGөng sӵ WKD\ÿәi hӋ tӑa ÿӝ ta có:

NӃu thông sӕ nӝi cӫDFDPHUDÿѭӧF[iFÿӏnh hoàn chӍnh, chúng ta có thӇ sӱ dөng tӑDÿӝ chuҭn hóa hoһc tӑDÿӝ pixel Cҫn nhҩn mҥnh rҵng mӝt sӵ chuҭn hóa cӫa dӳ liӋu thì cҫn thiӃt khi sӱ dөng tӑDÿӝ pixel Ngay cҧ NKLFDPHUDNK{QJÿѭӧc calib tӕt, sӱ dөng tӑDÿӝ chuҭn hóa sӁ cho kӃt quҧ tӕWKѫQ

2.2 Ma trұn homography

2.2.1 Quan hӋ giӳa hai phép chiӃu

Xét hai hình chiӃu cӫDÿӕLWѭӧQJWƭQK[HPKuQK.2) Trong nhiӋm vө ÿӏnh vӏ dùng

visual servoing, mөc tiêu là thiӃt kӃ mӝt luұWÿLӅu khiӇQÿӇ FKRWѭWKӃ cӫa camera (F) ÿҥWÿѭӧFWѭWKӃ mong muӕn (F* ĈӇ liên kӃt hai hình chiӃu cӫDÿӕLWѭӧng, mӝWÿLӇm P*có thӇ ÿѭӧF[iFÿӏQKQKѭVDX

Hình 2.2: Chuy͋n v͓ cͯa camera

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

vӟi ࡽכା ൌ ࡽכ்ሺࡽכࡽכ்ሻିଵ ൌ ሾܫଷͲሿ் là ma trұn giҧ nghӏFK ÿҧo cӫa ࡽכ và ࡽכି ൌሾͲͲͲܹכሿ଴ Khoҧng cách Euclidean ݀ሺࡼכǡ ࢗכሻ giӳDÿLӇm ࡼכ và mһt phҷng ߨ (hình 2.2), mô tҧ bӣi vector ࢗכ ൌ ሾ࢔் െ݀כሿ், có thӇ ÿѭӧc viӃt: ݀ሺࡼכǡ ࢗכሻ ൌ ࢗכ்ࡼכ'RÿytӑDÿӝ ÿӗng nhҩt ܹכ có thӇ ÿѭӧc biӇu diӉn: ܹכ ൌ ߣכ࢔כ்࢖כȀ݀כെ ݀ሺࡼכǡ ࢗכሻȀ݀כ3KѭѫQJtrình trên viӃt lҥi:

ࡼכ ൌ ߣכࡽగכା࢖כ൅ ࡽగכି (2.11) WURQJ ÿҩy ࡽగכା ൌ ሾܫଷ࢔כȀ݀כሿ் và ࡽగכି ൌ ሾͲ ߳ሿ் (vӟi ߳ ൌ െ݀ሺࡼכǡ ࢗכሻȀ݀כ) Sӱ dөng SKѭѫQJWUuQK TXDQKӋ giӳDKDLÿLӇm chiӃu trong hai hình ҧnh có thӇ ÿѭӧc viӃt:

ߣ࢖ ൌ ߣכࡽࡽగכା࢖כ൅ ࡽࡽగכି ൌ ߣכࡴ௘࢖כ൅ ࢚߳ (2.12) WURQJÿҩy ࡴ௘ ൌ ࡽࡽగכା ൌ ࡾ ൅ ࢚࢔כȀ݀כ là ma trұn homography liên quan tӟi mһt phҷng tham khҧo NӃu mһt phҷng tham khҧo là ࢗஶ, chúng ta có ࢔כȀ݀כ ൌ Ͳ và ߳ ൌ ͳSKѭѫQJtrình trên trӣ thành:

vӟi ࡴ௘ஶ ൌ ࡾ là ma trұn homography liên quan tӟi mһt phҷng tҥi vô cùng (vì nó ánh xҥ

FiFÿLӇm nҵm trên mһt phҷng ӣ vô cӵc giӳa hai hình chiӃu)

2.2.2 Ràng buӝc epipolar và ma trұn homography

3KѭѫQJWUuQK2.12) có thӇ viӃt lҥi trong hӋ tӑDÿӝ pixel sӱ dөQJSKѭѫQJWUuQK2.7): ߣ࢓ ൌ ߣכ࡭ࡴ௘࡭ିଵ࢓כ൅ ߳࡭࢚ ൌ ߣכࡴ௣࢓כ൅ ߳ࢋ (2.14) vӟi ࢋ ൌ ࡭࢚ Ojÿѭӡng epipole trong khung hình thӭ hai và ࡴ௣ ൌ ࡭ࡴ௘࡭ିଵ là ma trұn projective homography diӉn giҧi trong tӑDÿӝ pixel Bây giӡ [pWEDÿLӇm 3D ࡼ௜ WUrQÿӕi Wѭӧng NhӳQJÿLӇPQj\ÿѭӧc chӑn sao cho chúng không thҷng hàng trong hình ҧnh &iFÿLӇm ҧnh vӟi tӑDÿӝ pixel ࢓௜ trong hӋ tӑDÿӝ F sӁ WѭѫQJӭng vӟLFiFÿLӇm ҧnh có

tӑDÿӝ ࢓௜כ trong hӋ tӑDÿӝ F* bӣi ma trұn hormography:

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

vӟi ࡴ௣ (3ൈ ͵ሻlà ma trұn projective homography và ߙ௜ ൌ ߣ௜Ȁߣכ௜ Thұt vұ\SKѭѫQJWUuQK(2.15) có thӇ WKXÿѭӧc tӯ SKѭѫQJWUuQK2.14) vì ߳ ൌ െ݀ሺࡼכǡ ࢗכሻȀ݀כ ൌ Ͳ ÿӕi vӟi tҩt cҧ FiFÿLӇm nҵm trên mһt phҷQJʌWҥo thành bӣLEDÿLӇPÿmFKӑQ/ѭXêUҵng ma trân ࡴ௣ÿѭӧFÿӏQKQJKƭDYӟi mӝt hӋ sӕ tӍ lӋGRÿyFKRPӝt phҫn tӱ cӫa ࡴ௣ bҵng 1 mà không mҩt tính tәQJTXiW7URQJWUѭӡng hӧSÿӕLWѭӧng là mһt phҷQJSKѭѫQJWUunh (2.15) xác ÿӏnh cho mӛLÿLӇPÿһFWUѭQJGRÿyQӃu nhiӅXKѫQEDÿLӇm có sҹn, ma trұn homography có thӇ ÿѭӧFѭӟFOѭӧng bҵng cách giҧi hӋ thӕng tuyӃn tính vӟi 8 ҭn sӕ FKѭDELӃt cӫa ࡴ௣

2.2.3 ѬӟFOѭӧng ma trұn homography

3KѭѫQJWUuQK2.15) cho biӃt mӕi quan hӋ giӳa ÿLӇm ҧnh vӟi tӑDÿӝ pixel ࢓௜ trong

hӋ tӑD ÿӝ F vӟi ÿLӇm ҧnh có tӑD ÿӝ ࢓௜כ trong hӋ tӑD ÿӝ F* thông quan ma trұn homography ࡴ௣ BiӃQÿӕLSKѭѫQJWUuQKQj\ÿѭӧc:

቉ ൌ ൥

݄ଵଵ ݄ଵଶ ݄ଵଷ݄ଶଵ ݄ଶଶ ݄ଶଷ݄ଷଵ ݄ଷଶ ݄ଷଷ

൩ ൥ݑ௜כݒ௜כͳ

'RÿyPӛi tӑDÿӝ sӁ có quan hӋ: ݑ௜ ൌ ݄ଵଵݑ௜

כ൅ ݄ଵଶݒ௜כ൅ ݄ଵଷ݄ଷଵݑ௜כ൅ ݄ଷଶݒ௜כ൅ ݄ଷଷݒ௜ ൌ݄ଶଵݑ௜

כ൅ ݄ଶଶݒ௜כ൅ ݄ଶଷ݄ଷଵݑ௜כ൅ ݄ଷଶݒ௜כ൅ ݄ଷଷ

(2.17)

BiӃQÿӕLSKѭѫQJWUuQK2.17) vӅ dҥng ma trұn: ൤െ݄ଵଵݑ௜

כെ ݄ଵଶݒ௜כെ ݄ଵଷ൅ ݄ଷଵݑ௜כݑ௜൅ ݄ଷଶݒ௜כݑ௜൅ ݄ଷଷݑ௜

െ݄ଶଵݑ௜כെ ݄ଶଶݒ௜כെ ݄ଶଷ൅ ݄ଷଵݑ௜כݒ௜൅ ݄ଷଶݒ௜כݒ௜൅ ݄ଷଷݒ௜൨ ൌ Ͳ (2.18) Chia hai vӃ SKѭѫQJWUuQK2.18) cho ݄ଷଷ, nӃu biӃWÿѭӧc tӑDÿӝ bӕQÿLӇPÿӗng phҷng ൫࢓௝ǡ ࢓௝כ൯ǡ ݆ ൌ ͳ ൊ Ͷ, SKѭѫQJWUuQK (2.18) trӣ thành:

ۍݑଵכ ݒଵכ

Ͳ ݑଵכݑଶכ ݒଶכ

ݒଶכ ͳ

െݑଶכݑଶ െݒଶכݑଶെݑଶכݒଶ െݒଶכݒଶݑଷכ ݒଷכ

Ͳ ݑଷכݑସכ ݒସכ

ݒସכ ͳ

െݑସכݑସ െݒସכݑସെݑସכݒସ െݒସכݒସے

(2.19)

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

GiҧLSKѭѫQJWUuQKQj\WKXÿѭӧc ma trұn ࡴ௣ ÿѭӧFÿӏQKQJKƭDWKHRPӝt hӋ sӕ: οǤ ࡴ௣ ൌ ቎

݄Ԣଵଵ ݄Ԣଵଶ ݄Ԣଵଷ݄Ԣଶଵ ݄Ԣଶଶ ݄Ԣଶଷ݄Ԣଷଵ ݄Ԣଷଶ ͳ

Phân tách ma trұn ࡴ sӱ dөQJSKѭѫQJSKiS69'

7KXÿѭӧc các ma trұn trӵc giao ࢁ, ࢂ và ma trұQÿѭӡng chéo ࡿ chӭa các giá trӏ suy

biӃn cӫa ma trұn ࡴ Có thӇ xem ma trұn ࡿ QKѭPӝt ma trұn homography và phân tách S sӱ dөng quan hӋ (2.20):

Quan hӋ giӳa ࡾǡ ࣎ǡ ࢔כvà ࡾࡿǡ ࢚ࡿǡ ࢔ࡿכ sӁ là: ࡾ ൌ ݏࢁࡾࡿࢂ்࣎ ൌ ࢁ࢚ࡿοൌ ݏ݀ௌ࢔כൌ ࢂ࢔ࡿכ

(2.25)

Ta luôn có ݀ௌ ൌ േ݀ଶ và sӁ có tӕLÿD tám lӡi giҧi khác nhau cӫa SKѭѫQJWUuQK2.24) NӃu ݀ଵ ് ݀ଷ các giá trӏ ݔ௜ǡ ݅ ൌ ͳ ൊ ͵ ÿѭӧF[iFÿӏnh:

ݔଵ ൌ േඨ݀ଵ

ଶെ ݀ଶଶ݀ଵଶെ ݀ଷଶݔଶ ൌ Ͳݔଷ ൌ േඨ݀ଶ

ଶെ ݀ଷଶ݀ଵଶെ ݀ଷଶ

(2.27)

x ;pWWUѭӡng hӧp ݀ௌ ൐ Ͳ:

࢚ௌ ൌ ሺ݀ଵെ ݀ଷሻ ൭ݔଵ

Ͳെݔଷ൱

ࡾௌ ൌ ൥

ܿ݋ݏߠ Ͳ െݏ݅݊ߠ

ݏ݅݊ߠ Ͳ ܿ݋ݏߠ൩

(2.28)

vӟi ݏ݅݊ߠǡ ܿ݋ݏߠ ÿѭӧF[iFÿӏnh:

ݏ݅݊ߠ ൌ ሺ݀ଵെ ݀ଷሻݔଵݔଷ݀ଶܿ݋ݏߠ ൌ݀ଵݔଷ

ଶ൅ ݀ଷݔଵଶ݀ଶ

(2.29)

NӃu mà ݀ଵ ൌ ݀ଶ ൌ ݀ଷ, các giá trӏ ݔଵǡ ݔଶǡ ݔଷ NK{QJ[iFÿӏnh và:

Ͳݔଷ൱

ࡾௌ ൌ ൥

ݏ݅݊ߠ Ͳ െܿ݋ݏߠ൩

(2.31)

Vӟi ݏ݅݊ߠǡ ܿ݋ݏߠ ÿѭӧF[iFÿӏnh:

ݏ݅݊ߠ ൌ ሺ݀ଵ൅ ݀ଷሻݔଵݔଷ݀ଶܿ݋ݏߠ ൌ݀ଷݔଵ

ଶെ ݀ଵݔଷଶ݀ଶ

2.4 ѬӟFOѭӧng chiӅu sâu tӯ ma trұn homography

NӃu biӃWWUѭӟc tӑDÿӝ ࡼכ và khoҧng cách ݀כ và vector ࢔כ trong hӋ tӑDÿӝ ࡲכ thì các thành phҫQ WѭѫQJ ӭng trong hӋ tӑa dӝ ܨ có thӇ ѭӟF Oѭӧng thông qua ma trұn homography Thұt vұy, chú ý rҵng ࢔ ൌ ࡾ࢔כ, mà ma trұn ࡾ ÿmÿѭӧc phân tách tӯ ma trұn ࡴ௘, và tӍ sӕ:

'Rÿy

ܼ݀ൌ ࢔

Tӯ (2.37) và (2.39 ÿѭӧc: ߩଵ ൌ ݀

CuӕLFQJWDWKXÿѭӧc: ߩଶ ൌ ܼ

ܼכൌ ܼ݀כ

݀כ

&+ѬѪ1*2 THӎ GIÁC MÁY TÍNH

Các thông sӕ này là quan trӑng và ÿѭӧc sӱ dөQJWURQJFiFVѫÿӗ ÿLӅu khiӇn visual VHUYRLQJÿѭӧFÿӇ cұp ӣ FKѭѫQJVDX

2.5 KӃt luұn

1KѭYұ\WURQJFKѭѫQJQj\ÿmWUuQKEj\FiFYҩQÿӅ FѫEҧn nhҩt trong thӏ giác máy tinh Tӯ cách xây dӵng mô hình camera tӟi viӋc xây dӵng quan hӋ giӳa hai phép chiӃu, ÿӇ tӯ ÿyKuQKWKjQKQrQPDWUұn homography Ma trұn homography sӁ ÿѭӧF[iFÿӏnh sӱ dөng ít nhҩt bӕQÿLӇm Phân tách ma trұn homograpy sӁ WKXÿѭӧc các thông sӕ chuyӇn vӏ cӫa camera Tӯ các thông sӕ này, sӁ ѭӟFOѭӧng các giá trӏ chiӅu sâu sӱ dөng trong visual servoing.

&+ѬѪ1*3 VISUAL SERVOING

&+ѬѪ1* VISUAL SERVOING 3.1 Giӟi thiӋu

Visual servoing (VS) là mӝt kӻ thuұWÿLӅu khiӇn hӗi tiӃp sӱ dөng thông tin thӏ giác JL~SWăQJFѭӡQJÿӝ FKtQK[iFYjWtQKOLQKÿӝng cӫa hӋ thӕng robot [3,4,5,6,7] Các tác vө ÿLӅu khiӇQWURQJYLVXDOVHUYRLQJÿѭӧFÿӏQKQJKƭDÿӇ ÿLӅu khiӇn vӏ trí cӫa robot trong khung tӑDÿӝ toàn cөc hoһc trong khung tӑDÿӝ cӫDÿӕLWѭӧng mөc tiêu, sӱ dөQJFiFÿһc WUѭQJWKӏ JLiFÿѭӧc trích xuҩt tӯ hình ҧnh theo thӡi gian thӵc [8,9] Hàm sai sӕ trong YLVXDOVHUYRLQJÿѭӧFÿӏQKQJKƭDOjVDLVӕ giӳDFiFÿһFWUѭQJWKӏ giác hiӋn tҥLYjÿһc trung thӏ giác tҥi vӏ trí mong muӕn Mөc tiêu cӫDVѫÿӗ ÿLӅu khiӇn dӵa trên thӏ JLiFOjÿLӅu chӍnh sai sӕ và triӋt tiêu nó (sai sӕ bҵng không) Mӝt hay nhiӅu camera có thӇ ÿѭӧc sӱ dөQJÿӇ thu thұp thông tin thӏ giác tӯ ÿӕLWѭӧQJÿӇ ÿLӅu khiӇn robot [3, 5, 9, 10, 11]

Dӵa trên cách thông tin thӏ JLiFÿѭӧc sӱ dөQJ96ÿѭӧc phân thành KDLVѫÿӗ ÿLӅu khiӇn chính là position based visual servoing (PBVS) và image based visual servoing (IBVS) [3,5,6,7,12] Sӵ kӃt hӧp cӫDKDLVѫÿӗ ÿLӅu khiӇn tҥo thành mӝt Vѫÿӗ lai gӑi là 2-1/2D visual servoing [13] Trong mӝt hӋ thӕng PBVSÿҫXYjRÿѭӧc tính toán trong NK{QJJLDQ'YuOêGRQj\SKѭѫQJSKiSQj\FyWKӇ ÿѭӧc gӑi là 3D visual servoing) Vӏ trí cӫDÿӕLWѭӧng so vӟLFDPHUDÿѭӧFѭӟFOѭӧng tӯ FiFÿһFWUѭQJKuQKҧnh cӫDÿӕi Wѭӧng Có nhiӅXSKѭѫQJSKiSNKiFQKDXÿӇ [iFÿӏnh vӏ trí cӫDÿӕLWѭӧng (xem [14]) Tҩt cҧ FiFSKѭѫQJSKiSÿӅu yêu cҫu biӃt mô hình hình hӑc hoàn chӍnh cӫDÿӕLWѭӧng và các thông sӕ calib cӫa camera Vӟi hӋ thӕQJÿLӅu khiӇn IBVSÿҫXYjRÿѭӧc tính toán trong không gian ҧQK'YuOêGRQj\SKѭѫQJSKiSQj\FzQJӑi là 2D visual servoing) [8@3KѭѫQJSKiSQj\ÿѭӧc biӃWÿӃn rҩt mҥnh mӁ ÿӕi vӟi sai sӕ calib camera và robot [15] Tuy nhiên sӵ hӝi tө cӫa nó vӅ mһt lý thuyӃt chӍ ÿѭӧFÿҧm bҧo trong mӝt vùng (hoàn toàn không thӇ SKkQWtFKÿӇ [iFÿӏnh) xung quanh vӏ trí mong muӕn Ngoҥi trӯ FiFWUѭӡng hӧSÿѫQJLҧn, viӋFSKkQWtFKÿӝ әQÿӏQKOLrQTXDQÿӃn lӛi hiӋu chӍnh là mӝt ÿLӅu bҩt khҧ thi, vì hӋ thӕQJÿѭӧc ghép nӕi và phi tuyӃn

Hai khía cҥnh chính ҧQKKѭӣng lӟQÿӃn hành vi cӫa hӋ thӕng visual servoing là: viӋc lӵa chӑn các ÿһFWUѭQJ thӏ giác ÿѭӧc sӱ dөQJOjPÿҫu vào cӫa bӝ ÿLӅu khiӇQYjVѫÿӗ ÿLӅu khiӇn ÿѭӧc thiӃt kӃ Cùng mӝt bӝ FiFÿһFWUѭQJ, hӋ thӕng sӁ có các hành vi khác

&+ѬѪ1*3 VISUAL SERVOING

QKDXNKLÿѭӧc sӱ dөQJWURQJFiFVѫÿӗ ÿLӅu khiӇn khác nhau và cùng mӝt luұWÿLӅu khiӇn sӁ cho các hành vi khác nhau khi xem xét các ÿһFWUѭQJ khác nhau +jQKYLWKXÿѭӧc vӟi sӵ kӃt hӧp cӫa các lӵa chӑQQj\WKѭӡQJNK{QJQKѭPRQJ muӕn: chӑn mӝt bӝ ÿһc WUѭQJ cө thӇ hoһFVѫÿӗ ÿLӅu khiӇn cө thӇ có thӇ dүQÿӃn mӝt sӕ vҩQÿӅ vӅ tính әQÿӏnh và hӝi tө

3.2 Cҩu hình camera

Có hai cҩX KuQK FKtQK ÿӇ kӃt hӧp camera và robot trong các ӭng dөng visual servoing Cҩu hình thӭ nhҩt là eye-in-hand, camera sӁ gҳn trên end-effector cӫa robot và di chuyӇn cùng vӟi robot Mӝt phép chuyӇn hӋ tӑDÿӝ giӳa hӋ tӑDÿӝ camera và hӋ tӑDÿӝ cӫa end-HIIHFWRUÿѭӧF[iFÿӏnh và sӱ dөQJÿӇ chuyӇQÿәi các chuyӇQÿӝng tӯ hӋ tӑDÿӝ camera sang hӋ tӑDÿӝ cӫa end-effector, hӋ tӑDÿӝ cӫa robot hoһc bҩt kǤ hӋ tӑDÿӝ tham chiӃXQjRNKiFÿѭӧc gҳn vào robot Trong cҩu hình thӭ KDLÿѭӧc gӑi là eye-to-hand, mӝt hay mӝWYjLFDPHUDÿѭӧc gҳn cӕ ÿӏnh trong không gian làm viӋFÿӇ quan sát URERWYjÿӕLWѭӧng Cҩu hình này cҫn tính toán ma trұn chuyӇQÿәi giӳa hӋ tӑDÿӝ cӫa camera và cӫa robot tҥi mӛi vòng lһp Cҩu hình này WUѭӟFÿk\WKѭӡQJÿѭӧc sӱ dөng trong visual servoing vì nó cho phép giӳ các mөFWLrXWURQJWUѭӡng nhìn cӫa camera Các cҩu hình kӃt hӧp có thӇ sӱ dөng cҧ hai cҩu hình eye-in-hand và eye-to-hand Trong luұQYăQQj\VӁ sӱ dөng cҩu hình eye-in-hand giӳa camera và robot

3.2.1 Cҩu hình eye-in-hand

Trong cҩu eye-in-hand (xem Hình 3.1), camera ÿѭӧc gҳn vào end-effector cӫa

URERWYjFiFVѫÿӗ ÿLӅu khiӇn visual VHUYRLQJÿѭӧc thiӃt kӃ VDRFKRFiFYHFWѫYұn tӕc v

hoһc ݍሶ ÿѭӧF[iFÿӏQKÿӇ ÿLӅu khiӇn chuyӇQÿӝng yêu cҫu trong hӋ tӑDÿӝ camera hoһc trong không gian khӟp cӫa robot Vector vұn tӕFQj\ÿѭӧc gӱLÿӃn bӝ ÿLӅu khiӇn robot ÿӇ thӵc hiӋn chuyӇQÿӝng yêu cҫu'RÿyKLӋu chuҭn máy ҧnh, hiӋu chuҭn robot và hiӋu chӍnh quan hӋ giӳa camera và end-effector cҫn phҧi thӵc hiӋQWUѭӟc ÿӇ có bӝ thông sӕ nӝi cӫa camera, ma trұn Jacobian cӫa robot ௘ܬ௤ và ma trұn chuyӇQÿәi ௖ܯ௘ giӳa hӋ tӑa ÿӝ camera ܨ௖ và hӋ tӑDÿӝ end-effector ܨ௘

3.2.2 Cҩu hình eye-to-hand

&+ѬѪ1*3 VISUAL SERVOING

Trong cҩu hình eye-to-hand, camera ÿѭӧc cӕ ÿӏnh trong không gian làm viӋc (xem Hình 3.2) Không giӕQJQKѭFҩu hình eye-in-hand, hình ҧnh cӫa ÿӕLWѭӧng WKD\ÿәi là do chuyӇQÿӝng cӫa ÿӕLWѭӧng và cӫa camera, trong cҩu hình eye-to-hand, hình ҧnh cӫa ÿӕLWѭӧng WKD\ÿәi chӍ do chuyӇQÿӝng cӫa ÿӕLWѭӧng Ma trұn biӃQÿәi ܯ௖ ௕ giӳa hӋ tӑa ÿӝ camera ܨ௖ và hӋ tӑDÿӝ FѫVӣ cӫa robot ܨ௕ NK{QJÿәLYjÿѭӧc tính mӝt lҫn Vӏ trí WѭѫQJÿӕi giӳa hӋ tӑDÿӝ end-effector và hӋ tӑa cӫa camera có thӇ ÿѭӧc tính bҵng phép ÿәi giӳa các hӋ tӑDÿӝ

Hình 3.1: C̭u hình eye-in-hand

Hình 3.2: C̭u hình eye-to-hand

tURQJÿҩy vector ݉ሺݎሺݐሻሻ là mӝt tұp hӧSFiFÿRÿҥc trong hình ҧnh (ví dө QKѭWӑDÿӝ ÿLӇm ҧnh, hoһc diӋn tích, trӑQJWkPYjFiFÿһFWUѭQJKuQKKӑc khác cӫDÿӕLWѭӧng) Các ÿRÿҥc hình ҧnh này phө thuӝc vào vӏ trí ݎሺݐሻ giӳDFDPHUDYjP{LWUѭӡng &K~QJÿѭӧc sӱ dөQJÿӇ tính toán vector ݏሾ݉ሺݎሺݐሻሻǡ ܽሿcӫDFiFÿһFWUѭQJWKӏ giácWURQJÿҩy ܽ là tұp các thông sӕ biӇu diӉn cho sӵ hiӇu biӃt thêm vӅ hӋ thӕng (ví dө QKѭPDWUұn thông sӕ nӝi cӫa camera hoһc mô hình ba chiӅu cӫDÿӕLWѭӧng) Vector ݏכ chӭa các giá trӏ mong muӕn cӫDFiFÿһFWUѭQJPjFyWKӇ có giá trӏ NK{QJÿәi nӃu mөc tiêu cӕ ÿӏnh hoһc thay ÿәi nӃu ÿӕLWѭӧng di chuyӇn theo mӝt quӻ ÿҥo nhҩWÿӏnh

Khi các biӃQÿLӅu khiӇQÿѭӧFÿӏQKQJKƭDWURQJKӋ tӑDÿӝ cӫa camera, ÿӇ tӕi thiӇu sai sӕ ݁ሺݐሻ, cách tiӃp cұQÿѫQJLҧn nhҩWOjÿLӅu khiӇn vұn tӕc cӫDURERWFNJQJOjYұn tӕc camera) Quan hӋ giӳDÿҥo hàm cӫa vector ݏ và vұn tӕFWѭѫQJÿӕi giӳDFDPHUDYjÿӕi Wѭӧng ÿѭӧc cho bӣi:

&+ѬѪ1*3 VISUAL SERVOING

Sӱ dөng ma trұQ-DFRELDQÿӇ chuyӇn tӯ vұn tӕc cӫa camera vӅ vұn tӕc các góc khӟp, quan hӋ giӳa ݏሶ và vұn tӕc các góc khӟp ݍሶ WKXÿѭӧFQKѭVDX>@

ݏሶ ൌ ܮ௦ܸ௘௖ܬ௤ݍሶ ൅߲ݏ

WURQJÿҩy ܬ௤ là ma trұn Jacobian cӫa robot biӇu diӉn trong tӑDÿӝ end-effector Fe và ܸ௘௖

là ma trұn chuyӇQÿәi vұn tӕc trong hӋ tӑDÿӝ end-effector Fe thành vұn tӕc trong hӋ tӑa ÿӝ camera Fc YjÿѭӧFÿӏQKQJKƭD>@

ݍሶ ൌ െߣܬ෢݁ െ ܬ௦ା ෢௦ା߲݁෢

3.4 &iFVѫÿӗ ÿLӅu khiӇn visual servoing

Hình 3.3&iFV˯ÿ͛ ÿL͉u khi͋n visual servoing

1KѭÿmQyLӣ phҫn giӟi thiӋXFiFVѫÿӗ ÿLӅu khiӇn chӫ yӃu khác nhau ӣ cách các thông tin thӏ JLiFÿѭӧc sӱ dөng Các luұWÿLӅu khiӇn khác nhau [8, 33, 6, 7, 18, 49, 50, 5] sӁ ҧQKKѭӣng tӟLÿiSӭng cӫa hӋ thӕQJ7URQJJLDLÿRҥn thiӃt kӃ bӝ ÿLӅu khiӇn, mӝt sӕ tính chҩt cҫQÿѭӧF[HP[pWQKѭәQÿӏnh cөc bӝ và toàn cөFÿiSӭng tӕt vӟi các sai

&+ѬѪ1*3 VISUAL SERVOING

sӕ vӅ ÿROѭӡng và mô hình hóa, hӝi tө WKHRKjPPNJWKӭ tӵ hӝi tө, cӵc tiӇXÿӏDSKѭѫQJvà singularities, quӻ ÿҥo robot hӧp lý và cuӕi cùng là sӵ tách rӡi giӳa thông tin thӏ giác và bұc tӵ GRÿLӅu khiӇn Trong phҫn này sӁ WUuQKEj\FiFVѫÿӗ ÿLӅu khiӇn visual servoing khác nhau, tӯ các Vѫÿӗ ÿLӅu khiӇn truyӅn thӕQJÿӃQ FiFVѫÿӗ ODL YjFiFVѫÿӗ ÿLӅu khiӇQÿѭӧFWăQJFѭӡng Hình 3.3 liӋWNrÿҫ\ÿӫ FiFVѫÿӗ ÿLӅu khiӇn visual servoing, trong phҫn này chӍ trình bày mӝt sӕ Vѫÿӗ phә biӃn nhҩt ĈӇ hình thành luұWÿLӅu khiӇn FKRFiFVѫÿӗ visual servoing, các tӑDÿӝ ÿLӇm ҧnh 2D hoһF'ÿѭӧc sӱ dөQJ&iFÿһc WUѭQJWKӏ giác khác sӁ ÿѭӧc chi tiӃt trong phҫn sau

3.4.1 Position Based Visual Servoing (PBVS)

7URQJVѫÿӗ PBVS sӁ không sӱ dөng trӵc tiӃSFiFÿһFWUѭQJWӯ hình ҧnh Các thông tin hình ҧnh sӁ ÿѭӧc sӱ dөQJÿӇ [iFÿӏnh vӏ trí cӫDÿӕLWѭӧng trong không gian 3D và OjPÿҫXYjRFKRVѫÿӗ ÿLӅu khiӇn 'RÿyVѫÿӗ Qj\FzQÿѭӧc gӑi là 3D visual servoing

Vì luұWÿLӅu khiӇQÿѭӧF[iFÿӏQKWURQJNK{QJJLDQ&DUWLVHDQÿѭӧc tính toán tӯ các phép ÿRWURQJPӝt hình ҧnh YjÿzLKӓi phҧi biӃWWUѭӟc mô hình hình hӑc cӫDÿӕLWѭӧng DRÿyáp dөng Vѫÿӗ PBVS sӁ gһp phҧi mӝt sӕ QKѭӧFÿLӇm: chӍ áp dөng Vѫÿӗ cho các ÿӕLWѭӧng có hình dҥng cө thӇ, bӏ ҧQKKѭӣng mҥnh bӣi các sai sӕ trong quá trình hiӋu chӍnh (calib)ÿzLKӓi nhiӅXWtQKWRiQKѫQPjGRÿyVӁ giҧm khҧ QăQJӭng dөng cӫa giҧi thuұt vӟi các hӋ thӕng thӡi gian thӵc 1JRjLUDFiFÿһFWUѭQJKuQKҧnh có thӇ Yѭӧt khӓi WUѭӡng nhìn cӫa camera do không có sӵ kiӇm soát trӵc tiӃSQjRÿѭӧc thӵc hiӋn trong hình ҧnh ѬXÿLӇm khi sӱ dөQJVѫÿӗ PBVS là quӻ ÿҥo cӫa camera sӁ là mӝWÿRҥn thҷng, GRÿyVӁ [iFÿӏQKÿѭӧc quӻ ÿҥo cӫa robot trong không gian làm viӋc

ĈӇ xác ÿӏQKFiFÿһFWUѭQJKuQKҧnh sӱ dөQJWURQJ3%96WDÿӏQKQJKƭDEDKӋ tӑa ÿӝ: hӋ tӑDÿӝ hiӋn tҥi cӫa camera ፵௖, hӋ tӑDÿӝ mong muӕn cӫa camera ፵௖כ và hӋ tӑDÿӝ cӫDÿӕLWѭӧng ፵௢ Các vector cto và c*to lҫQOѭӧt là vector tӏnh tiӃn tӯ hӋ ፵௢ sang ፵௖ và hӋ ፵௖כ ÿRWURQJKӋ ፵௢ Ma trұn R = c*Rc là ma trұn xoay tӯ hӋ tӑDÿӝ ፵௖ sang vӟi hӋ ፵௖כ ĈӏQKQJKƭDݏ ൌ ሺݐǡ ߠݑሻWURQJÿҩy ݐ là vector tӏnh tiӃn và ߠݑ là tham sӕ trөc-góc cӫa phép TXD\&yKDLFiFKÿӇ chӑn ݐ WѭѫQJӭng vӟi hai luұWÿLӅu khiӇn khác nhau:

&+ѬѪ1*3 VISUAL SERVOING

NӃu vector ݐ ÿѭӧFÿӏQKQJKƭDtrong hӋ tӑDÿӝ ፵௢FK~QJWDWKXÿѭӧc YHFWRUÿһc WUѭQJ ݏ ൌ ሺ ݐ௖

௢ǡ ߠݑሻǡ ݏכ ൌ ൫ ݐ௖כ

௢ǡ Ͳ൯ và sai sӕ ݁ ൌ ൫ ݐ௖

௢ െ ݐ௖כ

௢ǡ ߠݑ൯ 7URQJ WUѭӡng hӧp này, ma trұQWѭѫQJWiFÿѭӧF[iFÿӏnh:

ܮ௦ ൌ ൤െܫଷ ሾ ݐ௖௢ሿൈ

tURQJÿҩy I3 là ma trұQÿѫQYӏ và ܮఏ௨ ÿѭӧF[iFÿӏnh theo [13]:

ܮఏ௨ ൌ ܫଷെߠ

ʹሾݑሿൈ൅ ቌͳ െ ݏ݅݊ܿߠݏ݅݊ܿଶߠ

௢ െ ݐ௖ ௢൧ ൅ ߣሾ ݐ௖௢ሿൈߠݑ

߱௖ ൌ െߣߠݑ (3.16) LuұW ÿLӅu khiӇn thӭ KDL WKX ÿѭӧc khi vector ࢚ ÿѭӧF ÿӏQK QJKƭD WURQJ KӋ tӑD ÿӝ camera ፵௖ vӟi ݏ ൌ ൫ ݐ௖כ ௖ǡ ߠݑ൯ 7URQJWUѭӡng hӧp này thì ݏכ ൌ Ͳǡ ݁ ൌ ݏ Và: