1. Trang chủ
  2. » Luận Văn - Báo Cáo

Luận văn thạc sĩ Kỹ thuật điều khiển và tự động hóa: Điều khiển bám theo và gắp vật chuyển động sử dụng kỹ thuật visual servoing

74 0 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Điều khiển bám theo và gắp vật chuyển động sử dụng kỹ thuật visual servoing
Tác giả Nguyễn Tâm HӗQJ Ĉӭc
Người hướng dẫn TS. NguyӉQ 9ƭQK +ҧo, PGS. TS. NguyӉn 7KDQK 3KѭѫQJ, TS. NguyӉn Hoàng Giỏp
Trường học ĈҤI HӐC QUӔC GIA TP.HCM
Chuyên ngành Kỹ ThuұW ĈLӅu KhiӇn Và Tӵ Ĉӝng Húa
Thể loại LuұQ YăQ
Năm xuất bản 2021
Thành phố TP. Hӗ Chớ Minh
Định dạng
Số trang 74
Dung lượng 1,44 MB

Cấu trúc

  • 1.1. Lý do chӑQÿӅ tài (14)
  • 1.2. Tәng quan tài liӋu (15)
  • 1.3. Ĉӕi tѭӧng và phҥm vi nghiên cӭu cӫa luұQYăQ (0)
  • 1.4. Mөc tiêu cӫa luұQYăQ (19)
  • 2.1. Bӝ ѭӟFOѭӧQJWѭWKӃ vұt thӇ trong hình ҧnh RGB-D (20)
  • 3.2. Các bӝ hoҥFKÿӏQKWѭWKӃ gҳp (29)
    • 3.2.1. Bӝ hoҥFKÿӏQKWKHRSKѭѫQJSKiSKuQKKӑc (29)
    • 3.2.2. Bӝ hoҥFKÿӏQKWKHRP{KuQKÿiPPk\ÿLӇm (32)
  • 3.3. Bӝ ÿLӅu khiӇQKDLEѭӟc ÿӇEiPWKHRYjJҳSYұWFKX\ӇQÿӝQJ (35)
  • 4.1. HӋ thӕng thӵc nghiӋm thӵc tӃ (43)
  • 4.2. HӋ thӕng thӵc nghiӋm mô phӓng (47)
  • 4.3. KӃt quҧ thӵc nghiӋm cӫa bӝ dӵ ÿRiQ TXӻ ÿҥo chuyӇQ ÿӝng vұt thӇ trong (48)
    • 4.4.1. Vӟi bӝ hoҥFKÿӏnh thӭ nhҩt (51)
    • 4.4.2. Vӟi bӝ hoҥFKÿӏnh thӭ hai (54)
      • 4.4.2.1. KӃt quҧ trên hӋ thӕng mô phӓng (0)
      • 4.4.2.2. KӃt quҧ trên hӋ thӕng thӵc tӃ (0)
      • 4.4.2.3. KӃt quҧ gҳp vұt chuyӇQÿӝQJWUrQEăQJFKX\Ӆn (0)
  • 5.1. Nhӳng kӃt quҧ ÿҥWÿѭӧc (66)
  • 5.2. Nhӳng hҥn chӃ còn tӗn tҥi (66)
  • Bҧng 3.1. Thông sӕ DH cӫa robot MotoMini (0)
  • Bҧng 4.1. KӃt quҧ FăQFKӍnh ma trұn camera (0)
  • Bҧng 4.2. KӃt quҧ FăQFKӍnh ma trұn camera cho hӋ thӕng sӱ dөQJEăQJFKX\Ӆn (0)
  • Bҧng 4.3. Sai sӕ WUXQJEuQKEuQKSKѭѫQJJӕc cӫDFiFWѭWKӃ kӃt quҧ (0)
  • Bҧng 4.4. KӃt quҧ thӵc hiӋn gҳp vұt vӟi tӯng mӭc tӕFÿӝ EăQJFKX\Ӆn (0)

Nội dung

/X̵QYăQWK̩FVƭ Trang v TÓM TҲT LUҰ19Ă17+Ҥ&6Ƭ Trong nhiӋm vө chuyӇQJLDRÿӗ vұt tӯ QJѭӡi sang robot, vұt thӇ bӏ di chuyӇn bӣi bàn WD\QJѭӡi theo mӝt quӻ ÿҥo bҩWNuĈӇ gҳSÿѭӧc vұt mӝt cách hiӋu

Lý do chӑQÿӅ tài

7URQJ[XKѭӟng công nghӋ robot hiӋn nay, các hӋ thӕng robot dӏch vө ÿDQJQJj\ FjQJÿѭӧc xem trӑQJYjÿѭӧFÿҫXWѭSKiWWULӇn trên khҳp thӃ giӟi Theo dӵ báo cӫa tҥp chí World Robotics, các hӋ thӕng robot dӏch vө cho các ngành nghӅ chuyên nghiӋSÿѭӧFÿiQKJLá có tәng doanh sӕ WѭѫQJӭng 8.5 tӹ 86'YjRQăPYjÿѭӧc dӵ EiRWăQJWUѭӣQJÿӅXWURQJYjLQăPWӟi

Hình 1.1 Doanh s͙ cͯa h th͙ng robot d͓ch vͭ cho ͱng dͭng chuyên nghi p trong FiFQăP-2023 Hình ̫QKÿ˱ͫc trích ngu͛n tͳ [1]

Ngày nay, trong dӏch bӋQK&29,'ÿDQJKRjQKKjQKWUrQNKҳSÿӏa cҫu thì các hӋ thӕng robot dӏch vө FNJQJÿDQJÿѭӧFÿѭDYjRSKөc vө ÿӡi sӕng cá nhân cӫa con QJѭӡL.KLÿyFiFӭng dөQJWѭѫQJWiFJLӳa roboWYjFRQQJѭӡi cҫQÿѭӧc chú trӑng ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 2 ÿӃn NhiӅu hoҥWÿӝQJWѭѫQJWiFJLӳDQJѭӡi và robot có thӇ ÿѭӧc bҳWÿҫu bҵng nhiӋm vө chuyӇQJLDRÿӗ vұt Theo [2], nhiӋm vө ÿѭӧc coi là mӝW³YҩQÿӅ mӣ´Yӟi mөFÿtFK ÿҥWÿӃn mӭFÿӝ WKDRWiFQKѭJiӳDQJѭӡi vӟLQJѭӡi Các cҧm biӃn khác nhau (cҧm biӃn lӵc, cҧm biӃn tactile, cҧm biӃn hình ҧQKWKѭӡQJ[X\rQÿѭӧc tích hӧp trong các hӋ thӕQJURERWÿӇ thӵc hiӋn nhiӋm vө này Tuy nhiên, cҧm biӃn camera vүQÿyQJPӝt vai trò chӫ ÿҥo cho các nhiӋm vө WѭѫQJWic giӳDQJѭӡi và robot

Khi thӵc hiӋn nhiӋm vө chuyӇQJLDRÿӗ vұWFRQQJѭӡi cҫm vұWWUrQWD\YjÿѭD ÿӃn cho hӋ thӕng robot Thông qua các cҧm biӃn camera, hӋ thӕng robot phҧi dӵ ÿRiQ WUѭӟc vӏ trí cӫa vұt thӇTXDÿyWuPUDÿѭӧFFiFWѭWKӃ gҳp vұt thӇ mong muӕn Ta có thӇ phân tích nhiӋm vө trên lҥi thành robot gҳp vұt thӇ chuyӇQÿӝng tӯ thông tin hình ҧQKFDPHUDĈӗng thӡi, các hӋ thӕng robot cҫQÿѭӧFÿLӅu khiӇQFKtQK[iFÿӃQWѭWKӃ mөc tiêu Kӻ thuұW9LVXDO6HUYRLQJ96ÿѭӧc phát triӇQÿӇ ÿLӅu khiӇn robot bҵng tín hiӋu hình ҧnh hӗi tiӃp tӯ các camera [3] ± [6]

Qua quá trình phân tích, sinh viên cần bám sát các yêu cầu, nghiên cứu kỹ các tài liệu liên quan và ứng dụng chính xác các kiến thức đã học trong quá trình nghiên cứu Bên cạnh đó, sinh viên cần nắm rõ cách sử dụng hiệu quả các thiết bị như camera và phần mềm VS để thu thập và xử lý dữ liệu một cách chính xác, nhằm tìm ra giải pháp hiệu quả cho bài toán nghiên cứu.

Tәng quan tài liӋu

7Uѭӟc hӃWSKѭѫQJSKiS96FyWKӇ ÿѭӧFÿӏnh dҥng theo 2 tiêu chí lӟn Dӵa vào cҩu hình lҳSÿһWFDPHUDSKѭѫQJSKiSFyWKӇ ÿѭӧc phân biӋt theo hai loҥi: Eye in hand - EIH và Eye to hand ± ETH [3] CҩXKuQK(,+ÿһt camera trӵc tiӃp lên trên hӋ thӕng URERWWUiQKÿѭӧc sai sӕ WURQJFăQFKӍnh camera khi thӵc hiӋQÿLӅu khiӇn, còn ETH ÿһt camera tҥi mӝt vӏ trí cӕ ÿӏnh trong không gian cho phép camera có thӇ quan sát ÿѭӧc robot và vұt thӇ Dӵa vào cách phân tích tín hiӋu sai sӕSKѭѫQJSKiSÿѭӧc phân chia thành 3 kiӇu kӻ thuұt sau sau: visual servoing dӵa trên hình ҧnh (IBVS), PBVS và visual servoing hӛn hӧp theo 2ẵ chiӅu (Hybrid visual servoing) kӃt hӧp hai SKѭѫQJSKiSWUrQ>@± [6] Trong các kӻ thuұWWUrQ3%96ÿѭӧc chú trӑng trong phҫn luұQYăQQJKLrQFӭu do khҧ QăQJiSGөQJFiFWѭWKӃ mөc tiêu vào trong luұWÿLӅu ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 3 khiӇn ViӋc này giúp cho hӋ thӕQJÿLӅu khiӇn VS có thӇ ÿѭӧc tích hӧp thêm mӝt bӝ hoҥFKÿӏQKWѭWKӃ gҳp (grasp planner) cho mөc tiêu vұt thӇ

Khi thӵc hiӋQÿLӅu khiӇQ3%96ÿӇ bám theo và gҳp mӝt vұt thӇ chuyӇQÿӝng, mӝt bӝ dӵ ÿRiQTXӻ ÿҥo cho vұWWKѭӡng sӁ ÿѭӧc áp dөng [7] ± [11] Nghiên cӭu [7] áp dөng bӝ ѭӟFOѭӧng quӻ ÿҥREuQKSKѭѫQJWӕi thiӇXÿӋ quy (Recursive Least Squares estimator) kӃt hӧp vӟL3%96ÿӇ bҳt vұt thӇ chuyӇQÿӝng trong camera RGB Bài báo [8] áp dөng PBVS vӟi hai bӝ lӑF.DOPDQÿӇ xӱ lý nhiӉu trong dӳ liӋu hình ҧnh và theo dõi, bҳt giӳ mөc tiêu chuyӇQÿӝng Nghiên cӭu [9] mӣ rӝng phҫn công viӋc cӫa [8] bҵng phát triӇn mӝt bӝ lӑc Kalman mӣ rӝQJWKtFKQJKL$GDSWLYH(.)ÿӇ thӵc hiӋn công viӋc dӵ ÿRiQTXӻ ÿҥo Các nghiên cӭu [8] và [9] thӵc hiӋn thí nghiӋm trên mӝt hӋ thӕng robot 5 trөc vӟi cҩXKuQK(,+ÿӇ gҳp mӝt vұt thӇ di chuyӇn trong không gian 3 chiӅu Vұt thӇ mөFWLrXÿѭӧF[iFÿӏnh vӟi mӝt ҧnh nhұn diӋQÿһc biӋt

Các nghiên cӭu vӯDTXDÿӅu sӱ dөQJFDPHUD5*%ÿӇ thӵc hiӋQÿLӅu khiӇn VS Tuy nhiên, bài báo [10] mô tҧ hӋ thӕQJ3%96ÿѭӧc sӱ dөng camera RGB-D kӃt hӧp vӟi kӻ thuұt hình hӑFDIILQHÿһc biӋt ÿӇ nhұn dҥng và bám theo vұt trong thӡi gian thӵc Mһc khác, nghiên cӭu [11] sӱ dөQJ3%96WKHRÿӏnh dҥng dual quaternion vӟi cҩu hình EIH và bӝ lӑF(.)ÿӇ gҳp vұt chuyӇQÿӝng trong camera RGB-D Bài báo FNJQJiSGөng nghiên cӭu vӅ bӝ hoҥFKÿӏQKWѭWKӃ gҳp dӵa trên dӳ liӋXÿiPPk\ÿLӇm YjÿLӇm tiӃp xúc cөc bӝ (LoCoMo) [12] WUѭӟFÿyFӫa hӑ ÿӇ WuPUDWѭWKӃ gҳp vұt chҳc chҳn Tuy nhiên, bài báo [11] thӵc hiӋn thӵc nghiӋm trong hӋ thӕng mô phӓng vӟi các vұt thӇ mөc tiêu có gҳn các hình nhұn dҥQJÿһc biӋWYjÿѭӧF[iFÿӏnh nҵm bên trong vùng làm viӋc cӫDURERW1Jѭӧc lҥi vӟi các giҧ ÿӏnh sӱ dөng bӝ dӵ báo quӻ ÿҥo, [13] sӱ dөQJ3%96ÿӇ bám theo vұt thӇ chuyӇQÿӝng vӟi hӋ thӕng nhiӅu camera RGB-D gҳn cӕ ÿӏQKWKHR(7+ÿӇ quan sát toàn bӝ vùng làm viӋc và mӝWFDPHUDÿ{L theo EI+ÿӇ ÿLӅu chӍnh chính xác sai sӕ

Dựa trên các tài liệu tham khảo, các nghiên cứu tập trung vào thiết kế bộ điều khiển và thuật toán cho camera theo dõi và nhận dạng hình dạng cấu trúc cơ thể của vật thể mục tiêu Mặt khác, kiến ​​thức này sẽ giúp cho camera có thể theo dõi một vật thể bất kỳ khi tay gắp ở đầu robot tiến gần chụp vật thể bằng dụng cụ gắp Các vật thể động có thể nằm trong tầm nhìn của bộ điều khiển bám theo và chụp bằng động tích sử dụng các thuật toán điều khiển Visual Servoing.

/X̵QYăQWK̩FVƭ Trang 4 trong vùng làm viӋc cӫa robot ViӋc áp dөng cҩu hình ETH cho thuұWWRiQ96ÿӇ gҳp vұt chuyӇQÿӝng vүQFKѭDÿѭӧc nghiên cӭu sâu

1.3 ĈӕLWѭӧng và phҥm vi nghiên cӭu cӫa luұQYăQ:

LuұQYăQQJKLrQFӭu vӟi cҩu hình ETH cho nhiӋm vө nҳm bҳWÿӕLWѭӧng chuyӇQÿӝng cho cánh tay 6 bұc Mөc tiêu có thӇ bҳWÿҫu tҥi mӝt vӏ trí tùy ý bên ngoài không gian làm viӋc cӫa robot

Bӝ ѭӟF OѭӧQJ Wѭ WKӃ trong hình ҧnh camera RGB-D áp dөQJ SKѭѫQJ SKiS Virtual Visual Servo (VVS) [14] vӟi mô hình vұt thӇ FKRWUѭӟc Bӝ lӑc Kalman mӣ rӝng dӵ ÿRiQTXӻ ÿҥo chuyӇQÿӝng vұt thӇ tӯ WѭWKӃ ѭӟFOѭӧng trong hình ҧnh Bӝ ѭӟFOѭӧQJWѭWKӃ bàn tay trong hình ҧnh RGB-D sӱ dөQJSKѭѫQJSKiSOӑFÿiPPk\ ÿLӇPÿӇ [iFÿӏQKWK{QJWLQWѭWKӃ EjQWD\QJѭӡi

Quy trình thứ nhất tính toán trực tiếp giá trị mục tiêu trong thời gian hiện tại Còn quy trình thứ hai áp dụng Luật LoCoMo [12] để xây dựng một tập dữ liệu giá trị mục tiêu cho mục tiêu vật thực trong quá trình bù học ngược ma trận của quá trình điều khiển tay trong quá trình học vật thực trong quá trình mô phỏng việc quá trình điều khiển hướng tới mục tiêu.

HӋ thӕng thӵc nghiӋm thӵc tӃ bao gӗm mӝt cánh tay robot MotoMini 6 bұc và mӝt camera RealSense D435 Vұt thӇ mөFWLrXÿѭӧc chӑn là mӝt khӕi hӝp chӳ nhұt

HӋ thӕng thӵc nghiӋm mô phӓng trong phҫn mӅP*D]HERÿѭӧc dӵDWUrQVѫÿӗ hӋ thӕng thӵc tӃ Cҧ hai bӝ hoҥFK ÿӏnh lҫQ OѭӧW ÿѭӧF ÿѭD YjR iS Gөng cho hӋ thӕng visual servoing vӟi bӝ thӭ nhҩWÿѭӧc kiӇm chӭng trên hӋ thӕng thӵc tӃ, còn bӝ thӭ KDLÿѭӧc thӵc nghiӋm trên cҧ hai hӋ thӕng mô phӓng và thӵc tӃ ĈӇ ÿҧm bҧo an toàn khi gҳp vұt chuyӇQÿӝng bӣi WD\QJѭӡi trong hӋ thӕng thӵc tӃ, ta cҫQÿѭDUDPӝt sӕ giҧ ÿӏnh sau: x Giҧ ÿӏQKÿҫu tiên là quӻ ÿҥo chuyӇQÿӝng cӫa vұt có thӇ bҩWNuQKѭQJ luôn tiӃn vӅ hӋ thӕQJURERWQKѭWKDRWiFFKX\ӇQJLDRÿӗ vұt ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 5 x Giҧ ÿӏnh thӭ hai là không có vұt thӇ nào nҵm giӳa vұt thӇ mөc tiêu và camera ngoài trӯ EjQWD\FRQQJѭӡi x Giҧ ÿӏnh thӭ EDOjWѭWKӃ bàn tay so vӟi tâm vұt thӇ phҧLÿѭӧc giӳ nguyên suӕt quá trình thӵc nghiӋm x Giҧ ÿӏnh cuӕi cùng là trong thӵc nghiӋm thӵc tӃ cӫa hӋ thӕng visual servoing vӟi bӝ hoҥFKÿӏnh thӭ nhҩt, WK{QJWLQFRQQJѭӡLFKѭDÿѭӧc sӱ dөng nên tay QJѭӡi cҫm vұt phҧi cách xa tâm vұt mӝt khoҧng cách an toàn Khi áp dөng bӝ hoҥFKÿӏnh thӭ hai cho hӋ thӕng VS thì giҧ ÿӏnh này có thӇ ÿѭӧc bӓ qua

Hình 1.2 C̭u trúc cͯa h th͙QJÿ˱ͫc nghiên cͱu trong lu̵QYăQ

Quá trình làm viӋc cӫa hӋ thӕng luұQYăQWKHRHình 1.2 ÿѭӧc mô tҧ QKѭVDX x %DQÿҫu, mӝWQJѭӡi cҫm vұt thӇ mөc tiêu bên ngoài vùng làm viӋc cӫa robot và sӁ thӵc hiӋQÿѭDYұt thӇ tiӃn lҥi gҫn cánh tay máy x TiӃp theo, camera thӵc hiӋQTXDQViWYjÿѭDFiFWK{QJWLQKuQKҧnh vào trong bӝ dӵ ÿRiQTXӻ ÿҥo Trong bӝ Qj\WѭWKӃ mөFWLrXÿѭӧFѭӟFOѭӧng Yjÿѭӧc sӱ dөng bӣi bӝ (.)ÿӇ thӵc hiӋn dӵ báo Ngoài ra, bӝ Qj\FNJQJ thӵc hiӋQѭӟFOѭӧQJWѭWKӃ EjQWD\FRQQJѭӡi trong hình ҧnh RGB-D x 6DXÿyFác WѭWKӃ kӃt quҧ ÿѭӧc chuyӇQÿӃn cho hӋ thӕQJÿLӅu khiӇn YLVXDOVHUYRLQJ7URQJÿyKDLEӝ hoҥFK ÿӏnh khác nhau sӁ tiӃp nhұn ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 6 chúnJÿӇ WuPUDWѭWKӃ gҳp phù hӧSFKRÿӕLWѭӧng mөc tiêu chuyӇQÿӝng

Trong quá trình làm việc, robot được điều khiển bằng tay để gắp mục tiêu (đối tượng nhỏ) Theo vị trí của robot, mục tiêu có thể nằm ngoài vùng làm việc hoặc nằm ngoài phạm vi gắp Trong trường hợp mục tiêu nằm ngoài phạm vi gắp, robot sẽ phải di chuyển để tiếp cận mục tiêu, sau đó tiếp tục di chuyển để gắp mục tiêu Quá trình làm việc kết thúc khi robot đã hoàn thành việc gắp mục tiêu.

Qua các nӝLGXQJÿmWUuQKEj\WUѭӟc, luұQYăQFyKDLPөc tiêu chính: x ThiӃt kӃ bӝ dӵ ÿRiQTXӻ ÿҥo vұt thӇ chuyӇQÿӝng tӯ hình ҧnh camera RGB-D x Xây dӵng hӋ thӕng visual servoing vӟi bӝ ÿLӅu khiӇQKDLEѭӟFÿӇ bám theo và gҳp vұt chuyӇQÿӝng KӃt hӧp vӟi các bӝ hoҥFKÿӏQKWѭWKӃ gҳp ÿӇ WăQJFѭӡng khҧ QăQJJҳp vұt

LuұQYăQ ÿѭӧc chia gӗm có 5 FKѭѫQJVӁ trình bày nhӳng vҩQÿӅ chính sau: x &KѭѫQJWUuQKEj\QKӳng nghiên cӭu vӅ kӻ thuұt visual servo gҳp vұt chuyӇQÿӝng và mөc tiêu luұQYăQ x &KѭѫQJWUuQKEj\bӝ dӵ báo quӻ ÿҥo chuyӇQÿӝng cӫa vұt thӇ tӯ tín hiӋu hình ҧnh RGB-D x &KѭѫQJgiӟi thiӋu bӝ ÿLӅu khiӇQKDLEѭӟFÿӇ thӵc hiӋn bám theo và gҳp vұW Ĉӗng thӡi, hai bӝ hoҥFK ÿӏQK Wѭ WKӃ gҳS FNJQJ ÿѭӧc tích hӧp trong phҫn này x &KѭѫQJ4 trình bày các kӃt quҧ thӵc nghiӋm cho các hӋ thӕQJÿmÿѭӧc xây dӵng x &KѭѫQJ5 nêu kӃt luұn, nhӳng hҥn chӃ YjÿӅ UDKѭӟng phát triӇn ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

BӜ DӴ Ĉ2È148Ӻ ĈҤO CHUYӆ1ĈӜNG VҰT THӆ TRONG CAMERA RGB-D

&KѭѫQJQj\trình bày các thành phҫn cҩu tҥo cӫa bӝ dӵ ÿRiQTXӻ ÿҥo chuyӇQÿӝng vұt thӇ trong camera RGB-'Ĉҫu tiên, bӝ ѭӟFOѭӧQJWѭWKӃ vұt thӇ ÿѭӧc áp dөng WKHRSKѭѫQJSKiSNӃt hӧp nhiӅXÿһFÿLӇm ҧnh nhұn dҥng TiӃp theo, bӝ lӑc Kalman mӣ rӝng thӵc hiӋn dӵ báo quӻ ÿҥo chuyӇQÿӝng cӫa vұt tӯ WѭWKӃ ÿѭӧFѭӟFOѭӧng Cuӕi cùng, bӝ ѭӟFOѭӧQJWѭWKӃ bàn tay tay cho phép trích xuҩWWK{QJWLQWD\QJѭӡi ÿӇ sӱ dөng trong hӋ thӕng visual servoing

2.1 Bӝ ѭӟFOѭӧQJWѭWKӃ vұt thӇ trong hình ҧnh RGB-D:

Do hӋ thӕQJÿLӅu khiӇn gҳp vұt phө thuӝc chӫ yӃu vào tín hiӋu phҧn hӗi tӯ camera, ta cҫn xây dӵng mӝt bӝ ѭӟFOѭӧQJWѭWKӃ vұt trong hình ҧnh vӟLFiFÿLӅu kiӋQVDXÿӝ chính xác cao trong viӋFѭӟFOѭӧQJWѭWKӃ vұt và khҧ QăQJWtQKWRiQWKHRWKӡi gian thӵc tӃ DӵD YjR ÿLӅu kiӋn này, SKѭѫQJ SKiS 9LUWXDO 9LVXDO 6HUYR 996 ÿѭӧc chӑQÿӇ áp dөng cho bӝ ѭӟFOѭӧQJĈӕi vӟLÿLӅu kiӋn thӭ nhҩWSKѭѫQJSKiSWtFKKӧp FiFÿһFÿLӇm hình ҧnh nhұn dҥng khác nhau tӯ cҧ hai kênh màu sҳc RGB và kênh chiӅXVkX'&zQÿӕi vӟLÿLӅu kiӋn thӭ KDLSKѭѫQJpháp sӱ dөng dӳ liӋu CAD 3D FKRWUѭӟc cӫa mô hình vұt thӇ

+DLÿһFÿLӇm hình ҧnh tӯ NrQK5*%ÿѭӧc sӱ dөng là cҥnh (Moving Edges) [14]

Yj ÿLӇP ÿһF WUѭQJ 6,)7 [15] (Scale Invariant Feature Transform keypoints) Mһt NKiFÿLӇm chiӅXVkXÿһFWUѭQJWӯ NrQK'FNJQJÿѭӧFÿѭDYjREӝ ѭӟFOѭӧQJ3KѭѫQJ pháp trên áp dөng cách tính tӕLѭXKyDYzQJOһSÿӇ ѭӟFOѭӧQJWѭWKӃ theo mô hình

Mөc tiêu cӫa luұQYăQ

Mục tiêu chính của nghiên cứu này bao gồm: (1) Thiết kế bộ điều khiển theo dõi hình ảnh dựa trên camera RGB-D (2) Xây dựng hệ thống visual servoing với bộ lọc Kalman bù trừ để bám theo và gặp vật chuyển động Kết hợp với các bộ lọc Kalman bổ sung để gặp và theo dõi vật động song song với camera.

LuұQYăQ ÿѭӧc chia gӗm có 5 FKѭѫQJVӁ trình bày nhӳng vҩQÿӅ chính sau: x &KѭѫQJWUuQKEj\QKӳng nghiên cӭu vӅ kӻ thuұt visual servo gҳp vұt chuyӇQÿӝng và mөc tiêu luұQYăQ x &KѭѫQJWUuQKEj\bӝ dӵ báo quӻ ÿҥo chuyӇQÿӝng cӫa vұt thӇ tӯ tín hiӋu hình ҧnh RGB-D x &KѭѫQJgiӟi thiӋu bӝ ÿLӅu khiӇQKDLEѭӟFÿӇ thӵc hiӋn bám theo và gҳp vұW Ĉӗng thӡi, hai bӝ hoҥFK ÿӏQK Wѭ WKӃ gҳS FNJQJ ÿѭӧc tích hӧp trong phҫn này x &KѭѫQJ4 trình bày các kӃt quҧ thӵc nghiӋm cho các hӋ thӕQJÿmÿѭӧc xây dӵng x &KѭѫQJ5 nêu kӃt luұn, nhӳng hҥn chӃ YjÿӅ UDKѭӟng phát triӇn ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

BӜ DӴ Ĉ2È148Ӻ ĈҤO CHUYӆ1ĈӜNG VҰT THӆ TRONG CAMERA RGB-D

&KѭѫQJQj\trình bày các thành phҫn cҩu tҥo cӫa bӝ dӵ ÿRiQTXӻ ÿҥo chuyӇQÿӝng vұt thӇ trong camera RGB-'Ĉҫu tiên, bӝ ѭӟFOѭӧQJWѭWKӃ vұt thӇ ÿѭӧc áp dөng WKHRSKѭѫQJSKiSNӃt hӧp nhiӅXÿһFÿLӇm ҧnh nhұn dҥng TiӃp theo, bӝ lӑc Kalman mӣ rӝng thӵc hiӋn dӵ báo quӻ ÿҥo chuyӇQÿӝng cӫa vұt tӯ WѭWKӃ ÿѭӧFѭӟFOѭӧng Cuӕi cùng, bӝ ѭӟFOѭӧQJWѭWKӃ bàn tay tay cho phép trích xuҩWWK{QJWLQWD\QJѭӡi ÿӇ sӱ dөng trong hӋ thӕng visual servoing.

Bӝ ѭӟFOѭӧQJWѭWKӃ vұt thӇ trong hình ҧnh RGB-D

Ứng dụng xử lý ảnh dựa trên tín hiệu phản hồi từ camera cho phép xây dựng bộ dữ liệu hình ảnh chính xác hơn về vật thể trong cảnh và giảm thời gian thực hiện Trong bối cảnh này, SK Telecom đã áp dụng thành công cho bộ dữ liệu hình ảnh thực vật với mức độ chính xác cao Hình ảnh nhận dạng được với độ nét khác nhau từ hai kênh màu RGB và kênh xám grayscale, và pháp sư dung dữ liệu CAD 3D để mô phỏng hình dạng 3D của vật thể.

+DLÿһFÿLӇm hình ҧnh tӯ NrQK5*%ÿѭӧc sӱ dөng là cҥnh (Moving Edges) [14]

Yj ÿLӇP ÿһF WUѭQJ 6,)7 [15] (Scale Invariant Feature Transform keypoints) Mһt NKiFÿLӇm chiӅXVkXÿһFWUѭQJWӯ NrQK'FNJQJÿѭӧFÿѭDYjREӝ ѭӟFOѭӧQJ3KѭѫQJ pháp trên áp dөng cách tính tӕLѭXKyDYzQJOһSÿӇ ѭӟFOѭӧQJWѭWKӃ theo mô hình

Trong Hình 2.1 mô tả cách tích hợp 3 loại cảm biến vào hệ thống robot chân bám theo và gặp vật cản, sử dụng kỹ thuật điều khiển Visual Servoing

Hình 2.16˯ÿ͛ b͡ theo dõi tr͹FTXDQWKHRSK˱˯QJSKiS996

Key points from the article:- The Unicode code U+1F4A9 represents a pile of poo.- The Unicode Consortium is a non-profit organization that develops and maintains Unicode.- Unicode is a character encoding standard that allows computer systems to represent text in multiple languages.- The pile of poo emoji is often used to express feelings of disgust, humor, or playfulness.- Emojis are a popular way to communicate online and can help to convey emotions and ideas more effectively.

&KtQKYuWKӃKDLÿһFÿLӇPFҥQKWtQKQKDQKFKyQJYjÿLӇPKuQKҧQKÿһFWUѭQJÿӝ FKtQK[iFFDREәWUӧFKRQKDXWURQJYLӋFѭӟFOѭӧQJWѭWKӃWURQJKuQKҧQK7X\QKLrQ KӋWKӕQJѭӟFOѭӧQJFjQJÿѭӧFEӅQYӳQJKѫQÿӕLYӟLQKLӉXKuQKҧQKNKLNӃWKӧSWKrP WK{QJWLQFKLӅXVkX7URQJ996ÿһFWUѭQJÿLӇPFKLӅXVkXWtQKWRiQVDLVӕWӯÿӝVkX FӫDÿLӇPWURQJKuQKҧQKVRYӟLP{KuQKFKRWUѭӟFFӫDYұWWKӇ

Hình 2.2 K͇t qu̫ ˱ͣFO˱ͫQJW˱WK͇ v̵t th͋ WKHRSK˱˯QJWKͱc VVS ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Trong hình 2.2, kết quả của phép đo góc mở khẩu của ống kính máy ảnh là 50 mm Để đo được góc mở khẩu của ống kính máy ảnh, người ta chiếu một chùm tia sáng song song vào ống kính Góc giữa hai tia ngoài cùng của chùm tia sau khi đi qua ống kính chính là góc mở khẩu của ống kính.

2.2 %ӝOӑF.DOPDQPӣUӝQJ ĈӇ có thӇ thӵc hiӋn gҳp vұt chuyӇQÿӝng, mӝt bӝ dӵ ÿRiQTXӻ ÿҥo chuyӇQÿӝng cӫa mөc tiêu tӯ WѭWKӃ vұt thӇ ѭӟFOѭӧQJÿѭӧc thiӃt kӃ Do tính chҩt phi tuyӃn cӫa quӻ ÿҥo mөc tiêu, nghiên cӭu áp dөng và thӵc hiӋn mӝt bӝ lӑc Kalman mӣ rӝng [16]

%ӝOӑF.DOPDQPӣUӝQJÿѭӧFVӱGөQJUӝQJUmLWURQJFiFKӋWKӕQJSKLWX\ӃQ GRNKҧQăQJiSGөQJWX\ӃQWtQKKyDPӝWSKҫQKӋWKӕQJWҥLWKӡLÿLӇPWtQKWRiQ%ӝ (.)EDRJӗPKDLEѭӟFKRҥWÿӝQJFKtQKOjGӵÿRiQYjFұSQKұW7URQJEѭӟFGӵÿRiQ EӝOӑF(.)WKӵFKLӋQѭӟFOѭӧQJELӃQWUҥQJWKiLFQJYӟLFiFPDWUұQNǤYӑQJFӫD chúng trong FKXNǤWLӃSWKHRGӵDWKHRP{KuQKÿӝQJOӵFSKLWX\ӃQ7LӃSÿӃQbӝ lӑc thӵc hiӋQEѭӟc cұp nhұt vӟi các biӃQTXDQViWÿѭӧc thu thұp thông qua các cҧm biӃn Ĉӝ lӧL.DOPDQÿѭӧFWtQKWRiQWURQJEѭӟFQj\WѭӧQJWUѭQJFKRPӭFÿӝ ҧQKKѭӣng cӫa biӃQTXDQViWÿӕi vӟi biӃn trҥQJWKiLÿѭӧFѭӟFOѭӧQJWUѭӟc DӵDYjRÿӝ lӧLÿѭӧc tính, bӝ lӑc cұp nhұt các biӃn trҥng thái và ma trұn kǤ vӑng cӫa chúng cho vòng lһp Kalman tiӃp theo

Trong luұQYăQEӝ EKF cҫQFyP{KuQKÿӝng lӵc cӫa vұt thӇ chuyӇQÿӝng WURQJNK{QJJLDQÿӇ thӵc hiӋn viӋc dӵ ÿRiQYjFұp nhұt Tӯ WK{QJWLQWѭWKӃ cӫa vұt thӇ trong hình ҧnh camera RGB-D, mӝt mô hình chuyӇQÿӝng trong không gian 3 chiӅXÿѭӧc áp dөng dӵa theo nghiên cӭu [17] Mô hunh chuyӇQÿӝng cӫDYұWWKӇÿѭӧF chia tách thjQKKDLP{KuQKVDXP{KuQKFKX\ӇQÿӝQJWӏQKWLӃQYӟLJLDWӕFNK{QJÿәL vj P{KuQKFKX\ӇQÿӝQJJyF[RD\WKHRÿӏQKÿҥQJTXDWHUQLRRQYӟLKҵQJVӕYұQWӕF góc ĈҫXWLrQP{KuQKKӋWKӕQJWӏnh tuyӃQFӫDYұWÿѭӧFFKӑQQKѭVDX ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

T k ơêp x k p y k p z k ºẳ p , v k ơêv x k , v y k , v z k , ºẳ T và a k ơêa x k , a y k , a z k , ºẳ T OҫQOѭӧWOjFic vector gii trӏ YӏWUtYұQWӕFYjJLDWӕFWӏQKWLӃQFӫDYұWWKӇFQJYӟL 't là thӡi gian lҩy mүu cӫa mô hình Ngoài ra, w p , w w v , a ÿѭӧFFKӑQOjFiFYHFWѫ QKLӉXWѭѫQJӭQJFӫDP{KuQKFKX\ӇQÿӝQJWӏQKWX\ӃQ

7LӃSWKHRP{KuQKFKX\ӇQÿӝQJFӫDKӋWKӕQJJyFÿѭӧF[k\GӵQJYӟLNLӇXÿӏQK GҥQJTXDWHUQLRQFKRJLiWUӏJyFÿӇ loҥi bӓ WUѭӡQJKӧSÿLӇPNǤGӏVLQJXODULWLHV

1 1 k t k k q k k Ȧ e : ' °® °¯ q q w w Ȧ Ȧ Ȧ (2.2) vӟi q k ơêq x k , q y k , q z k , q w, k ºẳ T và Ȧ k ơêZ x k , Z y k , Z z k , ºẳ T lҫQOѭӧWOjYHFWѫ quaternion và vұQÿӝ góc cӫa vұt thӇ, cùng vӟLFiFYHFWѫQKLӉXWѭѫQJӭng w w q , Z

Trong công thӭc trên, e : ( Ȧ k 1 ) ' t và :( Ȧ k ) ÿѭӧF[iFÿӏnh theo:

Tӯ KDLP{KuQKÿӝng lӵc (process model) ӣ trên, ta tiӃp tөc xây dӵng các hӋ SKѭѫQJWUuQKFKX\ӇQÿӝQJYjTXDQViWWѭѫQJӭng cӫa chúng cho bӝ lӑc (.)7Uѭӟc hӃt, hӋ SKѭѫQJWUunh chuyӇQÿӝng và quan sát cӫa hӋ thӕng tӏnh tiӃQÿѭӧF[iFÿӏnh ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

YӟLX 1,k vj Z 1,k lҫQOѭӧt lj cic biӃn trҥng thii vj biӃn quan sit cӫa hӋ thӕng EKF tӏnh tiӃn NhiӉu hӋ thӕng vj nhiӉu quan sit cӫa mô hình tӏnh tiӃn là W 1, k 1 và

D 1,k Ĉӗng thӡi, các ma trұn tuyӃn ttnh hya theo biӃn trҥng thái X 1,k cӫa hӋ thӕng chuyӇQÿӝng F 1, k 1 vj bӝ quan sit H 1,k ÿѭӧc diӉn tҧ theo công thӭc sau:

7ѭѫQJWӵQKѭWUrQKӋSKѭѫQJWUuQKP{WҧFKX\ӇQÿӝQJYjKӋSKѭѫQJWUuQKTXDQ ViWFӫDP{KuQKJyF[RD\ÿѭӧFiSGөQJYjREӝOӑF.DOPDQPӣUӝQJFyGҥQJ

YӟL X 2,k vj Z 2,k là các biӃn trҥng thái và biӃn quan sát cho công thӭc EKF

W và D 2,k ÿѭӧF[iFÿӏnh là nhiӉu hӋ thӕng và nhiӉu quan sát cӫa mô hình chuyӇn ÿӝng góc Mһt khác, ma trұn phi tuyӃn f 2 (X 2, k 1 ) ÿѭӧF[iFÿӏnh có theo công thӭc

(2.8) 'RÿyPDWUұn hӋ thӕng F 2, k 1 vj ma trұn quan sit H 2,k ÿѭӧc tuyӃn ttnh hya theo biӃn X 2,k có dҥng là: ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Trong bӝ (.)ÿmWUuQKEj\ӣ trên, viӋc tính toán ma trұn F 2, k 1 cҫQÿѭӧc chú trӑng do mӭFÿӝ phi tuyӃn cao cӫDSKѭѫQJWUuQKFyWKӇ dүQÿӃn sai sӕ ÿӝt ngӝt lӟn gây bҩt lӧi cho các hӋ thӕQJÿLӅu khiӇn tҥi phҫn sau Cách tính cө thӇ ma trұn

F ÿѭӧc trình bày trong phҫn PHӨ LӨC

2.3 %ӝXӟFOѭӧQJWѭWKӃ EjQWD\QJѭӡi tӯ hình ҧnh RGB-D:

Trong không gian 3 chiều, robot cần bám theo và tương tác với vật thể đang chuyển động Tuy nhiên, khi trích xuất hình ảnh cho hệ thống thị giác phục vụ, hình ảnh chỉ cung cấp thông tin 2 chiều Để giải quyết vấn đề này, robot cần sử dụng thông tin về độ sâu vật thể để tính toán vị trí tương đối một cách chính xác và an toàn.

Tӯ phҫn này trӣ vӅ sau trong luұQYăQFiFF{QJWKӭc ma trұQÿѭӧc sӱ dөQJÿӇ mô tҧ và tính toán cho hӋ thӕQJÿLӅu khiӇQURERW'RÿyWDTX\ÿӏnh cách thӇ hiӋn tӑDÿӝ cӫa hӋ trөc i so vӟi hӋ trөc j thông qua ma trұn T i j QKѭVDX

Các bӝ hoҥFKÿӏQKWѭWKӃ gҳp

Bӝ hoҥFKÿӏQKWKHRSKѭѫQJSKiSKuQKKӑc

Trong nghiên cӭu, vұt thӇ mөFWLrXÿѭӧc chӑn là mӝt khӕi hình hӝp chӳ nhұWĈӗng thӡi, hӋ thӕQJURERWÿѭӧc trang bӏ mӝt tay gҳSVRQJVRQJSDUDOOHOJULSSHUÿӇ gҳp vұt Vұy nên, ta cҫQÿҧm bҧo robot thӵc hiӋn gҳp vұt trên mӝt trong 6 mһt phҷng hӝp vӟLKѭӟng góc phù hӧp vӟi vұt LuұQYăQÿӅ xuҩt mӝt bӝ hoҥFKÿӏQKWѭWKӃ gҳp theo SKѭѫQJSKiSKuQKKӑFYHFWѫ1ӝi dung tính toán cӫa bӝ hoҥFKÿӏQKQj\ÿѭӧc chia thành hai phҫQWѭѫQJӭng: phҫn tính toán vӏ trí và phҫn tính toán góc xoay cӫDWѭWKӃ gҳp mөc tiêu ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Robot MotoMini có 3 trục khớp tạo thành cấu trúc như cổ tay người, trong đó có 1 trục là tâm cổ tay (wrist center) của robot Khoảng cách từ đỉnh trục tay gần nhất tâm cổ tay đến tâm cổ tay là d6 Với vị trí này, ta thực hiện công thức học thuật robot với d6 là 0 Vị trí của tâm vật thể (object center) nằm giữa hai vị trí của tâm cổ tay của robot và của vật mà robot đang cầm:

TiӃSÿӃn, chӑn mӝt tұSÿLӇm t object face ^ t 1 object , t object 2 , t 3 object , , t 6 object ` WѭѫQJӭng vӟi tӯQJÿLӇm trên mһt phҷng cӫa khӕi hӝS7URQJSKѭѫQJSKiSWUrQPһt phҷng vұt thӇ ÿѭӧc chӑn *i là mһt phҷQJFyÿLӇm tӑDÿӝ trong tұp t object face gҫn nhҩWÿӕi vӟi vӏ trí tay gҳp t robot gripper và tӟLÿѭӡng thҷng d object center Công thӭc sau mô tҧ quá trình lӵa chӑn mһt phҷng gҳp cӫa bӝ hoҥFKÿӏnh I: with i ^ 1, ,6 `

* arg min robot robot object robot i object i object robot robot object i center center robot robot i gripper object center

6DXÿyYӏ trí tҥm thӡi t temp robot ÿѭӧc tính nҵPWUrQÿѭӡng thҷng nӕi giӳa 2 vӏ trí tâm cә tay và vұt thӇ:

* robot robot object object temp object i center t t t d (3.6)

QX\ÿӏQKvector trөc x cӫa vұt thӇ x object robot là trөc theo chiӅu dài cӫa vұt thӇ mөc tiêu hình hӝp ViӋc robot thӵc hiӋn gҳp trên mӝt trong 6 mһt phҷng hӝSWѭѫQJӭng vӟi viӋFWѭWKӃ gҳp mөc tiêu phҧi thuӝc mӝt trong hai mһt phҷng (x-y) hoһc (x-z) cӫa hӋ trөc tӑDÿӝ vұt thӇ Thӵc hiӋn tính khoҧng cách tӯ vӏ trí mӟi tính tӟi hai mһt phҷng bҵQJSKpSQKkQYHFWѫY{Kѭӟng vӟi các vector trөc z robot object và y robot object : ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 18 robot robot robot x y temp object object dis t t z (3.7) robot robot robot x z temp object object dis t t y (3.8) vӟi dis x y , dis x z lҫQOѭӧt là các khoҧng cách tӯ vӏ trí tҥm thӡi tӟi hai mһt phҷng (x-y) và (x-z) cӫa vұt thӇ Vӏ WUt Wѭ WKӃ gҳp mөF WLrX ÿѭӧc tính toán nҵm trên mһt phҷng có khoҧng cách gҫn nhҩt: if otherwise robot robot g x y object x y x z robot grasp robot robot g x z object dis dis dis dis d ®° °¯ t z t t y

6DXÿySKҫQWtQKWRiQKѭӟQJJyFFӫDWѭWKӃPөFWLrXÿѭӧFWKӵFKLӋQGӵDWUrQ YӏWUtWѭWKӃJҳSYӯDÿѭӧF[iFÿӏQK4X\ÿӏQKYHFWѫSKiSWX\ӃQFӫDKӋWUөFWD\JҳSOj YHFWѫWUөFx robot gripper 7URQJWUѭӡng hӧp mӝt trong bӕn mһt phҷng hӝp song song vӟi trөc chiӅu dài x object robot ÿѭӧc chӑn làm mһt phҷng gҳSWKuYHFWѫSKiSWX\Ӄn cӫa tay gҳp cҫn phҧi gҫn song song vӟi x robot object ÿӇ thӵc hiӋn gҳp vұW &iF YHFWѫ WUөc thành phҫn x robot grasp , y robot grasp , z robot grasp cӫa ma trұn R grasp robot lҫQOѭӧWÿѭӧc tính theo các hàm sau: robot robot robot robot robot grasp object grasp object grasp z t t t t (3.10) robot robot robot grasp grasp u object y z x (3.11) robot robot robot grasp grasp u object x y z (3.12)

7URQJÿyu kí hiӋXFKRSKpSWtQKYHFWѫFyKѭӟng Tuy nhiên, công thӭc (3.11) không còn әQÿӏnh khi hai mһt phҷng còn lҥi cӫa khӕi hӝSÿѭӧc chӑn Nguyên do là NKLÿyt robot grasp và x robot object có khҧ QăQJVRQJVRQJYӟi nhau dүQÿӃn phép QKkQYHFWѫFy Kѭӟng trҧ vӅ giá trӏ 0 Do vұy, công thӭc (3.10) sӁ ÿѭӧFWKD\ÿәi thành: if 0 otherwise robot robot robot robot grasp object grasp object robot grasp robot robot grasp object u u z ®° °¯ u z x z x y z y

(3.13) ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Hình 3.1D7˱WK͇ g̷p mͭFWLrXEDQÿ̯XE7˱WK͇ g̷p mͭc tiêu mͣi

Hình 3.1 biӇu diӉn kӃt quҧ cӫa bӝ hoҥFKÿӏQKÿѭӧFÿӅ UDÿӕi vӟi mӝt vұt thӇ hình khӕi hӝp chӳ nhұt vӟi FiFWѭWKӃÿѭӧFELӇXGLӉQEҵQJFiFKӋWӑDÿӝ7URQJÿyPӝWKӋWUөFWӑDÿӝÿѭӧFJҳQYjRYұWWKӇPөFWLrXYӟLYHFWRUWUөF[PjXÿӓÿѭӧF[iF ÿӏQKWKHRWUөFFKLӅXGjLKӝSNKӕL7KHRHình 3.1DWѭWKӃJҳSPөFWLrXÿӇJҳSYұW ÿѭӧF[iFÿӏQKGӵDWUrQWѭWKӃKLӋQWҥLFӫDWD\JҳSYjWѭWKӃFӫDPөFWLrX&өWKӇKѫQWUөFYHFWRU[FӫDWѭWKӃJҳSPөFWLrXÿѭӧFÿҧPEҧRJҫQQKѭVRQJVRQJVRYӟLWUөFFKLӅXGjLFӫDPөFWLrX.KLQJѭӡLWKӵFQJKLӋP[RD\YұW WKӇWURQJHình 3.1EPӝWPһWSKҷQJNKiFFӫDPөFWLrXÿѭӧFFKӑQYjWѭWKӃJҳSÿѭӧFWtQKWRiQOҥLVDRFKRSKKӧSYӟLFiFÿLӅXNLӋQJҳSYұWÿmÿӅUDWURQJEӝKRҥFKÿӏQKtrên.

Bӝ hoҥFKÿӏQKWKHRP{KuQKÿiPPk\ÿLӇm

ѬXÿLӇm cӫDSKѭѫQJSKiSKRҥFKÿӏnh hình hӑc là khҧ QăQJWtQKWRiQWѭWKӃ gҳp mөc tiêu chӍ vӟi mӝWOѭӧng nhӓ thông tin vӅ ÿӕLWѭӧQJ7X\QKLrQSKѭѫQJSKiSPҳc phҧi mӝt sӕ QKѭӧFÿLӇm sau Thӭ nhҩWSKѭѫQJSKiStrên phө thuӝc vào khҧ QăQJSKkQ tích hình hӑc cӫDFRQQJѭӡLÿӕi vӟi hình dҥng cө thӇ cӫa vұt thӇ Thӭ hai, viӋc tính WRiQWѭWKӃ mөc tiêu trӵc tiӃp cӫDSKѭѫQJSKiSVӁ khiӃn cho viӋc tích hӧp mӝt sӕ thông tin mӟi cho bӝ hoҥFKÿӏnh trӣ QrQNKyNKăQ&Xӕi cùQJSKѭѫQJSKiSWtQKWRiQ ÿѫQWKXҫn ra mӝWWѭWKӃ gҳp cho mһt phҷng gҳSÿѭӧc chӑn, viӋc này khiӃn cho robot có thӇ bӓ lӥ WѭWKӃ gҳp mөc tiêu khác phù hӧp trong quá trình thӵc hiӋn

'RYұ\WURQJSKҫQQj\WDWKLӃWNӃPӝWEӝKRҥFKÿӏQKGӵDWKHRSKѭѫQJSKiS hRҥFKÿӏQKWѭWKӃJҳSLoCoMo cho ÿiPPk\ÿLӇPFӫDP{KuQK&iFWѭWKӃJҳSVӁ ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 20 ÿѭӧF[k\GӵQJQJRҥLWX\ӃQYjOѭXYjRWURQJPӝWWұSGӳOLӋX9ұ\QrQWѭWKӃJҳSPөF tiêu T grasp robot WURQJEӝKRҥFKÿӏQKQkQJFDRQj\VӁÿѭӧFOҩ\UDWӯWURQJPӝWWұS GӳOLӋX FKRWUѭӟFFKӭNK{QJSKҧLÿѭӧFWtQKWRiQWUӵFWLӃSQKѭSKѭѫQJSKiSFNJ

3KѭѫQJSKiS/R&R0RWtQKWRiQFiFWѭWKӃ gҳp và xác suҩt gҳSÿѭӧc vұt cӫa tӯQJWѭWKӃ dӵa trên sai sӕ ÿһFÿLӇm zero-moment shift [21] cӫDÿiPPk\ÿLӇm vұt thӇ bҩt kì và cӫa bӅ mһt ngón tay gҳp Các công thӭFWtQKWRiQÿѭӧc trình bày rõ trong bài báo [12] KӃt quҧ tӯ bài báo chӭng tӓ ÿӝ hiӋu quҧ cӫDSKѭѫQJSKiS/R&R0RNKL gҳp thành công tӯQJÿӕLWѭӧng mөc tiêu trong mӝWÿӕng vұt thӇ bҩt kì

Để giúp robot tìm kiếm đối tượng mục tiêu, bài báo [11] đã áp dụng thuật toán LoCoMo và thuật toán tìm kiếm cây thuận lợi vantage point tree (VP tree) [22] VP tree cho phép tìm kiếm các node gần hơn với node mục tiêu theo hàm sai số khoảng cách Euclidean Nghiên cứu này sử dụng định dạng nhị phân để xây dựng các công thức khi tính khoảng cách.

Hình 3.2 tiӃp theo trình bày kӃt quҧ cӫa viӋc áp dөng bӝ hoҥFKÿӏnh LoCoMo ÿӇ xây dӵng mӝt tұp dӳ liӋXWѭWKӃ gҳSFiFPNJLWrQPjX[DQKFKRPӝt hӝp hình chӳ nhұt Theo hình, ta thҩ\FiFWѭWKӃ gҳp mөFWLrXÿѭӧc xây dӵng phө thuӝc theo 6 mһt phҷng cӫa khӕi hӝp ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Sử dụng lý thuyết Descartes và lý thuyết quaternion được kết hợp với nhau hiện nay để tạo ra bộ kìm gắp đối tượng ảo từ bộ dữ liệu ảo.

1 object robot robot gripper object gripper

T T T (3.14) object gripper object data 2 (1 ) 1 object gripper object data 1 2 errEu t t P Pêôơ q q ºằẳ (3.15) vӟi errEu là sai sӕ khoҧng cách Euclidean, q object gripper và q object data Oj FiF YHFWѫ quaternion cӫa các ma trұn xoay R gripper object và R data object , P là trӑng sӕ chӑQWUѭӟc KӃt quҧ cӫa thuұt toán tìm kiӃPOjWѭWKӃ gҳp mөc tiêu T grasp object gҫn nhҩWÿӕi vӟLWѭWKӃ tay gҳp hiӋn tҥi T gripper object 6DXÿyWѭWKӃ gҳp mөFWLrXÿѭӧc chuyӇn vӅ hӋ trөFURERWQKѭVDX robot robot object grasp object grasp

T T T (3.16) ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Bӝ ÿLӅu khiӇQKDLEѭӟc ÿӇEiPWKHRYjJҳSYұWFKX\ӇQÿӝQJ

3.3.1 3KѭѫQJSKiSNLӇPWUDNKҧQăQJWLӃSFұQFӫDWѭWKӃJҳSPөFWLrX

7URQJÿӅ tài nghiên cӭu luұQYăQKӋ thӕQJÿLӅu khiӇn robot phҧi thӵc hiӋn gҳp vұt chuyӇn vӟi vұt thӇ mөc tiêu bҳWÿҫu tӯ bên ngoài vùng làm viӋc cӫDURERWĈӇ có thӇ thӵc hiӋn gҳp mөc tiêu vӟi mӝt quӻ ÿҥo tӕLѭXWKHRWKӡi gian, mӝt bӝ ÿLӅu khiӇn hai Eѭӟc cho hӋ thӕQJURERWÿѭӧc thiӃt kӃ4XDÿy URERWVӁÿѭӧFÿLӅXNKLӇQWLӃQÿӃQJҳS YұWNKLWѭWKӃJҳSPөFWLrXFyWKӇÿѭӧFWLӃSFұQEӣLFiQKWD\Pi\1JѭӧFOҥLURERW VӁÿѭӧFWKӵFKLӋQÿLӅXNKLӇQEiPWKHRYұWFKX\ӇQÿӝQJ

7KD\YuWKӵFKLӋQWRjQEӝSKѭѫQJSKiSÿӝQJKӑFQJKӏFKURERWÿӇNLӇPWUDNKҧ QăQJWLӃSFұQFӫDWѭWKӃJҳSYұWPөFWLrXT grasp robot (cӫa mӝt trong hai bӝ hoҥFKÿӏQKWѭ thӃ gҳp), luұQYăQÿӅ xuҩWSKѭѫQJSKiSVRViQKYӏ trí cә tay cӫa robot tҥi WѭWKӃ gҳp mөc tiêu vӟLÿѭӡng ranh giӟi cӫa hӋ thӕng robot thӵc tӃ ѬXÿLӇm cӫDSKѭѫQJSKiSQj\OjWK{QJWLQJLӟi hҥn thӵc tӃ cӫDP{LWUѭӡng xung quanh robot có thӇ ÿѭӧc kӃt hӧSWURQJNKLÿyFiFJLiWUӏ góc giҧi ra tӯ SKѭѫQJ SKiSÿӝng hӑc nghӏch không thӇ áp dөng thông tin này Mһt khác, viӋc kiӇm tra vӏ trí cә tay mөc tiêu vӟi vùng làm viӋc trong hӋ trөc 3 chiӅu tiêu tӕn nhiӅu thӡi gian và WjLQJX\rQFKѭѫQJWUuQK'RÿySKѭѫQJSKiSVӁ thӵc hiӋn xây dӵng thông tin vùng làm viӋc giӟi hҥn cӫa robot trên mӝt mһt phҷQJ'6DXÿyYӏ trí cә tay mөc tiêu trong 3D sӁ ÿѭӧc chuyӇn vӅ mһt phҷQJQj\ÿӇ thӵc hiӋn viӋc kiӇm tra ĈҫXWLrQÿһt d 6 0 cùng vӟi các góc T T T T 1 4 5 6 0 0 , ta thӵc hiӋn công thӭFÿӝng hӑc thuұn robot theo vòng lһp vӟi ^T T2, 3 ` tӯ các giá trӏ giӟi hҥn vұt lý cӵc tiӇXÿӃn cӵFÿҥi cӫa chúng KӃt quҧ WKXÿѭӧc là các vӏ trí cә tay robot trên mһt phҷng (x-z) theo hӋ robot Vӟi thông tin giӟi hҥn thӵc tӃ ÿѭӧFÿRÿҥFFiFÿLӇm vӏ trí 2D Qj\ÿѭӧc lӑc bӟWYjWDWKXÿѭӧFÿѭӡng giӟi hҥn vùng làm viӋc robot trên mһt phҷng (x-]QKѭKuQKVDX ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Hình 3.3 Vùng giͣi h̩n làm vi c cͯa robot trên m̿t ph̻ng x-z

Vӟi thông tin vùng giӟi hҥQÿѭӧFOѭXWUӳ vào trong mӝt tұp dӳ liӋXSKѭѫQJ pháp tính vӏ trí cә tay robot tҥLWѭWKӃ gҳp mөc tiêu theo sau:

T T robot robot robot robot robot robot check êơx check y check z check ºẳ grasp d R grasp t t (3.17)

WURQJÿyt robot check là vӏ trí cә tay robot tҥLWѭWKӃ gҳp mөc tiêu vӟi x check robot , y check robot và robot check z là các giá trӏ vӏ WUt'WѭѫQJӭng Vӏ trí cә WD\ÿѭӧc chuyӇn vӅ mһt phҷng (x- z) cӫa hӋ robot thông qua phép nhân ma trұn xoay trөF]QKѭVDX atan2(y check robot ,x check robot )

M M ê º ô ằ ô ằ ô ằ ơ ẳ t t (3.19) vӟi t robot x z check , là vӏ trí cә WD\ÿѭӧc chuyӇn vӅ mһt phҷng (x-z) cӫa hӋ robot, M là giá trӏ JyFWtQKÿѭӧc thông qua công thӭc atan2 NӃXÿLӇm t robot x z check , nҵm trong vùng ranh giӟi 2D cӫa Hình 3.3WKuWѭWKӃ gҳp mөFWLrXÿѭӧF[iFÿӏnh có thӇ tiӃp cұQÿѭӧc bӣi hӋ thӕng robot Tӯ ÿyEӝ ÿLӅu khiӇn sӁ chuyӇQVDQJEѭӟc thӭ KDLÿӇ ÿLӅu khiӇn tay gҳp robot tiӃQÿӃQWѭWKӃ gҳp vұt mөc tiêu ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Để robot tuân theo vật thể, một tay robot cần có nhiệm vụ là bắt theo vật thể này Việc áp dụng điều khiển tay robot bằng lực có 2 nguyên nhân chính: Nguyên nhân thứ nhất là do sự nhiễu loạn có thể làm lệch hướng robot ra khỏi vùng làm việc của nó Nguyên nhân thứ hai là khi áp dụng điều khiển bằng lực, tay cầm robot sẽ bị biến dạng theo góc và tốc độ mục tiêu, cho phép hệ thống sau đó điều khiển tay cầm robot theo Descartes (nguyên lý bình phương nhỏ nhất) để đạt được mục tiêu Tuy nhiên, nếu sai số lực tác động vào tay cầm robot quá lớn sẽ khiến hệ thống điều khiển tay cầm robot thực hiện theo quỹ đạo cung, dẫn đến việc robot có thể va chạm vào vật cản khi thực hiện bắt vật Kết quả đầu tiên của việc điều khiển tay robot là khiến cho tay robot bám theo (có nghĩa là đuổi theo) vật thể Sai số lực tác động lên tay robot được giới hạn trong một ngưỡng nhất định, vì hệ thống robot sẽ thực hiện bắt vật theo quỹ đạo cung nếu sai số quá lớn.

%ѭӟc thӭ nhҩt này thӵc hiӋQÿLӅu khiӇn 3 gyc cuӕi cӫa cánh tay máy Do vұy, tay gҳp sӁ ÿѭӧFÿLӅu khiӇQ[RD\TXDQKWkPÿLӇm cә WD\ÿӇ Kѭӟng vӅ mөc tiêu chuyӇn ÿӝng Ta thӵc hiӋn tҥo ra mӝWWѭWKӃ mөc tiêu mӟi gӑi là T tracking robot FKREѭӟFÿLӅu khiӇn thӭ nhҩWQj\7KHRYHFWѫFKӍ SKѭѫQJd object center nӕi giӳDWkPÿLӇm cә tay và vӏ trí vұt thӇ, vӏ WUtWѭWKӃ mөc tiêu t tracking robot cӫDEѭӟFÿLӅu khiӇn này là:

6 robot robot object tracking center center d t t d (3.20)

7ѭѫQJWӵ QKѭFic công thӭc (3.10-EѭӟFÿLӅu khiӇn thӵc hiӋn xây dӵng ma trұn xoay R tracking robot theo d object center YjYHFWѫWUөc chiӅu dài cӫa vұt thӇ x robot object Công thӭc tính các thành phҫQYHFWѫFӫa ma trұn xoay cӫa R tracking robot ÿѭӧc thӇ hiӋQQKѭVDX robot object object tracking center center z d d (3.21) ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 25 if 0 otherwise robot robot robot robot tracking object tracking object robot tracking robot robot tracking object u u z ®° °¯ u z x z x y z y

(3.22) robot robot robot tracking tracking u tracking x y z (3.23)

7LӃSÿӃQWӯ cic gii trӏ gyFFӫDNKӟSÿҫXWLrQWKXWKұSÿѭӧc tӯ ttn hiӋu phҧn hӗi), ma trұn T 3 0 ÿѭӧFWtQKEҵQJSKѭѫQJWUuQKÿӝng hӑc thuұn robot:

Chӑn ș d ơêT 1, d T 6, d ºẳ T là giỏ trӏ gúc mong muӕQ%ѭӟFÿLӅu khiӇn thӭ nhҩt thӵc hiӋQWtQKÿѭӧc các giá trӏ góc mong muӕn cӫa 3 góc cuӕi cùng dӵDWUrQSKѭѫQJ SKiSÿӝng hӑc nghӏch ma trұn vӟi ma trұn xoay mөc tiêu mӟi R tracking robot :

'ӵDWKHRÿӏnh dҥng ma trұn DH, ta mӣ rӝng vӃ trii cӫDSKѭѫQJWUuQK

WURQJ ÿy, c i cos(T i d , ), s i sin(T i d , ) TiӃS WKHR WD TX\ ÿӏnh vӃ phҧi cӫa (3.26) theo:

.KLÿyWURQJWUѭӡng hӧp r 33 z0, 3 giá trӏ góc cuӕi mong muӕQFKREѭӟFÿLӅu khiӇQÿѭӧc tính theo công thӭc sau: ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

1Jѭӧc lҥL WUѭӡng hӧp r 33 0 T5, d 90 0 WѭѫQJ ӭng vӟi viӋF URERW ÿDQJ ӣ trong cҩu hình singularity, thì góc T 4,d ÿѭӧc chӑn cӕ ÿӏnh mӝt giá trӏ và T 6,d ÿѭӧc tính là

4X\ÿӏnh ș com ơêT 1, com T 6, com ºẳ T Oj YHFWѫ JLi WUӏ JyF ÿLӅu khiӇn hӋ thӕng robot HӋ thӕng robot thӵc tӃ nhұn tín hiӋXÿLӅu khiӇQWKHRÿӏnh dҥng phát giá trӏ góc trӵc tiӃp (point streaming) Cho nên, bӝ ÿLӅu khiӇn cҫn tính ra cic gii trӏ gyFÿLӅu khiӇn robot cho hӋ thӕng thӵc tӃ Các giá trӏ ÿLӅu khiӇn cӫDEѭӟc thӭ nhҩt có dҥng:

' °¯ (3.32) vӟi k 0 là thông sӕ ÿLӅu khiӇn và 't là thӡi gian lҩy mүu cӫa bӝ ÿLӅu khiӇn

Hình 3.47˱WK͇ mͭc tiêu cͯDE˱ͣFÿL͉u khi͋n thͱc nh̭t ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Theo hình 3.4 thể hiện kết quả đo độ chính xác khi robot bám theo mục tiêu Hình cho thấy độ chính xác cao nhất khi robot duy trì khoảng cách 6mm giữa tâm máy và tâm vật thể Khi robot tiếp cận mục tiêu mong muốn, tay gắp nâng dần tâm của vật thể.

.KLWѭWKӃJҳSPөFWLrXT grasp robot nҵm trong vùng làm viӋc cӫDFiQKWD\Pi\Eѭӟc thӭ KDLÿѭӧc thӵc hiӋQÿӇ ÿLӅu khiӇn robot dӵa trên kӻ thuұt PBVS 7KHROêWKX\ӃWÿLӅX NKLӇQ96>@± >@PөFWLrXFӫD3%96OjÿѭDPDWUұQVDLVӕT grasp gripper (tӯ hӋ tӑDÿӝ Wѭ thӃ gҳp mөc tiêu sang hӋ tӑDÿӝ tay gҳp) vӅ lҥi ma trұQÿѫQYӏ I 4 4 u Ma trұn sai sӕ ÿѭӧFWtQKQKѭVDX

0 1 gripper gripper gripper gripper gripper robot robot grasp grasp grasp grasp grasp gripper grasp

(3.33) vӟi t gripper grasp OjYHFWѫVDLVӕ khoҧng cách và k gripper grasp , T grasp gripper là sai sӕ góc xoay theo ÿӏnh dҥng Axis/Angle cӫa ma trұn góc xoay R grasp gripper Tӯ ÿyFiFYұQWӕFWD\JҳSPRQJ PXӕQÿӇWULӋWWLrXVDLVӕÿѭӧFWKLӃWOұSQKѭVDX

1 2 gripper gripper gripper grasp grasp gripper gripper gripper grasp gripper grasp k k

WURQJÿy v gripper và Ȧ gripper là vұn tӕc tӏnh tiӃn và vұn tӕc góc mong muӕn cӫa tay gҳp Mһt khác, KDLWK{QJVӕ k 1 và k 2 OjFiFWK{QJVӕÿLӅXNKLӇQFӫDOXұW3%96WiFÿӝng ÿӃn tӯng phҫn tín hiӋu sai sӕ (góc xoay và khoҧng cách) 7URQJF{QJWKӭFFiFWtQKLӋXYұQWӕFPRQJPXӕQÿѭӧFWtQKWRiQWURQJKӋWUөFWӑDÿӝFӫDWD\JҳSURERW9uWKӃFiFYұQWӕFQj\FҫQÿѭӧFFKX\ӇQÿәLYӅKӋWUөFWӑDÿӝURERW ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 28 robot robot gripper gripper robot robot robot gripper gripper gripper gripper

7tQK әQ ÿӏQK FӫD Eӝ ÿLӅX NKLӇQ ÿѭӧF FKӭQJ PLQK WURQJ >@ 6DX ÿy, ta cҫn chuyӇQÿәLFiFYHFWѫYұn tӕc robot trờn thjQKYHFWѫYұn tӕc gyc ș d ơêT 1, d T 6, d ºẳ T WKHRF{QJWKӭFVDX

J JJ k I ê º ô ằ ơ ẳ ș v Ȧ (3.36) vӟi J lj ma trұn Jacobian cӫa hӋ thӕng robot và k 3 là mӝt thông sӕ FKRWUѭӟc

Cuӕi cng, cic gii trӏ gyFÿLӅu khiӇn robot cӫDEѭӟFÿLӅu khiӇn thӭ hai là:

3.3.4 3KѭѫQJSKip áp dөQJWK{QJWLQEjQWD\QJѭӡi vào bӝ hoҥFKÿӏnh:

Trong giҧ ÿӏnh tӯ phҫn 1.3, bàn tay cҫm vұWÿѭӧc giҧ ÿӏQKNK{QJÿәi trong suӕt quá trình thӵc hiӋn di chuyӇn mөc WLrX7ѭWKӃ EjQWD\ÿmÿѭӧFѭӟFOѭӧng tӯ phҫn 2.3, và ÿѭӧc tích hӧp vào trong hӋ thӕQJ96ÿӇ thӵc hiӋn gҳp vұWWUrQWD\QJѭӡi Dӵa theo kiӇu tay cҫm vұWWD[iFÿӏnh vùng vұt thӇ không bӏ bàn tay che khuҩt là vùng an toàn mà tay gҳp có thӇ tiӃp cұQÿѭӧc Tӯ ÿyWDWKӵc hiӋn chӑn mӝWWѭWKӃ giҧ ÿӏnh mӟi trên vұt thӇ nҵm trong vùng an toàn

Hình 3.5 4 ki͋Xÿ͓nh d̩ng tay c̯m v̵t trong lu̵QYăQ7ͳ trái sang ph̫i: tay n̷m ngang v̵t (I), tay n̷m ngang v̵t (II), tay c̯PG˱ͣi v̵t và tay c̯m trên v̵t

HӋ thӕng thӵc nghiӋm thӵc tӃ

+ӋWKӕQJWKӵFQJKLӋPWKӵFWӃEDRJӗPPӝWURERW0RWR0LQLEұc FӫD 0.46 0.085 0.1 @ T robot object t (m), cho thҩy vұt thӇ ÿm Qҵm trong vùng làm viӋc cӫa robot Ngoài ra vұt thӇ VDXÿyKҫXQKѭNK{QJFKX\ӇQÿӝng Vӟi bӝ hoҥFKÿӏnh thӭ nhҩWWѭWKӃ gҳp mөFWLrXÿѭӧc tính toán trӵc tiӃp và liên tөc trong suӕt quá trình thӵc nghiӋP'RÿyWѭWKӃ gҳp không cӕ ÿӏnh trong hӋ trөc tӑDÿӝ vұt thӇ, gây ҧQKKѭӣng ÿӃn viӋc kiӇm tra khҧ QăQJWLӃp cұn cӫDWѭWKӃ mөFWLrXĈLӅu này khiӃn cho hӋ thӕng ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

VS bӏ trӉ khi chuyӇQVDQJEѭӟFÿLӅu khiӇn gҳp vұt Trong hӋ thӕng thӵc tӃ trên, tҫn sӕ cұp nhұt cӫa bӝ ÿLӅu khiӇn robot là 20Hz.

Vӟi bӝ hoҥFKÿӏnh thӭ hai

4.4.2.1 ͇WTX̫WUrQK WK͙QJP{SK͗QJ

Trong phҫn sau, luұQYăQWLӃn hành thӵc hiӋQÿLӅu khiӇn gҳp vұt chuyӇQÿӝng vӟi bӝ hoҥFKÿӏnh nâng cao thӭ KDL7Uѭӟc tiên, thuұWWRiQÿѭӧc kiӇm chӭng trong hӋ thӕng robot mô phӓng vӟLWѭWKӃ tay cҫm vұt theo Hình 3.57ѭѫQJWӵ QKѭSKҫQWUѭӟc, tay QJѭӡi sӁ thӵc hiӋn di chuyӇQÿӗ vұt tiӃn vӅ cánh tay máy Thӵc nghiӋPÿѭӧc kӃt thúc khi robot gҳSÿѭӧc vұt thӇ WUrQWD\QJѭӡL7UѭӟFÿyPӝt tұp dӳ liӋXWѭWKӃ gҳp cho vұt thӇ ÿѭӧc xây dӵng ngoҥi tuyӃn bҵQJSKѭѫQJSKiS/R&R0R

Hình 4.12 K͇t qu̫ thu th̵Sÿ˱ͫc cͯa các th͹c nghi m mô ph͗ng Theo thͱ t͹ c͡t TX\ÿ͓nh 4 thí nghi m mô ph͗ng vͣi cͯa 4 ki͋u tay c̯m v̵t, theo thͱ t͹ hàng quy ÿ͓nh quá trình th͹c hi n thí nghi m

Hình 4.12 cho thҩy kӃt quҧ mô phӓng cho hӋ thӕng VS bám theo và gҳp vұt chuyӇQÿӝng vӟi bӝ hoҥFKÿӏnh thӭ hai Theo cӝt dӑc tӯ trái sang phҧi, hình trên mô tҧ các thí nghiӋPÿѭӧc thӵc hiӋQWѭѫQJӭng vӟi bӕn kiӇu tay cҫm vұWÿmTX\ÿӏnh ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

(tay nҳm ngang vұt (I), tay nҳm ngang vұt (II), tay nҳm vұWSKtDGѭӟi và tay nҳm vұt phía trên) Theo thӭ tӵ hàng ngang tӯ trên xuӕQJGѭӟi, hình trình bày quá trình thӵc hiӋn thí nghiӋm gҳp vұWQKѭWUѭӟFÿyEѭӟc nhұn dҥQJEѭӟFEiPWKHRYjEѭӟc gҳp vұt) Tӯ kӃt quҧ hình ҧnh, hӋ thӕQJURERWÿѭӧFÿLӅu khiӇn bám theo và gҳp vұt thӇ WKjQKF{QJÿӕi vӟi cҧ WUѭӡng hӧp tay cҫm vұW7KHRQKѭFӝt thӭ nhҩt trong hình ӭng vӟi kiӇu tay nҳm ngang vұW,KjQJÿҫu tiên cho thҩy hӋ thӕng camera bҳWÿҫu nhұn dҥQJYjѭӟFOѭӧQJWѭWKӃ vұt thӇ Không chӍ vұ\Wѭ WKӃ EjQ WD\QJѭӡLFNJQJ ÿѭӧF[iFÿӏnh nҵPSKtDGѭӟi tâm cӫa vұt Cho nên mӝt hӋ tӑDÿӝ vұt thӇ ³PӟL´ӣ trên tâm cӫa vұWÿѭӧc chӑQÿӇ ÿѭDYjREӝ ÿLӅu khiӇn robot DӵDYjRWѭWKӃ vұt thӇ giҧ ÿӏnh mӟi này, thuұt toán tìm kiӃPÿLӇm thuұt lӧi chӑQUDWѭWKӃ gҳp mөc tiêu thuұn lӧi nhҩt Theo hàng tiӃp theo cӫa cӝt thӭ nhҩWURERWÿѭӧFÿLӅu khiӇn bám theo vұt thӇ (theo WѭWKӃ vұt thӇ mӟi nҵm trên tâm vұt) bҵQJEѭӟFÿLӅu khiӇn thӭ nhҩt Theo hình kӃt quҧ tҥi hàng cuӕi, robot thӵc hiӋn gҳp vұt thӇ vӟLWѭWKӃ gҳp vұt thuұn lӧi (phía trên tâm vұt thӇ) so vӟL EjQ WD\ QJѭӡL 7ѭѫQJ Wӵ, các kӃt quҧ cӫa 3 lҫn thí nghiӋm còn lҥi cho thҩy robot gҳp vұt tҥi các vùng phù hӧp dӵa trên kiӇu tay cҫm vұt

Hình 4.13 QuͿ ÿ̩o thu th̵Sÿ˱ͫc cͯa thí nghi m tay c̯m ngang v̵t (I)

Hình 4.13 trình bày kết quả thử nghiệm theo cách tiếp cận nhất định trong Hình 4.12 Quá trình của vật thể được biểu diễn trong hình theo hành động vật thể được điều khiển bám theo và gặp vật chuyển động sử dụng kỹ thuật thu nhận thị giác (Visual Servoing).

/X̵QYăQWK̩FVƭ Trang 43 ѭӟFOѭӧng trong hӋ thӕng camera, không phҧi hӋ tӑDÿӝ vұt thӇ ³PӟL´ÿѭӧc áp dөng cho bӝ ÿLӅu khiӇQ7ѭѫQJWӵ QKѭHình 4.10, các quӻ ÿҥRFNJQJÿѭӧFÿiQKGҩXÿӇ mô tҧ quỏ trỡnh thӵc hiӋn CһSÿLӇm (1, ả) cho thҩ\WѭWKӃ EDQÿҫu cӫa vұt thӇ FNJQJQKѭ cӫa tay gҳSURERWĈLӇm 5 WѭӧQJWUѭQJFKRYӏ WUtѭӟFOѭӧng cӫa tay cҫm vұt cho thҩy bàn tay nҵPSKtDGѭӟi tâm vұt thӇ WѭѫQJӭng vӟi kiӇu tay nҳm ngang vұW,'Rÿy mӝWÿLӇm ӣ phía trên tâm vұt thӇ ÿѭӧF[iFÿӏnh là hӋ tӑDÿӝ vұt thӇ mӟi TiӃp theo, cһSÿLӇm (2, ảWѭѫQJӭng vӟLTXiWUuQKÿLӅu khiӇn bỏm theo vұt thӇ cӫDURERWNKLWѭ thӃ gҳp mөc tiờu vүn nҵm ngoài tҫm vӟi cӫa cỏnh tay+DLÿLӇm 3 và ả cho thҩy thӡi ÿLӇm bӝ ÿLӅu khiӇn chuyӇQVDQJEѭӟc thӭ hai PBVS khi robot có thӇ tiӃp cұQWѭWKӃ mөc tiêu Tuy nhiên, ngay tҥLÿLӇm 4, vұt thӇ mөFWLrXÿѭӧc gҳp bӣi robot vӟi vӏ trí gҳp nҵm phớa trờn tõm vұt thӇ WѭѫQJӭng vӟLÿLӇm 4ảĈӗng thӡi, quӻ ÿҥo robot tӯ ÿLӇm ả ÿӃQÿLӇm ả ÿLWKHRTXӻ ÿҥo tӕLѭXFӫa luұWÿLӅu khiӇn PBVS

Hình 4.14 a) Giá tr͓ góc, b) V͓ trí v̵t th͋ cͯa th͹c nghi m theo hình 4.13

Hình 4.14a mô tҧ các giá trӏ JyFWKXÿѭӧc trong thí nghiӋm mô phӓng cӫa Hình 4.13%ѭӟFÿLӅu khiӇQÿҫu tiên bám theo vұt thӇ ÿѭӧc cho 3 khӟp cuӕi cӫDURERWÿѭӧc diӉn ra trong 11.68 giây ÿҫu tiên cӫa quá trình thí nghiӋP6DXÿyEѭӟFÿLӅu khiӇn 3%96ÿѭӧc thӵc hiӋQÿӇ gҳp vұWWUrQWD\QJѭӡi tӟi thӡLÿLӇm kӃt thúc tҥi giây 14.6 7ѭѫQJWӵ, Hình 4.14b trình bày thành phҫn vӏ trí quӻ ÿҥo chuyӇQÿӝng cӫa mөc tiêu trong phҫn thӵc nghiӋm mô phӓng trên ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Mһc dù, các quӻ ÿҥo chuyӇQÿӝng trong các lҫn thӵc nghiӋm mô phӓng khác so vӟi quӻ ÿҥo chuyӇQÿӝng cӫa phҫn 4.4.1 Tuy nhiên, vӏ trí cӫa vұt tҥi thӡLÿLӇm chuyӇQÿәLKDLEѭӟFÿLӅu khiӇn là t robot object > 0.485 0.106 0.139 @ T (m) cӫa lҫn mô phӓng này nҵP[DURERWKѫQVRYӟi kӃt quҧ cӫa lҫn thӵc nghiӋPWUѭӟc PhҫQÿLӅu khiӇn gҳp vұW3%96ÿѭӧc thӵc hiӋn trong 2.92 giây Trong bӝ hoҥFKÿӏnh thӭ nhҩt, WѭWKӃ gҳp mөc tiêu chӍ ÿѭӧF[iFÿӏQKÿѫQWKXҫn trên mһt phҷng gҳSÿѭӧc chӑn Còn ÿӕi vӟi bӝ hoҥFKÿӏnh thӭ hai trong thӵc nghiӋm lҫn này, thuұt toán VP tree nhanh FKyQJWuPUDWѭWKӃ mөc tiêu gҫn nhҩWÿӕi vӟLWѭWKӃ tay gҳp hiӋn tҥi trong mӝt tұp dӳ liӋXWѭWKӃ mөc tiêu lӟn ViӋc sӱ dөng mӝWOѭӧng lӟn dӳ liӋXWѭWKӃ gҳp vұWFKRWUѭӟc giúp ÿҧm bҧRWѭWKӃ tay gҳp hiӋn tҥi luôn có thӇ gҳp vұt vӟLWѭWKӃ mөc tiêu phù hӧp Thuұt toán kiӇm tra trong phҫn 3.3.1 sӁ không bӏ sai sót, dүQÿӃn viӋc chuyӇQÿәi bѭӟFÿLӅu khiӇn PBVS sӁ không bӏ trӉ QKѭSKҫQWUѭӟc

Ngoài ra, viӋc thêm vào mӝt hӋ tӑDÿӝ giҧ ÿӏnh mӟi trên vұt thӇ dӵDWKHRWѭWKӃ EjQWD\QJѭӡLFKREѭӟc thӭ nhҩt cӫa bӝ ÿLӅu khiӇn giúp cho tay gҳSOX{QKѭӟng vӅ phía hӋ tӑDÿӝ mӟi này Tӯ ÿyWKXұt toán tìm kiӃm sӁ QKDQKFKyQJÿѭDUDFiFWѭWKӃ gҳp mөc tiêu nҵPTXDQKÿLӇm này

4.4.2.2 ͇WTX̫WUrQK WK͙QJWK͹FW͇

KӃt quҧ cӫa hӋ thӕng mô phӓng cho thҩy sӵ hiӋu quҧ cӫa bӝ hoҥFKÿӏnh nâng cao cho hӋ thӕng VS gҳp vұt chuyӇQÿӝng Vұy nên, ta thӵc hiӋn lҥi thӵc nghiӋm cho hӋ thӕng thӵc tӃ theo Hình 4.1 vӟi hai kiӇu tay nҳm ngang vұt (I) và (II) LҫQOѭӧt chӑn 0.05 cm

F và 0.05 cm WѭѫQJӭng cho hai kiӇu tay trên cho công thӭFÿӇ WKD\ÿәi hӋ tӑDÿӝ vұt thӇ ³JLҧ ÿӏQK´FKREѭӟFÿLӅu khiӇn I và bӝ hoҥFKÿӏnh II

Hình 4.15 trình bày kết quả của thực nghiệm thực tế của hệ thống VS bám theo và gắp vật, ứng dụng bằng robot có hai kiểu tay cầm vật Trong Hình 4.15a, b và c là kết quả của thực nghiệm với kiểu tay cầm ngang (I), còn 3 Hình 4.15d, e và f thuộc về loại thực nghiệm với kiểu tay cầm ngang vật (II) Chú ý khi bám theo và gắp vật, sử dụng kỹ thuật Visual Servoing.

Hình 4.15 K͇t qu̫ th͹c nghi m th͹c t͇ g̷p v̵t s͵ dͭng b͡ ho̩FKÿ͓nh thͱ hai 3 hình a), b) và c) mô t̫ quá trình th͹c nghi m vͣLW˱WK͇ tay n̷m ngang v̵t (I) 3 hình d), e) và f) mô t̫ k͇t qu̫ cho ki͋u tay n̷m ngang v̵t (II)

Theo Hình 4.15a, vұt thӇ cùng vӟi kiӇXWD\QJѭӡi cҫm vұWÿѭӧF[iFÿӏnh tӯ hình ҧQKFDPHUD'7URQJÿyWѭWKӃ EjQWD\ÿѭӧF[iFÿӏnh nҵPSKtDGѭӟi tâm vұt thӇ

Vì vұy, mӝt hӋ tӑDÿӝ ³PӟL´ӣ phía trên tâm vұWÿѭӧc chӑn Trong Hình 4.15b tiӃp theo, tay gҳSÿѭӧFÿLӅu khiӇQKѭӟng vӅ WѭWKӃ vұt thӇ ³PӟL´ÿӇ tҥRÿLӅu kiӋQOêWѭӣng FKREѭӟFÿLӅu khiӇn gҳp vұWFNJQJQKѭWKXұt toán tìm kiӃm Sau cùng, hӋ thӕng robot thӵc tӃ thӵc hiӋn gҳp vұt thӇ thành công vӟi vӏ trí gҳp nҵm phía trên tâm cӫa vұt thӇ và nҵm trong khoҧQJFiFKDQWRjQÿӕi vӟi vӏ WUtWD\QJѭӡi theo Hình 4.15F7ѭѫQJWӵ, kӃt quҧ cӫa thí nghiӋm thӵc tӃ tay nҳm ngang vұW,,FNJQJFKRWKҩy hӋ thӕng robot gҳp vұt thành công vӟLWѭWKӃ tay gҳp nҵPSKtDGѭӟi tâm vұt

Hình 4.16 sau cho thҩy các quӻ ÿҥo chuyӇQÿӝng cӫa tay gҳp và cӫa vұt thӇ ÿӕi vӟi thӵc nghiӋm thӵc tӃ sӱ dөng kiӇu tay nҳm ngang vұW,7ѭѫQJWӵ QKѭHình 4.13, ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

/X̵QYăQWK̩FVƭ Trang 46 các vӏ trí trên quӻ ÿҥRÿѭӧFÿiQKGҩXÿӇ mô tҧ quá trình thí nghiӋm Các cһSÿLӇm vӏ trớ trờn hai quӻ ÿҥo (1, ả), (2, ả) và (3, ả) trong hỡnh lҫQOѭӧWWѭѫQJӭng vӟi cỏc Eѭӟc nhұn dҥQJEDQÿҫXEѭӟFÿLӅu khiӇQEiPWKHRYjEѭӟc chuyӇQÿәi sang luұt ÿLӅu khiӇn PBVS cӫa hӋ thӕQJÿLӅu khiӇQURERWĈӗng thӡLWѭWKӃ EjQWD\ÿѭӧFѭӟc Oѭӧng nҵPSKtDGѭӟi tõm vұt thӇ WKHRÿLӇm 5 MһWNKiFÿLӇm ả cho thҩ\WѭWKӃ tay gҳp khi thӵc hiӋn gҳp mөc tiêu nҵm trên tâm vұt thӇ ÿLӇm 47URQJEѭӟFÿLӅu khiӇn thӭ hai tӯ ÿLӇm ả tӟLÿLӇm ả, kӻ thuұt PBVS vүQÿҧm bҧo thӵc hiӋn mӝt quӻ ÿҥo tӕLѭXFKRWD\Jҳp tiӃQÿӃQWѭWKӃ mөc tiêu

Hình 4.16 QuͿ ÿ̩o thu th̵p trong th͹c nghi m th͹c t͇ vͣi ki͋u tay I

Nhӳng kӃt quҧ ÿҥWÿѭӧc

Tӯ nhӳng kӃt quҧ ÿmWUuQKEj\ӣ FiFFKѭѫQJWUѭӟc, ta có thӇ thҩy luұQYăQÿmQJKLrQ cӭu và xây dӵng mӝt hӋ thӕQJYLVXDOVHUYRLQJÿӇ bám theo và gҳp vұt chuyӇQÿӝng trong không gian

Mô hình BFO-QJW là kỹ thuật mới sử dụng hình ảnh RGB-D để tái tạo hình người chính xác và nhanh chóng Nhờ phương pháp tối ưu hóa độ biến dạng hình ảnh RoI Align, mô hình hiển thị bố trí cơ thể chính xác với hiệu suất cao, đạt 99,63% trong các thử nghiệm ban đầu, mở ra khả năng áp dụng rộng rãi trong các ứng dụng trí tuệ nhân tạo.

TӯQJEѭӟc cӫa bӝ ÿLӅu khiӇQKDLEѭӟc thӵc hiӋQÿ~QJYӟi dӵ ÿӏnh thiӃt kӃ ban ÿҫX%ѭӟc thӭ nhҩt giúp cho tay gҳSURERWOX{QKѭӟng vӅ hӋ tӑDÿӝ vұt thӇÿLӅu này tҥRÿLӅu kiӋQFKREѭӟc thӭ KDL3%96ÿLӅu khiӇn robot tiӃQÿӃn gҳp vұt vӟi quӻ ÿҥo tӕLѭX'HVFUDWHV&iFNӃt quҧ thӵc nghiӋm cho thҩ\Eѭӟc PBVS giúp robot thӵc hiӋn gҳp vұt mӝt cách nhanh chóng

Ứng dụng các kết quả áp dụng cho cả hai loại robot đều cho thấy rằng robot luôn thực hiện ghép vật thể an toàn bằng bàn tay chuyển động trong khi ghép vật đó là trọng tâm Áp dụng cho việc ghép vật chuyển động trên băng chuyền, loại robot KDLFNJQJFKRSKpSWtFKKӧSWKrPWK{QJWLQP{LWUѭӡng (viết tắt: LEaRoPa) này cho phép hệ thống VS thực hiện ghép vật chuyển động trên băng chuyền với tốc độ thấp (2.3 cm/s) và trung bình (2.93 cm/s).

Nhӳng hҥn chӃ còn tӗn tҥi

Mһc dù luұQYăQÿmWKӵc hiӋQÿѭӧc các nhiӋm vө ÿӅ UDEDQÿҫu, QKѭQJYүn còn mӝt sӕ hҥn chӃ trong hӋ thӕng ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

- HӋ thӕng chӍ mӟi nghiên cӭXFKRÿӕLWѭӧng khӕi hӝp chӳ nhұt

- HӋ thӕQJÿѭӧc nghiên cӭu dӯng lҥi ӣ Eѭӟc gҳSÿѭӧc vұt thӇ&iFEѭӟc tiӃp theo khi vұt thӇ ÿѭӧFURERWWKDRWiFVDXFKѭDÿѭӧc tính tӟi

- HӋ thӕng có giҧ ÿӏQKWѭWKӃ EjQWD\ÿѭӧc giӳ nguyên trong quá trình thӵc hiӋn thí nghiӋm NӃXEjQWD\WKD\ÿәi cách cҫm vұt trong quá trình thao tác thì hӋ thӕQJÿLӅu khiӇn gҳp vұt sӁ bӏ lӛi

- ThӡLJLDQÿiSӭng cӫDEѭӟFÿLӅu khiӇn thӭ nhҩt còn chұm, có thӇ gây ra vӑt lӕ lӟQFKREѭӟFÿLӅu khiӇn PBVS

Tӯ nhӳng hҥn chӃ vӯa nêu, có nhӳQJKѭӟng phát triӇQFKRÿӅ WjLQKѭVDX

- Nghiên cӭu sӱ dөQJFiFSKѭѫQJSKiSNKiFÿӇ thӵc hiӋQѭӟFOѭӧQJWѭWKӃ bàn tay liên tөc trong hình

- Nghiên cӭu cách nhұn dҥQJYjѭӟFOѭӧQJWѭWKӃ cӫa các vұt thӇ phӭc tҥp, tӯ ÿy nâng cao khҧ QăQJJҳSÿѭӧc các vұt thӇ này cӫa hӋ thӕng robot

- Cҧi thiӋQEѭӟFÿLӅu khiӇn thӭ nhҩt bҵng mӝWSKѭѫQJSKiSÿLӅu khiӇn nâng cao ÿӇ WăQJWKӡLJLDQÿiSӭng ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

DANH MӨC CÁC CÔNG TRÌNH KHOA HӐC

1 T H -D Nguyen,X -K Ngo, V -H Nguyen, ³Application of Visual Servo in Tracking and Grasping Moving Target´ in the 6 th Vietnam International Conference and Exhibition on Control and Automation VCCA 2021, Ho Chi Minh City, Vietnam, 2021, to be published ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

[1] C Müller, "IFR World Robotics 2020 Service Robots Report Presentation," IFR ± Internal Federation of Robotics, September 2020 [Online] Available: https://ifr.org/downloads/press2018/Presentation_WR_2020.pdf [Accessed 14 April 2021]

[2] V Ortenzi, A Cosgun, T Pardi, W P Chan, E Croft and K Dana, "Object Handovers: A Review for Robotics," IEEE Transactions on Robotics, vol 37, no 6, pp 1855-1873, 2021

The research by Flandin, Chaumette, and Marchand presented in the 2000 ICRA Millennium Conference explores the collaborative relationship between eye-in-hand and eye-to-hand systems for visual servoing.

[4] F Chaumette and S Hutchinson, "Visual servo control I Basic approaches,"

IEEE Robotics & Automation Magazine, vol 13, no 4, pp 82-90, Dec 2006

[5] F Chaumette and S Hutchinson, "Visual servo control II Advanced approaches [Tutorial]," IEEE Robotics & Automation Magazine, vol 14, no 1, pp 109-118, March 2007

[6] S Hutchinson, G D Hager and P Corke, "A tutorial on visual servo control,"

IEEE Transactions on Robotics and Automation, vol 12, no 5, pp 651-670,

[7] R Herrejon, K Hashimoto and S Kagami, "Position Based Visual Servoing for Catching a 3-D Flying Object Using RLS Trajectory Estimation from a Monocular Image Sequence," in 2009 IEEE International Conference on Robotics and Biomimetics (ROBIO), Guilin, China, Dec 2009

[8] B Larouche and Z H Zhu, "Position-based visual servoing in robotic capture of moving target enhanced by Kalman filter," International Journal of Robotics and Automation, vol 30, no 3, pp 267-277, June 2015

[9] G Dong and Z H Zhu, "Autonomous robotic capture of non-cooperative target by adaptive extended Kalman filter based visual servo," Acta Astronautica, vol

122, pp 209-218, May 2016 ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

[10] F Husain, A Colomé, B Dellen, G Alenyà and C Torras, "Realtime tracking and grasping of a moving object from range video," in 2014 IEEE International

Conference on Robotics and Automation (ICRA), Hong Kong, China, June

[11] C d Farias, M Adjigble, B Tamadazte, R Stolkin and N Marturi, "Dual Quaternion-Based Visual Servoing for Grasping Moving Objects," in 2021 IEEE 17th International Conference on Automation Science and Engineering (CASE), Lyon, France, Aug 2021

[12] M Adjigble, N Marturi, V Ortenzi, V Rajasekaran, P Corke and R Stolkin,

"Model-free and learning-free grasping by Local Contact Moment matching," in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems

[13] H Cuevas-Velasquez, N Li, R Tylecek, M Saval-Calvo and R B Fisher,

"Hybrid Multi-camera Visual Servoing to Moving Target," in 2018 IEEE/RSJ

International Conference on Intelligent Robots and Systems (IROS), Madrid,

[14] S Trinh, F Spindler, E Marchand and F Chaumette, "A modular framework for model-based visual tracking using edge, texture and depth features," in 2018

IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),

[15] D G Lowe , "Distinctive Image Features from Scale-Invariant Keypoints,"

International Journal of Computer Vision, vol 60, pp 91-110, 2004

[16] D Simon, "Nonlinear Kalman filtering," in Optimal State Estimation: Kalman,

+DQG1RQOLQHDU$SSURDFKHV, Hoboken, New Jersey, USA: John Wiley &

[17] H Ha, F Rameau and I S Kweon, "6-DOF Direct Homography Tracking with Extended Kalman Filter," in PSIVT 2015: Image and Video Technology,

[18] D Dahmani, M Cheref and S Larabi, "Zero-sum game theory model for segmenting skin regions," Image and Vision Computing, vol 99, 2020

[19] R B Rusu and S Cousins, "3D is here: Point Cloud Library (PCL)," in 2011 IEEE International Conference on Robotics and Automation, Shanghai, China,

2011 ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

[20] M W Spong, S Hutchinson and M Vidyasagar, Robot Modeling and Control, Hoboken, New Jersey, USA: Wiley, 2020

[21] U Clarenz, M Rumpf and A Telea, "Robust feature detection and local classification for surfaces based on moment analysis," IEEE Transactions on Visualization and Computer Graphics , vol 10, no 5, pp 516-524, 2004

[22] P N Yianilos, "Data structures and algorithms for nearest neighbor search in general metric spaces," in Proceedings of the fourth annual ACM-SIAM symposium on Discrete algorithms, Austin, Texas, USA, 1993

[23] É Marchand, F Spindler and F Chaumette, "ViSP for visual servoing: a generic software platform with a wide class of robot control skills," IEEE Robotics & Automation Magazine, vol 12, no 4, pp 40-52, Dec 2005

[24] J Wang and E Olson, "AprilTag 2: Efficient and robust fiducial detection," in

2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea, Oct 2016

[25] R Y Tsai and R K Lenz, "A new technique for fully autonomous and efficient 3D robotics hand/eye calibration," IEEE Transactions on Robotics and Automation, vol 5, no 3, pp 345-358, 1989

[26] M Quigley, K Conley, B P Gerkey, J Faust, T Foote, J Leibs, R Wheeler and A Y Ng, "ROS: an open-source Robot Operating System," in Proceedings of the ICRA Workshop on Open Source Software, Kobe, Japan, 2009

[27] N Koenig and A Howard, "Design and use paradigms for Gazebo, an open- source multi-robot simulator," in 2004 IEEE/RSJ International Conference on

Intelligent Robots and Systems (IROS) (IEEE Cat No.04CH37566), Sendai,

Japan, 2004 ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Phҫn phө lөc này mô tҧ cө thӇ cách tính toán ma trұn F 2, k 1 trong công thӭc (2.9) Các YHFWѫTXDWHUQLRQYjYұn tӕc góc cӫa mô hình chuyӇQÿӝng góc xoay tҥi thӡLÿLӇm k lҫQOѭӧWÿѭӧFTX\ÿӏnh là q k ơêq x k , q y k , q z k , q w, k ºẳ T và Ȧ k ơêZ x k , Z y k , Z z k , ºẳ T

Ma trұn F 2, k 1 ÿѭӧFWtQKWRiQQKѭVDX

A ' t E Các thành phҫn cӫa ma trұn M 4 3 u lҫQOѭӧWÿѭӧc xác lұSQKѭVDX

(B.5) ĈL͉u khi͋n bám theo và g̷p v̵t chuy͋Qÿ͡ng s͵ dͭng kͿ thu̵t Visual Servoing

Ngày đăng: 31/07/2024, 10:23

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w