điều khiển bám theo và bắt vật chuyển động trong không gian 3 d sử dụng kỹ thuật stereo vision và visual servoing

TÓM TẮT LUẬN VĂN THẠC SĨ Trong Luận văn trình bày một hệ thống tương tác qua lại giữa con người và robot sử dụng kỹ thuật visual servoing để điều khiển robot Yaskawa Motomini 6 bâ

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

TRẦN MINH KIỆT

ĐIỀU KHIỂN BÁM THEO VÀ BẮT VẬT CHUYỂN ĐỘNG TRONG KHÔNG GIAN 3-D SỬ DỤNG KỸ THUẬT STEREO VISION VÀ VISUAL SERVOING

TRAJECTORY TRACKING AND GRASPING MOVING

TARGET IN 3-D SPACE USING STEREO VISION AND VISUAL SERVOING

Chuyên ngành : Kỹ Thuật Điều Khiển Và Tự Động Hóa

Mã số : 8520216

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 01 năm 2024

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học: TS Nguyễn Vĩnh Hảo

Cán bộ chấm nhận xét 1 : TS Phạm Việt Cường

Cán bộ chấm nhận xét 2 : TS Trần Đức Thiện

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 20 tháng 01 năm 2024

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

1 Chủ tịch: PGS.TS Nguyễn Tấn Lũy

2 Thư ký: TS Nguyễn Hoàng Giáp

3 Phản biện 1: TS Phạm Việt Cường

4 Phản biện 2: TS Trần Đức Thiện (ĐH Sư Phạm Kỹ Thuật TPHCM)

5 Ủy viên: PGS.TS Nguyễn Ngọc Sơn (ĐH Công Nghiệp TPHCM)

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ

LUẬN VĂN THẠC SĨ TRANG I

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ, tên học viên: TRẦN MINH KIỆT MSHV: 2170711

Ngày, tháng, năm sinh: 12/09/1998 Nơi sinh: Tỉnh Bình Định

Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa Mã số: 8520216

I TÊN ĐỀ TÀI:

Điều Khiển Bám Theo Và Bắt Vật Chuyển Động Trong Không Gian 3-D Sử Dụng

Kỹ Thuật Stereo Vision Và Visual Servoing (Trajectory Tracking and Grasping Moving Target In 3-D Space Using Stereo

Vision and Visual Servoing)

II NHIỆM VỤ VÀ NỘI DUNG:

• Nghiên cứu xây dựng bộ phát hiện, ước lượng và dự đoán tư thế vật thể và bàn tay chuyển động trong không gian 3-D từ hình ảnh camera RGB-D

• Nghiên cứu xây dựng bộ điều khiển cho robot ứng dụng kỹ thuật visual servoing để bám theo vật thể và bàn tay đang chuyển động

• Xây dựng một quy trình tương tác gắp-trả giữa con người và Robot

• Thực nghiệm để kiểm tra, đưa ra đánh giá, nhận xét về hệ thống đề xuất

III NGÀY GIAO NHIỆM VỤ: 04/09/2023

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2023

V CÁN BỘ HƯỚNG DẪN: TS Nguyễn Vĩnh Hảo

Tp HCM, ngày 20 tháng 01 năm 2024

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ

LUẬN VĂN THẠC SĨ TRANG II

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời cảm ơn chân thành nhất đến với thầy TS Nguyễn Vĩnh Hảo Thầy đã luôn tận tình hướng dẫn và giúp đỡ em trong suốt quá trình thực hiện luận văn Em cũng xin cảm ơn các thầy, cô giáo đã chỉ bảo trong suốt thời gian học tập tại trường Đại học Bách Khoa Em xin dành lời cảm ơn đặc biệt đến các em và các bạn trong phòng thí nghiệm và thực hành Yaskawa đã hỗ trợ và đồng hành với tôi trong suốt quãng thời gian này Cuối cùng, em xin cảm ơn các thành viên trong gia đình luôn động viên, quan tâm và giúp đỡ tôi Họ là chỗ

dựa tinh thần để em vững tâm hoàn thành luận văn này

TP Hồ Chí Minh, ngày 20 tháng 01 năm 2024

Học viên thực hiện

LUẬN VĂN THẠC SĨ TRANG III

TÓM TẮT LUẬN VĂN THẠC SĨ

Trong Luận văn trình bày một hệ thống tương tác qua lại giữa con người và robot sử dụng kỹ thuật visual servoing để điều khiển robot Yaskawa Motomini 6 bậc tự do thực hiện bám theo hai đối tượng chính đó là vật thể trên tay người và tư thế bàn tay người sau khi đã có vật thể Luận văn có hai mục tiêu, đầu tiên đó là phát hiện và ước lượng tư thế của một vật thể sau đó điều khiển robot gắp một vật chuyển động được di chuyển bởi bàn tay người trong không gian một cách chính xác Tiếp đó, mục tiêu thứ hai đó là một quy trình trả vật vào tay người bắt đầu bằng việc robot sẽ chuyển đối tượng sang tư thế bàn tay người với mục tiêu là giao vật vào bàn tay người và phân tích cử chỉ của các đầu ngón tay để phán đoán là người có đang muốn lấy vật hay không

Đầu tiên, một bộ phát hiện vật thể và tư thế bàn tay người được xây dựng để phát hiện sự hiện diện của vật thể và bàn tay người trong ảnh thu được từ camera Tiếp đó, một bộ ước lượng tư thế và một bộ dự đoán tư thế chuyển động của vật thể hoặc của bàn tay sử dụng bộ lọc Kalman mở rộng được xây dựng với mục đích phát hiện và

xử lý để trích xuất ra thông tin sau cùng là tư thế của vật thể hoặc bàn tay chính xác

Tiếp theo, một quy trình tương tác gắp trả giữa người và robot với cấu trúc

là một bộ điều phối hành động cho robot với sự kết hợp các thông tin phát hiện và các điều kiện môi trường lẫn không gian Bộ điều phối sẽ tiến hành ra quyết định nhanh chóng cho robot bám theo đối tượng mục tiêu là vật thể trên tay người hay là tay người đang trong tư thế chờ và tiếp nhận vật thể Sau khi đã có quyết định thì bộ điều khiển robot sẽ tiến hành bám theo vật thể chuyển động được chỉ định và gắp hoặc trả vật với các điều kiện sai số bám và khoảng cách an toàn có ràng buộc

Kết quả thực nghiệm đưa ra một hiệu suất của toàn bộ hệ thống với thời gian cập nhật của các khâu xử lý được chia ra là khâu phát hiện, khâu ước lượng và dự đoán tư thế và khâu điều khiển robot bám theo đối tượng chuyển động trong không gian ba chiều với tần số cập nhật trung bình của toàn bộ hệ thống là 33Hz

LUẬN VĂN THẠC SĨ TRANG IV

ABSTRACT

In the thesis, a system is presented that illustrates an interactive relationship between humans and a Yaskawa Motomini 6-degree-of-freedom robot, employing visual servoing techniques for robot control The system is designed to track two main objects: objects on the human hand and the hand posture after acquiring an object The thesis has two objectives The first is to detect and estimate the pose of

an object, followed by accurately controlling the robot to grasp a dynamically moving object manipulated by the human hand in three-dimensional space The second objective involves a process of returning the object to the human hand This begins with the robot transitioning the object to the hand posture of the human, aiming to deliver the object into the human hand Additionally, it analyzes finger gestures to infer whether the person intends to retrieve the object

Initially, an object and hand pose detection module is constructed to identify the presence of objects and human hands in images captured by the camera Subsequently, a pose estimation module and a motion pose prediction module for the object or hand, using an extended Kalman filter, are developed to detect and process information accurately regarding the pose of the object or hand Following this, an interaction procedure for grasping and releasing between the human and robot is established It is structured as a motion control coordinator for the robot, combining information from detection and environmental conditions The coordination module rapidly makes decisions for the robot to follow the target object, whether it is an object on the human hand or a hand in a waiting posture, and receive the object After making the decision, the robot control system proceeds to track the specified moving object, grasping or releasing it within constraints on grasping errors and safe distances

The experimental results showcase the overall system's performance, with processing stages categorized as detection, pose estimation and prediction, and robot control The average system update frequency for tracking moving objects in three-dimensional space is reported as 33Hz

LUẬN VĂN THẠC SĨ TRANG V

LỜI CAM ĐOAN

Em xin cam đoan luận văn này là công trình nghiên cứu của cá nhân em, được thực hiện dưới sự hướng dẫn khoa học của TS Nguyễn Vĩnh Hảo Các nội dung nghiên cứu và kết quả trong đề tài là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây Các nguồn tài liệu tham khảo đã được trích dẫn nguồn và chú thích rõ ràng Em xin chịu hoàn toàn trách nhiệm về nội dung nghiên cứu của mình

TP Hồ Chí Minh, ngày 20 tháng 01 năm 2024

Học viên thực hiện

LUẬN VĂN THẠC SĨ TRANG VI

MỤC LỤC

CHƯƠNG 1 MỞ ĐẦU _ 1 1.1 Lý do chọn đề tài: 1 1.2 Tổng quan tài liệu: 3 1.3 Phạm vi nghiên cứu: _ 11 1.4 Mục tiêu của luận văn: 12 CHƯƠNG 2 BỘ PHÁT HIỆN, ƯỚC LƯỢNG TƯ THẾ VÀ DỰ ĐOÁN 13 2.1 Bộ phát hiện vật thể: _ 13 2.2 Bộ phát hiện bàn tay người: 20 2.3 Bộ ước lượng tư thế: _ 24 2.3.1 Chuyển đổi hệ tọa độ pixel sang hệ tọa độ 3D của Camera: _ 24 2.3.2 Ước lượng tư thế của vật thể sử dụng Perspective-N-Points: 26 2.4 Bộ dự đoán chuyển động của vật thể sử dụng bộ lọc Kalman mở rộng: 32 CHƯƠNG 3 BỘ ĐIỀU KHIỂN ROBOT BÁM THEO GẮP VÀ TRẢ VẬT 37 3.1 Cơ sở động học Robot: _ 37 3.2 Chuyển đổi hệ tọa độ: 38 3.3 Bộ điều khiển Robot bám theo đối tượng chuyển động: 39 3.4 Quy trình điều khiển tương tác lấy-trả: _ 42 3.4.1 Điều khiển Robot tiếp cận và gắp vật từ tay người: _ 43 3.4.2 Điều khiển Robot tiếp cận bàn tay và thả vật vào lòng bàn tay người: 44 3.4.3 Quy trình tương tác giữa người và robot: _ 44 CHƯƠNG 4 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ _ 46

LUẬN VĂN THẠC SĨ TRANG VII

4.1 Mô tả hệ thống thực nghiệm: _ 46 4.1.1 Hệ thống thực nghiệm đánh giá thời gian xử lý của toàn bộ hệ thống:49 4.1.2 Hệ thống thực nghiệm đáp ứng của bộ phát hiện và ước lượng tư thế:

51 4.1.3 Hệ thống thực nghiệm đáp ứng của Robot với vật thể và bàn tay: 57 CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN _ 67 5.1 Tóm tắt những kết quả đạt được: 67 5.2 Những hạn chế còn tồn tại: 67 5.3 Hướng phát triển: 68 TÀI LIỆU THAM KHẢO _ 69

LUẬN VĂN THẠC SĨ TRANG VIII

DANH MỤC HÌNH VẼ

Hình 1-1 Minh họa về công tác chuyển giao đồ vật giữa Robot và người 3

Hình 1-2 Ứng dụng tương tác [21] con người giao vật thể bất kỳ để Robot gắp vật từ tay người dựa vào thông tin của Camera 4

Hình 1-3 Cánh tay Robot gắp vật từ bàn tay người [22] sử dụng thông tin từ 2 camera đặt ở 2 vị trí khác nhau 5

Hình 1-4 Sơ đồ tổng quan cấu hình hệ thống Visual Servoing 6

Hình 1-5 Robot thu hoạch nông sản [23] ứng dụng kỹ thuật IBVS cho nông nghiệp 6

Hình 1-6 Ứng dụng Visual Servoing cho ROV [24] làm việc ở môi trường nước 7

Hình 1-7 Sơ đồ tổng quan phân loại kỹ thuật Visual Servoing 7

Hình 1-8 Mô hình thực nghiệm được xây dựng trong luận văn 8

Hình 1-9 Bộ phát hiện vật thể và bàn tay người cầm vật trong không gian 3D 9

Hình 1-10 Sơ đồ cụ thể các khối chức năng trong hệ thống Visual Servoing mong muốn xây dựng 10

Hình 2-1 Mô tả đặc trưng và so khớp đặc trưng giữa hai hình ảnh 13

Hình 2-2 Các đặc điểm đặc trưng tương quan được đối chiếu giữa 2 hình ảnh 14

Hình 2-3 Các ứng dụng của SIFT 14

Hình 2-4 Nguyên lý làm việc của thuật toán SIFT 15

Hình 2-5 Phát hiện tính năng không gian tỷ lệ bằng cách sử dụng chệnh lệch dưới quãng tám của kim tự tháp Gaussian 15

Hình 2-6 Bộ mô tả SIFT với mô tả độ dốc ảnh và một bộ mô tả điểm đặc trưng 17

Hình 2-7 So khớp hai hình ảnh có bối cảnh, kích thước và tỉ lệ tương quan 18

Hình 2-8 So khớp hai hình ảnh có bối cảnh lộn xộn, ngẫu nhiên 18

Hình 2-9 Sơ đồ khối mô tả các bước thực hiện của bộ phát hiện SIFT 19

Hình 2-10 Các điểm đặc trưng của ảnh tham chiếu và ảnh thực nghiệm 21

Hình 2-11 Thông tin ảnh thu được từ camera trước và sau khi xử lý nền 21

Hình 2-12 Dữ liệu đầu vào và đầu ra của Mediapipe Hands 21

Hình 2-13 Mô tả nguyên lý hoạt động của Mediapipe Hands 22

LUẬN VĂN THẠC SĨ TRANG IX

Hình 2-14 Lòng bàn tay được phát hiện trước tiên 22

Hình 2-15 Mô hình 21 mốc bàn tay được đánh dấu bởi mediapipe 23

Hình 2-16 Sơ đồ tổng quan đầu vào, ra và các bước hoạt động của bộ hand detection 23

Hình 2-17 Mô tả mối liên hệ giữa 2D và 3D trong hệ tọa độ camera 24

Hình 2-18 Minh họa về phương pháp PnP 26

Hình 2-19 Hình tứ diện trong không gian ba chiều với điểm trọng tâm và bốn điểm kiểm soát 26

Hình 2-20 Các điểm kiểm soát được mô tả trong không gian tọa độ camera 27

Hình 2-21 Sơ đồ khối hệ thống của bộ ước lượng tư thế cho đối tượng 30

Hình 2-22 Vùng khoanh đỏ phù hợp để ước lượng tư thế cho bàn tay 31

Hình 2-23 Sơ đồ các bước thực hiện của bộ ước lượng tư thế cho bàn tay người 31

Hình 2-24 Hệ tọa độ của vật thể và bàn tay trong hệ trục tọa độ camera 32

Hình 2-25 Minh họa về bộ dự đoán chuyển động bàn tay bằng EKF 32

Hình 2-26 Sơ đồ khối nguyên lý hoạt động của bộ lọc Kalman mở rộng 33

Hình 2-27 Sơ đồ hệ thống của bộ dự đoán tư thế sử dụng bộ lọc Kalman mở rộng 35 Hình 3-1 Robot Yaskawa Motomini và bộ điều khiển YRC1000micro 37

Hình 3-2 Hệ trục toạ độ của Robot dựa theo thông tin của nhà sản xuất 37

Hình 3-3 Mối liên hệ giữa hệ tọa độ của Camera và Robot 39

Hình 3-4 Sơ đồ khối luật điều khiển của hệ thống điều khiển Robot bám theo vật 42 Hình 3-5 Quy trình điều khiển ba bước đề ra 42

Hình 3-6 Mối liên hệ giữa ma trận thuần nhất và tọa độ cartesian 43

Hình 3-7 Hai điểm được lấy để tính khoảng cách euclide 44

Hình 3-8 Lưu đồ mô tả quy trình lựa chọn và đưa ra quyết định cho Robot 45

Hình 4-1 Mô tả các phần đánh giá cho hệ thống thực nghiệm của luận văn 46

Hình 4-2 Mô hình 3D của Robot và không gian làm việc xung quanh robot 46

Hình 4-3 Mô hình thực nghiệm hệ thống ngoài thực tế của luận văn 47

Hình 4-4 Sơ đồ kết nối của các thành phần thiết bị trong hệ thống 47

Hình 4-5 Giao diện điều khiển và giám sát gồm nhiều chức năng 48

LUẬN VĂN THẠC SĨ TRANG X

Hình 4-6 Cấu trúc phân chia tài nguyên của ứng dụng học viên tự xây dựng 49

Hình 4-7 Sơ đồ vận hành của chương trình hệ thống với các khâu thời gian xử lý 49 Hình 4-8 Dữ liệu thời gian của các khâu đo được trong quá trình vận hành 50

Hình 4-9 Hiện trạng lắp đặt cho mục đích thực nghiệm bộ phát hiện bàn tay 51

Hình 4-10 Đồ thị đáp ứng của bàn tay phát hiện được so với tham chiếu theo x,y,z 52

Hình 4-11 Đồ thị đáp ứng của bàn tay phát hiện được so với tham chiếu theo roll ,pitch, yaw 53

Hình 4-12 Sai số đáp ứng của bàn tay phát hiện được so với tham chiếu x,y,z 54

Hình 4-13 Sai số đáp ứng của bàn tay phát hiện được so với tham chiếu roll,pitch,yaw 55

Hình 4-14 Đáp ứng sai số dao động của tư thế vật thể với tư thế cố định 57

Hình 4-15 Đáp ứng sai số dao động của tư thế bàn tay với tư thế cố định 57

Hình 4-16 Mô tả về quy trình hoạt động của hệ thống với hai bước chính 57

Hình 4-17 Các thông số của hệ thống như trạng thái bước thực hiện, trạng thái của tay gắp và thời gian lấy mẫu 58

Hình 4-18 Đáp ứng bám và sai số bám theo x,y,z của robot so với đối tượng mà hệ thống đưa ra trên toàn bộ quá trình thực thi của hệ thống 59

Hình 4-19 Đồ thị bám trạng thái của robot với đối tượng chỉ định từ hệ thống 60

Hình 4-20 Đáp ứng bám và sai số bám của robot so với vật thể ở khâu và gắp vật 61

Hình 4-21 Đáp ứng bám và sai số bám của robot so với vật thể ở khâu bám theo và trả vật 62

Hình 4-22 Các thông số khâu, thực hiện tay gắp và thời gian lấy mẫu của hệ thống 63

Hình 4-23 Đáp ứng và sai số bám theo x,y,z của robot Yaskawa so với đối tượng 64 Hình 4-24 Đáp ứng và sai số bám của robot theo vật trong khâu gắp vật 65

Hình 4-25 Đáp ứng và sai số bám của robot theo bàn tay trong khâu trả vật 66

LUẬN VĂN THẠC SĨ TRANG XI

DANH MỤC BẢNG

Bảng 3-1 Bảng Denavit – Hartenberg của Robot 6-dof Yaskawa Motomini 38 Bảng 4-1 Thời gian xử lý trung bình của các khâu trên hệ thống 51 Bảng 4-2 Đánh giá sai số bám trung bình và thời gian đáp ứng trung bình của bộ phát hiện và ước lượng tư thế bàn tay 55 Bảng 4-3 Đánh giá sai số dao động trung bình của tư thế vật thể và bàn tay với tư thế cố định 61 Bảng 4-4 Đánh giá sai số bám trung bình và thời gian đáp ứng trung bình của bộ điều khiển robot bám theo vật thể trong điều kiện mô phỏng 61 Bảng 4-5 Đánh giá sai số bám trung bình và thời gian đáp ứng trung bình của bộ điều khiển robot bám theo bàn tay trong điều kiện mô phỏng 62 Bảng 4-6 Đánh giá sai số bám trung bình và thời gian đáp ứng trung bình của bộ điều khiển robot bám theo vật thể với robot Yaskawa motomini 65 Bảng 4-7 Đánh giá sai số bám trung bình và thời gian đáp ứng trung bình của bộ điều khiển robot bám theo bàn tay với robot Yaskawa motomini 66

LUẬN VĂN THẠC SĨ TRANG XII

DANH MỤC TỪ VIẾT TẮT

CAD Thiết kế được hỗ trợ bởi máy tính (Computer-aided design)

EKF Bộ lọc Kalman mở rộng (Extended Kalman Filter)

EIH Cấu trúc đặt camera trên cánh tay máy (Eye in Hand)

ETH Cấu trục đặt camera trong không gian cố định (Eye to Hand) PnP Phối cảnh n điểm (Perspective-N-Points)

PBVS Kỹ thuật visual servoing theo tư thế (Pose-based visual servoing) IBVS Kỹ thuật visual servoing theo hình ảnh (Image-based visual servoing)

SIFT Phép biến đổi đặc trưng bất biến theo tỷ lệ (Scale Invariant Feature

Transform)

LUẬN VĂN THẠC SĨ TRANG 1

CHƯƠNG 1

MỞ ĐẦU

Trong chương này, nội dung sẽ xoay quanh về việc giới thiệu về các lý do lựa chọn đề tài, tổng quan các tài liệu mà học viên tìm hiểu được liên quan đến các đề tài nghiên cứu và ứng dụng kỹ thuật Visual Servoing để bám theo và gắp vật chuyển động cũng như bám theo và trả vật vào tay người đang chuyển động trong không gian ba chiều, từ đó tìm được những vấn đề chưa được giải quyết và đưa ra hướng

và đối tượng nghiên cứu cũng như là mục tiêu của luận văn

1.1 Lý do chọn đề tài:

Xu hướng hiện tại của Công nghiệp 4.0 đã hoạch định ra những môi trường nơi mà cả con người và robot cùng chia sẻ hoàn toàn, trong đó Robot hành động và tương tác với môi trường xung quanh cũng như các tác nhân khác như con người [1], [2], một phần vì đã được hỗ trợ bởi những tiến bộ công nghệ trong phần cứng Robot [3] Đại dịch COVID-19 gần đây đã làm tăng nhu cầu về Robot tự động và hợp tác trong các môi trường như viện dưỡng lão và bệnh viện [4], [5] Theo đó, Tương tác giữa người và Robot (HRI) được nêu bật nổi bật trong lộ trình phát triển Robot của Châu Âu, Úc, Nhật Bản và Hoa Kỳ [6]–[9] Ưu điểm của hệ thống tương tác giữa người và robot có thể trải rộng trên nhiều lĩnh vực Lấy ví dụ điển hình ở nơi mà robot có nhiều tiềm năng để thể hiện khả năng của mình đó là trong một nhà máy sản xuất, nơi công nhân có thể được giảm bớt số lượng và tập trung vào chất lượng cho các nhiệm vụ có kỹ năng nhận thức và thao tác cao, đồng thời chuyển các nhiệm vụ lặp đi lặp lại, không yêu cầu nhận thức và kỹ năng tay nghề cao và mang tính nguy hiểm cho trợ lý Robot Việc triển khai hiệu quả các trợ lý robot trong nhiệm vụ tương tác có thể cải thiện cả chất lượng công việc và trải nghiệm của con người

Với công nghệ phát triển nhanh chóng và nhu cầu gia tăng trong các ứng dụng Robot tương tác qua lại với con người (Human-Robot-Handover) hiện nay đã mở ra cho con người rất nhiều hướng nghiên cứu mới đầy tiềm năng và triển vọng Các hệ

LUẬN VĂN THẠC SĨ TRANG 2

thống Robot hiện nay có sự khác biệt với các hệ thống Robot trước đây về khả năng tương tác với các đối tượng môi trường xung quanh đặc biệt là con người là vì chúng

đã có thể được tích hợp các thiết bị thu thập dữ liệu môi trường mạnh mẽ hơn như các loại cảm biến hoặc Camera nhằm mục đích cung cấp những thông tin đáng tin cậy và chính xác cho Robot

Tiềm năng nhất phải kể đến đó chính là các hệ thống tương tác có tích hợp Camera và Computer Vision cho Robot Đa dạng các loại dữ liệu như đặc điểm nhận dạng của môi trường, hay một vật thể cụ thể bất kì có thể được thu thập bằng Camera điển hình như kích thước, màu sắc, hình dáng, vị trí, góc xoay Từ đó Robot có thể linh hoạt xử lý được những thông tin có độ tin cậy cao và có khả năng đưa ra những quyết định chính xác Nghiên cứu về các giải pháp tương tác giữa người và robot một đề tài rất mới

Ví dụ, nếu robot dựa vào các cảm biến hoặc các thông tin từ camera có thể biết được tư thế bàn tay hoặc các bộ phận khác của con người từ đó phân tích ra hành

vi của con người Sau đó con người có thể đưa ra các yêu cầu cho Robot chuyển những đồ vật từ kho hoặc ở những vị trí bất tiện cho con người sau đó giao đến tận tay họ Hoặc các doanh nghiệp kinh doanh dịch vụ có thể ứng dụng vào trong các cánh tay Robot phục vụ nhằm ứng phó với các đại dịch mới nguy hiểm hơn Covid-

19 có thể xuất hiện trong tương lai Cốt lõi của tương tác người v là tạo ra một hệ thống tương tác nhanh chóng và chính xác để tăng khả năng tương tác và đáp ứng của Robot đến môi trường Khi con người cần Robot giữ một vật gì đó hoặc khi Robot đang giữ một vật gì đó mà con người cần Con người có thể giao mệnh lệnh cho Robot đưa đúng vào vị trí và tư thế của bàn tay người chỉ với một hành động ngửa tay và đợi

Qua các ý tưởng và phân tích trên, học viên quyết định chọn đề tài “Điều Khiển Bám Theo Và Gắp Vật Chuyển Động Trong Không Gian 3-D Sử Dụng Kỹ Thuật Visual Servoing Và Stereo Vision” làm luận văn thạc sĩ để nghiên cứu về lĩnh vực tương tác giữa người và robot

LUẬN VĂN THẠC SĨ TRANG 3

1.2 Tổng quan tài liệu:

Trước tiên, để tiếp cận với đề tài thì học viên đã tập trung vào các từ khóa và các nghiên cứu trước đây về các chủ đề liên quan đến thao tác giữa con người với Robot Từ đó đặt ra rất nhiều vấn đề nghiên cứu về các cách thức và phương pháp quy hoạch chuyển giao và tương tác giữa con người với Robot cũng như yêu cầu về hiệu suất của robot để đáp ứng được con người trong thời gian thực Giới thiệu về hướng đi của đề tài, chuyển giao là một hành động hợp tác chung mô tả sự trao đồ vật giữa người cho và người nhận Vai trò của người cho và người nhận ở đây có thể hoán đổi linh hoạt giữa người và Robot

Hình 1-1 Minh họa về công tác chuyển giao đồ vật giữa Robot và người

Sự hợp tác giữa con người cùng Robot hoặc tương tác giữa con người với Robot

là những từ khóa thường xuyên được nhắc đến trong cộng đồng nghiên cứu hiện nay Trong các nghiên cứu của các nhóm tác giả [3], [11] để đánh giá về sự hợp tác thể chất và [12], [13] để có cái nhìn tổng quan về các khía cạnh nhận thức Có thể thấy sự quan tâm cực kỳ lớn đối với hướng nghiên cứu về tương tác giữa người và Robot [14]–[16] Trong bối cảnh này, Robot phải có khả năng trao đổi đồ vật để hợp tác và tương tác thành công trong các nhiệm vụ thao tác, như trong minh họa Hình 1-1

Ví dụ, hãy xem xét một nhiệm vụ lắp ráp trong đó người vận hành con người phải lắp ráp một chi tiết cơ khí hoặc một món đồ nội thất phức tạp và cần có một công cụ Trợ lý robot phải có khả năng tìm và chuyển công cụ cho người vận hành Hoặc hãy xem xét một robot dịch vụ phát tờ rơi cho người qua đường [17] hoặc phục

LUẬN VĂN THẠC SĨ TRANG 4

vụ đồ uống [18] Một ví dụ khác có thể là một người thợ cơ khí yêu cầu một dụng cụ khi ở dưới ô tô, trong trường hợp này, phạm vi chuyển động của người thợ máy là cực kỳ hạn chế và cần phải cẩn thận hơn để có thể tiếp nhận từ robot những dụng cụ đó [19]

Cụ thể hơn là các hệ Robot trực tiếp giúp đỡ con người trong đời sống hằng ngày như một cánh tay thứ ba Nhóm nghiên cứu [21] đã đưa ra một nghiên cứu về ứng dụng tương tác giữa con người và Robot, trong đó mô hình chú trọng việc sử dụng Computer Vision (YOLO object detection) để nhận diện cả vật thể và bàn tay người cầm vật

Hình 1-2 Ứng dụng tương tác [21] con người giao vật thể bất kỳ để Robot gắp vật

từ tay người dựa vào thông tin của Camera

Tác giả Naresh Marturi [22] đã đưa ra một hệ Human to Robot Handover với nền tảng là kỹ thuật Visual Servoing được đưa ra với cấu hình 2 camera hỗn hợp (ETH và EIH) Trong khi camera số 1 (đặt ở vị trí cố định) có nhiệm vụ giám sát tương tác của con người và Robot thì camera số 2 (gắn trên điểm làm việc của Robot) tập trung trong việc phân tích cấu trúc 3D của vật thể và bàn tay người cầm vật thể bằng cách thu thập đám mây điểm từ đó suy ra một tập hợp các khả năng mà Robot có thể gắp vật từ tay người một cách chính xác và an toàn

LUẬN VĂN THẠC SĨ TRANG 5

Hình 1-3 Cánh tay Robot gắp vật từ bàn tay người [22] sử dụng thông tin từ 2

camera đặt ở 2 vị trí khác nhau

Chi tiết hơn về kỹ thuật Visual Servoing Để có thể ứng dụng một cơ cấu chấp hành đủ linh hoạt như là cánh tay robot phục vụ cho nhiệm vụ tương tác với con người, kỹ thuật Visual Servoing sẽ là phương pháp chính mà học viên sử dụng trong luận văn này Đầu tiên vì các hệ thống visual servoing có tính kết nối cao với các thiết bị thu thập dữ liệu đặc biệt là camera Tiếp theo đó là visual servoing bao gồm tập hợp các giải pháp có tính thực tế và tốc độ đáp ứng cao, phù hợp cho các hệ thống

mà ở đó yêu cầu robot phải đáp ứng một đối tượng khó đoán và tức thời như con người Đây là một hệ thống điều khiển vòng kín dựa trên thông tin phối hợp giữa hệ thống Camera và hệ thống Cơ cấu chấp hành Hệ thống Visual Servoing bao gồm 3 phần chính Phần phản hồi từ thị giác máy tính bao gồm một hoặc nhiều Camera Phần chấp hành có thể là các cơ cấu tự động thông dụng như Pick & Place, Mobile Robot, cánh tay Robot Phần xử lý trung tâm có thể là một CPU của một máy tính nhúng để có thể vừa thu thập dữ liệu phản hồi từ thị giác máy và phân tích, xử lý để thu được kết quả ban đầu là thông tin của vật thể Mặt khác, sau khi có được thông tin thì CPU tiến hành xử lý thông tin đã thu được thông qua thuật toán điều khiển để đưa ra được quyết định điều khiển phù hợp cho Robot, tín hiệu điều khiển sẽ được truyền đến cho Robot thông qua nhiều phương thức truyền thông thông dụng hiện nay như Ethernet TCP/IP hoặc UDP, ROS …

LUẬN VĂN THẠC SĨ TRANG 6

Hình 1-4 Sơ đồ tổng quan cấu hình hệ thống Visual Servoing

Sau khi tham khảo một số bài báo về ứng dụng thực tiễn của các hệ Visual Servoing Nhóm nghiên cứu của tác giả Juan D Gamba [23] đã đưa ra một ý tưởng

và trình bày về một hệ thống ứng dụng cấu hình Image-Based Visual Servoing cho thu hoạch nông nghiệp, cụ thể là cánh tay Robot được đặt trên một Mobile Robot sẽ

di chuyển và thu hoạch những quả dâu chín trên cây mà nó phát hiện được dựa vào hình ảnh thu thập từ Camera được gắn trên End-Effector của Robot

Hình 1-5 Robot thu hoạch nông sản [23] ứng dụng kỹ thuật IBVS cho nông nghiệp

Một ý tưởng nghiên cứu khác về Visual Servoing được đề xuất của tác giả Joseph Coleman và nhóm nghiên cứu [24] là một mô hình Remotely Operated Vehicle (ROV) được nhóm tác giả đưa ra và ứng dụng kỹ thuật Visual Servoing với Camera được gắn cố định tại một vị trí và giám sát hoạt động của cánh tay Robot trong môi trường thao tác dưới nước

LUẬN VĂN THẠC SĨ TRANG 7

Hình 1-6 Ứng dụng Visual Servoing cho ROV [24] làm việc ở môi trường nước

Sau khi đã tham khảo qua nhiều bài báo với phạm vi từ khóa mà học viên đã tìm hiểu, sau đó rút ra được một góc nhìn tổng quan về kỹ thuật Visual Servoing hiện nay được phát triển theo nhiều hướng nghiên cứu khác nhau, có thể được phân loại dựa theo 3 tiêu chí như hình bên dưới, mỗi tiêu chí cũng được phân loại thành nhiều loại cấu hình khác nhau

Hình 1-7 Sơ đồ tổng quan phân loại kỹ thuật Visual Servoing

Ngoài những nghiên cứu khoa học được tham khảo và nêu ra ở trên Hướng đề tài của học viên đang thực hiện được kế thừa ý tưởng chính từ luận văn Thạc Sĩ “Điều Khiển Bám Theo Và Bắt Vật Chuyển Động Sử Dụng Kỹ Thuật Visual Servoing” của

LUẬN VĂN THẠC SĨ TRANG 8

Thạc Sĩ Nguyễn Tâm Hồng Đức [25] Trong luận văn này, tác giả đã xây dựng một

mô hình Visual Servoing với cấu hình PBVS với mục tiêu bám và gắp vật thể trong không gian ba chiều, cấu trúc của hệ thống bao gồm:

Hình 1-8 Mô hình thực nghiệm được xây dựng trong luận văn

● Bộ ước lượng tư thế vật thể từ hình ảnh thu được từ Stereo Camera

● Bộ ước lượng tư thế bàn tay người cầm vật thể

● Bộ hoạch định tư thế cho Robot gắp vật thể

● Bộ điều khiển 2 bước để bám theo và gắp vật chuyển động

Trong bộ phát hiện vật thể, tác giả đã sử dụng Stereo camera RealSense D435i để thu thập thông tin ảnh của vật trong không gian ba chiều, sau đó dựa trên đặc điểm cạnh (Moving Edges) và điểm đặc trưng SIFT (Scale Invariant Feature Transform keypoints) để phát hiện và ước lượng vị trí, tư thế của vật thể Tiếp theo, một bộ lọc Kalman mở rộng được sử dụng để dự đoán quỹ đạo chuyển động của vật trong không gian ba chiều

LUẬN VĂN THẠC SĨ TRANG 9

Hình 1-9 Bộ phát hiện vật thể và bàn tay người cầm vật trong không gian 3 chiều

Chưa dừng lại ở đó, tác giả có mục tiêu nâng cao tính an toàn trong môi trường làm việc bằng cách ứng dụng việc phát hiện tư thế bàn tay người đang cầm vật Từ đó điều chỉnh bộ điều khiển Robot sao cho việc gắp của Robot không gây nguy hiểm cho người đang cầm vật Sau đó, tác giả đưa ra một bộ hoạch định tư thế gắp, là cầu nối giữa bộ dự đoán quỹ đạo chuyển động vật thể và bộ điều khiển cánh tay Robot Đầu vào của bộ hoạch định là kết quả của bộ phát hiện vật thể và đầu ra là tư thế gắp mục tiêu cho bộ điều khiển 2 bước Các bộ hoạch định theo phương pháp hình học

và theo mô hình đám mây điểm được tác giả đưa ra Cuối cùng, một phần không thể thiếu trong hệ thống đó chính là bộ điều khiển 2 bước để bám theo và gắp vật chuyển động Bước 1 là điều khiển động học bám theo vật thể chuyển động Sau đó tiến hành bước 2 là visual Servoing tư thế gắp vật Đây chính là chìa khoá cuối cùng để hoàn thiện được mục tiêu mà tác giả đã đưa ra

Tuy nhiên tác giả chỉ chú trọng phần chuyển giao từ người sang Robot Đối với hướng tương tác ngược lại thì tác giả chỉ mới nghiên cứu đến việc kết hợp thông tin bàn tay vào cho công tác gắp vật từ tay người qua cho Robot để đảm bảo tính an toàn Vì vậy, trong luận văn này, học viên mong muốn phát triển thệm ở phần này, đó là có thể ước lượng tư thế bàn tay người với tốc độ thời gian thực và trích xuất được thông tin cụ thể để chuyển đổi thành thông tin điều khiển và thiết kế một quy trình cho Robot gắp và trả vật về tay người

LUẬN VĂN THẠC SĨ TRANG 10

Từ những ý tưởng đã và đang thực hiện đó, một ý tưởng của chính bản thân học viên đã được định hình Trong đề tài này, một mô hình thực nghiệm cho luận văn được xây dựng với cấu hình Eye-to-Hand và dựa trên kỹ thuật PBVS Bộ phát hiện vật thể và bàn tay người trong không gian ba chiều được xây dựng dựa trên camera Tiếp đó một bộ ước lượng và dự đoán tư thế được xây dựng nhằm đưa ra thông tin đầy đủ và hiệu quả của vật thể hoặc bàn tay phát hiện được cho bộ điều khiển robot Sau cùng, một bộ điều khiển robot sử dụng các phương pháp tính toán động học cho robot được xây dựng nhằm điều khiển cánh tay robot bám và đến được vị trí của vật với sai số thấp và đáp ứng nhanh

Hình 1-10 Sơ đồ cụ thể các khối chức năng trong hệ thống Visual Servoing mong

muốn xây dựng

Về chức năng tổng thể của hệ thống, luận văn tập trung xây dựng mô hình hệ thống trước tiên có hai chức năng là điều khiển Robot bám theo vật thể đang chuyển động trong không gian ba chiều để lấy vật từ tay người và đồng thời bám theo tay người để thực hiện thao tác giao vật từ Robot, sau đó một quy trình tương tác lấy và trả được đưa ra để robot quyết định công việc cần làm tại thời điểm phù hợp

Từ những ý tưởng mà học viên đưa ra, hy vọng rằng có thể kiểm chứng tính khả thi của đề tài “Điều Khiển Bám Theo Và Bắt Vật Chuyển Động Trong Không Gian 3-D Sử Dụng Kỹ Thuật Stereo Vision Và Visual Servoing”

LUẬN VĂN THẠC SĨ TRANG 11

1.3 Phạm vi nghiên cứu:

Luận văn được nghiên cứu xây dựng theo một trong những cấu trúc điển hình của Visual Servoing đó là cấu hình ETH cho nhiệm vụ nắm bắt vị trí và tư thế của đối tượng chuyển động và tính toán điều khiển cho cánh tay Robot Lý do sử dụng cấu hình ETH thay vì cấu hình EIH là bởi vì với cấu hình ETH, góc nhìn quan sát sẽ tổng quát cả con người lẫn Robot Các hành động của con người khi đứng đối diện Robot sẽ được phân tích và đánh giá khách quan hơn là camera đặt trên vị trí làm việc của robot Hơn thế nữa, cấu hình ETH giảm rủi ro mất giấu vật so với cấu hình EIH

Bộ phát hiện vật thể trong hình ảnh camera phát hiện các đặc trưng của vật thể bằng phương pháp trích xuất đặc trưng hình ảnh và so khớp đặc điểm bằng thuật toán SIFT và phát hiện bàn tay trong hình ảnh và trích xuất thông tin tư thế bàn tay

sử dụng thư viện Mediapipe Hands

Bộ ước lượng tư thế để ước lượng tư thế vật thể và tư thế bàn tay người sử dụng phương pháp Perspective-N-Point để ước lượng Bộ lọc Kalman mở rộng dự đoán chuyển động của vật thể và bàn tay người từ tư thế ước lượng được nhằm nâng cao tốc độ đáp ứng của robot

Hệ thống thí nghiệm thực tế bao gồm một cánh tay Robot MotoMini 6 bậc và một depth camera RealSense D435 Vật thể mục tiêu được chọn là một đối tượng có các đặc trưng rõ ràng, không quá đơn điệu

Hệ thống thí nghiệm mô phỏng và thu thập thông tin từ môi trường thực tế được thực hiện trong phần mềm giao diện được học viên tự thiết kế được dựa trên sơ

đồ hệ thống thực tế

LUẬN VĂN THẠC SĨ TRANG 12

1.4 Mục tiêu của luận văn:

Luận văn có các mục tiêu chính:

▪ Xây dựng bộ phát hiện vật thể và bàn tay người trong không gian hai chiều và ước lượng tư thế trong không gian ba chiều bằng dữ liệu hình ảnh thu thập từ Camera

▪ Xây dựng bộ dự đoán trạng thái tư thế tiếp theo của vật dựa vào các thông tin hiện tại của vật nhằm nâng cao tốc độ và giảm thời gian đáp ứng của cánh tay Robot đối với vật thể

▪ Xây dựng bộ điều khiển cánh tay Robot có khả năng tương tác vật thể và con người bao gồm bước bám theo lấy vật thể từ tay người hoặc giao vật thể vào tay người

▪ Xây dựng phần mềm tương tác với các chức năng hỗ trợ cho công tác nghiên cứu và thực nghiệp về đề tài Visual Servoing và Human Robot Handover Luận văn được chia gồm có 5 chương sẽ trình bày những vấn đề chính sau:

▪ Chương 1 trình bày những nghiên cứu về kỹ thuật visual servo gắp vật, các nghiên cứu về tương tác giữa con người và Robot và các mục tiêu đề ra của luận văn

▪ Chương 2 trình bày các bộ phát hiện vật thể và bàn tay, bộ ước lượng và dự đoán tư thế trong không gian ba chiều bằng dữ liệu thu thập từ camera

▪ Chương 3 giới thiệu về cơ sở động học Robot, Bộ điều khiển Robot bám theo đối tượng chuyển động (vật và tay) và quy trình điều khiển lấy-trả

▪ Chương 4 trình bày các kết quả thực nghiệm đã đạt được cho các hệ thống đã được xây dựng

▪ Chương 5 nêu lên kết luận, những hạn chế và đề ra hướng phát triển

LUẬN VĂN THẠC SĨ TRANG 13

CHƯƠNG 2

BỘ PHÁT HIỆN, ƯỚC LƯỢNG TƯ THẾ VÀ DỰ ĐOÁN

CHUYỂN ĐỘNG CỦA ĐỐI TƯỢNG

Trong chương này, nội dung được trình bày là các bộ phát hiện vật thể và bàn tay Bộ ước lượng tư thế dựa vào phương pháp phối cảnh nhiều điểm là Perspective-n-Points Bộ dự đoán tư thế vật thể và tư thế bàn tay được xây dựng dựa trên bộ lọc Kalman mở rộng cho phép dự đoán tư thế tiếp theo của vật thể từ tư thế của đối tượng ước lượng được

2.1 Bộ phát hiện vật thể:

Trong luận văn, một vật thể có tính đặc trưng cao, không quá đơn điệu được chỉ định để làm đối tượng Để phát hiện được đối tượng trong hình ảnh có rất nhiều cách, tuy nhiên mỗi cách mang lại hiệu quả cho ứng dụng tương ứng của chúng Đối với trường hợp bộ phát hiện của kỹ thuật VS yêu cầu trích xuất thông tin nhanh để

cơ cấu chấp hành như cánh tay Robot có thể đáp ứng tức thời vì vậy yêu cầu một phương pháp có tốc độ xử lý nhanh Vì vậy, phương pháp trích xuất và so khớp đặc trưng của vật thể (Feature Description and Matching) trong hình ảnh được học viên ứng dụng và thử nghiệm

Hình 2-1 Mô tả đặc trưng và so khớp đặc trưng giữa hai hình ảnh

LUẬN VĂN THẠC SĨ TRANG 14

Lý do học viên lựa chọn phương pháp này thứ nhất là vì phương pháp này có tốc độ xử lý nhanh hơn những phương pháp phát hiện vật thể dựa trên model, đáp ứng được nhu cầu tốc độ của một hệ thống điều khiển Robot bám theo vật thể Lý do thứ hai là vật thể được phát hiện sẽ có thể trích xuất được thông tin tọa độ pixel của nhiều điểm so khớp Từ đó có thể sử dụng thông tin này để triển khai các phương pháp ước lượng tư thế của vật thể ví dụ như ước lượng dựa trên tương quan điểm 2D

và điểm 3D với mô hình 3D CAD hoặc dữ liệu điểm 3D cho trước

Hình 2-2 Các đặc điểm đặc trưng tương quan được đối chiếu giữa 2 hình ảnh

Trong luận văn này, Bộ phát hiện sẽ sử dụng phép biến đổi đặc trưng bất biến theo tỷ lệ (SIFT - Scale Invariant Feature Transform) SIFT là một thuật toán phát hiện và so khớp đặc trưng trong thị giác máy tính để phát hiện và mô tả các đặc trưng cục bộ trong hình ảnh Phương pháp này được xuất bản bởi David Lowe vào năm

1999 và được phát triển đến năm 2004 [26] Các ứng dụng của phương pháp này bao gồm nhận dạng và theo dõi đối tượng, lập bản đồ và điều hướng, mô hình hóa 3D

Hình 2-3 Các ứng dụng của SIFT

LUẬN VĂN THẠC SĨ TRANG 15

SIFT hoạt động dựa trên việc tìm ra các đặc trưng điểm và so khớp tương đồng những điểm đó giữa các ảnh Đầu tiên, một ảnh tĩnh mẫu tham chiếu sẽ đi qua các bước xử lý và sau cùng được trích xuất các đặc trưng mẫu Sau đó các điểm đặc trưng với thông tin mô tả của từng điểm được đưa ra Thông tin này sẽ được tham chiếu và thông qua bước so khớp với các đặc trưng tương tự của một ảnh tĩnh hoặc một ảnh thu được từ camera khác để tìm ra các điểm đặc trưng tương ứng giữa hai hình ảnh Các bước của thuật toán SIFT có thể được mô tả bởi tác giả [27] và [28]:

Hình 2-4 Nguyên lý làm việc của thuật toán SIFT

Bước 1: Tìm cực trị cục bộ trong không gian tỷ lệ Để phát hiện các điểm đặc trưng ổn định trong không gian tỷ lệ một cách hiệu quả, không gian tỷ lệ Gaussian

vi phân (không gian tỷ lệ DOG) được đề xuất bằng cách sử dụng các tỷ lệ khác nhau của nhân Gaussian được tích hợp với hình ảnh

Hình 2-5 Phát hiện tính năng không gian tỷ lệ bằng cách sử dụng chệnh lệch dưới

quãng tám của kim tự tháp Gaussian

LUẬN VĂN THẠC SĨ TRANG 16

(a) Các mức liền kề của kim tự tháp Gaussian dưới quãng tám bị trừ đi để tạo ra sự khác biệt của hình ảnh Gaussian

(b) Cực trị (cực đại hoặc cực tiểu) trong khối 3D thu được được phát hiện bằng cách so sánh một pixel với 26 pixel lân cận của nó

Không gian tỷ lệ của một ảnh là một hàm L(x, y, σ), được tạo từ phép tích chập của Gaussian có tỷ lệ thay đổi, G(x, y, σ), với điểm ảnh đầu vào, I(x, y):

𝐿(𝑥, 𝑦, 𝜎) = 𝐺(𝑥, 𝑦, 𝜎) ∗ 𝐼(𝑥, 𝑦) (2.1) Trong đó ∗ là phép tích chập theo x và y:

Để phát hiện cực đại và cực tiểu cục bộ của 𝐷(𝑥, 𝑦, 𝜎), mỗi điểm được so sánh với các pixel của tất cả 26 điểm lân cận của nó Nếu giá trị này là tối thiểu hoặc tối

đa thì điểm này là cực trị

Bước 2: Xác định vị trí cực điểm cực trị Thuật toán SIFT xác định vị trí và kích thước của điểm cực trị thông qua khai triển Taylor bậc hai của hàm DOG Khai triển Taylor bậc hai của các điểm đặc trưng 𝑋0(𝑥0, 𝑦0, 𝜎0) được cho bởi

𝐷(𝑥, 𝑦, 𝜎) = 𝐷(𝑋0) +𝜕𝐷

𝑇

𝜕𝑋 +

12

LUẬN VĂN THẠC SĨ TRANG 17

Bước 4: Tạo bộ mô tả tính năng (SIFT Descriptor) Bộ mô tả SIFT là một biểu

đồ không gian 3D của các độ dốc hình ảnh để mô tả sự xuất hiện của một điểm chính Gradient tại mỗi pixel được coi là một mẫu của vector đặc trưng ba chiều, được hình thành bởi vị trí pixel và hướng gradient Các mẫu được cân bằng chuẩn độ dốc và được tích lũy trong biểu đồ 3-D, biểu đồ này tạo thành bộ mô tả SIFT của vùng Một hàm trọng số Gaussian bổ sung được áp dụng để giảm bớt tầm quan trọng đối với các gradient ở xa trung tâm điểm chính hơn Các định hướng được lượng tử hóa thành tám thùng và tọa độ không gian thành bốn thùng, như sau:

Hình 2-6 Bộ mô tả SIFT với mô tả độ dốc ảnh và một bộ mô tả điểm đặc trưng

Để đạt được tính bất biến định hướng, tọa độ của bộ mô tả và hướng gradient được xoay tương ứng với hướng điểm chính Bộ mô tả điểm chính được tạo bằng cách trước tiên tính toán độ lớn và hướng của độ dốc tại mỗi điểm ảnh trong vùng xung quanh vị trí điểm chính (pixel lân cận 16 × 16) Sau đó, các mẫu này được tích lũy dưới dạng biểu đồ định hướng và được mô tả tóm gọn trên các vùng 4 × 4 nhỏ hơn, với độ dài của mỗi mũi tên tương ứng với tổng độ lớn độ dốc gần hướng trong vùng Kết quả là, vectơ đặc trưng phần tử 4×4×8 = 128 được tạo cho mỗi điểm chính

LUẬN VĂN THẠC SĨ TRANG 18

Bước 5: So khớp điểm đặc trưng Khi bộ mô tả đã trích xuất các đặc điểm từ một hoặc nhiều hình ảnh, bước tiếp theo là thiết lập một số đặc điểm sơ bộ phù hợp với hình ảnh mong muốn so khớp Trong phần này, vấn đề này được chia thành hai thành phần riêng biệt Đầu tiên là chọn một phương pháp so khớp, phương pháp này xác định những dữ liệu nào sẽ được chuyển sang giai đoạn tiếp theo để xử lý tiếp Thứ hai là đưa ra các cấu trúc dữ liệu và thuật toán hiệu quả để thực hiện việc so khớp Việc xác định đặc trưng nào phù hợp để xử lý so khớp tùy thuộc vào bối cảnh thực hiện việc so khớp như với hai hình ảnh tương quan về kích thước, bối cảnh [29]

Hình 2-7 So khớp hai hình ảnh có bối cảnh, kích thước và tỉ lệ tương quan

Với trường hợp này, hầu hết các đặc điểm trong một hình ảnh có thể khớp với hình ảnh kia, mặc dù một số đặc điểm có thể không khớp vì chúng bị che khuất hoặc đặc điểm của chúng đã thay đổi quá nhiều Hai là, nếu ta đang cố gắng nhận biết có bao nhiêu vật thể đã biết xuất hiện trong một hình ảnh lộn xộn

Hình 2-8 So khớp hai hình ảnh có bối cảnh lộn xộn, ngẫu nhiên

Với trường hợp này, hầu hết các đặc điểm có thể không khớp Hai trong số các hình ảnh của các vật thể được trích xuất điểm đặc trưng trong cơ sở dữ liệu được hiển thị bên trái Chúng được khớp với một hình ảnh có các vật thể được đặt lộn xộn

LUẬN VĂN THẠC SĨ TRANG 19

ở giữa bằng tính năng SIFT, các kết quả phát hiện vật thể khớp được hiển thị dưới dạng các ô vuông nhỏ trong ảnh bên phải Bộ so khớp phải tìm kiếm một số lượng lớn các đối tượng có khả năng khớp, điều này đòi hỏi cách thức so khớp hiệu quả hơn Giả định rằng các bộ mô tả đối tượng đã được thiết kế sao cho khoảng cách Euclide (cường độ vectơ) trong không gian đối tượng có thể được sử dụng trực tiếp để xếp hạng các kết quả phù hợp tiềm năng với hai điểm ảnh 𝐼(𝑥1, 𝑦1) và 𝐼(𝑥2, 𝑦2)

𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 = √(𝑥1− 𝑥2)2+ (𝑦1− 𝑦2)2 (2.7) Với thông tin khoảng cách Euclide, phương pháp so khớp đơn giản nhất là đặt ngưỡng (khoảng cách tối đa) và trả về tất cả các kết quả khớp từ các hình ảnh khác trong ngưỡng này Việc đặt ngưỡng quá cao sẽ dẫn đến quá nhiều kết quả False Positive, tức là trả về kết quả khớp không chính xác Việc đặt ngưỡng quá thấp sẽ dẫn đến quá nhiều kết quả False Negative, tức là bỏ sót quá nhiều kết quả đúng

Sau khi đã tìm hiểu và trình bày về bộ mô tả và so khớp đặc trưng sử dụng thuật toán SIFT, một sơ đồ khối nguyên lý hoạt động tổng quan được đưa ra như sau:

Hình 2-9 Sơ đồ khối mô tả các bước thực hiện của bộ phát hiện SIFT

Với đối tượng cần được phát hiện đươc học viên lựa chọn là bao thuốc lá sẽ được chụp và lựa chọn làm ảnh tham chiếu Sau đó, một mô tả hoạt động của bộ phát hiện vật thể trong thực tế và trực quan về nguyên lý so khớp giữa ảnh tham chiếu và thông tin ảnh thưc tế thu được từ camera được đưa ra như sau:

LUẬN VĂN THẠC SĨ TRANG 20

Hình 2-10 Các điểm đặc trưng của ảnh tham chiếu và ảnh thực nghiệm

Một khâu xử lý nền cho ảnh được sử dụng để giảm nhiễu cho ảnh thu được từ camera trong quá trình tìm điểm đăc trưng và so khớp của bộ phát hiện vật thể Bước này sử dụng thông tin độ sâu của camera để loại bỏ những điểm ảnh có độ sâu nằm ngoài vùng làm việc sau đó thay thế bằng một điểm ảnh xám Mục đích thực hiện bước này nhằm loại bỏ những điểm không cần thiết nằm ngoài vùng làm việc, tránh cho việc những điểm này có thể bị trùng và bị nhận diện nhầm là điểm đặc trưng của vật, có thể ảnh hưởng tới khả năng và độ chính xác của bộ phát hiện vật thể

Hình 2-11 Thông tin ảnh thu được từ camera trước và sau khi xử lý nền

LUẬN VĂN THẠC SĨ TRANG 21

2.2 Bộ phát hiện bàn tay người:

Trong đề tài này, học viên sử dụng thư viện Mediapipe Hands của Google [30] cho bộ phát hiện bàn tay người Mediapipe là một tập hợp các giải pháp được Google phát triển dành cho mảng thị giác máy, mang lại một hiệu suất đáng gờm và đặc biệt cực kỳ nhẹ Trong khi với các mô hình hoặc giải pháp khác phải phụ thuộc phần lớn vào cấu hình của thiết bị hoặc bộ điều khiển trung tâm thì Mediapipe lại có thể dễ dàng được triển khai ngay cả trên các phần mềm điện thoại và đảm bảo hiệu suất khi hoạt động trong thời gian thực Thư viện này sử dụng mô hình học máy (Machine Learning) với hơn 30000 dữ liệu hình ảnh bàn tay người thực tế trên nhiều môi trường khác nhau được chia thành ba tập dữ liệu lớn là:

● Tập dữ liệu thu thập với đa dạng các loại điều kiện tự nhiên,

● Tập dữ liệu thu thập nội bộ giới hạn nhưng đa dạng về tư thế bàn tay

● Tập dữ liệu tổng hợp với nhiều hình ảnh tay đang cầm nắm vật

Với thông tin đầu vào có thể là ảnh tĩnh hoặc khung hình liên tục từ camera, thư viện này cho ra kết quả là một mô hình khung xương (skeleton) của bàn tay được phát hiện, bao gồm vị trí của các điểm đặc biệt trên lòng bàn tay và trên các đốt tay

Hình 2-12 Dữ liệu đầu vào và đầu ra của Mediapipe Hands

Bí quyết của tốc độ tuyệt vời của Mediapipe Hands đến từ việc nó sử dụng một kiểu mô hình mạng thần kinh hai bước chạy thay phiên hai mô hình phân loại là

mô hình phát hiện lòng bàn tay (Palm detection model) với cấu trúc mô hình phát hiện oneshot và các điểm mốc trên bàn tay (Hand landmark detection model) thực chất là một mô hình cấu trúc hồi quy chạy trên một vùng hình ảnh được cắt ra từ mô hình đầu tiên

LUẬN VĂN THẠC SĨ TRANG 22

Hình 2-13 Mô tả nguyên lý hoạt động của Mediapipe Hands

MediaPipe đã xây dựng trình phát hiện lòng bàn tay ban đầu được gọi là BlazePalm Bước một là huấn luyện lòng bàn tay thay vì bộ phát hiện bàn tay, sau đó sử dụng thuật toán triệt tiêu không tối đa trên lòng bàn tay, trong đó nó được mô hình hóa bằng các hộp giới hạn hình vuông để tránh các tỷ lệ khung hình khác và giảm số lượng neo theo hệ số 3- 5 Tiếp theo, bộ mã hóa-giải mã trích xuất tính năng được sử dụng để nhận biết bối cảnh cảnh lớn hơn, ngay cả các vật thể nhỏ, cuối cùng, giảm thiểu mất tiêu điểm trong quá trình huấn luyện với sự hỗ trợ số lượng lớn điểm neo do phương sai tỷ lệ cao Đầu tiên mô hình phát hiện lòng bàn tay sẽ được chạy trước và có nhiệm vụ phát hiện lòng bàn tay trên toàn bộ ảnh đầu vào và trả về kết quả là một vùng xác định vị trí bàn tay người có trong ảnh

Hình 2-14 Lòng bàn tay được phát hiện trước tiên

Bước tiếp theo, bộ phát hiện mốc bàn tay sẽ phân tích và xác định đối tượng

trên vùng hình ảnh thu hẹp xung quanh vùng phát hiện bàn tay mà bộ Palm Detector

LUẬN VĂN THẠC SĨ TRANG 23

đã phát hiện trước đó mà không cần phải quét lại trên toàn bộ ảnh và được tiến hành bên trong các vùng bàn tay được phát hiện thông qua hồi quy sẽ tạo ra dự đoán tọa độ trực tiếp, đây là mô hình của mốc bàn tay trong MediaPipe

Hình 2-15 Mô hình 21 mốc bàn tay được đánh dấu bởi mediapipe

Đầu ra của bộ phát hiện bàn tay của mediapipe hands là một tập hợp 21 điểm mốc trên bàn tay định vị lòng bàn tay và các đốt trên ngón tay Điều này không những giúp giảm khối lượng, thời gian xử lý của bộ Hand landmark detector và toàn quy trình phát hiện bàn tay mà còn tăng độ chính xác của mô hình vì phạm vi tìm kiếm được thu hẹp giúp tránh việc những thông tin sai từ những vùng khác của ảnh đầu vào có thể ảnh hưởng đến kết quả phát hiện Sau cùng là một mô hình tổng quan quy trình và nguyên lý hoạt động của bộ phát hiện bàn tay ứng dụng Mediapipe Hands

Hình 2-16 Sơ đồ tổng quan đầu vào, ra và các bước hoạt động của bộ hand

detection

LUẬN VĂN THẠC SĨ TRANG 24

2.3 Bộ ước lượng tư thế:

Bộ ước lượng tư thế có nhiệm vụ ước lượng tư thế của vật được gắp bởi Robot

và ước lượng tư thế của lòng bàn tay người Phương pháp ước lượng tư thế mà luận văn sử dụng là phương pháp phối cảnh điểm Perspective-N-Point gọi tắt là PnP

2.3.1 Chuyển đổi hệ tọa độ pixel sang hệ tọa độ 3D của Camera:

Công việc chuyển đổi hệ tọa độ pixel của một đối tượng được phát hiện từ ảnh sang tọa độ 3D so với gốc tọa độ 3D của camera là một công việc cần thiết nhằm tìm được tư thế của đối tượng đó so với camera và trích xuất thông tin điều khiển phù hợp cho Robot

Hình 2-17 Mô tả mối liên hệ giữa 2D và 3D trong hệ tọa độ camera

Đầu tiên cần phải hiểu rõ một chút về hệ tọa độ Camera Khi có một đối tượng được phát hiện trong khung hình và có thể xác định được

- Tọa độ 𝑝𝑝𝑖𝑥𝑒𝑙 = [𝑢, 𝑣, 1]𝑇của đối tượng đó trong hệ tọa độ pixel của ảnh

- Tọa độ 𝑝𝑜𝑏𝑗𝑒𝑐𝑡𝑐𝑎𝑚𝑒𝑟𝑎 = [𝑋𝑜𝑐, 𝑌𝑜𝑐, 𝑍𝑜𝑐, 1]𝑇 của đối tượng trong hệ tọa độ camera Mối liên hệ được biểu diễn dưới dạng:

] là ma trận nội chứa các thông số nội của camera tìm

được khi tiến hành hiệu chuẩn camera

LUẬN VĂN THẠC SĨ TRANG 25

Sau đó triển khai công thức trên dưới dạng ma trận, thu được:

𝑠 [

𝑢𝑣1] = [

x y

LUẬN VĂN THẠC SĨ TRANG 26

2.3.2 Ước lượng tư thế của vật thể sử dụng Perspective-N-Points:

Về cơ bản là vậy, tuy nhiên PnP có thể được chia làm nhiều phương pháp giúp tìm ra tư thế Efficient PnP (EPnP) là một trong số chúng, phương pháp này đưa ra hướng giải quyết vấn đề của PnP là về thời gian tính toán như các tác giả [36], [37], [38], [39] đã đưa ra

Hình 2-18 Minh họa về phương pháp PnP

Đầu tiên, phương pháp chỉ ra rằng mỗi điểm 3D trong không gian tọa độ thực

tế có thể được biểu diễn dưới dạng điểm trọng tâm P của bốn điểm kiểm soát xung quanh tương tự như bốn đỉnh của một hình tứ diện (A, B, C, D) theo nguyên lý của

hệ tọa độ Barycentric trong không gian ba chiều

Hình 2-19 Hình tứ diện trong không gian ba chiều với điểm trọng tâm và bốn điểm

kiểm soát

Gọi 𝑝𝑖𝑐 = [𝑋𝑐 , 𝑌𝑐, 𝑍𝑐]𝑇 là tập hợp các điểm 3D của đối tượng so với hệ tọa độ của camera và các điểm 𝑝𝑖𝑤 = [𝑋𝑤, 𝑌𝑤, 𝑍𝑤]𝑇 tương ứng của hệ tọa độ thực tế Tương tự như đã trình bày ở trên, từng điểm 3D tương ứng của cả hai hệ tọa độ có thể được