MỤC LỤC
Từ đó có thể sử dụng thông tin này để triển khai các phương pháp ước lượng tư thế của vật thể ví dụ như ước lượng dựa trên tương quan điểm 2D và điểm 3D với mô hình 3D CAD hoặc dữ liệu điểm 3D cho trước. Để phát hiện các điểm đặc trưng ổn định trong không gian tỷ lệ một cách hiệu quả, không gian tỷ lệ Gaussian vi phân (không gian tỷ lệ DOG) được đề xuất bằng cách sử dụng các tỷ lệ khác nhau của nhân Gaussian được tích hợp với hình ảnh. Giả định rằng các bộ mô tả đối tượng đã được thiết kế sao cho khoảng cách Euclide (cường độ vectơ) trong không gian đối tượng có thể được sử dụng trực tiếp để xếp hạng các kết quả phù hợp tiềm năng với hai điểm ảnh 𝐼(𝑥1, 𝑦1) và 𝐼(𝑥2, 𝑦2).
Mục đích thực hiện bước này nhằm loại bỏ những điểm không cần thiết nằm ngoài vùng làm việc, tránh cho việc những điểm này có thể bị trùng và bị nhận diện nhầm là điểm đặc trưng của vật, có thể ảnh hưởng tới khả năng và độ chính xác của bộ phát hiện vật thể.
Bước một là huấn luyện lòng bàn tay thay vì bộ phát hiện bàn tay, sau đó sử dụng thuật toán triệt tiêu không tối đa trên lòng bàn tay, trong đó nó được mô hình hóa bằng các hộp giới hạn hình vuông để tránh các tỷ lệ khung hình khác và giảm số lượng neo theo hệ số 3- 5. Tiếp theo, bộ mã hóa-giải mã trích xuất tính năng được sử dụng để nhận biết bối cảnh cảnh lớn hơn, ngay cả các vật thể nhỏ, cuối cùng, giảm thiểu mất tiêu điểm trong quá trình huấn luyện với sự hỗ trợ số lượng lớn điểm neo do phương sai tỷ lệ cao. Đầu tiên mô hình phát hiện lòng bàn tay sẽ được chạy trước và có nhiệm vụ phát hiện lòng bàn tay trên toàn bộ ảnh đầu vào và trả về kết quả là một vùng xác định vị trí bàn tay người có trong ảnh.
Điều này không những giúp giảm khối lượng, thời gian xử lý của bộ Hand landmark detector và toàn quy trình phát hiện bàn tay mà còn tăng độ chính xác của mô hình vì phạm vi tìm kiếm được thu hẹp giúp tránh việc những thông tin sai từ những vùng khác của ảnh đầu vào có thể ảnh hưởng đến kết quả phát hiện.
Đầu tiên, phương pháp chỉ ra rằng mỗi điểm 3D trong không gian tọa độ thực tế có thể được biểu diễn dưới dạng điểm trọng tâm P của bốn điểm kiểm soát xung quanh tương tự như bốn đỉnh của một hình tứ diện (A, B, C, D) theo nguyên lý của hệ tọa độ Barycentric trong không gian ba chiều. Tuy nhiên, khi bàn tay con người thực hiện các hành động như nắm thả thì những điểm ở các đốt và đầu ngón ngón tay sẽ di chuyển độc lập với nhau dẫn đến thông tin ước lượng sẽ bị sai vì thông tin 3D của bàn tay là thông tin tọa độ 3D của các điểm cố định, vì vậy với những thông tin điểm 2D cũng phải có tính chất cố định. Trong phần này, một bộ dự đoán tư thế cho vật thể và bàn tay được trình bày, bộ dự đoán sử dụng bộ lọc Kalman mở rộng (Extended Kalman Filter Mặc dù EKF không hoàn hảo để ước tính giải pháp tối ưu do giả thuyết này, nhưng nó vẫn cung cấp dự đoán trạng thái đáng tin cậy với chi phí tính toán rất thấp, điều này rất cần thiết cho các ứng dụng thời gian thực và cần tốc độ đáp ứng nhanh như Visual Servoing.
Đối với tư thế của đối tượng được ước lượng trong không gian 3D từ camera nên tính phi tuyến rất cao, vì vậy các thông số nhiễu không cố định và phải được cập nhật vào trong bộ EKF liên tục để tránh tình trạng một số thông tin tư thế được dự đoán và ước lượng thông qua bộ EKF có thể bi sai.
Với hệ thống Visual servoing có cấu hình Eye-to-Hand được sử dụng trong luận văn, để Robot có thể hiểu được tư thế của vật hoặc của bàn tay thì một vector tư thế sau cùng phải được triển khai. Trong bộ điều khiển Robot bám theo vật chuyển động, sau khi đã có được các kết quả tính toán động học ở trên, kết hợp với thông tin tư thế thu được từ bộ phát hiện vật thể và được dự đoán thông qua bộ lọc Kalman mở rộng, Một bộ điều khiển Robot bám theo vật được đưa ra. Đây là một phương pháp tối ưu hóa dựa trên bình phương tối thiểu, mục tiêu là tìm ra một giải pháp ổn định hơn cho giải pháp Pseudo-Inverse cho bộ điều khiển động học ngược dựa vào động học vận tốc.
Phương pháp Damped Least Squares thường được ưa chuộng trong các ứng dụng thực tế vì khả năng linh hoạt và hiệu suất tính toán tốt, đặc biệt là khi cần xử lý những vấn đề bất ổn định của ma trận Jacobian.
Ở bước này Robot có hai sự lựa chọn, nếu vật ở ngoài vùng khả năng tương tác của Robot thì Robot sẽ bám theo một phần bao gồm những tọa độ và tư thế vẫn nằm trong giới hạn làm việc. Với đầu vào là tọa độ cartesian cần kiểm tra và đầu ra là vector cartesian đã được loại bỏ những tọa độ của vật nằm ngoài không gian làm việc hoặc đụng chạm vào những vùng có vật cản được cho biết trước. Ở bước này, để kích hoạt chế độ bám theo và trả vật vào tay người, trước tiên tay người phải được phát hiện và qua các điều kiện kiểm tra, sau đó tiến hành bám theo và tiếp cận tương tự như cách thức ở bước một Phân tích cử chỉ bàn tay được sử dụng để làm điều kiện cho gripper của robot nhả vật ra.
Kết hợp các bộ đã được xây dựng ở các phần trên, và các điều kiện của hê thống được đưa ra dựa vào thực tế, một quy trình tương tác sau cùng được đưa ra cho hệ thống được mô tả theo sơ đồ khối như hình bên.
- Luồng 1: có nhiệm vụ xử lý tác vụ về thu thập và xử lý ảnh từ camera - Luồng 2: có nhiệm vụ xử lý tác vụ về xử lý thông tin điều khiển Robot Ngoài ra trong hai luồn chính còn có các luồng nhỏ để phân chia công việc hợp lý cho các tác vụ nhằm tăng hiệu suất , tốc độ xử lý, tránh những tình trạng treo hoặc xử lý chậm. Một đồ thị đáp ứng của tư thế robot trong quá trình bám và gắp so với tư thế của vật mà bộ ước lượng và dự đoán đưa ra và sau đó là đồ thị sai số của tư thế robot bám theo tư thế vật thể được biểu thị để thể hiện độ hiệu quả của hệ thống trong quá trình bám. Robot sẽ giữ trạng thái home với vật vẫn ở trên tay gắp cho đến khi con người có hành động đưa tay ra thì hệ thông sẽ hiểu và điều phối đến khâu step = 3, lúc này robot đã được nhận một nhiệm vụ mới là bám theo và trả vật về trên bàn tay người với bàn tay người được định vị.
Có thể thấy ở khâu bám theo và gắp vật thể và bám theo để trả vât thể, hệ thống mô phỏng đưa ra kết quả thực hiện được đầy đủ cả hai khâu, tuy nhiên trong quá trình vận hành, tại khâu robot chuyển đổi từ trạng thái home sang trạng thái bám theo và trả vật thì sảy ra một sự vọt lố không mong muốn tuy nhiên đó là một trường hợp bình thường và bộ kiểm tra không gian làm việc của robot có thể nhận biết điểm đó có nằm trong vùng hoạt động được hay không, nếu không thì hệ thống sẽ chỉ cập nhật những tọa độ có thể với tới được. Giải thích lý do xảy ra đường vọt lố tín đó là khi chuyển đổi sang đối tượng bám là tư thế bàn tay thì học viên thực hiện rút bàn tay ra xa để kiểm tra phản ứng của hệ thống với các trường hợp vật thể thay đổi tọa độ đột ngột lớn như trường hợp trên. Tiếp theo, với hệ thống được xây dựng và đã được kiểm chứng ở mô hình mô phỏng, tiến hành bước thực nghiệm trên hệ thống thực tế với robot Yaskawa Motomini 6 bậc tự do, quy trình thu thập dữ liệu và thông tin đánh giá, đồ thị mô tả đáp ứng cũng được thực hiện.
[27] Xuehe Zhang, Yanhe Zhu, Changle Li, Jie Zhao and Ge Li, “SIFT algorithm- based 3D pose estimation of femur,” State Key Laboratory of Robotics and System, Harbin Institute of Technology, Harbin, Heilongjiang, China. [31] Marco Costanzo, Giuseppe De Maria and Ciro Natale, “Handover Control for Human-Robot and Robot-Robot Collaboration,” Robotic Control Systems, a section of the journal Frontiers in Robotics and AI, May 2021. [32] Mohamed Djeha et al., “Human-Robot Handovers using Task Space Quadratic Programming,” RO-MAN 2022, 31st IEEE International Conference on Robot and Human Interactive Communication, August 2022.
[35] Indriani Moh.Harris, Ali Suryaperdana Agoes, “Applying Hand Gesture Recognition for User Guide Application Using MediaPipe,” 2nd International Seminar of Science and Applied Technology (ISSAT 2021), 2021.