Hình 2 .11 Minh họa cách xác định bounding box trong YOLO
Hình 2.15 Mơ phỏng robot hoàn chỉnh
Hình 2.16. Tay máy 4 bậc tự do sau khi lắp ghép hoàn chỉnh (@UET Robotics Lab)
Robot tay máy 4 bậc tự do nhƣ hình 2.16 đƣợc chế tạo bằng phƣơng pháp in 3D sẽ đƣợc sử dụng để thực hiện tác vụ đầu ra của mơ hình tơi đề xuất. Thông tin về tọa độ từ mơ hình tơi phát triển sẽ đƣợc truyền tới vi điều khiển Arduino Mega 2560 Rev3 thông qua giao tiếp Serial (UART). Tại đây, vi điều khiển sẽ thực hiện các bài toán động học thuận và nghịch để di chuyển tay máy. Robot tay máy sau khi thực hiện xong một lần yêu cầu sẽ tự động trở vệ vị trí (0, 0) và chờ lần yêu cầu tiếp theo.
26
CHƢƠNG 3:
ỨNG DỤNG THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI ĐIỀU KHIỂN ROBOT THEO CỬ CHỈ CON NGƢỜI
3.1 Mô tả hệ thống
Bài toán sử dụng camera vision để phát hiện cử chỉ tay ngƣời, sau đó tiến hành xử lý hình ảnh và tiến hành dùng các thuật tốn AI để nhận diện nhãn của hình ảnh. Kết quả của nhãn sẽ đƣợc gửi tới tay máy robot 4 bậc tự do, robot sẽ tiến hành nhận diện vật thể đã đƣợc đào tạo và tiến hành gắp vật thả vào vị trí giỏ tƣơng ứng theo chu trình đã đặt ra.
Hình 3.1. Mơ tả hệ thống robot thực thi theo cử chỉ tay người thông qua camera.
27
Hệ thống này sẽ đƣợc tôi sử dụng một số thuật toán AI cơ bản và một số thuật toán AI học sâu để so sánh và đƣa ra kết quả tối ƣu về mặt độ chính xác và thời gian thực thi. Về mặt robot tiến hành tôi sử dụng phƣơng pháp tính tốn động học nghịch cho robot để điều khiển robot gắp đúng vật đã phát hiện đƣợc nhờ camera.
3.2 Ứng dụng thị giác máy kết hợp AI nhận dạng cử chỉ tay ngƣời.
Trong cuộc sống hàng ngày, con ngƣời thực hiện rất nhiều các cử chỉ khác nhau. Đó là điều tự nhiên để cải thiện và nâng cao thông tin liên lạc giữa ngƣời với ngƣời, trong tất cả cả các loại cử chỉ mà con ngƣời sử dụng thì cử chỉ tay đóng một vai trị quan trọng có thể giúp chúng ta thể hiện đƣợc nhiều thông tin hơn trong thời gian ngắn hơn. Trong luận văn, cử chỉ đƣợc định nghĩa nhƣ một sự chuyển động của những ngón tay nhƣ một tín hiệu đặc biệt, để liên lạc chính xác giữa ngƣời gửi và thiết bị nhận. Để nhận dạng cử chỉ, bƣớc đầu tiên trong các hệ thống nhận dạng là phát hiện ra vị trí bàn bay bằng một thiết bị cảm nhận để thu thập các quan sát cần cho việc phân loại hay miêu tả, sau đó tiến hành xử lý hình ảnh, trích chọn đặc trƣng (feature extraction) để tính tốn các thơng tin dƣới dạng số hay dạng biểu tƣợng (symbolic) từ các dữ liệu quan sát. Sau đó thực hiện cơng việc phân loại dựa vào các đặc tính đã đƣợc trích chọn để nhận dạng cử chỉ dựa trên tập dữ liệu về bàn tay đƣợc thu thập từ trƣớc, đó chính là nhiệm vụ của bài toán nhận dạng cử động của bàn tay. Hƣớng tiếp cận chính để thu nhận thông tin về bàn tay ngƣời sử dụng trong luận văn này là phƣơng pháp xử lý hình ảnh thơng qua camera chụp lại ảnh bàn tay ngƣời.
3.2.1 Những ứng dụng với cử chỉ bàn tay
Dựa trên cử chỉ bàn tay con ngƣời các nhà nghiên cứu đã đƣa ra một số ứng dụng thực tiễn liên quan đến máy móc đem lại những đột phá trong việc nghiên cứu và ứng dụng vào cuộc sống thực tiễn nhƣ dƣới đây.
Thiết kế 3D: Việc thao tác đầu vào 3 chiều với con chuột máy tính là
28
Massachuchetttes đã đƣa ra các công nghệ 3DRAW sử dụng một cây bút nhúng trong thiết bị polhemus để theo dõi vị trí bút và định hƣớng trong 3D [18].
Điểu khiển từ xa: Làm tăng khả năng điều khiển bằng tay trong một
số trƣờng hợp lỗi hệ thống, điều kiện khẩn cấp hoặc vùng sâu vùng xa khó tiếp cận, thƣờng thì những điều khiển này con ngƣời khơng thể tiếp cận gần máy móc. Điều khiển từ xa là một lĩnh vực trí tuệ nhân tạo nhằm mục đích hỗ trợ việc điều khiển cánh tay robot thông qua các cử chỉ cơ thể để thực hiện các nhiệm vụ cần thiết.
Virtual reality: Thực tế ảo đƣợc áp dụng nâng cao, hệ thống xúc giác tiên tiến hiện nay bao gồm thông tin xúc giác, thƣờng đƣợc gọi là lực lƣợng phản hồi, trong các ứng dụng y tế và chơi game. Cử chỉ tay ngƣời là vấn đề then chốt trong ứng dụng trên.
Ngôn ngữ ký hiệu: Ngơn ngữ kí hiệu là hình thức thơ nhất và tự nhiên của ngôn ngữ đánh dấu, ngày trở lại sớm nhất là sự ra đời của nền văn minh của con ngƣời, khi các lý thuyết đầu tiên của ngôn ngữ ký hiệu xuất hiện trong lịch sử. Nó đã bắt đầu trƣớc khi có sự xuất hiện của ngơn ngữ nói, tay ngƣời đã đƣa ra các ngơn ngữ kí hiệu từ rất lâu đời vì vậy nghiên cứu và đánh giá cử chỉ bàn tay con ngƣời cũng đƣợc quan tâm rất nhiều và đƣợc nên ý tƣởng để ứng dụng vào hoạt động của máy móc trong hiện tại và tƣơng lai.
Dƣới đây là những phƣơng pháp thực hiện nhận diện cử chỉ hành động tay đƣợc thực hiện.
3.2.2 Những phương pháp nhận diện cử chỉ bàn tay
3.2.2.1 Phân đoạn ảnh dựa vào màu da.
Phân đoạn ảnh là một thao tác ở mức thấp trong tồn bộ q trình xử lý ảnh. Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói cách khác là xác định các biên của các vùng ảnh đó, các vùng ảnh đồng nhất này thơng thƣờng sẽ tƣơng ứng với toàn bộ
29
hay từng phần của các đối tƣợng thật sự bên trong ảnh. Nhƣ vậy, mục tiêu của phân đoạn ảnh là làm nổi bật hoặc tách hẳn đối tƣợng cần quan tâm ra từ ảnh ban đầu, làm đơn giản hóa và thay đổi cách biểu diễn để dễ dàng phân tích hơn. Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lý và nhận dạng ảnh, phân đoạn ảnh ln đóng một vai trò quan trọng và cần thiết, nó thƣờng là bƣớc tiền xử lý đầu tiên trong tồn bộ q trình trƣớc khi thực hiện các thao tác khác ở mức cao hơn nhƣ nhận dạng đối tƣợng, biểu diễn đối tƣợng hay truy vấn ảnh dựa vào nội dung. Da con ngƣời có màu rất đặc trƣng, có thể dễ dàng nhận dạng và nó cũng khơng bị ảnh hƣởng bởi các phép biến đổi hình học của đối tƣợng, vì vậy phát hiện bàn tay ngƣời dựa trên việc phát hiện da là một phƣơng pháp khá đơn giản và có thể thực hiện đƣợc.