Các bƣớc thiết kế Hình ảnh thiết kế trên phần mềm Solidworks
Khâu 1 thiết kế đế xoay
Khâu 2 thiết kế khớp nối
Khâu 3 thiết kế tay robot (bắp tay)
Khâu 4 thiết kế tay robot (cánh tay)
Khâu 5 thiết kế Gripper
25
Hình 2.15. Mơ phỏng Robot hồn chỉnh
Hình 2.16. Tay máy 4 bậc tự do sau khi lắp ghép hoàn chỉnh (@UET Robotics Lab)
Robot tay máy 4 bậc tự do nhƣ hình 2.16 đƣợc chế tạo bằng phƣơng pháp in 3D sẽ đƣợc sử dụng để thực hiện tác vụ đầu ra của mơ hình tơi đề xuất. Thơng tin về tọa độ từ mơ hình tơi phát triển sẽ đƣợc truyền tới vi điều khiển Arduino Mega 2560 Rev3 thông qua giao tiếp Serial (UART). Tại đây, vi điều khiển sẽ thực hiện các bài toán động học thuận và nghịch để di chuyển tay máy. Robot tay máy sau khi thực hiện xong một lần yêu cầu sẽ tự động trở vệ vị trí (0, 0) và chờ lần yêu cầu tiếp theo.
26
CHƢƠNG 3:
ỨNG DỤNG THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI ĐIỀU KHIỂN ROBOT THEO CỬ CHỈ CON NGƢỜI
3.1 Mơ tả hệ thống
Bài tốn sử dụng camera vision để phát hiện cử chỉ tay ngƣời, sau đó tiến hành xử lý hình ảnh và tiến hành dùng các thuật toán AI để nhận diện nhãn của hình ảnh. Kết quả của nhãn sẽ đƣợc gửi tới tay máy robot 4 bậc tự do, robot sẽ tiến hành nhận diện vật thể đã đƣợc đào tạo và tiến hành gắp vật thả vào vị trí giỏ tƣơng ứng theo chu trình đã đặt ra.
Hình 3.1. Mơ tả hệ thống robot thực thi theo cử chỉ tay người thông qua camera.
27
Hệ thống này sẽ đƣợc tôi sử dụng một số thuật toán AI cơ bản và một số thuật toán AI học sâu để so sánh và đƣa ra kết quả tối ƣu về mặt độ chính xác và thời gian thực thi. Về mặt robot tiến hành tơi sử dụng phƣơng pháp tính tốn động học nghịch cho robot để điều khiển robot gắp đúng vật đã phát hiện đƣợc nhờ camera.
3.2 Ứng dụng thị giác máy kết hợp AI nhận dạng cử chỉ tay ngƣời.
Trong cuộc sống hàng ngày, con ngƣời thực hiện rất nhiều các cử chỉ khác nhau. Đó là điều tự nhiên để cải thiện và nâng cao thông tin liên lạc giữa ngƣời với ngƣời, trong tất cả cả các loại cử chỉ mà con ngƣời sử dụng thì cử chỉ tay đóng một vai trị quan trọng có thể giúp chúng ta thể hiện đƣợc nhiều thông tin hơn trong thời gian ngắn hơn. Trong luận văn, cử chỉ đƣợc định nghĩa nhƣ một sự chuyển động của những ngón tay nhƣ một tín hiệu đặc biệt, để liên lạc chính xác giữa ngƣời gửi và thiết bị nhận. Để nhận dạng cử chỉ, bƣớc đầu tiên trong các hệ thống nhận dạng là phát hiện ra vị trí bàn bay bằng một thiết bị cảm nhận để thu thập các quan sát cần cho việc phân loại hay miêu tả, sau đó tiến hành xử lý hình ảnh, trích chọn đặc trƣng (feature extraction) để tính tốn các thơng tin dƣới dạng số hay dạng biểu tƣợng (symbolic) từ các dữ liệu quan sát. Sau đó thực hiện công việc phân loại dựa vào các đặc tính đã đƣợc trích chọn để nhận dạng cử chỉ dựa trên tập dữ liệu về bàn tay đƣợc thu thập từ trƣớc, đó chính là nhiệm vụ của bài toán nhận dạng cử động của bàn tay. Hƣớng tiếp cận chính để thu nhận thơng tin về bàn tay ngƣời sử dụng trong luận văn này là phƣơng pháp xử lý hình ảnh thơng qua camera chụp lại ảnh bàn tay ngƣời.
3.2.1 Những ứng dụng với cử chỉ bàn tay
Dựa trên cử chỉ bàn tay con ngƣời các nhà nghiên cứu đã đƣa ra một số ứng dụng thực tiễn liên quan đến máy móc đem lại những đột phá trong việc nghiên cứu và ứng dụng vào cuộc sống thực tiễn nhƣ dƣới đây.
Thiết kế 3D: Việc thao tác đầu vào 3 chiều với con chuột máy tính là
28
Massachuchetttes đã đƣa ra các công nghệ 3DRAW sử dụng một cây bút nhúng trong thiết bị polhemus để theo dõi vị trí bút và định hƣớng trong 3D [18].
Điểu khiển từ xa: Làm tăng khả năng điều khiển bằng tay trong một
số trƣờng hợp lỗi hệ thống, điều kiện khẩn cấp hoặc vùng sâu vùng xa khó tiếp cận, thƣờng thì những điều khiển này con ngƣời khơng thể tiếp cận gần máy móc. Điều khiển từ xa là một lĩnh vực trí tuệ nhân tạo nhằm mục đích hỗ trợ việc điều khiển cánh tay robot thông qua các cử chỉ cơ thể để thực hiện các nhiệm vụ cần thiết.
Virtual reality: Thực tế ảo đƣợc áp dụng nâng cao, hệ thống xúc giác tiên tiến hiện nay bao gồm thông tin xúc giác, thƣờng đƣợc gọi là lực lƣợng phản hồi, trong các ứng dụng y tế và chơi game. Cử chỉ tay ngƣời là vấn đề then chốt trong ứng dụng trên.
Ngôn ngữ ký hiệu: Ngơn ngữ kí hiệu là hình thức thơ nhất và tự nhiên của ngôn ngữ đánh dấu, ngày trở lại sớm nhất là sự ra đời của nền văn minh của con ngƣời, khi các lý thuyết đầu tiên của ngôn ngữ ký hiệu xuất hiện trong lịch sử. Nó đã bắt đầu trƣớc khi có sự xuất hiện của ngơn ngữ nói, tay ngƣời đã đƣa ra các ngơn ngữ kí hiệu từ rất lâu đời vì vậy nghiên cứu và đánh giá cử chỉ bàn tay con ngƣời cũng đƣợc quan tâm rất nhiều và đƣợc nên ý tƣởng để ứng dụng vào hoạt động của máy móc trong hiện tại và tƣơng lai.
Dƣới đây là những phƣơng pháp thực hiện nhận diện cử chỉ hành động tay đƣợc thực hiện.
3.2.2 Những phương pháp nhận diện cử chỉ bàn tay
3.2.2.1 Phân đoạn ảnh dựa vào màu da.
Phân đoạn ảnh là một thao tác ở mức thấp trong tồn bộ q trình xử lý ảnh. Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói cách khác là xác định các biên của các vùng ảnh đó, các vùng ảnh đồng nhất này thông thƣờng sẽ tƣơng ứng với toàn bộ
29
hay từng phần của các đối tƣợng thật sự bên trong ảnh. Nhƣ vậy, mục tiêu của phân đoạn ảnh là làm nổi bật hoặc tách hẳn đối tƣợng cần quan tâm ra từ ảnh ban đầu, làm đơn giản hóa và thay đổi cách biểu diễn để dễ dàng phân tích hơn. Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lý và nhận dạng ảnh, phân đoạn ảnh ln đóng một vai trị quan trọng và cần thiết, nó thƣờng là bƣớc tiền xử lý đầu tiên trong toàn bộ quá trình trƣớc khi thực hiện các thao tác khác ở mức cao hơn nhƣ nhận dạng đối tƣợng, biểu diễn đối tƣợng hay truy vấn ảnh dựa vào nội dung. Da con ngƣời có màu rất đặc trƣng, có thể dễ dàng nhận dạng và nó cũng không bị ảnh hƣởng bởi các phép biến đổi hình học của đối tƣợng, vì vậy phát hiện bàn tay ngƣời dựa trên việc phát hiện da là một phƣơng pháp khá đơn giản và có thể thực hiện đƣợc.
Hình 3.2. phân đoạn ảnh dựa vào màu da
Phát hiện da là một bƣớc xử lý tìm kiếm trong ảnh các vùng và điểm ảnh có màu da rồi đƣa ra kết quả vùng bàn tay trên ảnh là vùng các điểm ảnh có màu da, phát hiện các điểm ảnh màu da có vẻ nhƣ khá dễ dàng, tuy nhiên, do phƣơng pháp này chỉ dựa vào thông tin về màu sắc nên các vùng ảnh không phải là bàn tay nhƣ khuôn mặt hay các vùng da khác trên cơ thể con ngƣời, thậm chí là các đối tƣợng khác có màu giống với màu da cũng bị nhận diện nhƣ là bàn tay. Do đó, việc phát hiện bàn tay dựa trên màu da chỉ có hiệu quả khi trong ảnh ngồi vùng bàn tay thì khơng chứa thêm các
30
đối tƣợng khác có màu da và vùng bàn tay phải có sự tách biệt với nền. Quy trình phát hiện da gồm 2 giai đoạn: Huấn luyện và phát hiện.
Huấn luyện để nhận dạng đƣợc màu da dựa trên 3 bƣớc cơ bản sau:
Thu thập dữ liệu về da từ nhiều ảnh khác nhau của nhiều ngƣời khác nhau và ảnh chụp trong các điều kiện khác nhau.
Lựa chọn một khơng gian màu thích hợp.
Học các thơng số về phân loại da.
Khi có bộ huấn luyện phát hiện da, tiến hành nhận dạng các điểm ảnh có màu da từ ảnh:
Chuyển đổi ảnh sang không gian màu đƣợc sử dụng trong giai đoạn huấn luyện.
Phân loại các điểm ảnh màu da hay không phải màu da.
Hoàn tất xử lý các đặc trƣng cần sử dụng hình thái học để áp đặt khơng gian thuần nhất trên các vùng đƣợc phát hiện.
Với ảnh đƣợc chụp dƣới điều kiện ánh sáng đƣợc kiểm soát, màu da con ngƣời phân bố thành một vùng nhỏ trong không gian màu. Để phát hiện điểm ảnh có màu da, ta cần định nghĩa ngƣỡng cho các thành phần của khơng gian màu, mỗi thành phần có thể có một hay nhiều giá trị ngƣỡng. Các điểm ảnh có giá trị thuộc phạm vi xác định trƣớc của tất cả các thành phần đƣợc coi là các điểm ảnh có màu da.
Karin Sobottka và Loannis Pitas [7] sử dụng các ngƣỡng cố định trong không gian màu HS. Các điểm ảnh có giá trị H nằm trong khoảng [0, 50], giá trị S nằm trong khoảng [0.23, 0.68] đƣợc xác định là điểm ảnh có màu da. Các giá trị ngƣỡng này phù hợp để phân loại các điểm ảnh có màu da đối với ảnh chụp ngƣời da trắng và da vàng. . Shimada, T. Yamashita [8] đề xuất một thuật tốn xác định các điểm ảnh có màu da có giá trị Cb nằm trong khoảng [77, 127] và giá trị Cr nằm trong khoảng [133, 173]. Nguyễn Văn Dũng [16] sử dụng các giá trị ngƣỡng trong không gian màu rgb (r + g + b = 1) và HSV. Trong đó, giá trị thành phần r của các điểm ảnh
31
nằm trong khoảng [0.36, 0.465], giá trị thành phần g nằm trong khoảng [0.28, 0.363], giá trị H nằm trong khoảng [0, 50], giá trị S nằm trong khoảng [0.20, 0.68], giá trị V nằm trong khoảng [0.35, 1] đƣợc xác định là điểm ảnh có màu da.
3.2.2.2 Kỹ thuật phát hiện biên
Biên là một trong những đặc trƣng quan trọng của ảnh, nó đƣợc dùng để mơ tả hình dạng của đối tƣợng khá hiệu quả. Để biểu diễn hình dạng đối tƣợng dựa trên đƣờng biên, trƣớc hết cần xác định biên của đối tƣợng và biểu diễn theo một phƣơng pháp nào đó. Đƣờng biên trƣớc tiên phải đƣợc nhị phân hóa, đây là giai đoạn then chốt trong q trình trích chọn vì nó xác định đƣờng bao nào thực sự cần và đƣờng bao nào có thể loại bỏ, việc mã hóa đƣờng bao có thể thực hiện theo nhiều cách khác nhau, có thể dùng biểu diễn chính xác đƣờng biên hay xấp xỉ nhờ nội suy. Thông thƣờng các cấu trúc cơ sở mã hóa đƣờng biên gồm 4 loại: điểm, đoạn thẳng, cung và đƣờng cong. Tuy nhiên, ln có xung đột giữa độ phức tạp tính tốn và khả năng biểu diễn ảnh của cách mã hóa thơng tin, biểu diễn đƣờng biên bởi các điểm nói chung khơng phức tạp song lại rất nghèo nàn về cấu trúc và khơng cơ đọng. Trong khi đó, biểu diễn bằng đƣờng cong đa thức bậc cao làm tăng độ phức tạp tính tốn, song bù lại cấu trúc dữ liệu lại rất cô đọng [9].
32
3.2.2.3 Trích trọn đặc trưng dựa vùng liên kết
Các đối tƣợng hình học đƣợc phát hiện thƣờng thông qua các kỹ thuật dò biên, kết quả tìm đƣợc này là các đƣờng biên xác định đối tƣợng. Đó là, một dãy các điểm liên tiếp đóng kín, sử dụng các thuật tốn đơn giản hóa nhƣ Douglas Peucker, Band Width [10] ta sẽ thu đƣợc một polyline hay nói khác đi là thu đƣợc một đa giác xác định đối tƣợng. Một đa giác có thể có hình dạng tựa nhƣ một hình cơ sở, có thể có nhiều cách tiếp cận xấp xỉ khác nhau. Cách xấp xỉ dựa trên các đặc trƣng cơ bản sau:
- Đặc trưng tồn cục: Các mơmen thống kê, số đo hình học nhƣ chu
vi, diện tích, tập tối ƣu các hình chữ nhật phủ hay nội tiếp đa giác.
- Đặc trưng địa phương: Các số đo đặc trƣng của đƣờng cong nhƣ
góc, điểm lồi, lõm, uốn, cực trị.
Việc xấp xỉ tỏ ra rất có hiệu quả đối với một số hình phẳng đặc biệt nhƣ tam giác, đƣờng trịn, hình chữ nhật, hình vng, hình ellipse và một đa giác mẫu.
3.3 Điều khiển robot
Với một hệ thống robot, để điều khiển một cách tốt nhất thì cần phải xây dựng đƣợc bài toán động học thuận và động học ngƣợc [11]. Khi xây dựng hồn thiện bài tốn, hệ thống robot có thể điều khiển trực tiếp bằng các giá trị góc (góc nghiêng, góc ngẩng, góc cuộn). Các phép tính tốn sẽ chuyển đổi giá trị các góc này sang độ dài của các chân robot cần phải dịch chuyển để đạt đƣợc giá trị khoảng cách mong muốn.
3.3.1 Tính tốn động học thuận.
Bài tốn động học thuận nhằm mơ tả vị trí và hƣớng của phần công tác dƣới dạng hàm số của biến khớp, giải quyết bài toán động học thuận của robot thực chất là chúng ta cho trƣớc cấu hình của robot và quy luật chuyển động của các khâu, từ đó chúng ta xác định quy luật chuyển động của bàn kẹp (điểm tác động cuối). Để giải bài toán động học thuận ta có thể dùng phƣơng pháp hình học giải tích, phƣơng pháp này chỉ áp dụng
33
cho các cơ cấu đơn giản. Để giải các bài toán tổng quát ta cần một phƣơng pháp giải chung, có 2 phƣơng pháp chính đƣợc sử dụng phổ biến và phƣơng pháp Denavit-Hartenberg và phƣơng pháp Craig [12]. Trong nội dung luận văn này tơi xin trình bày phƣơng pháp Denavit-Hartenberg mà tôi đã ứng dụng [17].
Hình 3.4. Hình minh họa động học thuận của cánh tay robot.
Ma trận chuyển đổi tổng quát giữa link i và i+1:
Bảng 3.1. Thông số D – H của tay máy robot Khâu a d
1 L1 90 d1
2 L2 0 0
3 L3 0 0
34
Với thông số thiết kế: L1 = 0mm, d1 = 100 mm, L2 = 120mm, L3 = 120mm, L4 = 100mm. A là khoảng cách giữa 2 trục Z, alpha là góc giữa 2 trục Z, d là khoảng cách giữa 2 trục X, theta là góc giữa 2 trục X.
Các ma trận chuyển đổi: (3.1) (3.2) (3.3) (3.4) T = T1*T2*T3*T4 T = (3.5) 3.3.2 Tính tốn động học nghịch.
Động học ngƣợc là bài tốn xác định góc quay của các khớp khi biết vị trí khâu tác động cuối của robot.
Đặc điểm:
35
Nghiệm cũng không duy nhất
Tính tốn động học nghịch bằng phƣơng pháp hình học: Ta có: L1 = 0mm, d1 = 100mm, L2 = 120mm, L3 = 120mm, L4 = 100mm. Bảng 3.2. Cơng thức tính động học nghịch Thơng số Cơng thức tính atan2(y, x) d √
Q sẽ có giá trị trong khoảng 0 đến 120 độ
r3 d – L4*cos(Q) z3 z + L4*sin(Q) s √ α | atan2(z3 - d1, r3) | α + Q +
Bài toán động học nghịch nhằm xác định bộ thông số động học để đảm bảo chuyển động cho trƣớc của phần cơng tác. Nhiều trƣờng hợp có thể có nghiệm tìm đƣợc bằng tốn học, nhƣng lại khơng chấp nhận đƣợc về mặt vật lý, do các rằng buộc về kết cấu của robot. Việc tìm nghiệm phù hợp địi hỏi ở ngƣời thiết kế một trực giác về mặt toán học, kết cấu để dự đoán những đặc điểm hoặc khu vực khả dĩ giảm đƣợc số nghiệm cần lựa chọn.
36
CHƢƠNG 4:
ĐÁNH GIÁ VÀ KẾT QUẢ
Hiệu quả của các phƣơng pháp đề xuất cùng với cách thức kiểm tra và điều kiện kiểm tra sẽ đƣợc mô tả trong chƣơng 4 này. Dựa trên các kết quả thu đƣợc, và sự hoạt động ổn định của hệ thống sẽ đƣa ra kết luận và đánh giá giữa các phƣơng pháp để đảm bảo tính chính xác và hƣớng phát triển thêm của luận văn.
4.1 Công cụ và kịch bản thực nghiệm Công cụ thực nghiệm
Máy tính:
OS: Microsoft Window 10 64 bits
CPU: Intel Core i5-3110M 2.5Ghz
RAM: 8Gb.