Dựa vào ứng dụng của robot trong sản xuất có robot sơn, hàn, lắp ráp, chuyển phôi…
2.5.4. Phân loại theo cách thức và đặc trưng của phương pháp điều khiển
Có robot điều khiển hở (mạch điều khiển không có các quan hệ phản hồi), robot điều khiển kín (hay điều khiển servo) sử dụng cảm biến, mạch phản hồi để tăng độ chính xác và mức độ linh hoạt khi điều khiển.
Ngoài ra còn có các thể có cách phân loại khác tùy theo quan điểm và mục đích nghiên cứu.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Chƣơng 3
ĐIỀU KHIỂN CÁNH TAY ROBOT BẰNG XỬ LÝ ẢNH 3.1. Ứng dụng xử lý ảnh trong công nghiệp
Thị giác máy tính là một hệ thống gồm một hay hai camera quan sát, kết hợp với máy tính và chƣơng trình phần mềm có khả năng phân tích cao, giúp cho hệ thống có khả năng nhận biết đƣợc môi trƣờng trong vùng quan sát của camera [8].
Trong sản xuất công nghiệp ngày nay có rất nhiều nhiệm vụ công nghệ chế tạo có sự tham gia của xử lý ảnh. Với các bộ cảm biến (sensor) truyền thống nhƣ siêu âm, hồng ngoại, áp lực, ... thì việc cảm nhận, xác định các đối tƣợng trong nhiều trƣờng hợp khó khăn thậm chí không thực hiện đƣợc nhƣ kiểm tra lỗi trong sản xuất in ấn, các chi tiết máy không phản ứng với các sensor truyền thống,... khi đó việc sử dụng xử lý ảnh là giải pháp thích hợp.
Robot công nghiệp ngày nay đang đƣợc sử dụng rất nhiều trong nền công nghiệp hiện đại nó thay thế cho sức lao động của con ngƣời với những ƣu điểm nhƣ độ chính xác cao, độ ổn định, chi phí thấp, sản xuất ổn định,…Với mục đích làm tăng tính linh hoạt của robot công nghiệp phục vụ cho sản xuất và ứng dụng công nghệ thông tin trong lao động sản xuất ngƣời ta có thể sử dụng xử lý ảnh để xác định tọa độ vị trí của đối tƣợng với gốc tọa độ sau đó đƣa các thông tin này cho máy tính công nghiệp để điều khiển cách tay robot.
Dù cho các công nghệ về nhận dạng và phân loại ảnh đã đạt đƣợc nhiều thành tựu đáng chú ý, lĩnh vực này vẫn còn nhiều vấn đề kỹ thuật cần giải quyết. Các vấn đề này thƣờng bao gồm: sự “méo” của đối tƣợng do môi trƣờng có nhiễu, góc quay từ cảm biến hình ảnh tới đối tƣợng. Đôi khi sự thay đổi của đối tƣợng cần nhận dạng không đƣợc biểu diễn một các chính xác do các giải thuật đƣợc ứng dụng với tập dữ liệu hạn chế. Ngoài ra đối tƣợng có thể bị méo trong quá trình xử lý ảnh. Trong các điều kiện thực tế khó khăn này, một hệ thống nhận dạng đáng tin cậy cần phải thực thi đƣợc chức năng nhận dạng phân loại theo thời gian thực với tỉ lệ chuẩn
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
xác cao. Do đó, việc cải tiến phát triểu các hệ thống xử lý ảnh cũng nhƣ các giải thuật là điều hết sức cần thiết đối với nhận dạng đối tƣợng cần sự chính xác và tốc độ cao. Luận văn này đƣợc thực hiện với các điều kiện sự méo ảnh nhỏ, không đáng kể (giả thiết này là hợp lý với các hệ xử lý ảnh công nghiệp với khoảng cách gần và vùng quan sát nhỏ, các thiết bị có độ chính xác cao).
3.2. Cánh tay robot điều khiển bằng thông tin chiết xuất từ ảnh.
Trong thực tế sản xuất công nghiệp có nhiều công việc đã đƣợc thực hiện tự động bằng các cánh tay robot. Chẳng hạn gắp các chi tiết máy trên một mặt phẳng để đƣa sang một công đoạn khác. Các chi tiết có nhiều hình dạng khác nhau; từ loại đơn giản nhƣ hình tròn (các vòng đệm, vòng găng, nắp máy,...), hình lục giác (đai ốc) hoặc hình vuông,... cho tới các hình dạng phức tạp. Trong nhiều trƣờng hợp của Tự động hóa quá trình sản xuất và Điều khiển tự động, các đối tƣợng hình dạng cứng cần nhận biết thƣờng đƣợc xác định bằng các sensor nhƣ sensor siêu âm, hồng ngoại. Các sensor siêu âm dễ bị nhiễu và thƣờng phải dùng 1 vài sensor phối hợp. Các sensor hồng ngoại không cho các thông tin về hình dạng. Trong trƣờng hợp này, sử dụng giải pháp ứng dụng xử lý ảnh để xác định đối tƣợng (chi tiết gia công) sẽ hiệu quả hơn so với dùng siêu âm và hồng ngoại.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.2: a) Ốc máy b) Phụ tùng máy
Các camera sẽ thu ảnh của các chi tiết máy với các hình dạng khác nhau. Sau đó chƣơng trình xử lý ảnh sẽ xác định vị trí của các chi tiết máy rồi cung cấp các thông tin này cho máy tính điều khiển cánh tay robot đến đúng vị trí của chi tiết máy, gắp các chi tiết này di chuyển đến vị trí cần thiết khác của quy trình công nghệ gia công (hoặc lắp ráp).
Hình 3.3: Quá trình xử lý
Các bài toán: Các bài toán cần đƣợc giải quyết theo độ phức tạp tăng dần:
+ Tìm vị trí của chi tiết máy theo yêu cầu. Ví dụ tìm vị trí của chi tiết hình tròn, hình chữ nhật, hình lục giác, ...
+ Tìm vị trí của chi tiết xác định theo yêu cầu trong nhóm các chi tiết có hình dạng khác với chi tiết cần xác định vị trí và các chi tiết không chồng lên nhau. Ví dụ: Xác định vị trí của chi tiết hình tròn trong số các chi tiết có hình vuông, lục giác, ...
+ Tìm vị trí của chi tiết xác định theo yêu cầu trong nhóm các chi tiết có hình dạng khác với chi tiết cần xác định vị trí và các chi tiết có thể chồng lên nhau.
Thu ảnh từ camerra
Dùng xử lý ảnh tính ra các thông tin cần thiết.
Cung cấp thông tin cho máy tính điều khiển.
Tay robot
Camera
Mặt phẳng chứa chi tiết máy Máy tính công nghiệp
Cơ cấu chấp hành (adsbygoogle = window.adsbygoogle || []).push({});
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.4: Cánh tay robot điều khiển bằng thông tin chiết xuất từ hình ảnh
Một quá trình thu ảnh đối tƣợng công nghiệp để xác định các thông tin dùng cho tay máy gồm các bƣớc nhƣ hình 3.5.
Hình 3.5: Sơ đồ hệ thống điều khiển cánh tay robot
Trong hình 3.5 gồm các bƣớc:
Bƣớc 1. Thu ảnh: Sử dụng camera tốc độ bắt ảnh cao bắt ảnh đa cấp xám. Các bƣớc 2, 3, 4 thực hiện trên máy tính công nghiệp, trong đó:
Bƣớc 2: Làm tốt ảnh lên. Phân ngƣỡng để có ảnh nhị phân.
Bƣớc 3: Phân nhóm đối tƣợng: Trong vùng làm việc camera thu đƣợc có thể có nhiều đối tƣợng có hình dạng khác nhau; chẳng hạn có 2 nhóm một nhóm có hình tròn và một nhóm có hình chữ nhật (vuông). Trƣớc hết cần phân biệt hai nhóm này bằng biến đổi Hough.
Bƣớc 4: Tính toán vị trí các đối tƣợng.
Bƣớc 5: Sử dụng các thông tin để điều khiển cánh tay robot đến vị trí yêu cầu. Bƣớc 6: Kiểm tra xem cánh tay có đến đúng vị trí cần thiết không để điều khiển tinh chỉnh (nếu cần thiết). Sau đó thực hiện tác động (gắp đối tƣợng đến nguyên công tiếp theo)
3.3. Giới thiệu camera Eye-RIC
Điều khiển cánh tay robot Thu ảnh Tiền xử lý: Giảm nhiễu Phân ngƣỡng Phân biệt nhóm đối tƣợng cần tính toán Tính toán vị trí các đối tƣợng Kiểm tra;Tác động
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.6: Camera Eye- RIC
Đặc điểm kỹ thuật, thông số kỹ thuật: + Tốc độ bắt ảnh: 10000fps + Độ phân giải: 176 x 144 pixels + Optics: C-mount 1/2’’
+ Kích thƣớc: 47x47x26.53mm3
+ Phạm vi hoạt động:
o > 50dB tích hợp
o Lên đến 120dB lập trình
+ Cảm biến đọc: Tích hợp 4ADCs and 4DACs (8-bit at 50MHz) cho ảnh xám.
+ Hệ thống nhúng thông minh cho mỗi điểm ảnh: Lƣu trữ đến đến 6 hình ảnh màu xám và 4 hình ảnh nhị phân.
+ Điều khiển và xử lý hình ảnh: Sử dụng chip Altera Nios II 32bit RISC bộ vi xử lý chạy ở 100MHz, 16MB SDRAM cho chƣơng trình và hình ảnh / lƣu trữ dữ liệu, EPC flash 8MB.
+ Các cổng vào/ra: USB 2.0, UART…
+ Ống kính, Pentax CCTV Lenses tiêu cự 50mm f1.4. Ống kính có thể thay đổi bằng cách xoawys ren để thay.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/ Phần mềm điều khiển Eye-RIS ADK 10.2
- ADK Eye-RIS là môi trƣờng phát triển phần mềm đƣợc cung cấp với Eye-IS hệ thống phát triển ứng dụng.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.7: Cài đặt phần mềm ứng dụng
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.9: Kết thúc quá trình cài đặt (adsbygoogle = window.adsbygoogle || []).push({});
Hình 3.10: Giao diện chính của phần mềm Eye-RIS ADK 10.2 3.4. Xác định vị trí đối tƣợng bằng xử lý ảnh
3.4.1. Xác định vị trí đối tượng hình tròn
+ Thông tin yêu cầu xác định: Do hình tròn có đặc điểm đối xứng nên chỉ cẩn xác định tâm và đƣờng kính của chi tiết hình tròn để cung cấp cho máy tính công nghiệp.
0 Ymax Xmax Xmin X Y M N XO, YO Ymin
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.11: Tìm tâm hình học của một hình bất kỳ
+ Thuật toán: Tìm đối tƣợng hình tròn
o Thuật toán 1: Tìm điểm cực trái của đối tƣợng theo phƣơng Ox. B1. Thu ảnh từ camera
B2. Chia ảnh MxN thành từng mảng MM có N phần tử
B3. Trên từng mảng MM tìm điểm đem đầu tiên từ trái sang. Nếu có thì cập nhật vị trí của điểm đó vào mảng Mngang1
B4. Trên từng mảng Mngang1 tính giá trị min(MM). Đây chính là vị trí của điểm cực trái của đối tƣợng.
o Thuật toán 2: Tìm điểm cực phải của đối tƣợng trong ảnh theo phƣơng Ox.
B1. Thu ảnh từ camera
B2. Chia ảnh MxN thành từng mảng MM có N phần tử
B3. Trên từng mảng MM tìm điểm đem đầu tiên từ phải sang. Nếu có thì cập nhật vị trí của điểm đó vào mảng Mngang2
B4. Trên từng mảng Mngang2 tính giá trị min(MM). Đây chính là vị trí của điểm cực phải của đối tƣợng.
o Thuật toán 3: Tìm điểm của đối tƣợng có tọa độ gần trục Ox nhất (Ymin) B1. Thu ảnh từ camera
B2. Chia ảnh MxN thành từng mảng NN có M phần tử
B3. Trên từng mảng NN tìm điểm đem đầu tiên từ trên xuống. Nếu có thì cập nhật vị trí của điểm đó vào mảng Ndọc1
B4. Trên từng mảng Ndọc1 tính giá trị min(NN). Đây chính là vị trí của điểm có tọa độ gần trục Ox nhất của đối tƣợng.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
o Thuật toán 4: Tìm điểm của đối tƣợng có tọa độ xa trục Ox nhất (Ymax) B1. Thu ảnh từ camera
B2. Chia ảnh MxN thành từng mảng NN có M phần tử
B3. Trên từng mảng NN tìm điểm đem đầu tiên từ phía dƣới lên. Nếu có thì cập nhật vị trí của điểm đó vào mảng Ndọc2
B4. Trên từng mảng Ndọc2 tính giá trị min(NN). Đây chính là vị trí của điểm có tọa độ gần trục Ox nhất của đối tƣợng.
3.4.2. Xác định vị trí đối tượng hình vuông
+ Thông tin yêu cầu xác định: Giả thiết đã biết kích thƣớc chi tiết hình chữ nhật. Do biên của hình vuông không đối xứng với tâm nên cần xác định tâm và góc lệc của cạnh với trục tọa độ (đứng hoặc ngang) để cung cấp cho máy tính công nghiệp.
+ Thuật toán: O X Y A B C D Xmax Xmin Ymin Ymax θ
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.12: Tìm đỉnh và góc lệch của hình vuông (adsbygoogle = window.adsbygoogle || []).push({});
Để xác định các đỉnh của hình vuông dựa trên thuật toán tìm đối tƣợng hình tròn. Sau đó tính dọc lệch θ giữa cạnh AD với trục Oy.
Trƣờng hợp góc lệch θ = 0o
thì cạnh AD song song với trục Oy. Trƣờng hợp góc lệch θ = 90o
thì cạnh AD song song với trục Ox.
3.4.3. Xác định vị trí đối tượng hình tròn lẫn với các đối tượng hình vuông trong mặt phẳng chi chi tiết máy
Thông tin yêu cầu xác định: Giả thiết các chi tiết không đè lên nhau và đã biết kích thƣớc chi tiết hình tròn. Trƣớc hết cần phân biệt hình vuông với các hình khác. Sau đó thực hiện tìm tọa độ tâm và và góc lệch của cạnh với trục tọa độ (đứng hoặc ngang) để cung cấp cho máy tính công nghiệp.
Giả thiết: Các đối tƣợng hình tròn có kích thƣớc đã biết và bằng nhau.
Hình 3.13: Không gian thực
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.14: Không gian thực chỉ còn hình tròn
+ Điều khiển cánh tay robot gắp dần từng chi tiết theo chiều từ dƣới lên. + Thuật toán xác định vị trí các đối tƣợng hình tròn.
Hình 3.15: Thuật toán chung
+ Với trƣờng hợp đặc biệt nhƣ hình vẽ dƣới đây:
Y Begin Thu ảnh Tìm đối tƣợng hình tròn để gắp Có đối tƣợng Xác định vị trí đối tƣợng Máy tính điều khiển tay robot
Tiếp tục?
Kết thúc
N
N
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.16: Các đuối tƣợng hình tròn nằm đối xứng nhau
+ Để điều khiển cánh tay robot gắp từng đối tƣợng nhƣn trong hình vẽ trên, điều khiển cánh tay robot gắp đối tƣợng từ dƣới lên và từ trái sang (Xmin,Ymax) hoặc gắp đối tƣợng từ trên xuống và từ trái sang (Xmin,Ymin).
3.4.4. Kết quả thực nghiệm
+ Kết quả thực nghiệm 1: Tìm đối tƣợng hình tròn
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.18: Kết quả sau khi xử lý
Hình 3.19: Kết quả tính toán
+ Kết quả thực nghiệm 2: Tìm đối tƣợng hình vuông đặt song song với trục OY.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.21: Kết quả sau khi xử lý
Hình 3.22: Kết quả tính toán (adsbygoogle = window.adsbygoogle || []).push({});
+ Kết quả thực nghiệm 3: Tìm đối tƣợng hình vuông đặt lệch góc với trục OY.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 3.24: Kết quả thu đƣợc sau quá trình xử lý
Hình 3.25: Kết quả tìm tọa độ các đỉnh và góc lệch
Trên hình 3.25 là kết quả thu đƣợc sau khi xử lý ảnh hình 3.24. Tọa độ các điểm ảnh hay chính là các đỉnh của hình vuông lần lƣợt là A(107, 23), B(140,111), C(53, 140), D(20, 52) và góc lệch của hình vuông với trục tọa độ Oy là 71,5650520
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
KẾT LUẬN
Phƣơng pháp sử dụng biến đổi Hough trong xử lý ảnh để phân biệt các chi tiết máy có hình dạng khác nhau sau đó xác định vị trí của chi tiết để điều khiển cánh tay robot trình bày trong luận văn là một phƣơng pháp có độ chính xác cao và thƣờng đƣợc áp dụng trong thực tế sản xuất công nghiệp. Phƣơng pháp này đƣợc áp dụng trong trƣờng hợp camera đặt vuông góc và chính tâm của mặt phẳng làm việc chứa các chi tiết. Nếu vì lý do kỹ thuật camera không đặt đƣợc vuông góc và chính giữa mặt phẳng làm việc thì cần có các phép biến đổi để hiệu chỉnh.
Việc nghiên cứu ứng dụng xử lý ảnh trong công nghiệp hiện nay cần phải đƣợc đẩy mạnh hơn nữa để đáp ứng đƣợc các nhu cầu của thực tiễn. Hƣớng cứng hóa các thuật toán và các bƣớc xử lý trên các mạch FPGA là một bƣớc đi nhiều tiềm năng tạo ra các sản phẩm có thể ứng dụng trong thực tế; nhất là trong công nghiệp và quân sự.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
TÀI LIỆU THAM KHẢO Tiếng Việt:
[1]. Đỗ Năng Toàn, Phạm Việt Bình, Giáo trình xử lý ảnh, Khoa công nghệ thông