Để hoàn thành đồ án thiết kế hệ thống điều khiển Robot Mitsubishi và giám sát hệ thống phân loại sản phẩm thông qua xử lý ảnh ta cần thực hiện các nội dung sau: - Tìm hiểu phần cứng cho hệ thống gồm PLC, Robot và các thiết bị phụ trợ đi kèm như băng tải, cảm biến, camera, các van khí nén. - - Cấu hình các thông số cho thiết bị trong hệ thống và lập trình cho PLC Xử lý ảnh và thiết kế giao diện điều khiển giám sát trên PC Đồ án đã hoàn thành đáp ứng đầy đủ các yêu cầu được đề ra. Sử dụng các thiết bị của hãng Mitsubishi, hệ thống Robot đã được điều khiển vận hành ổn định. Điều này cho thấy đồ án có tính ứng dụng cao trong các tình huống thực tế.
GIỚI THIỆU KHÁI QUÁT
Tổng quan về cánh tay Robot trong công nghiệp
Cánh tay Robot trong công nghiệp
Cánh tay robot đã trở thành một phần quan trọng trong công nghiệp hiện đại Với khả năng linh hoạt và sức mạnh vượt trội, chúng đã thay đổi cách thức sản xuất và gia tăng năng suất trong nhiều lĩnh vực
Cánh tay robot trong công nghiệp được thiết kế để thực hiện các tác vụ lặp đi lặp lại, từ những hoạt động nhẹ nhàng như chấm điểm sản phẩm cho đến những nhiệm vụ nặng nhọc như nâng vật nặng Với khả năng cung cấp độ chính xác và độ tin cậy cao, chúng giúp loại bỏ nhân công và giảm rủi ro trong quá trình sản xuất.Cánh tay robot trong công nghiệp thường được điều khiển bằng các hệ thống tự động thông minh, có thể lập trình để thực hiện các chuỗi công việc phức tạp Sự linh hoạt của chúng cho phép thay đổi công việc và tác động mà không cần thay đổi cấu trúc vật liệu hoặc thiết kế
Ngoài ra, cánh tay robot trong công nghiệp còn có khả năng làm việc trong môi trường nguy hiểm hoặc khắc nghiệt mà con người khó tiếp cận Chúng có thể được sử dụng trong các nhà máy hóa chất, xử lý chất thải, công nghệ y tế và nhiều ngành công nghiệp khác, giúp giảm thiểu nguy cơ cho con người và tăng cường hiệu suất làm việc
Cánh tay robot có nhiều loại khác nhau và mỗi loại được chế tạo, thiết kế khác nhau Tuy nhiên, ba thành phần chính cấu tạo nên cánh tay robot là: tay máy, hệ thống điều khiển, hệ thống quản lý và vận hành
- Tay máy: Đây là bộ phận cơ khí gồm các khâu, khớp được chế tạo gần giống với cánh tay con người Nó có khả năng chuyển động cơ bản trục xoay linh hoạt Tay máy được hoạt động bởi cổ tay khéo léo, cử động dễ dàng, thực hiện các thao tác trực tiếp hoàn thành công việc Các chi tiết được nối với
Hình 1.1 Ứng dụng của cánh tay Robot
2 nhau bằng khớp trượt và khớp xoay giúp cánh tay robot trở nên linh hoạt hơn
- Hệ thống điều khiển: Hệ thống điều khiển là bộ phận đảm nhận nhiệm vụ tiến hành các thao tác sau khi các tín hiệu đã được tiếp nhận và xử lý Các chức năng của hệ thống điều khiển sẽ phân cấp nhiều mức độ khác nhau từ đơn giản đến phức tạp tùy theo yêu cầu của mỗi hoạt động
- Hệ thống quản lý và vận hành: Việc quản lý này cánh tay robot sẽ được dựa trên phần mềm được lập trình sẵn Phần mềm này chính là phương tiện để người vận hành truyền đạt mệnh lệnh đến cho robot
Với sự tiến bộ trong công nghệ, cánh tay robot trong công nghiệp ngày càng thông minh hơn và được tích hợp các công nghệ như trí tuệ nhân tạo, học máy và thị giác máy tính Điều này mang lại tiềm năng lớn cho sự phát triển và ứng dụng của cánh tay robot trong tương lai, mở ra cơ hội mới cho nhiều ngành công nghiệp khác nhau
Hiện nay, cánh tay robot trong công nghiệp đóng vai trò quan trọng trong việc cải thiện quy trình sản xuất, tăng cường hiệu suất và giảm nguy cơ cho con người Với khả năng linh hoạt, sức mạnh và tích hợp công nghệ tiên tiến, chúng đang trở thành một phần không thể thiếu trong công nghiệp hiện đại và hứa hẹn sẽ tiếp tục phát triển mạnh mẽ trong tương lai
Tổng quan dòng Robot RV-FR
MELFA-FR Series là một dòng Robot công nghiệp được Mitsubishi phát triển, được cải tiến từ dòng MELFA-F Series Điểm nổi bật của MELFA-FR là tối ưu hóa độ dài của các cánh tay và sử dụng 6 trục chuyển động, tạo điều kiện cho cánh tay Robot có khả năng chuyển động linh hoạt hơn Điều này giúp nâng cao hiệu suất trong các quy trình lắp ráp tốc độ cao và giải quyết các nhu cầu phức tạp Thiết kế của MELFA-FR cũng đáng chú ý với phần thân máy nhỏ gọn hơn và cánh tay mỏng hơn Điều này giúp tối ưu không gian làm việc của Robot và cải thiện khả năng chịu tải của nó Nhờ vào những cải tiến này, MELFA-FR Series đạt được
Hình 1.2 Cánh tay Robot Công nghiệp
3 sự linh hoạt và hiệu suất cao, là lựa chọn tốt cho các ứng dụng công nghiệp đòi hỏi độ chính xác và tốc độ trong quy trình sản xuất và lắp ráp
Robot RV-FR được thiết kế để hoạt động mượt mà và hiệu quả trong nhiều điều kiện môi trường khác nhau, đồng thời cung cấp cấp bảo vệ tối đa với chuẩn IP67 Các trục của Robot được bố trí một cách linh hoạt, cho phép nó thực hiện nhiều công đoạn trong nhà xưởng Công việc của Robot có thể bao gồm vận chuyển các bộ phận máy móc, lắp ráp các chi tiết, và linh kiện điện tử Điều này cho thấy sự đa dạng và khả năng thích ứng của Robot RV-FR trong các tác vụ sản xuất và lắp ráp
Thông số kỹ thuật về các dòng RV-FR:
Dòng Robot này sử dụng cánh tay có thể gập được nên giúp làm mỏng thiết bị, cho phép hoàn thành các chuyển động gần Robot hơn bao giờ hết
Hình 1.4 Hình minh họa khả năng gập của dòng Robot RV-FR
Trục J4 của Robot được mở rộng phạm vi vận hành để linh hoạt thay đổi các tư thế của Robot trong quá trình lắp ráp và vận chuyển Điều này cũng giúp tiết kiệm việc di chuyển không cần thiết của các trục khác của Robot theo hướng ngược lại trong quá trình vận hành
Hình 1.3 Thông số kỹ thuật một số dòng Robot RV-FR
Hình 1.5 Phạm vi vận hành của trục J4 được mở rộng
Phạm vi vận hành của trục đứng của Robot đã được mở rộng, giúp tăng cường tính linh hoạt khi bố trí và lắp đặt Robot Điều này cho phép hiệu quả hơn trong việc sử dụng không gian tiếp cận xung quanh toàn bộ chu vi của Robot, bao gồm cả phía sau Nhờ điều này, khoảng cách di chuyển của Robot sẽ ngắn hơn, từ đó rút ngắn thời gian nghỉ của máy và tăng cường hiệu suất hoạt động
Hình 1.6 Phạm vi vận hành trục đứng được mở rộng
Tổng quan về quá trình xử lý ảnh
Việc xử lí ảnh trong công nghiệp đã trở thành một phần không thể thiếu trong quy trình sản xuất hiện đại Sự phát triển của công nghệ đã mở ra nhiều cơ hội và ứng dụng mới cho việc áp dụng xử lí ảnh, đóng góp đáng kể vào sự tăng cường chất lượng, hiệu suất và độ chính xác trong nhiều ngành công nghiệp
Xử lí ảnh trong công nghiệp thường được sử dụng để kiểm tra và phân loại sản phẩm, giám sát quá trình sản xuất, và đảm bảo chất lượng Công nghệ xử lí ảnh cho phép thu thập thông tin từ hình ảnh và phân tích dữ liệu để kiểm tra sự đồng nhất, phát hiện các khuyết tật hoặc lỗi sản phẩm, và thậm chí dự đoán và ngăn chặn các sự cố tiềm ẩn
Công nghệ xử lí ảnh trong công nghiệp thường sử dụng các phương pháp như xử lí ảnh số, phân đoạn hình ảnh, nhận dạng đối tượng, và phân tích thống kê Điều này cho phép hệ thống tự động nhận biết và phân loại các yếu tố quan trọng, như kích thước, hình dạng, màu sắc, và các đặc điểm khác của sản phẩm
Sự tiên tiến trong công nghệ xử lí ảnh cũng đã dẫn đến sự phát triển của các ứng dụng đa dạng trong các ngành công nghiệp khác nhau Ví dụ, trong ngành sản xuất ô tô, hệ thống xử lí ảnh có thể tự động kiểm tra và phát hiện các khuyết tật nhỏ, từ vết xước đến sai sót trong sơn Trong ngành y tế, xử lí ảnh được sử dụng để chẩn đoán và theo dõi bệnh tật, từ việc phát hiện ung thư đến đo lường các chỉ số sinh lý
Việc áp dụng xử lí ảnh trong công nghiệp không chỉ giúp tăng cường hiệu suất và độ chính xác, mà còn giảm thiểu sai sót và tiết kiệm thời gian Nhờ vào khả năng tự động hóa và tích hợp công nghệ thông minh, xử lí ảnh đã trở thành công cụ quan trọng giúp nâng cao chất lượng sản phẩm và quy trình sản xuất
Xử lí ảnh trong công nghiệp đã đóng vai trò quan trọng trong việc cải thiện quy trình sản xuất, đảm bảo chất lượng và nâng cao hiệu suất Sự tiên tiến trong công nghệ và ứng dụng đa dạng đã mở ra nhiều cơ hội mới cho việc áp dụng xử lí ảnh trong các ngành công nghiệp, tạo nên sự phát triển bền vững và tiến bộ cho nền kinh tế.
Mục tiêu đề tài
Đề tài nhằm mục tiêu hút các vật có dán mã QR Code từ băng tải và di chuyển chúng đến các vị trí đã thiết lập trước, dựa vào kết quả xử lý ảnh để phát tín hiệu cho Robot thực hiện chu trình chuyển động, sử dụng thư viện Zxing.Net để đọc mã QR Code
Hình 1.7 Ứng dụng xử lý ảnh trong điều khiển Robot
6 Để hoàn thành đồ án "Điều khiển Robot Mitsubishi và xử lý ảnh QR Code để hút và thả vật," chúng tôi đã tiến hành các nội dung sau:
1 Tìm hiểu và vận hành hệ thống gồm PLC, Robot và các thiết bị phụ trợ như băng tải, cảm biến, camera, và van khí nén
2 Cấu hình các thông số cho thiết bị trong hệ thống và lập trình cho PLC
3 Xử lý ảnh và thiết kế giao diện điều khiển giám sát trên PC
4 Tạo một trang web báo cáo kết quả lấy dữ liệu từ kết quả xử lý ảnh và vận hành Robot lưu trữ trên Microsoft SQL
Chúng tôi đã nghiên cứu và thực hiện các công việc trên để đạt được mục tiêu đề ra trong đề tài
QUÁ TRÌNH XỬ LÝ ẢNH CHO QR CODE
Giới thiệu chung về QR code
"Mã QR" là viết tắt của "Quick Response," nó ám chỉ đến khả năng nhanh chóng giải mã lượng lớn thông tin mà nó chứa bằng máy quét
Mã QR là một loại mã vạch hai chiều hoặc ma trận được sáng tạo tại Nhật Bản bởi Denso Wave Thường được gọi là mã 2D, mã vạch 2D hoặc mã di động, nó có thể được đọc bằng máy quét và bao gồm các mô-đun màu đen trên nền trắng Được định nghĩa bởi tiêu chuẩn công nghiệp ISO/IEC18004 vào tháng 6 năm 2000, mã QR được phát triển và bảo vệ bởi công ty Nhật Bản Denso Wave Incorporated, là thành viên của tập đoàn Toyota
Mã QR có khả năng chứa hàng ngàn ký tự chữ và số, trong khi mã vạch chỉ giới hạn tối đa 20 ký tự Ban đầu, mã hai chiều này được phát triển để theo dõi các bộ phận ô tô, nhưng hiện nay chúng đã được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau
Mã QR ngày càng được ứng dụng trong các lĩnh vực như liên kết trực tiếp đến trang web, gắn nhãn sản phẩm, chiến dịch quảng cáo, gửi tin nhắn SMS, cung cấp thông tin liên hệ, và còn nhiều ứng dụng khác Thông tin được lưu trữ trong mã có thể thay đổi từ thông tin theo dõi sản phẩm trong các ngành công nghiệp đa dạng, cho đến thông tin chi tiết về một doanh nghiệp trên một danh thiếp, kèm theo liên kết đến trang web cụ thể Đáng chú ý, các mã nhỏ gọn này còn có thể được ẩn bên trong hình ảnh
Hệ thống QR Code gồm có một bộ mã hóa và bộ giải mã Bộ mã hóa chịu trách nhiệm mã hóa dữ liệu và tạo ra QR Code, trong khi đó bộ giải mã sẽ giải mã dữ liệu từ QR Code đó
Quá trình phát triển của QR code
Vào năm 1970, IBM đã phát triển biểu tượng mã UPC gồm 13 chữ số để tự động nhập vào máy tính, và chúng vẫn rộng rãi sử dụng trong hệ thống Điểm bán hàng (POS) Tiếp theo vào năm 1974, Code 39 được phát triển, cho phép mã hóa xấp xỉ
30 chữ số của các ký tự chữ và số Vào đầu những năm 1980, Multistaged Symbol code xuất hiện, bao gồm Code 16K và Code 49, có khả năng lưu trữ xấp xỉ 100
Hình 2.1 Cách thức hoạt động của QR code
8 chữ số của ký tự Trong những năm tiếp theo, thông tin phát triển nhanh chóng, đòi hỏi các biểu tượng có khả năng lưu trữ nhiều thông tin hơn và đại diện cho nhiều ngôn ngữ khác nhau ngoài tiếng Anh
Nhằm đáp ứng yêu cầu này, cần phát triển biểu tượng có mật độ cao hơn, vượt xa các biểu tượng nhiều tầng Và như vậy, vào năm 1994, ra đời QR Code, cho phép chứa tối đa 7.000 ký tự, bao gồm cả ký tự Kanji (Ký tự Trung Quốc được sử dụng ở Nhật Bản)
Hình 2.2 Lịch sử của các biểu tượng
Trước hết, Interleaved và Codabar có thể mã hóa (biểu tượng hóa) chữ số đã được phát triển Theo sau đó là sự phát triển của Code 39 có thể mã hóa các ký tự chữ và số Cùng với sự gia tăng không ngừng của thông tin, việc mã hóa ACSCII đầy đủ là rất cần thiết và dẫn đến sự phát triển của Code 128 Sau đó, Multistaged Symbols được phát triển trong khi các biểu tượng tuyến tính này được sắp xếp theo thứ tự nhiều giai đoạn Toyota Motor’s Kanban Code là Multistaged Symbols đầu tiên trên thế giới Khi máy tính trở nên phổ biến, các mã này được phát triển thành Multi-row Symbols trong khi Multistaged Symbols Code được mở rộng thành Matrix Symbols (dữ liệu được sắp xếp dưới dạng ma trận) Vùng in cho các Matrix Symbol là nhỏ nhất trong số tất cả, và được coi là cao triển vọng như là biểu tượng chính cho tương lai
Hình 2.3 Sự phát triển của các biểu tượng (Symbols)
QR Code là một Matrix Symbol được phát triển với khả năng cho phép dung lượng cao, mật độ in của dữ liệu ma trận cao và tốc độ đọc cao dựa trên các nghiên cứu về đặc điểm của chúng
Hình 2.4 Sự phát triển của QR Code
Một số đặc điểm của QR code
• All-Direction (360°) High-Speed Reading:
Việc đọc các biểu tượng dạng ma trận sẽ được thực hiện bằng cách sử dụng một cảm biến CCD (cảm biến vùng) Dữ liệu được quét và chụp bởi cảm biến sẽ đươc lưu trữ trong bộ nhớ Sau đó, sử dụng phần mềm, ta sẽ phân tích được chi tiết, Finder Patterns được xác định, vị trí/ kích thước/ góc của biểu tượng được phát hiện và quá trình giải mã sẽ được thực hiện Biểu tượng 2 chiều truyền thống mất nhiều thời gian để phát hiện vị trí/ kích thước/ góc của biểu tượng và có độ chính xác khi đọc thấp hơn nếu so sánh với các biểu tượng tuyến tính
QR code có Finder Patterns được dùng cho việc thông báo vị trí của biểu tượng
Nó được sắp xếp ở 3 góc của QR code để có thể tăng tốc độ đọc từ mọi hướng (360 độ) Tỉ lệ giữa màu đen và trắng giữa dòng quét chạy qua Finder Patterns luôn là 1: 1: 3: 1: 1 khi nhìn từ mọi hướng (360 độ bao quanh nó) Bằng cách phát hiện tỷ lệ cụ thể này, Finder Patterns có thể được phát hiện trong số các hình ảnh được chụp bởi cảm biến CCD để xác định vị trí của QR Code trong một khoảng thời gian ngắn
Hơn nữa, bằng cách phát hiện được vị trí giữa 3 Finder Patterns này thì kích thước, góc và viền bao quanh có thể được phát hiện đồng thời
Việc sắp xếp các Finder Patterns này vào 3 góc của biểu tượng giúp cho tốc độ của quá trình giải mã của QR Code nhanh hơn khoảng 20 lần so với các biểu tượng dạng ma trận khác
Các biểu tượng thường bị biến dạng khi được gắn vào một bề mặt cong hoặc do đầu đọc bị nghiêng (góc giữa mặt cảm biến CCD và mặt biểu tượng) Để khắc phục sự biến dạng này, QR Code có các Alignment Patterns được sắp xếp với một khoảng đều đặn trong phạm vi của biểu tượng Phương sai giữa vị trí trung tâm của Alignment Pattern ước tính từ hình dạng bên ngoài của biểu tượng và vị trí trung tâm chính xác của Alignment Pattern sẽ được tính toán để xác định vị trí đúng Điều này sẽ làm Distorted linear/ non-linear có thể đọc được
• Data Restoration Functionality (Resistant to Smudged or Damaged Symbols):
QR Code có level của Error Correction khác nhau (7%, 15%, 25% và 30% trên mỗi vùng của biểu tượng)
Chức năng Error Correction được thưc hiện trên từng vết nhòe hoặc hư hỏng, sử dụng Reed-Solomon Code (là loại mã được sử dụng rộng rãi như phương pháp sửa lỗi toán học với khả năng kháng lại lỗi cao) Reed-Solomon Code được sắp xếp bên trong vùng dữ liệu của QR Code
Thuật toán của quá trình nhận diện QR code
Giải thuật cho quá trình nhận dạng mã QR dựa trên xử lý hình ảnh
Hình 2.19 QR code trong y tế
Hình 2.20 Quá trình nhận dạng mã QR
Hình ảnh được chụp từ máy ảnh và được chuyển đổi thành hình ảnh nhị phân trong quá trình tiền xử lý, bao gồm chủ yếu hai bước Đầu tiên, chúng ta chuyển đổi hình ảnh RGB thành hình ảnh một kênh
Sau đó, việc chuyển đổi hình ảnh thành hình ảnh nhị phân cũng dựa trên phương pháp phổ biến của việc ngưỡng
Việc lựa chọn một ngưỡng phù hợp là yếu tố quan trọng để làm nhị phân hóa ảnh và ảnh hưởng đến hiệu suất của việc phát hiện mã QR, và ZXing sử dụng một phương pháp kết hợp trung bình khối địa phương cho nó Nói cách khác, hình ảnh thu được được chia thành các khối hình ảnh, kích thước mỗi khối là 8 × 8, không chồng lấn, và trung bình của mỗi khối được tính toán Sau đó, một tập hợp 5 × 5 khối được tạo thành xung quanh mỗi khối và trung bình của các khối này được tính toán làm ngưỡng cuối cùng Đối với các mã QR thông thường, phương pháp ngưỡng này giúp giảm lỗi quét, đặc biệt là trong các môi trường ánh sáng khác nhau
Trong giai đoạn phát hiện, nhiệm vụ chính là xác định vị trí của mã QR từ hình ảnh nhị phân được tạo ra sau quá trình tiền xử lý Khớp mẫu được sử dụng như phương pháp chính để xác định vị trí của mẫu tìm kiếm Mẫu tìm kiếm được đặt ở ba góc của hình ảnh mã QR, và mỗi thành phần bao gồm ba hình vuông tập trung
Ba hình vuông này được tạo thành bởi các mô-đun màu đen 7 × 7, mô-đun màu trắng 5 × 5 và mô-đun màu đen 3 × 3, tương ứng Trong quá trình phát hiện, một mẫu đen-trắng-đen-trắng-đen với tỉ lệ tương ứng là 1:1:3:1:1, tương ứng với một phần ngang của mẫu tìm kiếm, sẽ được so khớp để nhanh chóng xác định sự tồn tại của mã QR Cuối cùng, dựa trên các vị trí tương đối của ba mẫu tìm kiếm, vị trí chính xác và hướng của hình ảnh được xác nhận
Quá trình nhận dạng mã QR chủ yếu bao gồm mẫu và giải mã Mẫu hóa đề cập đến việc ước tính kích thước của mỗi mô-đun và sau đó thu được số lượng mô- đun Sau khi mẫu hóa pixel trung tâm của mỗi mô-đun để thu thập thông tin về toàn bộ mô-đun, cuối cùng, một ma trận được tạo thành sau khi tất cả các mô-đun đã được mẫu hóa Tuy nhiên, quá trình giải mã liên quan đến việc xem xét ma trận thu được trong quá trình mẫu hóa và phân tích thông tin chứa trong đó Điều này bao gồm giải quyết ngược theo quy tắc mã hóa QR, bao gồm các mặt nạ dữ liệu, sắp xếp lại từng từ mã, sửa lỗi và giải mã Thuật toán Reed-Solomon được sử dụng trong quá trình mã hóa và do đó là cần thiết cho việc sửa lỗi giải mã Khi số lỗi trong một khối quá lớn, dữ liệu gốc sẽ không thể khôi phục được, dẫn đến việc không thể giải mã mã QR
Thư viện Zxing.Net
Thư viện Zxing là một thư việc tốt sử dụng để đọc mã QR Sau khi xem xét các khả năng khác nhau, chúng tôi đã quyết định sử dụng thư viện ZXing vì nó được sử dụng rộng rãi với độ chính xác tốt và mã nguồn mở
ZXing, còn được gọi là zebra crossing, là một thư viện xử lý hình ảnh mã vạch đa định dạng 1D/2D mã nguồn mở được thực hiện bằng ngôn ngữ Java, với các phiên bản dành cho các ngôn ngữ khác Thư viện này hỗ trợ nhiều loại mã vạch khác nhau,
Thư viện ZXing có khả năng xử lý và giải mã nhiều loại mã vạch khác nhau, làm cho nó trở thành một công cụ hữu ích cho việc nhận dạng và xử lý thông tin từ các hình ảnh mã vạch
Thư viện được chia thành các thành phần sau:
• Core: Thư viện giải mã hình ảnh cốt lõi và mã kiểm tra;
• Javase: Mã khách hàng cụ thể cho JavaSE;
• Android: Ứng dụng Barcode Scanner dành cho Android;
• Android-integration: Hỗ trợ tích hợp với Barcode Scanner qua Intent;
• Android-core: Mã liên quan đến Android được chia sẻ giữa ứng dụng Android và các ứng dụng Android khác
Quá trình giải mã mã QR gồm các bước sau:
• Thu thập hình ảnh: Một hình ảnh được chụp bằng camera hoặc được truyền đến thư viện
• Tiền xử lý hình ảnh: Hình ảnh được chuyển đổi thành ảnh xám và được điều chỉnh kích thước sao cho một mô-đun duy nhất tương đương với một pixel trên màn hình, nhằm tạo ra một tiêu chuẩn làm cho quá trình phát hiện dễ dàng hơn
• Nhị phân hóa: Hình ảnh được chuyển đổi thành dạng nhị phân để dễ dàng phát hiện và giải mã
• Phát hiện mã QR: Thư viện phân tích ma trận bit để tìm các mẫu mã
QR, chẳng hạn như các mẫu căn chỉnh và các mẫu tìm kiếm, sau đó trích xuất thông tin về định dạng và phiên bản
• Giải mã mã QR: Thư viện giải mã mã QR bằng cách đọc dữ liệu được mã hóa và chuyển đổi thành thông tin ban đầu, áp dụng sửa lỗi để phát hiện lỗi và sửa chúng nếu có thể
MÔ HÌNH THỰC NGHIỆM
Mô tả quy trình hoạt động vủa Robot
1 Khi nhận tín hiệu khởi động, Robot sẽ được đặt ở vị trí chờ và băng tải sẽ bắt đầu hoạt động Các tấm Mica được gắn mã QR Code sẽ được dính trên băng tải đang chạy và cảm biến gắn bên cạnh băng tải sẽ phát hiện chúng
2 Khi cảm biến phát hiện sự di chuyển của vật, băng tải sẽ dừng lại để hệ thống Camera trên băng tải chụp và xử lý ảnh Sau đó, băng tải sẽ tiếp tục
41 chạy để đưa vật đến vị trí mà Robot sẽ gắp nó Trong khi đó, Robot cũng di chuyển đến vị trí gắp tương ứng
3 Khi băng tải đưa vật đến vị trí gắp, nó sẽ dừng lại để Robot thực hiện việc gắp Sau khi Robot đã gắp vật và nhận tín hiệu sau khi xử lý ảnh, nó sẽ di chuyển đến vị trí đã được thiết lập trước để thả vật
4 Khi Robot đã hoàn tất việc thả vật, nó sẽ trở lại vị trí chờ ban đầu và hoàn thành một chu kỳ hoạt động Điều khiển Robot bằng Teaching Pendant
Bảng 3.7 Phím chức năng của Teaching pendant
1 EMG Switch Dừng khẩn cấp
Khi nhấn nút, toàn bộ bàn tay máy dừng ngay lập tức
Ngắt nguồn điều khiển động cơ
2 (ENABLE/DISABLE) Đèn báo trạng thái ENABLE/DISABLE
3 Three-Step Switch Lựa chọn trạng thái ENABLE/DISABLE
4 LCD Hiển thị thông số, trạng thái, lỗi
5 LED Status LED báo trạng thái làm việc
7 Function Key Chuyển đổi các chức năng
8 (STOP) Key Dừng chương trình đang chạy,
Tăng/ Giảm tốc độ quay của khớp
11 (SERVO) Key Nhấn đồng thời với three-step switch, có tác dụng cấp nguồn cho các động cơ bên trong robot
12 MONITOR Hiển thị thông số, vị trí của từng khớp hoặc bàn tay máy
13 JOG Key Chuyển chế độ chạy JOG
14 HAND Key Chuyển chế độ Bàn tay máy, cho phép thao tác đóng mở bàn tay máy khi cấp khí nén
15 CHARACTER Chuyển phím chữ / số khi viết chương trình
16 RESET Reset lỗi khi có lỗi
Trong quá trình kết nối Teaching Box, cần đảm bảo rằng bộ điều khiển CR800 không được cấp điện Nếu Teaching Box được kết nối hoặc tháo ra khỏi bộ điều khiển trong khi nó vẫn đang nhận nguồn điện, bộ điều khiển CR800 sẽ báo lỗi Để kết nối Teaching Box R33TB, ta sử dụng cổng kết nối trên mặt trước của bộ điều khiển CR800-02-VQ i Các kiểu nội suy quỹ đạo chuyển động:
• Nội suy từng khớp (Joint Interpolation) là quá trình điều khiển nội suy cho từng khớp riêng lẻ, bắt đầu chuyển động và hoàn thành đến điểm đích cùng một thời gian từ điểm bắt đầu đến điểm cuối Để thực hiện việc này, ta sử dụng câu lệnh Mov
19 EXE Nhập dự liệu hoặc thực thi lệnh điều khiển
Xóa kí tự ở vị trí con trỏ
Hình 3.26 Kết nối T/B với bộ điều khiển
• Nội suy tuyến tính (Linear Interpolation) là quá trình điều khiển nội suy, đảm bảo rằng đường quỹ đạo chuyển động từ điểm đầu đến điểm cuối là một đoạn thẳng Để thực hiện việc này, ta sử dụng câu lệnh Mvs
• Nội suy cung tròn (Circular Interpolation) là quá trình khi khâu tác động cuối của Robot di chuyển theo một cung tròn Trong trường hợp vị trí hiện tại khác điểm bắt đầu thực hiện nội suy cung tròn, khâu tác động cuối của Robot sẽ tự động di chuyển đến điểm bắt đầu nội suy theo đường thẳng và sau đó bắt đầu thực hiện chương trình nội suy Để thực hiện việc này, ta sử dụng các câu lệnh Mvr, Mvr2, Mvr3 và Mvc
Hình 3.27 Minh họa chuyển động nội suy khớp
Hình 3.28 Minh họa chuyển động nội suy tuyến tính
44 ii Tạo một chương trình điều khiển chuyển động Robot bằng R33TB
Cần gắp vật tại điểm 1 và thả vào điểm 2 như hình minh họa Điểm 1 là vị trí trên băng tải và điểm 2 là một ô nằm dưới mặt phẳng bàn
• Lựa chọn đường biên dạng chuyển động:
Hình 3.29 Minh họa chuyển động nội suy cung tròn Điểm 2 Điểm 1
Hình 3.30 Vận hành Robot bằng chương trình trên
1 Di chuyển cánh tay Robot đến vị trí chờ (chuyển động nội suy khớp)
2 Di chuyển đến vị trí cao hơn 20mm so với vật cần gắp (chuyển động nội suy khớp)
3 Di chuyển đến vị trí gắp vật (chuyển động nội suy tuyến tính)
6 Di chuyển lên trên 20mm so với vật cần gắp (chuyển động nội suy tuyến tính)
7 Di chuyển đến vị trí cách 20mm so với vị trí thả vật (chuyển động nội suy khớp)
8 Di chuyển đến vị trí cần thả vật (chuyển động nội suy tuyến tính)
11 Di chuyển lên trên 20mm so với vị trí thả vật (chuyển động nội suy tuyến tính)
12 Di chuyển đến vị trí chờ (chuyển động nội suy khớp)
Bảng 3.8 Các vị trí cần thiết cho yêu cầu điều khiển
Tên Tên biến Yêu cầu teaching Chú thích
Vị trí tiếp cận khi gắp vật − Không Tọa độ phụ thuộc vào điểm P1
Vị trí gắp vật P1 Có
Vị trí tiếp cận khi thả vật − Không Tọa độ phụ thuộc vào điểm P2
Hình 3.31 Đường biên dạng chuyển động
Vị trí thả vật P2 Có
• Thứ tự thực hiện chương trình trên:
Bảng 3.9 Chương trình trên R33TB
Thứ tự Hoạt động của bàn tay máy Robot Câu lệnh
1 Di chuyển cánh tay Robot đến vị trí chờ
(chuyển động nội suy khớp) Mov P3
2 Di chuyển đến vị trí cách 20mm so với vật cần gắp (chuyển động nội suy khớp Mov P1, +20
3 Di chuyển đến vị trí gắp vật (chuyển động nội suy tuyến tính) Mvs P1
6 Di chuyển lên trên 20mm so với vật cần gắp
(chuyển động nội suy tuyến tính) Mvs P1, +20
7 Di chuyển đến vị trí cách 20mm so với vị trí thả vật (chuyển động nội suy khớp) Mov P2, +20
8 Di chuyển đến vị trí cần thả vật (chuyển động nội suy tuyến tính) Mvs P2
11 Di chuyển lên trên 20mm so với vị trí thả vật
(chuyển động nội suy tuyến tính) Mvs P2, +20
12 Di chuyển đến vị trí chờ (chuyển động nội suy khớp) Mov P3
13 Kết thúc chương trình End
• Xây dựng chương trình trên R33TB
1 Chọn 1 [FILE/EDIT] trên mục screen Cửa sổ hiện ra như hình minh họa dưới
2 Nhấn phím Function [F3], cửa sổ chương trình mới hiện ra như hình
3 Nhập tên chương trình Ví dụ chương trình có tên là “1”
4 Nhấn phím Function Key [F3] để INSERT câu lệnh vào chương trình Màn hình soạn thảo hiện lên như hình
5 Nhập vào câu lệnh Mov từ bàn phím
6 Nhập biến “P1” (Position 1) từ bàn phím
7 Nhấn phím [EXE] để xác định câu lệnh
8 Các bước còn lại trong chương trình thực hiện theo đúng trình tự trên
• Teaching tọa độ cho các điểm:
1) Mở cửa sổ chương trình [FILE/EDIT], nhấn phím Function Key [F2], kết hợp các phím [↑] và [↓] để hiển thị tọa độ của điểm cần Teach
2) Để nhập tọa độ cần lưu, em sử dụng các phím mũi tên và các phím số Sau đó, nhấn [EXE] để xác nhận
49 Điều khiển Robot bằng CPU PLC Mitsubishi Q03UDVCPU thông qua CPU Robot Q172DSRCPU
Chức năng Sequencer Direct cho phép điều khiển Robot trực tiếp từ PLC thông qua các bộ nhớ đệm (buffer memory) Người dùng và người vận hành có thể điều khiển chuyển động của Robot, hoạt động của các công cụ gắp tại khâu tác động cuối và thay đổi tốc độ chuyển động của Robot cũng như giá trị tăng giảm tốc bằng cách gửi dữ liệu vào các bộ nhớ đệm đã được định sẵn chức năng
• Dữ liệu vị trí trong chức năng Sequencer Direct
Trong chức năng Sequencer Direct, vị trí phải được biểu diễn dưới dạng tọa độ Descartes, tức là vị trí của khâu tác động cuối so với vị trí gốc của Robot Dữ liệu về vị trí của từng khớp của Robot không thể sử dụng trong chức năng Sequencer Direct
Bảng 3.10 Địa chỉ các vị trí trong chức năng Sequencer Direct Địa chỉ Số lượng Chi tiết
1-999 999 Vị trí được Teaching sẵn trong bộ điều khiển CR800-
VQ/R Chức năng SQ Direct cho phép thực hiện lên đến 999 dữ liệu vị trí khác nhau
5000 1 Vị trí hiện tại của Robot
5100-5102 3 Vị trí được chỉ định ở trên PLC, thông qua việc gửi dữ liệu xuống các bộ nhớ đệm
• Các đầu vào/ra chức năng giao tiếp giữa
Khi thực hiện điều khiển trực tiếp từ PLC, các đầu ra từ Sequencer bắt đầu từ địa chỉ U3E0\G10000 -> U3E0\G11023 được sử dụng làm Robot Input Các câu lệnh đã được định sẵn địa chỉ trong dải từ G10000 đến G11023 Đồng thời, các đầu vào bắt đầu từ địa chỉ U3E1\G10000 đến U3E1\G11023 được sử dụng làm Robot
Hình 3.33 Minh họa chức năng Sequencer Direct
Output Chúng có vai trò phản hồi trạng thái làm việc và xác định điểm làm việc của Robot
Các thanh ghi đệm thường dùng trong chức năng Sequencer Direct
Bảng 3.11 Các thanh ghi đệm thường dùng trong chức năng Sequencer Direct
Tham số Tên đầu vào Tên đầu ra PLC Output PLC Input
SRVOFF Servo Off Servo On disable
Tham số Loại Chức năng Tác động
Output Đầu ra tác động khi bộ điều khiển và Robot được cấp nguồn, và nhận các tín hiệu
Output Đầu ra tác động khi bộ điều khiển đang ở chế độ AUTOMATIC hoặc ở chế độ Remote từ PLC
Output Đầu ra tác động khi bộ điều khiển đang ở chế độ Teaching
Output Đầu ra tác động khi bộ điều khiển đang ở chế độ AUTOMATIC
Input Đặt quyền điều khiển cho các tín hiệu ngoài Mức
Output Đầu ra tác động khi có tín hiệu IOENA Input, đồng thời bộ điều khiển ở chế độ AUTO
START Input Tín hiệu cho phép thực thi chương trình Sườn
Output Thông báo chương trình đang thực thi - STOP
Input Tín hiệu cho phép dừng thực thi chương trình Mức Output Thông báo chương trình đang bị dừng -
Input Tín hiệu cho phép xóa bỏ trạng thái dừng của chương trình, đưa chương trình về điểm bắt đầu
Output Đầu ra tác động khi chương trình chưa thực hiện hoặc đang trong trạng thái dừng
ERRRESET Input Cho phép xóa lỗi đang xảy ra Sườn
Output Đầu ra tác động khi có lỗi xảy ra -
Việc thực hiện chức năng Sequencer Direct, cần có các thanh ghi đệm chứa thông tin về câu lệnh chuyển động, cùng các thanh ghi chứa thông tin báo trạng thái của chuyển động đó
Bảng 3.12 PLC Output Địa chỉ Mô tả
Tín hiệu yêu cầu thực hiện lệnh Thanh ghi G10520 gồm 16 bit
Bit 0 =1, sẽ gửi tín hiệu yêu cầu thực hiện lệnh đến Robot
(Thanh ghi chứa mã lệnh)
Thông tin trong thanh ghi G10524 sẽ tương ứng với câu lệnh trong MELFA-BASIC-VI
-1: Lệnh Mov -2: Lênh MovA -11: Lệnh Mvs -12: Lệnh MvsA
Command data 1 Thông tin trong thanh ghi G10525 tương ứng với điểm đích đến trong câu lệnh chuyển động
Giá trị đưa vào thanh ghi trong khoảng:
1) 1-999: Điểm Teaching trong mục SQ DIRECT trong bộ điều khiển CR800-Q
2) 5100-5102: Điểm xác định với bộ điều khiển PLC
Command data 2 Giá trị offset trục Z của Tool hiện tại so với điểm tọa độ đích
Nếu giá trị offset bằng 0, câu lệnh sẽ xác định di chuyển tới điểm đích
Bảng 3.13 Robot Output Địa chỉ Mô tả
U3E1\G10520 Bit signal (Bit phản hồi)
Tín hiệu báo trạng thái hoàn thành khi Robot chuyển động thành công Thanh ghi U3E1\G10520 gồm 16 bit
Thanh ghi U3E1\G10522 chứa thông tin về trạng thái chuyển động, bao gồm trạng thái thành công, tạm dừng hoặc lỗi
Mỗi mã lỗi tương ứng với số được lưu trong thanh ghi
❖ Cấu hình hệ thống
• Thiết lập cấu hình Robot trên RT Toolbox 3 Để thiết lập cấu hình cho Robot trên RT Toolbox 3, ta thực hiện theo trình tự sau đây:
✓ Chọn tab [Workspace] → Click chọn [New] Cửa số New Workspace hiện lên, điền thông tin địa chỉ lưu Workspace, Tên thư mục
✓ Chỉnh sửa thông số Robot Model:
CR800-Q Type: RV Vertical (6-axis)
✓ Lựa chọn thông số Communication
Program Language: MELFA-BASIC-VI
✓ Các lựa chọn: 5 Travel Axis, 6 Robot Additional Axis, 7 Tool, 8 Weight and Size cài đặt theo mặc định của phần mềm
• Thiết lập cấu hình bộ điều khiển CR800-Q qua RT Toolbox Để thiết lập cấu hình cho bộ điều khiển CR800-VQ, ta thực hiện theo các bước sau:
✓ Thiết lập cấu hình Multiple CPU
Hình 3.36 Cài đặt thông số Language
Trong mục [Parameter], chọn [PLC Cooperation Paramter], chọn [Multiple CPU]
✓ Chọn Write để tải cấu hình các thông số xuống bộ điều khiển CR800
• Thiết lập cấu hình Multiple CPU trên GX Work 2: Để thiết lập cấu hình cho Q172DSRCPU trên GX Works2, ta thực hiện theo các bước sau:
✓ Thiết lập cấu hình Multiple CPU Settings
Trong mục Project, chọn [Parameter], chọn tiếp [PLC Paramter], sẽ xuất hiện cửa số Q Parameter Setting
✓ Trong mục [Multiple CPU Settings], chọn No of PLC = 2
Hình 3.37 Cấu hình Multiple CPU trên RT Toolbox
Hình 3.38 Thiết lập Multiple CPU trên GX Work 2
✓ Tải cấu hình đã cài đặt trên trong GX Works 2 xuống PLC Điều khiển Robot bằng chương trình PLC
Dưới đây là một ví dụ về chương trình điều khiển Robot, sử dụng chức năng Sequence Direct và viết bằng ngôn ngữ Ladder
Chương trình này thực hiện lệnh nội suy khớp để di chuyển cánh tay Robot đến vị trí 1 (vị trí này đã được Teaching trước đó trong bộ điều khiển CR800)
Bảng 3.14 Các bit thanh ghi sử dụng trong chương tình mẫu
Thanh ghi Bit Chức năng
D20 Lưu giá trị báo trạng thái chuyển động Robot
M150 Bit cho phép thực hiện lệnh chuyển động
M151 Bit báo lệnh chuyển động đã hoàn thành
M152 Bit báo lệnh chuyển động đã thực hiện thành công M153 Bit báo lệnh chuyển động bị dừng
M154 Bit báo lệnh chuyển động vi phạm các giá trị giới hạn của bàn tay máy Robot
3.3 Lưu đồ thực hiện chương trình
Hệ thống nhận dạng vật phẩm
Kỹ thuật đọc mã QR trên sản phẩm là quá trình chuyển đổi ảnh văn bản sang dạng văn bản có thể chỉnh sửa trên máy tính Trong quá trình này, hình ảnh được sử dụng làm đầu vào và kết quả đầu ra là văn bản chứa nội dung của các chữ viết, ký tự xuất hiện trong hình ảnh đó
Hình 3.39 Chườn trình điều khiển Robot bằng PLC
3.3.1.1 Phân tích hệ thống
Các vật cần phân loại là các tấm Mica đã được rán mã QR, và chúng được vận chuyển qua băng tải Khi các tấm Mica đi qua cảm biến và được phát hiện, băng tải sẽ dừng lại và camera sẽ chụp ảnh của chúng Sau đó, ảnh sẽ được truyền về máy tính để xử lý Phần mềm trên máy tính sẽ đọc mã QR từ ảnh, và kết quả sẽ hiển thị trên màn hình điều khiển giám sát Đồng thời, máy tính cũng sẽ gửi tín hiệu đến PLC PLC sẽ tiếp nhận tín hiệu và thực hiện điều khiển Robot để gắp chữ cái theo yêu cầu, và đặt chúng vào vị trí đã được định vị trước đó
Phần đọc mã QR của hệ thống sử dụng thư viện xử lý ảnh Zxing
Hình 3.40 Lưu đồ tổng quan chương trình
3.3.1.2 Lưu đồ thuật toán xử lý ảnh
3.3.1.3 Chương trình xử lý ảnh
Kết nối trực tiếp Camera với C# thông qua cổng Ethernet và thực hiện chương trình code sau: if (CvsInSightDisplay2.Connected)
Hình 3.41 Lưu đồ xử lý ảnh
Lưu ảnh đầu vào bằng đoạn code sau:
{ string filesoucre = @"D:\Cognex_Pic\"; string Index = i.ToString(); string fileName = filesoucre + Index + ".bmp";
} Đọc mã QR trong ảnh vừa chụp được:
// Đường dẫn đến file ảnh chứa mã QR cần đọc string imagePath = @"C:\Users\Hoang\OneDrive\Desktop\image\0.bmp";
// Tạo đối tượng MultiFormatReader để đọc mã QR var barcodeReader = new BarcodeReader();
// Đọc ảnh chứa mã QR
Bitmap bitmap = new Bitmap(imagePath);
// Đọc mã QR từ ảnh var result = barcodeReader.Decode(bitmap);
3.3.1.5 Kết nối Visual với PLC
Thực tế vận hành hệ thống
Link video vận hành hệ thống thực tế: Điều khiển gắp thả vật dán QR code bằng robot Mitsubishi - YouTube
Trước tiên, cần thực hiện kết nối PLC với phần mềm Visual Studio Code thông qua phần mềm MX Components
Hình 3.44 Giao diện báo cáo
Hình 3.46 Tạo kết nối Visual Studio với PLC thông qua MX Componuents
Hình 3.45 Chọn phương thức kết nối
Tiếp theo, mở phần mềm Visual Studio Code lên để chạy giao diện điều khiển hệ thống
Nút “Connect”: để kết nối chương trình với Camera gắn trên băng tải
✓ Hiển thị hình ảnh mà Camera đang thấy được
✓ Hiển thị kí tự dạng Text của QR Code
✓ Hiển thị kết quả mỗi khi Camera thực hiện xử lý ảnh xong
Vật thể được Camera nhận dạng và xử lý ở đây là các mã QR Code được dán lên các tấm mica:
Ta tiến hành thực hiện điều khiển chương trình Robot gắp vật:
Hình 3.47 Giao diện điều khiển hệ thống
Hình 3.48 Mã QR code được dán lên sản phẩm
✓ Để bật tín hiệu cấp quyền điều khiển Robot cho PLC, nhấn nút IOENA trên bảng điều khiển, chuyển sang chế độ Auto và nhấn nút SERVO on Khi làm như vậy, Robot sẽ tự động di chuyển đến vị trí chờ
Hình 3.49 Hệ thống nút nhấn và đèn báo
✓ Khi vật đi qua cảm biến, băng tải sẽ dừng lại để Camera chụp, lưu và xử lý ảnh Đồng thời khi đó, Robot sẽ di chuyển đến vị trí chờ hút vật
✓ Khi băng tải đưa vật đến vị trí hút, Robot sẽ thực hiện hút vật và di chuyển đến 1 trong các vị trí đã được cài đặt sẵn theo kết quả của quá trình xử lý ảnh
Hình 3.50 Robot ở vị trí chờ
✓ Sau đó, Robot di chuyển về vị trí chờ, kết thúc một chu trình chuyển động.
Kết quả quá trình thực nghiệm
Dưới đây là kết quả thực hiện với các QR Code:
Hình 3.53 Giao diện và hình ảnh thực tế khi gắp sản phẩm A
Hình 3.54 Giao diện và hình ảnh thực tế khi gắp sản phẩm B
Hình 3.55 Giao diện và hình ảnh thực tế khi gắp sản phẩm C
Hình 3.56 Giao diện và hình ảnh thực tế khi gắp sản phẩm lỗi
Kết quả sau đó sẽ được đẩy xuống SQL và có thể xem ở trên trang web báo cáo như hình dưới đây:
Hình 3.57 Hình ảnh thực tế sau một thời gian gắp vật
• Hệ thống Robot đã vận hành ổn định và thực hiện được mục tiêu đặt ra ban đầu của đồ án là nhận diện QR Code và hút thả chính xác vị trí của vật Tuy nhiên, khi hoạt động ở tốc độ cao, hệ thống có xuất hiện hiện tượng rung lắc, do đó cần lựa chọn tốc độ phù hợp khi vận hành
• Ngoài ra, hệ thống Camera nhận diện vẫn còn hạn chế khi hoạt động trong điều kiện ánh sáng yếu, khi đó sẽ luôn trả về kết quả nhận diện QR Code là
Hình 3.58 Giao diện Web hiển thị kết quả
