BÁO cáo THỰC tập tốt NGHIỆP sử DỤNG xử LÝ ẢNH CHO ỨNG DỤNG BIN PICKING CHO TAY MÁY

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ BÁO CÁO THỰC TẬP TỐT NGHIỆP SỬ DỤNG XỬ LÝ ẢNH CHO ỨNG DỤNG BIN PICKING CHO TAY MÁY Sinh viên thực hiện: Nguyễn Giang Thu GVHD: TS.Ngô Hà Quang Thịnh MSSV: 1814214 TP HCM, tháng 02 năm 2022 LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn đến tất quý Thầy/Cô giảng dạy Bộ môn Cơ Điện Tử - ĐH Bách Khoa Tp.HCM tận tâm kiến thức quý báu truyền đạt cho suốt thời gian học tập trường Đặc biệt nhất, xin gửi lời cảm ơn chân thành sâu sắc đến thầy Ngô Hà Quang Thịnh, thầy hướng dẫn tận tình, bảo suốt trình thực luận văn, thực tập lab Cảm ơn thầy ý tưởng, lời nhận xét kịp thời lời khuyên xác đáng Luận văn Tốt nghiệp Đây lời đóng góp quý báu giúp định hướng nhận sai sót, kiến thức cịn thiếu để hồn thành mục tiêu luận văn giúp học hỏi nhiều điều làm việc lab Cuối cùng, lời cảm ơn chân thành tơi gia đình Cám ơn ba mẹ tạo chỗ dựa vững chắc, hỗ trợ vật chất lẫn tinh thần, động viên q trình học tập để vượt qua khó khăn hồn thành luận văn MỤC LỤC Danh mục hình ảnh Hình 1 Unimate-Robot thương mại giới Hình Cơ cấu robot dạng tọa độ Descartes Hình Cơ cấu Robot dạng tọa độ trụ Hình Robot dạng tọa độ cầu R.R.T Hình Robot dạng tọa độ cầu R.R.R Hình Robot sinh Hình Robot Scara Hình Các giai đoạn xử lý ảnh Hình Khơng gian làm việc NACHI MZ07 Hình 3 Hệ tọa độ tay máy NACHI MZ07 Hình TCP UDP Hình Lưu đồ giải thuật giao tiếp CFD Controller Hình Sơ đồ khối thiết bị điện Hình Nút nhấn Hình Nút dừng khẩn cấp Hình Relay kính điện từ Hình 5 Ký hiệu valve chân khơng Hình Các lực tác động lên vật hút Hình Đồ gá giác hút ESH-HD Hình Bảng tra khối lượng ứng với chiều dài tool an tồn Hình Board PLC Mitsubishi FX3U LE3U 24MT Hình 10 Sơ đồ tổng quan điều khiển PLC qua máy tính… Danh mục bảng biểu Bảng Thơng số Denavit–Hartenberg Bảng 3 Kích thước Robot NACHI MZ07 (mm) Bảng Kết kiểm nghiệm động học ngược Robot NACHI MZ07 Bảng Các thiết bị đầu vào tương ứng với cổng Input PLC Bảng Các thiết bị đầu vào tương ứng với cổng Input PLC CHƯƠNG I : TỔNG QUAN I Đặt vấn đề: Với mục tiêu nâng cao suất dây chuyền công nghệ để giảm giá thành, nâng cao chất lượng khả cạnh tranh sản phẩm Việc ứng dụng công nghệ tự động hóa có tính linh hoạt cao thay cho dây chuyền tự động cứng ngày rộng rãi Cho nên xu sử dụng Robot thay người dây chuyền sản xuất lắp ráp trở nên tất yếu Trong luận văn này, sử dụng thư viện xử lý ảnh cho ứng dụng bin picking cho tay máy II Sơ lược đề tài: 1.1 Lý chọn đề tài: Trong dây chuyền sản xuất ngày nay, hoạt động gắp - đặt đóng gói sản phẩm đòi hỏi nhiều từ người vận hành, bao gồm tốc độ, xác, kiểm tra, phân loại khéo léo Robot bin picking với khả lặp lại tối đa, giúp cho trình chọn đặt tự động hóa tốt hết, hoàn thành nhiệm vụ cách quán tốc độ cao mà không cần nghỉ Từ giúp bạn tiết kiệm nhiều chi phí nhân cơng, giảm tối đa sai sót, Vì việc ứng dụng sử lí ảnh cho bin picking tay máy ngày sử dụng phổ biến cơng nghiệp Ngày xử lí ảnh ngày ứng dụy nhiều lĩnh vực y tế, quốc phòng, giáo dục,… Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Lĩnh vực em chọn làm dùng thư viện xử lý ảnh PCL nhận dạng vị trí vật từ dùng cánh tay robot gắp vật, camera gắn end-effector robot cách vật gắp khoảng cách định 1.2 Mục đích , đối tượng phạm vi nghiên cứu: Mục đích: Phân tích xử lí ảnh sử dụng thư viện PLC để tìm vị trí vật có tư tốt Sau xác định vị trí dùng tay máy để gắp vật xác định Lập trình ngơn ngữ C++ Đối Tượng Nghiên cứu: Các chi tiết có hình dạng giống xếp ngẫu nhiên theo nhiều hướng khác Phạm vi giới hạn việc nghiên cứu xây dựng sở lí thuyết thiết bị thực nghiệm sử dụng hệ camera tay máy để xác đinh tọa độ chi tiết Phạm vi nghiên cứu: Các loại chi tiết khí bulong, đai ốc,… III Sơ lược robot công nghiệp 2.1 Lịch sử hình thành robot cơng nghiệp Khái niệm robot công nghiệp khai sinh vào năm 1954 robot có khả nhấc lên đặt xuống vật thể cấp sáng chế Hoa Kỳ Năm 1975 công ty Unimation bắt đầu có lợi nhuận từ sản phẩm robot Chiếc robot công nghiệp đưa vào ứng dụng đầu tiên, năm 1961, nhà máy ô tô General Motors Trenton, New Jersey Hoa Kỳ Năm 1967, Nhật Bản nhập robot công nghiệp từ cơng ty AMF Đến năm 1990 có 40 cơng ty Nhật Bản, có cơng ty khổng lồ công ty Hatachi công ty Mitsubisi, đưa thị trường quốc tế nhiều loại robot tiếng Từ năm 80, vào năm 90, áp dụng rộng rãi tiến kỹ thuật vi xử lý công nghệ thông tin, số lượng robot công nghiệp gia tăng, giá thành giảm rõ rêt, tính có nhiều bước tiến vượt bậc Nhờ robot cơng nghiệp có vị trí quan trọng dây chuyền sản xuất đại Đối với robot công nghiệp, liên kết nhiều robot tạo khả làm việc với người đưa vào sử dụng thực tế Ví dụ, CR-35iA, robot hợp tác sản xuất FANUC Corp vào năm 2015 Coro Co-robot Life Robotics Inc sản xuất vào năm 2015, làm việc với người mà khơng cần hàng rào an tồn Ngồi ra, NEXTAGE, sản xuất Kawada Robotics Corp vào năm 2011, có cấu trúc bắt chước phần người robot thực nhiệm vụ mà trước cần thực công nhân Robot công nghiệp hiểu thiết bị tự động linh hoạt,bắt chước chức lao động công nghiệp người Nói đến thiết bị tự động linh hoạt nói đến khả thao tác với nhiều bậc tự do, điều khiển trợ động lập trình thay đổi Cịn nói đến bắt chước chức lao động công nghiệp người có ý nói đến khơng hạn chế từ chức lao động chân tay đơn giản đến trí khơn nhân tạo, tùy theo loại hình cơng việc lao động cần đến chức hay ko Đồng thời nói đến mức độ cần thiết bắt chước người hay khơng Hình 1 Unimate-Robot thương mại giới Năm 1973, Robot công nghiệp với bậc tự mang tên Famulus tập đoàn Kuka Robotics giới thiệu Năm 1974, Robot IRB6, Robot công nghiệp điều khiển máy vi tính cơng ty ASEA sản xuất (một cơng ty khí nhỏ miền Nam Thụy Điển, sau sáp nhập với tập đoàn BBC - Thụy Sỹ để hình thành tập đồn ABB) Năm 1979, chế tạo thành cơng Robot dạng Scara phịng thí nghiệm giáo sư người Nhật Bản Hiroshi Makino, Đại Học Yamanashi Thập kỉ 1980s, hình thành phát triển Delta Robot nhóm phát triển giáo sư Reymond Clavel Viện công nghệ Liên bang Thụy Sỹ Lausanne IV Phân loại dạng Robot công nghiệp phổ biến ứng dụng chúng: 4.1 Phân loại theo không gian làm việc Không gian làm việc dạng tọa độ Descartes: dạng Robot có chuyển động tịnh tiến theo phương trục tọa độ gốc Khơng gian làm việc có dạng hình hộp chữ nhật Kết cấu đơn giản, độ tuyến tính điều khiển cao, độ cứng vững cao, thường dùng ứng dụng nâng hạ vật, cấp phôi, lắp ghép, máy CNC, … Hình Cơ cấu robot dạng tọa độ Descartes Không gian làm việc dạng tọa độ trụ: vùng làm việc Robot có dạng hình trụ rỗng, khớp thứ thường chuyển động quay khớp lại chuyển động tịnh tiến, thường ứng dụng nâng hạ xếp sản phẩm Hình Cơ cấu Robot dạng tọa độ trụ Không gian làm việc kiểu tọa độ cầu: vùng làm việc Robot có hình cầu, độ cứng vững dạng thấp dạng trên, thường có cấu hình R.R.T R.R.R Hình Robot dạng tọa độ cầu R.R.T 10 Communication truyền nhận liệu gọi từ User Task  Lựa chọn mơ hình giao tiếp: Mơ hình giao tiếp bao gồm điểm (PC CFD Controller), liệu truyền bao gồm thơng số tọa độ có tổng dung lượng tối đa 54byte - bé nên tốc độ truyền khơng q quan trọng Ngồi ra, việc điều khiển Robot PC đòi hỏi yêu cầu đặc biệt an tồn, liệu nhận cần kiểm tra đầy đủ trước di chuyển Robot Dựa đặc điểm yêu cầu trên, mô hình Unicast sử dụng Protocol TCP phù hợp  Lưu đồ giải thuật: 47 Hình Lưu đồ giải thuật giao tiếp CFD Controller 48 Trong hai lưu đồ trên, User Task có chức truyền nhận liệu từ máy tính RLP thực lệnh di chuyển Robot nhận xong liệu Hai chương trình sử dụng biến số ngun tồn cục V100 để làm cờ báo cho 49 CHƯƠNG V: THIẾT KẾ HỆ THỐNG ĐIỆN VÀ CƠ CẤU CHẤP HÀNH Chương vào phân tích thiết bị điện cần thiết sơ đồ đấu nối Bên cạnh nguyên lý điều khiển hai cấu chấp hành băng tải valve chân không I Sơ đồ khối hệ thống điện: Thiết bị dùng để điều khiển ngoại vi lựa chọn chương PLC, bản, thiết bị kết nối với theo sơ đồ sau đây: Hình Sơ đồ khối thiết bị điện Sơ đồ 5.1 cho nhìn tổng quát thiết bị cần thiết hệ thống điện, dựa sơ đồ này, tiến hành phân tích ưu nhược điểm để lựa chọn lập sơ đồ đấu dây cho phù hợp 50 II Các thiết bị tác động vào tín hiệu: Hình Nút nhấn Hình Nút dừng khẩn cấp Nút nhấn dùng để truyền tín hiêu trực tiếp cho PLC để lệnh START, STOP điều khiển tay băng tải dây đai Nút EMERGNCY dùng để ngắt ngõ thiết bị tác động trường hợp khẩn cấp Để điều khiển động DC hoạt động băng tải, cần điều khiển qua Relay trung gian dòng điện cần cung cấp lớn Giác hút điều khiển thông qua van điện từ Trong luận văn này, Relay Valve chân khơng sử dụng nguồn 24V 51 Hình Relay kính điện từ Ngồi ra, thiết bị dùng để bảo vệ toàn hệ thống khỏi cố tải chập mạch Aptomat lắp đặt đầu mạng điện Các hệ thống đèn báo sử dụng để thông báo trạng thái hoạt động, lỗi, Emergency hệ thống III Cơ cấu tác động: Cơ cấu tác động hệ thống bao gồm băng tải valve chân khơng dùng để hút vật III.1 Tính tốn giác hút: Phần sau trình bày việc tính tốn valve chân khơng theo hướng bản, dựa thiết bị có sẵn thị trường Hình 5 Ký hiệu valve chân không Valve chân không hoạt động theo nguyên lý ống venture, cổng P cung cấp dịng khí có áp suất cao 𝑚, dịng khí di chuyển ngang cổng V gây sụt áp, làm cho áp suất cổng V thấp áp suất khí 𝑚𝑚, tạo lực hút hút vật lên 52 Hình Các lực tác động lên vật hút Bỏ qua quán tính hệ, để hút vật phải thỏa điều kiện lực hút lớn trọng lượng vật, với chi tiết gá nặng 100g trọng lượng cần nâng 1N Nguồn khí nén sử dụng có áp suất 4-6bar, lưu lượng qua tiết lưu khoảng 85l/phút Sơ bộ, chọn giác hút ESG hãng FESTO tiêu chuẩn có đường kính d=20mm để giữ ổn định vật Theo tài liệu từ nhà sản xuất, áp suất đầu vào 4-6bar tương ứng Δ𝑚 = -0.9 𝑚𝑚𝑚 Theo bảng tra, lực hút ứng với -0.7 bar 16.3N, vậy, theo cơng thức …, FTH có quan hệ tuyến tính với Δ𝑚, nên với Δ𝑚 = -0.9 𝑚𝑚𝑚 với hệ số an toàn s=3 hoàn tồn đủ để hút vật có khối lượng 100g Đồ gá giác hút chọn loại ESH-HD 53 Festo hình bên dưới: Hình Đồ gá giác hút ESH-HD III.2 Tính tốn đồ gá giác hút: Để cố định giác hút lên tay máy, hệ thống cần thêm đồ gá cố định với tay máy để lắp giác hút Khâu tay máy NACHI MZ07 thiết kế với mặt bích có bulong M5 gắn thêm convenient tools để thay đổi tool dễ dàng Hình Bảng tra khối lượng ứng với chiều dài tool an toàn 54 Tổng khối lượng convenient tools, đồ gá giác hút chi tiết cần gắp sấp sỉ 2kg, chiều dài convenient tools 12cm, theo tài liệu từ nhà sản xuất chiều dài tối đa cho phép tool với khối lượng 1kg 250mm, vậy, chiều dài đồ gá giác phải nhỏ 13cm Để thuận tiện cho việc lắp ống khí, chiều dài đồ gá chọn 6cm, tổng chiều dài convenient tools đồ gá 18cm Mối ghép ren mặt bích khâu convenient tools kiểm nghiệm theo trường hợp mối ghép chịu lực dọc trục qua trọng tâm nhóm bulong Theo công thức (17.31) tài liệu [] Tải trọng tác dụng lên bulong: 55 iiIDFGHGFH IV Bộ điều khiển trung tâm: Ở chương 2, điều khiển trung tâm lựa chọn PLC Phần đề cập vấn đề lựa chọn PLC đấu dây cho PLC IV.1 Lựa chọn PLC: PLC lựa chọn dựa sở: + Số lượng cổng vào (kể cổng tốc độ cao) + Loại ngõ (Transistor/Relay/Triac) + Mức điện áp + Loại truyền thông 56 + Ngồi cịn có yếu tố khác như: Uy tín hãng sản suất, giá thành, phần mềm lập trình, tính đồng hệ thống, độ ổn định, … Dựa sơ đồ tổng quát, hệ thống cần cổng vào cho nút nhấn cổng điều khiển động băng tải, valve chân không đèn báo Quy trình điều khiển khơng điều khiển động step hay servo nên không cần ngõ vào/ra tốc độ cao Dựa số lượng cổng vào điều kiện có sẵn, lựa chọn PLC Mitsubishi FX3U LE3U 24MT hình 5.4, với thông số: + Điện áp nguồn cung cấp: 24 VDC + Số I/O: 14 ngõ vào, 10 ngõ (4 ngõ bắn xung tốc độ cao: Y0 – Y3: 100 kHz) + Cổng truyền thông: RS232 / RS485 + Bộ nhớ chương trình: 8000 steps + Tốc độ truyền nhận: 38400 bps Hình Board PLC Mitsubishi FX3U LE3U 24MT IV.2 Đấu dây PLC: Bảng 5.3 Bảng 5.4 mô tả thiết bị đầu vào/ra đấu nối quy ước tên chúng 57 Bảng Các thiết bị đầu vào tương ứng với cổng Input PLC Bảng Các thiết bị đầu vào tương ứng với cổng Input PLC Do PLC Mitsubishi Fx3U-24MT sử dụng luận văn phiên tương đương chức với PLC hãng nên sơ đồ chân có khác đôi chút Sơ đồ đấu dây cụ thể xem thêm “Bản vẽ sơ đồ đấu dây” kèm luận văn IV.3 Điều khiển PLC thông qua PC: PLC Mitsubishi Fx-24MT hỗ trợ chuẩn truyền thông RS232-C thư viện MX Component để điều khiển PLC từ máy tính Do yêu cầu thư viện hỗ trợ ngơn ngữ lập trình Form C#, VB, MFC C++, hồn tồn khơng tương tích với chương trình xử lý ảnh viết console C++ nên chương trình điều khiển PLC viết riêng giao tiếp với chương trình xử lý ảnh thơng qua giao tiếp Socket Trong đề tài, chọn ngôn ngữ C# để lập trình cho phần mềm điều khiển PLC Một cách tổng quát, sơ đồ sau thể trình điều khiển PLC 58 Hình 10 Sơ đồ tổng quan điều khiển PLC qua máy tính Để giao tiếp chương trình xử lý ảnh chương trình điều khiển PLC, đề tài sử dụng Socket Communication, với Server chương trình xử lý ảnh Client PLC software Do chương trình xử lý ảnh chương trình điều khiển PLC chạy máy tính (Localhost), nên server có địa IP loopback 127.0.0.1 portnum 49854 Quy trình kết nối tương tự Socket Communication trình bày chương Khi cài đặt MX Component xong, ta tiến hành đặt tên trạm (Station) phần mềm Communication Setup Utility cho PLC để MX Component nhận diện PLC gọi thư viện Sau thêm thư viện MITSUBISHI ActUtlType Control MITSUBISHI ActSupportMsg Control Từ thư viện gọi lệnh điều khiển PLC bật tắt cờ, I/O, set giá trị ghi, … Do cần giới hạn điều kiện an tồn (Emergency), PLC software khơng set trực tiếp cổng Output để điều khiển ngoại vi, cổng Output set thông qua cờ M19 (cho băng tải ngõ Y1) M20 (cho valve chân không ngõ Y2) 59 CHƯƠNG VI: KẾT LUẬN  Các kết đạt được: Qua trình thực tập Lab em tiếp thu nhiều kiến thức kĩ làm việc hỗ trợ nghiên cứu q trình hồn thành luận văn Tìm hiểu tổng quan, phân tích lựa chọn phương án thiết kế robot thực tác vụ Bin Picking Nghiên cứu giải thuật xử lý đám mây điểm nhận diện vị trí hướng vật thể  hạn chế: Kết nhận diện vật cịn hạn chế có nhiều nhiễu Chưa tiến hành mô kết thu thực nghiệm robot 60 TÀI LIỆU THAM KHẢO [1] Point Pair Feature-Based Pose Estimation with Mutible Edge Appearance Models (PPF-MEAM) for Robotic Bin Picking of Diyi Liu, Shogi Arai, Jiaqi Miao, Jun Kinugawa, Zhao Wang and Kazuhiro Kosuge Link download: mdpi.com/14248220/18/8/2719/htm [2] https://pcl.readthedocs.io/projects/tutorials/en/latest/ [3] Bin-Picking: New Approaches for a Classical Problem of Dirk Buchholz, Chapter 3D Point Cloud Based Posed Estimation, page 13 – 37 Link download: https://vn1lib.org/book/2677549/f1fa7f [4] https://www.nachirobotics.com/wpcontent/uploads/2017/05/MZ07_brochure21.pdf [5] 3D is here: Ponit Cloud Library (PLC) of Radu Bogdan Rusu and Steve Cousins, Willow Garage, 68 Willow Rd, Menlo Park, CA 94025, USA Link download: https://www.researchgate.net/publication/221068443_3D_is_here_Point _cloud_library_P CL [8] https://docs.opencv.org/4.x/dc/dbb/tutorial_py_calibration.html 61 ... đạt cho suốt thời gian học tập trường Đặc biệt nhất, xin gửi lời cảm ơn chân thành sâu sắc đến thầy Ngô Hà Quang Thịnh, thầy hướng dẫn tận tình, bảo suốt q trình tơi thực luận văn, thực tập lab... thay cho dây chuyền tự động cứng ngày rộng rãi Cho nên xu sử dụng Robot thay người dây chuyền sản xuất lắp ráp trở nên tất yếu Trong luận văn này, sử dụng thư viện xử lý ảnh cho ứng dụng bin picking. .. nhiều chi phí nhân cơng, giảm tối đa sai sót, Vì việc ứng dụng sử lí ảnh cho bin picking tay máy ngày sử dụng phổ biến cơng nghiệp Ngày xử lí ảnh ngày ứng dụy nhiều lĩnh vực y tế, quốc phòng, giáo