Điều khiển và giám sát hệ thống gắp sản phẩm dùng delta robot kết hợp xử lý ảnh

Nội dung thực hiện: - Tìm hiểu động học Robot Delta - Tìm hiểu các công nghệ xử lí ảnh giúp phát hiện sản phẩm - Tìm hiểu, nghiên cứu lập trình sử lý ảnh trên C# - Thiết kế, thi công và

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ĐIỀU KHIỂN VÀ GIÁM SÁT HỆ THỐNG GẮP SẢN PHẨM DÙNG DELTA ROBOT KẾT HỢP XỬ LÝ ẢNH GVHD: TS NGUYỄN VĂN THÁI SVTH : NGUYỄN CÔNG NGỮ SKL011602 Tp Hồ Chí Minh, tháng 6/2023 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN TỰ ĐỘNG ĐIỀU KHIỂN ĐỒ ÁN TỐT NGHIỆP ĐIỀU KHIỂN VÀ GIÁM SÁT HỆ THỐNG GẮP SẢN PHẨM DÙNG DELTA ROBOT KẾT HỢP XỬ LÝ ẢNH SVTH: NGUYỄN CÔNG NGỮ MSSV: 19151263 Khoá: 2019-2023 Ngành: CNKT Điều khiển Tự động hố GVHD: TS NGUYỄN VĂN THÁI Tp Hồ Chí Minh tháng năm 2023 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN ĐỒ ÁN TỐT NGHIỆP ĐIỀU KHIỂN VÀ GIÁM SÁT HỆ THỐNG GẮP SẢN PHẨM DÙNG DELTA ROBOT KẾT HỢP XỬ LÝ ẢNH SVTH: NGUYỄN CÔNG NGỮ MSSV: 19151263 Khoá: 2019-2023 Ngành: CNKT Điều khiển Tự động hoá GVHD: TS NGUYỄN VĂN THÁI Tp Hồ Chí Minh tháng năm 2023 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên :Nguyễn Công Ngữ MSSV: 19151263 Chuyên ngành: Công nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Khóa: 2019 Lớp: 191513B I TÊN ĐỀ TÀI: ĐIỀU KHIỂN VÀ GIÁM SÁT HỆ THỐNG GẮP SẢN PHẨM DÙNG DELTA ROBOT KẾT HỢP XỬ LÝ ẢNH II NHIỆM VỤ Các số liệu ban đầu: PLC Mitsubishi FX5UJ, camera Basler, động băng tải, valve khí nén, động Servo Ezi Motion, biến tần Sv-IE5 , encoder E6B2-CWZ6C-1000 Nội dung thực hiện: - Tìm hiểu động học Robot Delta - Tìm hiểu cơng nghệ xử lí ảnh giúp phát sản phẩm - Tìm hiểu, nghiên cứu lập trình sử lý ảnh C# - Thiết kế, thi cơng lập trình phần mềm điều khiển Robot Delta phân loại sản phẩm - Chạy thử nghiệm hiệu chỉnh mơ hình - Đánh giá kết thực viết luận văn III NGÀY GIAO NHIỆM VỤ: 14/2/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 30/6/2023 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS NGUYỄN VĂN THÁI CÁN BỘ HƯỚNG DẪN BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày tháng năm 2023 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Nguyễn Công Ngữ MSSV: 19151263 Ngành: Công nghệ Kỹ thuật Điều khiển Tự động hóa Tên đề tài: Điều khiển giám sát hệ thống gắp sản phẩm dùng Delta Robot kết hợp xử lý ảnh Họ tên Giáo viên hướng dẫn: TS Nguyễn Văn Thái NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Hoàn thành nội dung đề tài đặt Cụ thể là:  Viết chương trình động học thuận nghịch điều khiển robot xác lý thuyết đề  Viết chương trình xử lý ảnh để bắt sản phẩm băng tải  Điều khiển Robot Delta kết hợp với xử lí ảnh để gắp vật băng tải cách xác  Viết giao diện thân thiện với người dùng để điều khiển Robot Delta Ưu điểm:  Robot chạy ổn định , mượt mà  Có thể gắp vật liên tục vị trí khác  Thuật tốn xử lí ảnh bắt vật xác Khuyết điểm:  Việc gắp vật chưa xác tuyệt đối nhiều yếu tố khác :Độ trễ Robot , phạm vị hoạt động Robot, mơi trường tác động đến thuật tốn xử lí ảnh  Robot gắp vật tốc độ băng tải thay đổi liên tục Đề nghị cho bảo vệ hay không? ………………………………………………………………………………………… Đánh giá loại: … .………………………….…………………………… Điểm: ……… (Bằng chữ ) Tp Hồ Chí Minh, ngày … tháng năm 2022 Giảng viên hướng dẫn TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MƠN TỰ ĐỘNG ĐIỀU KHIỂN CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên : Nguyễn Công Ngữ MSSV: 19151263 Tên đề tài: Điều khiển giám sát hệ thống gắp sản phẩm dùng Delta Robot kết hợp xử lí ảnh Tuần/ngày Nội dung Xác nhận GVHD 14/2 – 20/2 Trao đổi mục tiêu phương pháp trước thực đề tài 21/2 – 15/3 Tìm hiểu phương pháp điều khiển nhiệt độ sấy, lựa chọn thiết bị cho hệ thống 16/3 – 31/5 Tiến hành thi công hệ thống viết chương trình điều khiển 1/6 – 14/6 Viết báo cáo đề tài, làm nội dung Powerpoint trình chiếu 15/6 – 30/6 Trao đổi với GVHD nội dung báo cáo chỉnh sửa theo yêu cầu GV HƯỚNG DẪN (Ký ghi rõ họ tên) TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MƠN TỰ ĐỘNG ĐIỀU KHIỂN CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o LỜI CAM ĐOAN Chúng xin cam kết đề tài tự thực dựa vào số tài liệu trước khơng chép từ tài liệu hay cơng trình có trước Người thực đề tài LỜI CẢM ƠN Lời em chân thành cảm ơn quý thầy cô Trường Đại Học Sư Phạm Kỹ Thuật Tp.HCM nói chung, thầy khoa Điện Điện Tử nói riêng xuyên suốt năm học vừa qua truyền đạt trang bị cho nhóm chúng em kiến thức chuyên môn, chuyên ngành mà kinh nghiệm kỹ cần thiết để nhóm chúng em hồn thành đề tài đồ án tốt nghiệp Đặc biệt em xin gửi lời cảm ơn chân thành đến thầy TS Nguyễn Văn Thái, người dành thời gian để tận tình giúp đỡ, hướng dẫn theo sát nhóm chúng em suốt trình thực đề tài thời gian qua Em xin gửi lời cảm ơn đến thầy cô phản biện thầy cô hội đồng bảo vệ luận văn dành thời gian để nhận xét giúp đỡ chúng em trình bảo vệ luận văn Một lần xin gửi lời cảm ơn đến tồn thể bạn trong khóa 191513B giúp đỡ cho góp ý trình làm đồ đồ án tốt nghiệp Cuối lời, em xin gửi đến thầy cô, bạn sinh viên, cán nhân viên Trường Đại Học Sư Phạm Kỹ Thuật Tp.HCM lời chúc sức khỏe, kính chúc toàn thể Nhà trường đạt nhiều ngày phát triển gặt hái nhiều thành tựu to lớn Một lần em xin chân thành cảm ơn! Người thực đề tài MỤC LỤC CHƯƠNG TỔNG QUAN 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Đối tượng nghiên cứu 1.4 Phạm vi nghiên cứu đề tài 1.5 Giới thiệu nội dung CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Yêu cầu hệ thống 2.1.1 Nhận dạng xác vật thể 2.1.2 Tìm toạ độ vật tiến hành phân loại 2.2 Phương trình động lực học Robot Delta 2.2.1 Cấu tạo tổng quan Robot Delta 2.2.2 Động học thuận Robot Delta 2.2.3 Động học nghịch Robot Delta 10 2.3 Tổng quan lý thuyết công nghệ xử lý ảnh 13 2.3.1 Các khái niệm xử lý ảnh 13 2.3.2 Đường bao ứng dụng (Contours) 18 2.3.3 Calibration tọa độ camera 20 CHƯƠNG THIẾT KẾ PHẦN CỨNG 24 3.1 Yêu cầu hệ thống 24 3.1.1 Nhận diện sản phẩm 24 3.1.2 Tìm toạ độ xác vật tiến hành gắp sản phẩm 24 3.2 Yêu cầu thiết kế 25 3.2.1 Xác định mục tiêu thiết kế 25 3.2.2 Lập phương án thiết kế 25 3.3 Thông số thiết bị 26 3.3.1 Lựa chọn thiết bị 26 3.3.2 Lựa chọn điều khiển 34 3.4 Sơ đồ kết nối phần cứng 35 CHƯƠNG THUẬT TOÁN ĐIỀU KHIỂN 36 4.1 Thuật toán xử lý ảnh 36 4.1.1 Thuật toán nhận dạng vật 36 4.1.2 Thuật toán tracking 37 4.2 Thuật toán gắp vật 39 4.3 Quy trình điều khiển Robot Delta: 41 CHƯƠNG KẾT QUẢ 43 5.1 Phần cứng 43 5.2 Phần mềm 44 5.2.1 Phần mềm điều khiển giám sát robot Delta 44 5.2.2 Robot hoạt động chế độ auto 47 5.3 Nhận xét kết đạt 50 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 6.1 Kết luận 52 6.2 Hướng phát triển 52 CHƯƠNG THUẬT TOÁN ĐIỀU KHIỂN chuyển robot đến vị trí vật bị trễ Nên ta dự đốn vị trí vật dựa vào tốc độ băng tải thời gian trễ để Robot chuyển động đến vị trí Hình 4-7 Hình 4-7 Dự đốn tọa độ vật Sau có vị trí vật ta tiến hành chuyển đổi vị trí vật thành góc theta động học nghịch Robot tiến hành cấp xung cho driver để điều khiển động quay vị trí Khi robot đến vị trí vật chuyển tiến hành kích tín hiệu cho PLC để mở van khí giúp Gripper kẹp vật tiến hành chuyển trở kho sau tiếp tục thực gắp thả vật cho vật thể phía sau 40 CHƯƠNG THUẬT TỐN ĐIỀU KHIỂN Hình 4-8 Lưu đồ thuật tốn gắp vật 4.3 Quy trình điều khiển Robot Delta: Đầu tiên ta khởi động chương trình, kết nối camera, Plc, động Servo cho chạy băng tải.Tiến hành Sethome cho động , đọc xung Encoder để lấy thông tin tốc độ băng tải, điều chỉnh thơng số xử lí ảnh cho phù hợp với môi trường Tiến hành chọn chế độ hoạt động Manual để điều khiển tay Auto để tự động theo dõi vật thể gắp vật Tiếp theo , chọn chế độ Auto ta cho vật lên băng tải để tiến hành gắp vật, vật gắp qua vùng nhận diện camera nhận diện thuật toán xử lý ảnh thuật tốn Object Tracking, nhờ ta có mảng giá trị gồm tâm tọa độ vật thể ID tương ứng vật thể, tọa độ vật cập nhập liên tục, băng tải chuyển.Ta tiến hành xếp mảng giá trị theo 41 CHƯƠNG THUẬT TOÁN ĐIỀU KHIỂN thứ tự FIFO vật đến trước cần gắp trước Khi vật chuyển đến khu vực làm việc Robot delta , ta tiến hành lấy phần tử (tức tọa độ vật đến đầu tiên) thực dự đoán chuyển động vật nhờ vào thuật tốn dự đốn bên trên, sau tiến hành chuyển đổi giá trị tọa độ thành góc theta chuyển đổi thành số xung để điều khiển Driver.Khi vật đến vị trí tiến hành gắp vật cách kích van khí nén thông qua Plc chuyển vật kho Sau tiếp tục xử lí tiếp vật phía sau cách Hình 4-9 Lưu đồ điều khiển Robot Delta 42 CHƯƠNG KẾT QUẢ CHƯƠNG KẾT QUẢ Chương trình bày kết đạt phần cứng phần mềm điều khiển, giám sát đề tài 5.1 Phần cứng Hoàn tất việc lắp đặt mơ hình Robot Delta Hình 5-1 bên dưới, với việc lắp thêm đèn bên khung robot để cố định điều kiện ánh sáng môi trường từ giúp q trình giám sát phân loại sản phẩm diễn cách trơn tru tỉ lệ xác phân loại sản phẩm cao Hình 5-1 Mơ hình robot Delta 43 CHƯƠNG KẾT QUẢ Hình 5-2 Mạch điều khiển Robot 5.2 Phần mềm 5.2.1 Phần mềm điều khiển giám sát robot Delta Với yêu cầu đề tài, nhóm em thiết kế giao diện để giám sát điều khiển hoạt động Robot Delta thông qua việc chọn chế độ hoạt động hệ thống Giao điện cho phép điều khiển đồng thời giám sát thông số toạ độ, góc quay, số lượng sản phẩm hoạt động robot thơng qua camera, từ lập trình Winform sử dụng để thiết kế tạo giao diện thỏa mãn yêu cầu Giao diện giám sát điều khiển Robot Delta thiết kế gồm ba trang để thuận tiện vận hành giám sát robot cách chặt chẽ gồm: trang connection, trang Manual, trang Auto với chức hoạt động trang liệt kê cụ thể sau 44 CHƯƠNG KẾT QUẢ a) Trang Connection Hình 5-3 Trang Connection Trang Connection giúp ta kết nối với Plc với máy tính thơng qua chuẩn Ethernet.Ở trang ta cho băng tải chạy đọc tốc độ băng tải cho van khí Gripper đóng mở thông qua việc giao tiếp với Plc Việc giao tiếp giúp ta cịn đọc ghi giá trị ghi cho Plc 45 CHƯƠNG KẾT QUẢ b) Trang Manual Hình 5-1 Trang Manual Trang Manual thiết kế giúp điều khiển robot di chuyển nút nhấn giao diện đồng thời hiển thị giá trị toạ độ, góc quay robot đọc Driver Hình 5-4 Điều khiển Servo Người dùng cịn nhập trực tiếp số xung chạy điều khiển cho Driver, xem lại giá trị feedback mà Driver trả 46 CHƯƠNG KẾT QUẢ Hình 5-5 Động học thuận nghịch Robot Delta Trang cịn có bảng điều khiển vị trí Robot Delta theo kiểu Inverter Kinematic Forward Kinematic giúp người dùng dễ dàng chuyển đến vị trí mong muốn c) Trang Auto Hình 5-6 Giao diện điều khiển chế độ Auto Ta cịn điều chỉnh thông số xử lý ảnh thông qua trang 5.2.2 Robot hoạt động chế độ auto Ở chế độ auto, sản phẩm qua băng tải vào hệ thống, ảnh sản phẩm lấy từ camera sau ứng dụng thuật toán xử lý ảnh tiến hành vẽ đường bao cho vật, đồng thời xác định xác tọa độ tâm vật 47 CHƯƠNG KẾT QUẢ Hình 5-7 Giao diện điều khiển chế độ Auto có vật Sau tìm tâm vật, tiến hành tính tốn độ lệch sản phẩm dịch chuyển băng tải để trùng khớp với chuyển động gắp vật cánh tay Robot tránh trường hợp gắp vật khơng xác 48 CHƯƠNG KẾT QUẢ Hình 5-8 Hoạt động gắp thả vật 49 CHƯƠNG KẾT QUẢ Hình 5-9 Hoạt động gắp thả vật Đã cho Robot Delta vận hành thử cho chạy liên tục 100 sản phẩm, kết Robot gắp thành công 95 sản phẩm bỏ sót sản phẩm bề mặt bó ống hút không nên xảy việc Gripper gắp trượt bị vướng ống hút 5.3 Nhận xét kết đạt Từ kết gắp thả sản phẩm cho thấy thuật toán triển khai giải mục tiêu đề ban đầu gắp sản phẩm băng chuyền thả sản phẩm vào vị trí xác định Kết gắp xác gần 95 sản phẩm 100 sản phẩm Bên cạnh cịn sai số, vị trí gắp khơng xác trọng tâm vật 100% nhiều yếu tố khác nhau.Nếu đặt vật sát nhau, tốc độ đáp ứng robot không kịp nhanh dẫn đến việc 50 CHƯƠNG KẾT QUẢ gắp vật khơng xác tâm vật Mặc khác, tầm nhìn camera có giới hạn cánh tay robot Delta hoạt động khoảng không gian cố định nên số sản phẩm nằm tầm hoạt động robot bị bỏ qua 51 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Đề tài “ Điều khiển giám sát hệ thống gắp sản phẩm dùng Delta Robot kết hợp xử lý ảnh” thực tốc độ cao đảm bảo xác ổn định, phù hợp với cơng việc gắp thả sản phẩm vào vị trí mong muốn cách tự động Robot Delta hoạt động chế độ tay (MANUAL) tự động (AUTO) Ở chế độ AUTO gắp sản phẩm băng chuyền thả vào vị trí xác định từ trước cách xác Đối với chế độ MANUAL, điều khiển vị trí cánh tay Robot cách thay đổi vị trí tới, lui, sang trái, qua phải, lên, xuống hay thay đổi cách thay đổi góc quay động step, hệ thống hoạt động cách mượt mà mà khơng có lỗi Với tính đề tài thỏa mãn mục tiêu ban đầu đề Khó khăn chưa giải thay đổi môi trường tác động xung quanh dẫn tới tới thay đổi ánh sáng làm ảnh hưởng phần nhỏ không đáng kể đến độ xác tính tốn chương trình xử lý ảnh Việc chuyển động Robot chưa mượt mà chưa áp dụng thuật toán nâng cao Motion Planning, Continues Path, 6.2 Hướng phát triển Ứng dụng IoT giám sát điều khiển hệ thống từ xa thông qua điện thoại máy tính có kết nối Ethernet Ứng dụng thuật toán nâng cao khác Motion Planning, Continues Path để việc chuyển Robot mượt mà việc gắp vật xác TÀI LIỆU THAM KHẢO [1] L Zhang, Integrated optimal design of delta robot using dynamic performance indices, Tianjin: Tianjin University, 2011 [2] Mzavatshy, Delta robot kinematics, 2009 [3] Mzavatsky, “Trossen Robot Community,” Tutorials, 27 2009 [Trực tuyến] Available: https://hypertriangle.com/~alex/delta-robot-tutorial/ [4] T B.Moeslund, Introduction to Video and Image Processing, Undergraduate Topics in Computer Science: Springer-Verlag London, 2012 [5] Bradski, Gary, and Adrian Kaehler, Learning EmguCV: Computer vision with the EmguCV library, O'Reilly Media, 2008 [6] A Rosebrock, “pyimagesearch,” 23 2018 [Trực tuyến] Available: https://pyimagesearch.com/2018/07/23/simple-object-tracking-with-opencv/ [7] N T Hải, Giáo trình xử lí ảnh, TP.HCM: Đại học sư phạm kỹ thuật TP.HCM, 2014 53