(Đồ án hcmute) điều khiển hệ thống phân loại sản phẩm ứng dụng robot và xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH GVHD: TS TRẦN MẠNH SƠN SVTH: NGUYỄN TƯỜNG TRÌNH LÊ DUY MINH TUẤN S K L0 Tp Hồ Chí Minh, tháng 12/2021 n BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO BÁO CÁO ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH SVTH : Nguyễn Tường Trình - MSSV: 17151147 Lê Duy Minh Tuấn - MSSV: 17151155 Khoá : 2017 Ngành : CNKT Điều khiển Tự động hóa GVHD : TS Trần Mạnh Sơn TP.HCM, Tháng 12 năm 2021 n TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o Tp HCM, tháng 12 năm 2021 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nguyễn Tường Trình MSSV: 17151147 Họ tên sinh viên 2: Lê Duy Minh Tuấn MSSV: 17151155 Chuyên ngành: Công nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo:Đại học quy Khóa: 2017 Lớp: 17151CL2 I TÊN ĐỀ TÀI: ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH Giáo viên hướng dẫn: TS Trần Mạnh Sơn II NHIỆM VỤ Các số liệu ban đầu: ⁃ Thiết kế phần cứng hệ thống cánh tay robot, băng tải hệ thống camera ⁃ Kết nối dây thiết bị ⁃ Lập trình điều khiển hệ thống Nội dung thực hiện: ⁃ Phần khí: Phải đảm bảo hệ thống chắn, không rung lắc Hoạt động ổn định, dễ thao tác Dễ dàng bảo trì sửa chữa ⁃ Phần lập trình điều khiển: lập trình cho hệ thống hoạt động ổn định Cánh tay robot xác, điều khiển giám sát hệ thống qua hình III NGÀY GIAO NHIỆM VỤ: 01/04/2021 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 26/12/2021 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS Trần Mạnh Sơn CÁN BỘ HƯỚNG DẪN BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN II n TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o Tp HCM, tháng 12 năm 2021 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nguyễn Tường Trình MSSV: 17151147 Họ tên sinh viên 2: Lê Duy Minh Tuấn MSSV: 17151155 Chuyên ngành: Công nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Tên đề tài: ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH Giáo viên hướng dẫn: TS Trần Mạnh Sơn Tuần/ngày Nội dung Xác nhận GVHD Tuần 1, (1/4-15/4/2021) Nhận đề tài, tìm hiểu đề tài Tuần 3, 4, (15/4 - 6/5/2021) Lên ý tưởng thiết kế hệ thống, mua thiết bị Tuần 5, (30/4 – 13/5/2021) Thiết kế phần cứng phần mềm Tuần 7, 8, (1/11 – 21/11/2021) Thi công phần cứng phần mềm Tuần 10 (21/11 – 28/11/2021) Thi công phần cứng Tuần 11, 12 (28/11 –12/12/2021) Tinh chỉnh hệ thống, viết báo cáo Tuần 13, 14 (12/12– 26/12/2021) Viết báo cáo Giáo viên hướng dẫn (Ký ghi rõ họ tên) n TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o Tp HCM, tháng 12 năm 2021 PHIẾU NHẬN XÉT GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên 1: Nguyễn Tường Trình MSSV: 17151147 Họ tên sinh viên 2: Lê Duy Minh Tuấn MSSV: 17151155 Chuyên ngành: Cơng nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Tên đề tài: ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH Giáo viên hướng dẫn: TS Trần Mạnh Sơn NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Về nội dung đề tài khối lượng thực hiện: Đề tài xây dựng hệ thống điều khiển giám sát mơ hình phân loại sản phẩm dùng robot song song ứng dụng xử lý ảnh bao gồm việc thiết kế phần cứng, phần mềm điều khiển Mô hình hoạt động tốt, đáp ứng mục tiêu đề Khối lượng thực phù hợp với đề tài tốt nghiệp Ưu điểm: Từ việc khảo sát loại cấu hình robot thực tế, nhóm sinh viên lựa chọn phương án phù hợp với mục tiêu đề tài Sau thiết kế vẽ mô hoạt động phần mềm hỗ trợ Các kết điều khiển hệ thống vật lý có độ xác tin cậy cao Khuyết điểm: Cấu trúc băng tải đơn giản, tính linh hoạt hệ thống cịn hạn chế Đề nghị cho bảo vệ hay không? Đề nghị bảo vệ trước hội đồng Đánh giá loại: Giỏi 6.Điểm: (Bằng chữ: ) Tp HCM, tháng 12 năm 2021 Giáo viên hướng dẫn IV n TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o Tp HCM, tháng 12 năm 2021 PHIẾU NHẬN XÉT GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên 1: Nguyễn Tường Trình MSSV: 17151147 Họ tên sinh viên 2: Lê Duy Minh Tuấn MSSV: 17151155 Chuyên ngành: Công nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Tên đề tài: ĐIỀU KHIỂN HỆ THỐNG PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÝ ẢNH Giáo viên hướng dẫn: TS Trần Mạnh Sơn NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Về nội dung đề tài khối lượng thực hiện: Đề tài xây dựng hệ thống điều khiển giám sát mơ hình phân loại sản phẩm dùng robot song song ứng dụng xử lý ảnh bao gồm việc thiết kế phần cứng, phần mềm điều khiển Mơ hình hoạt động tốt, đáp ứng mục tiêu đề Khối lượng thực phù hợp với đề tài tốt nghiệp Ưu điểm: Từ việc khảo sát loại cấu hình robot thực tế, nhóm sinh viên lựa chọn phương án phù hợp với mục tiêu đề tài Sau thiết kế vẽ mô hoạt động phần mềm hỗ trợ Các kết điều khiển hệ thống vật lý có độ xác tin cậy cao Khuyết điểm: Cấu trúc băng tải cịn đơn giản, tính linh hoạt hệ thống hạn chế Đề nghị cho bảo vệ hay không? Đề nghị bảo vệ trước hội đồng Đánh giá loại: Giỏi 6.Điểm: (Bằng chữ: ) Tp HCM, tháng 12 năm 2021 Giáo viên hướng dẫn n VI n n LỜI CẢM ƠN Trong suốt trình học tập Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh vừa qua, chúng em nhận hỗ trợ truyền đạt kiến thức tận tình q thầy Tất kiến thức giúp ích cho chúng em nhiều, tạo điều kiện thuận lợi cho chúng em hoàn thành tốt đồ án Với tình cảm sâu sắc, chân thành, cho phép chúng em bày tỏ lịng biết ơn sâu sắc đến q thầy người tạo điều kiện giúp đỡ chúng em suốt trình học tập nghiên cứu đề tài Trước hết chúng em xin bày tỏ lòng biết ơn đến thầy cô khoa Điện-Điện tử Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh dạy dỗ, chia sẻ kiến thức, kinh nghiệm q báu mình, giúp chúng em hoàn thành đồ án với đề tài: “Điều khiển hệ thống phân loại sản phẩm ứng dụng robot xử lý ảnh” Chúng em bày tỏ lòng biết ơn đến thầy giáo TS Trần Mạnh Sơn, cương vị giáo viên hướng dẫn cho chúng em Mặc dù thầy bận thầy cố giành cho chúng em khoảng thời gian giải đáp, hỗ trợ chúng em trình thực thời gian vừa qua Chúng em chân thành cảm ơn thầy giáo TS Vũ Văn Phong trưởng môn tự động điều khiển thầy giáo TS Trần Vi Đơ, quản lý Phịng thí nghiệm Thiết bị Tự động hóa cho phép chúng em sử dụng thiết bị cần thiết để phục vụ cho trình nghiên cứu Cuối cùng, chúng em xin cảm ơn người thân, bạn bè bên cạnh, động viên chúng em hoàn thành đề tài nghiên cứu Xin chân thành cảm ơn! Tp Hồ Chí Minh, tháng năm 2021 Sinh viên thực VIII n LỜI CAM ĐOAN Chúng em cam kết nội dung nghiên cứu trình bày luận văn tốt nghiệp thực chúng em Các đoạn trích hình ảnh sử dụng luận văn đính kèm tài liệu tham khảo họ, công khai theo quy tắc Người thực đề tài Sinh viên Sinh viên Lê Duy Minh Tuấn Nguyễn Tường Trình IX n Với việc lựa chọn dòng PLC FX5U ta cần vào GX Works3 để thực viết chương trình, lựa chọn Series CPU Type PLC phù hợp Dạng ngôn ngữ lập trình Ladder (hình 4.11) Hệ thống sử dụng chân phát xung tốc độ cao để điều khiển Step gồm: Step điều khiển trục robot Step điều khiển băng tải (hình 4.12) Hình 12 Cấu hình phát xung tốc độ cao cho hệ thống Để truyền thơng ta cần cấu hình giao tiếp Ethernet Port cho hệ thống (hình 4.13) Hình 13 Cấu hình cho hệ thống- giao tiếp (PLC) 39 n 4.2.3 MX OPC Configurator Để giao tiếp với Python máy tính ta thơng qua phần mềm trung gian MX OPC Configurator Để sử dụng nhóm phải khởi tạo cấu hình kết nối hình 4.14 4.15 Hình 14 Cấu hình cho MX OPC Configurator Sau khởi tạo xong cấu hình kết nối, nhóm tạo tên group có tên PLC_FX5U (tên tự đặt) sau khai báo liệu cần giao tiếp đây, cần phải khai báo đầy đủ thông tin Address, Address Right, Data type,… 40 n Hình 15 Khởi tạo liệu truyền nhận 4.2.4 Phần mềm python Để xử lý liệu cách dễ dàng ta cần phải khái quát hệ thống thơng qua lưu đồ giải thuật (hình 4.16) Hệ thống gồm chức chạy song song với (Thread) gồm: + Khởi tạo OPC + Khởi tạo tác vụ Tkinter + Lấy mẫu vật Hình 16 Lưu đồ giải thuật cho python 41 n Để giao tiếp từ Python xuống PLC FX5U thơng qua MX OPC Configurator nhóm sử dụng Module hỗ trợ OpenOPC pywintypes để phù hợp version sử dụng kết nối Module Sau khởi tạo xong, việc đọc ghi liệu cách liên tục nhóm sử dụng vịng lặp while True Dùng lệnh opc.read để đọc liệu opc.write để ghi liệu (hình 4.17) Hình 17 Khởi tạo OPC server Python Để có giao diện tương tác người dụng máy tính ta sử dụng module Tkinter để lập trình giao diện HMI Bên cạnh để đọc ảnh từ camera hiển thị giao diện này, ta sử dụng module cv2 để đọc ảnh PIL.Image PIL.ImageTk để cavas hình ảnh vào HMI (hình 4.18) Hình 18 Một số module hỗ trợ sử dụng Python 42 n Thơng qua python, nhóm tạo giao diện điều khiển để dễ dàng giám sát điều khiển hệ thống Với hai cửa sổ hình Home hình Setting Bố trí giao diện thể hình 4.19 4.20 Hình 19 Giao diện hình Screen_home Hình 20 Giao diện hình Screen_Setting 43 n Chương KẾT QUẢ THỰC HIỆN 5.1 Kết phần cứng Trong q trình thực phần cứng có nhiều đề ngồi tính tốn xuất hiện, nhóm tiền hành tinh chỉnh phần cứng để khắc phục Kết đạt mong muốn, phần cứng chắn đáp ứng xác yêu cầu phần mềm đưa Trong q trình hoạt động, phần cứng khơng có tượng rung lắc hay hỏng hóc Ngồi phần cứng robot, nhóm tiến hành thi cơng tủ điện cho hệ thống để đảm bảo an toàn tính thẩm mĩ Hình 5.1 5.2 ảnh chụp góc độ khác phần cứng sau hồn thiện Hình Hình ảnh thực tế hệ thống 44 n Hình Hình ảnh thực tế hệ thống (góc diện) Hình 5.3 ảnh chụp tủ điện hệ thống sau thi cơng hồn chỉnh Hình Tủ điện hệ thống 45 n 5.2 Kết phần mềm Hình 5.4 5.5 hình ảnh HMI hệ thống chưa đưa sản phẩm vào Hình Một số thơng số Hình 5 Trạng thái hình vừa khởi động 46 n 5.2.1 Kết sản phẩm màu xanh Hình 5.6 5.7 kết đạt vật màu xanh vào vùng xử lý ảnh Hình Hình ảnh tkinker màu xanh Hình Kết python vật màu xanh 47 n 5.2.2 Kết sản phẩm màu vàng Hình 5.8 5.9 kết đạt vật màu vàng vào vùng xử lý ảnh Hình Hình ảnh tkinker màu vàng Hình Kết python vật màu vàng 48 n 5.2.3 Kết sản phẩm màu đỏ Hình 5.10 5.11 kết đạt vật màu đỏ vào vùng xử lý ảnh Hình 10 Hình ảnh tkinker màu đỏ Hình 11 Kết python vật màu đỏ Nhóm tiến hành thực phân loại sản phẩm nhiều lần kết đạt thể bảng 5.1 Bảng 5.1 Độ xác phân loại sản phẩm Sản phẩm Đỏ Xanh Vàng Kết 15/15 15/15 15/15 Độ xác (%) 100 100 100 49 n 5.3 Nhận xét đánh giá  Đối với cánh tay Robot: Về yêu cầu chung đồ án cánh tay Robot hồn thành tốt nhiệm vụ mà nhóm đề nhiên nhiều mặt hạn chế tốc độ sai số tọa độ cần khắc phục để đạt kết tốt  Đối với Xử lý ảnh: Về độ xác nhóm đánh giá cao phần xử lý ảnh phân biệt sản phẩm độ trễ khơng ảnh hưởng đến q trình hồn thiện 50 n Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận 6.1.1 Mục tiêu đạt Trong khoảng thời gian thực đề tài, nhóm đạt kết cụ thể sau: - Thiết kế thi cơng hệ thống phần cứng - Tính động học cánh tay robot - Sử dụng PLC kết nối điều khiển thiết bị hệ thống - Xử lý ảnh nhận dạng sản phẩm theo màu sắc - Hệ thống cánh tay robot hoạt động ổn định chắn 6.1.2 Hạn chế cịn tồn Sau hệ thống hồn thành cịn vấn đề mà nhóm chưa thể khắc phục được, cụ thể như: - Xử lý ảnh nhận diện màu sắc - Hệ thống dừng lại mức độ mơ hình - Vùng làm việc robot hẹp 6.2 Hướng phát triển Với tiềm đề tài hệ thống cịn nhiều hướng phát triển đạt tương lai, kể đến như: - Cải thiện tốc độ cánh tay robot, giúp tăng tốc độ phân loại sản phẩm - Nâng cấp hệ thống xử lý ảnh để nhận diện nhiều loại sản phẩm Ví dụ phân loại theo hình dạng, vật liệu, kích thước,… - Nâng cấp động giúp cải thiện tốc độ, đặc biệt tăng độ xác cho robot 51 n Tài liệu tham khảo https://asin.com.vn/tai-lieu-day-du-ve-plc-plc-va-fx5u-cua-mishubishi.html https://www.tinhoccoban.net/2018/10/tu-hoc-xu-ly-anh-nhap-mon-xu-ly-anh html#gsc.tab=0 MITSUBISHI FX5U-32MT/ESS datasheet PDF catalog FX5U-32MT/ESS PDF datasheet - MITSUBISHI (mitsubisih.com) https://www.researchgate.net/publication/345607697_The_Forward_and_Inv erse_Kinematics_of_a_Delta_Robot https://quantrimang.com/diem-khac-biet-giua-hex-rgb-va-hsl-169167 https://motogiamtoccu.com/san-pham/cong-thuc-tinh-ti-so-truyen-hop-giamtoc/ 52 n n