(Đồ án hcmute) phân loại sản phẩm ứng dụng robot và xử lí ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH GVHD: TS TRẦN MẠNH SƠN SVTH: LÊ ĐỨC KÔNG NGUYỄN VĂN THIÊN SKL010422 Tp Hồ Chí Minh, tháng năm 2022 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP Ngành: CNKT Điều khiển Tự động hóa PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH GVHD: TS TRẦN MẠNH SƠN SVTH: LÊ ĐỨC KÔNG 18146154 NGUYỄN VĂN THIÊN 18151126 KHĨA: 2018 Tp Hồ Chí Minh, tháng 08 năm 2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc o0o Tp Hồ Chí Minh, tháng 12 năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: LÊ ĐỨC KÔNG MSSV: 18146154 Họ tên sinh viên 2: NGUYỄN VĂN THIÊN MSSV: 18151126 Ngành: Cơng Nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Khóa: 2018 – 2022 Lớp: 18151CL2A I TÊN ĐỀ TÀI: PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH II NHIỆM VỤ Các tài liệu ban đầu: - Tài liệu điều khiển PLC, Arduino - Tài liệu xử lý ảnh thư viện Python - Tài liệu mơ hình robot Delta - Tài liệu động servo driver Nội dung thực hiện: - Tìm hiểu sở lý thuyết kết nối phần điện - Cải tiến phần cứng robot Delta - Viết chương trình xử lý ảnh nhận diện màu sắc góc xoay - Viết chương trình điều khiển robot Delta - Hồn thiện phần cứng kiểm chứng mơ hình - Chạy thử nhiều lần, chỉnh sửa hệ thống - Nhận xét kết luận III NGÀY GIAO NHIỆM VỤ: 09/2022 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 12/2022 V HỌ VÀ TÊN GIÁO VIÊN HƯỚNG DẪN: TS TRẦN MẠNH SƠN GIÁO VIÊN HƯỚNG DẪN TRƯỞNG NGÀNH (Ký ghi rõ họ tên) (Ký tên & đóng dấu) i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc o0o Tp Hồ Chí Minh, tháng 12 năm 2022 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: LÊ ĐỨC KÔNG MSSV: 18146154 Họ tên sinh viên 2: NGUYỄN VĂN THIÊN MSSV: 18151126 Tên đề tài: PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH Tuần/ngày Xác nhận GVHD Nội dung Đăng kí đề tài đồ án Liên hệ trao đổi GVHD Giáo viên hướng dẫn giao đề tài Tìm hiểu robot Delta, lên ý tưởng cải thiện phần cứng Thiết kế, cải tiến phần cứng Tìm hiểu lý thuyết xử lý ảnh, mơ hình robot Delta Viết chương trình xử lý ảnh nhận diện màu sắc, góc Viết chương trình điều khiển robot Delta 9, 10 Viết chương trình cho khớp xoay 11, 12 Thiết kế giao diện cho mơ hình 13 14, 15 16 Hồn thiện mơ hình Thử nghiệm nhiều lần, quay lại clip, viết báo cáo Điều chỉnh mơ hình hồn thiện báo cáo Tp Hồ Chí Minh, tháng 07 năm 2022 Giáo viên hướng dẫn (Ký ghi rõ họ tên) ii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc o0o Tp Hồ Chí Minh, tháng 12 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên 1: LÊ ĐỨC KÔNG MSSV: 18146154 Họ tên sinh viên 2: NGUYỄN VĂN THIÊN MSSV: 18151126 Chuyên ngành: Công Nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Khóa: 2018 – 2022 Lớp: 18151CL2A Họ tên Giảng viên hướng dẫn: TS TRẦN MẠNH SƠN Tên đề tài: PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH NHẬN XÉT: Về nội dung đề tài & khối lượng thực hiện: Ưu điểm Khuyết điểm Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: (Bằng chữ:) Tp.Hồ Chí Minh, tháng 07 năm 2022 Giáo viên hướng dẫn (Ký ghi rõ họ tên) iii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc o0o Tp Hồ Chí Minh, tháng 12 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên 1: LÊ ĐỨC KÔNG MSSV: 18146154 Họ tên sinh viên 2: NGUYỄN VĂN THIÊN MSSV: 18151126 Chuyên ngành: Công Nghệ Kỹ thuật Điều khiển Tự động hóa Hệ đào tạo: Đại học quy Khóa: 2018 – 2022 Lớp: 18151CL2A Họ tên Giảng viên hướng dẫn: TS TRẦN MẠNH SƠN Tên đề tài: PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH NHẬN XÉT: Về nội dung đề tài & khối lượng thực hiện: Ưu điểm Khuyết điểm Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: (Bằng chữ: ) Tp.Hồ Chí Minh, tháng 07 năm 2022 Giáo viên hướng dẫn (Ký ghi rõ họ tên) iv LỜI CẢM ƠN Trong trình miệt mài năm học tập trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh, chúng em ln nhận hỗ trợ nhiệt tình, kiến thức vơ q báu đến từ quý thầy cô Mỗi học hành trang vô vô giá cho đường đời chúng em Với niềm bày tỏ lòng biết ơn vô sâu sắc, chúng em gửi lời cám ơn tới quý thầy cô tạo điều kiện thuận lợi trình học tập rèn luyện Là sinh viên trường đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh, đồ án tốt nghiệp chứng minh cho kiến thức trau dồi sau bốn năm học tập Trong q trình hồn thành đồ án tốt nghiệp, cố gắng thân, chúng em nhận hướng dẫn tận tình thầy TS Trần Mạnh Sơn Chúng em xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Bên cạnh đó, mơn học, giảng chúng em nhận quan tâm, hướng dẫn giúp đỡ tận tình thầy, giáo môn Khoa đào tạo Chất lượng cao Khoa Điện - Điện tử Chúng em vô biết ơn cảm ơn Chúng em xin bày tỏ lịng biết ơn sâu sắc đến gia đình, người thân, bạn bè giúp đỡ, động viên chúng em hồn thành khóa luận tốt nghiệp Một lần nữa, chúng em xin trân trọng cảm ơn! Sinh viên thực Lê Đức Kông Nguyễn Văn Thiên v LỜI CAM ĐOAN Chúng em xin cam kết nội dung nghiên cứu trình bày luận văn tốt nghiệp thực chúng em Các đoạn trích hình ảnh sử dụng luận văn đính kèm tài liệu tham khảo họ, công khai theo quy tắc Người thực đề tài Sinh viên Sinh viên Lê Đức Kông Nguyễn Văn Thiên vi TÓM TẮT ĐỀ TÀI: PHÂN LOẠI SẢN PHẨM ỨNG DỤNG ROBOT VÀ XỬ LÍ ẢNH SINH VIÊN THỰC HIỆN: LÊ ĐỨC KÔNG NGUYỄN VĂN THIÊN 18146154 LỚP: 18151CL2A 18151126 LỚP: 18151CL2A NỘI DUNG: Cải thiện mô hình robot Delta để hoạt động hạn chế rung, yêu cầu sử dụng xử lý ảnh phân loại màu sắc xử lý góc quay cho robot phân loại đưa sản phẩm góc cố định Sau q trình thực đề tài, mơ hình nhóm hoạt động yêu cầu mà nhóm đề Bên cạnh đó, nhóm em trang bị kiến thức xử lý ảnh, điều khiển động AC servo, sử dụng PLC sử dụng điều khiển Arduino vii ABSTRACT PROJECT TITLE: CLASSIFICATION PRODUCTS APPLIED ROBOT AND IMAGE PROCESSING STUDENT NAMES: LÊ ĐỨC KÔNG NGUYỄN VĂN THIÊN 18146154 LỚP: 18151CL2A 18151126 LỚP: 18151CL2A CONTENT: Improved Delta robot model for vibration-free operation, requires the use of color grading image processing so that the robot correctly classifies and delivers products at the same fixed angle After the implementation of the project, the group's model worked in accordance with the requirements set out by the group Besides, the group has equipped with knowledge about image processing, controlling AC servo motors, using PLC as well as using Arduino controller viii ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO 3.5 Giải thuật chương trình điều khiển robot 3.5.1 Trình tự điều khiển Trình tự điều khiển robot tiến hành theo bước sơ đồ sau: - Đầu tiên tiến hành kết nối với PLC Arduino thông qua cổng Modbus - Sau tiến hành chọn chế độ để điều khiển robot - Ở chế độ Manual ta điều khiển robot tay, điểu chỉnh theta, cho robot di chuyển theo cách ta mong muốn, điều khiển hút, khớp xoay - Ở chế độ Auto, robot xử lý cách tự động, sản phẩm đặt lên băng tải di chuyển băng tải, camera thu nhận toàn băng tải để tiến hành xử lý hình ảnh cho vật thể xác định tâm góc vật, sau liệu gửi đến PC tiến hành nhận diện màu sắc kích thước vị trí sản phẩm, đưa phần mềm để điều khiển robot tiến hành phân loại xếp Hình 3.41 Sơ đồ khối trình tự điều khiển robot 3.5.2 Trình tự training data ảnh xử lí hình ảnh Đầu tiên, ta thực việc training ảnh để lấy liệu qua tuật toán YOLOv7 tiny Google Colab lưu trữ: • Bước 1: Lấy data ảnh thô: 1200 tấm/vật, tổng 9600 49 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO • Bước 2: Dán nhãn: dán nhãn tay 100 tấm/ vật, đưa liệu train nhanh với model yolov7-tiny với epoch=100, sau dãn nhãn tồn liệu ảnh thơ cịn lại, liệu hồn chỉnh bao gồm: 9600 ảnh + 9600 labels • Bước 3: Train liệu hoàn chỉnh với model yolov7-tiny 300 vịng, kiểm tra kết quả, chọn file weight có kết train tốt Hình 3.42 Kết traing liệu ảnh Hình 3.43 Kết dự đốn xác vật thể Sau có liệu ta thực tiếp phần xử lí ảnh vật: 50 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO • Bước 1: Đọc ảnh từ camera về, đưa qua model yolov7-tiny để nhận diện vật thể, kết sau nhận diện: tên vật thể, tọa độ trọng tâm vật (pixels) • Bước 2: Cắt vùng ảnh chứa vật theo pixels, đưa vùng ảnh vào xử lí • Bước 3: Lọc màu xanh băng tải để tách riêng vật thể với băng tải • Bước 4: Đổi sang ảnh đen trắng (Threshold), phân ngưỡng đen, vật trắng • Bước 5: Áp dụng contour để tính tốn lại tọa độ tâm với góc nghiêng so với phương ngang vật • Bước 6: Tọa độ tâm vật (pixels), góc xoay vật (rad) • Bước 7: Chuyển đổi tọa độ từ hệ trục 2D (camera – đơn vị pixels) sang 3D (x,y,z – đơn vị cm) • Bước 8: Tính tốn góc khớp với động học nghịch robot 3.5.3 Phương pháp chuyển đổi tọa độ khung hình sang tọa độ hệ robot Gọi hệ trục tọa độ khung ảnh camera O ' x ' y ' hệ trục robot gắn với khâu đế có tọa độ Oxy Hình 3.44 Hệ trục tọa độ robot Ví dụ: Ta xét khung ảnh thu từ camera có kích thước 640x480 (pixel) Thì lúc độ dài tia Ox ' Oy ' có độ dài 640 480 (pixel) Ta thực chuyển đổi đơn vị pixel sang đơn vị cm cách tiến hành đo thược chiều dài tia Ox ' Oy ' a, b (cm) giả sử a = 10 lúc ta tính số pixel cm cách lấy 640 chia cho 10 ta tính cm 64 pixel ảnh Tường tự ta thực việc chuyển đổi hệ trục tọa độ Ox ' y ' sang hệ trục tọa độ Oxy Tiến hành xem xét tọa độ điểm O hệ truc Ox ' y ' lúc ta 51 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO có tọa độ ( xo , yo ) tính theo đơn vị pixel, tọa độ điểm A ứng hệ trục oxy ( xa , ya ) (pixel) Như hình 4.4 ta thấy O gốc robot, để robot chuyển động đến điểm A tọa độ vecto AO cần phải xác định Từ hình 4.4 ta nhận thấy tia Oy Oy ' có phương hướng tia Ox Ox ' phương khác hướng Khi vecto AO có tọa độ ( Px , Py ) Px = x0 − xa (pixel) Py = ya − yo (pixel) Px Py chình tọa độ cánh tay phương trình động học nghịch Khi Px Py chuyển sang đơn vị cm mặt phẳng thực tế có giá trị tính cơng thức Px = ( x0 − xa ) / 64 (cm) Py = ( ya − yo ) / 64 (cm) Ở xử lý ảnh không gian 2D nên cần xác định tọa độ Px Py tọa độ Pz xem số cố định không ảnh hưởng đến q trình tính tốn Dó ta tìm góc xoay 1 , ,3 có tọa độ Px , Py , Pz nhờ mà robot hoạt động di chuyển đến vị trí ta cần cách dễ dàng 3.5.4 Thiết kế giao diện điều khiển HMI cho robot Giao diện HMI giao diện người dùng thiết kế nhằm để người vận hành theo dõi, quan sát tình trạng hoạt động hệ thống Đối với hệ thống robot Delta, nhóm thiết kế thơng qua phần mềm hõ trợ cho python QT Designer nhằm mục đích theo dõi sản phẩm mà robot nhận diện để phân loại theo màu sắc kích thước, xác nhận diện AI Ta điều khiển chế độ: Manual Auto Đối với Manual, ta sử dụng động học thuận để nhập góc xác định vị trí vật Chế độ Auto sau camera nhận hình ảnh xác định tọa độ vật gửi liệu tọa độ vị trí cho PC PC kết nối với PLC để PLC cấp xung cho servo hoạt động hay cánh tay gắp vị trí vật 52 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Hình 3.45 Giao diện HMI thiết kế cho robot Delta Đối với giao diện HMI mà nhóm thiết kế bao gồm khu vực với chức riêng Phía hình logo trường với tên robot thực hiện, tên đề tài khu vực hiển thị hình camera đặt góc bao qt tổng thể băng tải vị trí góc lệch so với ảnh thu vật Phía khu vực nút nhấn điều khiển hệ thống nút chế độ AUTO MANUAL hay nút đặt lại vị trí HOME bố trí khu vực Khu vực “Operating devices” hiển thị chế độ hoạt động hệ thống “Status” hiển thị trạng thái hoạt động hệ thống khu vực “Products” cho phép người vận chọn loại sản phẩm để phân loại “Manual Control” cho phép người vận hành điều chỉnh tọa độ mà cánh tay muốn di chuyển đến vật 53 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Chương KẾT QUẢ THỰC HIỆN 4.1 Kết thực phần cứng Sau trình lên ý tưởng, thiết kế thi cơng mơ hình cho đề tài có kết ảnh sau: Hình 4.1 Phía trước phân bố vị trí hệ thống Hình 4.2 a) Phía bên phải Hình 4.2 b) Phía bên trái Hình 4.2 Góc nhìn hai bên hệ thống 54 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Sau hồn thiện mơ hình tiến hành dây lại tồn hệ thống để đảm bảo độ thẩm mĩ an toàn điện, đáp ứng cầu cơng nghiệp Hình 4.3 Mơ hình lại dây Hình 4.4 Tủ điện đảm bảo độ an toàn thẩm mĩ 55 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO 4.2 Kết thực phần mềm Về phần xử lý ảnh, nhận diện hình dạng hình trịn, chữ nhật vỡi loại có ba màu: xanh dương, đỏ màu vàng, nhận diện góc vật so với phương ngang tọa độ tâm vật Robot xử lý khâu chờ vật, gắp vật, thả vật vào vị trí đặt trở vị trí ban đầu, phần khớp xoay robot xoay, gắp vật xếp tương đối ổn Các sản phẩm nhận diện trình bày sau: Hình 4.5 Nhận diện sản phẩm màu đỏ hình chữ nhật Hình 4.6 Nhận diện sản phẩm màu vàng hình chữ nhật 56 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Hình 4.7 Nhận diện sản phẩm màu xanh hình chữ nhật Hình 4.8 Nhận diện sản phẩm màu đỏ hình trịn Hình 4.9 Nhận diện sản phẩm màu xanh hình trịn 57 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Thực chạy chương trình, ta quan sát robot làm việc hút thả vật mong muốn ban đầu Hình 4.10 Robot bắt đầu hút vật Hình 4.11 Robot hút di chuyển vật tới vị trí phân loại Hình 4.12 Robot thả vật vào ô phân loại thứ 58 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Tương tự màu khác, tình với vật hình trịn màu lam: Hình 4.13 Robot bắt đầu hút vật Hình 4.14 Vật hút lên Hình 4.15 Vật thả vào phân loại vị trí thứ 59 ĐỒ ÁN TỐT NGHIỆP KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Hình 4.16 Đầu hút trở vị trí chuẩn bị vật 60 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận 5.1.1 Mục tiêu đạt Trong khoảng thời gian gần tháng thực đề tài, nhóm đạt kết cụ thể sau: - Thiết kế thi công hệ thống phần cứng đảm bảo thẩm mỹ an tồn điện - Tính tốn động học cho cánh tay robot Delta - Sử dụng PLC kết nối điều khiển thiết vị có hệ thống - Xử lí hình ảnh nhận dạng phân loại sản phẩm theo màu sắc kích thước - Hệ thống cánh tay robot hoạt động tương đối ổn định chắn, khơng cịn rung lắc 5.1.2 Hạn chế đề tài Với thời gian thực đề tài tương đối ngắn, sau hệ thống hồn thành nhóm em nhận thấy số vấn đề cịn thiếu sót chưa thể khắc phục sau: - Các thiết bị sử dụng lại bị trục trạc phần cứng khác nhiều nên nhiều thời gian để tìm kiếm thay thiết bị tương tự, sản phẩm giá thành tương đối cao - Các cánh tay chưa đồng tốc độ tối đa - Gắp thả vật chưa đạt xác tuyệt đối 5.2 Hướng phát triển Với tiềm đề tài hệ thống cịn nhiều hướng phát triển đạt tương lai, kể đến như: - Cải thiện tốc độ xử lí gắp vật cánh tay robot, tăng tốc độ phân loại sản phẩm phù hợp với tiêu chí cơng nghiệp việc phân loại - Nâng cấp động giúp cải thiện tốc độ, đặc biệt tăng độ xác cho robot - Ứng dụng YOLO cho nhận diện sản phẩm thực tế quả, bút,… 61 TÀI LIỆU THAM KHẢO [1] Robot Công Nghiệp (2009) - Ts Phạm Đăng Phước [2] The Delta Parallel Robot: Kinematics Solutions Robert L Williams II, Ph.D., Mechanical Engineering, Ohio University, October (2016) [3] Hoai Nam LE and Xuan Hoang LE, Geometrical design of a RUU type Delta robotbased on the predescribed Workspace, 4th International Conference on Green Technology and Sustainable Development (GTSD), HCMUTE (2018) [4] Robot công nghiệp, PGS.TS Nguyễn Trường Thịnh, Đại học SPKT Tp HCM [5] https://plcmitsubishi.com [6] https://hypertriangle.com/~alex/delta-robot-tutorial [7] https://thanhphan.vn/so-do-ket-noi-servo-mitsubishi-mr-j2s-10a [8] https://biquyetxaynha.com/huong-dan-cai-dat-driver-servo-mitsubishi [9] https://blog.paperspace.com/yolov7 [10] Train YOLOv7, nhận diện YOLOv7 GPU Colab, https://www.youtube.com/watch?v=TJ4o5QB7Wqg 62 S K L 0