(Luận văn thạc sĩ) ứng dụng robot tích hợp thị giác máy tính phân loại rác nhựa

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ỨNG DỤNG ROBOT TÍCH HỢP THỊ GIÁC MÁY TÍNH PHÂN LOẠI RÁC NHỰA h GVHD: TS Trần Đức Thiện SVTH: Nguyễn Thế Hùng Lê Tiến Thành SKL010376 Tp Hồ Chí Minh, tháng 12 năm 2022 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO BỘ MƠN TỰ ĐỘNG ĐIỀU KHIỂN -⸙∆⸙ - h ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: ỨNG DỤNG ROBOT TÍCH HỢP THỊ GIÁC MÁY TÍNH PHÂN LOẠI RÁC NHỰA GVHD: TS Trần Đức Thiện SVTH: Nguyễn Thế Hùng Lê Tiến Thành 18151080 18151122 Tp Hồ Chí Minh tháng 12 năm 2022 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆTNAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o -Tp HCM, ngày 29 tháng 12 năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: TS Trần Đức Thiện Sinh viên: Họ tên sinh viên 1: Nguyễn Thế Hùng MSSV: 18151080 Họ tên sinh viên 2: Lê Tiến Thành MSSV: 18151122 TÊN ĐỀ TÀI: Ứng dụng Robot tích hợp thị giác máy tính phân loại rác nhựa Các số liệu, tài liệu ban đầu: • Định hình đối tượng phân loại: chai nhựa • Tìm hiểu thị giác máy tính • Giao tiếp thiết bị Nội dung đồ án Dựa theo thực tế, dựng lại mơ hình robot scara bậc tự phần mềm h • Solidworks 2018 • Tính tốn động học thuận, nghịch, xác định không gian làm việc quy hoạch quỹ đạo cho robot Kiểm nghiệm động học, viết chương trình mơ quỹ đạo chuyển động robot áp dụng điều khiển MATLAB Simulink kết hợp với Simscape Multibody • Ứng dụng thuật tốn YOLOv5 xây dựng hệ thống phân loại rác nhựa sinh hoạt theo thời gian thực • Thi cơng hệ robot phân loại rác nhựa bao gồm: cánh tay robot scara bậc tự do, tủ điều khiển hệ thống thị giác máy tính • Lập trình điều khiển chuyển động robot Gxwork2 thiết kế giao diện người dùng Winform • Tiến hành đánh giá tính xác cánh tay robot, phần mềm phân loại rác nhựa hệ robot phân loại rác nhựa Các sản phẩm dự kiến: • Hệ robot phân loại rác nhựa (Robot Scara, thị giác máy tính, băng tải) • Chương trình, giao diện điều khiển • Quyển báo cáo đồ án tốt nghiệp • Poster giới thiệu đồ án Ngày giao đồ án: 15/ 08/ 2022 Ngày hồn thành đồ án: 28/ 12/ 2022 Ngơn ngữ trình bày: Tiếng Anh  Tiếng Việt  Trình bày bảo vệ: Tiếng Anh  Tiếng Việt  Bản báo cáo: TRƯỞNG KHOA (Ký, ghi rõ họ tên) TRƯỞNG NGÀNH (Ký, ghi rõ họ tên) GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) h TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o -Tp HCM, ngày 28 tháng 12 năm 2022 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: TS Trần Đức Thiện Sinh viên: Họ tên sinh viên 1: Nguyễn Thế Hùng MSSV: 18151080 Họ tên sinh viên 2: Lê Tiến Thành MSSV: 18151122 Tên đề tài: Ứng dụng Robot tích hợp thị giác máy tính phân loại rác nhựa Kế hoạch thực đồ án Tuần/ngày 15/8/2022 (2 tuần) Nội dung - Tìm hiểu tổng quan đề tài - Tìm hiểu vấn đề liên quan: cánh tay h robot bậc tự do, động AC Servo, Matlab Simulink 29/8/2022 (2 tuần) - Lựa chọn mơ hình robot - Lựa chọn động phù hợp - Lựa chọn camera phù hợp - Tìm hiểu xử lý ảnh, computer vision 12/9/2022 (2 tuần) - Dựng lại mơ hình robot chỉnh sửa lại thiết kế cho phù hợp với thực tế SolidWorks 2018 - Đấu nối dây động lực dây encoder cho robot 26/9/2022 (2 tuần) - Thực tính tốn động học thuận – nghịch - Quy hoạch quỹ đạo, không gian làm việc - Cắt CNC mua khớp nối trục động Xácnhận GVHD 10/10/2022 (2 tuần) - Vẽ sơ đồ nguyên lý, kết nối phần cứng - Thi cơng mơ hình robot tủ điều khiển - Lắp cấu khí nén - Thu thập tập liệu cho YOLO 24/10/2022 (2 tuần) - Hiệu chỉnh camera - Lập trình điều khiển động - Xây dựng mạng nơ-ron dựa thư viện YOLO - Xây dựng kết nối C# PLC 7/11/2022 (2 tuần) - Tính tốn vị trí khơng gian đối tượng - Lập trình phát vật thể, trích xuất thơng tin sở liệu - Lập trình tải liệu từ sở liệu để xử lý phát tín hiệu điều khiển sang PLC h 21/11/2022 (2 tuần) - Hoàn thiện chương trình cho hệ thống thị giác máy tính - Thử nghiệm thực tế hệ thống thu thập liệu để đánh giá - Chỉnh sửa mạng nơ-ron - Viết luận văn đồ án tốt nghiệp 5/12/2022 (2 tuần) - Hoàn thiện chỉnh sửa luận văn GV HƯỚNG DẪN (Ký ghi rõ họ tên) TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN o0o PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ tên sinh viên 1: Nguyễn Thế Hùng MSSV: 18151125 Họ tên sinh viên 2: Lê Tiến Thành MSSV: 18151128 Tên đề tài: Ứng dụng Robot tích hợp thị giác máy tính phân loại rác thải nhựa Ngành đào tạo: Công nghệ kỹ thuật điều khiển tự động hóa Khóa 2018-2022 Họ tên GV hướng dẫn: TS Trần Đức Thiện Ý KIẾN NHẬN XÉT Nhận xét tinh thần, thái độ làm việc sinh viên h Nhận xét kết thực ĐATN 2.1 Kết câu, cách thức trình bày ĐATN: 2.2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) Nội dung đồ án bao gồm chương (Chương Giới thiệu tổng quan đề tài; Chương Trình bày sở lý thuyết kiến thức sử dụng đề tài; Chương Thiết kế mơ hình robot scara bậc tự phần mềm Solidworks; Chương tính tốn động học thuận, nghịch; Chương Huấn luyện mạng YOLO sử dụng YOLO để phát đối tượng, thực hiệu chỉnh camera; Chương 6: Tính toán thiết kế phần mềm điều khiển, giao diện người dùng Chương Thi cơng mơ hình, thực nghiệm đánh giá kết quả; Chương Đưa kết luận hướng phát triển đề tài Phần khí tủ điều khiển xây dựng để chứng minh tính hiệu giải thuật điều khiển mơ hình thực tế 2.3 Kết đạt được: 2.4 Những tồn (nếu có): h Đánh giá: Tiêu chí 1: Mức độ thời đề tài, độ khó đề tài (10%) Quá dễ thực Điểm 10 Thực thực tế Vấn đề vừa sức/ Cần phải dành Vấn đề khó/ Cần nhiều kiến Vấn đề khó/ Cần nhiều kiến thức tổng không cần thời gian thức tổng hợp hợp học nghiên cứu học Tiên chí 2: Tính ứng dụng đề tài vào thực tiễn (10%) Khó ứng dụng Thỉnh thoảng có ứng dụng Có ứng dụng Thực tế bên cần 10 Thực tế bên cần cấp thiết Tiêu chí 3: Tính đắn đề tài, phương pháp nghiên cứu hợp lý (10%) Không hợp lý 12 15 Có phương pháp nghiên Có phương pháp nghiên Phương pháp nghiên cứu rõ Phương pháp nghiên cứu rõ ràng, khoa học, cứu cứu, định hướng ràng, định hướng phù hợp với đề tài Tiêu chí 4: Giải pháp & cơng nghệ, thi cơng/mơ (15%) Giải pháp sơ sài không rõ ràng 12 15 Giải pháp rõ Giải pháp rõ Giải pháp rõ ràng, có ràng, có thi ràng, có quy quy trình thực thi cơng mơ hình/ mơ h Giải pháp trình thực thi cơng mơ cơng, mô vận hành được, kết mô vận hành phỏng/ vận hành tốt Tiêu chí 5: Trình bày nội dung đồ án (15%) Nội dung không rõ ràng Báo cáo sơ sài Có đủ cấu trúc, nội dung 12 15 Có đầy đủ cấu trúc, nội dung Có đầy đủ cấu trúc, trình bày hợp lý khoa học, trình bày hợp lý, khoa học logic, rõ ràng, dễ hiểu, quy định trình bày luận văn Tiêu chí 6: Khả trình bày (10%) Kém Trung bình Tốt Khá 10 Rất tốt – Rõ ràng -Tự tin Tiêu chí 7: Trả lời câu hỏi hội đồng bảo vệ (30%) 12 14 18 20 Trả lời < Trả lời < Trả lời < Trả lời < Trả lời < 100% câu 20% câu hỏi 40% câu hỏi 60% câu hỏi 80% câu hỏi hỏi Tổng điểm theo thang 10 Kết luận:  Được phép bảo vệ  Không phép bảo vệ Tp.HCM, ngày tháng năm 2022 Người nhận xét (Ký ghi rõ họ tên) h CHƯƠNG 7: THI CÔNG MƠ HÌNH VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM 320, 200, 340.62626, 340.6262574194, 3e-6, 106.12762 106.1276202132, 2e-7 Nhận xét: So sánh kết encoder trả kết tính tốn từ matlab Ta nhận sai số encoder nhỏ Thường việc làm tròn số xảy PLC, liệu hiển thị tối đa sau dấu chấm số Ngồi cịn có sai số làm trịn cơng thức Kết quả: Có thể sử dụng điều khiển hệ thống 7.2.2 Kiểm nghiệm động học thuận Bảng 7.5: Nhập góc để kiểm chứng động học thuận Các trường hợp Kết mô (đơn vị độ) Nhập góc ( 1 , ) = (0,0) h Z Y X Nhập góc ( 1 , ) = (270, 90) Z X BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG Y 98 CHƯƠNG 7: THI CƠNG MƠ HÌNH VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM Nhập góc ( 1 , ) = (30, 270) Z X Y 7.3 Kiểm chứng YOLO Để đánh giá kết mơ hình phát dựa YOLO, nhóm đưa đề xuất thử so sánh kết mơ hình khác nhau: 7.3.1 Lần thử nghiệm ban đầu Nhóm thực phân tích dựa tập liệu ban đầu cách dán nhãn phổ thông h dán bounding box xung quang đối tượng Bên ma trận nhầm lẫn thực tế kết tốt lựa chọn thơng qua nhiều lần huấn luyện mạng Hình Huấn luyện theo cách dán bounding box Kết thu Precision = 0.9178, Recall = 0.74444 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 99 CHƯƠNG 7: THI CƠNG MƠ HÌNH VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM Kết luận: Các đối tượng đươc phát xác, nhiên tỉ lệ bỏ sót đối tượng cịn cao Số chai nhựa khơng nhãn khơng phát cao, đối tượng vật có hình chữ nhật chai gán nhãn sai cao Từ kết luận trên, nhóm hướng tới việc cải thiện liệu đầu vào cho mơ hình phát đối tượng dựa thư viện YOLO 7.3.2 Lần thử nghiệm thứ hai Nhóm chọn cách lọc lại liệu, xóa liệu mà trước gây ảnh hưởng tới mơ liệu mà khơng rõ hình dạng chai, ảnh chai bị viền Bên cạnh việc gán nhãn ảnh hưởng tới phần lớn mạng nơ-ron thần kinh, cách dán nhãn lại dựa biên dạng đối tượng chai nhựa Mơ hình xây dựng lại, bên ma trận nhầm lẫn thực tế kết tốt lựa chọn thông qua nhiều lần huấn luyện mạng h Hình 7.2 Huấn luyện theo cách dán ôm vật Kết thu Precision = 0.9411, Recall = 0.9411 Kết luận: Có cải thiện lớn việc phát đối tượng mà số bỏ sót đối tượng giảm, tỉ lệ nhận sai vật giảm Các đối tượng có biên dạng hình chữ nhật khơng cịn bị nhận nhầm Từ kết luận trên, nhóm định sử dụng mơ hình mạng nơ-ron để áp dụng phần điều khiển BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 100 CHƯƠNG 7: THI CƠNG MƠ HÌNH VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM 7.4 Kiểm nghiệm ma trận chuyển đổi vị trí Để kiểm chứng kết ma trận chuyển đổi vị trí, ta thực phát đối tượng camera thơng qua mơ hình mạng nơ-ron Từ trích xuất vị trí đối tượng mà so sánh với thực tế để tìm khoảng sai số Một cách xác ta kẻ lưới pixel, từ chọn điểm tương ứng mặt phẳng không gian làm việc, thực tính tốn đối chứng kết so với thực tế đo h Hình 7.3 Phương pháp kiểm thử Bảng 7.6 Kết thực nghiệm hệ thống BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 101 CHƯƠNG 7: THI CÔNG MƠ HÌNH VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM Bảng 7.7 Kết thực tế sai số Bảng 7.8: Đánh giá sai số ma trận xác định vị trí vật Tọa độ điểm ảnh Dữ liệu trả (mm) Thực tế (mm) Sai số (mm) 473, 193 505.3073, 404.5134 495, 400 < 10 585, 101 313.3073, 396.2077 301, 400 < 15 368, 286 199.4526, 489.0788 200, 499 < 11 0, 452.7186, 837.0310 450, 820 < 13 640, 480 26.7463, 210.0415 22, 221 < 12 240, 240 248.5507, 619.2943 260, 603 < 16 320, 320 174.4880, 540.3095 186, 545