Thiết kế và thi công mô hình cánh tay robot phân loại sản phẩm lỗi

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NGÀNH CNKT ĐIỆN TỬ - VIỄN THÔNG THIẾT KẾ VÀ THI CƠNG MƠ HÌNH CÁNH TAY ROBOT PHÂN LOẠI SẢN PHẨM LỖI GVHD: PGS.TS TRƯƠNG NGỌC SƠN SVTH: TRẦN VĂN PHÚC NGUYỄN ĐÌNH CAO TRÍ TÍN SKL010830 Tp Hồ Chí Minh, tháng 7/2023 TRƯỜNGiĐẠI HỌCiSƯiPHẠM KỸiTHUẬTiTP HỒiCHÍiMINH KHOAiĐÀOiTẠOiCHẤTiLƯỢNGiCAO ĐỒiÁNiTỐTiNGHIỆP THIẾTiKẾ VÀ THI CƠNG MƠ HÌNH CÁNHiTAY ROBOT PHÂN LOẠIiSẢNiPHẨM LỖI TRẦN VĂN PHÚC MSSV: 19161012 NGUYỄN ĐÌNH CAO TRÍ TÍN MSSV: 19161175 NGÀNH: ĐIỆN TỬ - VIỄN THƠNG GVHD: PGS.TS TRƯƠNG NGỌC SƠN TP Hồ Chí Minh, tháng năm 2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -TP Hồ Chí Minh, ngày 13 tháng năm 2023 NHIỆMiVỤiĐỒiÁN TỐTiNGHIỆP Họ tên sinh viên: Trần Văn Phúc MSSV: 19161012 Họ tên sinh viên: Nguyễn Đình Cao Trí Tín MSSV: 19161175 Ngành: Kỹ thuật Điện tử - Viễn thông Lớp: 19161CLVT1 GVHD: PGS.TS Trương Ngọc Sơn Phone number: 0931085929 Ngày nhận đề tài: 02/03/2023 Ngày nộp đề tài: 13/06/2023 Tên đề tài: Thiết kế thi cơng mơ hình cánh tay robot phân loại sản phẩm lỗi Các số liệu, tài liệu ban đầu: Kiến thức môn Điện tử bản, xử lý ảnh, vi xử lý, sở ứng dụng AI Các tài liệu lý thuyết lập trình python arduino Tìm hiểu nghiên cứu thêm phương thức YOLOv5 Sản phẩm: Thiết kế thi cơng mơ hình cánh tay Robot phân loại sản phẩm lỗi Hệ thống hoạt động dựa việc băng chuyền sản phẩm đến vị trí nhận diện sản phẩm cánh tay robot làm nhiệm vụ gắp sản phẩm để phân loại lỗi khác sản phẩm TRƯỞNG NGÀNH GIẢNH VIÊN HƯỚNG DẪN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -TP Hồ Chí Minh, ngày tháng năm 2023 PHIẾUiNHẬNiXÉTiCỦAiGIÁOiVIÊNiHƯỚNGiDẪN Họ tên sinh viên: Trần Văn Phúc MSSV: 19161012 Họ tên sinh viên: Nguyễn Đình Cao Trí Tín MSSV: 19161175 Ngành: Kỹ thuật Điện tử - Viễn thông Tên đề tài: Thiết kế thi cơng mơ hình cánh tay robot phân loại sản phẩm lỗi Họ tên giáo viên phản biện: NHẬN XÉT Vềinộiidungivà khốiilượng thựcihiện: Ưuiđiểm: Khuyếtiđiểm: Đềinghị choibảo vệ hayikhông? Đánhigiáiloại: Điểm:……………….(Bằngichữ: .) GIẢNGiVIÊNiHƯỚNG DẪN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -TP Hồ Chí Minh, ngày tháng năm 2023 PHIẾUiNHẬNiXÉTiCỦAiGIÁOiVIÊNiPHẢNiBIỆN Họ tên sinh viên: Trần Văn Phúc MSSV: 19161012 Họ tên sinh viên: Nguyễn Đình Cao Trí Tín MSSV: 19161175 Ngành: Kỹ thuật Điện tử - Viễn thông Tên đề tài: Thiết kế thi cơng mơ hình cánh tay robot phân loại sản phẩm lỗi Họ tên giáo viên phản biện: NHẬN XÉT Về nộiidungivà khốiilượng thựcihiện: Ưuiđiểm: Khuyếtiđiểm: Đề nghịichoibảoivệihay không? Đánhigiáiloại: Điểm:……………….(Bằngichữ: .) GIẢNGiVIÊNiPHẢNiBIỆN LỜI CẢM ƠN Nhóm thực đề tài xin dành tri ân sâu sắc bày tỏ lòng biết ơn chân thành thầy cô giảng viên trường, đặc biệt thầy cô ngành Công nghệ Kỹ Thuật Điện Tử - Viễn thông trường đại học sư phạm kỹ thuật TPHCM giảng dạy tận tình truyền đạt kiến thức bổ ích góp phần để làm tảng vững cho chuyên ngành sau Nhóm thực đề tài xin gửi lời cảm ơn chân thành đến thầy Trương Ngọc Sơn, người trang bị cho nhóm thực đề tài kiến thức cần thiết bảo tận tình cho nhóm suốt thời gian hồn thành đồ án Nhóm thực đề tài biết ơn thầy bảo nhóm việc lựa chọn đề tài nghiên cứu, hướng tiếp cận giúp đỡ nhóm chỉnh sửa chữa thiếu sót q trình nghiên cứu Trong q trình làm đồ án tốt nghiệp, nhóm thực đề tài nhận giúp đỡ đóng góp ý kiến từ phía thầy giảng viên động viên từ bạn bè Do nhóm thực đề tài hạn chế kiến thức kinh nghiệm, thời gian ngắn với tài liệu tham khảo hạn chế, đồ án không tránh khỏi thiếu sót Nhóm thực đề tài mong nhận ý kiến đóng góp từ Thầy, Cơ để bổ sung chỗ chưa xác, giúp nhóm thực đề tài hồn thiện hoàn thành tốt Xin trân trọng cảm ơn Tp Hồ Chí Minh, tháng năm 2023 Thay mặt nhóm sinh viên thực Trần Văn Phúc Nguyễn Đình Cao Trí Tín i LỜI CAM ĐOAN Nhóm thực đồ án xác nhận cơng trình thành nhóm hướng dẫn khoa học PGS.TS Trương Ngọc Sơn Những nội dung số liệu nhóm tác giả tìm kiếm từ nhiều nguồn khác có trích dẫn tài liệu kham khảo cách trung thực Nhóm cam đoan hồn tồn chịu trách nhiệm có hành vi gian lận phát liên qua đến cơng trình ii TĨM TẮT Ngày nay, chạy đua ngành công nghiệp ngày gay gắt Để có doanh thu vượt bậc cần phải với suất sản phẩm Muốn có sản phẩm doanh nghiệp tạo dây chuyền sản xuất sản phẩm tự động Nhưng vấn đề chất lượng sản phẩm quan trọng nhà sản xuất Cùng với phát triển công nghiệp hóa đại hóa việc tạo hệ thống dây chuyền sản xuất tự động phát sản phẩm lỗi điều cần thiết nhà máy Đồ án tốt nghiệp nhằm tập trung vào thiết kế phát triển cánh tay robot có khả phân loại sản phẩm lỗi dây chuyền sản xuất tự động Với mục tiêu nâng cao hiệu suất xác q trình kiểm tra sản phẩm, kết hợp robot trí tuệ nhân tạo mang lại lợi ích lớn cho ngành cơng nghiệp sản xuất Từ đó, giảm thiểu sản phẩm lỗi bị đưa thị trường, nâng cao chất lượng sản phẩm, bảo vệ sức khỏe người tiêu dùng Phần mềm bao gồm việc lập trình nhận diện sản phẩm, vẽ khung hình phát qua lớp tích chập quan trọng thiết lập mơ hình huấn luyện sản phẩm người dùng mong muốn nhận diện Phần cứng bao gồm việc tính toán thiết kế cánh tay robot kết hợp với việc điều khiển băng tải cảm biến nhận diện vật thể sử dụng arduino uno R3 Cuối liên kết webcam nhận diện sản phẩm từ python đọc label sản phẩm mong muốn, sau gửi tín hiệu theo yêu cầu người dùng đến arduino để thực điều khiển cánh tay robot gắp phân loại sản phẩm lỗi iii MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC BẢNG vii DANH MỤC HÌNH viii Chương GIỚI THIỆU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu đề tài 1.3 Giới hạn đề tài 1.4 Phương pháp nghiên cứu 1.5 Đối tượng phạm vi nghiên cứu 1.6 Bố cục báo cáo Chương CƠ SỞ LÝ THUYẾT 2.1 Thị giác máy tính 2.1.1 Tiền xử lý ảnh 2.1.2 Phát vật thể 2.1.3 Trích xuất đặc trưng 2.1.4 Phân loại 2.2 Tổng quan YOLO 2.3 Kiến trúc mạng YOLO cách hoạt động YOLO 2.3.1 Output YOLO 2.3.2 Dự đoán nhiều feature map 11 2.3.3 Anchor box 12 2.3.4 Dự báo boding box 13 2.4 Xử lý ảnh với YOLOv5 14 2.4.1 Sơ lược YOLOv5 14 2.4.2 Cách hoạt động YOLOv5 15 Chương THIẾT KẾ HỆ THỐNG 17 3.1 Thiết kế phần cứng 17 3.2 Các linh kiện hệ thống 19 3.2.1 Vi điều khiển Adruino 19 3.2.2 Nút nhấn LA38 22 iv 3.2.3 Động giảm tốc DC GA25 - 370 23 3.2.4 Cảm biến E3F – DS30P1 23 3.2.5 Camera Rapoo C200 24 3.2.6 Động servo MG996 25 3.2.7 Mạch hạ áp Buck DC - DC 12A 26 3.2.8 Nguồn tổ ong 24 – 10A 27 3.3 Thiết kế phần mềm 29 3.4 Mơ hình training sản phẩm qua YOLOv5 32 3.4.1 Quá trình training vật thể 32 3.4.2 Kết sau huấn luyện 33 Chương KẾT QUẢ THI CÔNG HỆ THỐNG 35 4.1 Giới thiệu 35 4.2 Kết thực mơ hình 35 4.3 Kết mơ hình thi công 39 4.3.1 Kết phần cứng kết nối thiết bị 39 4.3.2 Kết toàn hệ thống 40 4.3.3 Kết hoạt động hệ thống 42 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 5.1 Kết luận 52 5.2 Hướng phát triển 52 TÀI LIỆU THAM KHẢO 53 PHỤ LỤC 54 v Hình Mơ hình hồn thiện chụp từ bên trái Hình 10 Mơ hình hồn thiện chụp từ bên phải 41 Hình 11 Mơ hình hồn thiện chụp từ xuống Ở hình 4.11 góc chụp tổng qt hồn thiện mơ hình Mơ hình bao gồm Cảm biến khoảng cách nhận dạng vật cản đầu băng chuyền gửi tín hiệu cho vi điểu khiển để dừng băng chuyền Cánh tay robot lập trình để thục việc gắp di chuyển sản phẩm Băng tải để di chuyển sản phẩm Các thiết bị khác, bao gồm camera thành phần điện tử khác hoạt động tốt đảm bảo thu thập thông tin cách hiệu 4.3.3 Kết hoạt động hệ thống Hệ thống cánh tay robot phân loại sản phẩm lỗi băng chuyền hoạt động cách ổn định Khi kích hoạt nút nhấn, băng chuyền cánh tay robot hoạt động cách đồng Khi đặt sản phẩm lên băng chuyền, băng chuyền di chuyển tới vị trí kiểm tra Camera sử dụng để quét sản phẩm phân loại sản phẩm có lỗi hay khơng Hệ thống sử dụng thuật toán xử lý ảnh YOLO V5 để nhận biết đặc điểm đặc trưng sản phẩm lỗi kết phân loại truyền cho cánh tay robot để tiến hành phân loại 42 Nếu sản phẩm lỗi, băng chuyền tiếp tục di chuyển sản phẩm tới vị trí quy trình sản xuất Ngược lại, sản phẩm có lỗi, cánh tay robot tiến hành gắp sản phẩm đưa khỏi băng chuyền, đặt vào vị trí phân loại Phân loại yakult bị lỗi nắp Hình 12 Yakult bị lỗi nắp vận chuyển 43 Hình 13 Yakult bị lỗi nắp vận chuyển tới cảm biến Khi sản phẩm bị lỗi nắp truyền đến vị trí gắp hình 4.13, lúc cảm biến báo dùng băng tải để camera nhận diện xem sản phẩm lỗi hay không lỗi, bị lỗi bị lỗi Sau cánh tay Robot điều khiển gắp đến vị trí phân loại hình 4.13 44 Hình 14 Phân loại yakult bị lỗi nắp chai Giải thích: Sau nhấn nút khởi động, cánh tay robot băng tải bắt đầu hoạt động Khi đặt chai yakult lên băng di chuyển đến cảm biến vị trí số làm băng tải dừng Khi camera quét yakult bị lỗi nắp chai, cánh tay robot di chuyển gắp vật vào khay hình 4.14 Phân loại yakult bị lỗi vỏ Hình 15 Yakult bị lỗi vỏ vận chuyển 45 Hình 16 Yakult bị lỗi vỏ vận chuyển tới cảm biến Hình 17 Phân loại yakult bị lỗi vỏ Giải thích: Sau nhấn nút khởi động, cánh tay robot băng tải bắt đầu hoạt động Khi đặt chai yakult lên băng di chuyển đến cảm biến vị trí số làm băng tải dừng Khi camera quét yakult bị lỗi vỏ, cánh tay robot di chuyển gắp vật vào khay theo thứ tự hình 4.15, 4.16 4.17 46 Phân loại yakult có vật thể lạ Hình 18 Yakult có vật thể lạ vận chuyển Hình 19 Yakult có vật thể lạ vận chuyển tới cảm biến 47 Hình 20 Phân loại yakult có vật thể lạ Giải thích: Sau nhấn nút khởi động, cánh tay robot băng tải bắt đầu hoạt động Khi đặt chai yakult lên băng di chuyển đến cảm biến vị trí số làm băng tải dừng Khi camera quét yakult có vật thể lạ, cánh tay robot di chuyển gắp vật vào khay theo thứ tự thể hình 4.18, 4.19 4.20 Phân loại yakult bị lỗi màu sữa Hình 21 Yakult bị lỗi màu sữa vận chuyển 48 Hình 22 Yakult bị lỗi màu sữa vận chuyển tới cảm biến 49 Hình 23 Phân loại yakult bị lỗi màu sữa Giải thích: Sau nhấn nút khởi động, cánh tay robot băng tải bắt đầu hoạt động Khi đặt chai yakult lên băng di chuyển đến cảm biến vị trí số làm băng tải dừng Khi camera quét yakult bị lỗi màu nước, cánh tay robot di chuyển gắp vật vào khay theo thứ tự thể hình 4.21, 4.22 4.23 Phân loại yakult khơng bị lỗi Hình 24 Yakult khơng bị lỗi vận chuyển 50 Hình 25 Phân loại Yakult khơng bị lỗi Giải thích: sau nhấn nút khởi động, cánh tay robot băng tải bắt đầu hoạt động Khi đặt chai yakult lên băng di chuyển đến cảm biến vị trí số làm băng tải dừng Khi camera quét yakult không bị lỗi, cánh tay robot không thực thao tác, băng tải tiếp tục di chuyển chai đến vị trí cố định cuối băng tải theo thứ hoạt động hình 4.24 4.25 51 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Sau thời gian tìm hiểu, thiết kế thi cơng hệ hồn chỉnh hoạt động tốt Đề tài thực thành công yêu cầu đặt với hệ thống sản xuất thực tế: - Khả gắp vật tốt cánh tay robot - Khả phân loại sản phẩm ổn định độ xác cao - Thực tính tốn, thiết kế, đặc biệt thiết kế khí dựa số liệu thực tế khối lượng sản phẩm, tốc độ động cơ, tốc độ xử lý ảnh hệ thống - Giao diện trực quan, đảm bảo đầy đủ chức hệ thống - Mơ hình thi cơng chắn, đảm bảo yêu cầu làm việc giữ nguyên nguyên tắc, phân tích phần thiết kế trước - Thiết lập đầy đủ vẽ tài liệu liên quan giúp việc đọc hiểu, thi công thiết kế dễ dàng, thuận tiện Đồ án đạt mục tiêu quan trọng có ứng dụng cao việc phân loại sản phẩm lỗi băng chuyền Các công nghệ chức tích hợp tạo hệ thống tự động, hiệu đáng tin cậy để tăng cường trình kiểm tra chất lượng sản phẩm 5.2 Hướng phát triển Ngồi việc phân loại sản phẩm lỗi, mở rộng khả phát lỗi trình sản xuất Việc phát báo cáo lỗi khác nhau, từ lỗi nhỏ đến lỗi nghiêm trọng, giúp tăng cường chất lượng độ tin cậy sản phẩm Kết hợp với hệ thống vận chuyển tự động, hệ thống đóng gói hệ thống quản lý liệu để tạo quy trình sản xuất tồn diện hiệu Có thể nhận diện phát lỗi từ nhiều góc khác sản phẩm webcam, sử dụng bàn xoay sản phẩm để camera quét hết góc sản phẩm Nhận nhiện nhiều lỗi thời điểm sản phẩm gắp vị trí mong muốn Kết hợp giao diện lưu trình nhận diện sản phẩm lỗi vào file txt sử dụng Microsoft Excel để lưu thành bảng tiện cho việc tính tốn số lượng sản phẩm có lỗi khơng có lỗi 52 TÀI LIỆU THAM KHẢO [1] R Goldman, Design of an Interactive Manipulator Programming Environment, United States: Stanford University, 1985 [2] J J Craig, Introduction to Robotics: Mechanics and Control, United States: Pearson Education International, 2005 [3] V Hoang, "Thị giác máy tính gì?," Computer Vision, 2023 [Online] Available: https://www.thegioimaychu.vn/blog/ai-hpc/computer-vision-thi- giac-may-tinh-la-gi-p5951/ [Accessed 22 2023] [4] T Ahmad, "Object Detection through Modified YOLO Neural Network," Scientific Programming, 2020 [5] M F Wahid, "Computer Vision and Pattern Recognition," A Classical Approach to Handcrafted Feature Extraction Techniques for Bangla Handwritten Digit Recognition, pp 2201-10102, 2021 [6] S M Kamruzzaman, "Text Classification using Artificial Intelligence," Information Retrieval, 2010 [7] J Redmon, "You Only Look Once," no Unified, Real- Time Object Detection, 2016 [8] phamdinhkhanh, "YOLO you only once," 2020 [Online] Available: https://phamdinhkhanh.github.io/2020/03/09/DarknetAlgorithm.html#11m%E1%BA%A1ng-yolo-l%C3%A0-g%C3%AC [Accessed 22 2023] 53 PHỤ LỤC Chương trình nhận diện sản phẩm lỗi điều khiển cánh tay robot: https://drive.google.com/drive/u/0/folders/17QRZAMa7PlKOhQfUpauRQU19cDw0rmr Hướng dẫn bước hoạt động hệ thống: Bước 1: Khởi động hệ thống nút nhấn xanh (khởi động băng truyền), nút nhấn đỏ ( khởi động cánh tay robot ) Bước 2: Mở file “detect.py” chọn cổng COM để kết nối với arduino qua cổng Serial điều khiển cánh tay robot Bước 3: Sau run file detect.py để kết nối trình window hiển thị webcam nhận diện sản phẩm lỗi Bước 4: Thực nhận diện điều khiển cánh tay Robot gắp sản phẩm lỗi 54 S K L 0