ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG

TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG NGUYỄN KHƠI NGUN PHẠM CHÍ SANG LUẬN VĂN TỐT NGHIỆP ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HĨA TP HỒ CHÍ MINH, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG NGUYỄN KHÔI NGUYÊN – 1612287 PHẠM CHÍ SANG – 1612934 LUẬN VĂN TỐT NGHIỆP ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG APPLICATION OF COMPUTER VISION IN PICKING AND PLACING OBJECTS ON CONVEYOR BELT KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HÓA GIẢNG VIÊN HƯỚNG DẪN TS.NGUYỄN VĨNH HẢO TP HỒ CHÍ MINH, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày….tháng… năm…… NHẬN XÉT LUẬN VĂN TỐT NGHIỆP CỦA CÁN BỘ HƯỚNG DẪN Tên luận văn: ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG Nhóm Sinh viên thực hiện: Cán hướng dẫn: Nguyễn Khôi Nguyên 1612287 TS.Nguyễn Vĩnh Hảo Phạm Chí Sang 1612934 TS.Nguyễn Vĩnh Hảo Đánh giá Luận văn Về báo cáo: Số trang _ Số chương _ Số bảng số liệu _ Số hình vẽ _ Số tài liệu tham khảo _ Sản phẩm _ Một số nhận xét hình thức báo cáo: Về nội dung luận văn: Về tính ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung: Luận văn đạt/không đạt yêu cầu luận văn tốt nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Nguyễn Khơi Ngun :……… /10 Phạm Chí Sang :……… /10 Cán hướng dẫn (Ký tên ghi rõ họ tên) TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày….tháng… năm…… NHẬN XÉT LUẬN VĂN TỐT NGHIỆP CỦA CÁN BỘ PHẢN BIỆN Tên luận văn: ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG Nhóm Sinh viên thực hiện: Cán phản biện: Nguyễn Khôi Ngun 1612287 TS.Nguyễn Hồng Giáp Phạm Chí Sang 1612934 TS.Nguyễn Hoàng Giáp Đánh giá Luận văn Về báo cáo: Số trang _ Số chương _ Số bảng số liệu _ Số hình vẽ _ Số tài liệu tham khảo _ Sản phẩm _ Một số nhận xét hình thức báo cáo: Về nội dung luận văn: Về tính ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung: Luận văn đạt/không đạt yêu cầu luận văn tốt nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Nguyễn Khơi Ngun :……… /10 Phạm Chí Sang :……… /10 Người nhận xét (Ký tên ghi rõ họ tên) Lời cảm ơn Lời đầu tiên, em xin gửi lời cảm ơn chân thành đến quý thầy cô trường Đại học Bách Khoa TP.HCM nói chung, mơn Điều khiển Tự động nói riêng, truyền dạy cho em kiến thức kinh nghiệm quý báu để hoàn thành đề tài luận văn Để hoàn thành đề tài luận văn giúp đỡ thầy Nguyễn Vĩnh Hảo - Trưởng môn Điều khiển Tự động thực quan trọng Chúng em xin gửi lời cảm ơn chân thành đến thầy, thầy hỗ trợ kiến thức để giúp chúng em hiểu rõ mà tiếp thêm tinh thần để chúng em vượt qua khúc mắc, khó khăn q trình thực luận văn Đối với chúng em, dẫn dắt thầy may mắn lớn đường học tập đường nghiệp sau Cảm ơn gia đình, người thân ni dạy thể chất lẫn tin thần đặt tin tưởng, đầu tư cho chúng em theo đuổi đường học vấn đường tương lai phía trước Xin cảm ơn công ty Yaskawa tài trợ trang thiết bị phịng thí nghiệm cho chúng em có đủ sở vật chất để tiến hành luận văn Cảm ơn bạn bè, chiến hữu học, làm việc chung trường, khoa, môn đặc biệt bạn bè, đàn anh chung Lab hỗ trợ, giúp đỡ tận tình tháng ngày học tập làm việc với TPHCM, ngày 12 tháng năm 2020 Sinh viên TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập - Tự - Hạnh phúc BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG TP HCM, ngày 12 tháng năm 2020 ĐỀ CƯƠNG CHI TIẾT TÊN LUẬN VĂN: ỨNG DỤNG THỊ GIÁC MÁY VÀO GẮP VẬT TRÊN BĂNG CHUYỀN ĐỘNG Cán hướng dẫn: TS.Nguyễn Vĩnh Hảo Thời gian thực hiện: Từ ngày 20/2/2020 đến ngày 12/7/2020 Sinh viên thực hiện: Nguyễn Khơi Ngun – 1612287 Phạm Chí Sang – 1612934 Nội dung đề tài: Mục tiêu: Nghiên cứu làm chủ cách thức vận hành hoạt động robot Motomini Kết hợp với thị giác máy cảm biến 3D thực ứng dụng gắp phân loại vật thể băng chuyền động Thiết kế phần mềm điều khiển mô để dễ dàng sử dụng công nghiệp học tập Phương pháp thực • Nghiên cứu khí, lập trình thiết kế tủ điện hệ robot băng tải • Nghiên cứu giải thuật để xử lý ảnh RGB ảnh depth, phân loại gắp vật thể nghiên băng chuyền động • Nghiên cứu ứng dụng ROS vào ứng dụng công nghiệp Kết mong đợi • Xây dựng thành cơng thư viện xử lý ảnh giải thuật gắp vật động • Lập trình hệ thống giao diện người dùng trực quan, dễ sử dụng • Thực thành cơng gắp phân loại vật thể băng truyền động Kế hoạch thực Nguyễn Khơi Ngun Phạm Chí Sang Giai đoạn 1: Nghiên cứu Robot Giai đoạn 1: Giao tiếp, lắp cố định Motomini tủ điện bước hiệu chuẩn camera • Tìm kiếm đọc tài liệu hãng • Đọc tài liệu có liên quan đến Yaskawa robot thành Camera Realsense D435 cài phần cấu thành thư viện hỗ trợ • Tìm hiểu mạng tài liệu thiết kế tủ điện Giai đoạn 2: Xây dựng thư viện giao tiếp với robot, PLC • Lắp ráp giàn khung cho camera • Tiến hành đo đạt thông số liên quan hiệu chuẩn camera Giai đoạn 2: Xây dựng giải thuật thị • Lập trình tảng ROS giác máy xác định thông tin 2D • Lập trình ngơn ngữ C++ dựa 3D vật frame truyền nhận nhà sản xuất cung cấp tài liệu Giai đoạn 3: Tính tốn lập trình thuật tốn xử lý gắp vật động • Tính tốn vị trí gắp vật với đầu • Xác định tọa độ tâm hướng 2D vật RGB camera • Kết hợp Stereo Camera xác định vị trí hướng nghiêng 3D Giai đoạn 3: Chuyển thơng tin vào vị trí, góc hướng tốc độ cho Robot vật • Tìm ma trận xoay tọa độ tâm vật • Mơ thuật tốn lập trình ngơn ngữ C++ sang hệ tọa độ Robot • Tìm cách chuyển giá trị hướng Giai đoạn 4: Viết phần mềm điều nghiêng 3D hệ tọa độ ảnh sang khiển robot giao diện người dùng Rx, Ry Rz Robot tích hợp mơ • Truyền nhận với Robot thơng qua • Thiết kế thư viện người dùng thư viện Qt ROS Giai đoạn 4: Quan sát kết quả, cải • Thiết kế mô robot hoạt động thư viện OpenGL thiện thuật tốn • Nghiêng cứu tracking vật để thu Giai đoạn 5: Kết nối hoàn chỉnh hệ thống thập liệu • Kết hợp mơ hình Kalman để tăng độ • Kết nối node ROS lại với publish subcribe • Hồn thiện giao tiếp cho hệ thống lập trình máy trạng thái đảm nhiệm gắp thả vật tin cậy cho liệu thu Giai đoạn 5: Thực bổ sung công cụ phân loại đo lường (bổ sung) • Viết hàm phân loại vật • Viết hàm đo lường kích thước khối hợp • Tracking thu thập liệu để kết hợp voting (cho phân loại) Kalman (cho đo lường) để tăng độ tin cậy cho liệu đầu Xác nhận Cán hướng dẫn TP HCM, ngày 12 tháng năm 2020 (Ký tên ghi rõ họ tên) Sinh viên (Ký tên ghi rõ họ tên) Trong cửa sổ hiển thị, ta đặt vật cần phân loại vào (nên đặt cặp) Hình 6.62 Các vật thể đặt lên băng chuyền Chỉ vị trí vật thể kích đúp chuột vào vật thể, ấn ENTER để xác nhận Hình 6.63 Vị trí vật thể cần training Thay đổi vị trí vật thể làm tương tự 117 Hình 6.64 Ví trí vật thể cần training sau đổi vị trí Ấn Escape đủ số lượng mẫu (khoảng 10 ảnh), máy tính tự động training xuất model Accuracy: 1.0 Precision: 1.0 118 Chương ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 7.1 Kết 7.1.1 Kết thuật toán thị giác máy Kết xác định vật x,y: Hình 7.1 Kết xác định tâm x,y Kết đo góc (mỗi giá trị thực 10 lần đo): Ground Mean Measurement Values 𝑬𝑹𝑴𝑺 𝑬𝑴𝒂𝒙 𝑬𝑴𝒊𝒏 20 20.45 0.852 1.6 0.2 25 25.87 0.9266 1.9 0.3 30 30.76 0.9855 1.7 0.2 Truth Value 𝜃 119 𝜑 35 36.1 1.0022 2.3 0.6 25 25.33 0.43 1.2 0.1 145 144.78 0.87 1.4 -120 -120.35 0.62 1.3 0.2 -35 -35.66 0.79 1.3 0.2 Bả ng 7.1 Kết đo góc Trong khoảng đo đạt, giá trị sai số lớn xuất 𝜃 2.3 40 độ, 𝜑 1.2 180 độ Đo kích thước hộp, ta đo vật 10 lần đo bảng sau Kích thước thực Hộp phấn Trung bình kích Sai số RMS thước 10 lần đo h w l h w l h w l 22 51 83 23 50.2 81.70 1.978 2.4807 12 29 51,5 13 30.8 52.2 1.7709 2.0604 22 38 98 22 38.05 96.6 1.6502 2.5131 Hộp ghim bấm Hộp keo 502 Bả ng 7.2 Kết đo kích thước vật 120 Kết nhận dạng trước voting HINH THOI HINH TRON UNKNOWN HINH THOI 100% 0% 0% HINH TRON 0% 97.5% 2.5% UNKNOWN 2.8% 0% 97.2% Bả ng 7.3 Kết nhận dạng Kết nhận dạng sau dùng voting HINH THOI HINH TRON UNKNOWN HINH THOI 100% 0% 0% HINH TRON 0% 100% 0% UNKNOWN 0% 0% 100% Bả ng 7.4 Kết nhận dạng dùng voting 7.1.2 Thông số trục động hoạt động 121 Đồ thị vị trí Hình 7.2 Đồ thị vị trí góc hướng end effector Đồ thị vận tốc Hình 7.3 Đồ thị vận tốc khớp robot 122 Đồ thị Torque Hình 7.4 Đồ thị Torque khớp robot 7.1.3 Kết gắp xếp vật Số lần Số lần không thành công thành công Ghi lần va đập vật 200 28 HINH THOI 250 30 300 27 123 Nguyên nhân Vận tốc băng chuyền thay đổi đột ngột lần bỏ qua Vượt giới hạn gắp workspace lần bị hụt Vận tốc băng chuyền thay đổi đột ngột lần robot dừng Vượt đoạn đường giới hạn xếp vật (sau workspace gắp) Tốc độ xử lý lần 200 29 camera khơng gửi liệu vật máy tính giảm camera bị trễ frame nên tracking 250 30 lần bỏ qua HINH TRON gắp lần robot dừng 300 26 đoạn đường Vượt giới hạn workspace xếp vật (sau gắp) Vận tốc băng lần bị hụt chuyền thay đổi đột ngột Bả ng 7.5 Kết gắp xếp vật 124 7.2 Nhận xét đánh giá sai số 7.2.1 Thuật tốn thị giác máy Nhận xét: • Đáp ứng yêu cầu đặt ban đầu xác định thơng tin 2D 3D • Bổ sung thêm công cụ “Phân loại vật thể” “ Đo lường khối hộp” cho thư viện thị giác máy • Xây dựng hồn thiện thư viện hoạt động riêng biệt khơng cần hỗ trợ từ phần mềm khác, ta có thể: o Lấy thông tin Background, vùng quan tâm thư viện o Thực việc lấy mẫu, label training dễ dàng thư viện mà không cần dùng thêm công cụ lấy mẫu hay label khác o Các liệu thông tin thư viện quản lý, lưu trữ đưa vào sử dụng cách tự động • Chuyển thơng tin 2D, 3D “Phân loại” thông tin Robot để Robot gắp phân loại vật • Tốc độ xử lý thuật tốn tích thơng tin 2D, 3D phân loại đạt tốc độ xấp xỉ 20~21 FPS, gần tốc độ realtime mắt người (24 FPS) 125 Đánh giá sai số: Các sai số thuật tốn: Sai số độ xác Ngun nhân chủ yếu • ∆𝑥 ≤ 𝑚𝑚 Sai số ban đầu Depth Camera 1mm • ∆𝑦 ≤ 𝑚𝑚 Tọa độ vật Sai số ma trận xoay tọa độ W • ∆𝑧 ≤ 𝑚𝑚 Ảnh Depth chất lượng chưa cao, cịn nhiều vùng tối chưa tính Góc nghiêng 2D (hướng hội Một số nhiễu sinh ảnh ∆𝜑 ≤ mặt tụ pixel nạ tách vật khỏi background vật) Góc nghiêng 3D Góc lệch so với Ox: ∆𝜑 ≤ 1.50 Góc lệch so với Oz: ∆𝜃 ≤ 2.50 Phân loại vật thể băng động đến việc tính VTCP VTPT Tuy nhiên tại, thuật tốn Độ xác đạt 100% chuyền Đo lường Sai số 1mm Depth Camera tác phân loại phân loại vật với hình thù khơng q phức tạp Chiều ngang, dọc: ∆𝑙 ≤ 𝑚𝑚 • Camera 1mm khối hộp chữ nhật Sai số ban đầu Depth 𝐶ℎ𝑖ề𝑢 𝑐𝑎𝑜: ∆ℎ ≤ 𝑚𝑚 • Tách vật khỏi background chưa triệt để 126 • Ảnh Depth chất lượng chưa cao, cịn nhiều vùng tối chưa tính Bả ng 7.6 Bảng đánh giá sai số thuật toán thị giác máy Tuy nhiên sai số bị tăng ngồi tầm kiểm sốt khi: • Điều kiện ánh sáng quá cao thấp, khiến vật bị lóa, chói sáng camera RGB lẫn Stereo Camera khơng quan sát vùng bị lóa • Sự thay đổi ngoại cảnh lớn, gây nhiều lường nhiễu ảnh mặt nạ 7.2.2 Gắp vật Nhận xét: • Thuật toán đáp ứng yêu cầu đạt ra, vật gắp phân loại xác • Tỉ lệ phân loại xác 100% tỉ lệ gắp thành cơng 94.4% • Một số lần robot chưa thể gắp vật xác kết cấu khí băng tải chưa có ổn định vận tốc sai số việc xử lý ảnh chậm trễ thời gian xử lý số liệu máy tính Đánh giá sai số: • Sai số đạt yêu cầu đề • Phần lớn sai số không ổn định vận tốc băng chuyền điều khiển Inveter • Các vật có độ nghiêng lớn khiển robot vượt phạm vi hoạt động 127 • Một phần sai số việc tinh chỉnh robot, băng chuyền camera chưa xác thiếu cơng cụ chun dụng, 7.3 Hướng phát triển 7.3.1 Thuật toán thị giác máy Về việc trích đặc trưng 2D 3D: • Tăng độ xác thuật tốn cách nghiên cứu tìm cách thức hồi qui tốt hơn, xấp xỉ tốt xấp xỉ tuyến tính thơng thường • Nếu tìm hướng việc xử lý tọa độ không gian ảnh (Việc tỷ lệ trục Ox, Oy thay đổi theo giá trị Oz) Về thuật tốn phân loại: • Riêng thuật tốn phân loại cải thiện thuật nhận dạng để nhận dạng vật phức tạp • Cải thiện cơng cụ training cách thức training để làm việc với liệu lớn Ở thuật tốn đo lường: • Dùng loại camera chun biệt có độ xác cao hơn, việc đo lường không cần tốc độ nhanh, nên ta chọn dịng camera thiên xác tốc độ • Kết hợp thơng tin 3D phía để đo ln khối hộp nghiêng Về việc kết hợp với Robot: • Tăng tốc độ thuật tốn trích thơng tin 2D, 3D kết hợp phân loại lên ≥ 24 FPS 128 7.3.2 Gắp vật Các phương pháp cải thiện độ xác gắp vật: • Thêm chế trả vật đầu băng chuyền việc gắp vật thất bại • Thay đổi Inverter thành Servo để điều khiển vận tốc băng chuyền cách xác • Hiệu chỉnh robot xác tăng độ phân giải ảnh độ sâu camera tốt • Thiết kế giải thuật gắp vật online, luôn kiểm tra sai số vật end effector 129 TÀI LIỆU THAM KHẢO [1] The Qt Company Ltd, "Qt Documentation," [Online] Available: https://doc.qt.io/qt-5/qtopengl-index.htm [3] S E Navarro, "Tracking and Grasping of Known and Unknown Objects from a Conveyor Belt" [4] Yaskawa, "Ethernet Function" [5] M W.Spong, S Huchinson and M Vidyasaga, Robot Modeling and Control, John Wiley & Sons, INC [6] B Sicliano, L Sciavicco, L Villani and G Oriolo, Robotics Modelling, Planning and Control, Springer [7] ROS.org, "ROS Wiki," [Online] Available: http://wiki.ros.org/Documentation [8] OpenGL, "OpenGL Wiki," [Online] Available: https://www.khronos.org/opengl/wiki/ [9] Qt Corporation, "Qt Wiki," [Online] Available: https://wiki.qt.io/Main [10] QCustomPlot, "QCustomPlot," [Online] Available: https://www.qcustomplot.com/ [11] Y Corporation, "YRC1000micro OPERATOR’S MANUAL" [12] Y Corporation, "Machine Controller MP3000 Series Setup Manual" [13] Y Corporation, "YASKAWA AC Drive J1000 Technical Manual" [14] A Khatamian, "Solving Kinematics Problems of a 6-DOF Robot Manipulator," Int'l Conf Scientific Computing, p 228, 2015 130 [15] MathWork, "Matlab Help Center," [Online] Available: https://www.mathworks.com/help/matlab/ [16] G K M P Harihara Santosh Dadi, "Improved Face Recognition Rate Using HOG Features and SVM Classifier," IOSR Journal of Electronics and Communication Engineering (IOSR-JECE), vol 11, no 4, pp 34-44, 2016 [17] I S Andreas Christmann, Support Vector Machines, New York: SpringerVerlag New York Inc, 2008 [18] N T B Dalal, "Histograms of Oriented Gradients for Human Detection," Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol 1, p 886–893, 2005 [19] G T P Allen Downey, Think Python How to Think Like a Computer Scientist 2nd ed, Sebastopol: O’Reilly Media, Inc, 2016 [20] V M Sebastian Raschka, Python Machine Learning, 2nd ed, Birmingham: Packt Publishing Ltd, 2015 [21] A K Gary Bradski, Learning OpenCV 3, Sebastopol: O’Reilly Media, Inc, 2017 [22] Intelrealsense, "Intel Realsense Camera Documentation," [Online] Available: https://www.intelrealsense.com/ [23] Intelrealsense Cameras with Ros, "Intel Realsense - Ros Documentation," [Online] Available: https://github.com/IntelRealSense/realsense-ros 131