Thiết kế hệ thống 3d vision dạng laser triangular cho tay máy công nghiệp

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA - LÊ MINH PHÁT THIẾT KẾ HỆ THỐNG 3D VISION DẠNG LASER TRIANGULAR CHO TAY MÁY CÔNG NGHIỆP DESIGN OF A 3D-LASER TRIANGULAR VISION SYSTEM FOR INDUSTRIAL ROBOT ARM Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 60520114 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS.TS Nguyễn Quốc Chí Cán chấm nhận xét : PGS.TS Nguyễn Thanh Phương Cán chấm nhận xét : TS Trương Quốc Bảo Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: PGS.TS Nguyễn Duy Anh Thư ký: TS Lê Thanh Hải Phản biện 1: PGS.TS Nguyễn Thanh Phương Phản biện 2: TS Trương Quốc Bảo Ủy Viên: TS Đoàn Thế Thảo Xác nhận Chủ tịch Hội đồng đánh giá luận văn Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: LÊ MINH PHÁT MSHV: 1770542 Ngày, tháng, năm sinh: 21/09/1992 Nơi sinh: Quảng Ngãi Chuyên ngành: Kỹ Thuật Cơ Điện Tử Mã ngành: 60520114 I TÊN ĐỀ TÀI: THIẾT KẾ HỆ THỐNG 3D VISION DẠNG LASER TRIANGULAR CHO TAY MÁY CÔNG NGHIỆP DESIGN OF A 3D-LASER TRIANGULAR VISION SYSTEM FOR INDUSTRIAL ROBOT ARM NHIỆM VỤ VÀ NỘI DUNG: - Xây dựng mơ hình hệ thống 3d vision dạng laser triangular - Thiết kế giải thuật thu nhận xử lý ảnh 2D, xử lý liệu tọa độ không gian 3D, tái cấu trúc bề mặt vật thể - Thực nghiệm, đánh giá sai số kích thước II NGÀY GIAO NHIỆM VỤ: 11/2/2019 III NGÀY HOÀN THÀNH NHIỆM VỤ: 8/12/2019 IV CÁN BỘ HƯỚNG DẪN : PGS.TS NGUYỄN QUỐC CHÍ Tp HCM, ngày tháng năm 2019 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA Luận văn thạc sĩ HV: Lê Minh Phát LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn sâu sắc đến thầy Nguyễn Quốc Chí – người tận tình hướng dẫn em suốt thời gian qua Nếu khơng có dẫn dắt định hướng thầy Luận văn hoàn thành Em xin gửi lời cảm ơn chân thành đến: Các Thầy cô môn Cơ Điện Tử - truyền đạt kiến thức quý báu cho em, giúp em thực Luận Văn cách tốt đẹp Gia đình em – người bên cạnh em, động viên em để em vượt qua khó khăn trình thực Luận văn Các bạn học viên, sinh viên CALab – chia sẻ khó khăn, độngviên tinh thần đóng góp nhiều ý kiến hay, giúp em hoàn thành Luận Văn tốt Em xin chân thành cảm ơn! Tp.HCM, ngày tháng năm 2019 Lê Minh Phát Luận văn thạc sĩ HV: Lê Minh Phát TÓM TẮT LUẬN VĂN Trước phát triển mạnh mẽ khoa học kỹ thuật vài thập niên gần đây, hệ thống robot công nghiệp bổ trợ camera ngày nhỏ hơn, mạnh mẽ giá thành thấp thuật toán ngày phức tạp dần thay đổi trình cải thiện tốc độ sản xuất Luận văn tìm hiểu, nghiên cứu, thiết kế hệ thống 3d vision dạng laser triangular kết hợp với tay máy bậc tự ứng dụng ngành công nghiêp giầy Nike/Adidas hoạt động điều kiện môi trường nhà xưởng Cụ thể, mục tiêu luận văn bao gồm (i) xây dựng mơ hình hệ thống 3d vision dạng laser triangular thỏa mãn yêu cầu quét bề mặt vật thể đầy đủ nhất, hạn chế góc chết; (ii) thiết kế giải thuật thu nhận xử lý ảnh 2D, xử lý liệu tọa độ không gian 3D, tái cấu trúc bề mặt vật thể; (iii) thực nghiệm, đánh giá sai số kích thước Kết đề tài nghiên cứu sở vững để tự động hóa chuyền quét keo dán đế ngành giầy, mang ý nghĩa nhân văn sâu sắc ABSTRACT Due to the strong development of science and technology in recent decades, the industrial robot system supported by cameras is getting smaller, more powerful and lower cost, and with increasingly complex algorithms lead to changing processes and improving production speed This thesis will explore, research, and design a triangular 3d vision laser system in combination with degrees of freedom applied in Nike / Adidas footwear industry in factory environment conditions Detail, there are three aims in this thesis: (i) building up a 3d laser triangular vision system which satisfies the full-surface scanning object requirement, reducing dead-positions (ii) designing an algorithm to observe and process 2d images and positioning data in 3d coordinate system (iii) experimenting and evaluating dimensional errors The results of the research project are a solid basis for automating the assembly line of the footwear industry, which has a deep humanity Luận văn thạc sĩ HV: Lê Minh Phát LỜI CAM ĐOAN Tôi xin cam kết tất nội dung luận văn không chép cơng trình nghiên cứu cá nhân hay tổ chức Tôi xin thực nghiêm túc việc trích dẫn cơng trình báo, tham luận công bố sử dụng luận văn HỌC VIÊN Lê Minh Phát Luận văn thạc sĩ HV: Lê Minh Phát MỤC LỤC CHƯƠNG TỔNG QUAN 1.1 Đặt vấn đề 1.2 Một số cơng trình nghiên cứu ngồi nước 1.2.1 Một số nghiên cứu giới 1.2.2 Một số nghiên cứu nước 1.3 Mục tiêu, nội dung đề tài 1.4 Phương pháp nghiên cứu 1.5 Đầu thiết kế thông số ban đầu 12 1.6 Yêu cầu hệ thống 13 CHƯƠNG LỰA CHỌN PHƯƠNG ÁN 14 2.1 Lựa chọn phương pháp quét 3D 14 2.1.1 Stereo Vision 14 2.1.2 Structure Light 15 2.1.3 Photogrammetry 16 2.1.4 Laser Triangular 17 2.2 Lựa chọn cấu cho phương pháp Laser Triangular 19 2.2.1 Vật thể Laser chuyển động tịnh tiến so với 19 2.2.2 Vật thể laser chuyển động xoay so với 20 2.2.3 Kết hợp chuyển động xoay chuyển động tịnh tiến 20 2.3 Lựa chọn cấu truyền động xoay vật thể 20 2.3.1 Truyền động bánh 21 2.3.2 Truyền động đai 21 2.3.3 Truyền động qua khớp nối 22 2.4 Lựa chọn cấu truyền động tịnh tiến đèn laser 23 2.4.1 Truyền động vít me bi 23 Luận văn thạc sĩ HV: Lê Minh Phát 2.4.2 Truyền động đai 24 CHƯƠNG THIẾT KẾ HỆ THỐNG 25 3.1 Thiết kế bàn xoay 25 3.1.1 Tính tốn lựa chọn động 27 3.1.2 Tính tốn đường kính trục ổ lăn 27 3.1.3 Mơ hình thực tế kiểm nghiệm sai số 29 3.2 Thiết kế cấu gá đặt camera 31 3.3 Thiết kế cấu gá đặt laser 32 3.3.1 Chọn kiểu ray trượt 33 3.3.2 Chọn loại ray trượt 34 3.3.3 Tính tốn ray trượt 36 3.4 Thiết kế hệ thống điện điều khiển 39 3.5 Toàn hệ thống 40 CHƯƠNG GIẢI THUẬT TẠO DỮ LIỆU POINT CLOUD 42 4.1 Giải thuật Laser Triangular 42 4.2 Tìm đường Laser ảnh 45 4.2.1 Lọc Gaussian 45 4.2.2 Lọc ảnh Threshold 46 4.3 Camera Calibration 46 4.3.1 Tìm ma trận thông số nội 46 4.3.2 Tìm thành phần xoay ma trận thông số ngoại 48 4.3.3 Tìm thành phần tịnh tiến ma trận thông số ngoại 48 4.3.4 Tìm mặt phẳng chứa tia laser 50 4.3.5 Phương pháp xác định mặt phẳng laser song song 54 CHƯƠNG 5: GIẢI THUẬT XỬ LÝ DỮ LIỆU POINT CLOUD 55 Luận văn thạc sĩ HV: Lê Minh Phát 5.1 Lọc Passthrough 55 5.2 Lọc Radius Outlier Removal 55 5.3 Lọc Statisticcal Outlier Removal 55 5.4 Lọc Voxel Grid 56 5.5 Giải thuật Moving Least Squares (Smoothing) 56 5.5.1 Ước lượng vectơ pháp tuyến 56 5.5.2 Giải thuật Moving Least Squares 57 5.6 Tái cấu trúc bề mặt vật thể 58 5.7 Lưu đồ giải thuật 59 5.8 Quá trình xử lý liệu Point Cloud 62 CHƯƠNG 6: TRUYỀN DỮ LIỆU TỌA ĐỘ CHO ROBOT 63 6.1 Hệ tọa độ User Coordinates robot 63 6.2 Cài đặt liệu đầu Tool 64 6.3 Lập trình điều khiển robot 65 CHƯƠNG KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ 67 7.1 Quá trình thực nghiệm 67 7.2 Kết thực nghiệm 69 7.3 Đánh giá sai số trình quét 72 7.4 Kết luận đề tài 76 7.4.1 Kết đạt 76 7.4.2 Mặt hạn chế 76 TÀI LIỆU THAM KHẢO 77 Luận văn thạc sĩ HV: Lê Minh Phát DANH MỤC HÌNH Hình 1.1 Chuyền quét keo dán đế ngành giầy Hình 1.2 Giầy thực tế chuyển sản xuất Hình 1.3 Quỹ đạo đường phun keo Hình 1.4 Quỹ đạo thực tế tay máy Hình 1.5 Thống kê tọa độ điểm nằm quỹ đạo phun keo trước calib Hình 1.6 Thống kê tọa độ điểm nằm quỹ đạo phun keo sau calib Hình 1.7 Robot tự động lắp ráp ghế IKEA Hình 1.8 Robot tự động gắp vật dựa chiều cao Hình 1.9 Robot ứng dụng nguyên công khoan KUKA Hình 1.10 Robot tích hợp cơng nghệ vision 3D Hình 1.11 Tay máy tự động phun keo Hình 1.12 Tay máy khoan sử dụng công nghệ quét 3D Hình 1.13 Tay máy Yaskawa Motoman HP3 10 Hình 1.14 Camera D435 hãng Intel 12 Hình 1.15 Khn giầy mẫu 13 Hình 2.1 Phương pháp stereo vision 14 Hình 2.2 Phương pháp structure light 15 Hình 2.3 Phương pháp photogrametry 16 Hình 2.4 Phương pháp laser triangular 17 Hình 2.5 Vật thể laser chuyển động tịnh tiến so với 19 Hình 2.6 Vật thể laser chuyển động xoay so với 20 Hình 2.7 Truyền động xoay bánh 21 Hình 2.8 Truyền động xoay đai 21 Luận văn thạc sĩ HV: Lê Minh Phát Hình 6.4 Cài đặt vị trí hướng đầu Tool Hình 6.5 Calib đầu tool robot 6.3 Lập trình điều khiển robot Lập trình điều khiển Robot với tủ điều khiển NX100 sử dụng ngôn ngữ INFORM II Các câu lệnh thường sử dụng lập trình điều khiển Robot là: + MOVJ: chuyển động nội suy điểm dạy 65 Luận văn thạc sĩ HV: Lê Minh Phát + MOVL: chuyển động nội suy đường thẳng điểm + MOVC: chuyển động nội suy đường tròn + MOVS: chuyển động nội suy spline + JUMP: nhảy bước chương trình + TIMER: tạo khoảng thời gian delay mong muốn + CALL: gọi chương trình Cấu trúc câu lệnh Robot: Xét câu lệnh: MOVL P001 VJ = 25.00 Trong đó: - MOVL để cài đặt lệnh chuyển động nội suy đường thẳng điểm - P001 điểm có cấu trúc X Y Z Rx Ry Rz khai báo chương trình - VJ = 25.00 tốc độ thực tác vụ Robot, 25% tốc độ tối đa Robot Hình 6.6 Dữ liệu quỹ đạo thực nghiệm 66 Luận văn thạc sĩ HV: Lê Minh Phát CHƯƠNG KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ 7.1 Quá trình thực nghiệm Thiết bị: - Mơ hình bàn xoay vật thể - Mơ hình trượt tịnh tiến đèn laser - Camera Intel Realsense D435 - Tay máy Yaskawa HP3, tủ điều khiển NX100 Bước thực hiện: - Cấp nguồn cho mơ hình bàn xoay, mơ hình trượt tịnh tiến đèn laser, camera Intel Realsense D435 Hình 7.1 Cấp nguồn cho mơ hình thực nghiệm - Điều chỉnh ánh sáng môi trường để thu hình ảnh tia laser bề mặt vật thể rõ nét Hình 7.2 Điều chỉnh ánh sáng môi trường để thu tia laser rõ nét 67 Luận văn thạc sĩ - HV: Lê Minh Phát Cấp lệnh cho vi điều khiển để đèn laser tịnh tiến tới, camera bắt đầu thu nhận hình ảnh, chương trình ghi nhận liệu thời gian - Cấp lệnh cho vi điều khiển để bàn xoay quay vật thể 180 độ Trước Sau Hình 7.3 Cấp lệnh xoay bàn xoay - Cấp lệnh cho vi điều khiển để đèn laser tịnh tiến lùi, camera tiếp tục thu nhận hình ảnh, chương trình ghi nhận liệu thời gian Hình 7.4 Cấp lệnh di chuyển lùi tia laser - Kiểm tra file data_calib.txt, datatime.txt, file ảnh sample_xxx.jpg 68 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.5 File data_calib.txt, datatime.txt - Chạy chương trình viết C++ để tạo file Solid.pcd 7.2 Kết thực nghiệm  Hình ảnh 3D trước lọc Hình 7.6 Hình ảnh vật thể thực tế – trước xoay 180 độ 69 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.7 Hình ảnh 3D vật thể – trước xoay 180 độ Hình 7.8 Hình ảnh vật thể thực tế – sau xoay 180 độ 70 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.9 Hình ảnh 3D vật thể - sau xoay 180 độ Hình 7.10 Hình ảnh 3D vật thể sau ghép hai góc scan  Di chuyển tay máy theo quỹ đạo tia laser 71 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.11 Di chuyển tay máy theo quỹ đạo tia laser 7.3 Đánh giá sai số q trình qt - Kích thước chiều dài vật thể mẫu: 250 mm Hình 7.12 Kích thước chiều dài vật thể thực tế 72 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.13 Kích thước chiều dài hình ảnh 3D – trước xoay 180 độ Hình 7.14 Kích thước chiều dài hình ảnh 3D – sau xoay 180 độ 73 Luận văn thạc sĩ HV: Lê Minh Phát Bảng 7.1 Bảng đánh giá sai số kích thước chiều dài Lần Chiều dài 250.88 250.91 250.78 Trung bình 250.856 Vật thực tế 250 Sai số 0.856 - Kích thước chiều cao vật thể mẫu: 97.5 mm Hình 7.15 Kích thước chiều cao vật thể thực tế 74 Luận văn thạc sĩ HV: Lê Minh Phát Hình 7.16 Kích thước chiều cao hình ảnh 3D – trước xoay 180 độ Hình 7.17 Kích thước chiều cao hình ảnh 3D – sau xoay 180 độ Bảng 7.2 Bảng đánh giá sai số kích thước chiều cao Lần Chiều cao 98.12 98.04 98.20 Trung bình 98.12 Vật thực tế 97.5 Sai số 0.620 75 Luận văn thạc sĩ HV: Lê Minh Phát 7.4 Kết luận đề tài 7.4.1 Kết đạt - Hoàn thành xây dựng mơ hình thực nghiệm hệ thống 3d vision dạng laser triangular - Hoàn thành thiết kế giải thuật thu nhận xử lý ảnh 2D, xử lý liệu tọa độ không gian 3D, tái cấu trúc bề mặt vật thể - Đã tiến hành số thực nghiệm dựa mơ hình xây dựng - Đã đánh giá sai số hình ảnh 3D so với vật thể thực tế 7.4.2 Mặt hạn chế - Sai số kích thước cịn cao khơng ổn định - Chưa thực nghiệm di chuyển đầu tool theo quỹ đạo biên dạng giầy 76 Luận văn thạc sĩ HV: Lê Minh Phát TÀI LIỆU THAM KHẢO [1] Zhang L., Xu Y., Du S., Zhao W., Hou Z., Chen S (2018) Point Cloud Based Three-Dimensional Reconstruction and Identification of Initial Welding Position In Transactions on Intelligent Welding Manufacturing Springer, Singapore [2] Byung-Ryong Lee, Huu-Cuong Nguyen (2015), Development of laser-vision system for three-dimensional circle detection and radius measument, Optik 126 (2015), 5412-5419 [3] Ali Sophian (2017), Evaluation of 3D-Distance Measurement Accuracy of StereoVision Systems International Journal of Applied Engineering Research ISSN, pp.5946-5951 [4] E Cuesta (2017), Metrological evaluation of Structured Light 3D scanning system with an optical feature-based gauge Manufacturing Engineering Society International Conference 2017, pp.526 – 533 [5] Zheng Jiandong (2009), Accurate 3D Target Positioning in Close Range Photogrammetry with Implicit Image Correction Chinese Journal of Aeronautics 22, pp 649-657 [6] Einscan-se Scanner: https://all3dp.com/1/einscan-se-3d-scanner-review/ [7] Huỳnh Nam Sơn (2018), Thiết kế tay máy khoan vật mẫu sử dụng cơng nghệ qt hình ảnh 3D Luận văn đại học, Đại học Bách Khoa Tp.HCM [8] Phạm Ngọc Phương (2019), Thiết kế hệ thống robot hàn tích hợp với thị giác 3d Luận văn đại học, Đại học Bách Khoa Tp.HCM [9] Vũ Công Minh (2019), Thiết kế hệ thống thị giác 3d theo nguyên lý Pattern structured light Luận văn đại học, Đại học Bách Khoa Tp.HCM [10] The Laser Slit 3D Scanner: http://mesh.brown.edu/desktop3dscan/ch4-slit.html [11] Camera Calibrator: https://www.mathworks.com/help/vision/ug/single-cameracalibrator-app.html [12] Dagmar Bednarova (2010), Total Least Squares Approach to Modeling: A Matlab Toolbox, Acta Montanistica Slovaca, , pp 158-170 77 Luận văn thạc sĩ HV: Lê Minh Phát [13] OpenCV Tutorials: https://opencv.org/ [14] Point Cloud Library Tutorials http://pointclouds.org/documentation/tutorials/ [15] Motoman NX100 Controller – HP3 manipulator manual [16] Motoman NX100 Controller – Operator’s manual for general purpose 78 Luận văn thạc sĩ HV: Lê Minh Phát PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Lê Minh Phát Ngày sinh: 21/09/1992 Nơi sinh: Quảng Ngãi Địa liên lạc: 45/32A, đường số 3, P.Bình Hưng Hịa, Q Bình Tân, TP.HCM Q TRÌNH ĐÀO TẠO Từ 2010 – 2015: Học đại học Khoa Cơ Khí, Trường Đại học Bách Khoa Tp.HCM Chuyên ngành : Kỹ Thuật Cơ Điện Tử Từ 2017 – 2019: Học cao học Khoa Cơ Khí, Trường Đại học Bách Khoa Tp.HCM Chuyên ngành : Kỹ Thuật Cơ Điện Tử Q TRÌNH CƠNG TÁC Từ 2015 – 2018: Kỹ sư nghiên cứu ứng dụng công ty TNHH Giầy Chingluh Việt Nam Địa chỉ: Khu công nghiệp Thuận đạo, Bến Lức, Long An Từ 2019 – nay: Nhân viên kỹ thuật công ty TNHH TM DV KT Vũ Long Địa chỉ: 437 Tân Sơn, P 12, Q Gò Vấp, Tp.HCM 79 ... TÀI: THIẾT KẾ HỆ THỐNG 3D VISION DẠNG LASER TRIANGULAR CHO TAY MÁY CÔNG NGHIỆP DESIGN OF A 3D- LASER TRIANGULAR VISION SYSTEM FOR INDUSTRIAL ROBOT ARM NHIỆM VỤ VÀ NỘI DUNG: - Xây dựng mơ hình hệ thống. .. hai ứng dụng công nghệ 3D vision tay máy cơng nghiệp Ứng dụng thứ nhất, xây dựng lại hình ảnh 3D vật thể dựa liệu hình ảnh thu từ máy scan công nghệ laser- based lắp tay máy công nghiệp 6-DOF... 1.12 Tay máy khoan sử dụng cơng nghệ quét 3D 1.3 Mục tiêu, nội dung đề tài Mục tiêu đề tài: Thiết kế hệ thống 3D vision kết hợp với tay máy 6-DOF ứng dụng công đoạn phun keo ngành công nghiệp