Đề tài tập trung vào các nội dung sau: 1. Lập trình phần mềm điều khiển, mô phỏng 3D đồng thời cánh tay robot ảo và thực. 2. Thiết kế tay gắp robot đo lực kẹp. 3. Thiết kế Teachpendant sử dụng STM32 để điều khiển robot thực hiện các tác vụ thủ công, calib... 4. Ứng dụng mạng CNN để robot thực hiện tác vụ gắp và đặt vật ở hướng và vị trí bất kì lên băng tải.
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ BỘ MƠN CƠ ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP VÀO KỸ THUẬT XỬ LÝ ẢNH ĐỂ THỰC HIỆN TÁC VỤ GẮP ĐẶT (APPLICATION OF THE CONVOLUTION NEURAL NETWORK INTO THE IMAGE PROCESSING TECHIQUE FOR HANDLING THE PICK AND PLACE TASK) SVTH: HỒNG ĐỨC LINH MSSV: 1911485 GVHD: PGS.TS NGÔ HÀ QUANG THỊNH Thành phố Hồ Chí Minh – 2023 FLO12 TR¯ÜNG I HÌC BÁCH KHOA KHOA C KHÍ SĐ: cØNG HỊA Xà HÌICHỉNGH(A VIỈT NAM Ùc L-p Tñ Do - H¡nh Phúc HBK-CK Bmụn: Co iần Tở NHIặM VọLUơN VN TT NGHIặP (Chúý: sih viên pl£i dán tÝ vào trmg thé nht cỗa ban thot mựh) Hè VTấN: HễNG ốC LINH MSSV: 1911485 NGNH: LP: CK19KSCD C IặN Tỡ Đu à lu-n vn: Ung dång m¡ng n¡-ton tich ch-p vào kù thu-t xí lý £nh à thåc hiÇn tác vå g·p ·t (Application of the convolutional neural network into the image processing technique for handling the pick and place task) NhiÇm vå: TÕng quan vÁà tài nghiên céu Thi¿t kờ phõn cĂ khớ cho gripper Thit kphĐn iần v-n hành tác vå g·p Phát triÃn thu-t toán l-p trỡnh diu khin Mụ phẽng vthủc nghiầm SẹbÊn vẵ dđ kiÃn: gĨm: Ib£n vÁ A0, vÁ: B£n vÁ l¯p c¡ khí cho gripper b£n vÁ A0,vÁ: B£n v mĂch iần 1bÊn vẵ A0, v: BÊn vẵ giÊi thu-t i¿u khiên Ib£n vÁ A0,vÁ: B£n vÁ lđa chÍn ph°¡ng án + Ngày giao nhiÇm vå lu-n vn: 30/01 /2023 Ngày hồn thành nhiÇm vå: HÍ tên ng°Ýi h°Ûng d«n: - Ngơ Hà Quang ThËnh 12/05/2023 PhĐn hng dôn: BM CĂ diần tở 100% Nidung u c§u LVTN ã °ãc thơng qua BÙ mơn Ngày2Otháng | nm 2023 CHỉNHIỈMBØ MƠN (Ký ghi rơ hÍ tên) PHÀN DÀNH CHO KHOA, BØMƠN Ng°Ýi dut (châm so bÙ): ¡n vË: Ngày b£o vÇ: i¿m tĐng k¿t: N¡i l°u trï ln án: NG¯ÜI H¯ÚNG DªN CHÍNH (Ký vàghi rõ hÍ tên) LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến Thầy TS Ngô Hà Quang Thịnh - giảng viên hướng dẫn Luận Văn Tốt Nghiệp em Thầy quan tâm, tạo điều kiện để em học tập, nghiên cứu thực đề tài thú vị, mang tính ứng dụng cao Quá trình thực luận văn Thầy tạo hội để em thực hành hoàn thiện kiến thức học, đồng thời bảo em thêm nhiều kỹ để giúp ích cho nghiệp tương lai Sự hướng dẫn chia sẻ tận tình Thầy tạo động lực thúc đẩy em hoàn thành luận văn trọn vẹn hiệu Ngoài ra, em xin gửi lời cảm ơn đến Thầy Cơ giảng viên Khoa Cơ Khí nói chung Bộ mơn Cơ – Điện Tử nói riêng cung cấp cho em kiến thức cần thiết để ứng dụng thực luận văn này, nghề nghiệp sau Đồng thời em xin cảm ơn bạn phịng thí nghiệm ln bên cạnh động viên, nguồn cổ vũ tinh thần tạo động lực ủng hộ để em hồn thành đề tài Bên cạnh đó, em thể biết ơn với gia đình, chỗ dựa tinh thần để giúp em giữ vũng mục tiêu, vượt qua giai đoạn sinh viên đầy gian nan, thử thách vững bước đường nghiệp TP Hồ Chí Minh, ngày 18 tháng năm 2023 Hồng Đức Linh i TÓM TẮT LUẬN VĂN Luận văn trình bày phương pháp thiết kế, xây dựng phần mềm mô robot công nghiệp không gian 3D Từ hướng đến việc tích hợp mạng nơ-tron tích chập vào kỹ thuật xử lý ảnh cho tương tác điều khiển robot nhằm phục vụ cho việc kiểm tra đánh giá phương pháp mới, tối ưu hóa trình áp dụng vào thực tế dễ dàng Robot sử dụng luận văn robot có sẵn Denso VC 6353E Trong luận văn, tác giả trình bày thiết kế hệ thống điện cho Teach Pendant để kết nối với phần mềm mô hệ thống điện điều khiển tay gắp băng tải Phần mềm có giao diện dễ sử dụng lập trình MFC mô Robot, không gian 3D thư viện đồ họa OpenGL Giải thuật hoạch định quỹ đạo gắp đặt vật cho robot trình bày Cùng với việc kết hợp kỹ thuật xử lý ảnh mạng nơ-tron tích chập để ảo hóa vật thể thực vào mơi trường 3D để dễ dàng đánh giá theo dõi trình gắp đặt robot Đồng thời cịn cung cấp đồ thị theo thời gian vận tốc vị trí trục đầu cơng tác Cuối cùng, tác giả trình bày kết thực nghiệm giải thuật điểu khiển phần mềm thực tế, kết nối thực tế với Teach Pendant, máy tính nhúng tay gắp để điều khiển robot, kết nối thực tế với Camera có video theo kèm ii MỤC LỤC CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Kỹ thuật mô robot 1.2.1 Ứng dụng phương pháp mô robot 1.2.2 Lợi ích việc sử dụng phần mềm mơ 1.3 Ứng dụng robot công nghiệp sản xuất 1.4 Tổng quan robot gripper 1.4.1 Một số khái niệm robot gripper 1.4.3 Ứng dụng robot gripper sản xuất 1.5 Mạng nơ-ron tích chập 1.5.1 Định nghĩa mạng nơ-tron tích chập 1.5.2 Convolution( tích chập) 1.5.3 Mơ hình mạng nơ-tron tích chập 1.5.4 Mơ hình 6-DoF pose estimation 1.6 Mục đích đề tài 10 1.7 Nhiệm vụ đề tài giới hạn đề tài 11 1.7.1 Nhiệm vụ đề tài 11 1.7.2 Giới hạn đề tài 12 1.8 Tổ chức luận văn 12 CHƯƠNG 2: LỰA CHỌN PHƯƠNG ÁN 13 2.1 Phân tích lựa chọn robot 13 2.1.1 Mua robot 13 2.1.2 Thiết kế chế tạo robot 13 2.1.3 Sử dụng robot có sẵn 13 2.2 Phân tích lựa chọn cấu tác động 14 2.2.1 Phương án thiết kế loại tay gắp 14 2.2.3 Phân tích lựa chọn động điện cho tay gắp 15 2.2.4 Phương án thiết kế khí cho tay gắp 16 2.2.5 Phương án chọn cảm biến lực 17 2.3 Phân tích lựa chọn camera 19 iii 2.3.1 Stereo Camera 19 2.3.2 Structure light camera 20 2.3.3 LiDAR 20 2.4 Phân tích lựa chọn hệ thống điện 21 2.4.1 Lựa chọn hình cảm ứng cho Teach Pendant 21 2.4.2 Lựa chọn phương thức giao tiếp vi điều khiển với máy tính 22 2.4.3 Lựa chọn vi điều khiển 22 2.5 Phân tích lựa chọn giải thuật xử lý ảnh 23 2.5.1 PoseCNN 23 2.5.2 Deep Object Pose Estimation 24 CHƯƠNG : THIẾT KẾ CƠ KHÍ 26 3.1 Tính tốn thiết kế tay gắp 26 3.1.1 Yêu cầu đặt 26 3.1.2 Tính tốn lực kẹp cho tay gắp 26 3.1.2.1 Tính lực kẹp 26 3.1.2.2 Moment động R/C cần thiết để cung cấp lực kẹp 27 3.1.3 Thiết kế khung gripper 30 3.2 Robot VC 6353E 32 3.2.1 Thông số Robot 32 3.2.2 Thông số động trục robot 33 3.2.3 Kích thước khơng gian làm việc robot 33 CHƯƠNG 4: ĐỘNG HỌC ROBOT 34 4.1 Quy tắc Denavit-Hartenberg 34 4.2 Thiết lập bảng DH 34 4.3 Động học thuận 35 4.4 Góc Roll-Pitch-Yaw 37 4.5 Động học nghịch 38 4.5.1 Tính 𝜃1 38 4.5.2 Tính 𝜃3 39 4.5.3 Tính 𝜃2 41 4.5.4 Tính 𝜃4 , 𝜃5 , 𝜃6 41 iv 4.6 Ma trận Jacobi 42 CHƯƠNG 5: THIẾT KẾ ĐIỆN 46 5.1 Thiết kế hệ thống điện cho Teach Pendant 46 5.1.1 Thiết kế giao diện hình HMI 46 5.1.2 Sơ đồ đấu dây với hình HMI 48 5.1.3 Sơ đồ đấu dây với mạch chuyển USB 48 5.1.4 Sơ đồ đấu dây với nút nhấn x 4, nút điều hướng nút Start, Stop 48 5.1.5 Sơ đồ chân STM32F103C8T6 cho Teach Pendant 49 5.2 Thiết kế hệ thống điện cho tay gắp robot băng tải 49 5.2.1 Cảm biến khối lượng Loadcell 49 5.2.2 Mạch chuyển đổi HX711 50 5.2.3 Hiệu chỉnh cảm biến Loadcell 51 5.2.4 Sơ đồ nối dây với module HC-05 53 5.2.5 Sơ đồ nối dây với module Hx711 54 5.2.6 Sơ đồ nối dây với động MG-996R 54 5.2.7 Sơ đồ nối dây với động DC relay 5V 54 5.2.8 Sơ đồ nối dây với mạch hạ áp LM2596 55 5.2.9 Sơ đồ chân STM32F103C8T6 điều khiển tay gắp băng tải 55 5.3 Hệ thống điện tủ điện 55 5.3.1 Các thiết bị cho tủ điện 55 5.3.2 Sơ đồ khối hệ thống điện 57 5.3.3 Sơ đồ mạch điều khiển động lực 58 5.3.4 Sơ đồ mạch động lực 58 CHƯƠNG : THIẾT KẾ PHẦN MỀM 59 6.1 Thiết kế phần mềm mô cánh tay Robot công nghiệp 59 6.1.1 Robot Project 59 6.1.2 Giao diện phần mềm mô 59 6.1.2.1 Tab Control 60 6.1.2.2 Tab Program 61 6.1.2.3 Tab Gripper 64 6.1.2.4 Tab Position 65 v 6.1.2.4 Tab TCP/IP 66 6.1.2.4 Tab Com Serial 68 6.1.3 Giải thuật điều khiển 69 6.1.3.1 Lưu đồ nút Single Axis Move 69 6.1.3.2 Lưu đồ nút Multi Axis Move 69 6.1.3.3 Giải thuật MoveP 70 6.1.3.4 Giải thuật gắp vật tay gắp 70 6.1.3.5 Giải thuật chương trình gắp/ đặt vật 70 6.2 Thiết kế phần mềm điều khiển Robot máy tính nhúng 71 6.2.1 TCP/ IP 71 6.2.2 Giao diện phần mềm điều khiển robot máy tính nhúng 72 CHƯƠNG : GIẢI THUẬT XỬ LÝ ẢNH NHẬN DIỆN VẬT 74 7.1 Mạng nơ-tron tích chập Deep Object Pose Estimation 74 7.1.1 Mơ hình VGG19 74 7.1.2 Cấu trúc mạng Deep Object Pose Estimation (DOPE) 75 7.1.3 Dữ liệu đào tạo 76 7.1.3.1 Dữ liệu vật thể ảo Domain randomization (DR) 76 7.1.3.1 Dữ liệu vật thể thực 77 7.1.4 Huấn luyện mơ hình 78 7.2 Ảo hóa vật thể 79 7.2.1 Đo khoảng cách Camera Zed 79 7.2.1.1 Nguyên lý hoạt động Camera Zed 79 7.2.1.2 Đo khoảng cách tới tâm vật thể 81 7.2.2 Chuyển hệ tọa độ 82 7.2.3 Calibration ma trận nội 83 7.2.4 Calibration ma trận ngoại 84 7.2.5 Giao diện xử lý ảnh 86 CHƯƠNG 8: THỰC NGHIỆM 87 8.1 Mơ hình thực tế giao diện chương trình 87 8.1.1 Mơ hình tay gắp 87 8.1.2 Mô hình Teach Pendant 88 vi 8.1.3 Giao diện chương trình mô 89 8.1.3.1 Tab Control Tab Position 89 8.1.3.2 Tab Program Tab TCP/IP 90 8.1.4 Giao diện chương trình xử lý ảnh 91 8.1.5 Giao diện Teach Pendant 92 8.1.5.1 Giao diện khởi động 92 8.1.5.2 Giao diện chọn chức 92 8.1.5.3 Giao diện điều khiển trục 92 8.1.5.4 Giao diện điều khiển phối hợp nhiều trục 93 8.1.5.5 Giao diện chức khác 93 8.1.5.6 Giao diện kết nối TCP/IP 94 8.1.6 Giao diện điều khiển robot máy tính nhúng 94 8.2 Đánh giá hiệu suất mơ hình DOPE 95 8.2.1 Hiệu suất dự đoán khung vật thể với stage tăng từ đến 95 8.2.2 Hiệu suất dự đoán khung nhiều vật thể với stage tăng từ đến 96 8.2.3 Nhận xét 98 8.3 Sai số góc Euler dự đốn từ mơ hình DOPE 98 8.3.1 Bố trí thực nghiệm 98 8.3.2 Sai số góc Alpha .102 8.3.3 Sai số góc Beta 102 8.3.4 Sai số góc Gama 103 8.3.5 Nhận xét 103 8.4 Kết kết nối điều khiển tay gắp 103 8.4.1 Kết nối tay gắp 103 8.4.2 Đáp ứng tay gắp với giá trị lực cài đặt 105 8.5 Kết kết nối sử dụng Teach Pendant 106 8.5.1 Kết nối Teach Pendant 106 8.5.2 Sử dụng Teach Pendant điều khiển robot 108 8.6 Đánh giá sai số lặp lại Robot 109 8.6.1 Bố trí thực nghiệm 109 8.6.2 Sai số lặp lại theo phương Z 109 vii 8.6.3 Sai số lặp lại theo phương X 110 8.6.4 Sai số lặp lại theo phương Y 111 8.7 Kết nhận diện gắp đặt vật 112 8.7.1 Bố trí thực nghiệm 112 8.7.2 Nhận diện gắp đặt vật thể 113 8.7.2.1 Vật thể thẳng đứng 113 8.7.2.2 Vật thể nằm ngang, nắp nghiêng bên trái 114 8.7.2.3 Vật thể nằm ngang, nắp nghiêng bên phải 115 8.7.3 Nhận diện gắp đặt nhiều vật thể 116 CHƯƠNG : KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 118 9.1 Các kết đạt 118 9.2 Hạn chế luận văn 118 9.3 Hướng phát triển đề tài 118 TÀI LIỆU THAM KHẢO 119 viii