ĐỒ án tốt NGHIỆP phát triển mô hình học máy phát hiện và định vị vật thể ứng dụng trong điều khiển cánh tay robot

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỒ ÁN TỐT NGHIỆP Phát triển mô hình học máy phát hiện và định vị vật thể ứng dụng trong điều khiển cánh tay robot BÙI VIỆT HOÀNG hoang bv170753@sis hust edu vn Chuyên n[.]

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỒ ÁN TỐT NGHIỆP Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot BÙI VIỆT HOÀNG hoang.bv170753@sis.hust.edu.vn Chuyên ngành Cơ điện tử Giảng viên hướng dẫn: TS Nguyễn Xuân Hạ Chữ ký G Bộ môn: Viện: Cơ sở Thiết kế máy Robot Cơ Khí HÀ NỘI, 2/2022 TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM VIỆN CƠ KHÍ Độc lập - Tự - Hạnh phúc NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Bùi Việt Hồng Khố: 62 Lớp: CK.CĐT.05 Chun ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot NỘI DUNG NHẬN XÉT I II Khối lượng đồ án: Phần thuyết minh: 68 trang Nhận xét Sinh viên Bùi Việt Hồng giao nhiệm vụ tìm hiểu nghiên cứu phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot Để thực nhiệm vụ Việt Hồng tích cực học hỏi nâng cao kiến thức trí tuệ nhân tạo – mạng học sâu, cơng nghệ xử lý ảnh, cơng nghệ tính tốn nhúng Trong q trình thực luận văn Việt Hồng ln tích cực chủ động có ý thức làm việc tốt Kết đạt đáng kích lệ mơ hình trí tuệ nhân tạo phát triển cho phép phân loại định vị vật thể ứng dụng cánh tay robot, mơ hình định vị xử lý vật có hình dáng đường biên phức tạp Mơ hình tối ưu triển khai phần cứng nhúng Jetson Nano để đánh giá hiệu tính tốn tính khả thi ứng dụng Các kết tổng hợp thành 01 báo khoa học q trình phản biện Vơi kết đạt tơi đồng ý để sinh viên Việt Hoàng bảo vê luận văn tốt nghiệp trước hội đồng SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hà Nội, ngày tháng 02 năm 2022 Giảng viên hướng dẫn SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM VIỆN CƠ KHÍ Độc lập – Tự – Hạnh phúc NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Bùi Việt Hồng Khố: 62 Lớp: CK.CĐT.05 Chuyên ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot NỘI DUNG NHẬN XÉT I II Khối lượng đồ án: Phần thuyết minh: 68 trang Nhận xét Hà Nội, ngày tháng 02 năm 2022 Giảng viên phản biện SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Lời cảm ơn Chặng đường năm trường Đại học Bách Khoa Hà Nội trải nghiệm vô quý giá em Đó khơng khoảng thời gian dài mà cịn thử thách vơ khó khăn, nhiên với giúp đỡ nhiệt tình thầy cô , thành viên lớp Cơ điện tử 05 K62, bạn bè gia đình yêu quý, em dần hoàn thành chặng đường gian nan Trước hết em muốn gửi lời cảm ơn chân thành tới Tiến sĩ Nguyễn Xuân Hạ thầy cô môn Cơ sở Thiết kế máy Robot nhiệt tình hướng dẫn giúp em hồn thành luận văn tốt nghiệp cách tốt Tiếp đến em muốn gửi lời cảm ơn tới anh Nguyễn Duy Anh giúp đỡ trình em thực luận văn tốt nghiệp Q trình hồn thành đồ án tốt nghiệp không giúp em củng cố lại kiến thức học mà giúp em làm quen với cách thức làm việc người kỹ sư, ý thức làm việc độc lập, tư sáng tạo tính kỷ luật, trách nhiệm công việc giao Và cuối thời gian thực dự án tương đối ngắn kiến thức chủ đề giao cịn hạn chế, em mong nhận góp ý, nhận xét chân thành để giúp luận văn em cải thiện tốt Tóm tắt nội dung đồ án Ứng dụng robot vào sản xuất xu hướng để tiết kiệm chi phí nhân cơng, vận hành dây chuyền sản xuất cách hiệu Tuy nhiên, nhà máy chưa thể hồn tồn áp dụng tự động hóa robot số hạn chế định nhiệm vụ chưa có tính tổng qt cao Trong đồ án em tập trung vào xử lý toán ứng dụng cách tay robot với mục đích phân loại định vị vật thể vật có đường biên phức tạp, khó gắp Trong khuôn khổ đồ án, em xây dựng hệ thống nhận diện phân loại vật thể phát điểm quan trọng vật thể phục vụ cho việc định vị lên kế hoạch gắp cho cánh tay robot đồng thời tối ưu triển khai mơ hình máy tính nhúng Jetson Nano Mơ hình triển khai tốc độ tương đối cao (~20fps) phù hợp với xử lý thời gian thực, nhiên hạn chế sai số hệ thống tương đối lớn (~4mm) Dẫu kết đạt sở để em phát triển thêm toán khác định vị vật thể không gian chiều, phân loại lắp ráp vật thể hệ robot – băng tải,… SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ MỤC LỤC DANH MỤC HÌNH ẢNH iii DANH MỤC BẢNG BIỂU vi Chương 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan cánh tay robot 1.2 Ứng dụng c thị giác máy hệ robot 1.3 Bài toán phát phân loại sản phẩm 1.4 Bài tốn lắp ráp đóng gói sản phẩm 1.5 Tổng kết CHƯƠNG 2: CƠ SỞ LÝ THUYẾT .9 2.1 Học máy, học sâu .9 2.1.1 Các khái niệm 10 2.1.2 Phân loại toán thị giác máy 15 2.1.3 Phương pháp huấ n luyện mơ hình học sâu .18 2.2 Bài toán phát vật thể (object detection) .19 2.3 Bài toán định vị điểm (keypoint detection) 22 2.4 Các mạng xương sống phổ biến mơ hình học sâu 24 2.5 Multi-task Learning 29 2.6 Bài toán động học ngược .30 CHƯƠNG 3: CÁC BƯỚC TRIỂN KHAI ĐỀ TÀI 32 3.1 Thiết lập điều kiện làm việc .32 3.2 Thiết kế hệ thống robot .32 3.3 Xây dựng mơ hình huấn luyện 36 3.3.1 Lựa chọn thiết kế mơ hình 36 3.3.2 Chuẩn bị liệu 38 3.3.3 Huấ n luyện mơ hình 39 3.4 Giải toán độ ng học ngược 41 3.5 Điều khiển robot 44 SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ 3.5.1 Phương thức giao tiếp 44 3.5.2 Điều khiển động .45 3.6 Triển khai thuật toán robot thật đánh giá 47 CHƯƠNG 4: KẾT LUẬN 55 4.1 Kết luận 55 4.2 Hướng phát triển c đồ án tương lai 55 TÀI LIỆU THAM KHẢO 56 SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ DANH MỤC HÌNH ẢNH Hình Cánh tay robot thực nhiệm vụ khác quy trình sản xuất [1] Hình Robot lắp ráp thực công việc dây chuyền sản xuất tự động [2] Hình Robot định vị lắp ráp phôi băng tải tự động [3] Hình Hệ thống phân loại rác thải tái chế (bên trái) [4] hệ thống phát sản phẩm lỗi (bên phải) [5] Hình Định vị vật thể có sẵn khn mẫu (template) có sẵn [32] Hình Định vị vật thể cách xác định hướng gắp điểm cần gắp không gian chiều [33] Hình Định vị vật thể phương pháp học máy sử dụng ảnh 2D [33] Hình Robot thực công việc lắp ráp dây chuyền sản xuất tự động [6] Hình Dây chuyền đóng gói bánh kẹo chưa tự động hóa hồn tồn [7] Hình 10 Các khái niệm trí tuệ nhân tạo [8] Hình 11 Một số ứng dụng phổ biến Học sâu nhận diện hình ảnh (bên trái) [9] hay trợ lý ảo, chatbot (bên phải) [10] Hình 12 Mạng nơ ron nhân tạo [11] Hình 13 Cấu trúc chung mạng nơ ron tích chập [12] Hình 14 Bộ lọc trích xuất đặc trưng đường bao vật thể khác ảnh (hình bên phải) [13] Hình 15 Bài toán phân loại ảnh [14] Hình 16 Bài toán nhận dạng đối tượng [14] Hình 17 Bài toán phân đoạn ảnh [14] Hình 18 Bài tốn phân đoạn cá thể ảnh [14] Hình 19 Bài tốn mơ tả ảnh [15] Hình 20 Bài tốn nhận diện khuôn mặt cần phát điểm Facial Landmark (bên trái) [16] ước tính tư người cần phát vị trí khớp (bên phải) [17] Hình 21 Hình ảnh mơ tả mơ hình RCNN, mơ hình đại diện cho phương pháp Twostage Detection [18] Hình 22 Phương pháp One-stage tìm kiếm phát vật thể phân loại chúng thuật toán [19] Hình 23 Chỉ số IoU [20] Hình 24 Precision Recall Curve – đường biểu diễn mối quan hệ Precision Recall [20] SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat Đồ án tốt nghiệp GVHD: TS.Nguyễn Xn Hình 25 Mơ hình định vị điểm neo khn mặt [21] Hình 26 Ước tính tư (Pose Estimation) hỗ trợ cho việc tập thể thao [22] Hình 27 Phương pháp sử dụng đồ nhiệt giúp tăng độ xác cho dự đốn điểm [23] 23 Hình 28 Kiến trúc chung mơ hình học sâu gồm phần: backbone network additional layers [24] .24 Hình 29 Kiến trúc khối Residual Block mạng Resnet [25] 25 Hình 30 Kiến trúc đầy đủ Resnet [24] 25 Hình 31.Kiến trúc khối Conv block [24] .25 Hình 32 Kiến trúc khối Identity block [24] 25 Hình 33 Cách tính số lượng tham số tích chập chiều thơng thường [24] .26 Hình 34 Cách tính tích chập phương pháp tích chập chiều sâu (Depthwise Convolution) [24] 26 Hình 35 Cách tính tích chập điểm (Pointwise Convolution) [24] 27 Hình 36 Kiến trúc Mobilenet [26] 28 Hình 37 Cách hoạt động Multi-task Learning [27] 29 Hình 38 Quy tắc xây dựng hệ trục tọa độ cho robot phương pháp Denavit Hartenberg [28] .30 Hình 39 Hệ robot (bên phải) xây dựng theo quy tắc Denavit Hartenberg bảng DH (bên trái), ma trận biến đổi tọa độ từ hệ (i-1) sang hệ (i) [28] Hình 40 Hình ảnh robot Yahboom Dofbot bậc tự [29] Hình 41 Mơ hình động học robot Hình 42 Camera Cimsum [30] Hình 43 Hệ thống robot – thị giác máy thực tế Hình 44 Kích thước mẫu thứ Hình 45 Kích thước mẫu vật thứ hai Hình 46 Mơ hình retinaface với khả phát định vị khn mặt [31] Hình 47 Kiến trúc mơ hình Retinaface [31] Hình 48 Hình ảnh liệu thu thập qua camera Hình 49 Thực gán nhãn cho vật thể Hình 50 Chuyển liệu định dạng để huấn luyện mơ hình Hình 51 Tinh chỉnh tham số file cấu hình Hình 52 Thiết lập hệ trục tọa độ cho robot phương pháp Denavit Hartenberg Hình 53 Lên kế hoạch gắp cho robot SVTH: Bùi Việt Hoàng TIEU LUAN MOI download : skknchat123@gmail.com moi nhat ... ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot NỘI DUNG NHẬN XÉT I II Khối lượng đồ án: Phần thuyết minh: 68 trang... XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Bùi Việt Hồng Khố: 62 Lớp: CK.CĐT.05 Chun ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh. .. Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Chương 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan cánh tay robot Cánh tay robot loại cánh tay học, thường lập trình, có chức tương tự cánh tay người, cánh tay