ĐỒ án tốt NGHIỆP phát triển mô hình học máy phát hiện và định vị vật thể ứng dụng trong điều khiển cánh tay robot

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỒ ÁN TỐT NGHIỆP Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot BÙI VIỆT HOÀNG hoang.bv170753@sis.hust.edu.vn Chuyên ngành Cơ điện tử Giảng viên hướng dẫn: TS Nguyễn Xuân Hạ Chữ ký GVHD Bộ môn: Cơ sở Thiết kế máy Robot Viện: Cơ Khí HÀ NỘI, 2/2022 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CƠ KHÍ CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Bùi Việt Hồng Khố: 62 Lớp: CK.CĐT.05 Chuyên ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot NỘI DUNG NHẬN XÉT Khối lượng đồ án: Phần thuyết minh: 68 trang II Nhận xét I Sinh viên Bùi Việt Hồng giao nhiệm vụ tìm hiểu nghiên cứu phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot Để thực nhiệm vụ Việt Hồng tích cực học hỏi nâng cao kiến thức trí tuệ nhân tạo – mạng học sâu, công nghệ xử lý ảnh, công nghệ tính tốn nhúng Trong q trình thực luận văn Việt Hồng ln tích cực chủ động có ý thức làm việc tốt Kết đạt đáng kích lệ mơ hình trí tuệ nhân tạo phát triển cho phép phân loại định vị vật thể ứng dụng cánh tay robot, mô hình định vị xử lý vật có hình dáng đường biên phức tạp Mơ hình tối ưu triển khai phần cứng nhúng Jetson Nano để đánh giá hiệu tính tốn tính khả thi ứng dụng Các kết tổng hợp thành 01 báo khoa học trình phản biện Vơi kết đạt tơi đồng ý để sinh viên Việt Hồng bảo vê luận văn tốt nghiệp trước hội đồng SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hà Nội, ngày tháng 02 năm 2022 Giảng viên hướng dẫn SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CƠ KHÍ CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Bùi Việt Hồng Khố: 62 Lớp: CK.CĐT.05 Chun ngành: Cơ điện tử Tên đề tài tốt nghiệp: Phát triển mơ hình học máy phát định vị vật thể ứng dụng điều khiển cánh tay robot NỘI DUNG NHẬN XÉT I II Khối lượng đồ án: Phần thuyết minh: 68 trang Nhận xét Hà Nội, ngày tháng 02 năm 2022 Giảng viên phản biện SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Lời cảm ơn Chặng đường năm trường Đại học Bách Khoa Hà Nội trải nghiệm vô quý giá em Đó khơng khoảng thời gian dài mà cịn thử thách vơ khó khăn, nhiên với giúp đỡ nhiệt tình thầy cô , thành viên lớp Cơ điện tử 05 K62, bạn bè gia đình yêu quý, em dần hoàn thành chặng đường gian nan Trước hết em muốn gửi lời cảm ơn chân thành tới Tiến sĩ Nguyễn Xuân Hạ thầy cô môn Cơ sở Thiết kế máy Robot nhiệt tình hướng dẫn giúp em hồn thành luận văn tốt nghiệp cách tốt Tiếp đến em muốn gửi lời cảm ơn tới anh Nguyễn Duy Anh giúp đỡ trình em thực luận văn tốt nghiệp Q trình hồn thành đồ án tốt nghiệp không giúp em củng cố lại kiến thức học mà giúp em làm quen với cách thức làm việc người kỹ sư, ý thức làm việc độc lập, tư sáng tạo tính kỷ luật, trách nhiệm công việc giao Và cuối thời gian thực dự án tương đối ngắn kiến thức chủ đề giao hạn chế, em mong nhận góp ý, nhận xét chân thành để giúp luận văn em cải thiện tốt Tóm tắt nội dung đồ án Ứng dụng robot vào sản xuất xu hướng để tiết kiệm chi phí nhân cơng, vận hành dây chuyền sản xuất cách hiệu Tuy nhiên, nhà máy chưa thể hồn tồn áp dụng tự động hóa robot số hạn chế định nhiệm vụ chưa có tính tổng qt cao Trong đồ án em tập trung vào xử lý toán ứng dụng cách tay robot với mục đích phân loại định vị vật thể vật có đường biên phức tạp, khó gắp Trong khn khổ đồ án, em xây dựng hệ thống nhận diện phân loại vật thể phát điểm quan trọng vật thể phục vụ cho việc định vị lên kế hoạch gắp cho cánh tay robot đồng thời tối ưu triển khai mơ hình máy tính nhúng Jetson Nano Mơ hình triển khai tốc độ tương đối cao (~20fps) phù hợp với xử lý thời gian thực, nhiên hạn chế sai số hệ thống tương đối lớn (~4mm) Dẫu kết đạt sở để em phát triển thêm tốn khác định vị vật thể khơng gian chiều, phân loại lắp ráp vật thể hệ robot – băng tải,… SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ MỤC LỤC DANH MỤC HÌNH ẢNH iii DANH MỤC BẢNG BIỂU vi Chương 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan cánh tay robot 1.2 Ứng dụng thị giác máy hệ robot 1.3 Bài toán phát phân loại sản phẩm 1.4 Bài tốn lắp ráp đóng gói sản phẩm 1.5 Tổng kết CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Học máy, học sâu 2.1.1 Các khái niệm 10 2.1.2 Phân loại toán thị giác máy 15 2.1.3 Phương pháp huấn luyện mô hình học sâu 18 2.2 Bài toán phát vật thể (object detection) 19 2.3 Bài toán định vị điểm (keypoint detection) 22 2.4 Các mạng xương sống phổ biến mơ hình học sâu 24 2.5 Multi-task Learning 29 2.6 Bài toán động học ngược 30 CHƯƠNG 3: CÁC BƯỚC TRIỂN KHAI ĐỀ TÀI 32 3.1 Thiết lập điều kiện làm việc 32 3.2 Thiết kế hệ thống robot 32 3.3 Xây dựng mơ hình huấn luyện 36 3.3.1 Lựa chọn thiết kế mơ hình 36 3.3.2 Chuẩn bị liệu 38 3.3.3 Huấn luyện mơ hình 39 3.4 Giải toán động học ngược 41 3.5 Điều khiển robot 44 SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ 3.5.1 Phương thức giao tiếp 44 3.5.2 Điều khiển động 45 3.6 Triển khai thuật toán robot thật đánh giá 47 CHƯƠNG 4: KẾT LUẬN 55 4.1 Kết luận 55 4.2 Hướng phát triển đồ án tương lai 55 TÀI LIỆU THAM KHẢO 56 SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xn Hạ DANH MỤC HÌNH ẢNH Hình Cánh tay robot thực nhiệm vụ khác quy trình sản xuất [1] Hình Robot lắp ráp thực công việc dây chuyền sản xuất tự động [2] Hình Robot định vị lắp ráp phôi băng tải tự động [3] Hình Hệ thống phân loại rác thải tái chế (bên trái) [4] hệ thống phát sản phẩm lỗi (bên phải) [5] Hình Định vị vật thể có sẵn khn mẫu (template) có sẵn [32] Hình Định vị vật thể cách xác định hướng gắp điểm cần gắp không gian chiều [33] Hình Định vị vật thể phương pháp học máy sử dụng ảnh 2D [33] Hình Robot thực công việc lắp ráp dây chuyền sản xuất tự động [6] Hình Dây chuyền đóng gói bánh kẹo chưa tự động hóa hồn tồn [7] Hình 10 Các khái niệm trí tuệ nhân tạo [8] Hình 11 Một số ứng dụng phổ biến Học sâu nhận diện hình ảnh (bên trái) [9] hay trợ lý ảo, chatbot (bên phải) [10] 10 Hình 12 Mạng nơ ron nhân tạo [11] 13 Hình 13 Cấu trúc chung mạng nơ ron tích chập [12] 14 Hình 14 Bộ lọc trích xuất đặc trưng đường bao vật thể khác ảnh (hình bên phải) [13] 14 Hình 15 Bài toán phân loại ảnh [14] 15 Hình 16 Bài toán nhận dạng đối tượng [14] 15 Hình 17 Bài toán phân đoạn ảnh [14] 16 Hình 18 Bài toán phân đoạn cá thể ảnh [14] 16 Hình 19 Bài tốn mơ tả ảnh [15] 17 Hình 20 Bài tốn nhận diện khn mặt cần phát điểm Facial Landmark (bên trái) [16] ước tính tư người cần phát vị trí khớp (bên phải) [17] 17 Hình 21 Hình ảnh mơ tả mơ hình RCNN, mơ hình đại diện cho phương pháp Twostage Detection [18] 19 Hình 22 Phương pháp One-stage tìm kiếm phát vật thể phân loại chúng thuật toán [19] 20 Hình 23 Chỉ số IoU [20] 21 Hình 24 Precision Recall Curve – đường biểu diễn mối quan hệ Precision Recall [20] 21 SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 25 Mơ hình định vị điểm neo khuôn mặt [21] 22 Hình 26 Ước tính tư (Pose Estimation) hỗ trợ cho việc tập thể thao [22] 22 Hình 27 Phương pháp sử dụng đồ nhiệt giúp tăng độ xác cho dự đốn điểm [23] 23 Hình 28 Kiến trúc chung mơ hình học sâu gồm phần: backbone network additional layers [24] 24 Hình 29 Kiến trúc khối Residual Block mạng Resnet [25] 25 Hình 30 Kiến trúc đầy đủ Resnet [24] 25 Hình 31.Kiến trúc khối Conv block [24] 25 Hình 32 Kiến trúc khối Identity block [24] 25 Hình 33 Cách tính số lượng tham số tích chập chiều thơng thường [24] 26 Hình 34 Cách tính tích chập phương pháp tích chập chiều sâu (Depthwise Convolution) [24] 26 Hình 35 Cách tính tích chập điểm (Pointwise Convolution) [24] 27 Hình 36 Kiến trúc Mobilenet [26] 28 Hình 37 Cách hoạt động Multi-task Learning [27] 29 Hình 38 Quy tắc xây dựng hệ trục tọa độ cho robot phương pháp Denavit Hartenberg [28] 30 Hình 39 Hệ robot (bên phải) xây dựng theo quy tắc Denavit Hartenberg bảng DH (bên trái), ma trận biến đổi tọa độ từ hệ (i-1) sang hệ (i) [28] 31 Hình 40 Hình ảnh robot Yahboom Dofbot bậc tự [29] 33 Hình 41 Mơ hình động học robot 33 Hình 42 Camera Cimsum [30] 34 Hình 43 Hệ thống robot – thị giác máy thực tế 35 Hình 44 Kích thước mẫu thứ 36 Hình 45 Kích thước mẫu vật thứ hai 36 Hình 46 Mơ hình retinaface với khả phát định vị khuôn mặt [31] 37 Hình 47 Kiến trúc mơ hình Retinaface [31] 37 Hình 48 Hình ảnh liệu thu thập qua camera 38 Hình 49 Thực gán nhãn cho vật thể 39 Hình 50 Chuyển liệu định dạng để huấn luyện mơ hình 39 Hình 51 Tinh chỉnh tham số file cấu hình 40 Hình 52 Thiết lập hệ trục tọa độ cho robot phương pháp Denavit Hartenberg 41 Hình 53 Lên kế hoạch gắp cho robot 41 SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 54 Biến khớp q5 suy mơ hình học sâu dự đốn điểm từ p1 đến p6 42 Hình 55 Vùng làm việc robot giới hạn khoảng [𝑟𝑚𝑖𝑛, 𝑟𝑚𝑎𝑥 ] 43 Hình 56 Thiết lập vùng làm việc cho robot 44 Hình 57 Phương thức giao tiếp I2C [34] 45 Hình 58 Điều chế xung PWM [35] 46 Hình 59 Điều chế xung PWM để điều chỉnh góc quay động servo [36] 46 Hình 60 Luồng xử lý hệ thống robot 47 Hình 61 Tình trạng gặp phải vật thể đặt góc 47 Hình 62 Đo lường sai số theo phương x theo khoảng cách vật đến gốc tọa độ 49 Hình 63 Đường biểu diễn hàm nội suy dùng để hiệu chuẩn để giảm sai số đo đạc theo phương x 50 Hình 64 Đường biển diễn hàm nội suy dùng để hiệu chuẩn để giảm sai số đo đạc theo phương y 50 Hình 65 Đồ thị biểu diễn phân phối sai số theo phương x sau hiệu chuẩn 51 Hình 66 Đồ thị biểu diễn phân phối sai số theo phương y sau hiệu chuẩn 51 Hình 67 Kết mơ hình học sâu huấn luyện đánh giá tập liệu kiểm tra 52 SVTH: Bùi Việt Hoàng Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 56 Thiết lập vùng làm việc cho robot Sau tính toán, vùng làm việc robot nằm khoảng [𝑟𝑚𝑖𝑛 , 𝑟𝑚𝑎𝑥 ] = [82.6, 148.0] 𝑚𝑚 3.5 Điều khiển robot 3.5.1 Phương thức giao tiếp Robot điều khiển vi điều khiển Arduino, giao tiếp với máy tính nhúng Jetson Nano chuẩn giao tiếp I2C I2C giao thức giao tiếp để truyền liệu xử lý trung tâm với nhiều IC board mạch sử dụng hai đường truyền tín hiệu Do tính đơn giản nên loại giao thức sử dụng rộng rãi cho giao tiếp vi điều khiển mảng cảm biến, thiết bị hiển thị, thiết bị IoT, EEPROMs, v.v … Các thiết bị kết nối với bus I2C phân loại thiết bị Chủ (Master) thiết bị Tớ (Slave) Ở thời điểm có thiết bị Master trang thái hoạt động bus I2C Nó điều khiển đường tín hiệu đồng hồ SCL định hoạt động thực đường liệu SDA Tất thiết bị đáp ứng hướng dẫn từ thiết bị Master Slave Để phân biệt nhiều thiết bị Slave kết nối với bus I2C, thiết bị Slave gán địa vật lý 7-bit cố định SVTH: Bùi Việt Hoàng 44 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 57 Phương thức giao tiếp I2C [34] Khi thiết bị Master muốn truyền liệu đến nhận liệu từ thiết bị Slave, xác định địa thiết bị Slave cụ thể đường SDA sau tiến hành truyền liệu Vì vậy, giao tiếp có hiệu diễn thiết bị Master thiết bị Slave cụ thể 3.5.2 Điều khiển động Các khớp robot động servo nối vào vi điều khiển Arduino điều khiển sau máy tính nhúng Jetson Nano gửi tín hiệu xuống Động servo loại động chiều đơn giản có cảm biến phản hồi vị trí biến trở Vị trí thực tế so sánh với vị trí mục tiêu, điều khiển dựa vào sai số để thay đổi vị tri thực tế với yêu cầu Ưu điểm động servo có khả điều khiển tốc độ cao điều khiển vị trí xác cao, đạt độ xác đến độ tùy thuộc vào cảm biến phản hồi vị trí Điều khiển động servo dùng phương pháp điều chế xung PWM để điều chỉnh góc quay động đến vị trí mà người dùng mong muốn Phương pháp điều xung PWM (Pulse Width Modulation) phương pháp điều chỉnh điện áp tải, hay nói cách khác, phương pháp điều chế dựa thay đổi độ rộng chuỗi xung vuông, dẫn đến thay đổi điện áp PWM ứng dụng nhiều điều khiển, điển hình thường gặp điều khiển động xung áp, điều áp Sử dụng PWM điều khiển độ nhanh chậm động hay cao nữa, cịn dùng để điều khiển ổn định tốc độ động SVTH: Bùi Việt Hoàng 45 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 58 Điều chế xung PWM [35] Ứng dụng điều chế xung PWM vào điều khiển động servo: Hình 59 Điều chế xung PWM để điều chỉnh góc quay động servo [36] Cho ví dụ độ rộng xung mS ứng với góc quay động độ, độ rộng 1,5 mS ứng với góc quay 90 độ 2mS ứng với góc quay 180 độ Góc quay khác loại động nhãn hiệu khác Đối với góc quay (được tính SVTH: Bùi Việt Hồng 46 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ từ toán động học ngược), cần điều chế xung với độ rộng tương ứng để điều chỉnh góc quay động servo đến vị trí 3.6 Triển khai thuật toán robot thật đánh giá Thiết lập luồng xử lý cho robot: Hình 60 Luồng xử lý hệ thống robot Giải vấn đề thực tế: ❖ Ghép luồng xử lý tạo thành chương trình hồn chỉnh ❖ Hiệu chuẩn camera: Hình 61 Tình trạng gặp phải vật thể đặt góc Tình trạng gặp phải: Đối với vật khơng nằm diện bàn làm việc, vật thể thường khơng có góc nhìn chuẩn mà bị lẫn thêm góc nhìn hình chiếu cạnh vào, việc gán nhãn định vị điểm 2D cho vật thể gây lượng biến thiên sai số cho điểm thực tế Cách tinh chỉnh lại: Xây dựng hàm hiệu chuẩn cho vật dựa vào biến thiên khoảng cách so với tâm hình ảnh Thực hiện: Đo lại sai số điểm đo thực tế so với tọa độ đo camera 50 điểm liệu khác biểu diễn sai số đồ thị: SVTH: Bùi Việt Hoàng 47 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Bảng Bảng số liệu tọa độ điểm đo đạc thực tế điểm đo đạc camera, đơn vị milimet (mm) Điểm 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 Tọa độ x dự đoán 84.25118 165.179 266.4141 146.3382 275.3486 229.9186 228.074 273.6319 152.64 247.4646 209.3632 293.4225 96.01238 267.066 126.8652 239.846 157.5818 53.98724 76.55584 247.6432 31.00911 42.57151 38.53028 191.0974 301.2515 194.4699 175.4894 232.8585 83.87214 139.4045 159.1476 260.6825 160.5621 164.2792 269.1186 207.9774 62.56881 164.5974 SVTH: Bùi Việt Hoàng Tọa độ x thực tế 88 165 260 147 270 227 225 270 152 242 208 287 98 260 128 235 158 60 80 242 38 50 45 190 294 194 176 230 88 140 158 255 160 165 266 207 68 165 Tọa độ y dự đoán 59.3239 -3.15466 22.11806 -74.4631 -3.46698 -24.8828 93.57197 63.91942 -50.9838 -1.15666 60.81784 29.94649 -20.4167 20.14607 15.58747 46.96542 44.04864 17.57567 -36.5059 25.84979 28.67549 -77.0063 38.10021 8.42669 -61.4125 -9.70273 62.44569 -51.7158 19.99132 -30.9752 34.67419 -33.6443 -33.6586 71.73989 -47.4559 -21.4774 53.09233 40.07478 Tọa độ y thực tế 60 27 -70 -20 95 65 -45 60 33 -16 21 18 50 47 22 -33 28 30 -73 40 12 -58 -5 64 -48 24 -27 37 -30 -28 75 -44 -17 56 43 48 Đồ án tốt nghiệp 39 40 41 42 43 44 45 46 47 48 49 50 GVHD: TS.Nguyễn Xuân Hạ 34.0281 131.8971 99.74269 191.5659 202.6213 97.55578 102.3611 118.5241 217.7786 209.2578 210.6858 305.5642 40 134 103 190 200 98 104 120 216 208 208 300 -56.7858 18.18293 -87.1064 -77.2691 41.87327 59.76664 18.66814 79.06732 -51.88 19.79068 -25.8398 -65.4863 -53 22 -81 -72 44 60 24 81 -46 20 -22 -60 Hình 62 Đo lường sai số theo phương x theo khoảng cách vật đến gốc tọa độ Hình 57 mơ tả sai số theo phương x dựa vào khoảng cách từ vật đến gốc tọa độ sau đo đạc tính tốn biểu diễn đồ thị dựa vào số liệu có Nhận thấy vật có tọa độ camera (tọa độ từ 150-200mm) có sai số thấp sai số phân bố theo dạng tuyến tính, từ nội suy phương trình hiệu chuẩn để giảm sai số camera SVTH: Bùi Việt Hoàng 49 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 63 Đường biểu diễn hàm nội suy dùng để hiệu chuẩn để giảm sai số đo đạc theo phương x Hình 63 biểu diễn hàm nội suy dùng để hiệu chuẩn sai số theo phương x, tương tự ta có sai số theo phương y biểu diễn hình 64: Hình 64 Đường biển diễn hàm nội suy dùng để hiệu chuẩn để giảm sai số đo đạc theo phương y Dựa vào bảng thông số thu thập sau đo đạc lại thực tế, rút hàm nội suy theo phương x phương y cho hệ đo đạc sử dụng camera: 𝑐𝑎𝑙𝑖𝑏𝑥 (𝑥 ) = 0.0527𝑥 − 8.636 SVTH: Bùi Việt Hoàng 50 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ 𝑐𝑎𝑙𝑖 𝑏𝑦 (𝑦) = 0.0296𝑦 − 3.0871 Áp dụng hàm hiệu chuẩn vào để xác định lại phép đo tọa độ sử dụng camera Hình 65 Đồ thị biểu diễn phân phối sai số theo phương x sau hiệu chuẩn Hình 66 Đồ thị biểu diễn phân phối sai số theo phương y sau hiệu chuẩn Nhận xét: Sau hiệu chuẩn, phân phối sai số tiến gần đến vị trí gốc tọa độ Sai số trung bình trước sau hiệu chuẩn: 𝑒𝑥,𝑦 = 𝑁 𝑁 ∑ 𝑒𝑖 𝑖=0 Sai số tổng: SVTH: Bùi Việt Hoàng 51 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ 𝑒 = √𝑒𝑥2 + 𝑒𝑦2 Dựa vào cơng thức trên, ta có bảng thơng số: Bảng Bảng kết sai số hiệu chuẩn, đơn vị milimet (mm) Theo phương x Sai số Trước hiệu chuẩn 3,133 0,836 Sau hiệu chuẩn Theo phương y Sai số tổng 3,273 4,53 1,004 1,31 Dựa vào luồng xử lý thiết lập, thực đánh giá cho đề tài: Một vài kết mô hình học sâu: Hình 67 Kết mơ hình học sâu huấn luyện đánh giá tập liệu kiểm tra Đánh giá độ xác cho hệ thống phát vật thể mơ hình: Sử dụng phương pháp đánh giá Average Precision (đã trình bày chương 2), ta bảng sau: Bảng Bảng số liệu kết đánh giá theo phương pháp Average Precision AP0.5 AP0.6 AP0.7 AP0.8 AP0.9 AP0.95 AP mAP Class 1 0.996 0.995 0.99 0.925 0.984 0.974 Class 0.995 0.995 0.994 0.994 0.962 0.845 0.964 Trong AP0.5 độ xác bounding box đo IoU mơ hình dự đốn với kết thực tế (groud truth), ngưỡng IoU>0.5 ngược lại Nhận xét: Mặc dù vật thể có màu sắc giống nhiên hình dạng kích thước có khác biệt rõ nên việc phân loại vật thể dễ Cùng với việc hệ robot thường hệ cố định điều kiện ánh sáng, backgroud làm việc nên việc xác định bouding box trở nên tốt dễ dàng Đánh giá độ xác cho hệ định vị điểm mơ hình: SVTH: Bùi Việt Hồng 52 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Sử dụng phương pháp đánh giá Percentage of Correct Keypoints, đánh giá ngưỡng sai số khác nhau: ∑ 𝑐𝑜𝑟𝑟𝑒𝑐𝑡 𝑘𝑒𝑦𝑝𝑜𝑖𝑛𝑡𝑠 𝑃𝐶𝐾 = ∑ 𝑎𝑙𝑙 𝑘𝑒𝑦𝑝𝑜𝑖𝑛𝑡𝑠 Ta có bảng sau: Bảng Bảng đánh giá sai số theo phương pháp PCK Sai số (mm)