Hệ thống phân loại bưu kiện ứng dụng công nghệ xử lý ảnh 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT CƠ ĐIỆN TỬ HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D GVHD: TS BÙI HÀ ĐỨC SVTH: LÊ VŨ PHƯỚC TRẦN BỬU MINH ĐỨC NGUYỄN ĐẠT THÀNH SKL010672 Tp Hồ Chí Minh, Tháng năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CƠ KHÍ CHẾ TẠO MÁY □🕮□ ĐỒ ÁN TỐT NGHIỆP Đề tài: “HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D” Giảng viên hướng dẫn: Sinh viên thực hiện: Khóa: TS BÙI HÀ ĐỨC LÊ VŨ PHƯỚC TRẦN BỬU MINH ĐỨC NGUYỄN ĐẠT THÀNH 2019 - 2023 Tp Hồ Chí Minh, tháng 08/2023 19146063 19146323 19146390 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠ KHÍ CHẾ TẠO MÁY BỘ MÔN CƠ ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Đề tài: “HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D” Giảng viên hướng dẫn: Sinh viên thực hiện: Khóa: TS BÙI HÀ ĐỨC LÊ VŨ PHƯỚC TRẦN BỬU MINH ĐỨC NGUYỄN ĐẠT THÀNH 2019 - 2023 Tp Hồ Chí Minh, tháng 08/2023 19146063 19146323 19146390 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN CƠ ĐIỆN TỬ o0o -Tp HCM, ngày 28 tháng 07 năm 2023 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: TS Bùi Hà Đức Họ tên sinh viên 1: Trần Bửu Minh Đức MSSV: 19146323 Họ tên sinh viên 2: Lê Vũ Phước MSSV: 19146063 Họ tên sinh viên 3: Nguyễn Đạt Thành MSSV: 19146390 Mã số đề tài: – Tên đề tài: Hệ thống phân loại bưu kiện ứng dụng công nghệ xử lý ảnh 3D Các số liệu, tài liệu ban đầu: Mơ hình báo cáo đồ án điện tử Nội dung đồ án: Thiết kế điều khiển hệ thống phân loại sản phẩm có khả phân loại sản phẩm theo sản phẩm Các sản phẩm dự kiến Mơ hình báo cáo đồ án Ngày giao đồ án: 15/03/2023 Ngôn ngữ trình bày: Ngày nộp đồ án: 18/07/2023 Bản báo cáo: Tiếng Anh Tiếng Việt  Trình bày bảo vệ: Tiếng Anh Tiếng Việt  TRƯỞNG KHOA TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) i TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN CƠ ĐIỆN TỬ o0o -Tp HCM, ngày 28 tháng 07 năm 2023 LỜI CAM KẾT TÊN ĐỀ TÀI: HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D GVHD: TS Bùi Hà Đức Họ tên sinh viên 1: Trần Bửu Minh Đức MSSV: 19146323 Địa chỉ: 76 đường số Cư Xá Đài Ra Đa P.13 Q.6, TP Hồ Chí Minh Số điện thoại liên lạc: 0776776100 Email: minhductran1407@gmail.com Họ tên sinh viên 2: Lê Vũ Phước MSSV: 19146063 Địa chỉ: 119 Linh Trung, đường Linh Trung, TP Thủ Đức, Hồ Chí Minh Số điện thoại liên lạc: 0899754416 Email:phuocle17061@gmai.com Họ tên sinh viên 3: Nguyễn Đạt Thành MSSV:19146390 Địa chỉ: Chung cư Đức Khải Phú Mỹ quận 7, TP.Hồ Chí Minh Số điện thoại liên lạc: 0766278126 Email: datthanh.work@gmail.coms Chuyên ngành: Công nghệ Kỹ thuật Cơ Điện Tử Hệ đào tạo: Đại học quy Khóa: Lớp: 2019 191462 Ngày nộp khóa luận tốt nghiệp (ĐATN): 18/07/2023 Lời cam kết: “Tơi xin cam đoan khố luận tốt nghiệp (ĐATN) cơng trình chúng tơi nghiên cứu tự thực Tôi không chép từ viết công bố mà không trích dẫn nguồn gốc Nếu có vi phạm nào, tơi xin chịu hồn tồn trách nhiệm” Tp Hồ Chí Minh, ngày 18 tháng 07 năm 2023 Lê Vũ Phước Nguyễn Đạt Thành Trần Bửu Minh Đức ii LỜI CẢM ƠN Lời đầu tiên, nhóm tác giả xin kính gửi lời cảm ơn chân thành đến tồn thể quý thầy cô Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Đặc biệt, nhóm tác giả xin gửi lời cảm ơn sâu sắc đến giảng viên hướng dẫn – TS Bùi Hà Đức, người đồng hành ln nhiệt tình hỗ trợ, giúp đỡ nhóm chặng đường chinh phục tri thức Trong khoảng thời gian thực đồ án tốt nghiệp này, nhóm nhiều lần gặp khơng khó khăn từ bước bắt đầu lên ý tưởng hồn thành đồ án Chính nhờ tận tâm, nhiệt tình thầy khoa Cơ khí Chế tạo máy, đặc biệt thầy Đức, tiếp thêm cho nhóm chúng em nguồn động lực, thêm nhiều kiến thức, kinh nghiệm để hoàn thành thật tốt đồ án nhóm Trong q trình nghiên cứu thực đồ án, nhóm nhận nhiều thiếu sót, lỗ hổng kiến thức cần cải thiện, kinh nghiệm quý báu sống, từ tìm nhiều hướng để giải vấn đề tốt Được đặt chân vào trường Sư phạm Kĩ thuật bước ngoặc, mang đến cho nhóm trải nghiệm khó tìm, tích lũy nhiều kiến thức, giúp nhóm chúng em có nhiều hội để tiến xa hành trình phát triển người Kinh nghiệm kiến thức hai thứ khơng có giới hạn Vì kiến thức tích lũy nhóm chắn không đủ, việc vận dụng kiến thức học vào đời sống cịn gặp nhiều khó khăn thực chưa có nhiều kinh nghiệm, chưa cọ sát với nhiều sản phẩm thực tế Do đó, đồ án nhóm khơng thể tránh khỏi nhiều thiếu sót Nhóm chúng em mong quý thầy cô nhận xét đánh giá sản phẩm cách xác cơng tâm Vì lời nhận xét điều quý báu, hành trang để chúng em phát triển thân sau Một lần nữa, chúng em xin chân thành cảm ơn tất quý thầy cô Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh! Trân trọng cám ơn! Trân trọng Nhóm thực đồ án iii TÓM TẮT ĐỒ ÁN HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D Trong thời đại ngày này, giới nói chung Việt Nam nói riêng bước chuyển mình, đưa cơng nghệ vào thực tiễn sống nhiều để giúp cho thứ sống tiện lợi thông minh Đã từ lâu, robot dần vào hoạt động lĩnh vực công nghiệp, hỗ trợ người đạt nhiều mục tiêu suất cho doanh nghiệp Có nhiều loại robot tham gia vào lĩnh vực công nghiệp chẳng hạn robot lắp ráp xe, cánh tay robot sử dụng cho việc sơn xe, hàn mạch, gắp sản phẩm… Nhận thấy nhu cầu phát triển Logistics việc ứng dụng cơng nghệ tự động hóa thời điểm tại, nhóm định chọn đề tài “Hệ thống phân loại bưu kiện ứng dụng công nghệ xử lý ảnh 3D” làm đề tài cho đồ án tốt nghiệp Từ yêu cầu đặt ra, nhóm tìm giải pháp từ đơn giản đến phức tạp để thiết kế hệ thống phân loại có giá thành thấp đảm bảo tính xác hiệu Trong q trình tìm hiểu, nhóm đưa phương án thiết kế hệ thống bao gồm hệ robot bậc tự với chuyển động tịnh tiến, sử dụng giác hút để gắp đa dạng vật thể, đầu vào băng tải cấp hàng, đẩu thùng phân loại bưu kiện khác iv MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i LỜI CAM KẾT ii LỜI CẢM ƠN iii TÓM TẮT ĐỒ ÁN iv MỤC LỤC v DANH MỤC BẢNG viii DANH MỤC SƠ ĐỒ, HÌNH ẢNH ix DANH MỤC TỪ VIẾT TẮT xi CHƯƠNG GIỚI THIỆU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI 1.2 NHỮNG NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC 1.3 LÝ DO CHỌN ĐỀ TÀI 1.4 MỤC TIÊU ĐỀ TÀI 1.5 GIỚI HẠN ĐỀ TÀI 1.6 BỐ CỤC QUYỂN BÁO CÁO CHƯƠNG TỔNG QUAN NGHIÊN CỨU ĐỀ TÀI 2.1 CÁC LOẠI HỆ THỐNG PHÂN LOẠI PHỔ BIẾN HIỆN NAY 2.2 ĐẶC ĐIỂM CHUNG CỦA CÁC HỆ THỐNG PHÂN LOẠI SẢN PHẨM 12 2.3 HỆ THỐNG PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG 13 CHƯƠNG CƠ SỞ LÝ THUYẾT 15 3.1 HỆ THỐNG PHÂN LOẠI BƯU KIỆN HIỆN NAY 15 3.2 GIỚI THIỆU XỬ LÝ ẢNH 17 3.3 NHỮNG VẤN ĐỀ TRONG XỬ LÝ ẢNH 19 3.3.1 Điểm ảnh 19 3.3.2 Độ phân giải 19 3.3.3 Mức xám 19 3.3.4 Ảnh số 20 3.3.5 Quan hệ điểm ảnh 20 3.3.6 Lọc nhiễu 21 3.3.7 Phương pháp phát biên 22 3.4 TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH 25 3.4.1 Giới thiệu thị giác máy tính 2D 25 v 3.4.1.1 Một số phương pháp Deep Learning – toán Object Detection 25 3.3.1.2 Thuật toán Tracking 36 3.3.2 Giới thiệu thị giác máy tính 3D 37 CHƯƠNG THIẾT KẾ HỆ THỐNG CƠ KHÍ 39 4.1 YÊU CẦU KĨ THUẬT 39 4.2 PHƯƠNG ÁN THIẾT KẾ 39 4.3 THIẾT KẾ 3D HỆ THỐNG PHÂN LOẠI BƯU KIỆN 43 4.4 XÂY DỰNG PHẦN KHUNG NHÔM 45 4.5 XÂY DỰNG PHẦN CẤP BƯU KIỆN 46 4.6 XÂY DỰNG PHẦN TAY GẮP 53 4.6.1 Trục Z 56 4.6.1.1 Lựa chọn trục vít me 56 4.6.1.2 Lựa chọn động 57 4.6.2 Trục X 60 4.6.2.1 Lựa chọn trục vít me 60 4.6.2.2 Lựa chọn động 61 4.6.3 Lựa chọn thiết bị khí nén 63 4.7 XÂY DỰNG PHẦN CHỨA BƯU KIỆN 66 4.8 THI CƠNG CƠ KHÍ 68 CHƯƠNG THIẾT KẾ HỆ THỐNG ĐIỆN ĐIỀU KHIỂN 69 5.1 SƠ ĐỒ KHỐI HỆ THỐNG ĐIỆN ĐIỀU KHIỂN 69 5.2 KHỐI NGUỒN 69 5.3 KHỐI CẢM BIẾN, CAMERA 70 5.3.1 Cảm biến hồng ngoại 70 5.3.2 Camera Realsense D435 71 5.4 KHỐI CƠ CẤU CHẤP HÀNH 73 5.4.1 Động bước driver động bước 73 5.4.2 Van điện từ 75 5.4.3 Relay 77 5.5 KHỐI ĐIỀU KHIỂN 78 5.6 KHỐI XỬ LÝ DỮ LIỆU 80 5.7 LỰA CHỌN CÁC THIẾT BỊ ĐIỆN KHÁC 81 5.7.1 Aptomat 81 vi 5.7.2 Opto cách ly 83 5.8 THI CÔNG TỦ ĐIỆN 84 5.9 XÂY DỰNG GIẢI THUẬT ĐIỀU KHIỂN 85 5.9.1 Quy trình hoạt động 85 5.9.2 Lưu đồ giải thuật 86 CHƯƠNG XÂY DỰNG THUẬT TOÁN XỬ LÝ ẢNH 89 6.1 NHIỆM VỤ THUẬT TOÁN 89 6.2 THIẾT LẬP NODE “XỬ LÝ NHẬN DIỆN BƯU KIỆN TRONG KHÔNG GIAN 2D” 91 6.3 THIẾT LẬP NODE “XỬ LÝ VỊ TRÍ CỦA BƯU KIỆN TRONG KHÔNG GIAN 3D” 96 6.4 THIẾT LẬP NODE “TRACKING BƯU KIỆN” 99 KẾT LUẬN VÀ KIẾN NGHỊ 102 TÀI LIỆU THAM KHẢO 104 vii hành huấn luyện mơ hình YOLOv5 Bước bao gồm đưa liệu vào mơ hình, tối ưu hóa tham số thực trình lan truyền ngược để điều chỉnh trọng số mơ hình Mục tiêu tối thiểu hóa hàm mát để mơ hình nhận dạng phân loại vật thể cách xác Trong đề tài này, nhóm tác giả sử dụng mơ hình YOLOv5s, phiên YOLOv5 với kiến trúc nhỏ giữ độ xác hiệu suất cao Các bước cụ thể mô tả sau: - Xác định kiến trúc mơ hình YOLOv5s: Đầu tiên, ta cần xác định kiến trúc mơ hình YOLOv5s Mơ hình thiết kế để xử lý tác vụ phát đối tượng định vị vị trí chúng YOLOv5s sử dụng mạng nơ-ron tích chập CNN với nhiều tầng khối để trích xuất đặc trưng từ ảnh đầu vào dự đoán bounding box nhãn tương ứng cho đối tượng Hình Cấu trúc mơ hình YOLOv5s - Huấn luyện mơ hình YOLOv5s: Tiếp theo, ta tiến hành q trình huấn luyện mơ hình YOLOv5s tập liệu chuẩn bị Quá trình bao gồm đưa liệu vào mơ hình, tính tốn giá trị mát (loss) tối ưu hóa mơ hình để giảm thiểu giá trị mát Trong trình huấn luyện, ta sử dụng thuật toán tối ưu Adam để cải thiện hiệu suất mơ hình - 93 Hình 6 Đồ thị hàm mát tập validate lúc training Bước Đánh giá kiểm tra mơ hình Sau huấn luyện, mơ hình cần đánh giá kiểm tra để đảm bảo tính xác hiệu suất Q trình bao gồm sử dụng tập liệu kiểm tra (test dataset) để đo lường độ xác, độ phủ (recall) độ xác (precision) mơ hình Ở bước này, ta tùy chỉnh thơng số tiến hành huấn luyện lại để cải thiện hiệu suất Ta sử dụng công cụ monitor Optuna để tối ưu hyperparameters cần thiết Kết sau monitor mAP_0.5:0.95 tăng 1.08 lần từ 85% tăng đến 91.7% tập đánh giá (validate dataset) sau tinh chỉnh tối ưu để cải thiện độ xác mơ hình Ta đem mơ hình để dự đốn mẫu nằm tập liệu (test dataset) chuẩn bị đạt 90% Sau tinh chỉnh chỉnh sửa để cải thiện độ xác mơ hình Ta đem mơ hình để dự đốn bưu kiện khơng nằm tập liệu huấn luyện để kiểm tra độ xác thêm trước lấy mơ hình đưa vào hệ thống phân loại Như giới thiệu trên, mơ hình YOLOv5 sử dụng cho tốn object detection (node detection hình 6.1) Với liệu huấn luyện 1000 ảnh cho loại, kết hợp với thuật toán augment để làm giàu liệu Kết thu thực huấn luyện mơ hình với mAP.5 (mean average precision) đạt 0.92, FPS đạt 20 94 Hình Đồ thị Mean Average Precision Tuy vậy, để cải thiện hiệu xuất mơ hình nhóm em có tìm hiểu thêm bước TensorRT TFLite kỹ thuật chuyển đổi model sang dạng chạy realtime Nhưng để tận dụng tối đa tài nguyên liên quan tới GPU NVidia thiết bị nên nhóm em định thực thêm bước chuyển model thành định dạng TensorRT (.engine) với hỗ trợ mạnh mẽ NVIDIA thay sử dụng cấu hình định dạng mặc định weight YOLO định dạng Torch (.pt) Với định dạng model đạt hiệu xuất khoảng 30fps Hình Thư viện tối ưu hóa dành cho mơ hình học sâu dựa tảng GPU 95 Nhưng để đem chạy sản phẩm thực tế giảm tải thêm chi phí nhóm em tích hợp thêm kỹ thuật chạy song song (parallel), với kỹ thuật cho phép mơ hình thực phép tính đồng thời nhiều luồng (thread), tận dụng tối đa khả xử lý đồng thời GPU Điều giúp tăng tốc độ chạy cải thiện hiệu suất mơ hình Sau bước này, ẩn số đầu liên quan tới loại bưu kiện (classes), tọa độ x y xử lý Với việc sử dụng mơ hình YOLOv5 module xử lý chúng tơi, chúng tơi đạt khả phát phân loại bưu kiện hiệu quả, đồng thời tích hợp với công nghệ khác camera 3D RealSense2 để xác định vị trí 3D thực tác vụ thống kê điều phối bưu kiện 6.3 THIẾT LẬP NODE “XỬ LÝ VỊ TRÍ CỦA BƯU KIỆN TRONG KHƠNG GIAN 3D” Sau thu thập thông tin x y thơng qua tốn object detection node detection trước sử dụng camera 3D Realsense, tiếp tục xử lý để xác định vị trí bưu kiện khơng gian 3D Bước nhằm tìm thơng tin chiều cao độ sâu bưu kiện Hình Ảnh đầu vào node xử lý vị trí bưu kiện khơng gian 96 Q trình xử lý vị trí bưu kiện khơng gian 3D bao gồm bước sau: Bước 1: Lấy liệu ảnh depth từ camera 3D Trong bước này, camera 3D sử dụng để lấy liệu độ sâu (depth) điểm không gian Thông thường, camera 3D tạo ảnh depth map, điểm ảnh tương ứng với giá trị độ sâu Bước 2: Chuyển ảnh dạng point-cloud Sau có ảnh depth map, điểm ảnh với thông tin độ sâu chuyển đổi thành dạng liệu điểm (point-cloud) không gian 3D Mỗi điểm point-cloud chứa thơng tin tọa độ XYZ chứa số thông tin khác màu sắc điểm (nếu camera hỗ trợ) Hình 10 Tồn khung hình Bước Loại bỏ xác định khối hộp: Sau có liệu độ sâu màu sắc tọa độ khối bưu kiện không gian 3D (x, y, z), ta tiến hành việc đồng hóa hai khung hình cách sử dụng chuyển đổi (align) Điều giúp đảm bảo thông tin depth color tương ứng với nhau, ta sử dụng chúng để tạo ảnh Point Cloud xác Tiếp theo, chuyển đổi liệu từ khung hình thành mảng điểm ảnh (array of points) để tiện cho việc xử lý Đối với khung hình depth, lấy thông tin độ 97 sâu điểm ảnh Đối với khung hình màu sắc, ta lấy thông tin màu sắc điểm ảnh Sau có thơng tin độ sâu màu sắc điểm ảnh, tiến hành tạo ảnh Point Cloud từ liệu Để làm điều này, ta sử dụng thuật tốn tính tốn để biến đổi điểm ảnh thành điểm không gian 3D Quá trình bao gồm việc gán tọa độ (x, y, z) cho điểm ảnh dựa thông tin độ sâu đặt màu sắc tương ứng cho điểm Kết ảnh Point Cloud, điểm đại diện cho điểm khơng gian 3D Ảnh Point Cloud sử dụng để hiển thị phân tích đối tượng 3D, từ việc xác định hình dạng kích thước đến khám phá đặc trưng không gian đối tượng Trong không gian 3D, ta quan tâm đến vùng cụ thể point-cloud, ví dụ quan tâm đến phần bưu kiện Bước nhằm cắt (crop) lấy vùng point-cloud cần thiết để tiếp tục xử lý bước tiếp theo, điều đồng nghĩa với việc ta loại bỏ background không mong muốn Để cắt vùng ảnh quan tâm ta phải có tọa độ (x, y, width, height) khối bưu kiện xử lý bước detection Hình 11 Ảnh sau cắt vùng quan tâm 98 Bước 4: Tính toán khoảng cách z với hỗ trợ camera 3D Intel Realsense Trong trình xử lý, phải biết khoảng cách z khối bưu kiện để xác định vị trí vật khơng gian Khoảng cách z từ camera đến điểm point-cloud dễ dàng trích xuất từ liệu depth map thông qua hỗ trợ camera 3D realsense Hình 12 Kết thực tế vị trí bưu kiện Như hình trên, ý nghĩa tham số cuối bounding box khoảng cách z khối bưu kiện tính Qua node "xử lý vị trí bưu kiện khơng gian 3D" này, thu thơng tin chi tiết vị trí bưu kiện không gian 3D, bao gồm tọa độ x, y z Các thơng tin sử dụng để thực nhiệm vụ thống kê, điều phối quản lý bưu kiện theo yêu cầu ứng dụng 6.4 THIẾT LẬP NODE “TRACKING BƯU KIỆN” Để phân phối bưu kiện xử lý tới địa định, sử dụng mơ hình YOLOv5 tracking Đặc biệt, chúng tơi sử dụng mơ hình SORT cung cấp repository sau: https://github.com/abewley/sort 99 Mơ hình SORT mơ hình tracking đơn giản thời gian thực, thiết kế để theo dõi đối tượng tác vụ nhận dạng theo dõi Mơ hình sử dụng phương pháp theo dõi trực tuyến cung cấp kết theo thời gian thực Việc sử dụng mơ hình YOLOv5 tracking (SORT) để thực node "tracking bưu kiện" bao gồm bước sau: Bước Chuẩn bị liệu • Sử dụng đầu từ mơ hình YOLOv5 phân loại xác định vị trí 3D bưu kiện • Dữ liệu bao gồm thơng tin tọa độ x, y, z bưu kiện thông tin phân loại liên quan Bước Áp dụng mơ hình SORT • Sử dụng mơ hình SORT từ repository cung cấp, áp dụng thuật toán theo dõi để theo dõi đánh dấu bưu kiện khung hình streaming • Mơ hình SORT sử dụng thông tin tọa độ đặc trưng bưu kiện để xác định đối tượng theo dõi chúng theo thời gian Bước Định vị điều phối: • Khi bưu kiện theo dõi đánh dấu, chúng tơi xác định vị trí chúng khơng gian thực điều phối dựa yêu cầu định • Các thơng tin vị trí đặc trưng bưu kiện sử dụng để xác định địa đích thực việc phân phối bưu kiện tới địa 100 Hình 13 Kết thực tế vị trí bưu kiện khơng gian có id tracking Thơng qua node "tracking bưu kiện" này, sử dụng mơ hình YOLOv5 tracking (SORT) từ repository https://github.com/abewley/sort để thực việc theo dõi bưu kiện thời gian thực đánh dấu chúng Mơ hình SORT sử dụng thông tin tọa độ đặc trưng bưu kiện để xác định theo dõi đối tượng theo thời gian Từ đó, chúng tơi xác định vị trí bưu kiện thực định điều phối dựa yêu cầu định Sử dụng mơ hình YOLOv5 tracking (SORT) node "tracking bưu kiện" giúp đạt tính xác đáng tin cậy việc theo dõi điều phối bưu kiện 101 KẾT LUẬN VÀ KIẾN NGHỊ Trong đồ án tốt nghiệp “HỆ THỐNG PHÂN LOẠI BƯU KIỆN ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 3D”, giúp đỡ TS Bùi Hà Đức kết hợp với tìm tịi khám phá thành viên nhóm, chúng em thành cơng việc thu thập, xử lý xây dựng model có khả phân loại loại sản phẩm Kết hợp với hệ thống khí có khả nâng bưu kiện có khối lượng tối đa 2.5kg, hệ thống nhỏ có khả góp phần tạo nên nguồn cảm hứng cho sinh viên hệ sau góp phần nhỏ vào việc phát triển cho khả ứng dụng camera 3D cho việc phân loại bưu kiện nói riêng phân loại sản phẩm khác nói chung Bên cạnh lợi ích đồ án chúng em cịn đề cao tầm quan trọng việc ứng dụng công nghệ phân loại sản phẩm 3D mảng logistics, vận chuyển sản phẩm sử dụng phân loại 3D cho kết xác phân loại 2D bên cạnh phân loại 3D bạn biết xác khoảng cách từ camera đến vật việc đơi giúp giảm thiểu số thiết bị cảm biến, công tắc biết khoảng cách di chuyển thiết bị gắp nhằm giảm cồng kềnh hao phí điện hệ thống khí quen thuộc giúp tăng hiệu giúp tăng lợi nhuận hệ thống tự động Trong trình nghiên cứu, thiết kế chế tạo đồ án nhóm chúng em thu kết quan trọng đáng ý như: phân loại cần phải tâm vào việc xử lý tín hiệu đầu vào trước, độ xác hệ thống phụ thuộc lớn vào việc train data đầu vào xử lý ảnh, nhóm chúng em bỏ nhiều thời gian để tập trung vào việc tạo nguồn ảnh đầu vào chất lượng sau bắt đầu xây dựng hệ thống khí để phân loại, nhiên thời gian hạn hẹp nên nhóm kịp xây dựng hệ thống khí tay gắp decat để nâng lên hạ vật xuống sau phân loại nhóm hài lịng hệ thống nâng khối lượng tối đa 2kg Hệ thống sử dụng động step mà hệ thống hoạt động sai số nhỏ Đồ án tốt nghiệp đợt giới hạn thời gian số lý bên tác động nên chúng em phân loại loại bưu kiện, hệ thống xử dụng động step nên hoạt động độ xác chưa lên mức tuyệt đối phát tiếng động lớn gây ảnh hưởng đến môi trường xung quanh bên cạnh chưa có đủ thời gian để tối ưu hóa nên hệ thống chưa phân loại sản phẩm với tốc độ cao đủ cho việc đưa thương 102 mại hóa Trong tương lai, nhóm bổ xung thêm cho model phân loại để phân loại nhiều loại hàng hóa hơn, xây dựng hệ thống khí với khả gắp nghiêng để xử lý tình đầu vào thùng hàng hỗn độn không định vị riêng biệt băng truyền hệ thống khí có nhiều khả nhóm tiến tới việc phân loại loại hàng nằm chồng lên tối ưu hóa hệ thống để tạo hệ thống vừa có khả phân loại nhiều bưu kiện xếp chồng lên với tốc độ cao đặc biệt khơng phát tiếng ồn hao phí q nhiều điện Nhóm hy vọng tương lai hệ thống nhóm xây dựng tiên phong lĩnh vực phân loại 3D có khả áp dụng nhiều lĩnh vực công nghệ Thơng qua đồ án nhóm chúng em học hỏi thêm nhiều thứ, chuẩn bị thêm nhiều kiến thức để bước tiếp sau trường Nhóm xin gửi lời cảm ơn chân thành đến TS Bùi Hà Đức giúp đỡ nhóm nhiều đồ án tốt nghiệp lần Nhóm hy vọng khơng riêng nhóm mà sinh viên sau chung tay để tiếp tục phát triển đề tài lên lúc đề tài xướng tên báo quốc tế việc có khả ứng dụng cao nhiều lĩnh vực 103 TÀI LIỆU THAM KHẢO [1] Dharmannagari Vinay Kumar Reddy, Sorting of Objects Based on Colour by Pick and Palce Robotic Arm and with Conveyor Belt Arrangement, Vol.3, No.1, January 2014 [2] Vishnu R Kale and V A Kulkarni, Object Sorting System Using Robotic Arm, Vol.2, Issue 7, July 2013 [3] Liu, Chen, et al "Planercnn: 3d plane detection and reconstruction from a single image." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019 [4] MÁRIO JOÃO SILVA BENEVIDES, Automated Sortation Systems Cross Belt Technology, 2018 [5] Saeed Benjamin Niku, Ph.D., P.E Introduction to Robotics Analysis, Control, Applications, Second Edition, 2011 [6] Reza N.Jaza Theory of Applied Robotics Kinematics, Dynamics and Control Second Edition [7] Wang, Yan, et al "PLUMENet: Efficient 3D object detection from stereo images." 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE, 2021 [8] Sundermeyer, Martin, et al "Implicit 3d orientation learning for 6d object detection from rgb images." Proceedings of the european conference on computer vision (ECCV) 2018 [9] Qian, Rui, et al "End-to-end pseudo-lidar for image-based 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2020 [10] Zhou, Qian-Yi, Jaesik Park, and Vladlen Koltun "Open3D: A modern library for 3D data processing." arXiv preprint arXiv:1801.09847 (2018) [11] Yan, Xinchen, et al "Perspective transformer nets: Learning single-view 3d object reconstruction without 3d supervision." Advances in neural information processing systems 29 ,2016 [12] Hatamizadeh, Ali, et al "Unetr: Transformers for 3d medical image segmentation." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision 2022 [13] Bas, Anil, et al "3D morphable models as spatial transformer networks." Proceedings of the IEEE International Conference on Computer Vision Workshops, 2017 [14] Hatamizadeh, Ali, et al "UNetFormer: A Unified Vision Transformer Model and PreTraining Framework for 3D Medical Image Segmentation.", 2022 104 [15] Tausif Diwan, G Anirudh & Jitendra V Tembhurne Object detection using YOLO: challenges, architectural successors, datasets and applications, 08 August 2022 [16] Qiang Wang, Li Zhang, Weiming Hu, Luca Bertinetto, Philip H.S Torr Fast Online Object Tracking and Segmentation: A Unifying Approach, 2019 [17] Laith Alzubaidi, Jinglan Zhang, Amjad J Humaidi, Ayad Al-Dujaili, Ye Duan, Omran AlShamma, J Santamaría, Mohammed A Fadhel, Muthana Al-Amidie & Laith Farhan Review of deep learning: concepts, CNN architectures, challenges, applications, future directions 31 March 2021 [18] Rahul Chauhan, Kamal Kumar Ghanshala, R.C Joshi Convolutional Neural Network (CNN) for Image Detection and Recognition, December 2018 [19] Sakshi Indolia, AnilKumar Goswami, S.P Mishra, Pooja Asopa Conceptual Understanding of Convolutional Neural Network - A Deep Learning Approach Procedia Computer Science, Volume 132, 2018, Pages 679-688 [20] Ajeet Ram Pathak, Manjusha Pandey, Siddharth Rautaray Application of Deep Learning for Object Detection Procedia Computer Science, Volume 132, 2018, Pages 1706-1717 [21] Nguyen Truong Thinh Industrial Robotics, Ho Chi Minh city University of Technical Education, 1/2019 [22] Nguyễn Hữu Lộc Cơ sở thiết kế máy NXB Đại học Quốc gia TPHCM [23] Trần Hữu Quế Vẽ kĩ thuật khí tập Lần tái bản: 10, NXB Giáo dục [24] PGS TS Trịnh Chất TS Lê Văn Uyển Tính tốn thiết kế hệ dẫn động khí tập Lần tái bản: 6, NXB Giáo dục, Hà Nội, 2006 [25] PGS TS Trịnh Chất TS Lê Văn Uyển Tính tốn thiết kế hệ dẫn động khí tập Lần tái bản: 6, NXB Giáo dục, Hà Nội, 2006 [26] PGS TS Ninh Đức Tốn Giáo trình Dung sai lắp ghép kỹ thuật đo lường Lần tái bản: 4, NXB Giáo dục, Hải Phòng, 2006 [27] ThS Trần Quốc Hùng, Dung sai kỹ thuật đo, Trường Đại học Sư phạm Kỹ thuật TP HCM [28] Nguyễn Hồng Ngân, Nguyễn Danh Sơn Kỹ thuật nâng chuyển tập Máy vận chuyển liên tục, Nhà xuất ĐHQG TP.HCM, 2004 [29] Nguyễn Hiền Minh, Phan Thanh Phong, ThS Nguyễn Duy Thảo, Ứng dụng xử lý ảnh hệ thống phân loại sản phẩm, Đồ án tốt nghiệp, Trường Đại học Sư phạm Kỹ thuật TP.HCM, 105 2019 [30] Ngô Phúc Hạnh, Vũ Thị Tâm, Nguyễn Thị Thu Ứng dụng trí tuệ nhân tạo ngành logistics Việt Nam Nghiên cứu Kinh tế số (493), tháng 6/2019 [31] PGS.TS Nguyễn Quang Hoan Xử lý ảnh.Học viện cơng nghệ bưu viễn thông, Hà Nội 2006 [32] Nguyễn Văn Dự, Hướng dẫn tính tốn thiết kế băng tải cơng nghiệp, https://www.academia.edu/37703875/H%C6%B0%E1%BB%9Bng_d%E1%BA%ABn_t%C3 %ADnh_to%C3%A1n_thi%E1%BA%BFt_k%E1%BA%BF_b%C4%83ng_t%E1%BA%A3i_ c%C3%B4ng_nghi%E1%BB%87p, tháng 5/2023 [33] Jędrzej Świeżewski, “YOLO Algorithm and YOLO Object Detection: An Introduction”, https://appsilon.com/object-detection-yoloalgorithm/ , May 2023 [34] INTEL REALSENSE TECHNOLOGY, Intel RealSense D400 Series Product Family, https://www.intel.com/content/dam/support/us/en/documents/emerging-technologies/intelrealsense-technology/Intel-RealSense-D400-Series-Datasheet.pdf, March 2023 [35] HỆ THỐNG PHÂN LOẠI SẢN PHẨM TỰ ĐỘNG, New Ocean Automation System, https://new-ocean.com.vn/article/he-thong-phan-loai-san-pham-tu-dong/ [36] Renu Khandewal, “Evaluating performance of an object detection model”, Available online: https://towardsdatascience.com/evaluating-performance-of-an-object-detection-model137a349c517b, May 2023 106 S K L 0