CHƯƠNG 6. XÂY DỰNG THUẬT TOÁN XỬ LÝ ẢNH
6.3 THIẾT LẬP NODE “XỬ LÝ VỊ TRÍ CỦA BƯU KIỆN TRONG KHÔNG GIAN 3D”
Sau khi thu thập thông tin về x và y thông qua bài toán object detection ở node detection trước đó và sử dụng camera 3D Realsense, chúng ta có thể tiếp tục xử lý để xác định vị trí của bưu kiện trong không gian 3D. Bước này nhằm tìm ra thông tin về chiều cao và độ sâu của bưu kiện.
Hình 6. 9 Ảnh đầu vào của node xử lý vị trí của bưu kiện trong không gian
Quá trình xử lý vị trí của bưu kiện trong không gian 3D có thể bao gồm các bước sau:
Bước 1: Lấy dữ liệu ảnh depth từ camera 3D.
Trong bước này, camera 3D được sử dụng để lấy dữ liệu về độ sâu (depth) của các điểm trong không gian. Thông thường, camera 3D sẽ tạo ra một ảnh depth map, trong đó mỗi điểm ảnh tương ứng với một giá trị độ sâu.
Bước 2: Chuyển ảnh về dạng point-cloud.
Sau khi có ảnh depth map, các điểm ảnh với thông tin độ sâu có thể được chuyển đổi thành một dạng dữ liệu điểm (point-cloud) trong không gian 3D. Mỗi điểm trong point-cloud sẽ chứa thông tin về tọa độ XYZ và có thể chứa một số thông tin khác như màu sắc của điểm đó (nếu camera hỗ trợ).
Hình 6. 10 Toàn bộ khung hình
Bước 3. Loại bỏ nền và xác định khối hộp:
Sau khi có dữ liệu độ sâu và màu sắc và tọa độ khối bưu kiện trong không gian 3D (x, y, z), ta tiến hành việc đồng bộ hóa hai khung hình này bằng cách sử dụng bộ chuyển đổi (align).
Điều này giúp đảm bảo rằng thông tin depth và color tương ứng với nhau, và ta có thể sử dụng chúng để tạo ảnh Point Cloud chính xác.
Tiếp theo, chúng ta chuyển đổi dữ liệu từ các khung hình thành mảng các điểm ảnh (array of points) để tiện cho việc xử lý. Đối với khung hình depth, chúng ta có thể lấy thông tin về độ
sâu của từng điểm ảnh. Đối với khung hình màu sắc, ta có thể lấy thông tin về màu sắc của từng điểm ảnh.
Sau khi có thông tin về độ sâu và màu sắc của từng điểm ảnh, chúng ta tiến hành tạo ảnh Point Cloud từ dữ liệu này. Để làm điều này, ta sử dụng các thuật toán tính toán để biến đổi từng điểm ảnh thành một điểm trong không gian 3D. Quá trình này bao gồm việc gán tọa độ (x, y, z) cho mỗi điểm ảnh dựa trên thông tin độ sâu và đặt màu sắc tương ứng cho mỗi điểm.
Kết quả là một ảnh Point Cloud, trong đó mỗi điểm đại diện cho một điểm trong không gian 3D.
Ảnh Point Cloud có thể được sử dụng để hiển thị và phân tích đối tượng 3D, từ việc xác định hình dạng và kích thước đến khám phá các đặc trưng không gian của đối tượng.
Trong không gian 3D, ta chỉ quan tâm đến một vùng cụ thể trong point-cloud, ví dụ như chỉ quan tâm đến một phần của bưu kiện. Bước này nhằm cắt (crop) và lấy ra vùng point-cloud cần thiết để tiếp tục xử lý trong bước tiếp theo, điều này đồng nghĩa với việc là ta loại bỏ đi những background không mong muốn. Để cắt được vùng ảnh quan tâm ta ít nhất phải có được tọa độ (x, y, width, height) của khối bưu kiện đã được xử lý ở bước detection ở trên.
Hình 6. 11 Ảnh sau khi cắt vùng quan tâm
Bước 4: Tính toán khoảng cách z cùng với sự hỗ trợ của camera 3D Intel Realsense.
Trong quá trình xử lý, chúng ta phải biết được khoảng cách z của khối bưu kiện để xác định vị trí của vật trong không gian. Khoảng cách z từ camera đến mỗi điểm trong point-cloud có thể dễ dàng được trích xuất từ dữ liệu depth map thông qua sự hỗ trợ của camera 3D realsense.
Hình 6. 12 Kết quả thực tế vị trí của bưu kiện
Như hình trên, ý nghĩa tham số cuối cùng trong bounding box ở trên là khoảng cách z của khối bưu kiện đã tính được. Qua node "xử lý vị trí của bưu kiện trong không gian 3D" này, chúng ta có thể thu được thông tin chi tiết về vị trí của từng bưu kiện trong không gian 3D, bao gồm tọa độ x, y và z. Các thông tin này có thể được sử dụng để thực hiện các nhiệm vụ thống kê, điều phối và quản lý bưu kiện theo yêu cầu của ứng dụng.