Camera calibration là phương pháp tính toán và thực nghiệm nhằm tìm ra các tham số bên trong (nội tại) và bên ngoài của camera để tái tạo không gian 3D của một cảnh, một vật thể nào đó trong thực tế bằng những hình ảnh mà camera đó ghi lại được. Phần mềm Dynamic Calibrator được sử dụng trong đồ án này để hiệu chỉnh camera Intel Realsense D455.
Hình 4-1 Hiệu chỉnh máy ảnh
Máy ảnh có thể mất hiệu chỉnh nếu có các hiện tượng sau:
- Giảm mật độ độ sâu trên các đối tượng trong phạm vi hoạt động (vẫn có thể nhận được độ sâu trên các đường thẳng đứng).
- Bề mặt phẳng trông "lung lay", tức là có nhiều độ lệch so với độ phẳng hơn bình thường.
- Việc đo khoảng cách vật lý tới các đối tượng không nằm trong khoảng 3% so với mức mà chúng phải có.
Sau khi xác định máy ảnh đã hết hiệu chỉnh, máy ảnh cần được hiệu chỉnh lại để sửa những thay đổi có thể đã xảy ra giữa cảm biến độ sâu bên trái và bên phải. 4.1.1. Các tham số hiệu chỉnh
Dynamic Calibration (hiệu chỉnh động) là tối ưu hóa các thông số bên ngoài, tức là chúng đề cập đến việc hiệu chỉnh được thực hiện tại môi trường người dùng với sự can thiệp tối thiểu hoặc không có sự can thiệp của người dùng. Chúng chỉ là các
47 thông số bên ngoài (tịnh tiến và quay) của hình ảnh camera liên quan đến hệ trục chính (trục giữa trái và phải). Các thông số nội tại, chẳng hạn như độ méo, trường nhìn, điểm chính, không được hiệu chỉnh động.[9]
Hiệu chỉnh động được chạy với giả định rằng đó là hiệu chỉnh lại các mô-đun độ sâu / máy ảnh sau khi hiệu chỉnh tại nhà máy, hoặc ít nhất là các thông số danh nghĩa đã biết.
Máy ảnh bên trái là máy ảnh tham chiếu và được đặt ở gốc thế giới. Thông số RGB chỉ áp dụng cho mô-đun độ sâu / máy ảnh có cảm biến RGB cho màu sắc, ví dụ: Máy ảnh độ sâu Intel® RealSense ™ D415, D435 và D455.
Nội tại bao gồm:
- Độ dài tiêu cự - được chỉ định là [fx; fy] tính bằng pixel cho máy ảnh trái, phải và RGB.
- Điểm chính - được chỉ định là [px; py] tính bằng pixel cho máy ảnh trái, phải và RGB.
- Độ méo - được chỉ định là mô hình biến dạng của Brown [k1; k2; p1; p2; k3] cho máy ảnh trái, phải và RGB.
Thông số bên ngoài bao gồm:
- RotationLeftRight - xoay từ hệ thống tọa độ máy ảnh bên phải sang hệ thống tọa độ máy ảnh bên trái, được chỉ định dưới dạng ma trận xoay 3x3.
- TranslationLeftRight - dịch từ hệ thống tọa độ máy ảnh bên phải sang hệ thống tọa độ máy ảnh bên trái, được chỉ định dưới dạng vectơ 3x1 tính bằng milimét.
- RotationLeftRGB - xoay từ hệ tọa độ máy ảnh RGB sang hệ tọa độ máy ảnh bên trái, được chỉ định dưới dạng ma trận xoay 3x3.
- TranslationLeftRGB - dịch từ hệ tọa độ máy ảnh RGB sang hệ tọa độ máy ảnh bên trái, được chỉ định dưới dạng vectơ 3x1 tính bằng milimét.
4.1.2. Các kiểu hiểu chỉnh động
Các loại hiệu chỉnh động khác nhau được hỗ trợ cho Dòng sản phẩm Intel® RealSense ™ D400 Series:
48 1. Hiệu chỉnh chỉnh lưu: căn chỉnh đường biểu sinh để cho phép đường ống độ sâu hoạt động chính xác và giảm các lỗ hổng trong hình ảnh độ sâu.
2. Hiệu chỉnh thang đo độ sâu: căn chỉnh khung độ sâu do thay đổi vị trí của các phần tử quang học.
Dynamic Calibration Tool API hỗ trợ các thuật toán này trong hai chế độ hoạt động đặc biệt: nhắm mục tiêu và không có mục tiêu. Dynamic Calibrator chỉ hỗ trợ hiệu chỉnh được nhắm mục tiêu.
Hiệu chỉnh theo mục tiêu là cách tiếp cận được khuyến nghị sử dụng vì nó hỗ trợ cả hiệu chỉnh chỉnh lưu và hiệu chỉnh theo thang độ sâu sau đó sẽ cho kết quả chính xác hơn so với hiệu chỉnh chỉ được thực hiện trong hiệu chỉnh không mục tiêu. Vậy hiệu chỉnh máy ảnh theo mục tiêu là gì?
4.1.3. Hiệu chỉnh động mục tiêu (Hiệu chỉnh quy mô độ sâu)
Trong chế độ được nhắm mục tiêu, Dynamic Calibration API hỗ trợ hiệu chỉnh quy mô độ sâu và cần phải có mục tiêu. Mục tiêu được xác định trước và có thể được hiển thị trên điện thoại thông minh thông qua ứng dụng điện thoại.
49 Máy ảnh phải hướng đến mục tiêu ở khoảng cách từ 65 cm đến 100 cm. Nó không nên quá gần hoặc quá xa. Do kích thước điện thoại, kiểu thiết bị máy ảnh và điều kiện ánh sáng khác nhau, không thể chỉ định khoảng cách chính xác.
Người dùng sẽ cần di chuyển máy ảnh trong phạm vi được chỉ định để tìm khoảng cách phù hợp nhất. Trong hầu hết các trường hợp, khoảng cách khoảng 70 cm là đủ. Quy trình đơn giản hóa được tóm tắt như sau:
1. Chụp ảnh từ máy ảnh L và R, bao gồm cả luồng chiều sâu (trong thời gian thực).
50 2. Phát hiện mục tiêu trên điện thoại thông minh ở cả hai hình ảnh.
51 3. Người dùng di chuyển điện thoại sao cho nó che gần hết ảnh, lặp lại các bước 1-2
52 4. Sau khi hoàn tất, người dùng chỉ cần tiếp tục chụp ảnh bằng cách định vị điện thoại ở bất kỳ vị trí nào trong ảnh nhưng phải di chuyển điện thoại mỗi vị trí.
53 5. Sau khi chụp 15 ảnh trong bước 4, quá trình hoàn tất.
Hình 4-7 Hoàn thành quá trình hiệu chỉnh động
6. Quá trình kiểm tra lỗi chỉnh lưu (chênh lệch Y tuyệt đối) nhưng cũng so sánh kích thước mẫu đo được với nền thật.
Lưu ý: Ưu điểm của hiệu chỉnh mục tiêu là nó chính xác và nhất quán. Nó hiệu chỉnh độ sâu trái / phải cũng như RGB (trên các thiết bị có RGB). Điểm bất lợi là nó yêu cầu mục tiêu hiệu chỉnh có nghĩa là nó không thể được sử dụng trong trường hợp hiệu chỉnh với mục tiêu không có.
54 Hiệu chỉnh camera từ đó tính khoảng cách giữa các đối tượng chuyển động từ dữ liệu video, làm cơ sở để xây dựng chương trình hỗ trợ với các chức năng sau:
- Phát hiện đối tượng đang chuyển động
- Tính khoảng cách giữa các đối tượng trong không gian 3D