Bây giờ chúng ta có tất cả các thơng số mà chúng ta cần để hiệu chỉnh từng camera, nhưng chúng ta vẫn cần để hiệu chỉnh các camera cùng nhau. Bằng cách tập trung vào tất cả các thơng số đã được tính tốn trước đó (các điểm 2D, 3D của chessboard cho cả hai camera, ma trận camera cho cả hai camera, hệ số méo cho cả hai camera), chúng tơi có thể thu được ma trận xoay và vector tịnh tiến Tgiữa hệ tọa độ của camera thứ nhất và thứ hai: 2 1 2 1 R RR T RT T (2.9)
Trong đó Ri và Ti hướng và vị trí của camera i, R và T là ma trận tính tốn mối quan hệ về hướng và trị của một camera với camera khác.
Sau đó, các bản đờ hiệu chỉnh sự biến đởi được tính tốn từ các thơng số đó. Cùng với ma trận xoay, các thông số này sẽ được sử dụng để đưa mặt phẳng ảnh của 2 camera về cùng một mặt phẳng.
Bước này thì cần thiết, bởi vì thuật tốn đối sánh stereo (Stereo Matching algorithms) được sử dụng ở phần sau, nên chúng ta cần tất cả các đối tượng tương ứng mà nằm trong góc nhìn của 2 camera, phải nằm trên cùng một đường pixels nằm ngang. Trong thực tế, xem xét rằng mặt phẳng epipolar giao với một mặt phẳng ảnh tạo thành một đường duy nhất đối với cả hai camera, việc hiệu chỉnh cho phép đường epipolar song song , đơn giản hóa vấn đề tương đương của stereo, vì thuật tốn của chúng tơi sẽ tìm kiếm theo phương ngang cho các nhóm pixel tương ứng với cùng một đối tượng trong hai hình ảnh, kết quả thu được bản đờ chênh lệch(disparity maps).
Các hàm chính của thư viện OpenCV được sử dụng trong quá trình này là:
‘cv2.stereoCalibrate’: hàm này yêu cầu ma trận camera và hệ số méo đối với hai camera. Ngõ ra là vectors xoay R và T, hai thông số này thể hiện mối quan hệ giữa hai hệ tọa độ của camera.
Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 28/90
‘cv2.stereoRectify’: sử dụng R và T, điều đó cho phép tính tốn ma trận xoay đối với 2 camera. Một khí chúng được áp dụng, cả hai mặt phẳng ảnh sẽ song song với nhau. Sự ảnh hưởng của việc hiệu chỉnh ảnh được thể hiện trong Hình 26: các mặt phẳng ảnh đã được xoay để các chi tiết được hiệu chỉnh và ta có nhìn thấy dọc theo các đường epipolar giống nhau trên cả hai hình ảnh trái và phải.
Hình 26 Hiệu chỉnh stereo camera