Chƣơng 1 TỔNG QUAN VỀ KHỬ RUNG VIDEO
2.4. Bù chuyển động
Bù chuyển động là loại bỏ sự dƣ thừa tạm thời giữa các khung để tạo video ổn định. Nó khác với làm mịn chuyển động, đƣợc sử dụng để loại bỏ dự phịng khơng gian giữa các khung.
Sử dụng các vectơ chuyển động đƣợc làm mịn, bù chuyển động đƣợc thực hiện từng khung hình. Khung hình ổn định thu đƣợc bằng cách thực hiện bù chuyển động khung hình gốc, bằng cách sử dụng tƣơng ứng vector chuyển động mịn. Để có đƣợc khung 3 ổn định, ổn định khung hình 2 và các vectơ đƣợc làm mịn tƣơng ứng của nó đƣợc sử dụng. Theo cách nhƣ vậy, tồn bộ chuỗi video ổn định có thể đƣợc tạo ra. [7]
Các vùng khơng xác định đƣợc xuất hiện gần rìa của mỗi vùng thơng qua bù chuyển động. Đầu tiên, chúng ta phải tìm các tham số của các khung lân cận đối với khung hiện tại. Một khung thiếu diện tích, chúng ta cần ƣớc tính các tham số biến đổi giữa các khung It và Im trong đó m∈Nt. Đã xác
định các tham số biến đổi giữa các khung liền kề, sẽ đƣợc sử dụng làm giá trị ban đầu. Đơn giản chỉ cần xếp tầng chuyển đổi giữa các khung sẽ dẫn đến lỗi tích lũy và sai lệch. Thay vào đó, phép biến đổi tọa độ có thể thu đƣợc bằng cách sử dụng các phép biến đổi xếp tầng nhƣ sau:
(2.15) Trong đó ma trận biến đổi xếp tầng đƣợc sử dụng làm điều kiện ban đầu. Biến đổi đƣợc ƣớc tính bằng cách giảm dần độ dốc (gradient) chỉ với một vài lần lặp.
(2.16) Trong đó γ là tất cả tọa độ trong vùng chồng lấp giữa khung It và Im. Sự đóng góp của từng khung lân cận vào vùng bị thiếu tái tạo có thể đƣợc đánh giá là nghịch đảo của lỗi E (t, m)
(2.17) Để giảm các vị trí trong ranh giới giữa các khu vực đƣợc xác định và không xác định, sử dụng trọng số chéo bổ sung tại ranh giới để làm mịn quá trình chuyển đổi giữa khu vực đƣợc xác định và khu vực ghép.
Giải quyết cảnh ghép với vật thể chuyển động. Hàm trọng số giảm gần ranh giới của ảnh nguồn sẽ ngăn chặn sự gián đoạn có thể nhìn thấy do mức tăng điều chỉnh giữa các khung. Mặc dù tồn tại các chức năng trộn phức tạp hơn, bất kỳ thông tin lấy mẫu chức năng nào từ tất cả các hình ảnh có sẵn đều tạo ra kết quả mờ trong trƣờng hợp các đối tƣợng chuyển động. Sắp xếp các khung lân cận theo tính tốn ở trên. Khung có lỗi căn chỉnh nhỏ hơn, có thể có nhiều khả năng là hình ảnh nguồn chính xác, đƣợc sử dụng để ghép các vùng bị thiếu. Khi một đối tƣợng chuyển động tồn tại trong ranh giới của khu vực đƣợc xác định, một khung hình tƣơng tự chỉ đƣợc sử dụng để ghép và do đó khơng dẫn đến mờ trong khu vực bao gồm cả đối tƣợng chuyển động.
Sử dụng phƣơng pháp DP để tìm ranh giới nằm dọc theo đƣờng có cƣờng độ thấp trong hình ảnh khác biệt, dẫn đến các tạo tác hình ảnh tối thiểu trong bức tranh ghép cuối cùng. Mờ do hàm trọng số gây ra khơng xảy ra
Hình 2.7. Kết quả video ổn định.
Hình 2.7 cho thấy kết quả cuối cùng của phƣơng pháp bao gồm ổn định và hoàn thành video. Các khung thứ năm, thứ mƣời, thứ mƣời lăm và thứ hai mƣơi của một video đƣợc chọn và hiển thị. Hàng trên cùng hiển thị các chuỗi khung ban đầu; trình tự ổn định đƣợc hiển thị ở hàng giữa với khu vực bị thiếu. Chuyển động của camera trở nên chậm, nhƣng không cố định. Khu vực bị thiếu không lớn lắm trong phƣơng pháp này, điều này làm giảm thời gian sử dụng trong q trình hồn thành nó. Hàng dƣới cùng cho thấy kết quả đã ghép. Nhƣ chúng ta thấy, chuyển động của camera đƣợc ổn định với ƣớc tính chuyển động tốt và các khu vực lấp đầy có vẻ tự nhiên.
Để cải thiện chất lƣợng, cần phải thực hiện làm mờ chuyển động. Trong phần ghép này, pixel điền vào có thể tìm thấy giá trị của nó chỉ trong một khung lân cận tƣơng ứng. Phƣơng pháp này có thể làm giảm hiệu quả độ mờ đƣợc tạo ra bằng cách trộn, nhƣng nó có thể gây ra sự khơng nhất quán theo thời gian khi các đối tƣợng trong khung có chuyển động nhanh khác với nền tĩnh. Phân đoạn tiền cảnh và hậu cảnh trƣớc khi cong vênh từng khung hình có thể có lợi cho việc làm mờ chuyển động.
Một phƣơng pháp khác để không cịn viền khung hình bị thiếu thì khung hình có thể phải thu nhỏ kích thƣớc. Chúng ta có thể giảm thiểu vấn đề này bằng cách thu nhỏ video về trung tâm của video bằng một lƣợng nhỏ (ví dụ 4%). Sử dụng getRotationMatrix2D vì nó chia tỷ lệ và xoay hình ảnh mà khơng di chuyển trung tâm của hình ảnh.
Nhƣ vậy ƣớc tính chuyển động của máy ảnh, với các tính năng SIFT này đã đƣợc chứng minh là bất biến affine, và mạnh mẽ trong việc kết hợp trên một phạm vi biến dạng affine đáng kể. Ƣớc tính chuyển động tốt làm cho tồn bộ video ổn định và hiệu quả. Trong bƣớc làm mịn, mở rộng phƣơng pháp làm mịn Gaussian cục bộ bằng cách lắp parabol. Quỹ đạo chuyển động của camera ổn định mƣợt mà hơn và các khu vực bị thiếu đƣợc giảm thiểu.