Phép nội suy thời gian và bù chuyển động

Giả sử có hai khung liên tiếp: khung quá khứ f x y t , , 1và khung đang xét f x y t , , 0. Muốn tạo ra một khung mới f n n t 1, 2,  trong đót1 t t0. Cách đơn giản là chọn một khung gốc liền kề về thời gian với khung mong muốn, thế nhưng có một hiện tượng xảy ra là nếu dãy khung có một chuyển động tổng lớn thì sẽ có hiện tượng giật. Nếu sử dụng phép nội suy thời gian có bù chuyển động thì từ hai khung hình liên tiếp f n n t 1, 2, 1và f n n t 1, 2, 0tính ra tốc độ ở f n n t 1, 2,  sau đó chiếu các tốc độ lên khung t1 hoặc t0về mặt thời gian gần với thời điểm mong muốn t.

32

Hình 2.3: Nội suy sinh khung trung gian f n n t 1, 2, 

Vì điểm chiếu không gian thường không nằm trên lưới lấy mẫu gốc, nên cần phải nội suy không gian để nhận được khung nội suy. Nếu tốc độ ước lượng tại một pixel đặc biệt trong f n n t 1, 2, 1không được coi là đủ độ chính xác thì giả thiết là tốc độ bằng 0. Trong trường hợp này, giá trị pixel được nội suy có giá trị giống như giá trị pixel cùng vị trí trong f n n t 1, 2, 1hoặc

 1, 2, 0

f n n t tùy theo khung nào về thời gian gần với thời điểm mong muốn t hơn.

Không thể dùng ảnh tĩnh để minh họa các đặc trưng chuyển động của phép nội suy khung có bù chuyển động, nhưng vẫn có thể xem một khung tĩnh được tạo ra từ hai khung ảnh bằng phương pháp này.

Hình 2.3 trình bày một bộ ba khung: hai khung gốc trên hình (a) và (c), còn khung nội suy trên hình (b). Khung được nội suy trong hình (b) nhận được bằng cách lấy trung bình của hai khung gốc. Nhận thấy rằng khi sử dụng phương pháp bù chuyển động thì về cơ bản khung nội suy có chất lượng giống như hai khung gốc. Phương pháp ước lượng được dùng ở đây là phương pháp ràng buộc không thời gian với phép nội suy đa thức.

Khung quá khứ Khung nội suy Khung đang xét

33

Tạo ra f n n t 1, 2, bằng cách nội suy f n n t 1, 2, 1và f n n t 1, 2, 0. Trong ví dụ này, dịch chuyểnd dx, ynhận được từ f n n t 1, 2, 1và f n n t 1, 2, 0ở từng pixel n n1, 2tại thời điểm t. Mỗi pixel tại thời điểm t được chiếu vào vị trí không gian tương ứng tại thời điểm t1 (trong ví dụ này t gần t1hơnt0) cường độ pixel xác định theo f n n t 1, 2, 1 tại vị trí pixel được chiếu đến. Để thực hiện thuật toán này thì cần đến nội suy không gian của f n n t 1, 2, 1.

Phép nội suy có bù chuyển động có ứng dụng trong việc thay đổi nhịp khung. Sự thay đổi nhịp khung có thể phối hợp với việc thay đổi thang thời gian của âm thanh để thay đổi độ dài của ảnh động của chương trình tivi. Với một số cảnh điển hình sự thay đổi nhịp khung qua video cho phép nội suy bù chuyển động có thể tạo ra tín hiệu video có chất lượng so sánh được với tín hiệu gốc, ngoại trừ những nhịp chuyển động không tự nhiên đối với một số động tác như đi bộ và nói chuyện xuất hiện khi hệ số thay đổi nhịp đủ cao.

Thuật toán ba bƣớc sinh khung hình trung gian.

Sử dụng phép phản chiếu để tạo ra một hình trung gian giữ nguyên gốc. Để đạt được mục đích này coi I I0, 1 là hai viễn cảnh với ma trận chiếu:

 

0 H0 H C0 0

   và  1 H1H C1 1.

Sẽ thuận lợi hơn nhiều nếu chọn một hệ thống sao cho C C0, 1 cùng nằm trên trục X, ví dụ: C0 X0 0 0T và C1X1 0 0T. Hai trục còn lại nên được lựa chọn theo cách mà có thể giảm tối đa những sai lệch có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hướng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng nên được lựa chọn theo cách mà có thể giảm tối đa những sai lệch có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hướng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng.

34 P I0 Is I0 I1 Is C0 I1 Cs C1

Hình 2.4: Tái tạo cảnh theo ba bước

Hình 2.4:Tái tạo cảnh theo ba bước (1) hình ảnh gốc I0 và I1 được kéo giãn để tạo ra những hình ảnh song song I0và

1

I

 . (2)

s

I được tạo ra bằng cách

phối hợp hai hình ảnh kéo giãn (trung gian). (3) Is được co lại để tạo thành Is.

Các nửa hình ảnh trên đường thẳng C0C1 có thể được tạo ra bằng sự phối hợp giữa phản chiếu và trung hòa hình ảnh,  s HsH Cs s với Cs được tính theo công thức Cs 8Cx,8Cy, 0. Kéo căng hình ảnh: H0 – 1 thành I0 và H1

– 1 thành I1được điểm ảnh I0 và 1

I

 .

Bước 1: Tạo hình trung gian: từIsphối hợp các đường kẻ và màu sắc

của các điểm tương ứng I0 và I1, áp dụng công thức Cs 8Cx,8Cy, 0. Bước 2: Hình thành hình ảnh (phối hợp, co): Hs thành Is.

Bước 3: Kéo giãn hình ảnh tạo ra những mặt phẳng ảnh theo hàng mà không cần phải thay đổi các tâm kính của cả hai camera. Việc tái tạo những hình ảnh kéo giãn đưa tâm kính về Cs. Thu hình ảnh lại (hình thành hình ảnh) biến đổi mặt phẳng ảnh của hình ảnh mới về đúng vị trí và hướng chuẩn của hình ảnh mong đợi.

35

Các thao tác kéo căng hình ảnh rồi thu gọn hình ảnh, phối hợp với những hình trung gian đơn giản, đòi hỏi một loạt các thao tác tái tạo mẫu, điều này có thể có những tác động đáng kể trong việc làm mờ đi các nửa hình ảnh trung gian.

Những ảnh hưởng của việc tái tạo mẫu hình ảnh có thể được giảm thiểu bằng cách phóng đại các hình mẫu đầu vào hoặc bằng cách phối kết hợp tất cả những biến thể hình ảnh thành một tập hợp cho mỗi một hình ảnh. Sự phối hợp ngược lại, tái tạo hình ảnh trung gian, và kéo căng hình ảnh có thể trực tiếp móc nối thành một bản đồ đảo ngược. Tuy nhiên, sự kết hợp có những mặt hạn chế bao gồm cả việc nó có thể làm mất đi những ưu thế vốn có của việc sử dụng các công cụ tái tạo hình ảnh để tạo ra những hình ảnh đơn giản.

Nói chung các phương pháp nội suy làm việc theo một cách giống nhau. Trong mỗi trường hợp, để tính giá trị của một pixel đã được nội suy, chúng tìm điểm trong ảnh ra mà pixel nằm tại đó. Sau đó, chúng gán một giá trị tới với các pixel ra bằng cách tính toán giá trị trung bình có trọng số của một số pixel lân cận (trọng số dựa trên cơ sở khoảng cách tới điểm đang xét).

Các phương pháp này khác nhau ở tập các pixel được xem xét:

+ Với nội suy các pixel gần nhất: pixel ra được gán giá trị của các pixel gần nó nhất. Các pixel khác không được xem xét.

+ Nội suy song tuyến tính: giá trị của pixel ra là giá trị trung bình theo trọng số của 2x2 pixel lân cận.

+ Nội suy song khối: giá trị của pixel ra là trung bình có trọng số của 4x4 pixel lân cận.

Số lượng các pixel được xem xét ảnh hưởng đến độ phức tạp tính toán. Vì vậy phương pháp nội suy song khối mất nhiều thời gian hơn nội suy song tuyến tính và phương pháp nội suy song tuyến tính mất nhiều thời gian hơn nội suy các pixel gần nhất. Tuy nhiên, số lượng pixel lớn hơn, độ chính xác sẽ tốt hơn.

36

Với kiểu ảnh: các hàm sử dụng tuyến tính yêu cầu một tham số chỉ ra phương pháp nội suy. Với hầu hết các hàm, phương pháp mặc định được sử dụng là Nearest – Neighbor Interpolation (nội suy các pixel gần nhất). Phương pháp này tạo ra một kết quả có thể chấp nhận được cho hầu hết các ảnh và là phương pháp duy nhất thích hợp với ảnh chỉ số, ảnh cường độ hay RGB, tuy nhiên thường chỉ ra kiểu song tuyến tính hoặc song khối bởi vì những phương pháp này cho kết quả tốt hơn.

Với ảnh RGB, nội suy thường được thực hiện trên mặt phẳng R, B, G một cách riêng biệt.

Với ảnh nhị phân, nội suy gây ra những ảnh hưởng mà ta có thể nhận thấy được. Nếu sử dụng nội suy song tuyến tính hoặc song khối, giá trị tính toán được cho pixel trong ảnh ra sẽ không hoàn toàn là 0 hoặc 1. Ảnh hưởng trên kết quả phụ thuộc vào lớp của ảnh vào:

+ Nếu lớp ảnh vào là double, ảnh ra là một ảnh đen trắng thuộc lớp double. Ảnh ra không là ảnh nhị phân bởi vì nó bao gồm các giá trị khác 0 và 1.

+ Nếu ảnh vào là uint8, ảnh ra là một ảnh nhị phân thuộc lớp uint8. Giá trị của các pixel được nội suy được làm tròn thành 0 hoặc 1. Vì vậy ảnh ra thuộc lớp uint8.

Nếu sử dụng phương pháp nội suy các pixel gần nhất, ảnh ra luôn là ảnh nhị phân bởi vì những giá trị của pixel được nội suy được lấy trực tiếp từ ảnh vào.

Trong hầu hết các trường hợp, sự khác biệt giữa các phương pháp nội suy là tương đối nhỏ và có lẽ sẽ ít nhận thấy vì hầu hết khi phóng to hình ảnh thường ít khi phóng to quá 200%. Tuy nhiên khi phóng to ảnh với kích thước lớn hơn thì việc sử dụng thích hợp phương pháp nội suy là cần thiết để khắc phục hiện tượng vỡ hạt và răng cưa.

Trong thực tế, hình ảnh thường được mài sắc nét cạnh sau khi nội suy, vì nội suy không hoàn toàn loại bỏ được răng cưa ở các cạnh. Nhưng việc ứng

37

dụng nội suy đã làm giảm bớt rất nhiều hiện tượng này, nó làm cho các cạnh mịn màng, trơn mượt hơn. Trong phép nội suy tín hiệu phục hồi tín hiệu từ các mẫu. Nội suy tín hiệu có nhiều ứng dụng: có thể sử dụng để thay đổi kích thước của ảnh số, để cải thiện sự hiển thị của ảnh khi xem trên các thiết bị hiển thị. Phép nội suy cũng được sử dụng trong các ứng dụng khác như mã hóa ảnh. Cách sử dụng đơn giản của phương pháp nội suy làm giảm số bit là loại bỏ một số pixel hoặc một vài khung hình và tạo lại chúng từ pixel hoặc khung hình đã mã hóa.