Các phép nội suy không gian

Xét một dãy f n n 1, 2 trong không gian 2D, là kết quả của phép lấy mẫu tín hiệu tương tựf  x, y bằng tọa độ chuyển đổi A/D (chuyển đổi tín hiệu tương tự sang tín hiệu số) lý tưởng:

   

1 1 2 2

1, 2 c , ,

x n T y n T

h n n  f x y   (2.1) Nếu fc x y, bị giới hạn băng tần và các tần số lấy mẫu 1/T1 và 1/T2 đều cao hơn tốc độ thì có thể phục hồi tốc độ fc x y, từ f n n 1, 2 bằng bộ chuyển đổi D/A (chuyển đổi tín hiệu số sang tín hiệu tương tự) lý tưởng là:

      1 2 1 2 1 1 2 2 , , c n n f x y f n n h x n T n T         (2.2)

27

Trong đó h(x,y) là đáp ứng xung của bộ lọc tương tự thông thấp lý tưởng.   1 2 1 2 sin sin , x y T T h x y x y T T                  (2.3)

Có nhiều khó khăn trong việc sử dụng công thức (2.2) và (2.3) để nội suy ảnh tương tựfc x y, , ngay cả khi có dùng bộ lọc chống chồng phổ cũ không hoàn toàn bị giới hạn băng tần, cho nên khi lấy mẫu sẽ bị chồng phổ. Ngoài ra h(x,y) là một hàm mở rộng vô hạn vì vậy sử dụng để đánh giá ảnh

 ,

c

f x y trong thực tế không thể thực hiện được.

Để lấy xấp xỉ phép nội suy bằng (2.2) và (2.3) có thể sử dụng bộ lọc thông thấp h(x,y) vốn bị giới hạn không gian. Đối với bộ lọc h(x,y) giới hạn không gian thì cho phép lấy tổng trong (2.2) có một số hữu hạn khác không. Nếu h(x,y) là một hàm cửa sổ hình chữ nhật là: H(x,y)=1 ; với

1 1 2 2

;

2 2 2 2

T T T T

x y

      thì được gọi là phép nội suy bậc không. Trong phép

nội suy bậc không fc x y, được chọn là f n , n1 2 ở điểm (x,y) gần nhất, vì thế phương pháp này còn được gọi là nội suy các pixel gần nhất .

Một phương pháp đơn giản hơn được sử dụng nhiều hơn trong thực tế là phép nội suy song tuyến tính (Bilinear). Phương pháp này xác định giá trị màu cho điểm ảnh mới dựa trên giá trị trung bình của 4 điểm ảnh gốc gần nó nhất. Tiến trình này có hiệu ứng khử răng cưa nên cho ra kết quả ảnh rất mịn màng. Trong phương pháp này fc x y, được định giá bằng phép tổ hợp tuyến tính của f n , n1 2 ở 4 pixel gần nhất.

Giả sử muốn định giá f(x,y) thì cho: n T1 1 x n11T1 và  

2 2 2 1 2

28 n21T2

y (x,y) n T2 2 1 1T

n T1 1 y n11T1

Hình 2.1: Biểu diễn định giá fc x y, bằng nội suy song tuyến  ,

c

f x y được nội suy từ 4 pixel lân cận: fcn T1 1, n2T2, fcn11T1, n2T2,  

 1 1, 2 1 2 (adsbygoogle = window.adsbygoogle || []).push({});

c

f n T n  T , fcn11 T1, n2 1T2.

Như vậy trong phương pháp nội suy song tuyến thì giá trị fc x y, sẽ được tính toán như sau:

                 1 2 1 2 1 2 1 2 , , 1 , 1 + 1 1, 1, 1 c f x y x y f n n y x f n n x y f n n x y n n                  (2.4) Trong đó: 1 1 2 2 1 2 ; n T n T x y T T      

Một phương pháp khác là phép nội suy đa thức.

Xét một vùng không gian cục bộ (3x3) hoặc (5x5) pixel qua đó f(x,y) được xấp xỉ bằng một đa thức, ảnh nội suy fc x y, là:

^     0 , , N c i i i f x y S x y    (2.5)

Trong đó: i x y, là một số hạng của đa thức Ví dụ: i x y, khi N = 6 là:   2 2

, 1, , , , ,

i x y x y x y xy

 

Hệ số Si có thể xác định bằng cách lấy tối thiểu của:

    1 2 1 1 2 2 2 , 0 , , , N i i i n n i x n T y n T S f x y S x y                  (2.6)

Trong đó  là những pixel trên đó f(x,y) được lấy xấp xỉ.

Ưu điểm của phép nội suy đa thức

2 2T

29 Ảnh fc x y, trơn và có thể định giá fcx y,  x    và  , c f x y y     ,  c f x y x    và  , c f x y y  

 là các đạo hàm riêng được dùng trong các ứng dụng như phát hiện đường biên hay ước lượng chuyển động. Ngoài ra sử dụng một đa thức với một hệ số ít hơn số pixel của vùng  ở công thức (2.6) có thể làm trơn nhiễu ở một mức độ nhất định. Việc làm trơn nhiễu đặc biệt có lợi trong

các ứng dụng có sử dụng đạo hàm riêng fcx y,  x    và  , c f x y y    . Cũng có thể

sử dụng tín hiệu tương tự ước lượng chuyển động để phát triển sơ đồ nội suy.

2.2. Phƣơng pháp ƣớc lƣợng chuyển động

Bằng nội suy thời gian người ta có thể từ những khung hình đã có tạo ra những khung hình mới. Khác với nội suy không gian, nội suy thời gian yêu cầu lưu trữ một số lượng lớn các pixel, vì vậy thường phải tạo ra một khung mới giữa hai khung liền kề; một khung thuộc về quá khứ, khung kia thuộc về tương lai so với khung được tạo ra.

Phương pháp đơn giản nhất thường dùng trong thực tế là phương pháp bậc không (Zer - order hold method) tạo ra một khung mới bằng cách lặp lại khung đã có ở thời điểm gần nhất. Khi biến đổi ảnh động 24 khung/giây sang tín hiệu NTSC 60 trường/giây từ một khung ảnh động tạo ra 3 trường kế tiếp nhau, sau đó từ khung ảnh động tiếp theo lại tạo ra 2 trường kế tiếp nhau nữa. Quá trình lặp lại như thế cho đến khi hết các ảnh động, đó là phương pháp gỡ dần (Pull – Down Method). Với đa số cảnh (sence) không có chuyển động toàn bộ lớn thì kết quả khá tốt, tuy nhiên khi có chuyển động toàn bộ lớn thì sẽ có hiện tượng giật. Một cách để cải thiện hiện tượng giật này là bù chuyển động.

Ảnh động hoặc truyền hình quảng bá là một dãy các khung tĩnh được hiển thị liên tiếp với tốc độ cao. Tốc độ (hay nhịp hiển thị cần thiết) để gây cảm nhận như chuyển động tự nhiên thường phải khá cao, đủ đảm bảo dư thừa về thời gian giữa các khung kề. Phần lớn biến thiên cường độ từ khung

30

này sang khung kế theo sau là do khối lượng chuyển động. Quá trình xác định vận động của các đối tượng trong một dãy khung ảnh gọi là ước lượng chuyển động. Xử lý ảnh có xét đến sự tồn tại của chuyển động gọi là xử lý ảnh có bù chuyển động.

Xử lý ảnh có bù chuyển động có nhiều ứng dụng, một trong những ứng dụng đó là nội suy ảnh. Bằng cách ước lượng các thông số chuyển động ta có thể tạo ra một khung mới giữa hai khung đã có. Ngoài ra cũng có thể loại bỏ vài khung và xây dựng lại những khung bị loại bỏ bằng nội suy từ những khung đã mã hóa.

Bài toán ước lượng chuyển động được xét ở đây là chuyển động tịnh tiến của các đối tượng. Đặt f x y t , , 1 và f x y t , , 0 theo thứ tự là cường độ ảnh tại thời điểm t1vàt0gọi f x y t , , 1 là khung quá khứ, f x y t , , 0 là khung đang xét.

 , , 0  x, y, 1

f x y t  f xd yd t (2.7) (adsbygoogle = window.adsbygoogle || []).push({});

Trong đó dx là dịch chuyển ngang, dy là dịch chuyển thẳng đứng giữa

1

t và t0

a, f x y t , , 1

b, f x y t , , 0 Hình 2.2: Ảnh tịnh tiến với di chuyển dx, dy

Hình 2.2 biểu diễn một ví dụ của f x y t , , 1 và f x y t , , 0 thỏa mãn phương trình (2.7). Giả sử có chuyển động đều t1 và t0 khi đó:

 , ,   x 1, y 1, 1

f x y t  f xv tt yv tt t với t1 t t0 (2.8) dx

31

Trong đó: vx, vy là tốc độ theo phương nằm ngang và phương thẳng đứng.

Giả thiết tịnh tiến đơn giản dẫn đến phương trình (2.6) và giả thiết bổ sung coi phép tịnh tiến có tốc độ đều dẫn đến phương trình (2.8) có nhiều hạn chế. Chẳng hạn không được cho đối tượng quay, không phóng to, thu nhỏ ống kính, các vùng không bị trùm phủ bởi sự tịnh tiến đối tượng, các đối tượng không được chuyển động với những tốc độ vx, vy khác nhau. Tuy vậy bằng cách giả thiết chỉ có chuyển động tịnh tiến đều cục bộ, và chỉ ước lượng hai thông số chuyển động (dx, dy) hay (vx,vy) ở mỗi pixel hay ở mỗi hình con thì công thức (2.8) vẫn có hiệu lực ở những vùng nền không bị ảnh hưởng bởi sự chuyển động của đối tượng. Những vùng này chiếm một tỉ lệ đáng kể của dãy khung hình. Nếu nhận biết các vùng mà ở đó ước lượng chuyển động không chính xác, có thể loại bỏ phép xử lý bù chuyển động ở những vùng đó, chẳng hạn trong nội suy ảnh ta có thể giải thiết vx = vy = 0.

2.3. Phép nội suy thời gian và bù chuyển động

Giả sử có hai khung liên tiếp: khung quá khứ f x y t , , 1và khung đang xét f x y t , , 0. Muốn tạo ra một khung mới f n n t 1, 2,  trong đót1 t t0. Cách đơn giản là chọn một khung gốc liền kề về thời gian với khung mong muốn, thế nhưng có một hiện tượng xảy ra là nếu dãy khung có một chuyển động tổng lớn thì sẽ có hiện tượng giật. Nếu sử dụng phép nội suy thời gian có bù chuyển động thì từ hai khung hình liên tiếp f n n t 1, 2, 1và f n n t 1, 2, 0tính ra tốc độ ở f n n t 1, 2,  sau đó chiếu các tốc độ lên khung t1 hoặc t0về mặt thời gian gần với thời điểm mong muốn t.

32

Hình 2.3: Nội suy sinh khung trung gian f n n t 1, 2, 

Vì điểm chiếu không gian thường không nằm trên lưới lấy mẫu gốc, nên cần phải nội suy không gian để nhận được khung nội suy. Nếu tốc độ ước lượng tại một pixel đặc biệt trong f n n t 1, 2, 1không được coi là đủ độ chính xác thì giả thiết là tốc độ bằng 0. Trong trường hợp này, giá trị pixel được nội suy có giá trị giống như giá trị pixel cùng vị trí trong f n n t 1, 2, 1hoặc

 1, 2, 0

f n n t tùy theo khung nào về thời gian gần với thời điểm mong muốn t hơn.

Không thể dùng ảnh tĩnh để minh họa các đặc trưng chuyển động của phép nội suy khung có bù chuyển động, nhưng vẫn có thể xem một khung tĩnh được tạo ra từ hai khung ảnh bằng phương pháp này.

Hình 2.3 trình bày một bộ ba khung: hai khung gốc trên hình (a) và (c), còn khung nội suy trên hình (b). Khung được nội suy trong hình (b) nhận được bằng cách lấy trung bình của hai khung gốc. Nhận thấy rằng khi sử dụng phương pháp bù chuyển động thì về cơ bản khung nội suy có chất lượng giống như hai khung gốc. Phương pháp ước lượng được dùng ở đây là phương pháp ràng buộc không thời gian với phép nội suy đa thức.

Khung quá khứ Khung nội suy Khung đang xét

33

Tạo ra f n n t 1, 2, bằng cách nội suy f n n t 1, 2, 1và f n n t 1, 2, 0. Trong ví dụ này, dịch chuyểnd dx, ynhận được từ f n n t 1, 2, 1và f n n t 1, 2, 0ở từng pixel n n1, 2tại thời điểm t. Mỗi pixel tại thời điểm t được chiếu vào vị trí không gian tương ứng tại thời điểm t1 (trong ví dụ này t gần t1hơnt0) cường độ pixel xác định theo f n n t 1, 2, 1 tại vị trí pixel được chiếu đến. Để thực hiện thuật toán này thì cần đến nội suy không gian của f n n t 1, 2, 1.

Phép nội suy có bù chuyển động có ứng dụng trong việc thay đổi nhịp khung. Sự thay đổi nhịp khung có thể phối hợp với việc thay đổi thang thời gian của âm thanh để thay đổi độ dài của ảnh động của chương trình tivi. Với một số cảnh điển hình sự thay đổi nhịp khung qua video cho phép nội suy bù chuyển động có thể tạo ra tín hiệu video có chất lượng so sánh được với tín hiệu gốc, ngoại trừ những nhịp chuyển động không tự nhiên đối với một số động tác như đi bộ và nói chuyện xuất hiện khi hệ số thay đổi nhịp đủ cao.

Thuật toán ba bƣớc sinh khung hình trung gian.

Sử dụng phép phản chiếu để tạo ra một hình trung gian giữ nguyên gốc. Để đạt được mục đích này coi I I0, 1 là hai viễn cảnh với ma trận chiếu:

 

0 H0 H C0 0

   và  1 H1H C1 1.

Sẽ thuận lợi hơn nhiều nếu chọn một hệ thống sao cho C C0, 1 cùng nằm trên trục X, ví dụ: C0 X0 0 0T và C1X1 0 0T. Hai trục còn lại nên được lựa chọn theo cách mà có thể giảm tối đa những sai lệch có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hướng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng nên được lựa chọn theo cách mà có thể giảm tối đa những sai lệch có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hướng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng. (adsbygoogle = window.adsbygoogle || []).push({});

34 P I0 Is I0 I1 Is C0 I1 Cs C1

Hình 2.4: Tái tạo cảnh theo ba bước

Hình 2.4:Tái tạo cảnh theo ba bước (1) hình ảnh gốc I0 và I1 được kéo giãn để tạo ra những hình ảnh song song I0và

1

I

 . (2)

s

I được tạo ra bằng cách

phối hợp hai hình ảnh kéo giãn (trung gian). (3) Is được co lại để tạo thành Is.

Các nửa hình ảnh trên đường thẳng C0C1 có thể được tạo ra bằng sự phối hợp giữa phản chiếu và trung hòa hình ảnh,  s HsH Cs s với Cs được tính theo công thức Cs 8Cx,8Cy, 0. Kéo căng hình ảnh: H0 – 1 thành I0 và H1

– 1 thành I1được điểm ảnh I0 và 1

I

 .

Bước 1: Tạo hình trung gian: từIsphối hợp các đường kẻ và màu sắc

của các điểm tương ứng I0 và I1, áp dụng công thức Cs 8Cx,8Cy, 0. Bước 2: Hình thành hình ảnh (phối hợp, co): Hs thành Is.

Bước 3: Kéo giãn hình ảnh tạo ra những mặt phẳng ảnh theo hàng mà không cần phải thay đổi các tâm kính của cả hai camera. Việc tái tạo những hình ảnh kéo giãn đưa tâm kính về Cs. Thu hình ảnh lại (hình thành hình ảnh) biến đổi mặt phẳng ảnh của hình ảnh mới về đúng vị trí và hướng chuẩn của hình ảnh mong đợi.

35

Các thao tác kéo căng hình ảnh rồi thu gọn hình ảnh, phối hợp với những hình trung gian đơn giản, đòi hỏi một loạt các thao tác tái tạo mẫu, điều này có thể có những tác động đáng kể trong việc làm mờ đi các nửa hình ảnh trung gian.

Những ảnh hưởng của việc tái tạo mẫu hình ảnh có thể được giảm thiểu bằng cách phóng đại các hình mẫu đầu vào hoặc bằng cách phối kết hợp tất cả những biến thể hình ảnh thành một tập hợp cho mỗi một hình ảnh. Sự phối hợp ngược lại, tái tạo hình ảnh trung gian, và kéo căng hình ảnh có thể trực tiếp móc nối thành một bản đồ đảo ngược. Tuy nhiên, sự kết hợp có những mặt hạn chế bao gồm cả việc nó có thể làm mất đi những ưu thế vốn có của việc sử dụng các công cụ tái tạo hình ảnh để tạo ra những hình ảnh đơn giản.

Nói chung các phương pháp nội suy làm việc theo một cách giống nhau. Trong mỗi trường hợp, để tính giá trị của một pixel đã được nội suy,