Giả sử ta có 2 khung liên tiếp: khung quá khứ f(n1,n2,t 1) và khung đang xét
) , , (n1 n2 t0
f nhƣ sau:
Hình 2.7: Nội suy sinh khung trung gian f(n1,n2,t)
Ta muốn tạo ra một khung mới f(n1,n2,t)trong đó t-1 < t < t0. Cách đơn giản là chọn một khung gốc gần kề về thời gian với khung mong muốn, thế nhƣng có một hiện tƣợng xảy ra là nếu dãy khung có một chuyển động tổng lớn thì sẽ có hiện tƣợng giật giật.
Nếu ta sử dụng phép nội suy thời gian có bù chuyển động thì từ 2 khung hình liên tiếp f(n1,n2,t-1) và f(n1,n2,t0) ta tính ra các tốc độ ở f(n1,n2,t), sau đó ta chiếu các tốc độ lên khung t-1 hoặc t0 về mặt thời gian gần với thời điểm mong muốn t. Vì điểm chiếu không gian thƣờng không nằm trên lƣới lấy mẫu gốc, nên cần phải nội suy không gian để nhận đƣợc khung nội suy. Nếu tốc độ ƣớc lƣợng tại một pixel đặc biệt trong f(n1,n2,t-1) không đƣợc coi là đủ độ chính xác thì giả thiết là tốc độ bằng 0. Trong trƣờng hợp này, giá trị pixel đƣợc nội suy có giá trị giống nhƣ giá trị pixel cùng vị trí trong f(n1,n2,t-1) hoặc f(n1,n2,t0) tuỳ theo khung nào về thời gian gần với thời điểm mong muốn t hơn.
Khung quá khứ Khung nội su y Khung đang xét t-1 t t0
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Không thể dùng ảnh tĩnh để minh hoạ các đặc trƣng chuyển động của phép nội suy khung có bù chuyển động, nhƣng ta vẫn có thể xem một khung tĩnh đƣợc tạo ra từ hai khung ảnh bằng phƣơng pháp này.
Hình 2.8 trình bày một bộ 4 khung: 2 khung gốc trên hình 2.8.(a), và (c) còn hai khung nội suy trên hình 2.8.(b). Khung đƣợc nội suy trong hình (b) nhận đƣợc bằng cách lấy trung bình của 2 khung gốc. Ta thấy rằng khi sử dụng phƣơng pháp bù chuyển động thì về cơ bản 2 khung nội suy có chất lƣợng giống nhƣ hai khung gốc. Phƣơng pháp ƣớc lƣợng đƣợc dùng ở đây là phƣơng pháp ràng buộc không thời gian với phép nội suy đa thức. [5]
Hình 2.8: Mô tả nội suy theo thời gian
(a): Khung gốc 1
(b): Khung nội suy bằng lấy trung bình giữa hai khung (c): Khung gốc 2
Trong hình 2.8 tạo ra f(n1,n2,t)bằng cách nội suy f(n1,n2,t 1)và f(n1,n2,t0)
Trong ví dụ này dịch chuyển (dx,dy) nhận đƣợc từ f(n1,n2,t 1)và f(n1,n2,t0)ở từng pixel (n1, n2) tại thời điểm t. Mỗi pixel tại thời điểm t đƣợc chiếu vào vị trí không gian tƣơng ứng tại thời điểm t-1 (trong ví dụ này t gần t-1 hơn t0 ) và cƣờng độ pixel xác định theo f(n1,n2,t 1)tại vị trí pixel đƣợc chiếu đến. Để thực hiện thuật toán này thì cần đến nội suy không gian của f(n1,n2,t 1).
Phép nội suy có bù chuyển động có ứng dụng trong việc thay đổi nhịp khung. Sự thay đổi nhịp khung có thể phối hợp với việc thay đổi thang thời gian của âm thanh để thay đổi độ dài của ảnh động của chƣơng trình Tivi. Với một số cảnh
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
điển hình sự thay đổi nhịp khung của video qua phép nội suy bù chuyển động có thể tạo ra tín hiệu video có chất lƣợng so sánh đƣợc với tín hiệu gốc, ngoại trừ những nhịp chuyển động không tự nhiên đối với một số động tác nhƣ đi bộ và nói chuyện xuất hiện khi hệ số thay đổi nhịp đủ cao.
Thuật toán ba bƣớc sinh khung hình trung gian
Sử dụng phép phản chiếu, những khó khăn của việc tạo ra một hình trung gian giữ nguyên gốc. Để đạt đƣợc mục đích này, hãy coi I0,I1 là hai viễn cảnh với ma trận chiếu 0 [H0 H0C0] và 1 [H1 H1C1]. Sẽ thuận tiện hơn nhiều nếu ta chọn một hệ thống sao cho C0,C1 cùng nằm trên trục X, ví dụ: C0 [X0 00]T và
T X
C1 [ 1 00] . Hai trục còn lại nên đƣợc lựa chọn theo cách mà có thể giảm tối đa những sai lệch (méo mó) có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hƣớng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng.
Hình 2.9: Tái tạo cảnh theo ba bước
(1) hình ảnh gốc I0 và I1 được kéo giãn để tạo ra những hình ảnh song song I^0 và I^1. (2) I^s được tạo ra bằng cách phối hợp hai hình ảnh kéo giãn (trung gian). (3) I^s được co lại để tạo thành Is
Các nửa hình ảnh trên đƣơng thẳng C0C1 có thể đƣợc tạo ra bằng sự phối hợp giữa phản chiếu và trung hoà hình ảnh, mô tả trong hình 2.9 thì s [Hs HsCs]
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
với Cs đƣợc tính bởi công thức (4). Kéo căng hình ảnh: H0 1 thành I0 và H1 1 thành I1, ta đƣợc điểm ảnh 0
^
I và 1 ^
I
B1: Tạo hình trung gian: Từ I^s phối hợp các đƣờng kẻ và màu sắc của các điểm tƣơng ứng I^0 và I^1, áp dụng công thức (4)
B2: Hình thành hình ảnh (phối hợp, co): Hs thành I^s….
B3: Kéo giãn hình ảnh cho ta những mặt phẳng ảnh theo hàng mà không cần phải thay đổi các tâm kính của cả hai camera. Việc tái tạo những hình ảnh kéo giãn đƣa tâm kính về Cs. Thu hình ảnh lại (hình thành hình ảnh) biến đổi mặt phẳng ảnh của hình ảnh mới về đúng vị trí và hƣớng chuẩn của hình ảnh mong đợi.
Các thao tác kéo căng hình ảnh rồi thu gọn hình ảnh, phối hợp với những hình trung gian đơn giản, đòi hỏi một loạt các thao tác tái tạo mẫu, điều này có thể có những tác động đáng kể trong việc làm mờ đi các nửa hình ảnh trung gian.
Những ảnh hƣởng của việc tái tạo mẫu hình ảnh có thể đƣợc giảm thiểu bằng cách phóng đại các hình mẫu đầu vào hoặc bằng cách phối kết hợp tất cả những biến thể hình ảnh thành một tập hợp cho mỗi một hình ảnh. Sự phối hợp ngƣợc lại, tái tạo hình trung gian, và kéo căng hình ảnh có thể trực tiếp móc nối thành một bản đồ đảo ngƣợc. Tuy nhiên, sự kết hợp có những mặt hạn chế bao gồm cả việc nó có thể làm mất đi những ƣu thế vốn có của việc sử dụng các công cụ tái tạo hình ảnh để tạo ra những hình ảnh đơn giản.
Nói chung các phƣơng pháp nội suy làm việc theo một cách giống nhau. Trong mỗi trƣờng hợp, để tính giá trị của một pixel đã đƣợc nội suy, chúng tìm điểm trong ảnh ra mà pixel nằm tại đó. Sau đó, chúng gán một giá trị tới các pixel ra bằng cách tính toán giá trị trung bình có trọng số của một số pixel lân cận (trọng số dựa trên cơ sở khoảng cách tới điểm đang xét).
Các phƣơng pháp này khác nhau ở tập các pixel mà chúng xem xét :
+ Với nội suy các pixel gần nhất: pixel ra đƣợc gán giá trị của các pixel ở gần nó nhất. Các pixel khác không đƣợc xem xét.
+ Nội suy song tuyến tính, giá trị của pixel ra là giá trị trung bình theo trọng số của 2x2 pixel lân cận .
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
+ Nội suy song khối: giá trị của pixel ra là trung bình có trọng số của 4x4 pixel lân cận .
Số lƣợng các pixel đƣợc xem xét ảnh hƣởng đến độ phức tạp tính toán. Vì vậy, phƣơng pháp nội suy song khối mất nhiều thời gian hơn nội suy song tuyến tính và phƣơng pháp nội suy song tuyến tính mất nhiều thời gian hơn nội suy các pixel gần nhất. Tuy nhiên, số lƣợng pixel lớn hơn, độ chính xác sẽ tốt hơn.
Với kiểu ảnh: Các hàm sử dụng tuyến tính yêu cầu một tham số chỉ ra phƣơng pháp nội suy. Với hầu hết các hàm, phƣơng pháp mặc định đƣợc sử dụng là nearest-neighbor interpolation (nội suy các pixel gần nhất). Phƣơng pháp này tạo ra một kết quả có thể chấp nhận đƣợc cho hầu hết các ảnh và là phƣơng pháp duy nhất thích hợp với ảnh chỉ số, ảnh cƣờng độ hay RGB, tuy nhiên ta thƣờng chỉ ra kiểu song tuyến tính hoặc song khối bởi vì những phƣơng pháp này cho kết quả tốt hơn
Với ảnh RGB, nội suy thƣờng đƣợc thực hiện trên mặt phẳng R,B,G một cách riêng biệt.
Với ảnh nhị phân, nội suy gây ra những ảnh hƣởng mà ta có thể nhận thấy đƣợc nếu sử dụng nội suy song tuyến tính hoặc song khối, giá trị tính toán đƣợc cho pixel trong ảnh ra sẽ không hoàn toàn là 0 hoặc 1. Ảnh hƣởng trên ảnh kết quả phụ thuộc vào lớp của ảnh vào:
+ Nếu lớp ảnh vào là double, ảnh ra là một ảnh đen trắng thuộc lớp double. Ảnh ra không là ảnh nhị phân bởi vì nó bao gồm các giá trị khác 0 và 1.
+ Nếu ảnh vào là uint8, ảnh ra là một ảnh nhị phân thuộc lớp uint8. Giá trị của các pixel đƣợc nội suy đƣợc làm tròn thành 0 hoặc 1. Vì vậy, ảnh ra thuộc lớp uint8.
Nếu sử dụng phƣơng pháp nearest-neighbor interpolation (nội suy các pixel gần nhất), ảnh ra luôn là ảnh nhị phân bởi vì những giá trị của pixel đƣợc nội suy đƣợc lấy trực tiếp từ ảnh vào.
Trong hầu hết các trƣờng hợp, sự khác biệt giữa các phƣơng pháp nội suy là tƣơng đối nhỏ và có lẽ sẽ ít nhận thấy vì hầu hết các nhiếp ảnh khi phóng to hình ảnh thƣờng ít khi phóng to quá 200%. Tuy nhiên khi phóng to ảnh với kích thƣớc to
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
hơn thì việc sử dụng thích hợp phƣơng pháp nội suy là cần thiết để khắc phục hiện tƣợng hố (vỡ hạt) và răng cƣa.
Trong thực tế hình ảnh thƣờng đƣợc mài sắc nét cạnh sau khi nội suy, vì nội suy không hoàn toàn loại bỏ đƣợc răng cƣa ở các cạnh. Nhƣng việc ứng dụng nội suy đã làm giảm bớt rất nhiều hiện tƣợng này, nó làm cho cac cạnh mịn màng, trơn mƣợt hơn. Trong phép nội suy tín hiệu ta phục hồi tín hiệu từ các mẫu. Nội suy tín hiệu có nhiều ứng dụng: có thể sử dụng để thay đổi kích cỡ của ảnh số để cải thiện sự hiển thị của ảnh khi xem trên các thiết bị hiển thị. Ví dụ: Khi xét ảnh 64x64 pixel nếu thiết bị hiển thị hình bậc không thì từng cá thể pixel đều đƣợc nhìn thấy, ảnh thể hiện thành các khối. Nếu tăng kích thƣớc ảnh bằng nội suy và lấy mẫu lại trƣớc khi hiển thị ảnh thì ảnh hiển thị sẽ mịn màng hơn và nhìn đẹp mắt hơn. Với một dãy khung hình cũng có thể nội suy theo thứ nguyên thời gian. Ảnh động 24 khung/s cũng có thể đổi thành tín hiệu truyền hình NTSC 60 màn/s bằng phép nội suy. Cũng có thể sử dụng phép nội suy thời gian để cải thiện ảnh video chuyển động chậm.
Phép nội suy cũng đƣợc sử dụng trong các ứng dụng khác nhƣ mã hoá ảnh. Cách sử dụng đơn giản của phƣơng pháp nội suy làm giảm số bit là loại bỏ một số pixel hoặc một vài khung hình và tạo lại chúng từ pixel hoặc khung hình đã mã hoá.
Các kỹ thuật xử lý ảnh trƣớc đây chủ yếu đƣợc sử dụng để nâng cao chất lƣợng hình ảnh, chính xác hơn là tạo cảm giác về sự gia tăng chất lƣợng ảnh quang học trong mắt ngƣời quan sát. Thời gian gần đây, phạm vi ứng dụng xử lý ảnh mở rộng không ngừng, có thể nói hiện không có lĩnh vực khoa học nào không sử dụng các thành tựu của công nghệ xử lý ảnh số. Một trong những ứng dụng đó là nội suy làm tăng độ sắc nét của hình ảnh, lấp lỗ hổng và tạo cảnh, sinh ra các hình ảnh trung gian. Cụ thể ta có thể kể đến hai ứng dụng của các phƣơng pháp nội suy nhƣ sau:
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/