Giả sử ta có 2 khung liên tiếp: khung quá khứ f(n1,n2,t1) và khung đang xét f(n1,n2,t0)như hình 2.9, Ta muốn tạo ra một khung mới f(n1,n2,t)trong đó t1tt0. Cách đơn giản là chọn một khung gốc gần kề về thời gian với khung mong muốn, thế nhưng có một hiện tượng xảy ra là nếu dãy khung có một chuyển động tổng lớn thì sẽ có hiện tượng giật giật.
Nếu ta sử dụng phép nội suy thời gian có bù chuyển động thì từ 2 khung hình liên tiếp f(n1,n2,t-1) và f(n1,n2,t0) ta tính ra các tốc độ ở f(n1,n2,t),
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
sau đó ta chiếu các tốc độ lên khung t-1 hoặc t0 về mặt thời gian gần với thời điểm mong muốn t.
Vì điểm chiếu không gian thường không nằm trên lưới lấy mẫu gốc, nên cần phải nội suy không gian để nhận được khung nội suy. Nếu tốc độ ước lượng tại một pixel đặc biệt trong f(n1,n2,t-1) không được coi là đủ độ chính xác thì giả thiết là tốc độ bằng 0. Trong trường hợp này, giá trị pixel được nội suy có giá trị giống như giá trị pixel cùng vị trí trong f(n1,n2,t-1) hoặc f(n1,n2,t0)
tuỳ theo khung nào về thời gian gần với thời điểm mong muốn t hơn.
Không thể dùng ảnh tĩnh để minh hoạ các đặc trưng chuyển động của phép nội suy khung có bù chuyển động, nhưng ta vẫn có thể xem một khung tĩnh được tạo ra từ hai khung ảnh bằng phương pháp này.
Hình 2.10 trình bày một bộ 3 khung: 2 khung gốc trên hình 2.10.(a), và (c) còn hai khung nội suy trên hình 2.10.(b). Khung được nội suy trong hình (b) nhận được bằng cách lấy trung bình của 2 khung gốc. Ta thấy rằng khi sử dụng phương pháp bù chuyển động thì về cơ bản khung nội suy có chất lượng giống như hai khung gốc. Phương pháp ước lượng được dùng ở đây là phương pháp ràng buộc không - thời gian với phép nội suy đa thức.
Khun g qú a
khứ Khung nội suy
Khun g đa n g xét
t-1 t t0
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
(Nguồn: Phạm Quang Huy, Phùng Thị Nguyệt (1999), “Giáo trình xử lý ảnh số” , Chương 3, tr. 101-104)
(a): Khung gốc 1
(b): Khung nội suy bằng lấy trung bình giữa hai khung (c):Khung gốc 2
Trong hình 2.10 tạo ra f(n1,n2,t) bằng cách nội suy f(n1,n2,t1)và )
, , (n1 n2 t0
f . Trong ví dụ này dịch chuyển (dx,dy) nhận được từ f(n1,n2,t1)và )
, , (n1 n2 t0
f ở từng pixel (n1, n2) tại thời điểm t . Mỗi pixel tại thời điểm t được chiếu vào vị trí không gian tương ứng tại thời điểm t-1 (trong ví dụ này t gần t-1
hơn t0 ) và cường độ pixel xác định theo f(n1,n2,t1)tại vị trí pixel được chiếu đến. Để thực hiện thuật toán này thì cần đến nội suy không gian của f(n1,n2,t1).
Phép nội suy có bù chuyển động có ứng dụng trong việc thay đổi nhịp khung. Sự thay đổi nhịp khung có thể phối hợp với việc thay đổi thang thời gian của âm thanh để thay đổi độ dài của ảnh động của chương trình Tivi. Với một số cảnh điển hình sự thay đổi nhịp khung của video qua phép nội suy bù chuyển động có thể tạo ra tín hiệu video có chất lượng so sánh được với tín hiệu gốc, ngoại trừ những nhịp chuyển động không tự nhiên đối với một số động tác như đi bộ và nói chuyện xuất hiện khi hệ số thay đổi nhịp đủ cao.
Hình 2.11. Mô tả nội suy theo thời gian
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Thuật toán ba bước sinh khung hình trung gian.
Sử dụng phép phản chiếu để tạo ra một hình trung gian giữ nguyên gốc. Để đạt được mục đích này, hãy coi I0,I1 là hai viễn cảnh với ma trận chiếu
] [ 0 0 0 0 H H C
và 1[H1H1C1]. [2.17] Sẽ thuận tiện hơn nhiều nếu ta chọn một hệ thống sao cho C0,C1 cùng nằm trên trục X, ví dụ: C0 [X000]T và
T X
C1[ 100] . Hai trục còn lại nên được lựa chọn theo cách mà có thể giảm tối đa những sai lệch có thể xảy ra trong quá trình phản chiếu hình ảnh. Một sự lựa chọn đơn giản mà hiệu quả trong thực tế đó là chọn trục Y theo hướng cắt của hai hình ảnh trên những pháp tuyến hình ảnh phẳng.
(1) hình ảnh gốc I0 và I1 được kéo giãn để tạo ra những hình ảnh song song I^0 và I^1. (2) I^s được tạo ra bằng cách phối hợp hai hình ảnh kéo giãn (trung gian). (3) I^s được co lại để tạo thành Is
Các nửa hình ảnh trên đường thẳng C0C1 có thể được tạo ra bằng sự phối hợp giữa phản chiếu và trung hoà hình ảnh, mô tả trong hình 2.11 thì
] [ s s s
s H H C
với Cs được tính bởi công thức (2.19). Kéo căng hình ảnh: 1 0 H thành I0 và H11 thành I1, ta được điểm ảnh 0 ^ I và 1 ^ I
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
B1: Tạo hình trung gian: Từ I^s phối hợp các đường kẻ và màu sắc của các điểm tương ứng I^0 và I^1, áp dụng công thức (2.19)
B2: Hình thành hình ảnh (phối hợp, co): Hs thành I^s….
B3: Kéo giãn hình ảnh cho ta những mặt phẳng ảnh theo hàng mà không cần phải thay đổi các tâm kính của cả hai cameras. Việc tái tạo những hình ảnh kéo giãn đưa tâm kính về Cs. Thu hình ảnh lại (hình thành hình ảnh) biến đổi mặt phẳng ảnh của hình ảnh mới về đúng vị trí và hướng chuẩn của hình ảnh mong đợi.
Các thao tác kéo căng hình ảnh rồi thu gọn hình ảnh, phối hợp với những hình trung gian đơn giản, đòi hỏi một loạt các thao tác tái tạo mẫu, điều này có thể có những tác động đáng kể trong việc làm mờ đi các nửa hình ảnh trung gian.
Những ảnh hưởng của việc tái tạo mẫu hình ảnh có thể được giảm thiểu bằng cách phóng đại các hình mẫu đầu vào hoặc bằng cách phối kết hợp tất cả những biến thể hình ảnh thành một tập hợp cho mỗi một hình ảnh. Sự phối hợp ngược lại, tái tạo hình trung gian, và kéo căng hình ảnh có thể trực tiếp móc nối thành một bản đồ đảo ngược. Tuy nhiên, sự kết hợp có những mặt hạn chế bao gồm cả việc nó có thể làm mất đi những ưu thế vốn có của việc sử dụng các công cụ tái tạo hình ảnh để tạo ra những hình ảnh đơn giản.
Nói chung các phương pháp nội suy làm việc theo một cách giống nhau. Trong mỗi trường hợp, để tính giá trị của một pixel đã được nội suy, chúng tìm điểm trong ảnh ra mà pixel nằm tại đó. Sau đó, chúng gán một giá trị tới các pixel ra bằng cách tính toán giá trị trung bình có trọng số của một số pixel lân cận (trọng số dựa trên cơ sở khoảng cách tới điểm đang xét).
Các phương pháp này khác nhau ở tập các pixel mà chúng xem xét : + Với nội suy các pixel gần nhất : pixel ra được gán giá trị của các pixel ở gần nó nhất. Các pixel khác không được xem xét.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
+ Nội suy song tuyến tính, giá trị của pixel ra là giá trị trung bình theo trọng số của 2x2 pixel lân cận .
+ Nội suy song khối : giá trị của pixel ra là trung bình có trọng số của 4x4 pixel lân cận .
Số lượng các pixel được xem xét ảnh hưởng đến độ phức tạp tính toán. Vì vậy, phương pháp nội suy song khối mất nhiều thời gian hơn nội suy song tuyến tính và phương pháp nội suy song tuyến tính mất nhiều thời gian hơn nội suy các pixel gần nhất. Tuy nhiên, số lượng pixel lớn hơn, độ chính xác sẽ tốt hơn.
Với kiểu ảnh: Các hàm sử dụng tuyến tính yêu cầu một tham số chỉ ra phương pháp nội suy. Với hầu hết các hàm, phương pháp mặc định được sử dụng là nearest-neighbor interpolation(nội suy các pixel gần nhất). Phương pháp này tạo ra một kết quả có thể chấp nhận được cho hầu hết các ảnh và là phương pháp duy nhất thích hợp với ảnh chỉ số, ảnh cường độ hay RGB, tuy nhiên ta thường chỉ ra kiểu song tuyến tính hoặc song khối bởi vì những phương pháp này cho kết quả tốt hơn
Với ảnh RGB, nội suy thường được thực hiện trên mặt phẳng R,B,G một cách riêng biệt.
Với ảnh nhị phân, nội suy gây ra những ảnh hưởng mà ta có thể nhận thấy được Nếu sử dụng nội suy song tuyến tính hoặc song khối, giá trị tính toán được cho pixel trong ảnh ra sẽ không hoàn toàn là 0 hoặc 1. Ảnh hưởng trên ảnh kết quả phụ thuộc vào lớp của ảnh vào :
+ Nếu lớp ảnh vào là double, ảnh ra là một ảnh đen trắng thuộc lớp double . Ảnh ra không là ảnh nhị phân bởi vì nó bao gồm các giá trị khác 0 và 1 + Nếu ảnh vào là uint8, ảnh ra là một ảnh nhị phân thuộc lớp uint8 . Giá trị của các pixel được nội suy được làm tròn thành 0 hoặc 1. Vì vậy, ảnh ra thuộc lớp uint8 .
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Nếu sử dụng phương pháp nội suy các pixel gần nhất, ảnh ra luôn là ảnh nhị phân bởi vì những giá trị của pixel được nội suy được lấy trực tiếp từ ảnh vào.
Trong hầu hết các trường hợp, sự khác biệt giữa các phương pháp nội suy là tương đối nhỏ và có lẽ sẽ ít nhận thấy vì hầu hết các nhiếp ảnh khi phóng to hình ảnh thường ít khi phóng to quá 200%. Tuy nhiên khi phóng to ảnh với kích thước to hơn thì việc sử dụng thích hợp phương pháp nội suy là cần thiết để khắc phục hiện tượng hố (vỡ hạt) và răng cưa.
Trong thực tế hình ảnh thường được mài sắc nét cạnh sau khi nội suy, vì nội suy không hoàn toàn loại bỏ được răng cưa ở các cạnh. Nhưng việc ứng dụng nội suy đã làm giảm bớt rất nhiều hiện tượng này, nó làm cho các cạnh mịn màng, trơn mượt hơn. Trong phép nội suy tín hiệu ta phục hồi tín hiệu từ các mẫu. Nội suy tín hiệu có nhiều ứng dụng: có thể sử dụng để thay đổi kích cỡ của ảnh số, để cải thiện sự hiển thị của ảnh khi xem trên các thiết bị hiển thị. Phép nội suy cũng được sử dụng trong các ứng dụng khác như mã hoá ảnh. Cách sử dụng đơn giản của phương pháp nội suy làm giảm số bít là loại bỏ một số pixel hoặc một vài khung hình và tạo lại chúng từ pixel hoặc khung hình đã mã hoá.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Chương 3
MỘT SỐ ỨNG DỤNG CỦA NỘI SUY ẢNH
Xử lý ảnh có nhiều ứng dụng thực tế, một trong những ứng dụng sớm nhất là vào những năm 60. Hệ thống hình chụp từ tàu vũ trụ có một số hạn chế về kích thước và dung lượng, do đó ảnh nhận được bị giảm chất lượng như bị mờ, bị méo hình học và nhiễu. Các ảnh đó được xử lý nâng cao chất lượng ảnh thành công nhờ một số kỹ thuật mới của máy tính số. Hình ảnh của mặt trăng và sao hoả mà chúng ta thấy trên tivi hay trong các tạp chí đều đã được máy tính số xử lý một cách tinh vi.
Các kỹ thuật xử lý ảnh trước đây chủ yếu được sử dụng để nâng cao chất lượng hình ảnh, chính xác hơn là tạo cảm giác về sự gia tăng chất lượng ảnh quang học trong mắt người quan sát. Thời gian gần đây, phạm vi ứng dụng xử lý ảnh mở rộng không ngừng, có thể nói hiện không có lĩnh vực khoa học nào không sử dụng các thành tựu của công nghệ xử lý ảnh số. Một trong những ứng dụng đó là nội suy làm tăng độ sắc nét của hình ảnh, lấp lỗ hổng và tạo cảnh, sinh ra các hình ảnh trung gian. Cụ thể ta có thể kể đến hai ứng dụng của các phương pháp nội suy như sau: