1.4.2.1 Nghiên cứu theo hướng siêu phân giải ảnh đơn frame
Với phương pháp đơn ảnh, về cơ bản sử dụng các kỹ thuật nội suy không gian: Bicubic, Bilinear hay nearest kết hợp với các kỹ thuật lọc, làm trơn và làm nét, để tăng độ phân giải ảnh. Ta có thể thấy ở các nghiên cứu gần đây, phương pháp siêu phân giải của Takeda [8] năm 2007, sử dụng đệ qui lõi hai chiều (Multi-Dimension Kernel Regression Interpolation - KRI). Với phương pháp này, mỗi pixel trong frame video được xấp xỉ với khai triển Taylor 2-D cục bộ, để giải bài toán nội suy ảnh HR. Predergast [9] năm 2008 sử dụng phương pháp tối thiểu hóa sai số bình phương trung bình (Minimum Mean-Squared Error - MMSE), dựa trên tương quan cục bộ để khôi phục ảnh HR. Nghiên cứu gần đây nhất của Mallat [10] năm 2010, xây dựng các bộ ước lượng dư thừa kết hợp (Sparse Mixing Estimators - SME), thực hiện trên các block pixel để xác định độ dư thừa về không gian của chúng, từ đó tính ra các hệ số nội suy wavelets theo các hướng khác nhau cho các chi tiết ảnh. Đặc biệt là Dong [11] năm 2011 đã xây dựng phương pháp ước lượng lựa chọn miền không gian dư thừa thích nghi và qui tắc hoá thích nghi (Adaptive Sparse Domain Selection and Adaptive Regularization - ASDS) để nội suy không gian ảnh HR.
1.4.2.2 Nghiên cứu theo hướng siêu phân giải ảnh đa frame
Ở nước ngoài đã có rất nhiều nghiên cứu về siêu phân giải theo hướng đa frame, như được thể hiện ở báo cáo tổng quan của Park [1] năm 2003. Về kỹ thuật, tổng quát có hai hướng tiếp cận cho bài toán siêu phân giải ảnh đa farme: tiếp cận trong miền tần số và tiếp cận trong miền không gian.
Với phương pháp đa frame, việc khôi phục thường được thực hiện qua hai giai đoạn. Đầu tiên, việc xác nhận hay ước lượng chuyển động được thực hiện để xác định các thông số dịch của từng pixel, giữa các frame. Sau đó dựa vào các thông số xác nhận, các ảnh được sắp xếp trong cùng một hệ trục tọa độ, sử dụng các kỹ thuật nội suy để khôi phục ảnh HR. Xác nhận chuyển động đóng vai trò quyết định đến chất lượng ảnh được khôi phục, chỉ với sai số nhỏ của phép ước lượng sẽ gây ra sự suy biến đáng
kể đến ảnh HR được khôi phục. Kết quả chất lượng có thể kém hơn so với ảnh được siêu phân giải đơn frame. Do đó phương pháp siêu phân giải đa frame có nhiều tiềm năng, cho ảnh HR được khôi phục có chất lượng tốt hơn so với phương pháp siêu phân giải đơn frame. Tuy nhiên nó cũng sẽ có nhiều bất lợi nếu giải thuật xác nhận có độ chính xác không cao, sẽ gây suy biến ảnh HR được khôi phục. Dựa trên đặc thù tính chất ảnh video, kỹ thuật siêu phân giải ảnh video đa frame được chia ra hai loại: siêu phân giải ảnh video tĩnh đa frame và siêu phân giải ảnh video động đa frame.
a) Nghiên cứu theo hướng siêu phân giải ảnh video tĩnh đa frame
Các kỹ thuật này khai thác sự đồng bộ của chuyển động của các frame ảnh để thực hiện xác nhận toàn cục. Giải thuật xác nhận điển hình như nghiên cứu của Tsai và Huang [12]. Tác giả đã thể hiện giải thuật xác nhận các frame ảnh tích hợp, đồng thời dùng giải thuật tối thiểu hoá phi tuyến trong miền tần số để khôi phục ảnh. Việc xác nhận các ảnh tích hợp bị chồng phổ dựa trên quan niệm rằng, hình ảnh nguồn có băng thông giới hạn. Trên thực tế thì không phải vậy, nên đó là điểm hạn chế và làm giảm khả năng hội tụ của giải thuật. Keren [13] năm 1988, sử dụng khai triển Taylor đến bậc hai cho vi phân hàm mức xám của các ma trận ảnh, từ đó sử dụng phép lặp để giải bài toán xác nhận. Lucchese [14] năm 2000, đã đề xuất một kỹ thuật xử lý miền tần số cho ước luợng chuyển động xoay phẳng. Vandewalle [15] năm 2006, dựa trên đặc điểm là hai ảnh khác nhau bởi sự chuyển dịch trong miền không gian, thì tương ứng với sự khác nhau về pha trong miền tần số. Do đó việc xác nhận cho chuyển dịch phẳng, theo phương ngang và phương thẳng đứng, được thực hiện bằng cách giải bài toán tương quan pha giữa các ảnh trong miền tần số. Ở nghiên cứu này, tác giải đã đề xuất phương pháp ước lượng góc xoay bằng cách sử dụng tương quan phổ công suất các segment của các ảnh. Những segment ảnh này được chia theo từng bước góc nhỏ tính từ tâm ảnh. Tuy nhiên, do luôn tồn tại đồng thời chuyển dịch và xoay giữa các frame ảnh nên giải thuật xác nhận của phương pháp này có độ chính xác không cao.
b) Nghiên cứu theo hướng siêu phân giải ảnh video động đa frame
Với các kỹ thuật siêu phân giải đa frame động, các thuật toán xác nhận thực hiện trên từng block của các pixel, để thích nghi với chuyển động của các chi tiết ảnh. Các kỹ thuật siêu phân giải đa frame điển hình như của Liu [16] năm 2008. Tác giả sử dụng
bộ lọc bilateral không-thời gian để ước lượng xác nhận và khôi phục ảnh HR, đồng thời kết hợp giảm nhiễu. Để tăng chất lượng ảnh HR được khôi phục, thuật toán tối ưu hoá được thực hiện bằng cách kết hợp các điều kiện về khôi phục chất lượng chi tiết và làm trơn ảnh. Takeda [17] năm 2009, sử dụng nội suy đệ qui lõi ba chiều (Multi-Dimension Kernel Regression Interpolation - KRI). Với phương pháp này, mỗi pixel trong frame video được xấp xỉ với khai triển Taylor 3-D cục bộ không-thời gian, để giải bài toán nội suy ảnh HR. Protter [18] năm 2009, đã sử dụng bộ giảm nhiễu trung bình không cục bộ (Non-local-mean denoising filter - NLMDF), để phát triển một giải thuật siêu phân giải, mà không cần xác định trước chuyển động của các pixel. Mitzel [19] năm 2009, sử dụng ước lượng quang với qui tắc tối thiểu hoá total varational trên chuẩn L1 để khôi phục siêu phân giải ảnh video. Giải thuật này cho phép kết hợp giải mờ, giải xoắn và giảm nhiễu. Gần đây có nghiên cứu của Hsieh [20] năm 2011. Tác giả đã đề nghị phương pháp nội suy bất đồng bộ cho siêu phân giải chuỗi video. Đầu tiên phương pháp ước lượng không gian phụ, block matching, được sử dụng cho ước lượng thô. Sau đó giải thuật chiếu lùi lặp, iterative back-projection, được sử dụng cho ước lượng tinh, để gia tăng chất lượng ảnh HR được khôi phục. Lui [21], năm 2011, cũng đã đạt được những kết quả tiến bộ đáng kể. Tác giả đã đề xuất tiếp cận theo hướng Bayesian cho siêu phân giải thích nghi ảnh video. Giải thuật đề nghị thực hiện ước lượng đồng thời chuyển động của các chi tiết, kernel nhiễu và mức nhiễu trong khi khôi phục ảnh HR. Keller [22] cũng tiếp cận theo hướng Bayesian MAP nhưng kết hợp với trường chuyển động để giải bài toán siêu phân giải video. Giải thuật này cho phép đồng thời ước lượng siêu phân giải và trường chuyển động bằng việc tối thiểu hoá hàm biến thiên năng lượng. Hướng siêu phân giải video khác được đề xuất bởi Song [23] và Hung [24] năm 2011. Giải pháp kết hợp các key frame HR đan xen các frame LR tạo ra chuỗi video kép. Sau đó sử dụng kỹ thuật siêu phân giải thích nghi chọn lựa ảnh nền và đối tượng động. Phần ảnh nền được ước lượng chuyển động từ các LR frame kết hợp với các key frame HR để khôi phục. Phần đối tượng động sử dụng thư viện phân mảng được trích rút từ các key frame HR để khôi phục trực tiếp. Phương pháp của Song cho phép khôi phục được chuỗi video có chất lượng rất cao, nhưng dung lượng, tốc độ bít, của luồng dữ liệu video kép này cũng tăng lên nhiều lần so với luồng dữ liệu video LR thuần tuý.