Ở nghiên cứu này, chúng tôi đã xây dựng một phương pháp rất hiệu quả cho siêu phân giải ảnh video đơn frame. Phương pháp đề nghị tách các frame thành hai phần, phần ảnh nền không có kết cấu và phần ảnh của các vùng đường biên, hay phần có kết cấu. Từ đó kết hợp phương pháp nội suy không gian trong các vùng kết cấu khác nhau và phương pháp nội suy bồi hoàn lấy mẫu để gia tăng chất lượng ảnh HR được khôi phục. Phương pháp đề nghị có khả năng nâng cao chất lượng thông tin ảnh HR được khôi phục một đáng kể so với các phương pháp hiện trạng. Điểm đặc biệt, giải thuật CSI khá đơn giản, nên thời gian xử lý của phương pháp này rất nhanh. Nó có thể đáp ứng cho các ứng dụng xử lý video thời gian thực, nếu giải thuật CSI được phát triển theo hướng xử lý song song trên bộ vi xử lý multicore.
Cao Bui-Thu, Thuong Le-Tien, Tuan Do-Hong, Hoang Nguyen-Duc, “Video Super-Resolution by Combinating Spatial Interpolation Methods,” in proceeding of
The 2011 International Technical Conference of IEEE Region 10 (TENCON2011),
Bali city, Indonesia, November 22-24, 2011.
Cao Bui-Thu, Thuong Le-Tien, Tuan Do-Hong, Hoang Nguyen-Duc, “A Robust Combination Interpolation Method for Video Super-Resolution,” Journal of Science &
CHƯƠNG 3. SIÊU PHÂN GIẢI VIDEO TĨNHĐA FRAME BẰNG PHƯƠNG PHÁP PSEFD 3.1 Lý thuyếtvề siêu phân giải video đa frame
Ta gọi chuỗi ảnh video LR thu được từ camera là {ᵅᵃᵄᵅ}, với i = {1..N} là đơn vị
thời gian, hay thứ tự của frame được chụp. Giả sử frame ảnh chính có độ phân cao cần được khôi phục là ᵅᵃᵄ1. Mô hình toán học đơn giản của hệ thống thu nhận ảnh video, cho frame thứ i, được thể hiện như pt (1.3):
ᵅᵃᵄᵅ(ᵆ)=ᵄᵃᵅᵃᵄ1(ᵄθ
ᵅ(ᵆ+∆ᵆᵅ))+ᵆᵅ(ᵆ)
(3.1) Trong đó, ta gọi U là toán hạng lấy mẫu xuống. K là lõi mờ của camera. Lõi mờ
K này được tạo ra bởi hai yếu tố: mờ do chuyển động và mờ do lấy mẫu. ᵄθᵅ là thuật toán xoay ảnh một góc θᵅ. ᵆᵅ là nhiễu. Trong đề tài này, chúng tôi bỏ qua ảnh hưởng của yếu tố mờ do chuyển động. Vì đây là một vấn đề rất phức tạp. Để giải quyết nó cần phải có nhiều nghiên cứu chuyên sâu và phát triển sau luận án.
Ảnh HR (16x16) pixel Ảnh video LR (4x4) pixel
Lấymẫu ↓
4x4
Từ Hình 3.1 ta nhận thấy, ảnh thu được từ camera luôn là ảnh có độ phân giải thấp so với độ phân giải của ảnh thực. Mỗi pixel điểm ảnh LR (trong ma trận ảnh LR màu hồng) có giá trị mức xám chính là giá trị trung bình mức xám của 04 pixel điểm
ảnh HR (trong ma trận ảnh HR màu xanh). Vậy nếu lấy mẫu xuống với tỷ lệ ᵅ×ᵅ, thì phương trình lõi mờ là: ᵃ= ᵅ×ᵅ1 [1 1…… 1 1 1…… 1 : : : 1 1…… 1] (3.2)
Khai triển ta pt (3.1), ta được,
ᵅᵃᵄᵅ(ᵆ)‒ᵆᵅ(ᵆ)=ᵄᵃᵅᵃᵄ1(ᵄθ ᵅ(ᵆ+∆ᵆᵅ)) (3.3) (ᵅᵃᵄᵅ‒ᵆᵅ)(ᵄ‒θ ᵅ(ᵆ‒∆ᵆᵅ))=ᵄᵃᵅᵃᵄ1 (s) (3.4) ᵄ+(ᵅᵃᵄᵅ‒ᵆᵅ)(ᵄ‒θ ᵅ(ᵆ‒∆ᵆᵅ))=ᵃᵅᵃᵄ1 (s) (3.5) ᵅᵃᵄ1(ᵆ)= ᵃ‒ᵄ+((ᵅᵃᵄᵅ‒ᵆᵅ)(ᵄ‒θ ᵅ(ᵆ‒∆ᵆᵅ)) (3.6) Trong đó, U+ là toán hạng lấy mẫu lên không gian ma trận ảnh camera, hay U+ chính là thuật toán nội suy không gian ra ảnh HR từ ảnh LR ngõ vào. ᵃ‒ chính là thuật toán giải xoắn từ ma trận lõi mờ K.
Mặt khác, với cùng một máy quay đặt tại một vị trí nhưng ảnh chụp được tại các thời điểm khác nhau sẽ có phần khác nhau. Đó là do luôn có sự chuyển động nhỏ, sự rung động của tay cầm, sự trượt của giá đỡ khi máy quay. Cho dù những sự rung động này rất nhỏ, nhưng khi ảnh chụp với khoảng cách tương đối xa so với khoảng cách tiêu cự của camera sẽ làm gia tăng đáng kể độ chuyển dịch giữa các frame ảnh, như được minh họa ở Hình 3.3. Lợi dụng khả năng này, ta có thể phát triển pt (3.6) dưới dạng phương trình tổng quát của ảnh HR được khôi phục siêu phân giải từ một chuỗi ảnh LR ngõ vào,
ᵅᵃᵄ1(ᵆ)= ᵃ‒ᵄ+{(ᵅᵃᵄᵅ‒ᵆᵅ)(ᵄ‒θ
ᵅ(ᵆ‒∆ᵆᵅ)}ᵅ=1..ᵄ
(3.7) Vậy từ pt (3.7) cho thấy, quá trình siêu phân giải ảnh video có thể được thực hiện qua các hai bước chính, xác nhận ảnh và khôi phục ảnh.
Xác nhận ảnh, hay còn được gọi là ước lượng chuyển động. Trong bước này, ta xác
định các thông số chuyển động giữa frame chínhᵅᵃᵄ1 và các frame LR còn lại. Ta được tập thông số chuyển động của chúng, {∆ᵆᵅ} và {θᵅ}.
Khôi phục ảnh. Từ pt (3.7) ta thấy, ᵄ
+{(ᵅᵃᵄᵅ‒ᵆᵅ)(ᵄ‒θ
ᵅ(ᵆ‒∆ᵆᵅ)}ᵅ=1..ᵄ
là ảnh HR được nội suy từ tập ảnh LR ngõ vào với tập thông số chuyển động đã được ước lượng. Sau đó, giải mờ (bằng thuật toán giải xoắn ᵃ‒) cho ảnh HR vừa được nội suy, ta được ảnh HR chính, ᵅᵃᵄ1.
Xác nhận ảnh là bước đầu tiên và cũng là bước xử lí quan trọng nhất cho việc khôi phục siêu phân giải đa ảnh. Mục tiêu của quá trình này là xác nhận một cách chính xác các thông số chuyển động giữa các frame của tập ảnh, bao gồm: độ dịch theo phương ngang, phương thẳng đứng và góc xoay. Chuyển động này là chuyển động toàn cục của cả frame và chuyển động tùy ý của các chi tiết ảnh.
Ở phần nghiên cứu này có mục tiêu là xây dựng giải thuật siêu phân giải video tĩnh đa frame. chúng tôi đề xuất phương pháp ước lượng toàn cục, theo hướng cải tiến giải thuật Vandewalle. Giải thuật đề nghị sử dụng phương pháp ước lượng dịch pha
trong miền tần số (Phase Shift Estimation in Frequency Domanin - PSEFD) để xác định góc xoay, độ chuyển dịch theo phương ngang và phương thẳng đứng của tập ảnh.
3.2 Phương pháp xác nhận ảnh
Giả thiết thấu kính của camera đặt song song với mặt phẳng ảnh. Trong tập ảnh thu được sẽ có sự dịch chuyển nhỏ của các pixel giữa các frame ảnh. Một cách tổng quát mối liên hệ của ảnh ᵅᵃᵄᵅ so với ảnh đầu ᵅᵃᵄ1được thể hiện như một hàm ba biến, như được mô tả trong [15], độ dịch Δx, Δy và góc xoay θ,
ᵅᵃᵄᵅ(ᵆ)=ᵅᵃᵄ1(ᵄθ(ᵆ+∆ᵆ)) (3.8)
với ᵆ=[ᵆ
ᵆ], ∆ᵆ=[∆ᵆ
∆ᵆ], ᵄθ=[ᵅᵅᵆθ ‒ᵆᵅᵅθ ᵆᵅᵅθ ᵅᵅᵆθ] Biến đổi Fourier của ᵅᵃᵄᵅ là,
ᵃᵅ(ᵆ)= ∬ ᵆ ᵅᵃᵄᵅ(ᵆ)ᵅ‒ᵅ2πᵆᵄᵆᵅᵆ = ∬ ᵆ ᵅᵃᵄ1(ᵄθ(ᵆ+∆ᵆ))ᵅ‒ᵅ2πᵆᵄᵆᵅᵆ = ᵅᵅ2πᵆᵄ∆ᵆ∬ ᵆ ᵅᵃᵄ1(ᵄθ(ᵆ+∆ᵆ))ᵅ‒ᵅ2πᵆᵄᵆ'ᵅᵆ' (3.9) Với ᵆ = [ᵅ
ᵅ] là toạ độ tần số trong miền Fourier và hàm truyền kết hợp s' ss. Đặt ᵆ''=ᵄᵆ' ta được một dạng khác của hàm truyền Fourier,
ᵃᵅ(ᵆ)= ᵅᵅ2πᵆᵄ∆ᵆ∬ ᵆ' ᵅᵃᵄ1(ᵄθ(ᵆ'))ᵅ‒ᵅ2πᵆᵄᵆ'ᵅᵆ' = ᵅᵅ2πᵆᵄ∆ᵆ∬ ᵆ' ᵅᵃᵄ1(ᵄθ(ᵆ'))ᵅ‒ᵅ2πᵆ ᵄ(ᵄᵄ θᵄθ)ᵆ'ᵅᵆ' = ᵅᵅ2πᵆᵄ∆ᵆ∬ ᵆ' ᵅᵃᵄ1(ᵄθ(ᵆ'))ᵅ‒ᵅ2π(ᵄθᵆ)ᵄ(ᵄθᵆ') ᵅᵆ' W = ᵅᵅ2πᵆᵄ∆ᵆ∬ ᵆ' ᵅᵃᵄ1(ᵆ'')ᵅ‒ᵅ2π(ᵄθᵆ)ᵄᵆ'' ᵄ‒1θᵅᵆ'' = ᵅᵅ2πᵆᵄ∆ᵆᵄ‒1θᵃ1(ᵄθᵆ) (3.10) Nhận xét:
Từ pt (3.10) ta nhận thấy nếu chỉ tồn tại chuyển dịch giữa các frame thì việc tính toán đơn giản rất nhiều vì:
ᵃᵅ= ᵅᵅ2πᵆᵄ∆ᵆᵃ1(ᵆ) (3.11) Vậy góc lệch pha giữa F1(u) và F2(u) chính là độ dịch chuyển Δs.
Nếu chỉ tồn tại chuyển động xoay thì cũng rất khó để xác định chính xác góc xoay θ, vì đặc điểm của hàm Fourier rời rạc là được tính trên các thành phần tần số nguyên dương. Vậy không thể dùng một phép khai triển Fourier thông thường để xác định góc xoay.
Nhưng trên thực tế tồn tại đồng thời cả hai, sự dịch chuyển và góc xoay θ giữa các frame. Do đó sẽ vô cùng khó khăn để xác định đồng thời các thông số này.
Tuy nhiên, thực tế là camera thường được đặt song song với mặt phẳng ảnh và chuyển dịch giữa các frame kề cận tương đối nhỏ, trong phạm vị (-2o, 2o), để người xem dễ điều tiết mắt. Vì thế, ta có thể xem ᵄᵆ≈ᵆ và ᵃᵅ(ᵆ)≈ᵅᵅ2πᵆᵄ∆ᵆᵃ1(ᵆ).
Ngoài ra, tại những vùng ảnh có nhiều chi tiết và nhiễu, tần số tín hiệu hình ảnh cao, vượt quá khoảng tần số Nyquist (ᵆᵅᵄᵆ>ᵆᵆᵄᵅᵅᵅᵅᵅᵅ/2). Điều này gây ra sự chồng chập (aliasing) của phổ Fourier của tín hiệu được lấy mẫu. Vùng chồng chập tần số là ᵆᵆᵄᵅᵅᵅᵅᵅ‒ᵆᵅᵄᵆ<ᵆ<ᵆᵅᵄᵆ, như minh họa ở Hình 3.3. Do đó, nhiễu và chồng chập tần số ảnh hưởng đến việc giải pt (3.10) không chính xác.
Aliased signal Unaliased signal Aliased signal Unaliased signal F(w)
wmax
wsampling wmax- wsampling
w
Giải pháp thựchiệnviệcgiải bài toán xác nhận:
Để đơn giản hoá, trước tiên ta xem như frame ᵅᵃᵄᵅchỉ có chuyển động dịch so với ᵅᵃᵄ1. Ta xác định độ dịch chuyển, sau đó thực hiện bồi hoàn chuyển dịch rồi mới xác định góc xoay ảnh θ. Tiếp theo, ta lại thực hiện bồi hoàn chuyển động xoay, sau đó xác định lại độ dịch chuyển và góc xoay xem độ lệch giữa hai ảnh
ᵅᵃᵄ1 và ᵅᵃᵄᵅ (đã được bồi hoàn chuyển động) có đạt được một giá trị sai số hội tụ cho phép hay không. Nếu chưa đạt, vòng lặp trên lại tiếp tục.
Để khắc phục nhược điểm của nhiễu và sự chập phổ, gây ra sai số của phép ước lượng, các chuỗi ảnh phải được lọc Lowpass trong vùng phổ không chập. Việc này có thể giải quyết đơn giản bằng cách chỉ sử dụng các thành phần tần số thấp trong việc ước lượng độ dịch pha.
3.2.1 Ướclượngdịch
Ta giả sử chỉ tồn tại chuyển dịch giữa các frame LR ngõ vào, thì từ pt (3.11) ta có thể rút ra được thông số dịch giữa hai frame ảnh là,
) ( ) ( 1 u F u F arg s i (3.12) Với arg được xem như là ký hiệu viết tắt của argument
Vậy việc ước lượng dịch thực hiện bằng việc giải pt (3.12), để xác định sai pha phổ công suất của hai frame ảnh trong miền tần số.
3.2.2 Ướclượng xoay
3.2.2.1 Giải thuật ước lượng góc xoay
Ta giả sử chỉ tồn tại sự chuyển dịch xoay giữa các frame ngõ vào. Để đơn giản hóa việc xác định góc xoay, ta dùng phương pháp chuyển hệ trục tọa độ cho ảnh. Đầu tiên ta nội suy, xác định các giá trị pixel ảnh sang hệ tọa độ cực rời rạc. Sau đó xác định phổ Fourier trong hệ tọa độ cực này. Như minh họa ở Hình 3.4. Độ dịch chuyển Δx, Δy sẽ tương đương với độ dịch r và θ (với r = 0), như sau:
ᵅᵃᵄᵅ(ᵆ,ᵆ)=>ᵅᵃᵄᵅ(ᵅ,θ) (3.13)
Với {ᵅ=1, …, ρ
θ=1, …, 8ρ, và ρ là bán kính ảnh tròn.
(1) Lấy mẫuxuốngchuỗi ảnhᵅᵃᵄᵅ , i = {1..N}, để làm tăng tốcđộxử lý củagiảithuật, ta
đượcchuỗiảnhᵅᵃᵅ.
(2) Nội suy sang tọađộcực cho ảnhᵅᵃᵅ ta đượcchuỗiảnhᵅᵄᵅ theo các tiêu chí sau:
Chọn tâm củaảnhᵅᵃᵅ làm tâm củatọađộcực và xác định bán kính R của vùng ảnh cần cho việcướclượngnội suy, vớiᵄ=min(ᵆᵅᵆᵅ(ᵅᵃᵅ))/2.
Với mỗi giá trị của r, (0<r<R), và với giá trịcủa θ, (0< θ <8R), ta xác định giá trị mức xám của các pixel (r, θ) bằng cách nội suy phi tuyếntừ giá trịmức xám của các pixel lân cận.
(3) Tính hàm truyền Fourier cho chuỗiảnh sau khi đượcnội suy, ta đượcᵃᵄᵅ. (4) Ướclượng góc xoay giữaᵅᵃᵄᵅ và ᵅᵃᵄ1 là:
θᵅ=ᵄᵅᵅ(ᵃᵄᵅ
ᵃᵄ1) (3.14)
Hình 3. 5. Giảithuậtướclượng góc xoay
Giải thuật ước lượng góc xoay được mô tả chi tiết từng bước như Hình 3.5. Để gia tăng tốc độ xử lý, ta có thể dùng thêm phương pháp lấy mẫu xuống ở bước 1.
3.2.2.2 Thí nghiệm mô phỏng
Trong thí nghiệm đầu tiên, chúng tôi dùng hai ảnh HR làm ảnh gốc Hình 3.6 a) và b). Thực hiện xoay chúng ở các góc: 0.1o, 0.2o, 0.3o, 0.5o, rồi nhân chập chúng với cửa sổ Tukey và Gaussian để làm giảm bớt ảnh hưởng của đường biên ảnh đến kết quả của phép biến đổi Fourier. Sau đó chuyển sang hệ tọa độ cực, ta được hình dàn
trải, như Hình 3.7. Để loại bỏ ảnh hưởng của hiện tượng chồng chập phổ ảnh (Aliasing), chúng tôi chỉ sử dụng các thành phần tần số thấp của phổ Fourier.
a) Leaves (1704x1704) b) SFMOMA (2592x1944)
Hình 3. 6. Minh họa các ảnhđượcsửdụng cho mô phỏng
Hình 3. 7. Minh họaảnh dàn trảinội suy từtọađộ Descartes sang tọađộcực
Mặt khác, để làm tăng tốc độ xử lí và tránh ảnh hưởng của hiện tượng chập phổ, chúng tôi dùng phương pháp lấy mẫu xuống kết hợp với sự thay đổi chọn lựa số thành phần tần số Fourier sử dụng cho giải thuật. Kết quả được thể hiện ở Bảng 3.1 và Bảng 3.2. Trong đó NF là số thành phần tần số Fourier cần cho phép ước lượng. Ảnh ngõ vào được lấy mẫu xuống, với hệ số NDown. Tpro là thời gian xử lí của giải thuật trên máy tính Intel Core 2 Due 1.7GHz và Ram 2GB.
Như đã nêu trước đó, để tránh ảnh hưởng của sự chồng chập phổ ảnh, ta sử dụng phương pháp lọc lowpass cho các frame ảnh trước khi xác nhận. Điều này được thực hiện bằng cách sử dụng các thành phần tần số thấp khi ước lượng dịch pha. Theo nghiên cứu của Vandewalle [15], cho rằng kết quả của việc ước lượng đạt giá trị chính xác nhất khi số thành phần tần số Fourier sử dụng cho phép ước lượng nằm trong khoảng0.04us, 0.04us.
Mặt khác, dựa vào việc phân tích thống kê kết quả của các phép mô phỏng, ở Bảng 3.1 và Bảng 3.2, với các hệ số lấy mẫu xuống và các giá trị số tần số Fourier NF được sử dụng cho ước lượng khác nhau. Ta có thể rút ra giá trị NF tối ưu như pt (3.15). Về bản chất pt (3.15) cũng chính là thể hiện số tần số Fourier được sử dụng cho ước lượng nằm trong khoảng0.04us, 0.04us. Bảng 3.3 thể hiện kết quả mô phỏng trên điều kiện tối ưu này. Điều này cho thấy việc lựa chọn số tần số lấy mẫu tối ưu tương ứng hệ số lấy mẫu xuống số nguyên là hợp lý.
ᵄᵃ|ᵅᵅᵆᵅᵅᵆᵅ≈{ᵅᵅᵆᵅᵅᵅᵅ ᵆᵅᵆᵅ(ᵅᵄᵃᵄ1)×0.08
ᵃᵅᵆᵅ }2
(3.15)
Bảng 3. 1. Minh họa kếtquảgiảithuật xác nhận góc xoay, áp dụng cho chuỗiLeaves. Thống
kê sai số trung bình tuyệtđối µError, và phương sai σError đượcthựchiện.
NF/ NDown/Time
process θ =0.1o θ =0.2o θ =0.3o θ =0.4o µError σ Error
40/2/140s 0.1003 0.2000 0.3000 0.3976 0.0006 0.0001 40/4/40s 0.0967 0.1966 0.2951 0.3930 0.0037 0.0026 40/ 8/20s 0.0718 0.1455 0.2144 0.2872 0.0562 0.0447 30/4/40s 0.1014 0.2059 0.3066 0.4100 0.0048 0.0041 20/ 4/40s 0.0985 0.1989 0.3020 0.4076 0.0024 0.0030 10/4/40s 0.1151 0.2121 0.3011 0.3902 0.0076 0.0067 10/8/20s 0.1111 0.2244 0.3354 0.4394 0.0220 0.0164 16/ 8/20s 0.1063 0.2097 0.3099 0.4085 0.0069 0.0041 20/8/20s 0.1020 0.1985 0.2925 0.3859 0.0050 0.0058 8/16/15s 0.0886 0.1713 0.2483 0.3219 0.0340 0.0314 10/16/15s 0.0968 0.1937 0.2908 0.3885 0.0060 0.0046 16/16/15s 0.0651 0.1188 0.1686 0.2213 0.0852 0.0719
Bảng 3. 2. Minh họakếtquảgiảithuật xác nhận góc xoay, cho chuỗi SFMOMA. Thống kê sai
số trung bình tuyệtđối µError, và phương sai σErrorđượcthựchiện.
process 40/ 2/ 140s 0.0977 0.2013 0.3040 0.4011 0.0017 0.0015 40/ 4/40s 0.0923 0.1853 0.2873 0.3743 0.0122 0.0095 40/ 8/20s 0.0668 0.1332 0.2126 0.2855 0.0604 0.0450 30/ 4/40s 0.1018 0.2036 0.3022 0.4012 0.0018 0.0013 20/ 4/ 40s 0.0992 0.2016 0.3090 0.4210 0.0065 0.0089 10/ 4/ 40s 0.1106 0.2205 0.3282 0.4331 0.0185 0.0134 10/ 8/20s 0.0997 0.1939 0.2924 0.3938 0.0044 0.0032 16/ 8/20s 0.0997 0.1998 0.3005 0.4011 0.0004 0.0004 20/ 8/20s 0.1004 0.1997 0.2986 0.3973 0.0010 0.0011 8/16/15s 0.1119 0.2250 0.3405 0.4539 0.0262 0.0216 10/16/15s 0.1127 0.2262 0.3443 0.4646 0.0296 0.0256 16/16/15s 0.0820 0.1780 0.2740 0.3677 0.0197 0.0122
Bảng 3. 3. Kếtquảướclượngtốiưu dùng pt (3.15) vớichuỗi Leaves
NF/ NDown / Time
process θ=0.1o θ =0.2o θ =0.3o θ =0.4o µError σ Error
64/ 2/140s 0.0975 0.1989 0.2986 0.3952 0.0020 0.0018 49/ 3/40s 0.0975 0.1953 0.2923 0.3936 0.0046 0.0029 36/ 4/20s 0.0974 0.1968 0.3014 0.3885 0.0038 0.0045 25/5/40s 0.0894 0.1794 0.2758 0.3823 0.0146 0.0096 25/6/40s 0.0958 0.1962 0.2966 0.3779 0.0067 0.0088 16/7/40s 0.959 0.1951 0.2935 0.3904 0.0050 0.0035 16/ 8/20s 0.0997 0.1998 0.3005 0.4011 0.0004 0.0004 16/9/20s 0.0997 0.1994 0.2971 0.3947 0.0018 0.0023