A.4.2 Phương sai chuẩn của sai sốước lượng (σ)
Phương sai chuẩn của sai số ước lượng giữa các thông số được ước lượng ei và thông số chuyển động giả lập ban đầu mi, của K phép mô phỏng, được tính như sau:
σ=(1 ᵃ ᵃ ∑ ᵅ=1 (|ᵅᵅ‒ᵅᵅ|‒μ)2)1/2 (A.49)
A.4.3 Tỷ số tín hiệu trên nhiễu (PSNR)
Tỷ số tín hiệu trên nhiễu giữa frame gốc ᵅᵅᵅᵅᵅᵅᵅᵄᵅ(ᵆ,ᵆ) và frame HR được khôi phục ᵅᵃᵄ_ᵅᵅᵅᵅᵅᵆᵆᵅᵆᵅᵆᵅᵅ(ᵆ,ᵆ), được tính bởi, M i N
j original HR reconstructed
y x f y x f MN PSNR 1 1 _ 10 255 1 ( , ) ( , ) log 20 (A.50)
(M, N) là kích thước của frame gốc.
Phương pháp SSIM được đề xuất bởi Wang [52] năm 2004, với mục đích đưa ra một công cụ đánh giá sự tương đồng giữa hai ảnh hoàn hảo hơn. Phương pháp này đánh giá dựa vào việc đo đạc ba thông số chính của hai ảnh đầu vào, độ chói (luminance), độ tương phản (constract) và cấu trúc (structure), như được thể hiện ở Hình A.7.
Hình A. 7. Sơđồkhốicủahệthốngđođạctươngđồngcấu trúc (SSIM) Các phép đo được xây dựng dực trên sự thoả mãn các điều kiện sau: 1) Tính đối sứng: SSIM(f1, f2) = SSIM(f2, f1)
2) Tính giới hạn: SSIM(f1, f2) ≤ 1
3) Tính đồng nhất: SSIM(f1, f2) = 1 nếu và chỉ nếu f1 = f2 Đo đạc tương đồng về độ chói (luminance)
Phép đo độ chói dựa vào cơ sở là giá trị trung bình độ nhạy của ảnh, μ, với,
μ=ᵄᵄ1 ᵄ ∑ ᵆ=1 ᵄ ∑ ᵆ=1 ᵅ(ᵆ,ᵆ) (A.51) Sử dụng tính chất của bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói,
ᵅ(ᵅ1,ᵅ2)=2μ1μ2+ᵃ1ᵃ
μ21+μ22+ᵃ1ᵃ (A.52)
Trong đó μ1 là trung bình độ nhạy của ảnh ᵅ1, hằng số ᵃ1ᵃ được thêm để tránh sự bất định, ᵃ1≪1 và L là giá trị maximun của phạm vi động của mức xám (vd: L=255 cho pixel 8bit).
Đo đạc tương đồng về độ tương phản (contrast)
Phép đo độ tương phản dựa vào cơ sở là giá trị phương sai chuẩn của ảnh, σ, với,
δ= ᵄᵄ1 ᵄ ∑ ᵆ=1 ᵄ ∑ ᵆ=1 (ᵅ(ᵆ,ᵆ)‒μ)2 (A.53) Sử dụng tính chất của bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói,
ᵅ(ᵅ1,ᵅ2)=2σ1σ2+ᵃ2ᵃ
σ21+σ22+ᵃ2ᵃ (A.54)
Trong đó hằng số ᵃ2ᵃ được thêm để tránh sự bất định, ᵃ2≪1.
Đo đạc tương đồng về cấu trúc (structure)
Phép đo độ tương đồng cấu trúc dựa vào cơ sở là sự tương quan giữa hai ảnh,
ᵃᵅᵅᵅ(ᵅ1,ᵅ2)= ᵃ[(ᵅ1‒μ1)(ᵅ2‒μ2)]
σ1σ2 (A.55)
Khai triển ta được, hàm đo tương đồng cấu trúc,
ᵆ(ᵅ1,ᵅ2)= 1 ᵄᵄ ᵄ ∑ ᵆ=1 ᵄ ∑ ᵆ=1 (ᵅ1(ᵆ,ᵆ)‒μ1)(ᵅ2(ᵆ,ᵆ)‒μ2)+ᵃ3ᵃ σ1σ2+ᵃ3ᵃ (A.56)
Trong đó hằng số ᵃ3ᵃ được thêm để tránh sự bất định, ᵃ3≪1.
Phép đo tương đồng cấu trúc SSIM
Kết hợp các phép đo tương đồng về độ chói, độ tương phản và cấu trúc ta được phép đo tương đầu cấu trúc SSIM, theo phương trình sau:
ᵄᵄᵃᵄ(ᵅ1,ᵅ2)=[ᵅ(ᵅ1,ᵅ2)]α[ᵅ(ᵅ1,ᵅ2)]β[ᵆ(ᵅ1,ᵅ2)]γ (A.57)
Trong đó α, β, γ là các tham số tùy định, theo yêu cầu người sử dụng. Ta chú trọng đến yếu tố đo đạc nào thì gia tăng trọng số cho yếu tố đó. Thông thường trong thương mại, α=β=γ=1, ᵃ1=0.01, và ᵃ2=ᵃ3=0.03.
Thông thường ta không thực hiện việc đo đạc giá trị SSIM cho toàn bộ frame ảnh, mà thực hiện trên các vùng cục bộ giữa các frame, ví dụ: các cửa số 8x8 pixels hay 11x11 pixels. Nên giá trị SSIM thu được là một ma trận các giá trị SSIM của từng block nhỏ, hay còn được gọi là SSIM index. Dựa trên đó giá trị trung bình của SSIM cũng được tính như là một thông số đo đạc.
PHỤLỤC B. PHẦN MỀMTHỰCNGHIỆM – VSR SOFTWARE
Tất cả các giải thuật đề xuất cho siêu phân giải video được tác giả thể hiện trong các chương trình phần mềm VSR (Video Super-Resolution) viết bằng ngôn ngữ Matlab, version R2013a. Để thuận tiện cho việc đánh giá, các giải thuật siêu phân giải được đề xuất và các giải thuật tiến bộ của các tác giả điển hình khác, cũng được thể hiện trong phần mền này, như: Keren [13], Vandewalle [15], KRI [8], SME [10] và ASDS [11]. Nguồn mã code của các giải thuật tham khảo này được download trên các trang web [31], [53], [54], [55], [56] và [57].
B.1 Giao diệnngười sửdụng
Hình B.1. Minh hoạ giao diện tổng quát của phần mềm VSR
Menubar: thể hiện 4 ứng dụng chính của phần mềm,
Simulation Experiments: ứng dụng này cho phép hệ thống thực hiện các thí nghiệm mô phỏng về siêu phân giải đa frame.
Practical Experiments: ứng dụng này cho phép hệ thống thực hiện các thực nghiệm siêu phân giải đa frame.
Single-Frame Video Super-Resolution: ứng dụng này cho phép siêu phân giải đơn frame các file video thô, loại .AVI.
Video Super-Resolution Codec: ứng dụng này cho phép mã hoá siêu phân giải các file video thô, loại .AVI.
Original Video Source: cho phép thực hiện các thao tác và thể hiện các thông tin liên
quan đến nguồn dữ liệu ảnh ngõ vào, như: mở file video nguồn, hiển thị hình ảnh của frame, tên file, kích thước frame,…
LR Video Input: cho phép hiển thị thông tin các frame ảnh đã được lấy mẫu xuống theo hệ số lấy mẫu Downsample Factor, và cho phép tạo ngẫu nhiên thông số chuyển động của các frame.
Options: thể hiện các chọn lựa,
Cho phép chọn lựa giải thuật xác nhận, thực hiện xác nhận và xem các thông số chuyển động giữa các frame.
Cho phép chọn lựa các giải thuật khôi phục, tỷ lệ nội suy và kích thước vùng ảnh nội suy.
Cho phép cài đặt đường dẫn cho file ngõ ra được khôi phục siêu phân giải.
HR Video Output: cho phép hiển thị thông tin các frame HR được khôi phục và thời
gian xử lý ở hai quá trình: xác nhận và khôi phục.
Các phím chứcnăng:
Create Random Motion Parameter: cho phép tạo ngẫu nhiên các thông số chuyển động của các frame, mặc định có 4 frame.
Create LR Video Frames: cho phép tạo ra các frame LR từ tập frame ngõ vào,
tách ra từ file video gốc.
o Nếu là ứng dụng Simulation Experiments, Create LR Video Frames vừa có chức năng lấy mẫu xuống (theo hệ số Downsample Facter) frame được chọn, ở nguồn Original Video Source, vừa tạo ra các frame LR khác nhau được tạo ra bằng cách dịch và xoay frame LR này theo các thông số chuyển động ngẫu nhiên được tạo ra trước đó bằng phím Create Random Motion Param
o Các ứng dụng còn lại, Create LR Video Frames chỉ có chức năng lấy mẫu xuống.
o Siêu phân giải đa frame cho một frame ảnh video, đối với ứng dụng Simulation Experiments và Practical Experiments.
o Siêu phân giải đơn frame và đa frame cho chuỗi ảnh video, đối với ứng dụng Video Super-Resolution.
o Mã hoá video siêu phân giải cho chuỗi video ngõ vào thô, đối với ứng dụng Video Super-Resolution Codec.
B.2 Ứngdụng Simulation Experiment
Quá trình thí nghiệm mô phỏng được thực hiện qua các bước sau:
1) Mở file video thô bằng cách click vào nút Open Video File, sau đó chọn đường dẫn, rồi chọn file muốn thực hiện mô phỏng.
2) Click vào hộp list box của phần Original Video Source, để chọn frame mà ta muốn thực hiện mô phỏng. Khi đó thông số Frame đầu của phần LR Video Input được đặt theo thứ tự của frame được chọn.
3) Cài đặt thông số chuyển động bằng cách click vào nút Create Random Motion Param. Thao tác này cho phép tạo ra tập các thông số dịch ngẫu nhiên trong phạm vi 10 pixel, và góc xoay ngẫu nhiên trong phạm vi 2o, cho 4 frame. Mặc nhiên thông số chuyển động của frame đầu tiên là zeros.
4) Cài đặt các giải thuật xác nhận bằng cách click vào drop list box ở phần Registration Algorithm, chọn giải thuật xác nhận muốn thực hiện.
5) Click vào Create LR Video Images để tạo ra các frame LR bằng cách lấy mẫu xuống với tỷ lệ 2x2 cho frame được chọn. Tiếp đến, frame LR này được dịch rồi xoay theo tập thông số được tạo ra ở Bước 3. Kết quả 4 frame LR được tạo ra, hiện thị ở list box của phần LR Video Input. Để xem hình của các frame LR, ta click trực tiếp vào frame muốn xem, lập tức được hiển thị trên LR Frame Preview.
6) Thực hiện xác nhận bằng cách click vào nút Register. Kết quả các thông số xác nhận được hiển thị ở bảng Motion Parameter. Ta có thể click các options set view, để xem các thông số chuyển động được tạo giả lập, các thông số chuyển động được xác nhận và sai số của phép xác nhận.
7) Cài đặt giải thuật khôi phục bằng cách click vào drop list box ở phần Reconstruction Interpolation Algorithm, và chọn giải thuật muốn thực hiện.
8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, nếu muốn.
9) Thực hiện xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập 4 frame LR được tạo giả lập. Kết quả, ảnh HR được khôi phục được thể hiện ở phần HR Video Ouput. Ảnh HR được thể hiện trong HR Frame Preview. Giá trị PSNR, cho vùng ảnh được đặt tọa độ, được tính bởi frame gốc được chọn và frame HR được khôi phục. Ta có thể đặt lại toạ độ, rồi click vào Calculate PSNR để tính lại giá trị PSNR cho vùng mới.
Hình B. 2. Minh họa ứng dụng mô phỏng Simulation Experiments
B.3 Ứngdụng Practical Experiment
Quá trình thực nghiệm được thực hiện qua các bước sau:
1) Mở file video thô bằng cách click vào nút Open Video File, sau đó chọn đường dẫn, rồi chọn file muốn thực nghiệm.
2) Click vào hộp list box của phần Original Video Source, để chọn frame đầu mà ta muốn thực hiện. Khi đó thông số Frame đầu của phần LR Video Input được đặt theo thứ tự của frame được chọn.
3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải cho frame được chọn, ta click vào text box to, ở phần Setup Processing Parameter, gõ vào giá trị số thứ tự frame của frame cuối ta muốn chọn.
4) Cài đặt các giải thuật xác nhận bằng cách click vào drop list box ở phần Registration Algorithm, chọn giải thuật xác nhận muốn thực hiện.
5) Click vào Create LR Video Images để tạo ra các frame LR bằng cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi các frame liên tiếp được chọn ở bước 3. Kết quả 4 frame LR được tạo ra, hiện thị ở list box của phần LR Video Input. Để xem hình của các frame LR, ta click trực tiếp vào frame muốn xem, lập tức được thực hiện thị trên LR Frame Preview.
6) Thực hiện xác nhận bằng cách click vào nút Register. Kết quả các thông số xác nhận được hiển thị ở bảng Motion Parameter. Ta có thể click các options set view, để xem các thông số chuyển động được tạo giả lập, các thông số chuyển động được xác nhận và sai số của phép xác nhận.
Hình B. 3. Hình minh họa cho ứng dụng thực nghiệm Practical Experiments 7) Cài đặt giải thuật khôi phục bằng cách click vào drop list box ở phần
Reconstruction Interpolation Algorithm, và chọn giải thuật muốn thực hiện. 8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, nếu muốn.
9) Thực hiện xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập 4 frame LR được tạo giả lập. Kết quả, ảnh HR được khôi phục được thể hiện ở phần HR Video Ouput. Ảnh HR được thể hiện trong HR Frame Preview. Giá trị PSNR, cho vùng ảnh được đặt tọa độ, được tính bởi frame gốc được chọn và frame HR được khôi phục. Ta có thể đặt lại toạ độ, rối click vào Calculate PSNR để tính lại giá trị PSNR cho vùng mới.
Hình B. 4. Minh họa ứng dụng Single-Frame Video Super-resolution Quá trình thực nghiệm được thực hiện qua các bước sau:
1) Mở file video thô bằng cách click vào nút Open Video File, sau đó chọn đường dẫn, rồi chọn file muốn thực hiện mô phỏng.
2) Click vào hộp list box của phần Original Video Source, để chọn frame đầu tiên trong chuỗi mà ta muốn thực hiện mô phỏng. Khi đó thông số Frame đầu của phần LR Video Input được đặt theo thứ tự của frame được chọn.
3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải đơn frame, ta click vào text box to, ở phần Setup Processing Parameter, gõ vào giá trị số frame muốn thực hiện.
4) Click vào Create LR Video Images để tạo ra các frame LR bằng cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi các frame liên tiếp được chọn ở bước 3. Kết quả chuỗi các frame LR liên tiếp được tạo ra, hiện thị ở list box của phần LR Video Input. Để xem hình của các frame LR, ta click trực tiếp vào frame muốn xem, lập tức được hiển thị trên LR Frame Preview.
5) Cài đặt giải thuật khôi phục bằng cách click vào drop list box ở phần Reconstruction Interpolation Algorithm, và chọn giải thuật muốn thực hiện. 6) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, nếu muốn.
7) Thực hiện xử lý siêu phân giải đơn frame, tạo ra chuỗi video HR từ chuỗi frame LR ban đầu. Kết quả được thể hiện ở phần HR Video Ouput.