1). Xoay frame tham khảo, ᵅᵃᵄᵅ, một góc θᵅ, với bước xoay 0.1o, trong phạm vi (-2o, 2o). Ta được frame ᵅᵃᵄᵅ_θᵅ
.
2). Xác định vector chuyển động của các block pixel của ᵅᵃᵄᵅ_θᵅvới frame chính, ᵅᵃᵄ1 ,
bằng phương pháp Block matching search [27]. Ta được tập vector dịch thô {ᵄᵄᵅ}. Điều kiệnđể ghi nhận vector chuyển độngcủa bock tham khảoᵃᵃᵄᵅ_θᵅ là giá trị trung bình vi phân tuyệtđốimức xám của block đóphảithoả,
ᵄᵃᵃ(ᵃᵃᵄᵅ_θ ᵅ)< Threshold (4.4) Với: ᵄᵃᵃ(ᵃᵃᵄᵅ_θ ᵅ)=ᵅ×ᵅ∑1 ᵆ,ᵆ |ᵃᵃᵄ1(ᵆ,ᵆ)‒ᵃᵃᵄᵅ_θ ᵅ(ᵆ,ᵆ)| (4.5) Trong đó giá trị pxp là kích thức của các block, được chọn tốt nhất là 8x8 hoặc
4x4. Ngưỡng Thresholdđược tính dựa trên ướclượng variant củanhiễu, nhưđược
trình bày ở nghiên cứu [29].
3). Ướclượngdịch thô toàn cụcgiữaᵅᵃᵄ1và ᵅᵃᵄᵅ_θᵅlà: {ᵄᵅ=argᵅᵄᵆᵆᵄ(ᵆ)
ᵄᵅ=argᵅᵄᵆᵆᵄ(ᵆ) (4.6)
Với P(x) và P(y) là xác suấtcủa x và y, với(ᵆ,ᵆ)∈{ᵄᵄᵅ}
4). Bồi hoàn dịch cho frame ᵅᵃᵄᵅ_θᵅ, ta đượcᵅᵃᵄᵅ_θᵅ_(ᵄᵅ,ᵄᵅ), frame đượcbồi hoàn chuyển động thô.
5). Tính MAD(ᵅᵃᵄᵅ_θᵅ_(ᵄᵅ,ᵄᵅ))
cho cả frame.
6). LậplạitừBước 1 đếnBước 5, khi θtừ -2ođến 2o. Thông sốướclượng thô toàn cục là các giá trịcủaθᵅ và (ᵄᵅ, ᵄᵅ), mà tạiđó giá trịcủa MAD nhỏnhất.
Ta sử dụng giải thuật khôi phục đã được trình bày ở Chương 3, Hình 3.8. Giải thuật này cho phép loại bỏ những pixel của chi tiết chuyển động trong các frame tham khảo ᵅᵃᵄᵅ giữ lại các pixel cảnh nền để sử dụng cho phép nội suy khôi phục ảnh.
4.4 Thựcnghiệm trên các chuỗi video chuẩn
a) b) c)
Hình 4. 3. Thểhiện ba chuỗi video thực (không nén), có kích thước 352x288, được dùng thực nghiệmtừnguồn [30], a) Foreman, b) Coastguard, c) Caltrain.
Thực nghiệm đầu tiên. Chúng tôi thực hiện trên chuỗi Foreman và Coastguard,
như Hình 4.3. a). Chuỗi 30 frame HR ngõ vào được chọn làm chuỗi gốc. Chuỗi gốc này được lấy mẫu xuống, với tỷ lệ 2x2, tạo ra các chuỗi video LR. Lần lượt tập gồm 07 LR frame liên tiếp, 03 frame liền trước và 03 frame liền sau frame chính, được chọn cho quá trình xác nhận và khôi phục ảnh. Để đánh giá chất lượng của giải thuật đề nghị, chúng tôi so sánh kết quả của giải thuật đề nghị với kết quả giải thuật của các tác giả khác, như nội suy Bicubic [26], giải thuật KRI [8], giải thuật của Vandewalle [15], của SME [10] và gần đây nhất là giải thuật của ASDS [11]. Kết quả giá trị trung bình PSNR của toàn ảnh cũng được thể hiện ở Bảng 4.1. Kết quả cho thấy giải thuật MMAD đã có chất lượng ảnh HR được khôi phục tương đối tốt hơn so với các giải thuật khác. Giá trị trung bình PSNR của giải thuật MMAD lớn hơn 1.1 dB so giải thuật SME [10] và 1.2 dB so với giải thuật ASDS [11].
Bảng 4. 1. So sánh kếtquả giá trị trung bình PSNR (dB) cho toàn frame ảnhcủagiảithuậtđề nghị MMAD với các giảithuật khác nhau
Giảithuật/
Chuỗi video KRI [8] Bicubic
SME
[10] ASDS [11] MMAD
Foreman (1..30) 30.2 29.1 32.6 32.0 32.6
Caltrain (1..30) 28.2 29.5 29.2 29.7 31.9
Độlợi trung bình 3.0 2.2 1.1 1.2 0
Để thấy được điểm mạnh của giải thuật MMAD là khôi phục tốt ở vùng cảnh nền, phép đo PSNR và MSSIM cho vùng cảnh nền được chọn có toạ độ (20:80, 20:80). Kết quả thể hiện ở Bảng 4.2. Giải thuật đề nghị đã cho thấy chất lượng tốt nổi trội hơn kết quả của các giải thuật khác ở vùng cảnh nền từ 3 đến 4dB. Hình 4.4, Hình 4.5, Hình 4.6 và Hình 4.7 cho thấy các chi tiết phần cảnh nền được khôi phục có chất lượng được duy trì với độ ỗn định cao.
Ngoài ra, ta còn có thể đánh giá được chất lượng, qua việc quan sát trực quan ảnh HR thu được từ các giải thuật khác nhau, như thể hiện ở Hình 4.8 và Hình 4.9. Ảnh HR được khôi phục bằng giải thuật MMAD có chi tiết rõ nét, chính xác và gần giống với frame ảnh gốc HR hơn ảnh HR được khôi phục bằng các giải thuật khác, đặc biệt ở vùng cảnh nền. Quan sát kỹ vùng tọa độ (20:80, 20:80) ta có thể thấy ảnh HR được khôi phục bằng giải thuật MMAD trông rõ nét và gần giống nhất với ảnh HR gốc.
Bảng 4. 2. So sánh kếtquả giá trị trung bình PSNR (dB) tính tại vùng có tọađộ (20:80, 20:80), củagiảithuậtđềnghị MMAD với các giảithuật khác.
Giảithuật/
Chuỗi video KRI [8] Bicubic
SME [10] ASDS [11] MMAD Foreman (1..30) 27.4 28.7 32.3 29.7 32.9 Coastguard (110..139) 24.9 26.9 26.9 27.5 33.1 Caltrain (1..30) 29.6 31.44 31.5 31.7 34.8 Độlợi trung bình 6.3 4.6 3.4 4.0 0
Hình 4. 4. So sánh kếtquả PSNR (dB) củagiảithuậtđềnghị MMAD và các giảithuật tiếnbộ khác, áp dụng cho chuỗi Foreman, tính cho vùng ảnh có toạđộ (20:80,20:80).
Hình 4. 5. So sánh kếtquả SSIM củagiảithuậtđềnghị MMAD và các giảithuậttiến bộ khác, áp dụng cho chuỗi Foreman, tính cho vùng ảnh có toạđộ (20:80,20:80)
Hình 4. 6. So sánh kếtquả PSNR củagiảithuậtđềnghị MMAD và các giảithuậttiến bộ khác, áp dụng cho chuỗi Coastguard, tính cho vùng ảnh có toạđộ (20:80,20:80).
Hình 4. 7. So sánh kếtquả SSIM củagiảithuậtđềnghị MMAD và các giảithuậttiến bộ khác, áp dụng cho chuỗi Coastguard, tính cho vùng ảnh có toạđộ (20:80,20:80).
Ảnh HR được khôi phụcbằng SME Ảnh HR được khôi phụcbằng MMAD
Mộtphầncủaảnh Bicubic Mộtphầncủaảnh ASDS
Mộtphầncủaảnh SME Mộtphầncủaảnh MMAD
Hình 4. 8. So sánh kếtquảthựcnghiệm khôi phục siêu phân giải trên chuỗi Coastguard của giảithuậtđềnghị MMAD và các giảithuậttiếnbộ khác.
Ảnhđược khôi phụcbằng SME Ảnhđược khôi phụcbằng MMAD
Mộtphầnảnh Bicubic Mộtphầnảnh ASDS
Mộtphầnảnhgốc HR
Mộtphầnảnh SME Mộtphầnảnh MMAD Hình 4. 9. So sánh hình ảnhkếtquảđược khôi phục siêu phân giải trên chuỗi Foreman của
Calendar Cheerleader City Flowergarden
Football Harbour Susie Walk
Hình 4. 10. Minh họa các chuỗi video chuẩnđượcsửdụng cho thựcnghiệm.
Thực nghiệm thứ 2. Chúng tôi thực nghiệm trên 08 chuỗi video thực, tham khảo từ nguồn cơ sở dữ liệu CVDL [30]. Đây là những chuỗi video thực, lưu dưới dạng không nén. Như minh họa ở Hình 3.10, các chuỗi Calendar (720x576), Cheerleader
(720x480), City (768x576), Flowergarden (720x576), Football (720x480), Harbour
(768x576), Susie (720x576) và Walk (720x480). Với mỗi chuỗi video ngõ vào được lấy mẫu xuống theo tỷ lệ 2x2, tạo ra các chuỗi video LR. Sau đó chúng tôi thực hiện siêu phân giải với tỷ lệ 2x2 trở lại. Mỗi frame HR được khôi phục từ chuỗi 3 frame LR liên tiếp. Giá trị thống kê PSNR và SSIM cho 10 frame video LR liên tiếp được thể hiện như Bảng 3.3. Kết quả giá trị PSNR và SSIM của giải thuật MMAD cao hơn kết quả của các tác giả khác. Quan sát kỹ, ta thấy với những chuỗi video càng có ít chi tiết chuyển động thì chất lượng ảnh HR được khôi phục càng cao, nên giá trị PSNR càng lớn. Bên cạnh đó, quan sát trực quan các ảnh HR được khôi phục, ở Hình 3.11, ta thấy giải thuật đề nghị MMAD cho ảnh rõ nét hơn các giải thuật khác ở các chi tiết ảnh.
Thực nghiệm thứ 3. Cũng giống như thực nghiệm 2, nhưng chúng tôi lấy mẫu xuống với tỷ lệ 4x4 cho các chuỗi video nguồn để được các chuỗi LR. Sau đó thực hiện siêu phân giải cho các chuỗi LR này trở lại với tỷ lệ 4x4. Chúng tôi sử dụng 3 frame liên tiếp, 01 frame liền trước và 01 frame liền sau, để khôi phục cho một frame chính. Giá trị thống kê PSNR và SSIM được thể hiện như Bảng 3.4. Kết quả giá trị PSNR và SSIM của giải thuật MMAD cao hơn kết quả của các tác giả khác.
Bảng 4. 3. Kếtquả giá trị trung bình PSNR và SSIM của các chuỗi video được khôi phục siêu phân giảivớitỷlệ 2x2 bằng các giảithuật khác nhau. Mỗichuỗiđượcthựchiện 10 frame.
Tên chuỗi video
(frame i to j) Phép đo Bicubic
Keren [13] PSEFD 3 frame ASDS [11] MMAD 3 frame PSNR 29.11 29.80 32.05 28.90 32.87 City (1-10) SSIM 0.993 0.971 0.996 0.963 0.999 PSNR 22.26 24.60 25.07 22.66 24.98 Calendar (181-190) SSIM 0.917 0.973 0.998 0.964 0.998 PSNR 27.00 22.87 26.88 27.37 27.18 Cheer-leader (1-10) SSIM 0.995 0.923 0.998 0.988 0.999 PSNR 30.06 27.14 30.00 30.24 30.26 Football (1-10) SSIM 0.993 0.939 0.997 0.979 0.997 PSNR 23.54 20.81 23.71 23.73 23.68 Flower-graden (600-609) SSIM 0.994 0.903 0.998 0.980 0.998 PSNR 32.40 30.37 32.16 34.61 33.34 Harbour (1-10) SSIM 0.995 0.984 0.998 0.993 0.999 PSNR 40.75 39.31 39.54 39.12 40.97 Susie (1-10) SSIM 0.998 0.993 0.999 0.992 0.999 PSNR 31.08 25.25 30.82 31.45 31.10 Walk (1-10) SSIM 0.996 0.956 0.998 0.988 0.999
Thực nghiệm thứ 4. Cũng giống như thực nghiệm 3, nhưng chúng tôi sử dụng 5 frame liên tiếp, 02 frame liền trước và 02 frame liền sau frame chính, để khôi phục cho một frame chính. Giá trị thống kê giá trị trung bình PSNR và SSIM cho 10 frame được thể hiện như Bảng 3.4. Kết quả giá trị PSNR và SSIM của giải thuật MMAD với phương pháp dùng 5 frame cho kết quả tốt hơn so với 3 frame.
Quan sát kỹ Bảng 3.4, ta thấy với những chuỗi video càng có ít chi tiết chuyển động thì chất lượng ảnh HR được khôi phục càng cao, nên giá trị PSNR càng lớn. Điều
này cho thấy khả năng khôi phục thông tin chi tiết ảnh mạnh mẽ của phương pháp siêu phân giải đa frame MMAD.
Bảng 4. 4. Thống kê giá trị trung bình PSNR và SSIM của các chuỗi video được khôi phục
siêu phân giảivớitỷlệ 4x4 bằng các giảithuật khác nhau. Mỗichuỗithựchiện 10 frame.
PSNR (dB) Bicubic PSEFD 3 frame ASDS [11] MMAD 3 frame MMAD 5 frame Calendar 18.11 19.99 19.44 20.03 20.33 Cheerleader 20.88 22.26 21.87 22.47 22.50 City 23.58 24.55 23.90 24.62 24.89 Flowergarden 19.21 19.78 19.74 20.61 20.61 Foliage 21.13 22.36 22.54 22.96 23.72 Football 23.78 24.92 23.80 25.55 25.66 Harbour 21.75 24.65 23.15 25.21 26.21 Summerflower 19.40 21.05 20.41 21.21 21.42 Susie 30.54 32.42 31.75 32.54 34.86 Walk 22.89 24.68 24.46 24.72 24.81 SSIM Calendar 0.750 0.883 0.793 0.893 0.900 Cheerleader 0.830 0.881 0.856 0.892 0.892 City 0.800 0.872 0.761 0.875 0.875 Flowergarden 0.807 0.845 0.825 0.885 0.885 Foliage 0.767 0.847 0.798 0.873 0.892 Football 0.806 0.875 0.804 0.877 0.877 Harbour 0.803 0.903 0.830 0.916 0.931 Summerflower 0.707 0.834 0.765 0.843 0.854 Susie 0.915 0.971 0.941 0.972 0.978 Walk 0.835 0.921 0.894 0.924 0.926
City Footbal
Mộtphầnảnhgốcđượcnội suy Bicubic
Phầnảnh Bicubic
Mộtphầnảnhđược khôi phụcbằnggiảithuật ASDS
Phầnảnh ASDS
Mộtphầnảnhđược khôi phụcbằnggiảithuật MMAD
Phầnảnh MMAD
Hình 4. 12. So sánh kếtquảthựcnghiệm trên chuỗi Flowergarden (frame 51) củagiảithuậtđề nghị MMAD với các giảithuật: Bicubic và ASDS.
Thực nghiệm thứ 5. Chúng tôi thực hiện siêu phân giải trên chuỗi thực Flow- Garden (352x288), nhưng không lấy mẫu xuống. Kết quả ảnh HR được khôi phục bằng giải thuật đề nghị MMAD, nội suy Bicubic và giải thuật ASDS [11] như Hình 3.12. Ta có thể dễ dàng đánh giá bằng trực quan ở các vùng được khoanh tròn giữa frame gốc, frame được khôi phục bằng các giải thuật khác nhau. Các chi tiết phần mái
ngói của frame ảnh HR được khôi phục bằng giải thuật MMAD rõ nét hơn nhiều so với frame gốc được nội suy Bicubic và nội suy bằng giải thuật ASDS.