SIÊU PHÂN GIẢI VIDEO ( bản đầy đủ )

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THƯ CAO “SIÊU PHÂN GIẢI VIDEO” LUẬN ÁN TIẾN SĨ KỸ THUẬT TP HỒ CHÍ MINH NĂM 2015 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THƯ CAO “SIÊU PHÂN GIẢI VIDEO” Chuyên ngành: Kỹ thuật điện tử Mã số chuyên ngành: 62527001 Phản biện độc lập 1: PGS TS Dương Anh Đức Phản biện độc lập 2: PGS TS Nguyễn Văn Khang Phản biện 1: PGS TS Vũ Đình Thành Phản biện 2: TS Lý Quốc Ngọc Phản biện 3: TS Hồ Phước Tiến NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Lê Tiến Thường TS Đỗ Hồng Tuấn i LỜI CAM ĐOAN Tác giả xin cam đoan, công trình nghiên cứu thân tác giả Các kết nghiên cứu kết luận luận án trung thực, không chép từ nguồn nào, hình thức Việc tham khảo nguồn tài liệu (nếu có) trích dẫn ghi nguồn tài liệu tham khảo theo yêu cầu Tác giả luận án BÙI THƯ CAO ii TÓM TẮT Nhu cầu thị giác người cảm nhận độ rõ nét hình ảnh cao Khi nhìn hình ảnh lớn với độ phân giải ảnh cao, hình ảnh chi tiết rõ nét Nó làm cho hệ mắt phải điều tiết giúp độ cảm nhận thông tin hình ảnh não nhiều Bên cạnh đó, nhu cầu quan sát rõ nét chi tiết ảnh vấn đề cần thiết cho nhiều lĩnh vực khác Ví dụ: quân sự, cần nhìn rõ chi tiết mục tiêu; y khoa, cần nhìn rõ chi tiết vùng bệnh lý ảnh y khoa; công nghiệp, cần nhìn rõ để kiểm tra độ hoàn hảo sản phẩm, v.v… Siêu phân giải video hình thức sử dụng thuật toán phần mềm, tái tạo lại ảnh video có độ phân giải cao từ chuỗi ảnh video có độ phân giải thấp Do nhu cầu ứng dụng siêu phân giải video cần thiết cho sống Mặc dù có nhiều nghiên cứu thập kỷ gần đây, với kết tiến đáng kể, việc áp dụng nghiên cứu vào thực tế chưa phát triển mạnh Đó hạn chế định chất lượng hiệu áp dụng Mục đích luận án nghiên cứu phát triển phương pháp siêu phân giải video để nâng cao chất lượng hiệu ứng dụng cho thông tin hình ảnh video Các nghiên cứu luận án phát triển theo chiều sâu với tính kế thừa Nghiên cứu đề xuất thứ Ở phần nghiên cứu này, tác giả thực theo hướng siêu phân giải video đơn frame Trên sở khảo sát cho thấy, yếu điểm phương pháp siêu phân giải đơn frame gây suy biến vùng cạnh đường biên ảnh video khôi phục Tác giả đề xuất phương pháp siêu phân giải video đơn frame cách kết hợp nội suy không gian vùng ảnh kết cấu khác với nội suy bồi hoàn lấy mẫu Phương pháp đề nghị cho thấy tiến đáng kể chất lượng ảnh độ phân giải cao khôi phục thời gian xử lý Nghiên cứu đề xuất thứ hai Trong phần nghiên cứu này, tác giả đưa lý thuyết toán siêu phân giải video đa frame Từ tác giả đề xuất giải toán siêu phân giải video tĩnh đa frame ước lượng dịch pha miền tần số Giải thuật ước lượng chuyển động bước giải thuật khôi phục ảnh nghiên cứu iii tảng phát triển cho nghiên cứu sau Điểm hạn chế nghiên cứu áp dụng tốt ảnh video tĩnh Nếu áp dụng cho ảnh video động cho chất lượng ảnh khôi phục Nghiên cứu đề xuất thứ ba Cải tiến hạn chế nghiên cứu đầu tiên, tác giả đề xuất phương pháp siêu phân giải video đa frame ước lượng tối thiểu hoá trung bình tuyệt đối vi phân mức xám Phương pháp cho phép đồng thời vừa tách phần cảnh khỏi frame ảnh thực ước lượng chuyển động cho phần cảnh Do đó, việc giải toán ước lượng chuyển động xác hơn, giúp cải thiện đáng kể chất lượng phần chi tiết cảnh ảnh video khôi phục Tuy nhiên phương pháp thứ hai hạn chế Đó phần chi tiết chuyển động ảnh khôi phục nội suy đơn frame Do vậy, chất lượng ảnh video độ phân giải cao khôi phục không đồng đều, phần chi tiết cảnh rõ nét phần chi tiết chuyển động Nghiên cứu thứ tư Cải tiến hạn chế nghiên cứu thứ hai, tác giả đề xuất phương pháp siêu phân giải video đa frame ước lượng chuyển động cục block pixel điểm ảnh, dựa vào lý thuyết xác suất thống kê Bayesian MAP Phương pháp cho thấy ưu điểm vượt trội việc khôi phục thông tin chi tiết ảnh video động với thời gian xử lý nhanh Phương pháp đề nghị hiệu triển vọng áp dụng thực tế cho ứng dụng siêu phân giải video chất lượng cao Các giải thuật mô hình đề nghị luận án kiểm tra dạng mô thực nghiệm Các kết thí nghiệm so sánh với kết giải thuật trạng Việc đánh giá thực phép đo chuyên dụng xử lý ảnh, như: tỷ số tín hiệu nhiễu (PSNR) độ tương đồng cấu trúc (SSIM) Nhìn chung, tác giả thực theo mục đích nội dung đề luận án Các phương pháp đề nghị với kết tiến rõ rệt so với nghiên cứu trạng siêu phân giải video Luận án có đóng góp thiết thực việc nâng cao chất lượng thông tin hình ảnh video iv ABSTRACT The human demand for visual perception in clarity is very high When looking at the large picture in high resolution, the image becomes clearly in details It makes our eye muscles become less regulator and increase the visual perception capacity of our brain Besides, the demand for observing image details in clarity is also very necessary for many other fields For example, in the military, need to look in detail the objectives; in medicine, need to look in details of the medical images; in industry, need to look perfect to test products Super-resolution video is the form using software algorithms to reconstruct the high-resolution video images from the input low-resolution video sequence Therefore, the video super-resolution are essential for practical applications Although there has been much studies in recent decades, with significant progress results, the application of video super-resolution application into practice still has not developed strongly It is due to certain restrictions on the quality and application efficiency of the studies The purpose of this thesis is to study and develop video super-resolution methods to improve the quality and application efficiency for video image information The studies of the thesis are developed in depth with inheritance Fisrt study In this study, the authors studied toward single-frame video superresolution Through surveying the single-frame video super-resolution methods in the state-of-the art, it showed that the weaknesses of these methods are causing degradation in the border region of the reconstructed high-resolution video image Therefore, the author has proposed the single-frame video super-resolution method by combining the spatial interpolation in different texture regions and sampling compensation interpolation The proposed method has showed the significant improvements in quality of the reconstructed high-resolution image and fast processing time Second study In this study, the authors have released a theory about multi-frame video super-resolution Since then, the authors proposed the multi-frame static video super-resolution method by phase-shift estimation in the frequency domain The motion estimation algorithm and the image reconstruction algorithms in this method are the platform used for the later studies The disadvantage of this study is to apply v well only for static video images If applying it for dynamic video images, we will get a bad results for the reconstructed high-resolution image Third study To improvements the disadvantage of the first study, the authors have proposed the multi-frame video super-resolution method by estimating the minimum mean absolute differential of gray level This method allows simultaneously separate the background from the image frame and perform motion estimation only for the background Therefore, solving the problem of motion estimation would be more accurate It improves significantly the quality of the background details of the reconstructed high-resolution video image However, in the second study still has a restriction The motion details of the video images are reconstructed only by singleframe interpolation, Bicubic Thus, the quality of the reconstructed high-resolution video images is ununiformded, the background is more clearly than the motion region Fourth study To improvements the restriction of the second study, the authors propose the multi-frame video super-resolution method by estimating local motion of each block of pixels, based on the probability theory, Bayesian MAP This method has shown remarkable advantages in reconstructing full image and fast processing time The proposed method is very efficiency and promising in practical applications for high-quality video super-resolution The algorithms and models proposed in this thesis has been tested in simulation and experimental forms The experimental results were compared with the results of the methods in the state-of-the art The evaluation is carried out by dedicated measurement methods in image processing, such as Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Measurement (SSIM) In overall, the authors have carried out in accordance with the purpose and proposed contents of the thesis The video super-resolution methods proposed has achieved significant progresses to compared with the state-of-the art The thesis has practical contributions to improving the quality of video image information vi LỜI CẢM ƠN Trong suốt trình thực luận án, nhận nhiều giúp đỡ thầy cô Khoa Điện –Điện tử Khoa Sau Đại Học, Trường Đại Học Bách Khoa TPHCM Tôi nhận nhiều giúp đỡ, hỗ trợ tạo điều kiện thuận lợi từ Ban Giám Hiệu, Trường Đại Học Công Nghiệp TPHCM, nơi công tác Luận án thử thách lớn Có lẽ theo đuổi hoàn thành hướng dẫn tận tình lời động viên, cổ vũ vô quí giá PGS TS Lê Tiến Thường TS Đỗ Hồng Tuấn, người thầy mà ghi nhớ biết ơn sâu sắc Tôi xin gửi lời cảm ơn chân thành đến PGS.TS Vũ Đình Thành, TS Đặng Thành Tín, TS Trịnh Hoàng Hơn, PGS TS Hoàng Đình Chiến, PGS TS Đinh Đức Anh Vũ, TS Nguyễn Thanh Hải, TS Trần Văn Hùng thầy cô Bộ môn Điện tửViễn Thông, Trường Đại Học Bách Khoa, người có nhiều ý kiến đóng góp phản biện quí báu cho tôi, suốt trình nghiên cứu hoàn thiện luận án Để luận án đạt kết hôm này, xin phép bày tỏ lời cảm ơn chân thành đến thầy PGS TS Dương Anh Đức PGS TS Nguyễn Văn Khang Những ý kiến phản biện sâu sắc thấu đáo thầy giúp có cải tiến mang tính đột phát, nâng cao chất lượng kết luận án Bên cạnh đó, xin gửi lời cảm ơn đến nhóm tác giả, Patrick Vandewalle , Hiro Takeda, Guoshen Yu Weisheng Dong Những người chia cho công trình nghiên cứu mã code chương trình quí giá họ Đó tảng sở giúp phát triển giải thuật nghiên cứu Cuối cùng, gửi lời cảm ơn chân thành đến gia đình, bạn bè đồng nghiệp, người có nhiều động viên, chia giúp đỡ để hoàn thành luận án Tác giả luận án BÙI THƯ CAO vii MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT .xi DANH MỤC CÁC HÌNH xii DANH MỤC CÁC BẢNG xvi CHƯƠNG GIỚI THIỆU TỔNG QUAN 1.1 Các khái niệm siêu phân giải ảnh video 1.2 Các yếu tố ảnh hưởng đến chất lượng hệ thống camera số 1.2.1 Ảnh bị mờ hiệu ứng quang học 1.2.2 Ảnh bị mờ chuyển động máy quay 1.2.3 Ảnh bị mờ nhiễu 1.2.4 Ảnh bị suy biến độ phân giải thấp 1.2.5 Các yếu tố ảnh hưởng đến chất lượng ảnh video siêu phân giải 1.3 Giới thiệu siêu phân giải video .4 1.3.1 Phân loại kỹ thuật siêu phân giải video 1.3.2 Siêu phân giải video đơn frame .7 1.3.2 Siêu phân giải video đa frame 1.4 Tổng quan trạng nghiên cứu 1.4.1 Các nghiên cứu nước .8 1.4.2 Các nghiên cứu nước 1.4.3 Đánh giá trạng nghiên cứu siêu phân giải ảnh video 11 1.5 Nhu cầu thực tế siêu phân giải video 14 1.6 Mục đích nghiên cứu luận án 14 1.7 Các nội dung nghiên cứu luận án 15 1.8 Phạm vi nghiên cứu luận án 15 1.9 Ý nghĩa khoa học ứng dụng thực tiễn đề tài .15 1.10 Cấu trúc luận án .16 CHƯƠNG SIÊU PHÂN GIẢI VIDEO ĐƠN FRAME BẰNG NỘI SUY KHÔNG GIAN KẾT HỢP (CSI) 17 2.1 Giới thiệu phương pháp siêu phân giải CSI 17 2.2 Nội suy không gian vùng kết cấu khác (Spatial Interpolation of Different Texture Regions – SIDTR) 19 2.3 Nội suy bồi hoàn lấy mẫu (Sampling Compensation Interpolation - SCI) 21 viii 2.4 Giải thuật siêu phân giải tổng quát CSI 24 2.5 Thực nghiệm chuỗi video chuẩn 25 2.6 Thảo luận phương pháp CSI .31 2.7 Kết luận phương pháp CSI 31 CHƯƠNG SIÊU PHÂN GIẢI VIDEO TĨNH ĐA FRAME BẰNG PHƯƠNG PHÁP PSEFD ………………………………………………………………………33 3.1 Lý thuyết siêu phân giải video đa frame .33 3.2 Phương pháp xác nhận ảnh 35 3.2.1 Ước lượng dịch 38 3.2.2 Ước lượng xoay .38 3.3 Phương pháp khôi phục ảnh 42 3.4 Giải thuật siêu phân giải PSEFD tổng quát .43 3.5 Thực nghiệm tập ảnh Vandewalle .45 3.6 Thảo luận phương pháp PSEFD 51 3.7 Kết luận phương pháp PSEFD 53 CHƯƠNG MMAD SIÊU PHÂN GIẢI VIDEO ĐA FRAME BẰNG PHƯƠNG PHÁP ………………………………………………………………………55 4.1 Giới thiệu phương pháp MMAD .55 4.2 Giải thuật xác nhận toàn cục MMAD 56 4.3 Giải thuật khôi phục ảnh 59 4.4 Thực nghiệm chuỗi video chuẩn 59 4.5 Thảo luận phương pháp MMAD .70 4.6 Kết luận phương pháp MMAD 70 CHƯƠNG SIÊU PHÂN GIẢI VIDEO ĐA FRAME BẰNG PHƯƠNG PHÁP BAYESIAN MAP (BM) .72 5.1 Giới thiệu phương pháp Bayesian MAP 72 5.2 Phương pháp đề xuất 73 5.2.1 Lý thuyết Bayesian MAP cho ước lượng chuyển động 73 5.2.2 Mô hình cho hệ thống siêu phân giải video 75 5.2.3 Loại bỏ nhiễu chồng chập phổ ảnh (aliasing) 81 5.3 Thực nghiệm chuỗi video thực .82 5.4 Thảo luận 88 5.5 Kết luận 89 CHƯƠNG KẾT QUẢ THỰC NGHIỆM .90 128 Đánh giá chất, giải thuật Mallat kết hợp ước lượng tuyến tính ước lượng thông tin dư Việc ước lượng dư thực phép chiếu ước lượng theo hướng lên ước lượng tuyến tính ảnh wavelet block điểm ảnh Giải thuật Mallat thí nghiệm ảnh chuẩn Kết cho thấy giải thuật SME [10] có tiến đáng kể so với giải thuật trước Bicubic, NEDI [25], DFDF [48], KR [8], Curvelet [49], Contourlet [50], SAI [51] A.3 Khôi phục siêu phân giải đa frame A.3.1 Các phương pháp xác nhận miền không gian Tiêu biểu phương pháp Keren [13] với giải thuật ước lượng chuyển động toàn cục frame dựa khai triển Taylor bậc cho phương trình (A.38) Tổng quát ảnh f ( x, y ) f ( x, y ) liên hệ với theo biểu thức: f ( x, y )  f1[ ( x  x, y  y )] (A.37) Với (x, y ) vector dịch chuyển ảnh f ( x, y )  góc xoay f ( x, y ) tâm ảnh sau dịch Vậy f ( x, y )  f1 ( x cos  y sin   x, y cos  x sin   y )] (A.38) Đầu tiên dùng khai triển Taylor cho hàm sin  cos  , sau khai triển Taylor cho (A.38) đến đạo hàm cấp ᵅ1 Nếu ta sử dụng khai triển Taylor sin(θ) cos(θ) đến thành phần bậc 2, ta được: f ( x, y )  f ( x  a  y  x / 2, y  b  x  y / 2) (A.39) Khai triển f với thành phần bậc chuỗi Taylor f ( x, y )  f1 ( x, y )  (a  y  x / 2) f1 f  (b  x  y / 2) x y (A.40) Sai số ᵅ2 ᵅ1 sau xoay góc θ dịch đoạn (a,b), Phụ lục A Các vấn đề liên quan 129 ᵃ(ᵄ,ᵄ,θ)= ∑ ( [ᵅ1(ᵆ,ᵆ)+ ᵄ-ᵆθ-ᵆθ 2 ∂ᵅ1 ᵆθ2 ∂ᵅ1 ᵅ (ᵆ,ᵆ)]2 ᵄ+ᵆθ ∂ᵆ ∂ᵆ - ) ( ) (A.41) Sai số E thể tổng thành phần chồng lấp ᵅ1 ᵅ2 Giá trị E nhỏ ước lượng chuyển dịch góc xoay ta xác Để xác định a, b θ, ta lấy đạo hàm E theo tham số a, b, θ cho chúng zero, sau bỏ qua thành phần không tuyến tính số hệ số nhỏ,ta hệ phương trình tuyến tính  f1 f1 f1 f1 f1 a[ ( x ) ]  b[ x y ]   [ R x ]   x ( f1  f )  f1 f1 f f f  ]  b[ ( ) ]   [ R ]   ( f1  f ) a[ x y y y y   f  f  a[ R ]  b[ R ]   [ R ]  R ( f  f )      x y (A.42) Do việc lấy xấp xỉ (A.39) nên để nghiệm toán xác giá trị a, b, θ phải nhỏ Một chiến thuật hình tháp sử dụng để gia tăng xác cho việc xác nhận thông số chuyển động lớn phương pháp Nhìn chung, phương pháp Keren thể việc xác nhận toàn cục miền không gian, giải thuật đơn giản dễ thực độ xác chưa cao Lý giải thuật Keren dùng khai triển Taylor đến bậc cho hàm giá trị mức xám không gian hai chiều, nên tồn sai số phép giải A.3.2 Các phương pháp xác nhận miền tần số Quan hệ frame f1 f2: x cos   sin   f ( s)  f1 ( R( s  s)) , với s    , s    , R     y y   sin  cos   x (A.43) Thể miền Fourier T F2 (u )  s f ( s )e  j 2 u sds T F2 (u )  s f1 ( R ( s  s )e  j 2 u sds Phụ lục A Các vấn đề liên quan 130  e j2 u T s  x' T f1 ( Rs ' )e  j 2 u s ' ds ' (A.44) Với F2 (u ) hàm truyền Fourier f ( s ) hàm truyền kết hợp s '  s  s Đặt s' '  Rs' ta dạng khác hàm Fourier biên độ F2 (u )  e j2  u  s s f1 ( Rs ' )e  j 2 u s ' d s' T T  e j2  u  ss ' f1 ( Rs ' )e  j 2 u T T ( RT R)s'  e j2  u  ss '' f1 ( s ' ' )e  j 2 ( R u) T T ds ' s '' T R ds ' ' T  e j2  u  s R T F1 ( Ru ) (A.45) Hầu hết phương pháp miền tần số dựa sở phương trình (A.45)   r Hình A Minh họa giải thuật xác định góc xoay Vandewalle a) b) c) Hình A Minh họa phổ biên độ ảnh, a) ảnh gốc Bulding, b) phổ biên độ ảnh gốc c) phổ biên độ ảnh Building xoay góc 250o Lucchese [14] phát triển giải thuật ước lượng ảnh xoay dựa tính chất biên độ hàm truyền Fourier ảnh biên độ hàm truyền Fourier version Phụ lục A Các vấn đề liên quan 131 mirror ảnh xoay, có cặp đường thẳng trực giao qua zero Góc mà đường thẳng hợp với trục nửa góc xoay ảnh Chuyển dịch theo phương ngang phương thẳng đứng ước lượng sau dùng phương pháp tương quan pha chuẩn Giải thuật có độ xác không cao Để khắc phục nhược điểm việc xác định góc xoay giải thuật trên, Vandewalle [15] dùng thuật giải tương quan cho phổ công suất để xác định góc xoay Ф, với giả thiết tâm xoay tâm ảnh, minh họa Hình A.4 Hình A.5 Sau dùng phương pháp dịch chuyển pha miền tần số để xác định độ dịch chuyển Kết thể Bảng A.1 Giá trị xác nhận giải thuật Vandewalle xác Lucchese, so với giải thuật Keren Bảng A So sánh trung bình tuyệt đối (µ) phương sai (σ ) sai số ước lượng dịch xoay, áp dụng cho giải thuật khác 120 thí nghiệm thực Tác giả Vandewalle [15] 2006 Lucchese [14] 2000 Keren [13] 1988 Loại thống kê µ σ µ σ µ σ Góc xoay (độ) 0.126 0.191 0.142 0.181 0.053 0.071 Dịch (pixel) 0.029 0.038 0.327 0.417 0.019 0.027 Nhìn chung Vandewalle thể phương pháp hiệu cho việc xác nhận toàn cục chuyển động frame ảnh miền tần số Giải thuật tác giả đơn giản hoá toán xác nhận việc thực ước lượng riêng biệt cho chuyển dịch xoay frame Việc ước lượng chuyển dịch dựa vào tương quan pha miền tần số ước lượng góc xoay dựa vào tương quan phổ công suất biên độ góc miền Fourier Trên thực tế mối liên hệ góc xoay chuyển dịch thể hàm Fourier kết hợp, trình bày phương trình (A.45) Đây khuyết điểm làm cho giải thuật Vandewalle có độ xác không cao A.3.3 Các phương pháp khôi phục siêu phân giải ảnh kết hợp Với phương pháp việc xác nhận khôi phục thực đồng thời qua việc giải toán số học xác suất mối quan hệ ảnh gốc HR ngõ vào với ảnh lấy mẫu LR qua tác động: hệ số lấy mẫu xuống, hàm mờ nhiễu Phụ lục A Các vấn đề liên quan 132 Một cách tổng quát, ảnh HR ᵅᵃᵄ kích thước L1N1хL2N2 khôi phục từ tập ảnh LR ᵅᵃᵄ_ᵅ có kích thước N1хN2 ≤ k ≤ p, p số frame ảnh tập ᵅᵃᵄ_ᵅ Mối quan hệ ᵅᵃᵄ ᵅᵃᵄ_ᵅ thể phương trình: f LR _ k  Wk f HR  nk (A.46) Trong Wk [( N1 N )  L1 N1L2 N ] ma trận thông số hàm mờ, hàm chuyển động, hàm giảm mẫu, nk ma trận nhiễu Các phương pháp khôi phục ảnh ghép thường xử lí miền không gian, dựa vào phương pháp toán học giải phương trình tìm nghiệm cho hệ (A.46)  Phương pháp Constrained least squares (CLS) [1] dùng khai triển Lagrangian để tìm x, cách xác định hệ số Lagrangian α để tối thiểu hóa biểu thức: p [  f LR _ k  Wk f HR k 1 2   Cf HR ] (A.47) Toán hạng C có chức lọc highpass tác động lên ᵅᵃᵄ  Phương pháp Maximum a posteriori (MAP) [1] dùng thống kê xác suất để xác định thông số  Phương pháp POCS (Projection onto convex set) [1] dùng phép chiếu ánh xạ tập lồi Hình A.6 Minh họa cửa sổ vùng block liệu (5x5 pixel) dùng để xác nhận khôi phục từ ảnh LR ngõ vào để tạo ảnh HR ngõ Phụ lục A Các vấn đề liên quan 133 Nhìn chung phương pháp khôi phục ảnh kết hợp dựa việc giải toán hệ phương trình, có khối lượng tính toán lớn, độ xác không cao Vì lí số lượng ẩn số nhiều (Wk), kiện đầu vào (ᵅᵃᵄ_ᵅ) Để giảm thời gian xử lý gia tăng độ xác, có nhiều phương pháp siêu phân giải thực việc xác nhận khôi phục phạm vi cục pixel (trong phạm vị block pixel), minh họa Hình A.6 Điều thấy nghiên cứu điển hình, của: Takeda [17], Protter [18] Mitzel [19] năm 2009, Hsieh [20] Lui [21] năm 2011 A.4 Các phép đo đạc đánh giá A.4.1 Trung bình tuyệt đối sai số ước lượng (µ) Trung bình tuyệt đối sai số ước lượng thông số ước lượng ei thông số chuyển động giả lập ban đầu mi, K phép mô phỏng, sau: ᵃ μ=ᵃ ∑|ᵅ ‒ᵅ | ᵅ ᵅ (A.48) ᵅ=1 A.4.2 Phương sai chuẩn sai số ước lượng (σ) Phương sai chuẩn sai số ước lượng thông số ước lượng ei thông số chuyển động giả lập ban đầu mi, K phép mô phỏng, tính sau: ( σ= ᵃ A.4.3 ᵃ ∑(|ᵅ ‒ᵅ |‒μ) ᵅ ᵅ=1 ᵅ ) 1/2 (A.49) Tỷ số tín hiệu nhiễu (PSNR) Tỷ số tín hiệu nhiễu frame gốc ᵅᵅᵅᵅᵅᵅᵅᵄᵅ(ᵆ,ᵆ) frame HR khôi phục ᵅᵃᵄ_ᵅᵅᵅᵅᵅᵆᵆᵅᵆᵅᵆᵅᵅ(ᵆ,ᵆ), tính bởi,  PSNR  20 log10 255   M N    f ( x , y )  f ( x , y )   original HR _ reconstruc ted  MN i 1 j 1    (A.50) (M, N) kích thước frame gốc A.4.4 Đánh giá chất lượng ảnh độ tương đồng cấu trúc (SSIM) Phụ lục A Các vấn đề liên quan 134 Phương pháp SSIM đề xuất Wang [52] năm 2004, với mục đích đưa công cụ đánh giá tương đồng hai ảnh hoàn hảo Phương pháp đánh giá dựa vào việc đo đạc ba thông số hai ảnh đầu vào, độ chói (luminance), độ tương phản (constract) cấu trúc (structure), thể Hình A.7 Hình A Sơ đồ khối hệ thống đo đạc tương đồng cấu trúc (SSIM) Các phép đo xây dựng dực thoả mãn điều kiện sau: 1) Tính đối sứng: SSIM(f1, f2) = SSIM(f2, f1) 2) Tính giới hạn: SSIM(f1, f2) ≤ 3) Tính đồng nhất: SSIM(f1, f2) = f1 = f2 Đo đạc tương đồng độ chói (luminance) Phép đo độ chói dựa vào sở giá trị trung bình độ nhạy ảnh, μ, với, ᵄ μ=ᵄᵄ ᵄ ∑∑ᵅ(ᵆ,ᵆ) ᵆ=1 ᵆ=1 (A.51) Sử dụng tính chất bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói, ᵅ(ᵅ1,ᵅ2)= 2μ1μ2+ᵃ1ᵃ μ21+μ22+ᵃ1ᵃ (A.52) Trong μ1 trung bình độ nhạy ảnh ᵅ1, số ᵃ1ᵃ thêm để tránh bất định, ᵃ1≪1 L giá trị maximun phạm vi động mức xám (vd: L=255 cho pixel 8bit) Phụ lục A Các vấn đề liên quan 135 Đo đạc tương đồng độ tương phản (contrast) Phép đo độ tương phản dựa vào sở giá trị phương sai chuẩn ảnh, σ, với, ᵄ δ= ᵄᵄ ᵄ ∑∑(ᵅ(ᵆ,ᵆ)‒μ) ᵆ=1 ᵆ=1 (A.53) Sử dụng tính chất bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói, ᵅ(ᵅ1,ᵅ2)= 2σ1σ2+ᵃ2ᵃ σ21+σ22+ᵃ2ᵃ (A.54) Trong số ᵃ2ᵃ thêm để tránh bất định, ᵃ2≪1 Đo đạc tương đồng cấu trúc (structure) Phép đo độ tương đồng cấu trúc dựa vào sở tương quan hai ảnh, ᵃᵅᵅᵅ(ᵅ1,ᵅ2)= ᵃ[(ᵅ1‒μ1)(ᵅ2‒μ2)] σ 1σ (A.55) Khai triển ta được, hàm đo tương đồng cấu trúc, ᵄ ᵄᵄ ᵆ(ᵅ1,ᵅ2)= ᵄ ∑∑(ᵅ (ᵆ,ᵆ)‒μ )(ᵅ (ᵆ,ᵆ)‒μ )+ᵃ ᵃ 1 2 ᵆ=1 ᵆ=1 σ1σ2+ᵃ3ᵃ (A.56) Trong số ᵃ3ᵃ thêm để tránh bất định, ᵃ3≪1 Phép đo tương đồng cấu trúc SSIM Kết hợp phép đo tương đồng độ chói, độ tương phản cấu trúc ta phép đo tương đầu cấu trúc SSIM, theo phương trình sau: ᵄᵄᵃᵄ(ᵅ1,ᵅ2)=[ᵅ(ᵅ1,ᵅ2)]α[ᵅ(ᵅ1,ᵅ2)]β[ᵆ(ᵅ1,ᵅ2)]γ (A.57) Trong α, β, γ tham số tùy định, theo yêu cầu người sử dụng Ta trọng đến yếu tố đo đạc gia tăng trọng số cho yếu tố Thông thường thương mại, α=β=γ=1, ᵃ1=0.01, ᵃ2=ᵃ3=0.03 Phụ lục A Các vấn đề liên quan 136 Thông thường ta không thực việc đo đạc giá trị SSIM cho toàn frame ảnh, mà thực vùng cục frame, ví dụ: cửa số 8x8 pixels hay 11x11 pixels Nên giá trị SSIM thu ma trận giá trị SSIM block nhỏ, hay gọi SSIM index Dựa giá trị trung bình SSIM tính thông số đo đạc Phụ lục A Các vấn đề liên quan 137 PHỤ LỤC B PHẦN MỀM THỰC NGHIỆM – VSR SOFTWARE Tất giải thuật đề xuất cho siêu phân giải video tác giả thể chương trình phần mềm VSR (Video Super-Resolution) viết ngôn ngữ Matlab, version R2013a Để thuận tiện cho việc đánh giá, giải thuật siêu phân giải đề xuất giải thuật tiến tác giả điển hình khác, thể phần mền này, như: Keren [13], Vandewalle [15], KRI [8], SME [10] ASDS [11] Nguồn mã code giải thuật tham khảo download trang web [31], [53], [54], [55], [56] [57] B.1 Giao diện người sử dụng Hình B.1 Minh hoạ giao diện tổng quát phần mềm VSR Menubar: thể ứng dụng phần mềm,  Simulation Experiments: ứng dụng cho phép hệ thống thực thí nghiệm mô siêu phân giải đa frame  Practical Experiments: ứng dụng cho phép hệ thống thực thực nghiệm siêu phân giải đa frame  Single-Frame Video Super-Resolution: ứng dụng cho phép siêu phân giải đơn frame file video thô, loại AVI Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 138  Video Super-Resolution Codec: ứng dụng cho phép mã hoá siêu phân giải file video thô, loại AVI Original Video Source: cho phép thực thao tác thể thông tin liên quan đến nguồn liệu ảnh ngõ vào, như: mở file video nguồn, hiển thị hình ảnh frame, tên file, kích thước frame,… LR Video Input: cho phép hiển thị thông tin frame ảnh lấy mẫu xuống theo hệ số lấy mẫu Downsample Factor, cho phép tạo ngẫu nhiên thông số chuyển động frame Options: thể chọn lựa,  Cho phép chọn lựa giải thuật xác nhận, thực xác nhận xem thông số chuyển động frame  Cho phép chọn lựa giải thuật khôi phục, tỷ lệ nội suy kích thước vùng ảnh nội suy  Cho phép cài đặt đường dẫn cho file ngõ khôi phục siêu phân giải HR Video Output: cho phép hiển thị thông tin frame HR khôi phục thời gian xử lý hai trình: xác nhận khôi phục Các phím chức năng:  Create Random Motion Parameter: cho phép tạo ngẫu nhiên thông số chuyển động frame, mặc định có frame  Create LR Video Frames: cho phép tạo frame LR từ tập frame ngõ vào, tách từ file video gốc o Nếu ứng dụng Simulation Experiments, Create LR Video Frames vừa có chức lấy mẫu xuống (theo hệ số Downsample Facter) frame chọn, nguồn Original Video Source, vừa tạo frame LR khác tạo cách dịch xoay frame LR theo thông số chuyển động ngẫu nhiên tạo trước phím Create Random Motion Param o Các ứng dụng lại, Create LR Video Frames có chức lấy mẫu xuống  Super-Resolution: cho phép thực chức năng, Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 139 o Siêu phân giải đa frame cho frame ảnh video, ứng dụng Simulation Experiments Practical Experiments o Siêu phân giải đơn frame đa frame cho chuỗi ảnh video, ứng dụng Video Super-Resolution o Mã hoá video siêu phân giải cho chuỗi video ngõ vào thô, ứng dụng Video Super-Resolution Codec B.2 Ứng dụng Simulation Experiment Quá trình thí nghiệm mô thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực mô 2) Click vào hộp list box phần Original Video Source, để chọn frame mà ta muốn thực mô Khi thông số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Cài đặt thông số chuyển động cách click vào nút Create Random Motion Param Thao tác cho phép tạo tập thông số dịch ngẫu nhiên phạm vi 10 pixel, góc xoay ngẫu nhiên phạm vi 2o, cho frame Mặc nhiên thông số chuyển động frame zeros 4) Cài đặt giải thuật xác nhận cách click vào drop list box phần Registration Algorithm, chọn giải thuật xác nhận muốn thực 5) Click vào Create LR Video Images để tạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho frame chọn Tiếp đến, frame LR dịch xoay theo tập thông số tạo Bước Kết frame LR tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, hiển thị LR Frame Preview 6) Thực xác nhận cách click vào nút Register Kết thông số xác nhận hiển thị bảng Motion Parameter Ta click options set view, để xem thông số chuyển động tạo giả lập, thông số chuyển động xác nhận sai số phép xác nhận 7) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 140 8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, muốn 9) Thực xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập frame LR tạo giả lập Kết quả, ảnh HR khôi phục thể phần HR Video Ouput Ảnh HR thể HR Frame Preview Giá trị PSNR, cho vùng ảnh đặt tọa độ, tính frame gốc chọn frame HR khôi phục Ta đặt lại toạ độ, click vào Calculate PSNR để tính lại giá trị PSNR cho vùng Hình B Minh họa ứng dụng mô Simulation Experiments B.3 Ứng dụng Practical Experiment Quá trình thực nghiệm thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực nghiệm 2) Click vào hộp list box phần Original Video Source, để chọn frame đầu mà ta muốn thực Khi thông số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải cho frame chọn, ta click vào text box to, phần Setup Processing Parameter, gõ vào giá trị số thứ tự frame frame cuối ta muốn chọn 4) Cài đặt giải thuật xác nhận cách click vào drop list box phần Registration Algorithm, chọn giải thuật xác nhận muốn thực Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 141 5) Click vào Create LR Video Images để tạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi frame liên tiếp chọn bước Kết frame LR tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, thực thị LR Frame Preview 6) Thực xác nhận cách click vào nút Register Kết thông số xác nhận hiển thị bảng Motion Parameter Ta click options set view, để xem thông số chuyển động tạo giả lập, thông số chuyển động xác nhận sai số phép xác nhận Hình B Hình minh họa cho ứng dụng thực nghiệm Practical Experiments 7) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực 8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, muốn 9) Thực xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập frame LR tạo giả lập Kết quả, ảnh HR khôi phục thể phần HR Video Ouput Ảnh HR thể HR Frame Preview Giá trị PSNR, cho vùng ảnh đặt tọa độ, tính frame gốc chọn frame HR khôi phục Ta đặt lại toạ độ, rối click vào Calculate PSNR để tính lại giá trị PSNR cho vùng B.4 Ứng dụng Video Super-Resolution Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 142 Hình B Minh họa ứng dụng Single-Frame Video Super-resolution Quá trình thực nghiệm thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực mô 2) Click vào hộp list box phần Original Video Source, để chọn frame chuỗi mà ta muốn thực mô Khi thông số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải đơn frame, ta click vào text box to, phần Setup Processing Parameter, gõ vào giá trị số frame muốn thực 4) Click vào Create LR Video Images để tạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi frame liên tiếp chọn bước Kết chuỗi frame LR liên tiếp tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, hiển thị LR Frame Preview 5) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực 6) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, muốn 7) Thực xử lý siêu phân giải đơn frame, tạo chuỗi video HR từ chuỗi frame LR ban đầu Kết thể phần HR Video Ouput Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE [...]... với frame gốc ᵅᵃᵄ1 là: ᵅᵃᵄᵅ=ᵅᵃᵄ 1( θ ( +∆ᵆ )) (1 . 3) ᵅ Từ pt (1 . 1) và pt (1 . 3) ta rút ra được mô tả toán học tổng quát cho quan hệ giữa các ảnh video thu được là: ᵅᵃᵄ ( )= ᵄᵃᵅᵃᵄ 1( θ ( +∆ᵆ )) +ᵆᵅ (1 . 4) ᵅ Do đó, ta thấy rằng siêu phân giải video là giải bài toán ngược của pt (1 . 4), tìm ảnh gốc HR, ᵅᵃᵄ1, từ tập các ảnh video LR thu được ᵅᵃᵄᵅ Vậy có thể nói, siêu phân giải video là hình thức sử dụng các thuật... vào video LR với mục tiêu gia tăng độ rõ nét của chi tiết ảnh 1.3.1 Phân loại các kỹ thuật siêu phân giải video Siêu phân giải video có hai dạng phương pháp: siêu phân giải video đơn frame và siêu phân giải video đa frame Siêu phân giải đơn frame là hình thức xử lý nâng cao độ phân giải của một frame ảnh LR từ một frame ảnh LR ngõ vào Siêu phân giải đa frame là hình thức xử lý nâng cao độ phân giải. .. có độ phân giải cao hơn Do đó, siêu phân giải video đa frame cho phép nâng cao hơn giá trị nội hàm lượng thông tin so với các kỹ thuật siêu phân giải video đơn frame Trong kỹ thuật siêu phân giải video đa frame, được phân ra hai loại, siêu phân giải video tĩnh đa frame và siêu phân giải video động đa frame Với kỹ thuật siêu phân giải Chương 1 Giới thiệu tổng quan 13 video tĩnh đa frame, khai thác sự... nhau, áp dụng cho các chuỗi video chuẩn Sequence(frame)\Author Bicubic (2 01 1) KRI (2 00 7) SME (2 01 0) ASDS (2 01 1) Foreman(1-1 0) 31.33 30.05 32.63 31.10 Husky (1 -1 0) 16.74 16.73 17.14 18.03 paris (1 -1 0) 21.19 20.76 21.66 22.68 Stefan (1 -1 0) 22.17 21.65 22.31 23.54 Soccer (1 -1 0) 27.71 26.83 28.18 28.33 Flower-Garden (1 -1 0) 18.27 18.21 18.84 19.66 Chương 2 SR video đơn frame bằng phương pháp CSI ... sau: 1) Xây dựng phương pháp siêu phân giải video tĩnh đa frame trong miền tần số bằng phương pháp ước lượng toàn cục PSEFD 2) Xây dựng phương pháp siêu phân giải video đa frame trong miền không gian bằng phương pháp ước lượng toàn cục MMAD 3) Xây dựng phương pháp siêu phân giải video đa frame trong miền không gian bằng phương pháp ước lượng cục bộ Bayesian MAP 4) Xây dựng phương pháp siêu phân giải video. .. Do đặc điểm của thông tin hình ảnh video, người ta có thể kết hợp các thông tin chi tiết từ nhiều frame LR ngõ vào để khôi phục tạo ra một frame HR Do đó siêu phân giải video đa frame có chất lượng tốt hơn siêu phân giải video đơn frame 1.3.2 Siêu phân giải video đơn frame Khôi phục siêu phân giải video đơn frame thường được thực hiện ba bước: i Giảm nhiễu (denoising) bằng cách dùng các bộ lọc Gaussian,... khôi phục tái tạo lại ảnh video HR với các chi tiết rõ nét hơn Do đó, kỹ thuật siêu phân giải video đa frame về mặt logic có thể đạt được kết quả tốt hơn nhiều so với siêu phân giải video đơn frame Trong khi đó với phương pháp siêu phân giải đơn frame thì ta không thể có điều này Hình 1 8 Minh họa quá trình siêu phân giải đa frame Đặc điểm chung của phương pháp siêu phân giải đa frame Chương 1 Giới... video HR được khôi phục siêu phân giải 1.3 Giới thiệu về siêu phân giải video Ảnh HR gốc Kết quả: ảnh video có độ phân giải thấp và bị mờ Ma trận photo-sensors Phần ảnh HR gốc Phần ảnh LR thu được Hình 1 6 Minh họa mô hình hệ thống thu nhận ảnh video của một camera số Quá trình lấy mẫu được thể hiện bằng việc đặt lưới ảnh HR gốc (màu xanh) vào lưới ma trận photo-sensor có độ phân giải thấp (màu đ ). .. frame Siêu phân giải đơn frame là hình thức phóng đại không gian hình ảnh để người xem nhìn rõ hơn Thuật toán xử lý siêu phân giải đơn frame, nên khối lượng dữ liệu ngõ vào ít hơn so với xử lý siêu phân giải đa frame Nên về logic, thời gian xử lý của các kỹ thuật siêu phân giải đơn frame sẽ ngắn hơn nhiều hơn so với thời gian xử lý của các kỹ thuật siêu phân giải đa frame Do đó, hướng siêu phân giải đơn... .52 Bảng 4 1 So sánh kết quả giá trị trung bình PSNR (dB) cho toàn frame ảnh của giải thuật đề nghị MMAD với các giải thuật khác nhau 60 Bảng 4 2 So sánh kết quả giá trị trung bình PSNR (dB) tính tại vùng có tọa độ (2 0:80, 20:8 0), của giải thuật đề nghị MMAD với các giải thuật khác .61 Bảng 4 3 Kết quả giá trị trung bình PSNR và SSIM của các chuỗi video được khôi phục siêu phân giải ... ᵅᵃᵄᵅ=ᵅᵃᵄ 1( θ ( +∆ᵆ )) (1 . 3) ᵅ Từ pt (1 . 1) pt (1 . 3) ta rút mô tả toán học tổng quát cho quan hệ ảnh video thu là: ᵅᵃᵄ ( )= ᵄᵃᵅᵃᵄ 1( θ ( +∆ᵆ )) +ᵆᵅ (1 . 4) ᵅ Do đó, ta thấy siêu phân giải video giải toán... phân giải tổng quát CSI Từ pt (1 . 1), bỏ qua yếu tố nhiễu (do nội suy đơn frame) ta có: ᵅᵃᵄ ( )= ᵄᵃᵅᵃᵄ ( ) ᵄ+ᵅᵃᵄ ( )= ᵃᵅᵃᵄ ( ) ᵅᵃᵄ ( )= ᵃ+ᵄ+ᵅᵃᵄ ( ) (2 . 3) (2 . 4) (2 . 5) Kết hợp phương pháp nội suy kết... chi tiết ảnh 1.3.1 Phân loại kỹ thuật siêu phân giải video Siêu phân giải video có hai dạng phương pháp: siêu phân giải video đơn frame siêu phân giải video đa frame Siêu phân giải đơn frame hình