Siêu phân giải video

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THƯ CAO “SIÊU PHÂN GIẢI VIDEO” LUẬN ÁN TIẾN SĨ KỸ THUẬT TP HỒ CHÍ MINH NĂM 2015 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THƯ CAO “SIÊU PHÂN GIẢI VIDEO” Chuyên ngành: Kỹ thuật điện tử Mã số chuyên ngành: 62527001 Phản biện độc lập 1: PGS TS Dương Anh Đức Phản biện độc lập 2: PGS TS Nguyễn Văn Khang Phản biện 1: PGS TS Vũ Đình Thành Phản biện 2: TS Lý Quốc Ngọc Phản biện 3: TS Hồ Phước Tiến NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Lê Tiến Thường TS Đỗ Hồng Tuấn i LỜI CAM ĐOAN Tác giả xin cam đoan, cơng trình nghiên cứu thân tác giả Các kết nghiên cứu kết luận luận án trung thực, không chép từ nguồn nào, hình thức Việc tham khảo nguồn tài liệu (nếu có) trích dẫn ghi nguồn tài liệu tham khảo theo yêu cầu Tác giả luận án BÙI THƯ CAO ii TÓM TẮT Nhu cầu thị giác người cảm nhận độ rõ nét hình ảnh cao Khi nhìn hìnhảnh lớn với độ phân giải ảnh cao, hình ảnh chi tiết rõ nét Nó làm cho ệhcơ mắt phải điều tiết giúp độ cảm nhận thơng tin hình ảnh não nhiều Bên cạnh đó, nhu cầu quan sát rõ nét chi tiết ảnh vấn đề cần thiết cho nhiều lĩnh vực khác Ví dụ: quân sự, cần nhìn rõ chi tiết mục tiêu; y khoa, cần nhìn rõ chi tiết vùng bệnh lý ảnh y khoa; cơng nghiệp, cần nhìn rõ để kiểm tra độ hoàn hảo sản phẩm, v.v… Siêu phân giải video hình thức sử dụng thuật tốn phần mềm, tái tạo lại ảnh video có độ phân giải cao từ chuỗi ảnh video có độ phân giải thấp Do nhu cầu ứng dụng siêu phân giải video cần thiết cho sống Mặc dù có nhiều nghiên cứu thập kỷ gần đây, với kết tiến đáng kể, việc áp dụng nghiên cứu vào thực tế chưa phát triển mạnh Đó hạn chế định chất lượng hiệu áp dụng Mục đích luận án nghiên cứu phát triển phương pháp siêu phân giải video để nâng cao chất lượng hiệu ứng dụng cho thơng tin hình ảnh video Các nghiên cứu luận án phát triển theo chiều sâu với tính kế thừa Nghiên cứu đề xuất thứ Ở phần nghiên cứu này, tác giả thực theo hướng siêu phân giải video đơn frame Trên sở khảo sát cho thấy, yếu điểm phương pháp siêu phân giải đơn frame gây suy biến vùng cạnh đường biên ảnh video khôi phục Tác giả đề xuất phương pháp siêu phân giải video đơn frame cách kết hợp nội suy không gian vùng ảnh kết cấu khác với nội suy bồi hoàn lấy mẫu Phương pháp đề nghị cho thấy tiến đáng kể chất lượng ảnh độ phân giải cao khôi phục thời gian xử lý Nghiên cứu đề xuất thứ hai Trong phần nghiên cứu này, tác giả đưa lý thuyết toán siêu phân giải video đa frame Từ tác giả đề xuất giải toán siêu phân giải video tĩnh đa frame ước lượng dịch pha miền tần số Giải thuật ước lượng chuyển động bước giải thuật khôi phục ảnh nghiên cứu iii tảng phát triển cho nghiên cứu sau Điểm hạn chế nghiên cứu áp dụng tốt ảnh video tĩnh Nếu áp dụng cho ảnh video động cho chất lượng ảnh khôi phục Nghiên cứu đề xuất thứ ba Cải tiến hạn chế nghiên cứu đầu tiên, tác giả đề xuất phương pháp siêu phân giải video đa frame ước lượng tối thiểu hoá trung bình tuyệt đối vi phân mức xám Phương pháp cho phép đồng thời vừa tách phần cảnh khỏi frame ảnh thực ước lượng chuyển động cho phần cảnh Do đó, việc giải tốn ước lượng chuyển động xác hơn, giúp cải thiện đáng kể chất lượng phần chi tiết cảnh ảnh video khôi phục Tuy nhiên phương pháp thứ hai cịn hạn chế Đó phần chi tiết chuyển động ảnh khôi phục nội suy đơn frame Do vậy, chất lượng ảnh video độ phân giải cao khôi phục không đồng đều, phần chi tiết cảnh rõ nét phần chi tiết chuyển động Nghiên cứu thứ tư Cải tiến hạn chế nghiên cứu thứ hai, tác giả đề xuất phương pháp siêu phân giải video đa frame ước lượng chuyển động cục block pixel điểm ảnh, dựa vào lý thuyết xác suất thống kê Bayesian MAP Phương pháp cho thấy ưu điểm vượt trội việc khôi phục thông tin chi tiết ảnh video động với thời gian xử lý nhanh Phương pháp đề nghị hiệu triển vọng áp dụng thực tế cho ứng dụng siêu phân giải video chất lượng cao Các giải thuật mơ hìnhđề nghị luận án kiểm tra dạng mô thực nghiệm Các kết thí nghiệm so sánh với kết giải thuật trạng Việc đánh giá thực phép đo chuyên dụng xử lý ảnh, như: tỷ số tín hiệu nhiễu (PSNR) độ tương đồng cấu trúc (SSIM) Nhìn chung, tác giả thực theo mục đích nội dung đề luận án Các phương pháp đề nghị với kết tiến rõ rệt so với nghiên cứu trạng siêu phân giải video Luận án có đóng góp thiết thực việc nâng cao chất lượng thơng tin hình ảnh video iv ABSTRACT The human demand for visual perception in clarity is very high When looking at the large picture in high resolution, the image becomes clearly in details It makes our eye muscles become less regulator and increase the visual perception capacity of our brain Besides, the demand for observing image details in clarity is also very necessary for many other fields For example, in the military, need to look in detail the objectives; in medicine, need to look in details of the medical images; in industry, need to look perfect to test products Super-resolution video is the form using software algorithms to reconstruct the high-resolution video images from the input low-resolution video sequence Therefore, the video super-resolution are essential for practical applications Although there has been much studies in recent decades, with significant progress results, the application of video super-resolution application into practice still has not developed strongly It is due to certain restrictions on the quality and application efficiency of the studies The purpose of this thesis is to study and develop video super-resolution methods to improve the quality and application efficiency for video image information The studies of the thesis are developed in depth with inheritance Fisrt study In this study, the authors studied toward single-frame video superresolution Through surveying the single-frame video super-resolution methods in the state-of-the art, it showed that the weaknesses of these methods are causing degradation in the border region of the reconstructed high-resolution video image Therefore, the author has proposed the single-frame video super-resolution method by combining the spatial interpolation in different texture regions and sampling compensation interpolation The proposed method has showed the significant improvements in quality of the reconstructed high-resolution image and fast processing time Second study In this study, the authors have released a theory about multi-frame video super-resolution Since then, the authors proposed the multi-frame static video super-resolution method by phase-shift estimation in the frequency domain The motion estimation algorithm and the image reconstruction algorithms in this method are the platform used for the later studies The disadvantage of this study is to apply v well only for static video images If applying it for dynamic video images, we will get a bad results for the reconstructed high-resolution image Third study To improvements the disadvantage of the first study, the authors have proposed the multi-frame video super-resolution method by estimating the minimum mean absolute differential of gray level This method allows simultaneously separate the background from the image frame and perform motion estimation only for the background Therefore, solving the problem of motion estimation would be more accurate It improves significantly the quality of the background details of the reconstructed high-resolution video image However, in the second study still has a restriction The motion details of the video images are reconstructed only by singleframe interpolation, Bicubic Thus, the quality of the reconstructed high-resolution video images is ununiformded, the background is more clearly than the motion region Fourth study To improvements the restriction of the second study, the authors propose the multi-frame video super-resolution method by estimating local motion of each block of pixels, based on the probability theory, Bayesian MAP This method has shown remarkable advantages in reconstructing full image and fast processing time The proposed method is very efficiency and promising in practical applications for high-quality video super-resolution The algorithms and models proposed in this thesis has been tested in simulation and experimental forms The experimental results were compared with the results of the methods in the state-of-the art The evaluation is carried out by dedicated measurement methods in image processing, such as Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Measurement (SSIM) In overall, the authors have carried out in accordance with the purpose and proposed contents of the thesis The video super-resolution methods proposed has achieved significant progresses to compared with the state-of-the art The thesis has practical contributions to improving the quality of video image information vi LỜI CẢM ƠN Trong suốt q trình thực luận án, tơi nhận nhiều giúp đỡ thầy cô Khoa Điện –Điện tử Khoa Sau Đại Học , Trường Đại Học Bác h Khoa TPHCM Tôi nhận nhiều giúp đỡ, hỗ trợ tạo điều kiện thuận lợi từ Ban Giám Hiệu, Trường Đại Học Công Nghiệp TPHCM, nơi công tác Luận án thử thách lớn tơi Có lẽ tơi khơng thể theo đuổi hồn thành khơng có hướng dẫn tận tình lời động viên, cổ vũ vơ quí giá ủc a PGS TS Lê Tiến Thường TS Đỗ Hồng Tuấn, người thầy mà ghi nhớ biết ơn sâu sắc Tôi xin gửi lời cảm ơn chân thành đến PGS.TS Vũ Đình Thành, TS Đặng Thành Tín, TS Trịnh Hồng Hơn, PGS TS Hồng Đình Chiến , PGS TS Đinh Đức Anh Vũ, TS Nguyễn Thanh Hải, TS Trần Văn Hùng thầy cô Bộ môn Điện tử Viễn Thông, Trường Đại Học Bách Khoa, người có nhiều ý kiến đóng góp phản biện q báu cho tơi, suốt q trình nghiên cứu hồn thiện luận án Để luận án đạt kết hôm này, xin phép bày tỏ lời cảm ơn chân thành đến thầy PGS TS Dương Anh Đức PGS TS Nguyễn Văn Khang Những ý kiến phản biện sâu sắc thấu đáo thầy giúp tơi có cải tiến mang tính đột phát, nâng cao chất lượng kết luận án Bên cạnh đó, t xin gửi lời cảm ơn đến nhóm tác gi ả, Patrick Vandewalle , Hiro Takeda, Guoshen Yu Weisheng Dong Những người chia cho tơi cơng trình nghiên ứ c u mã code chương trình q giá họ Đó tảng sở giúp tơi phát triển giải thuật nghiên cứu Cuối cùng, gửi lời cảm ơn chân thành đến gia đình, bạn bè đồng nghiệp, người có nhiều động viên, chia giúp đỡ để tơi hồn thành luận án Tác giả luận án BÙI THƯ CAO vii MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT xi DANH MỤC CÁC HÌNH xii DANH MỤC CÁC BẢNG xvi CHƯƠNG GIỚI THIỆU TỔNG QUAN .1 1.1 Các khái niệm siêu phân giải ảnh video 1.2 Các yếu tố ảnh hưởng đến chất lượng hệ thống camera số 1.2.1 Ảnh bị mờ hiệu ứng quang học 1.2.2 Ảnh bị mờ chuyển động máy quay 1.2.3 Ảnh bị mờ nhiễu 1.2.4 Ảnh bị suy biến độ phân giải thấp 1.2.5 Các yếu tố ảnh hưởng đến chất lượng ảnh video siêu phân giải 1.3 Giới thiệu siêu phân giải video .4 1.3.1 Phân loại kỹ thuật siêu phân giải video .6 1.3.2 Siêu phân giải video đơn frame .7 1.3.2 Siêu phân giải video đa frame 1.4 Tổng quan trạng nghiên cứu 1.4.1 Các nghiên cứu nước .8 1.4.2 Các nghiên cứu nước .8 1.4.3 Đánh giá trạng nghiên cứu siêu phân giải ảnh video 11 1.5 Nhu cầu thực tế siêu phân giải video 14 1.6 Mục đích nghiên cứu luận án 14 1.7 Các nội dung nghiên cứu luận án 15 1.8 Phạm vi nghiên cứu luận án 15 1.9 Ý nghĩa khoa học ứng dụng thực tiễn đề tài 15 1.10 Cấu trúc luận án .16 CHƯƠNG SIÊU PHÂN GIẢI VIDEO ĐƠN FRAME BẰNG NỘI SUY KHÔNG GIAN KẾT HỢP (CSI) 17 2.1 Giới thiệu phương pháp siêu phân giải CSI .17 2.2 Nội suy không gian vùng kết cấu khác (Spatial Interpolation of Different Texture Regions – SIDTR) 19 2.3 Nội suy bồi hoàn lấy mẫu (Sampling Compensation Interpolation - SCI) 21 viii 2.4 Giải thuật siêu phân giải tổng quát CSI 24 2.5 Thực nghiệm chuỗi video chuẩn 25 2.6 Thảo luận phương pháp CSI .31 2.7 Kết luận phương pháp CSI 31 CHƯƠNG SIÊU PHÂN GIẢI VIDEO TĨNH ĐA FRAME BẰNG PHƯƠNG PHÁP PSEFD ………………………………………………………………………33 3.1 Lý thuyết siêu phân giải video đa frame .33 3.2 Phương pháp xác nhận ảnh 35 3.2.1 Ước lượng dịch 38 3.2.2 Ước lượng xoay .38 3.3 Phương pháp khôi phục ảnh 42 3.4 Giải thuật siêu phân giải PSEFD tổng quát .43 3.5 Thực nghiệm tập ảnh Vandewalle 45 3.6 Thảo luận phương pháp PSEFD 51 3.7 Kết luận phương pháp PSEFD 53 CHƯƠNG MMAD SIÊU PHÂN GIẢI VIDEO ĐA FRAME BẰNG PHƯƠNG PHÁP ………………………………………………………………………55 4.1 Giới thiệu phương pháp MMAD .55 4.2 Giải thuật xác nhận toàn cục MMAD 56 4.3 Giải thuật khôi phục ảnh 59 4.4 Thực nghiệm chuỗi video chuẩn 60 4.5 Thảo luận phương pháp MMAD 71 4.6 Kết luận phương pháp MMAD 71 CHƯƠNG SIÊU PHÂN GIẢI VIDEO ĐA FRAME BẰNG PHƯƠNG PHÁP BAYESIAN MAP (BM) .73 5.1 Giới thiệu phương pháp Bayesian MAP 73 5.2 Phương pháp đề xuất 74 5.2.1 Lý thuyết Bayesian MAP cho ước lượng chuyển động 74 5.2.2 Mơ hình cho hệ thống siêu phân giải video 76 5.2.3 Loại bỏ nhiễu chồng chập phổ ảnh (aliasing) 82 5.3 Thực nghiệm chuỗi video thực .84 5.4 Thảo luận 90 5.5 Kết luận .91 CHƯƠNG KẾT QUẢ THỰC NGHIỆM .92 121 lựa chọn để thể block không 𝑓𝑓𝐿𝐿𝐿𝐿_𝐵𝐵 giá trị ước lượng wavelet block B từ hệ số c1 B , giá trị hệ số wavelet tính bởi, 𝑐𝑐1𝐵𝐵 = 𝜑𝜑(𝑓𝑓𝐿𝐿𝐿𝐿 )|𝐵𝐵 𝑓𝑓𝐿𝐿𝐿𝐿_𝐵𝐵 = 𝜑𝜑�(𝑐𝑐1𝐵𝐵 ) (A.32) Trong 𝜑𝜑 toán tử wavelet áp dụng lên block B Từ (A.20), ta ước lượng ảnh 𝑓𝑓𝐻𝐻𝐻𝐻 , giá trị 𝑓𝑓̃𝐻𝐻𝐻𝐻 , với: 𝑓𝑓̃𝐻𝐻𝐻𝐻 = ∑𝐵𝐵∈𝜏𝜏 𝑎𝑎�(𝐵𝐵)𝑈𝑈 + 𝑓𝑓𝐿𝐿𝐿𝐿_𝐵𝐵 + 𝑈𝑈 + 𝑓𝑓𝐿𝐿𝐿𝐿_𝑟𝑟 (A.33) 𝑓𝑓̃𝐻𝐻𝐻𝐻 = 𝑈𝑈 + 𝑓𝑓𝐿𝐿𝐿𝐿 + ∑𝐵𝐵∈𝜏𝜏 𝑎𝑎�(𝐵𝐵)(𝑈𝑈𝐵𝐵+ − 𝑈𝑈 + )𝜑𝜑�(𝑐𝑐1𝐵𝐵 ) (A.34) Từ (A.20), (A.21), (A.22) (A.23), ta rút được, Trong 𝑈𝑈𝐵𝐵+ tốn tử ước lượng nội suy block B, 𝑈𝑈 + tốn tử nội suy tồn frame Do tốn tử nội suy block theo dạng toạ độ cực, có hai biến, q giá trị khoảng cách 𝜃𝜃 toạ độ góc, nên phương trình (A.34) cịn thể sau, 𝑓𝑓̃𝐻𝐻𝐻𝐻 = 𝑈𝑈 + 𝑓𝑓𝐿𝐿𝐿𝐿 + ∑𝜃𝜃 ∈𝛩𝛩(𝑈𝑈𝜃𝜃+ − 𝑈𝑈 + )𝜑𝜑�(∑𝑞𝑞∈𝛤𝛤 𝑎𝑎��𝐵𝐵𝜃𝜃 ,𝑞𝑞 �𝑐𝑐1𝐵𝐵𝜃𝜃 ,𝑞𝑞 ) (A.35) Trong  phạm vi góc hướng, Γ khoảng cách ước lượng Để ước lượng 𝑓𝑓̃𝐻𝐻𝐻𝐻 tiến gần đến 𝑓𝑓𝐻𝐻𝐻𝐻 , điều đạt việc ước lượng tối ưu hoá hệ số 𝑎𝑎�(B) Hệ số 𝑎𝑎�(B) tính từ ước lượng tối thiểu phương trình Lagrangian, 𝐿𝐿1 (𝑎𝑎�) = ‖𝑐𝑐(1 − ∑𝐵𝐵∈𝜏𝜏 𝑎𝑎�(𝐵𝐵)1𝐵𝐵 )‖2 +⋋ ∑𝐵𝐵∈𝜏𝜏 |𝑎𝑎�(𝐵𝐵)|‖𝑅𝑅�𝐵𝐵 𝑐𝑐 ‖2𝐵𝐵 (A.36) Trong 𝑅𝑅�𝐵𝐵 tốn tử nội suy có qui tắc Đánh giá chất, giải thuật Mallat kết hợp ước lượng tuyến tính ước lượng thông tin dư Việc ước lượng dư thực phép chiếu ước lượng theo hướng lên ước lượng tuyến tính ảnh wavelet block điểm ảnh Giải thuật Mallat thí nghiệm ảnh chuẩn Kết cho thấy giải thuật SME [10] có tiến đáng kể so với giải thuật trước Bicubic, NEDI [25], DFDF [48], KR [8], Curvelet [49], Contourlet [50], SAI [51] Phụ lục A Các vấn đề liên quan 122 A.3 Khôi phục siêu phân giải đa frame A.3.1 Các phương pháp xác nhận miền không gian Tiêu biểu phương pháp Keren [13] với giải thuật ước lượng chuyển động toàn cục frame dựa khai triển Taylor bậc cho phương trình (A.38) Tổng quát ảnh f ( x, y ) f ( x, y ) liên hệ với theo biểu thức: f ( x, y ) = f1[φ ( x + ∆x, y + ∆y )] (A.37) Với (∆x, ∆y ) vector dịch chuyển ảnh f ( x, y ) φ góc xoay f ( x, y ) tâm ảnh sau dịch Vậy f ( x, y ) = f1 ( x cosφ − y sin φ + ∆x, y cosφ + x sin φ + ∆y )] (A.38) Đầu tiên dùng khai triển Taylor cho hàm sin φ cos φ , sau khai triển Taylor cho (A.38) đến đạo hàm cấp 𝑓𝑓1 Nếu ta sử dụng khai triển Taylor sin(θ) cos(θ) đến thành phần bậc 2, ta được: f ( x, y ) ≈ f ( x + a − yθ − xθ / 2, y + b + xθ − yθ / 2) (A.39) Khai triển f với thành phần bậc chuỗi Taylor f ( x, y ) = f1 ( x, y ) + (a − yθ − xθ / 2) ∂f1 ∂f + (b + xθ − yθ / 2) ∂x ∂y (A.40) Sai số 𝑓𝑓2 𝑓𝑓1 sau xoay góc θ dịch đoạn (a,b), 𝑦𝑦𝜃𝜃 𝜕𝜕𝑓𝑓1 𝑥𝑥𝜃𝜃 𝜕𝜕𝑓𝑓1 � � − �𝑏𝑏 + 𝑥𝑥𝑥𝑥 − − 𝑓𝑓2 (𝑥𝑥, 𝑦𝑦)]2 𝐸𝐸 (𝑎𝑎, 𝑏𝑏, 𝜃𝜃 ) = �[𝑓𝑓1 (𝑥𝑥, 𝑦𝑦) + �𝑎𝑎 − 𝑦𝑦𝑦𝑦 − 𝜕𝜕𝜕𝜕 𝜕𝜕𝜕𝜕 (A.41) Sai số E thể tổng thành phần chồng lấp 𝑓𝑓1 𝑓𝑓2 Giá trị E nhỏ ước lượng chuyển dịch góc xoay ta xác Phụ lục A Các vấn đề liên quan 123 Để xác định a, b θ, ta lấy đạo hàm E theo tham số a, b, θ cho chúng zero, sau bỏ qua thành phần khơng tuyến tính số hệ số nhỏ,ta hệ phương trình tuyến tính  ∂f1 ∂f1 ∂f1 ∂f1 ∂f1 a[∑ ( ∂x ) ] + b[∑ ∂x ∂y ] + θ [∑ R ∂x ] = ∑ ∂x ( f1 − f )  ∂f1 ∂f1 ∂f ∂f ∂f  ] + b[∑ ( ) ] + θ [∑ R ] = ∑ ( f1 − f ) a[∑ ∂x ∂y ∂y ∂y ∂y  f f ∂ ∂  a[ R ] + b[ R ] + θ [ R ] = R ( f − f ) ∑ ∑ ∑  ∑ ∂x ∂y (A.42) Do việc lấy xấp xỉ (A.39) nên để nghiệm toán xác giá trị a, b, θ phải nhỏ Một chiến thuật hình tháp sử dụng để gia tăng xác cho việc xác nhận thông số chuyển động lớn phương pháp Nhìn chung, phương pháp Keren thể việc xác nhận tồn cục miền khơng gian, giải thuật đơn giản dễ thực độ xác chưa cao Lý giải thuật Keren dùng khai triển Taylor đến bậc cho hàm giá trị mức xám không gian hai chiều, nên tồn sai số phép giải A.3.2 Các phương pháp xác nhận miền tần số Quan hệ frame f f : cos φ ∆x − sin φ  f ( s) = f1 ( R( s + ∆s)) , với s =   , ∆s =   , R =    y ∆y   sin φ cos φ  x (A.43) Thể miền Fourier F2 (u ) = ∫∫s f ( s )e − j 2π u sds T F2 (u ) = ∫∫s f1 ( R ( s + ∆s )e − j 2π u sds T = e j2π u T ∆s ∫∫ x' f1 ( Rs ' )e − j 2π u s ' ds ' T (A.44) Với F2 (u ) hàm truyền Fourier f ( s ) hàm truyền kết hợp s ' = s + ∆s Đặt s' ' = Rs' ta dạng khác hàm Fourier biên độ F2 (u ) = e j2 π u ∆ s ∫∫s f1 ( Rs ' )e − j 2π u s ' d s' T T Phụ lục A Các vấn đề liên quan 124 = e j2 π u ∆ s∫∫s ' f1 ( Rs ' )e − j 2π u T T ( RT R)s' = e j2 π u ∆ s∫∫s '' f1 ( s ' ' )e − j 2π ( R u) T T ds ' s '' T R ds ' ' = e j2 π u ∆ s R T F1 ( Ru ) T (A.45) Hầu hết phương pháp miền tần số dựa sở phương trình (A.45) ρ ∆φ r Hình A Minh họa giải thuật xác định góc xoay Vandewalle a) b) c) Hình A Minh họa phổ biên độ ảnh, a) ảnh gốc Bulding, b) phổ biên độ ảnh gốc c) phổ biên độ ảnh Building xoay góc 250o Lucchese [14] phát triển giải thuật ước lượng ảnh xoay dựa tính chất biên độ hàm truyền Fourier ảnh biên độ hàm truyền Fourier version mirror ảnh xoay, có cặp đường thẳng trực giao qua zero Góc mà đường thẳng hợp với trục nửa góc xoay ảnh Chuyển dịch theo phương ngang phương thẳng đứng ước lượng sau dùng phương pháp tương quan pha chuẩn Giải thuật có độ xác khơng cao Để khắc phục nhược điểm việc xác định góc xoay giải thuật trên, Vandewalle [15] dùng thuật giải tương quan cho phổ công suất để xác định góc Phụ lục A Các vấn đề liên quan 125 xoay Ф, với giả thiết tâm xoay tâm ảnh, minh họa Hình A.4 Hình A.5 Sau dùng phương pháp ịch d chuyển p miền tần số để xác định độ dịch chuyển Kết thể Bảng A.1 Giá trị xác nhận giải thuật Vandewalle xác Lucchese, so với giải thuật Keren Bảng A So sánh trung bình tuyệt đối (µ) phương sai (σ ) sai số ước lượng dịch xoay, áp dụng cho giải thuật khác 120 thí nghiệm thực Tác giả Vandewalle [15] 2006 Lucchese [14] 2000 Keren [13] 1988 Loại thống kê µ σ µ σ µ σ Góc xoay (độ) 0.126 0.191 0.142 0.181 0.053 0.071 Dịch (pixel) 0.029 0.038 0.327 0.417 0.019 0.027 Nhìn chung Vandewalleđã thể phương pháp hiệu cho việc xác nhận toàn cục chuyển động frame ảnh miền tần số Giải thuật tác giả đơn giản hoá toán xác nhận việc thực ước lượng riêng biệt cho chuyển dịch xoay frame Việc ước lượng chuyển dịch dựa vào tương quan pha miền tần số ước lượng góc xoay dựa vào tương quan phổ cơng suất biên độ góc miền Fourier Trên thực tế mối liên hệ góc xoay chu yển dịch thể hàm Fourier kết hợp, trình bày phương trình (A.45) Đây khuyết điểm làm cho giải thuật Vandewalle có độ xác khơng cao A.3.3 Các phương pháp khôi phục siêu phân giải ảnh kết hợp Với phương pháp việc xác nhận khôi phục thực đồng thời qua việc giải toán số học xác suất mối quan hệ ảnh gốc HR ngõ vào với ảnh lấy mẫu LR qua tác động: hệ số lấy mẫu xuống, hàm mờ nhiễu Một cách tổng quát, ảnh HR 𝑓𝑓𝐻𝐻𝐻𝐻 kích thước L N хL N khôi phục từ tập ảnh LR 𝑓𝑓𝐿𝐿𝐿𝐿_𝑘𝑘 có kích thước N хN ≤ k ≤ p, p số frame ảnh tập 𝑓𝑓𝐿𝐿𝐿𝐿_𝑘𝑘 Mối quan hệ 𝑓𝑓𝐻𝐻𝐻𝐻 𝑓𝑓𝐿𝐿𝐿𝐿_𝑘𝑘 thể phương trình: f LR _ k = Wk f HR + nk (A.46) Phụ lục A Các vấn đề liên quan 126 Trong W k [( N1 N ) × L1 N1L2 N ] ma trận thông số hàm mờ, hàm chuyển động, hàm giảm mẫu, n k ma trận nhiễu Các phương pháp khôi phục ảnh ghép thường xử lí miền khơng gian, dựa vào phương pháp tốn học giải phương trình tìm nghiệm cho hệ (A.46)  Phương pháp Constrained least squares (CLS) [1] dùng khai triển Lagrangian để tìm x, cách xác định hệ số Lagrangian α để tối thiểu hóa biểu thức: p [ ∑ f LR _ k − Wk f HR k =1 2 + α Cf HR ] (A.47) Tốn hạng C có chức lọc highpass tác động lên 𝑓𝑓𝐻𝐻𝐻𝐻  Phương pháp Maximum a posteriori (MAP) [1] dùng thống kê xác suất để xác định thông số  Phương pháp POCS (Projection onto convex set) [1] dùng phép chiếu ánh xạ tập lồi Hình A.6 Minh họa cửa sổ vùng block liệu (5x5 pixel) dùng để xác nhận khôi phục từ ảnh LR ngõ vào để tạo ảnh HR ngõ Nhìn chung phương pháp khôi phục ảnh kết hợp dựa việc giải tốn hệ phương trình, có khối lượng tính tốn lớn, độ xác khơng cao Vì lí số lượng ẩn số nhiều (W k ), kiện đầu vào (𝑓𝑓𝐿𝐿𝐿𝐿_𝑘𝑘 ) Để giảm thời gian xử lý gia tăng độ xác, có nhiều phương pháp siêu phân giải thực việc xác nhận khôi phục phạm vi cục pixel (trong phạm vị block Phụ lục A Các vấn đề liên quan 127 pixel), minh họa Hình A Điều thấy nghiên cứu điển hình, của: Takeda [17], Protter [18] Mitzel [19] năm 2009, Hsieh [20] Lui [21] năm 2011 A.4 Các phép đo đạc đánh giá A.4.1 Trung bình tuyệt đối sai số ước lượng (µ) Trung bình tuyệt đối sai số ước lượng thông số ước lượng e i thông số chuyển động giả lập ban đầu m i , K phép mô phỏng, sau: A.4.2 𝜇𝜇 = ∑𝐾𝐾𝑖𝑖=1|𝑒𝑒𝑖𝑖 − 𝑚𝑚𝑖𝑖 | (A.48) 𝐾𝐾 Phương sai chuẩn sai số ước lượng (σ) Phương sai chuẩn sai số ước lượng thông số ước lượng e i thông số chuyển động giả lập ban đầu m i , K phép mô phỏng, tính sau: A.4.3 1/2 𝜎𝜎 = � ∑𝐾𝐾𝑖𝑖=1(|𝑒𝑒𝑖𝑖 − 𝑚𝑚𝑖𝑖 | − 𝜇𝜇)2 � 𝐾𝐾 (A.49) Tỷ số tín hiệu nhiễu (PSNR) Tỷ số tín hiệu nhiễu frame gốc 𝑓𝑓𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 (𝑥𝑥, 𝑦𝑦) frame HR khơi phục 𝑓𝑓𝐻𝐻𝐻𝐻_𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 (𝑥𝑥, 𝑦𝑦), tính bởi,  PSNR = 20 log10 255   M N    − ( , ) ( , ) f x y f x y ∑ original HR _ reconstructed  MN i∑  =1 j =1   (A.50) (M, N) kích thước frame gốc A.4.4 Đánh giá chất lượng ảnh độ tương đồng cấu trúc (SSIM) Phương pháp SSIM đề xuất Wang [52] năm 2004, với mục đích đưa cơng cụ đánh giá tương đồng hai ảnh hoàn hảo Phương pháp đánh giá dựa vào việc đo đạc ba thơng số hai ảnh đầu vào, độ chói (luminance), độ tương phản (constract) cấu trúc (structure), thể Hình A.7 Phụ lục A Các vấn đề liên quan 128 Hình A Sơ đồ khối hệ thống đo đạc tương đồng cấu trúc (SSIM) Các phép đo xây dựng dực thoả mãn điều kiện sau: 1) Tính đối sứng: SSIM(f , f ) = SSIM(f , f ) 2) Tính giới hạn: SSIM(f , f ) ≤ 3) Tính đồng nhất: SSIM(f , f ) = f = f Đo đạc tương đồng độ chói (luminance) Phép đo độ chói dựa vào sở giá trị trung bình độ nhạy ảnh, 𝜇𝜇, với, 𝜇𝜇 = 𝑁𝑁𝑁𝑁 𝑁𝑁 ∑𝑀𝑀 𝑥𝑥=1 ∑𝑦𝑦=1 𝑓𝑓(𝑥𝑥, 𝑦𝑦) (A.51) Sử dụng tính chất bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói, 𝑙𝑙 (𝑓𝑓1 , 𝑓𝑓2 ) = 2𝜇𝜇 𝜇𝜇 +𝐾𝐾1 𝐿𝐿 (A.52) 𝜇𝜇 12 +𝜇𝜇 22 +𝐾𝐾1 𝐿𝐿 Trong 𝜇𝜇1 trung bình đ ộ nhạy ảnh 𝑓𝑓1 , số 𝐾𝐾1 𝐿𝐿 thêm để tránh bất định, 𝐾𝐾1 ≪ L giá trị maximun phạm vi động mức xám (vd: L=255 cho pixel 8bit) Đo đạc tương đồng độ tương phản (contrast) Phép đo độ tương phản dựa vào sở giá trị phương sai chuẩn ảnh, 𝜎𝜎, với, 𝛿𝛿 = � 𝑁𝑁𝑁𝑁 𝑁𝑁 ∑𝑀𝑀 𝑥𝑥=1 ∑𝑦𝑦=1(𝑓𝑓 (𝑥𝑥, 𝑦𝑦) − 𝜇𝜇) (A.53) Sử dụng tính chất bất đẳng thức Cauchy, ta dễ xác định được, hàm đo độ chói, Phụ lục A Các vấn đề liên quan 129 𝑐𝑐 (𝑓𝑓1 , 𝑓𝑓2 ) = 2𝜎𝜎1 𝜎𝜎2 +𝐾𝐾2 𝐿𝐿 (A.54) 𝜎𝜎12 +𝜎𝜎22 +𝐾𝐾2 𝐿𝐿 Trong số 𝐾𝐾2 𝐿𝐿 thêm để tránh bất định, 𝐾𝐾2 ≪ Đo đạc tương đồng cấu trúc (structure) Phép đo độ tương đồng cấu trúc dựa vào sở tương quan hai ảnh, 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 (𝑓𝑓1 , 𝑓𝑓2 ) = 𝐸𝐸[(𝑓𝑓1 −𝜇𝜇 )(𝑓𝑓2 −𝜇𝜇 )] Khai triển ta được, hàm đo tương đồng cấu trúc, 𝑠𝑠(𝑓𝑓1 , 𝑓𝑓2 ) = 𝑁𝑁𝑁𝑁 𝜎𝜎1 𝜎𝜎2 𝑁𝑁 ∑𝑀𝑀 𝑥𝑥 =1 ∑𝑦𝑦 =1 (𝑓𝑓1 (𝑥𝑥,𝑦𝑦)−𝜇𝜇 )(𝑓𝑓2 (𝑥𝑥,𝑦𝑦)−𝜇𝜇 )+𝐾𝐾3 𝐿𝐿 𝜎𝜎1 𝜎𝜎2 +𝐾𝐾3 𝐿𝐿 (A.55) (A.56) Trong số 𝐾𝐾3 𝐿𝐿 thêm để tránh bất định, 𝐾𝐾3 ≪ Phép đo tương đồng cấu trúc SSIM Kết hợp phép đo tương đồng độ chói, độ tương phản cấu trúc ta phép đo tương đầu cấu trúc SSIM, theo phương trình sau: 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 (𝑓𝑓1 , 𝑓𝑓2 ) = [𝑙𝑙(𝑓𝑓1 , 𝑓𝑓2 )]𝛼𝛼 [𝑐𝑐 (𝑓𝑓1 , 𝑓𝑓2 )]𝛽𝛽 [𝑠𝑠(𝑓𝑓1 , 𝑓𝑓2 )]𝛾𝛾 (A.57) Trong 𝛼𝛼, 𝛽𝛽, 𝛾𝛾 tham ốs tùy định, theo yêu cầu người sử dụng Ta trọng đến yếu tố đo đạc gia tăng trọng số cho yếu tố Thơng thường thương mại, 𝛼𝛼 = 𝛽𝛽 = 𝛾𝛾 = 1, 𝐾𝐾1 = 0.01, 𝐾𝐾2 = 𝐾𝐾3 = 0.03 Thông thường ta không thực việc đo đạc giá trị SSIM cho toàn frame ảnh, mà thực vùng cục frame, ví dụ: cửa số 8x8 pixels hay 11x11 pixels Nên giá trị SSIM thu ma trận giá trị SSIM block nhỏ, hay gọi SSIM index Dựa giá trị trung bình SSIM tính thơng số đo đạc Phụ lục A Các vấn đề liên quan 130 PHỤ LỤC B PHẦN MỀM THỰC NGHIỆM – VSR SOFTWARE Tất giải thuật đề xuất cho siêu phân giải video tác giả thể chương tr ình phần mềm VSR (Video Super-Resolution) viết ngôn ngữ Matlab, version R2013a Để thuận tiện cho việc đánh giá, giải thuật siêu phân giải đề xuất giải thuật tiến tác giả điển hình khác, thể phần mền này, như: Keren [13], Vandewalle [15], KRI [8], SME [10] ASDS [11] Nguồn mã code giải thuật tham khảo download trang web [31], [53], [54], [55], [56] [57] B.1 Giao diện người sử dụng Hình B.1 Minh hoạ giao diện tổng quát phần mềm VSR Menubar: thể ứng dụng phần mềm,  Simulation Experiments: ứng dụng cho phép hệ thống thực thí nghiệm mơ siêu phân giải đa frame  Practical Experiments: ứng dụng cho phép hệ thống thực thực nghiệm siêu phân giải đa frame  Single-Frame Video Super-Resolution: ứng dụng cho phép siêu phân giải đơn frame file video thô, loại AVI Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 131  Video Super-Resolution Codec: ứng dụng cho phép mã hoá siêu phân giải file video thô, loại AVI Original Video Source: cho phép thực thao tác thể thông tin liên quan đến nguồn liệu ảnh ngõ vào, như: mở file video nguồn, hiển thị hình ảnh frame, tên file, kích thước frame,… LR Video Input: cho phép hiển thị thông tin frame ảnh lấ y mẫu xuống theo hệ số lấy mẫu Downsample Factor, cho phép tạo ngẫu nhiên thông số chuyển động frame Options: thể chọn lựa,  Cho phép chọn lựa giải thuật xác nhận, thực xác nhận xem thông số chuyển động frame  Cho phép chọn lựa giải thuật khơi phục, tỷ lệ nội suy kích thước vùng ảnh nội suy  Cho phép cài đặt đường dẫn cho file ngõ khôi phục siêu phân giải HR Video Output: cho phép hiển thị thông tin frame HR khôi phục thời gian xử lý hai q trình: xác nhận khơi phục Các phím chức năng:  Create Random Motion Parameter: cho phép ạt o ngẫu nhiên thông số chuyển động frame, mặc định có frame  Create LR Video Frames: cho phép tạo frame LR từ tập frame ngõ vào, tách từ file video gốc o Nếu ứng dụng Simulation Experiments, Create LR Video Frames vừa có chức lấy mẫu xuống (theo hệ số Downsample Facter) frame chọn, nguồn Original Video Source, vừa tạo frame LR khác tạo cách dịch xoay frame LR theo thông số chuyển động ngẫu nhiên tạo trước phím Create Random Motion Param o Các ứng dụng lại, Create LR Video Frames có chức lấy mẫu xuống  Super-Resolution: cho phép thực chức năng, Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 132 o Siêu phân gi ải đa frame cho frame ảnh video, ứng dụng Simulation Experiments Practical Experiments o Siêu phân giải đơn frame đa frame cho chuỗi ảnh video, ứng dụng Video Super-Resolution o Mã hoá video siêu phân giải cho chuỗi video ngõ vào thô, ứng dụng Video Super-Resolution Codec B.2 Ứng dụng Simulation Experiment Q trình thí nghiệm mơ thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực mô 2) Click vào hộp list box phần Original Video Source, để chọn frame mà ta muốn thực mô Khi thơng số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Cài đặt thông số chuyển động cách click vào nút Create Random Motion Param Thao tác cho phép ạo t tập thông số dịch ngẫu nhiên phạm vi 10 pixel, góc xoay ngẫu nhiên phạm vi o, cho frame Mặc nhiên thông số chuyển động frame zeros 4) Cài đặt giải thuật xác nhận cách click vào drop list box phần Registration Algorithm, chọn giải thuật xác nhận muốn thực 5) Click vào Create LR Video Images ểđtạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho frame chọn Tiếp đến, frame LR dịch xoay theo tập thông số tạo Bước Kết frame LR tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, hiển thị LR Frame Preview 6) Thực xác nhận cách click vào nút Register Kết thông số xác nhận hiển thị bảng Motion Parameter Ta click options set view, để xem thông số chuyển động tạo giả lập, thông số chuyển động xác nhận sai số phép xác nhận 7) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 133 8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khôi phục, muốn 9) Thực xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập frame LR tạo giả lập Kết quả, ảnh HR khôi phục thể phần HR Video Ouput Ảnh HR thể HR Frame Preview Giá trị PSNR, cho vùng ảnh đặt tọa độ, tính frame gốc chọn frame HR khơi phục Ta đặt lại toạ độ, click vào Calculate PSNR để tính lại giá trị PSNR cho vùng Hình B Minh họa ứng dụng mô Simulation Experiments B.3 Ứng dụng Practical Experiment Quá trình thực nghiệm thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực nghiệm 2) Click vào hộp list box phần Original Video Source, để chọn frame đầu mà ta muốn thực Khi thông số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải cho frame chọn , ta click vào text box to, phần Setup Processing Parameter, gõ vào giá trị số thứ tự frame frame cuối ta muốn chọn 4) Cài đặt giải thuật xác nhận cách click vào drop list box phần Registration Algorithm, chọn giải thuật xác nhận muốn thực Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 134 5) Click vào Create LR Video Images ểđtạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi frame liên tiếp chọn bước Kết frame LR tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, thực thị LR Frame Preview 6) Thực xác nhận cách click vào nút Register Kết thông số xác nhận hiển thị bảng Motion Parameter Ta click options set view, để xem thông số chuyển động tạo giả lập, thông số chuyển động xác nhận sai số phép xác nhận Hình B Hình minh họa cho ứng dụng thực nghiệm Practical Experiments 7) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực 8) Chọn tỷ lệ phần trăm kích thước ảnh muốn khơi phục, muốn 9) Thực xử lý khôi phục siêu phân giải, tạo lại Frame ảnh gốc từ tập frame LR tạo giả lập Kết quả, ảnh HR khôi phục thể phần HR Video Ouput Ảnh HR thể HR Frame Preview Giá trị PSNR, cho vùng ảnh đặt tọa độ, tính frame gốc chọn frame HR khơi phục Ta đặt lại toạ độ, rối click vào Calculate PSNR để tính lại giá trị PSNR cho vùng B.4 Ứng dụng Video Super-Resolution Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE 135 Hình B Minh họa ứng dụng Single-Frame Video Super-resolution Quá trình thực nghiệm thực qua bước sau: 1) Mở file video thô cách click vào nút Open Video File, sau chọn đường dẫn, chọn file muốn thực mô 2) Click vào hộp list box phần Original Video Source, để chọn frame chuỗi mà ta muốn thực mơ Khi thơng số Frame đầu phần LR Video Input đặt theo thứ tự frame chọn 3) Để cài đặt số frame liên tiếp mà ta muốn sử dụng để khôi phục siêu phân giải đơn frame, ta click vào text box to, phần Setup Processing Parameter, gõ vào giá trị số frame muốn thực 4) Click vào Create LR Video Images ểđtạo frame LR cách lấy mẫu xuống với tỷ lệ 2x2 cho chuỗi frame liên tiếp chọn bước Kết chuỗi frame LR liên tiếp tạo ra, thị list box phần LR Video Input Để xem hình frame LR, ta click trực tiếp vào frame muốn xem, hiển thị LR Frame Preview 5) Cài đặt giải thuật khôi phục cách click vào drop list box phần Reconstruction Interpolation Algorithm, chọn giải thuật muốn thực 6) Chọn tỷ lệ phần trăm kích thước ảnh muốn khơi phục, muốn 7) Thực xử lý siêu phân giải đơn frame, tạo chuỗi video HR từ chuỗi frame LR ban đầu Kết thể phần HR Video Ouput Phụ lục B Phần mềm thực nghiệm - VSR SOFTWARE ... phân giải video Siêu phân giải video có hai dạng phương pháp: siêu phân giải video đơn frame siêu phân giải video đa frame Siêu phân giải đơn frame hình thức xử lý nâng cao độ phân giải frame ảnh... frame HR Do siêu phân giải video đa frame có chất lượng tốt siêu phân giải video đơn frame Chương Giới thiệu tổng quan 1.3.2 Siêu phân giải video đơn frame Khôi phục siêu phân giải video đơn frame... biến độ phân giải thấp 1.2.5 Các yếu tố ảnh hưởng đến chất lượng ảnh video siêu phân giải 1.3 Giới thiệu siêu phân giải video .4 1.3.1 Phân loại kỹ thuật siêu phân giải video