Thuật toán chuyển đổi ảnh dải động cao sang ảnh dải động thấp dựa trên họ phân giải tuyến tính tách biệt với nội suy đa thức

Bài viết Thuật toán chuyển đổi ảnh dải động cao sang ảnh dải động thấp dựa trên họ phân giải tuyến tính tách biệt với nội suy đa thức đề xuất các toán tử ánh xạ tông màu hình ảnh (TMO). Một bức ảnh dải động cao sẽ tìm được các hệ số xấp xỉ, nhờ toán tử lấy mẫu hoặc toán tử trung bình, và các hệ số chi tiết.

Thái Bá Chiến, Phạm Quốc Thái 36 THUẬT TOÁN CHUYỂN ĐỔI ẢNH DẢI ĐỘNG CAO SANG ẢNH DẢI ĐỘNG THẤP DỰA TRÊN HỌ PHÂN GIẢI TUYẾN TÍNH TÁCH BIỆT VỚI NỘI SUY ĐA THỨC TONE MAPPING OPERATORS BASED ON SEPARABLE NON-LINEAR MULTIRESOLUTION FAMILIES WITH POLYNOMIAL INTERPOLATION Thái Bá Chiến1, Phạm Quốc Thái1 Trường Đại học Bách khoa - Đại học Đà Nẵng; tbchien@dut.udn.vn; pqthai@dut.udn.vn (Nhận bài: 30/11/2020; Chấp nhận đăng: 19/01/2021) Tóm tắt - Bài viết đề xuất tốn tử ánh xạ tơng màu hình ảnh (TMO) Một ảnh dải động cao tìm hệ số xấp xỉ, nhờ toán tử lấy mẫu tốn tử trung bình, hệ số chi tiết Các hệ số chi tiết có liên quan đến phép nội suy đa thức mà có lợi để tính đến điểm kỳ dị, chẳng hạn điểm cạnh hình ảnh, mơ hình tốn học bảo tồn thơng tin cấu trúc hình ảnh dải động cao (HDR) Ngoài ra, tượng Gibbs, có hại hình ảnh ánh xạ tơng màu, tránh Đánh giá chất lượng hình ảnh ánh xạ tông màu đo theo số liệu TMQI Kết mô cho thấy TMO đề xuất cung cấp kết tốt so với chiến lược TMO truyền thống Abstract - This paper proposes High Dynamic Range (HDR) Image Tone Mapping Operators (TMOs) An HDR image will be separate into approximation parts, thanks to downsampling or averaging operator, and detail parts The later part uses polynomial interpolation, which has the advantages of the singularities such as, firstly, edge points of the image thus preserving the structural information of the HDR image Secondly, solving the Gibbs phenomenon, which is harmful in tone mapped images The quality assessment of the tone mapped images is measured by the TMQI metric Simulation results show that the proposed TMOs provide good results compared to traditional TMO strategies Từ khóa - Ảnh dải động cao; tốn tử ánh xạ tơng màu hình ảnh; nội suy đa thức; số chất lượng tông màu Key words - High dynamic range (HDR) image; Tone Mapping Operator (TMO); polynomial interpolation; Tone Mapped Quality Index (TMQI) Đặt vấn đề Hệ thống thị giác người (HVS - Human Visual System) cảm nhận cảnh thực với nhiều màu sắc cường độ khác Để trung thành với HVS, việc thu nhận cảnh giới thực bao gồm chụp nhiều hình ảnh dải động thấp (LDR - Low Dynamic Range) với mức độ phơi sáng khác cảnh Những hình ảnh sau hợp xây dựng hình ảnh trung thực cảnh giới thực nơi khu vực tối sáng hiển thị lúc Những hình ảnh vậy, với chất lượng hình ảnh tuyệt vời, gọi hình ảnh dải động cao (HDR) tránh bị chặn khu vực phơi sáng cảm nhận hình ảnh LDR Tuy nhiên, hình ảnh HDR hiển thị thiết bị hiển thị LDR tiêu chuẩn phạm vi dải động chúng nhỏ so với hình ảnh HDR Hơn nữa, thiết bị hiển thị HDR cịn q đắt Do đó, nhiều tốn tử ánh xạ tơng màu hình ảnh (TMO) đề xuất [1] Mối quan tâm giảm phạm vi dải động (độ tương phản, gam màu, chi tiết ) hình ảnh HDR xuống phạm vi động thiết bị hiển thị LDR trì xuất cảnh chụp độ tương phản ấn tượng chung độ sáng màu sắc Trong năm gần đây, số lượng lớn nghiên cứu chủ đề hình ảnh TMO phát triển Mặc dù phương pháp TMO có chiến lược riêng, báo xem lại tất công việc phát triển Tuy nhiên, danh sách TMO đầy đủ tài liệu tham khảo [1] phân loại TMO thành phương pháp có tính chất cục bộ, tồn cục, phân vùng tần số Một số TMO chọn sử dụng để đánh giá hiệu suất phương pháp, như: Trong [2], Durand Dorsey đề xuất TMO làm giảm độ tương phản HDR giữ chi tiết hình ảnh Cơng việc sử dụng lọc song phương bảo toàn cạnh để phân tách hình ảnh HDR thành hai lớp: Lớp sở mã hóa biến thể quy mơ lớn lớp chi tiết Độ tương phản sau giảm lớp chi tiết giữ nguyên Sự kết hợp lớp TM tạo hình ảnh LDR TMO thực miền logarit, xem xét khác biệt cường độ điểm ảnh logarit đề cập đến biện pháp tương phản Trong [3], Drago cộng trình bày phương pháp ánh xạ logarit thích nghi giá trị độ chói Nó liên quan đến điều chỉnh thích nghi sở logarit tùy thuộc vào độ rọi pixel Một tập hợp hàm logarit từ log2 đến log10 sử dụng để bảo toàn chi tiết cảnh để cải thiện độ tương phản kết xuất Hàm trọng lượng sử dụng để đảm bảo nội suy trơn tru sở logarit khác Trong [4], Li cộng đề xuất kiến trúc băng liên quan đến đại diện kim tự tháp Haar Các hệ số băng điều chỉnh lại cách sử dụng chức điều khiển khuếch đại làm giảm cường độ tần số cao tăng cường độ thấp Các băng sửa đổi sau kết hợp với lọc tổng hợp Haar tổng hợp để tái tạo lại hình ảnh LDR cuối Trong [5], Duan cộng đề xuất phương pháp tối ưu hóa dựa điều chỉnh biểu đồ ánh xạ tuyến tính ánh xạ biểu đồ cân Trong [6], Fattal cộng đề xuất hệ sóng thứ hai dựa nội dung cạnh hình ảnh tránh việc có pixel từ hai phía cạnh Cách tiếp cận sau khai thác để ánh xạ hình ảnh HDR thành hình ảnh LDR The University of Danang - University of Science and Technology (Ba Chien Thai, Pham Quoc Thai) ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 1, 2021 Bài viết đánh giá hiệu suất TMO liên quan đến họ đa biến phân tách phi tuyến tính với phép nội suy đa thức sử dụng phép nội suy phụ thuộc liệu Theo hiểu biết nhóm tác giả, nhóm đa chưa khai thác chủ đề ánh xạ tơng màu hình ảnh Sự lựa chọn định hướng thực nhóm có khả đưa vào mơ hình tốn học liên quan đến điểm kỳ dị hình ảnh Phương pháp đề xuất dựa nội suy liệu phụ thuộc Các TMO đề xuất dựa cách tiếp cận đa biến phi tuyến tính tách rời (1D) dựa phép nội suy phụ thuộc liệu Các cách tiếp cận khai thác chiến lược nội suy không dao động (ENO - Essentially Non-Oscillatory) phát triển Harten [7], [8], [9], [10], họ đột biến biến đổi giá trị điểm (PointValue, PV) nhóm đa biến đổi tế bào (Cell-Average, CA) xem xét Phần đưa toán tử dự báo ENO 1D khai thác tốn tử ánh xạ tơng màu hình ảnh nhóm tác giả Các nhóm có khả xem xét mơ hình tốn học điểm kỳ dị biệt lập điểm cạnh ảnh, tránh tượng Gibbs đặc biệt có hại hình ảnh ánh xạ tơng màu 2.1 Họ đa phân giải giá trị điểm ENO Trong họ này, ký hiệu ENO-PV, vectơ rời rạc 𝑗 𝑣 𝑗 ∶= (𝑣𝑘 )𝑘∈𝑍 coi giá trị điểm hàm liên tục 𝑣 𝒋 lưới Γ𝑗 : = ( 2−𝑗 𝑘)k∈Z , tức 𝒗𝒌 = 𝑣(2−𝑗 𝑘) Toán tử chiếu 𝑗−1 𝐷𝑗 toán tử lấy mẫu xuống (downsampling), tức là: 𝑗−1 𝑣𝑘 𝑗 = 𝑣2𝑘 (1) Để điều chỉnh dự đoán gần với điểm kỳ dị liệu, Harten đề xuất sử dụng kỹ thuật nội suy ENO j−1 Ở cấp độ phân giải 𝑗, giá trị dự đoán (𝑣̂2𝑘+1 )𝑘=1 𝑁𝑗 𝑗−1 tính gần cách sử dụng giá trị 𝑣𝑘 từ khn mẫu dự đốn (prediction stencil) có độ dài 2𝑀 − xác định là: 𝑆(𝑘, 𝑟): = {(𝑘 + − 𝑟 − 𝑀)2 𝑗−1 , … , (𝑘 − 𝑟 + 𝑀)2 𝑗−1 } (2) với, 𝑟 số nguyên [−𝑀 + 1, 𝑀 − 1], tương ứng với vị trí khuôn mẫu 𝑘 Một đa thức 𝑝𝑘,𝑟 bậc 2𝑀 − định nghĩa để nội suy giá trị 𝑣 𝑆(𝑘, 𝑟) số tập đa thức 𝑝𝑘,𝑟 Tốn tử đốn sau định nghĩa toán tử nội suy phụ thuộc liệu Các giá trị dự đốn sau đưa bởi: j−1 𝑣̂2𝑘+1,𝑟 = 𝑝𝑘,𝑟∗ ((2k + 1)2−𝑗 ) 37 2.2 Họ đa phân giải trung bình ENO Trong họ này, ký hiệu ENO-CA, vectơ rời rạc 𝑗 𝑣 𝑗 ∶= (𝑣𝑘 )𝑘∈𝑍 coi giá trị trung bình hàm liên tục gấp khúc 𝑣 lưới Γ𝑗𝑘 : = {[2−𝑗 𝑘, 2−𝑗 (𝑘 + 1)], 𝑘 ∈ 𝑍} Các lưới xác định cách sử dụng khoảng 𝑗 𝑗−1 dyadic có dạng 𝐼𝑘 = [2−𝑗 𝑘, 2−𝑗 (𝑘 + 1)] Toán tử 𝐷𝑗 trở thành ngữ cảnh tốn tử tính trung bình: j−1 𝑣̂k 𝑗 𝑗 = (𝑣2𝑘 + 𝑣2𝑘+1 ) (5) Như trường hợp PV, khn mẫu dự đốn 𝑆 (𝑘, 𝑟) cho bởi: 𝑗−1 𝑗−1 𝑆(𝑘, 𝑟): = {𝐼𝑘+1−𝑟−𝑀 , … , 𝐼𝑘−1−𝑟+𝑀 } Chiều dài khuôn mẫu dự đoán 2𝑀 − Một đa thức 𝑝𝑘,𝑟 bậc 2𝑀 − xác định để nội suy giá trị trung bình 𝑆(𝑘, 𝑟) Theo chiến lược ENO xác định trường hợp PV, tập đa thức 𝑝𝑘,𝑟 với 𝑟 = [−𝑀 + 1, 𝑀 − 1], với 𝑝𝑘,𝑟∗ chọn đa thức dao động nhỏ tương ứng với 𝑟 ∗ Các giá trị dự đoán j−1 sau suy từ: 𝑣̂2𝑘+1,𝑟 = ∫𝐼j 𝑝𝑘,𝑟∗ (t)𝑑𝑡 (7) 2𝑘+1 Đa thức nội suy Lagrange (2𝑀 − 2) tứ phân, lục phân bát phân sử dụng (𝑀 = 3, 5) 2.3 Toán tử ánh xạ tông màu sử dụng phép nội suy phụ thuộc liệu Phần trình bày cách tiếp cận đề xuất ánh xạ hình ảnh HDR sang hình ảnh LDR Toán tử chọn dựa phần mở rộng họ đa phân giải phi tuyến tính 1D, mô tả phần trước, sử dụng phương pháp tiếp cận sản phẩm tensor cổ điển Giả sử hình ảnh HDR có kích thước N × M pixel Ký hiệu T TMO tương ứng với ENO5-PV, ENO5-CA, ENO7-PV, ENO7-CA, ENO9-PV ENO9-CA Nó thực phép biến đổi logarit giá trị Luma Lw hình ảnh HDR Thật vậy, mục tiêu phép biến đổi logarit tính đến tất biến thể nhỏ cảnh Trong số phép biến đổi logarit có, chức sau chọn: 𝐷 = 𝑙𝑜𝑔10 (𝐿𝑤 + 𝜀); (8) 𝜀 giá trị dương thêm vào để tránh xa trường hợp kỳ dị logarit Luma biến đổi sau phân rã theo sơ đồ cung cấp Hình (3) ∗ Trong đó, tham số 𝑟 liên kết với đa thức 𝑝𝑘,𝑟 giới thiệu dao động nhỏ xung quanh vùng lân cận 𝑘 theo hàm chi phí 𝐶 𝑗−1 (𝑆(𝑘, 𝑟) = ∑𝑙𝜖𝑆(𝑘,𝑟 )|𝑣𝑙+1 − 𝑣𝑙 | cho nghiệm phương trình: 𝑟 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛−𝑀+1≤𝑟≤𝑀−1 (𝐶 𝑗−1 (𝑆(𝑘, 𝑟)) (4) j−1 𝑣̂2𝑘+1 Các giá trị dự đoán, cho 𝑟 = [−𝑀 + 1, 𝑀 − 1], cung cấp cho đa thức Lagrange (2𝑀 − 1) ngũ phân, thất phân cửu phân, tương ứng với 𝑀 = 3, (6) Hình Sự phân hủy tách biệt (ENO-PV, ENO-CA) hiệu chỉnh hàm trọng lượng số Thái Bá Chiến, Phạm Quốc Thái 38 Quy trình áp dụng dịng sau cột hình ảnh Ở mức độ phân giải 𝐽, tập hợp hệ số xấp xỉ 𝑣 hệ số chi tiết {𝑑 , 𝑑1 , 𝑑 , … 𝑑 𝑗−1 , … , 𝑑 𝐽−1 } thu Lưu ý rằng, 𝑑 𝑗−1 𝑗−1 𝑗−1 𝑗−1 bao gồm khối (𝑑𝑣 , 𝑑ℎ , 𝑑𝑑 ) dạng cách khôi phục không dư thừa Các hệ số nhân tỷ lệ sau: 𝛽 × 𝑣0 với ≤ 𝛽 ≤ 1; 𝛾× {𝑑 , 𝑑1 , 𝑑 , … 𝑑 𝑗−1 , … , 𝑑 𝐽−1 } với ≤ 𝛾 ≤ Hình Sự khơi phục tách biệt (ENO-PV, ENO-CA) Kết mô Phần so sánh chất lượng ánh xạ tơng màu hình ảnh cách sử dụng họ phân giải mô tả phần trước Chất lượng ánh xạ tông màu hình ảnh đo với số chất lượng hình ảnh ánh xạ tơng màu (Tone Mapped image Quality Index, TMQI) bao gồm số đánh giá đơn cộng lại: Đánh giá tin cậy cấu trúc ảnh (Structural Fidelity) đánh giá có tính thống kê tính tự nhiên ảnh (Statistical Naturalness) phát triển [13] Chỉ số đánh giá hình ảnh LDR hình ảnh HDR gốc Lưu ý rằng, số đo TMQI có giới hạn giá trị Mô tiến hành phần mềm Matlab môi trường sử dụng hộp công cụ HDR [1], với tên hình ảnh HDR thử nghiệm "BottleSmall", "Light", "SmallOffice" "AtriumNight" Các tham số khác chọn để đưa kết tốt số TMQI tất phương pháp Sáu toán tử TMO ENO5-PV, ENO5-CA, ENO7-PV, ENO7-CA, ENO9-PV ENO9-CA sử dụng với tham số sau 𝛽 = 0,3; 𝛾 = 0,3; 𝐽 = Chúng so sánh đến : - Fattal [6] sử dụng phương pháp WCDF RBW với tham số sau 𝛼 = 0,8; 𝛽 = 0,3; 𝛾 = 0,7; 𝐽 = 2; 𝑢𝑝𝑑 = 0; - Drago [3], Reinhard [11], Ward [12], Durand [2] với tham số mặc định cho Hộp công cụ HDR Duan [5] sử dụng 𝛽 = 0,3 Bảng cung cấp số chất lượng ánh xạ tơng màu hình ảnh TMQI theo phương pháp khác Hiệu suất họ đa phân giải phi tuyến tính cạnh tranh với Fattal [8] Cũng lưu ý rằng, giải pháp nhóm tác giả tốn mặt tính tốn so với WCDF u cầu tính tốn lưu trữ hệ số trọng lượng cho bước tái tạo Thử nghiệm với tên ảnh HDR “Light” sử dụng toán tử RBW, WCDF, ENO5-CA, ENO5-PV, ENO7-CA, ENO7-PV, ENO9-CA ENO9-PV đưa Hình 3, Hình 4, Hình 5, Hình 6, Hình 7, Hình 8, Hình Hình 10 Những hình ảnh có chất lượng hình ảnh tương tự Bảng Chỉ số chất lượng tơng màu hình ảnh (TMQI) Tên ảnh HDR thử nghệm Phương pháp TMO Bottle Small Light Small Office Atrium Night Drago [3] 0,801 0,801 0,814 0,799 Reinhard [11] 0,807 0,826 0,789 0,801 Ward [12] 0,783 0,775 0,817 0,797 Durand [2] 0,892 0,825 0,814 0,929 Duan [5] 0,915 0,955 0,986 0,964 FattalWCDF [6] 0,969 0,920 0,914 0,941 FattalRBW [6] 0,972 0,920 0,916 0,944 ENO5-CA 0,941 0,925 0,989 0,962 ENO5-PV 0,926 0,914 0,976 0,928 ENO7-CA 0,947 0,912 0,956 0,927 ENO7-PV 0,989 0,945 0,952 0,91 ENO9-CA 0,960 0,940 0,964 0,913 ENO9-PV 0,991 0,943 0,941 0,959 Hình Fattal’s RBW (α = 0,8; β = 0,3; γ = 0,7; J=2; upd=0) Hình Fattal’s WCDF (α = 0,8; β = 0,3; γ = 0,7; J=2;upd=0) ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 1, 2021 Hình ENO5-CA (β = 0,3; γ = 0,3; J=2) Hình ENO5-PV (β = 0,3; γ = 0,3; J=2) Hình ENO9-CA (β = 0,3; γ = 0,3; J=2) Hình 10 ENO9-PV (β = 0,3; γ = 0,3; J=2) Hình 11 Drago Hình ENO7-CA (β = 0,3; γ = 0,3; J=2) Hình 12 Reinhard Hình ENO7-PV (β = 0,3; γ = 0,3; J=2) Hình 13 ENO5-CA (β = 0,3; γ = 0,3; J=2) 39 Thái Bá Chiến, Phạm Quốc Thái 40 có tính cạnh tranh với tốn tử ánh xạ tơng màu hình ảnh có Lời cảm ơn: Nghiên cứu tài trợ Quỹ Phát triển Khoa học Công nghệ - Đại học Đà Nẵng đề tài có mã số B2019-DN02-51 TÀI LIỆU THAM KHẢO Hình 14 ENO5-CA (β = 0,3; γ = 0,3; J=2) Hình 15 Khả khơi phục cạnh ngang cầu thang phương pháp ENO5-CA (β = 0,3; γ = 0,3; J=2) Kết luận Bài báo đánh giá hiệu suất toán tử ánh xạ tông màu bắt nguồn từ họ đa phân giải phi tuyến tính tách biệt Các nhóm này, dựa phép nội suy phụ thuộc vào liệu, đưa vào mơ hình tốn học chúng điểm kỳ dị hình ảnh HDR Hiện tượng Gibbs ảnh hưởng đến chất lượng hình ảnh hình ảnh ánh xạ tơng màu sau bị giảm xuống Hơn cạnh dọc ngang hiển thị tốt Hình 15 Các kết mơ [1] Banterle, F., Artusi, A., Debattista, K., Chalmers, A., Advanced High Dynamic Range Imaging, CRC Press, ISBN: 978-156881-7194, 2011 [2] Durand, F., and Dorsey, J., “Fast bilateral filtering for the display of highdynamic-range images”, ACM Transactions on Graphics, 2002, 257-266 [3] Drago, F., Myszkowski, K., Annen, T., and Chiba, N., “Adaptive logarithmic mapping for displaying high contrast scenes”, Computer Graphics Forum 22, 2003, 419-426 [4] Li, Y., Sharan, L., and Adelson, E., “Compressing and companding high dynamic range images with subband architectures”, ACM Transaction on Graphics 24, 2005, 836-844 [5] Duan, J., Bressan, M., Dance, C., and Qiu, G., “Tone-mapping high dynamic range images by novel histogram adjustment”, Pattern Recognition, 2010, 1847-1862 [6] Fattal, R., “Edge-Avoiding Wavelets and their Applications”, ACM Transaction on Graphics, 2009 [7] Harten, A., “Multiresolution representation of data: a general framework”, SIAM J Numerical Analysis 33, 1996, 1205-1256 [8] Harten, A., Engquist, B., Osher, S., and Chakravarthy, S., “Uniformly high order accurate essentially non-oscillatory schemes III”, Journal of Computer, 1987, 231-303 [9] Amat, S., Arandiga, F., Cohen, A., Donat, R., Garcia, G., and Oehsen, M.V., “Data compression with ENO schemes : A case study”, Applied and Computational Harmonic Analysis, 2001, 273-288 [10] Amat, S., Donat, R., Liandrat, J and Trillo; J.C “A fully adaptive PPH multiresolution scheme for image processing”, Mathematical and Computer Modelling, 2006 [11] Reinhard, E., and Devlin, K., “Dynamic range reduction inspired by photoreceptor physiology”, IEEE Transactions on Visualization and Computer Graphics 11, 2005, 13-24 [12] Ward, G., Rushmeier, H., and Piatko, C., “A visibility matching tone reproduction operator for high dynamic range scenes”, IEEE Transactions on Visualization and Computer Graphics 3, 1997, 291-306 [13] Yeganeh, H and Wang, Z., “Objective quality assessment of tonemapped images”, IEEE Transaction on Image Processing, 2013, 657-667  ... CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 1, 2021 Bài viết đánh giá hiệu suất TMO liên quan đến họ đa biến phân tách phi tuyến tính với phép nội suy đa thức sử dụng phép nội suy phụ... màu bắt nguồn từ họ đa phân giải phi tuyến tính tách biệt Các nhóm này, dựa phép nội suy phụ thuộc vào liệu, đưa vào mơ hình tốn học chúng điểm kỳ dị hình ảnh HDR Hiện tượng Gibbs ảnh hưởng đến... tơng màu sử dụng phép nội suy phụ thuộc liệu Phần trình bày cách tiếp cận đề xuất ánh xạ hình ảnh HDR sang hình ảnh LDR Tốn tử chọn dựa phần mở rộng họ đa phân giải phi tuyến tính 1D, mơ tả phần