Mô hình khử nhiễu ảnh dựa trên tổng biến phân thích nghi

Bài viết Mô hình khử nhiễu ảnh dựa trên tổng biến phân thích nghi trình bày về mô hình khử nhiễu ảnh dựa trên hướng tiếp cận biến phân. Để có kết quả khử nhiễu tốt hơn và bảo toàn đường biên, đề xuất thành phần tổng biến phân thích nghi được xây dựng dựa trên hàm trọng số có giá trị biến đổi tùy thuộc vào đặc trưng của điểm ảnh.

Phan Trần Đăng Khoa 38 MƠ HÌNH KHỬ NHIỄU ẢNH DỰA TRÊN TỔNG BIẾN PHÂN THÍCH NGHI AN IMAGE DENOISING MODEL USING AN ADAPTIVE TOTAL VARIATION REGULARIZATION Phan Trần Đăng Khoa Trường Đại học Bách khoa – Đại học Đà Nẵng; ptdkhoa@dut.udn.vn Tóm tắt - Trong báo này, chúng tơi trình bày mơ hình khử nhiễu ảnh dựa hướng tiếp cận biến phân Để có kết khử nhiễu tốt bảo toàn đường biên, chúng tơi đề xuất thành phần tổng biến phân thích nghi xây dựng dựa hàm trọng số có giá trị biến đổi tùy thuộc vào đặc trưng điểm ảnh Phép đo độ cong trung bình sử dụng để mô tả đặc trưng ảnh điều chỉnh giá trị hàm trọng số, qua thay đổi độ làm mịn ảnh mơ hình Phương pháp Split Bregman áp dụng để giải toán tối ưu Kết mơ cho thấy, mơ hình đề xuất có khả khử nhiễu tốt so với mơ hình cổ điển hai tiêu chí định lượng định tính Abstract - In this paper, we present a denoising model based on the variational approach To better denoise and preserve edges, we propose an adaptive total variation term based on a weighted function, values of which are adapted to the features of pixels The mean curvature is used to describe the features of images and adjusts values of the weighted function, i.e strength of smoothing of the model The Split Bregman is applied to solve the minimization problem The numerical results demonstrate that, the proposed model yields better denosing performance compared with the classical model in both terms of quatitative and qualitative criteria Từ khóa - khử nhiễu; tổng biến phân; Split Bregman; mơ hình ROF Key words - image denoising; total variation; Split Bregman; ROF model Đặt vấn đề Trong trình thu nhận, truyền ghi liệu, hình ảnh bị nhiễu khiếm khuyết cấu tạo thiết bị thu phát hình ảnh mơi trường bên ngồi Do đó, việc khử hiệu ứng nhiễu cần thiết nhằm phục vụ cho bước xử lý ảnh Gọi 𝑢: Ω ⊂ ℝ2 → ℝ ảnh gốc (không nhiễu) 𝑓 ảnh nhiễu 𝑢 Q trình gây nhiễu ảnh mơ hình hóa sau: (1) 𝑓 = 𝑢 + 𝜂, Trong đó, 𝜂~𝒩(0, 𝜎 ) nhiễu cộng Gauss với giá trị trung bình 𝜇 = phương sai 𝜎 Việc khôi phục ảnh gốc 𝑢 xem toán ngược (inverse problem) với ràng buộc yếu Phương pháp thơng thường để giải tốn ngược bổ sung thành phần ổn định hóa (regularization term) vào hàm lượng (energy function) để ràng buộc tốn có nghiệm Mơ hình Rudin-Osher-Fatemi (ROF) [1] nghiên cứu tiếng theo hướng này, biểu diễn sau: tác giả đề xuất kết hợp tổng biến phân Non-local means (NLM) [2, 3] Trong đó, NLM [4] đóng vai trò xác định trọng số cho thành phần ổn định hóa dựa tương đồng điểm ảnh Trong nghiên cứu [5], mơ hình thích nghi đề xuất với thành phần ổn định hóa có khả tự điều chỉnh tương ứng với đặc trưng điểm ảnh Trong báo này, nhóm tác giả nghiên cứu mơ hình khử nhiễu dựa hướng tiếp cận biến phân (variational method) Đóng góp nghiên cứu nằm đề xuất thành phần tổng biến phân thích nghi (adaptive total variation) nhằm cải thiện hiệu khử nhiễu mơ hình ROF So với mơ hình tổng biến phân thích nghi có, nhóm tác giả đề xuất sử dụng độ cong trung bình mặt ảnh để mô tả đặc trưng ảnh từ điều chỉnh độ ổn định hóa (hay độ mịn ảnh) mơ hình thích nghi với tính chất điểm ảnh ( ∫ (𝑢 − 𝑓)2 𝑑𝑥 + 𝜆 ∫ |∇𝑢|𝑑𝑥 ), 𝑢 Ω Ω (2) với ∇ - toán tử gradient; 𝜆 hệ số ổn định hóa Thành phần thứ hàm lượng (2) đo lường “độ trung thực” (fidelity) ảnh khử nhiễu so với ảnh nhiễu 𝑓 dạng khoảng cách Euclid; thành phần thứ hai gọi tổng biến phân (total variation), đóng vai trị thành phần ổn định hóa Thành phần tổng biến phân đặc trưng cho độ mượt ảnh khử nhiễu, đồng thời cho phép tồn đường biên (edges) Nhược điểm mơ hình ROF hiệu ứng bậc thang (staircase effect) xuất cực trị biên ảnh Hiệu ứng bậc thang đặc trưng việc hình thành vùng ảnh có độ sáng đồng Để giải vấn đề này, Mơ hình đề xuất Nhóm tác giả đề xuất mơ hình khử nhiễu sử dụng thành phần tổng biến phân thích nghi sau: 𝜆 ( ∫ (𝑢 − 𝑓)2 𝑑𝑥 + ∫ 𝛼(𝑥)|∇𝑢|𝑑𝑥 ), 𝑢 Ω Ω (3) với 𝛼(𝑥) hàm trọng số có giá trị biến đổi thích nghi với đặc trưng điểm ảnh Mục tiêu mơ hình đề xuất điều chỉnh độ làm mịn ảnh tùy thuộc vào đặc trưng điểm ảnh Cụ thể, vùng có độ sáng tương đồng, mơ hình khử nhiễu mạnh, làm mịn ảnh; Còn vùng đường biên, độ làm mịn ảnh giảm để giữ chi tiết ảnh Để đạt mục tiêu này, nhóm tác giả xây dựng hàm trọng số 𝛼(⋅) dựa phép đo độ cong trung bình (mean curvature) sau: Một ảnh 𝑢 xác định miền Ω ∈ ℝ2 xem mặt (surface) ℝ3 xác định 𝑧 = 𝑓(𝑥, 𝑦) với (𝑥, 𝑦) ∈ Ω Độ cong trung bình [6] ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 18, NO 5.1, 2020 mặt ảnh định nghĩa sau: ∇𝑢 𝜅𝑢 = ∇ ⋅ ( ) √1 + |∇𝑢|2 ∫ 𝑢 div(𝜉)𝑑𝑥 = lim ∫ 𝑢𝑛 div(𝜉)𝑑𝑥 với, 𝐺𝜎 lọc Gaussian với tham số 𝜎; ∗ phép chập Hàm trọng số xác định biểu thức: 𝛼(𝑥) = , (6) + 𝛽𝜅̅𝑢 với, 𝛽 hệ số dương; 𝜅̅𝑢 độ cong trung bình chuẩn hóa biểu diễn bởi: 𝜅𝑢 𝜅̅𝑢 = (7) max(𝜅𝑢 ) Do 𝜅̅𝑢 ∈ [0,1] nên hàm 𝛼(𝑥) đồng biến giảm từ đến 1/(1 + 𝛽) Đối với vùng có độ sáng tương đồng, 𝜅̅𝑢 → nên 𝛼(𝑥) → Còn đường biên, 𝜅̅𝑢 → nên 𝛼(𝑥) → 1/(1 + 𝛽) Như vậy, hàm 𝛼(𝑥) điều chỉnh trọng số thành phần ổn định hóa hàm lượng (3), từ tăng độ làm mịn vùng có độ sáng tương đồng giảm độ làm mịn đường biên Tính hội tụ Để chứng minh tính hội tụ nghiệm tốn (3), nhóm tác giả đưa định nghĩa tổng biến phân thích nghi sau Định nghĩa 1: Cho 𝛼(𝑥) ≥ hàm số thực miền Ω Tổng biến phân thích nghi (𝑇𝑉𝛼 ) ảnh 𝑢 miền Ω định nghĩa bởi: 𝑇𝑉𝛼 = ∫ 𝛼(𝑥)|∇𝑢|𝑑𝑥 𝑛→∞ Ω Bằng cách lấy cận (supremum) cho vế, ta chứng minh Định lý □ Định lý 2: Giả sử ảnh 𝑓 ∈ 𝐿2 (𝛺), nghiệm 𝑢∗ toán (3) 𝐵𝑉(𝛺), với BV không gian hàm có biến phân chặn (bounded variation) Chứng minh Rõ ràng rằng, hàm 𝑇𝑉𝛼 hàm lồi Do hàm (3) tổng có trọng số hàm lồi 𝑇𝑉𝛼 hàm lồi nghiêm ngặt (thành phần thứ hàm (3)) nên hàm (3) hàm lồi nghiêm ngặt 𝐵𝑉(Ω) Tính nghiệm suy trực tiếp từ tính lồi nghiêm ngặt hàm (3) Phương pháp tính Nhóm tác giả áp dụng phương pháp Split Bregman [7] để giải toán tối ưu (3) Do tính rời rạc ảnh số, nhóm tác giả lựa chọn dạng rời rạc toán tử vector sau: Gọi 𝑢𝑖,𝑗 (𝑖 = 1, … , 𝑁 𝑗 = 1, … , 𝑀) ảnh rời rạc Toán tử gradient 𝛻𝑢 = ((∇𝑢)1𝑖,𝑗 , (∇𝑢)2𝑖,𝑗 ) xác định bởi: 𝑢 − 𝑢𝑖,𝑗 𝑛ế𝑢 𝑖 < 𝑁 (∇𝑢)1𝑖,𝑗 = { 𝑖+1,𝑗 , 𝑛ế𝑢 𝑖 = 𝑁 (11) 𝑢 − 𝑢𝑖,𝑗 𝑛ế𝑢 𝑗 < 𝑀 (∇𝑢)2𝑖,𝑗 = { 𝑖,𝑗+1 𝑛ế𝑢 𝑗 = 𝑀 Toán tử phân kỳ định nghĩa tương tự dạng liên tục: 𝑑𝑖𝑣 = −∇∗ , với ∇∗ đối ngẫu (adjoint) of ∇ Ta có: (𝑑𝑖𝑣 𝑝)𝑖,𝑗 = (𝑑𝑖𝑣 𝑝)1𝑖,𝑗 + (𝑑𝑖𝑣 𝑝)2𝑖,𝑗 , (12) với 1 𝑝𝑖,𝑗 − 𝑝𝑖−1,𝑗 𝑛ế𝑢 < 𝑖 < 𝑁 (𝑑𝑖𝑣 𝑝)1𝑖,𝑗 = { (8) ≤ 𝛼(𝑥), ∀𝑥 ∈ Ω} , với, sup cận (supremum); 𝐶01 (𝛺, 𝐵2 ) không gian compact hàm khả vi liên tục miền Ω; 𝐵2 hình trịn đơn vị mở ℝ2 ; div toán tử phân kỳ (divergence) Từ định nghĩa trên, ta chứng minh tồn tính nghiệm toán (3) sau Định lý 1: Giả sử 𝑢𝑛 (𝑥, 𝑦) → 𝑢(𝑥, 𝑦) không gian hàm khả tích bậc 𝐿1 (𝛺), ta có: ∫ 𝜆(𝑥)|∇𝑢| ≤ lim inf ∫ 𝜆(𝑥)|∇𝑢𝑛 | 𝑛→∞ Ω (9) Chứng minh Theo định nghĩa 𝑇𝑉𝛼 , 𝜉 ∈ 𝐶𝑐1 (Ω, 𝐵2 ) bất kỳ, ta có: 𝑝𝑖,𝑗 𝑛ế𝑢 𝑖 = 1 −𝑝𝑖−1,𝑗 (𝑑𝑖𝑣 𝑝)2𝑖,𝑗 = { 𝛺 (10) ≤ lim ∫ 𝜆(𝑥)|∇𝑢𝑛 | 𝑝𝑖,𝑗 𝛺 Ω 𝑛→∞ Ω Ω (4) Độ cong trung bình mặt mơ tả đặc trưng hình học mặt đó, bao gồm góc, đường biên độ tương phản [6] Để giảm ảnh hưởng nhiễu, nhóm tác giả áp dụng phép đo độ cong trung bình cho ảnh lọc lọc Gauss: ∇𝐺𝜎 ∗ 𝑢 𝜅𝑢 = ∇ ⋅ ( ), (5) √1 + |∇𝐺𝜎 ∗ 𝑢|2 = sup {∫ 𝑢 div(𝜉)𝑑𝑥 : 𝜉 ∈ 𝐶01 (𝛺, 𝐵2 ), |𝜉𝑖 (𝑥)| 39 , 𝑛ế𝑢 𝑖 = 𝑁 − 𝑝𝑖,𝑗−1 𝑛ế𝑢 < 𝑗 < 𝑝𝑖,𝑗 𝑛ế𝑢 𝑗 = −𝑝𝑖,𝑗−1 𝑛ế𝑢 𝑗 = 𝑀 (13) 𝑀 Bài toán tối ưu (3) biểu diễn lại dạng tốn có ràng buộc sau: 𝜆 (14) (𝛼(𝑥)|𝑑| + ‖𝑢 − 𝑓‖22 ) s t 𝑑 = ∇𝑢 𝑑,𝑢 Bằng cách bổ sung thành phần ràng buộc, ta có tốn khơng ràng buộc sau: 𝜆 𝜇 (15) (𝛼(𝑥)|𝑑| + ‖𝑢 − 𝑓‖22 + ‖𝑑 − ∇𝑢‖22 ) 𝑑,𝑢 2 Áp dụng vịng lặp Bregman, ta có: 𝜆 (𝛼(𝑥)|𝑑| + ‖𝑢 − 𝑓‖22 𝑑,𝑢 (16) 𝜇 + ‖𝑑 − ∇𝑢 − 𝑏‖22 ) , với, 𝑏 tham số cập nhật sau vòng lặp Bregman; 𝜇 – hệ số dương Ta giải toán (16) cách tối ưu toán Phan Trần Đăng Khoa 40 theo biến 𝑢 𝑑 riêng lẻ đến đạt điều kiện hội tụ Như vậy, ta có tốn cần giải sau: - Bài toán theo 𝑑: Bằng cách cố định biến 𝑢, ta có tốn theo biến 𝑑 sau: 𝜇 𝑑 𝑘+1 = (𝛼(𝑥)|𝑑| + ‖𝑑 − ∇𝑢 𝑘 − 𝑏 𝑘 ‖22 ) (17) 𝑑 Giá trị tối ưu 𝑑 xác định toán tử 𝑠ℎ𝑟𝑖𝑛𝑘 [8]: 𝛼(𝑥) 𝑑 𝑘+1 = 𝑠ℎ𝑟𝑖𝑛𝑘 (∇𝑢𝑘 + 𝑏 𝑘 , ), (18) 𝜇 với 𝑥 ∗ max(|𝑥| − 𝛾, 0) (19) |𝑥| - Bài toán theo 𝑢: Bằng cách cố định biến 𝑑, ta có tốn theo biến 𝑢 sau: 𝜆 𝑢𝑘+1 = ‖𝑢 − 𝑓‖22 𝑢 (20) 𝜇 + ‖𝑑 𝑘+1 − ∇𝑢 − 𝑏 𝑘 ‖22 , Điều kiện đạt cực trị toán xác định phương trình: (𝜆𝐼 − 𝜇Δ)𝑢𝑘+1 = 𝜆𝑓 + 𝜇∇∗ (𝑑 𝑘+1 − 𝑏 𝑘 ), (21) ∗ với div ≔ −∇ Δ ≔ div ∇; 𝐼 – ma trận đơn vị Phương trình (21) giải miền Fourier sau: 𝑠ℎ𝑟𝑖𝑛𝑘(𝑥, 𝛾) = 𝑢𝑘+1 = ℱ −1 ( ℱ(𝜆𝑓 + 𝜇∇∗ (𝑑 𝑘+1 − 𝑏 𝑘 )) ), 𝜆𝐼 − 𝜇ℱ(Δ) (22) với ℱ and ℱ −1 biến đổi Fourier thuận ngược Biến 𝑏 cập nhật sau vòng lặp Bregman sau: 𝑏 𝑘+1 = 𝑏 𝑘 + ∇𝑢𝑘+1 − 𝑑 𝑘+1 (23) Thuật toán tổng hợp lại sau: Thuật toán Split Bregman để giải toán (16) 𝐼𝑚𝑎𝑥 ‖𝑢 − 𝑓‖2 𝑀𝑁 ), , Bảng trình bày kết PSNR SSIM mơ hình Kết tốt cho ảnh tô đậm Bảng cho thấy ATVD cho kết PSNR and SSIM tăng lên trung bình khoảng 0,34dB 0,0042 Kết cải thiện nhiều ảnh “Cameraman” “Flinstones” Điều lý giải ảnh “Cameraman” “Flinstones” đặc trưng vùng có độ sáng tương đồng với kích thước lớn, phù hợp với hoạt động hàm trọng số mơ hình ATVD Còn ảnh “Lena”, mức độ cải thiện số PSNR SSIM không đáng kể Bảng Kết PSNR SSIM mơ hình (kết trình bày với định dạng PSNR(SSIM)) Lena ROF (24) (𝜇𝑓2 + 𝜇𝑢2 + 𝑐1 )(𝜎𝑓2 + 𝜎𝑢2 + 𝑐2 ) Hình Ảnh kiểm tra Từ trái qua phải: Lena, Cameraman, Flinstones, Peppers ATVD Kết mô đánh giá Trong mục này, nhóm tác giả so sánh mơ hình đề xuất (viết tắt ATVD) với mơ hình ROF [1] Nhóm tác giả đánh giá hiệu mơ hình dựa tiêu chí: PSNR, SSIM đánh giá trực quan Mỗi tiêu chí đo lường khía cạnh khác kết khử nhiễu Trong PSNR đánh giá chênh lệch cường độ sáng ảnh khử nhiễu ảnh gốc SSIM đo lường tương đồng cấu trúc ảnh Gọi 𝑓 𝑢 ảnh không nhiễu ảnh khử nhiễu Các đại lượng PSNR SSIM định nghĩa sau: (2𝜇𝑓 𝜇𝑢 + 𝑐1 )(2𝜎𝑓,𝑢 + 𝑐2 ) với 𝐼𝑚𝑎𝑥 giá trị cường độ sáng lớn ảnh nhiễu 𝑓; 𝑀 𝑁 kích thước ảnh; 𝜇𝑓 , 𝜇𝑢 , 𝜎𝑓 𝜎𝑢 giá trị trung bình độ lệch chuẩn 𝑓 𝑢; 𝑐1 𝑐2 số Các mơ hình đánh giá ảnh thơng dụng (Hình 1) Các ảnh làm nhiễu nhiễu cộng Gauss với giá trị trung bình độ lệch chuẩn 𝜎 Ba mức độ nhiễu 𝜎 = 10, 20, 30 xem xét ROF 1: Khai báo: 𝑢0 = 𝑓, 𝑑 = 𝟎, 𝑏 = 𝟎 2: While “chưa thỏa điều kiện hội tụ” 3: Tính 𝑑 𝑘+1 theo (18) 4: Tính 𝑢𝑘+1 theo (22) 5: Tính 𝑏 𝑘+1 theo (23) 6: end 𝑃𝑆𝑁𝑅 = 10 log10 ( 𝑆𝑆𝐼𝑀 = ATVD ROF ATVD 33,32 (0,8843) 33,55 (0,8866) 30,75 (0,8361) 30,84 (0,8371) 29,33 (0,8037) 29,43 (0,8001) Camera Flinstones man 𝝈 = 𝟏𝟎 30,61 29,44 (0,8737) (0,8758) 31,13 29,87 (0,8786) (0,8799) 𝝈 = 𝟐𝟎 27,55 25,75 (0,8095) (0,8100) 27,91 26,20 (0,8139) (0,8183) 𝝈 = 𝟑𝟎 25.86 23.86 (0,7654) (0,7621) 26,30 24,25 (0,7701) (0,7722) Peppers 32,25 (0,9097) 32,64 (0,9122) 28,89 (0,8560) 29,17 (0,8587) 27.14 (0,8174) 27,52 (0,8189) Hình mơ tả kết khử nhiễu ảnh “Lena” mức độ nhiễu 𝜎 = 20 Ảnh phóng to (hàng thứ ba) cho thấy, ATVD cho kết khử nhiễu tốt với vùng mặt mịn tạo hiệu ứng bậc thang so với mơ hình ROF Điều thể rõ ảnh đường đồng mức (contour lines) Có thể thấy rằng, ATVD làm giảm hiệu ứng bậc thang vùng má trán Tóm lại, ATVD cải thiện kết khử nhiễu mơ hình ROF hai tiêu chí định lượng định tính ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 18, NO 5.1, 2020 (a) Ảnh gốc (b) Ảnh nhiễu 41 Kết luận Trong báo này, đề xuất mơ hình khử nhiễu ảnh sử dụng tổng biến phân thích nghi Bằng cách sử dụng hàm trọng số dựa phép đo độ cong trung bình, mơ hình đề xuất có khả điều chỉnh độ làm mịn ảnh tùy thuộc vào đặc trưng điểm ảnh Kết mơ cho thấy mơ hình đề xuất cho kết khử nhiễu tốt so với mơ hình ROF theo tiêu chí định lượng định tính TÀI LIỆU THAM KHẢO (c) ROF (d) ATVD (e) ROF (f) ATVD (g) ROF (h) ATVD [1] Rudin, Leonid I., Stanley Osher, and Emad Fatemi "Nonlinear total variation based noise removal algorithms” Physica D: nonlinear phenomena 60.1-4 (1992): 259-268 [2] Liu, Xinwu, and Lihong Huang "A new nonlocal total variation regularization algorithm for image denoising” Mathematics and Computers in Simulation 97 (2014): 224-233 [3] Hu, Haijuan, and Jacques Froment "Nonlocal total variation for image denoising” 2012 Symposium on Photonics and Optoelectronics IEEE, 2012 [4] Buades, Antoni, Bartomeu Coll, and J-M Morel "A non-local algorithm for image denoising” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) Vol IEEE, 2005 [5] Zhou, Weifeng, and Qingguo Li "Adaptive total variation regularization based scheme for Poisson noise removal” Mathematical Methods in the Applied Sciences 36.3 (2013): 290299 [6] Zhu, Wei, and Tony Chan "Image denoising using mean curvature of image surface” SIAM Journal on Imaging Sciences 5.1 (2012): 1-32 [7] Chen, Y., and T Wunderli "Adaptive total variation for image restoration in BV space” Journal of Mathematical Analysis and Applications 272.1 (2002): 117-137 [8] Setzer, Simon "Operator splittings, Bregman methods and frame shrinkage in image processing” International Journal of Computer Vision 92.3 (2011): 265-280 Hình Ảnh khử nhiễu ảnh “Lena” mức độ nhiễu 𝜎 = 20 Hàng thứ hai: ảnh kích thước đầy đủ; hàng thứ ba: ảnh phóng to; hàng thứ tư: ảnh đường đồng mức (contour lines) tương ứng với ảnh phóng to (BBT nhận bài: 20/01/2020, hồn tất thủ tục phản biện: 10/3/2020) ... (a) Ảnh gốc (b) Ảnh nhiễu 41 Kết luận Trong báo này, chúng tơi đề xuất mơ hình khử nhiễu ảnh sử dụng tổng biến phân thích nghi Bằng cách sử dụng hàm trọng số dựa phép đo độ cong trung bình, mơ hình. .. chứng minh tính hội tụ nghi? ??m tốn (3), nhóm tác giả đưa định nghĩa tổng biến phân thích nghi sau Định nghĩa 1: Cho