PHƯƠNG PHÁP ĐỐI NGẪU TRONG BÀI TOÁN BIẾN PHÂN KHÔI PHỤC TÍN HIỆU

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐỖ KHẮC HUẤN PHƯƠNG PHÁP ĐỐI NGẪU TRONG BÀI TOÁN BIẾN PHÂN KHÔI PHỤC TÍN HIỆU LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐỖ KHẮC HUẤN PHƯƠNG PHÁP ĐỐI NGẪU TRONG BÀI TOÁN BIẾN PHÂN KHÔI PHỤC TÍN HIỆU Chuyên ngành: Toán học tính toán Mã số: 60.46.30 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS.TSKH ĐINH DŨNG Hà Nội - 2011 Mục lục Lời cảm ơn iii Giới thiệu 1 Các kiến thức chuẩn bị 1.1 Các công cụ giải tích lồi 1.1.1 Tập lồi 1.1.2 Hàm lồi 1.1.3 Hàm nửa liên tục 1.1.4 Vi phân mạnh, vi phân yếu 1.1.5 Hàm liên hợp 10 1.1.6 Dưới vi phân 11 1.1.7 1.2 Toán tử không giãn chặt 12 Thuật toán tách tiến lùi 12 1.2.1 Toán tử proximity 12 1.2.2 Các ví dụ toán tử proximity 14 1.2.3 Thuật toán tách tiến lùi 18 Phương pháp đối ngẫu toán biến phân khôi phục tín hiệu 21 2.1 Đối ngẫu Fenchel- Moreau- Rockafellar 21 2.2 Thuật toán 25 2.3 Sự hội tụ 26 Ứng dụng toán khôi phục tín hiệu 3.1 Xấp xỉ tốt chấp nhận i 31 31 MỤC LỤC 3.2 Xấp xỉ tốt mềm chấp nhận 37 3.3 Khử nhiễu theo từ điển 44 3.4 Khử nhiễu với hàm giá 47 Kết luận 53 Bảng ký hiệu 54 Tài liệu tham khảo 55 Chỉ dẫn 59 ii Lời cảm ơn Đầu tiên, tác giả xin gửi lời cảm ơn sâu sắc đến người thầy, người hướng dẫn khoa học mình, GS.TSKH Đinh Dũng, người đưa đề tài, quan tâm tận tình hướng dẫn suốt trình nghiên cứu tác giả Đồng thời tác giả chân thành cảm ơn thầy cô khoa Toán - Cơ - Tin học, phòng Sau đại học, Ban giám hiệu Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, tận tình giảng dạy, hướng dẫn thời gian học tập trường, tạo điều kiện cho tác giả tài liệu thủ tục hành để tác giả hoàn thành luận văn Tác giả chân thành cảm ơn Ban giám hiệu, tổ Toán trường THPT Sơn Tây tạo điều kiện thuận lợi để tác giả hoàn thành khóa học Tác giả gửi lời cảm ơn đến bạn bè, đặc biệt bạn bè nhóm Toán học tính toán 08-10, động viên cổ vũ nhiều suốt thời gian vừa qua Do thời gian trình độ hạn chế, chắn luận văn tránh khỏi thiếu sót, tác giả mong nhận ý kiến đóng góp quý báu thầy cô bạn bè đồng nghiệp, tác giả xin chân thành cảm ơn! Hà Nội, tháng 02 năm 2011 Học viên Đỗ Khắc Huấn iii Giới thiệu Trong tối ưu lồi, lí thuyết đối ngẫu nhiều lúc dẫn đến phương pháp giải toán đối ngẫu đơn giản hiệu việc giải trực tiếp toán ban đầu Trong luận văn này, áp dụng phương pháp đối ngẫu cho toán biến phân phức hợp nảy sinh khôi phục tín hiệu Những toán không dễ giải với phương pháp trực tiếp, thông qua việc áp dụng phương pháp đối ngẫu Fenchel - Moreau - Rockafellar giải chúng thuật toán tách tiến lùi [18] Chúng ta trình bày thuật toán đề xuất [14], đồng thời xây dựng dãy hội tụ yếu đến nghiệm toán đối ngẫu dãy hội tụ mạnh đến nghiệm toán ban đầu Trải qua nhiều năm, số cấu trúc hình thành nhằm hợp phương pháp giải tích phương pháp giải số toán khôi phục tín hiệu Từ năm 1978 Yonla [40] số toán khôi phục tín hiệu có đặc điểm chung chứa cấu trúc hình học đơn giản qui dạng toán tối ưu không gian Hilbert H sau: tìm tín hiệu x không gian véctơ đóng C H, cho khoảng cách từ x tới tín hiệu z nhỏ nhất, biết ảnh x lên không gian véctơ đóng V r Điều dẫn đến giải toán biến phân minimize x∈C PV x=r x − z 2, (1) PV kí hiệu phép chiếu lên V Các toán khôi phục tín hiệu không gian Hilbert nghiên cứu nhiều tác giả khác Chẳng hạn, năm 1965, Levi [26] nghiên cứu toán cực tiểu hóa tín hiệu x, có giải tần hữu hạn có lượng nhỏ thông qua N phép đo tuyến tính Trong không gian Hilbert H = L2 (R), Giới thiệu toán biến phân có dạng minimize x∈C x|s1 =ρ1 x 2, (2) x|sN =ρN C không gian không gian tín hiệu có giải tần bị chặn, (si )1≤i≤N ∈ HN tín hiệu đo, (ρi )1≤i≤N ∈ RN phép đo Trong [33], Potter Arun nhận xét rằng: với tập lồi đóng C Bài toán (2) xuất nhiều toán khác nhau, từ việc đánh giá phổ [3, 36], chụp cắt lớp [27] đến toán ngược [4] Họ dùng phương pháp đối ngẫu để giải nó, dẫn đến thuật toán Mệnh đề 0.0.1 [33, Định lí 3] Đặt r = (ρi )1≤i≤N L : H → RN : x → N ( x | si )1≤i≤N , cho γ ∈]0, 2[ Giả sử si ≤ r nằm tập điểm i=1 tương đối L(C) Đặt ω0 ∈ RN (∀n ∈ N) ωn+1 = ωn + γ(r − LPC L∗ ωn ), L∗ : RN → H : (vi )1≤i≤N → (3) N vi si toán tử liên hợp L Khi dãy i=1 (ωn )n∈N hội tụ đến điểm ω cho LPC L∗ ω = r PC L∗ ω nghiệm Bài toán (2) Phương pháp đối ngẫu đóng vai trò trọng tâm lí thuyết tối ưu hóa hàm lồi [21, 31, 35, 41] sử dụng cách rộng rãi với mục đích khác toán khôi phục tín hiệu, tìm thấy điều báo [3, 5, 8, 10, 18, 20, 22, 23, 24, 25, 39] Những khía cạnh khác lí thuyết đối ngẫu xử lí ảnh nghiên cứu [6] Dạng đối ngẫu thích hợp toán biến phân khôi phục tín hiệu đối ngẫu Fenchel-Moreau-Rockafellar, có liên quan đến việc cực tiểu hóa toán ban đầu với việc cực tiểu hóa toán đối ngẫu với hàm liên hợp toán tử liên hợp với hàm toán tử toán ban đầu Nhìn chung, phương pháp đối ngẫu mở rộng lớp toán ban đầu Hơn nữa, việc giải toán đối ngẫu giúp ta tìm nghiệm toán ban đầu từ nghiệm đối ngẫu Với giả thiết Mệnh đề 0.0.1 Bài toán (2) khó giải, C đơn giản, toán đối ngẫu giải cách hiệu nghiệm toán ban đầu khôi phục dễ dàng Nguyên lí Giới thiệu đối ngẫu áp dụng toán khôi phục tín hiệu khác Chẳng hạn, áp dụng cho toán biến phân có nhiễu minimize g(Lx) + x∈H x−z 2 , (4) z tín hiệu quan sát bị nhiễu tín hiệu lí tưởng, L toán tử tuyến tính bị chặn từ H vào không gian Hilbert G g : G →]−∞, +∞] hàm lồi thường nửa liên tục Một hướng phát triển tiếng thuật toán biến phân toàn phần giải số toán khôi phục ảnh có nhiễu đưa [8] hoàn chỉnh [9] Mục đích luận văn trình bày phương pháp đối ngẫu để giải Bài toán (1) (2), cải tiến thuật toán có, chuẩn hóa kĩ thuật đối ngẫu toán khôi phục tín hiệu mở rộng ứng dụng to lớn chúng Các kết công bố chủ yếu báo [14] phần báo [18] Điều cần nhấn mạnh lớp toán biến phân mà nghiên cứu phải thỏa mãn yêu cầu sau đây: (a) Chúng bao trùm toán cực tiểu (b) Chúng không dễ giải trực tiếp lại thích hợp cho phương pháp đối ngẫu Fenchel-Moreau- Rockafellar, phương pháp giải cách chắn theo nghĩa xây dựng thuật toán khả thi, thuật toán tạo hai dãy lặp: dãy hội tụ yếu đến nghiệm toán đối ngẫu dãy hội tụ mạnh đến nghiệm toán ban đầu Các thuật toán không chứa chương trình con, chương trình không đảm bảo hội tụ sau số hữu hạn bước lặp, điều làm khuyếch đại sai số sau bước lặp (c) Các thuật toán cho phép xây dựng nghiệm toán ban đầu từ nghiệm toán đối ngẫu Bài toán 0.0.2 (Bài toán ban đầu) Cho H G không gian Hilbert thực, z ∈ H, r ∈ G, cho f : H →] − ∞, +∞] g : G →] − ∞, +∞] hàm lồi nửa liên tục cho L : H → G toán tử tuyến tính khác không, bị chặn cho điều kiện r ∈ sri (L(dom f ) − dom g) (5) Giới thiệu thỏa mãn Bài toán minimize f (x) + g(Lx − r) + x∈H x−z 2 (6) Trước hết, có số bình luận toán Liên quan đến Điều kiện (a), f = Bài toán (6) trở thành Bài toán (4) Nếu cho f g tương ứng hàm (xem (1.5) ) tập lồi đóng C ⊂ H D ⊂ G Bài toán (6) qui toán xấp xỉ tốt minimize x∈C Lx−r∈D x − z 2 (7) Nếu phương trình ta chọn C không gian véctơ đóng H D = {0} Bài toán (1) tương ứng với trường hợp H = G L = PV , Bài toán (2) ứng với trường hợp G = RN , L : H → RN : x → ( x | si )1≤i≤N , r = (ρi )1≤i≤N z = Như Chương trình bày Bài toán 0.0.2 mở rộng toán khôi phục tín hiệu Liên quan đến Điều kiện (b), câu hỏi tự nhiên đặt Bài toán (6) giải theo thuật toán có hay không ? Chúng ta đặt h : H →] − ∞, +∞] : x → f (x) + g(Lx − r) (8) Do tính chất hàm f g mà ta giả thiết h hàm lồi thường nửa liên tục Do toán tử proximity h (ta định nghĩa phần sau) proxh : x → argmin h(y) + y∈H x−y 2 tồn Từ Bài toán 0.0.2 có nghiệm nhất, nghiệm viết dạng x = proxh z (9) Thật khó tính cách cụ thể toán tử proximity hàm hợp h trên, phương pháp sử dụng tách biểu thức Bài toán (6) để xây dựng proxh z Bài toán (6) viết lại dạng minimize {f1 (x) + f2 (x)} , x∈H (10) f1 : x → f (x) + x−z f2 : x → g(Lx − r) (11) Giới thiệu hàm lồi nửa liên tục từ H vào ] − ∞, +∞] Để giải Bài toán (10) sử dụng thuật toán tách tiến lùi trình bày [18] theo lược đồ sau:    x n+ = ∇f2 (xn ) + a2,n (12)   xn+1 = xn + λn proxγn f1 xn − γn xn+ + a1,n − xn , yêu cầu hàm f2 khả vi Lipschitz H; λn > 0; γn > a1,n , a2,n tương ứng mô sai số toán tử proximity f1 gradient f2 Các kết cụ thể hội tụ dãy lặp (xn )n∈N thuật toán trình bày kĩ Định lí 1.2.21 Khi hàm f2 không thỏa mãn điều kiện khả vi Lipschitz H ta giải Bài toán (10) cách sử dụng thuật toán Douglas-Rachford [16]    xn+ = proxγf2 xn + a2,n (13)   xn+1 = xn + λn proxγf1 (2xn+ − xn ) + a1,n − xn+ , 2 λn > 0, γ > a1,n , a2,n tương ứng mô sai số toán tử proximity f1 f2 (xem [16, Định lí 20], kết hội tụ xác ứng dụng tham khảo thêm [12]) Tuy nhiên phương pháp yêu cầu toán tử proximity hàm hợp f2 Phương trình (11) phải tính toán cụ thể với sai số xác định Trong trường hợp tổng quát điều khó thực được, Ví dụ 1.2.6 toán tử proxf2 tính thông qua toán tử proxg với giả thiết nghiêm ngặt L ◦ L∗ = κId, κ > Với yêu cầu khắt khe thật khó áp dụng phương pháp cho Bài toán 0.0.2 nhiều toán quan trọng khác khác Trong [2] có trình bày phương pháp thích hợp cho toán minimize h1 (x) + h2 (x) + x∈H x−z 2 , (14) h1 h2 hàm lồi nửa liên tục từ H vào ] − ∞, +∞] cho dom h1 ∩dom h2 = ∅ Bài toán (14) trùng với Bài toán (6) h1 = f h2 = g(Lx−r) Để giải Bài toán (14) sử dụng thuật toán Dykstra-thuật toán tương tự Chương Ứng dụng toán khôi phục tín hiệu Bài toán φk ( x | ek ) + minimize f (x) + x∈H k∈K x−z 2 , (3.22) toán đối ngẫu toán minimize (vk )k∈K ∈ (K) f∗ z− vn,k ek φ∗ (vk ) + k∈K (3.23) k∈K Trong (K) := |xk |2 < +∞ (xk )k∈K ⊂ R | k∈K với 1/2 |xk |2 xn := k∈K Bài toán (3.22) (3.23) giải thuật toán đây, αn,k thay cho sai số trình tính toán toán tử proxγk φ∗k |αn,k |2 < +∞, Mệnh đề 3.3.2 Cho ((αn,k )n∈N ) dãy R cho n∈N (bn )n∈N dãy H cho k∈K bn < +∞, cho dãy (xn )n∈N (vn )n∈N = n∈N ((vn,k )k∈K )n∈N dãy tạo từ phép lặp    Khởi tạo         ∈]0, min{1, δ −1 }[         (v0,k )k∈K ∈ (K)      For n = 0, · · ·     xn = proxf z − vn,k ek + bn  k∈N       γn ∈ [ , 2δ −1 − ]        λn ∈ [ , 1]        Với k ∈ K       vn+1,k = vn,k + λn prox ∗ (vn,k + γn xn | ek ) + αn,k − vn,k γn φk (3.24) Khi x nghiệm Bài toán ban đầu (3.3.1), mệnh đề (i) Dãy (vn )n∈N hội tụ yếu đến nghiệm (vk )k∈K Bài toán 3.23 x = proxf (z − vk ek ) k∈K 45 Chương Ứng dụng toán khôi phục tín hiệu (ii) Dãy (xn )n∈N hội tụ mạnh đến x Chứng minh Đặt G = (K) r = Ta xác định hàm L : H → G : x → ( x | ek )k∈K g : G →] − ∞, +∞] : (ξk )k∈K → φk (ξk ) (3.25) k∈K Khi đó, L ∈ B(H, G) toán tử tự liên hợp L∗ ∈ B(H, G) xác định L∗ : (ξk )k∈K → ξk ek (3.26) k∈K Mặt khác, theo Ví dụ 1.2.7 ta suy g ∈ Γ0 (G) g ∗ : G →] − ∞, +∞] : (vk )k∈K → φ∗k (vk ) (3.27) k∈K Phương trình (3.21) Phương trình (5) Điều Bài toán (3.22) trường hợp đặc biệt Bài toán (6) Bài toán (3.23) trường hợp đặc biệt Bài toán (2.2) Trong Phương trình (3.19) (3.25) ta thấy L = sup Lx x =1 Do [ , 2δ −1 − ] ⊂ [ , L −2 | x | ek |2 ≤ δ = (3.28) x =1 k∈K − ] Tiếp theo, từ Phương trình (3.20) định nghĩa hàm liên hợp ta có φ∗k (0) = sup { ξ | − φk (ξ)} ξ∈R = sup {−φk (ξ)} ξ∈R = − inf φk (ξ) ξ∈R = −φk (0) = 0, φ∗k (v) = sup { ξ | v − φk (ξ)} ξ∈R = sup {ξv − φk (ξ)} ξ∈R ≥ sup {0v − φk (0)} = sup {−φk (0)} = ξ=0 46 Chương Ứng dụng toán khôi phục tín hiệu Sử dụng Phương trình (3.27) Ví dụ 1.2.7 nhận kết sau (áp dụng cho sở trực chuẩn tắc (K)) (∀γ ∈]0, +∞[) (∀v = (vk )k∈K ∈ G) proxγg∗ v = proxγφ∗k vk (3.29) k∈K Nói tóm lại, Thuật toán (3.22) trường hợp đặc biệt Thuật toán 2.2.1 với (∀n ∈ N)an = (αn,k )k∈K Do khẳng định mệnh đề suy từ Định lí 2.3.1 Nhận xét 3.3.3 Sử dụng Phương trình (3.25) thay từ điển Bài toán (3.9) g◦L:x→ φk ( x | ek ) (3.30) k∈K (i) Nếu (ek )k∈K sở trực chuẩn Bài toán (3.3.1) ta có L−1 = L∗ theo Bổ đề [18, Bổ đề 2.8] toán tử proxg◦L phân tích theo L∗ ◦ proxg ◦L Như phần giới thiệu, tiếp cận để giải Bài toán (3.22) cách trực tiếp thuật toán tách tiến lùi, thuật toán Douglas-Rachford thuật toán Dykstra-tương tự, phụ thuộc vào tính chất hàm f Phương pháp đối ngẫu cho phép giải Bài toán (3.22) lớp hàm rông thỏa mãn từ điển (3.19), cụ thể tham khảo thêm [19] (ii) Giả sử hàm φk Bài toán (3.3.1) có dạng φk = ψk + σΩk , ψk ∈ Γ0 (R) thỏa mãn ψk ≥ ψk (0) = khả vi với ψk (0) = 0, Ωk khoảng đóng khác rỗng Trong trường hợp toán tử proxγn φ∗k Thuật toán (3.24) tính toán dựa vào Bổ đề 1.2.3 Bổ đề 1.2.16 3.4 Khử nhiễu với hàm giá Giả sử Bài toán 0.0.2 g hàm đồng dương, tức (∀λ ∈]0, +∞[) (∀y ∈ G) g(λy) = λg(y) (3.31) Từ Phương trình (3.31) [1, Định lí 2.4.2], g hàm giá tập lồi, đóng, khác rỗng D ⊂ G, tức g = σD = sup · | v , D = ∂g(0) = {v ∈ G | (∀y ∈ G) y | v ≤ g(y)} (3.32) v∈D 47 Chương Ứng dụng toán khôi phục tín hiệu y ∈ G | sup y | v < +∞ Nếu kí hiệu bar D = nón chắn D, v∈D thu trường hợp đặc biệt Bài toán 0.0.2 Bài toán 3.4.1 Cho z ∈ H, r ∈ G, D tập con, lồi, đóng, khác rỗng G cho L toán tử khác không thuộc B(H, G) cho r ∈ sri (L(dom f ) − bar D) (3.33) Bài toán minimize f (x) + σD (Lx − r) + x∈H x−z 2 (3.34) toán đối ngẫu minimize f ∗ (z − L∗ v) + v | r v∈D Mệnh đề 3.4.2 Cho (an )n∈N dãy G cho (3.35) an < +∞, cho (bn )n∈N n∈N dãy H cho bn < +∞, cho (xn )n∈N (vn )n∈N dãy n∈N tạo phép lặp sau     Khởi tạo        ∈]0, {1, L        v0 ∈ G       For n = 0, · · · −2 }[ (3.36)    x = proxf (z − L∗ ) + bn   n      γn ∈ [ , L −2 − ]        λn ∈ [ , 1]       vn+1 = + λn (PD (vn + γn (Lxn − r)) + an − ) Nếu kí hiệu x nghiệm Bài toán ban đầu 3.4.1 (i) Dãy (vn )n∈N hội tụ yếu tới nghiệm v Bài toán (3.35) x = proxf (z−L∗ v) (ii) Dãy (xn )n∈N hội tụ mạnh tới x Chứng minh Mệnh đề suy từ Định lí 2.3.1 Trong g ∗ = ιD ∀γ ∈ (0, +∞) proxγg∗ = PD 48 Chương Ứng dụng toán khôi phục tín hiệu Nhận xét 3.4.3 Điều kiện (3.33) thỏa mãn tầm thường D bị chặn, trường hợp bar D = G Tiếp theo, xem xét ví dụ với tập D bị chặn phép chiếu lên D dễ tính toán Ví dụ 3.4.4 Trong Bài toán 3.4.1 D hình cầu đơn vị đóng G PD : y → y/ max { y , 1} σD = · Do Phương trình 3.34 trở thành minimize f (x) + Lx − r + x∈H x−z 2 (3.37) Bài toán đối ngẫu 3.35 trở thành minimize f ∗ (z − L∗ v) + v | r v∈G, v ≤1 (3.38) Xét Bài toán (3.4.1) với H = H01 (Ω), Ω miền mở bị chặn R2 , G = L2 (Ω) ⊕ L2 (Ω), L = ∇, D = {y ∈ G | |y|2 ≤ µ h.k.n } µ ∈]0, +∞[, r = Với giả thiết này, Bài toán (3.34) tương đương với minimize f (x) + µtv(x) + x∈H0 (Ω) x−z 2 , (3.39) |∇x(ω)|2 dω Trong học, toán cực tiểu hóa nghiên tv(x) = Ω cứu cách rộng rãi với hàm f [21] Chẳng hạn, f = đưa đến toán Mossolow phân tích đối ngẫu [21, Mục IV 3.1] Trong xử lí ảnh toán Mossolow tương đương với việc khử nhiễu toán tổng biến phân Thật thú vị, năm 1980 Mercier [28] đề xuất thuật toán chiếu đối ngẫu để giải toán Mossolow Cách tiếp cận độc lập với phát đưa Chambolle [8, 9] Tiếp theo rời rạc Bài toán 3.39 cho N × N ảnh Điều mở rộng phương pháp đề xuất [9], phương pháp hạn chế f = đem lại chứng minh hình thức cho hội tụ ( [39] với xếp thay phiên dựa thuật toán Nesterov [32]) (1) (2) Đầu tiên, giới thiệu vài kí hiệu Kí hiệu y = ηk,l , ηk,l 1≤k,l≤N phần tử RN ×N ⊕ RN ×N (1) (2) ∇ : RN ×N → RN ×N ⊕ RN ×N : (ξk,l )1≤k,l≤N → ηk,l , ηk,l 49 (3.40) 1≤k,l≤N Chương Ứng dụng toán khôi phục tín hiệu toán tử gradient rời rạc, ∀(k, l) ∈ {1, · · · , N }2  (1)   ηk,l       η (1) N,l = ξk+1,l − ξk,l , k < N ; = 0; (3.41)  (2)   ηk,l      η (2) = ξk,l+1 − ξk,l , l < N ; k,N = Tiếp theo, cho p ∈ [1, +∞] số liên hợp p     +∞, p = 1;    p∗ = 1, p = +∞;      p/(p − 1), trường hợp lại Chúng ta định nghĩa hàm biến phân tổng rời rạc cấp p sau: tvp : RN ×N → R : x → ∇x p,1 , (3.42) ∀y ∈ RN ×N ⊕ RN ×N y p,1 (1) (2) | ηk,l , ηk,l |p , = (3.43) 1≤k,l≤N với ∀(η (1) , η (2) ∈ R2 ) | η (1) , η (2) |p =    p |η |p + |η (2) |p , p < +∞, (3.44)  max |η (1) |, |η (2) | p = +∞ Tiếp theo, toán tử phân kì rời rạc định nghĩa [8] (1) (2) div : RN ×N ⊕ RN ×N → RN ×N : ηk,l , ηk,l (1) 1≤k,l≤N (2) → ξk,l + ξk,l , (3.45) 1≤k,l≤N   (1)   η1,l , k = 1;    (1) (1) (1) ξk,l = ηk,l − ηk−1,l , < k < N ;     (2)  −ηk,N l = N −1 ,   (2)  ηk,l , l = 1;    (2) (2) (2) ξk,l = ηk,l − ηk,l−1 < l < N ;     (2)  −ηk,N l = N −1 , 50 (3.46) Chương Ứng dụng toán khôi phục tín hiệu Bài toán 3.4.5 Cho z ∈ NN ×N , f ∈ Γ0 (NN ×N ), cho µ ∈]0, +∞[, p ∈ [1, +∞] đặt Dp = (1) (2) vk,l , vk,l (1) 1≤k,l≤N (2) (3.47) , (3.48) ∈ RN ×N ⊕ RN ×N | max | vk,l , vk,l |p∗ ≤ 1≤k,l≤N Bài toán minimize f (x) + µtvp (x) + x∈RN ×N x−z 2 toán đối ngẫu minimize f ∗ (z + µ div v) (3.49) v∈Dp (1) Mệnh đề 3.4.6 Cho αn,k,l (2) n∈N αn,k,l n∈N (1) dãy RN ×N cho (2) |αn,k,l |2 + |αn,k,l |2 < +∞, n∈N (3.50) 1≤k,l≤N cho (bn )n∈N dãy RN ×N cho bn < +∞ cho (xn )n∈N (vn )n∈N n∈N dãy tạo từ phép lặp đây, kí hiệu (1) (2) πp y, πp y phép ∗ chiếu điểm y ∈ R2 lên hình cầu đơn vị đóng p mặt phẳng Euclid   Khởi tạo        ∈]0, {1, µ−1 /8} [       (1) (2)   v0 = v0,k,l , v0,k,l ∈ RN ×N ⊕ RN ×N   1≤k,l≤N       For n = 0, · · ·      x = prox (z + µ div v ) + b  n n n  f      τn ∈ [ , µ−1 /4 − ] (3.51)  (1) (2)  ξn,k,l , ξn,k,l = + τn ∇xn    1≤k,l N      λn ∈ [ , 1]        Với (k, l) ∈ {1, · · · , N }2       (1) (1) (1) (1) (2) (1) (1)   vn+1,k,l = vn,k,l + λn πp ξn,k,l , ξn,k,l + αn,k,l − vn,k,l      (2) (2) (1) (2) (2)   vn+1,k,l = vn,k,l + λn π (2) ξn,k,l , ξn,k,l + αn,k,l − vn,k,l      (1) (2)  vn+1 = vn+1,k,l , vn+1,k,l 1≤k,l≤N Khi dãy (vn )n∈N hội tụ tới nghiệm v Bài toán (3.49), x = proxf (z + µ div v) nghiệm ban đầu Bài toán (3.4.5), xn → x 51 Chương Ứng dụng toán khôi phục tín hiệu Chứng minh Từ Phương trình (3.43) (3.47) thấy · p,1 = σDp Do Bài toán (3.16) trường hợp đặc biệt Bài toán (3.4.1) với H = RN ×N , G = RN ×N ⊕ √ RN ×N , L = µ∇, D = Dp r = Hơn nữa, L∗ = −µ div, L = µ ∇ ≤ 2µ [8] phép chiếu lên tập Dp Phương trình (3.47) phân tích tọa độ dạng (1) (2) (1) (2) PDp y = πp(1) ηk,l , ηk,l , πp(2) ηk,l , ηk,l (3.52) 1≤k,l≤N Nói tóm lại, theo cách đặt ∀n ∈ N, τn = µγn an = (1) (2) αn,k,l , αn,k,l 1≤k,l≤N Thuật toán (3.51) xuất trường hợp đặc biệt Thuật toán (3.36) Do kết mệnh đề suy từ Phương trình (3.50) Mệnh đề 3.4.2 Nhận xét 3.4.7 Vòng lặp bên Thuật toán (3.51) thực phép chiếu Với giá trị cụ thể p, phép chiếu tính toán cách rõ ràng bỏ qua sai số Như thế, p = p∗ = +∞ vòng chiếu trở thành     Với (k, l) ∈ {1, · · · N }2      ξ ( 1)n,k,l (1) (1) (1)  vn+1,k,l = vn,k,l + λn − vn,k,l ( 1) max {1, |ξ |} (3.53) n,k,l     (2)  ξn,k,l  (2) (2) (2)    v = v + λ − vn,k,l  n  n+1,k,l n,k,l  (2)  max 1, |ξn,k,l | Tương tự, p = p∗ = vòng chiếu trở thành    Với (k, l) ∈ {1, · · · N }2         (  ξ 1)n,k,l  (1) (1) (1)  vn+1,k,l = vn,k,l + λn  − vn,k,l  (2) max 1, |ξ ( 1)n,k,l , ξn,k,l |2       (2)  ξn,k,l  (2) (2) (2)   vn+1,k,l = vn,k,l + λn  − vn,k,l    (2) (2)  max 1, |ξn,k,l , ξn,k,l |2 (3.54) Trong trường hợp đặc biệt f = 0, λn ≡ τn ≡ τ ∈]0, µ−1 /4[ hai kết thuật toán dẫn đến phương pháp thông dụng đề cập [9] Cuối cùng, p = +∞ p∗ = sơ đồ hiệu mô tả [37] để chiếu lên hình cầu sử dụng 52 Kết luận Trong lí thuyết tối ưu lồi nói chung toán khôi phục tín hiệu nói riêng phương pháp đối ngẫu đóng vai trò quan trọng Với toán khôi phục tín hiệu giới thiệu phần đầu, áp dụng thuật toán tách tiến lùi số thuật toán khác gặp nhiều khó khăn, cách tiếp cận để giải toán sử dụng phương pháp đối ngẫu Trong luận văn trình bày: • Phương pháp đối ngẫu dựa nguyên lí đối ngẫu Fenchel-Moreau-Rockafellar Thông qua phương pháp xây dựng toán đối ngẫu áp dụng thuật toán tách tiến lùi Dựa phương pháp đối ngẫu trình bày thuật toán cho phép xây dựng đồng thời hai dãy lặp: dãy hội tụ yếu đến nghiệm toán đối ngẫu dãy hội tụ mạnh đến nghiệm toán ban đầu, nghiệm toán ban đầu xây dựng từ nghiệm đối ngẫu • Ứng dụng thuật toán xây dựng cho toán khôi phục tín hiệu cụ thể như: – Xấp xỉ tốt chấp nhận – Xấp xỉ tốt mềm chấp nhận – Khử nhiễu theo từ điển – Khử nhiễu theo hàm giá – Khử nhiễu theo biến phân toàn phần Do thời gian hạn chế, tác giả Luận văn chưa thực việc thử nghiệm số máy tính Trong thời gian tới, tác giả tiếp tục nghiên cứu hoàn thiện nội dung 53 Bảng ký hiệu N tập hợp số tự nhiên R, R tập hợp số thực tập số thực mở rộng, R = R ∪ {−∞, +∞} H, G không gian Hilbert thực · ·|· chuẩn không gian H G tích vô hướng không gian H G [x, y] , [x, y[, ]x, y[ tương ứng đoạn thẳng đóng, nửa đoạn thẳng đóng đoạn thẳng mở Id toán tử đơn vị B(H, G) không gian toán tử tuyến tính bị chặn từ H vào G T∗ toán tử liên hợp toán tử T ∈ B(H, G) ,→ hội tụ yếu hội tụ mạnh Γ0 (H, G) lớp hàm lồi thường nửa liên tục từ H vào ] − ∞, +∞] dom f, epif miền hữu dụng đồ thị hàm số f sri C miền tương đối mạnh tập C ri C miền tương đối tập C proxf toán tử proximity hàm f PC phép chiếu lên tập C σC hàm giá tập C ιC hàm tập C f bao Moreau hàm f f∗ hàm liên hợp hàm f ∂f vi phân hàm f argmin f điểm cực tiểu hàm f Argmin f tập điểm cực tiểu hàm f 54 Tài liệu tham khảo [1] Aubin, J-P., Frankowska H.: Set-Valued Analysis Brirkhauser, Boston (1990) [2] Báuchke, H.H., Combetters, P.L.: A Dykstra - like algorithm for two monotone operators Pacific J Optim 4, 383-391 (2008) [3] Bel-Tal, A., Browein, J.M., Teboulle, M.: A dual approach to multidimensional Lp spectral estimation problems SIAM J Control Optim 26, 985-996 (1998) [4] Bertero, M., De Mol, C., Pike, E.R.: Linear inverse problems with discrete data Igeneral formulation and singular system analysis Inverse Probl 1, 301-330 (1985) [5] Browein, J.M., Lewis, A.S., Noll, D.: Maximum entropy reconstruction using derivative information I: Fisher information and convex duality Math Oper Res 21, 442-468 (1996) [6] Browein, J.M., Luke, D.R.: Duality and convex programming In: Scherzer, O (ed) Handbook of Imaging Springer, New York (to appear) [7] Briceno- Arias, L.M., Combetters, P.L.: Conve Variational Formulation with Smooth Coupling for Multicomponent Signal Decomposition and Recovery Numer Math Theory Methods Appl 2, 485-508 (2009) [8] Chambolle, A.: An algorithm for total variation minimization and applications J Math Imaging Vis 20, 89-97 (2004) [9] Chambolle, A.: Total variation minimization and class of binary MRF model Lect Notes Comput Sci 3757, 136-152 (2005) [10] Chan, T.F., Golub, G.H., Mulet, P.: A nonlinear primal-dual method for total variation-based image restoration SIAM J Sci Comput 20, 1964-1977 (1999) 55 TÀI LIỆU THAM KHẢO [11] Chaux, C., Combetters, P.L., Pesquet, J.C., Wajs, V.R.: A variational formulation for frame - based inverse problems Inverse Probl 23, 1495 - 1518 (2007) [12] Chaux, C., Pesquet, J.C., Pustelink, N.: Nested iterative algorithms for convex constrained image recovery problems SIAM J Imag Sci 2, 730-762 (2009) [13] Combetters, P.L.: Signal recovery by best feasible approximation IEEE Trans Image Process 2, 269-271 (1993) [14] Combetters, P.L., Dinh Dung., Vu Cong Bang.: Dualization of signal recovery problems Set-valued and Variational Analysis 18, 373-404 (2010) [15] Combetters, P.L., Pasquet, J C.: Proximal thresholding algorithm for minimization over orthonormal bases SIAM J Optim 18, 1351-1376 (2007) [16] Combetters, P.L., Pesquet, J.C.: A Douglas - Rachford Splitting Approach to Nonsnmooth Convex Variational Signal Recovery IEEE Selected J Toppics Signal Process 1, 564 - 574 (2007) [17] Combetter, P.L., Trussell, H.J.: The use of noise properties in set theoretic estimation IEEE Trans Signal Process 39, 1630-1641(1991) [18] Combetters, P.L., Wajs, V.R.: Signal recovery by proximal forward - backward splitting Multiscale Model Simul 4, 1168-1200 (2005) [19] Daubechies, I.: Ten Lectures on Waveltes SIAM Philadenphia (1992) [20] Destuynder, P., Jaoua, M., Sellami, H.: A dual algorithm for denoising and preserving edges in image processing J Inverse Ill-Posed Probl Ser 15, 149-165 (2007) [21] Ekeland, I., Teman, R.: Analyse Convexe et Problèmes Variationnels Dunod Paris,1974; Convex Analysis and Variational Problems, SIAM, Philadenphia (1999) [22] Fadili, J., Peyré, G.: Total variation projection with first order schemes Preprint (2009) http://hal.archives-ouvertes.fr/hal-00380491 56 TÀI LIỆU THAM KHẢO [23] Hintermuler, M., Stadler, G.: An infeasible primal-dual algorithm for total bounded variation based inf-convolution-type image restoration SIAM J Sci Comput, 28, 1-23 (2006) [24] Insem, A.N., Teboulle, M.: A regularized dual-based iterative method for a class of image reconstruction problems Inverse Probl 9, 679-696 (1993) [25] Leahy, R.M., Goutis, C.E.: An optimal technique for constraint-based image restoration and reconstruction IEEE Trans Acoust Speech Signal Process 34, 1629-1642 (1986) [26] Levi, L.: Fitting a bandlimited signal to given points IEEE Trans Inf Theory 11, 372-376 (1965) [27] Medoff, B.P.: Image reconstruction from limited data: theory and applications in computerized tomography In: Stark, H (ed) Image Recovery: Theory and applications, pp 321-368, Academic, San Diego (1987) [28] Mercier, B.: Inéquations Variationnells de la Mécanique (Publications Mathématiques d’ Orsay, no.80.01 ) Orsay, France, Université de Paris-XI (1980) [29] Moreau, J-J.: Function convexes duales et points proximaux dans un espace hilbertien C.R Acad Sci Paris Sér A Math 255, 2897-2899 (1962) [30] Moreau, J-J.: Proximité et dualité dán un éspace hilbertien Bull Soc Math Fr 93, 273-299 (1965) [31] Moreau, J-J.: Fonctionnelles Convexes Seesminaire sur les ESquations aux Dérivées Partielles II Collège de France Paris (1966-1967) [32] Nesterov, Yu.: Smooth minimization of non-smooth functions Math Program 103, 127-152 (2005) [33] Potter, L.C., Arun, K.S.: A dual aaproach to linear inverse problems with convex constraints SIAM J Control Optim 31, 1080-1092 (1993) [34] Rockafellar, R.T.: Convex Analysis Princeton University Press, Pricenton (1970) 57 TÀI LIỆU THAM KHẢO [35] Rockafellar, R.T.: Conjugate Duality and Optimization SIAM, Philadenphia (1974) [36] Steinhaardt, A.O., Goodrich, R.K., Robert, R.A.: Spectral estimation via minimum energy correlation extension IEEE Trans Acoust Speech Signal Process 33, 15091515 (1985) [37] van den Berg, E., Friedlander, M.P.: Probing the Pareto frontier for basic pursuit solutions SIAM J Sci Comput.31, 890-912 (2008) [38] Trussell, H.J., Civanlar, M.R.: The feasible solution in signal restoration IEEE Trans Acoust Speech Signal Process 32, 201-212 (2006) [39] Weiss, P., Aubert, G., Blan- Féraud, L.: Efficient schemes for total variation minimization under constraints in image processing SIAM J Sci Comput 31, 20472080 (2009) [40] Youla, D.C.: Genaralized image restoration by the method of alternating orthogonal projections IEEE Trans Circuits Syst 25, 694-702 (1978) [41] Zălinescu, C.: Convex Analysis in General Vector Spaces World Scinetific, River Edge (2002) 58 Chỉ dẫn Định lí Fenchel - Moreau, 11 Toán tử proximity, 13 đạo hàm yếu, 10 đồ thị, Bao Moreau, 12 Vi phân mạnh, vi phân yếu, thường, Dưới vi phân, 11 hàm tiêu C , hàm giá C, hàm khoảng cách C, hàm lồi, hàm liên hợp, 10 khả vi theo nghĩa Fréchet, miền hữu dụng, miền tương đối, miền tương đối mạnh, nửa liên tục dưới, tập lồi, tập mức, Thuật toán Douglas-Rachford, Thuật toán Dykstra-thuật toán tương tự, Thuật toán tách tiến lùi, Toán tử không giãn chặt, 12 59 [...]... Ứng dụng trong các bài toán khôi phục tín hiệu Trong chương này chúng ta trình bày ứng dụng của Thuật toán 2.2.1 trong Chương 2 cho một số bài toán khôi phục tín hiệu cụ thể 3.1 Xấp xỉ tốt nhất chấp nhận được Một trong những bài toán cơ bản trong khôi phục tín hiệu là tìm một tín hiệu thuộc giao của hai tập lồi đóng trong mô hình ràng buộc trên một nghiệm lí tưởng Bài toán tìm một tín hiệu trong một... Bài toán cực tiểu ϕ + ψ ◦ M trên H trong Phương trình (2.1) được xem là bài toán ban đầu và bài toán cực tiểu ϕ∗ ◦ (−M ∗ ) + ψ ∗ trên G được xem như là bài toán đối ngẫu của bài toán ban đầu Điều cần nhấn mạnh là: Bổ để 2.1.1 khẳng định sự tồn tại nghiệm của bài toán đối ngẫu và giá trị của bài toán đối ngẫu ngược dấu với giá trị của bài toán ban đầu 21 Chương 2 Phương pháp đối ngẫu trong các bài toán. .. tích lồi, toán tử proximity và thuật toán tách tiến lùi • Chương 2 trình bày phương pháp đối ngẫu trong các bài toán biến phân khôi phục tín hiệu • Chương 3 trình bày những ứng dụng của phương pháp đối ngẫu trong các bài toán khôi phục tín hiệu 6 Chương 1 Các kiến thức chuẩn bị 1.1 Các công cụ giải tích lồi Luận văn sử dụng các kiến thức về giải tích lồi Để tiện cho việc xem xét các bài toán trong các... Chương 2 Phương pháp đối ngẫu trong các bài toán biến phân khôi phục tín hiệu Bài toán 2.1.2 (Bài toán đối ngẫu) Xem xét các điều kiện giống như Bài toán 0.0.2 Bài toán là minimize f ∗ (z − L∗ v) + g ∗ (v) + v | r (2.2) v∈G Mệnh đề 2.1.3 Bài toán 2.1.2 là bài toán đối ngẫu của Bài toán 0.0.2 và nó có ít nhất một nghiệm Hơn nữa, với mỗi nghiệm v của Bài toán 2.1.2 được đặc trưng bởi quan hệ L proxf (z... lim dG (xn ) = 0 Trong trường hợp cụ thể, sự hội tụ mạnh xẩy ra trong các trường hợp sau: (a) intG = ∅; (b) f1 thỏa mãn Điều kiện 1.2.20 trên G; (c) f2 thỏa mãn Điều kiện 1.2.20 trên G 20 Chương 2 Phương pháp đối ngẫu trong các bài toán biến phân khôi phục tín hiệu Trong chương này chúng ta sẽ sử dụng nguyên lí đối ngẫu Fenchel-Moreau-Rockafellar để thiết lập bài toán đối ngẫu cho Bài toán ban đầu 0.0.2,... Chương 2 Phương pháp đối ngẫu trong các bài toán biến phân khôi phục tín hiệu Do đó các điều kiện của Định lí 1.2.21 được thỏa mãn, suy ra dãy (vn )n∈N hội tụ yếu đến một nghiệm v của Bài toán 2.1.2, kết hợp với Mệnh đề 2.1.4 ta cũng suy ra được x = proxf (z − L∗ v) Để chứng minh (ii), ta đặt yn = xn − bn = proxf (z − L∗ vn ), ∀n ∈ N Theo phần (i) ta có vn (2.12) v, trong đó v là một nghiệm của Bài toán. .. ta cũng chỉ ra sự tồn tại nghiệm và mối liên hệ giữa nghiệm của bài toán đối ngẫu với nghiệm của bài toán ban đầu Chúng ta sẽ trình bày thuật toán cho phép tạo ra hai dãy lặp: một dãy hội tụ yếu đến nghiệm của bài toán đối ngẫu và một dãy hội tụ mạnh đến nghiệm của bài toán ban đầu 2.1 Đối ngẫu Fenchel- Moreau- Rockafellar Nguyên lí đối ngẫu Fenchel-Moreau-Rockafellar được phát biểu như sau Bổ đề 2.1.1... nghiệm của Bài toán 0.0.2 Chứng minh Theo định lí Fermat ta có x = proxf (z − L∗ v) ⇔ z − L∗ v − x ∈ ∂f (x) ⇔ −L∗ v ∈ ∂f (x) + x − r Do v là nghiệm của Bài toán 2.1.2 nên từ Công thức (2.3) ta suy ra L proxf (z − L∗ v) − r ∈ ∂g ∗ (v) Do đó Lx − r ∈ ∂g ∗ (v) Mặt khác theo công thức (1.13) : u ∈ ∂ϕ(x) ⇔ x ∈ ∂ϕ∗ (u) 24 (2.6) Chương 2 Phương pháp đối ngẫu trong các bài toán biến phân khôi phục tín hiệu Điều... tử không giãn 1.2 Thuật toán tách tiến lùi Như trong phần Giới thiệu đã đề cập, Bài toán (10) có thể giải được nhờ thuật toán tách tiến lùi Trong mục này chúng ta sẽ trình bày các tính chất cơ bản của bài toán (10), sự hội tụ của thuật toán tách tiến lùi Công cụ chính mà chúng ta sẽ sử dụng là toán tử proximity, toán tử đã được giới thiệu bởi Moreau trong những năm 1960 1.2.1 Toán tử proximity Bao Moreau... tập lồi đóng C ⊂ H sao cho một vài phép biến đổi affine của nó được chấp nhận trong một tập lồi đóng D ⊂ G được gọi là bài toán tách được Những bài toán này có vô số nghiệm và thường cố tìm nghiệm gần nhất với một tín hiệu z ∈ H Điều này dẫn đến Bài toán (7), bài toán tìm xấp xỉ tốt nhất cho tín hiệu trung gian z ∈ H từ một tập chấp nhận được C ∩ L−1 (r + D) Bài toán 3.1.1 Cho z ∈ H, r ∈ G, C ⊂ H và