Giải thuật cho bài toán tối ưu không trơn trong chỉnh hóa thưa và ứng dụng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ——————————– NGUYỄN THỊ LIÊU NOA GIẢI THUẬT CHO BÀI TOÁN TỐI ƯU KHƠNG TRƠN TRONG CHỈNH HĨA VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ TOÁN HỌC Đà Nẵng - 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ——————————– NGUYỄN THỊ LIÊU NOA GIẢI THUẬT CHO BÀI TOÁN TỐI ƯU KHƠNG TRƠN TRONG CHỈNH HĨA THƯA VÀ ỨNG DỤNG Chun ngành: Giải tích Mã số: 60.46.01.02 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: TS Phạm Quý Mười Đà Nẵng - 2017 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả Nguyễn Thị Liêu Noa LỜI CẢM ƠN Lời tác giả xin gửi lời cảm ơn đến Ban Giám Hiệu Trường Đại học Sư phạm - Đại học Đà Nẵng tạo điều kiện thuận lợi cho tác giả suốt trình học làm luận văn Tác giả xin gửi lời cảm ơn sâu sắc tới giáo viên hướng dẫn, TS Phạm Quý Mười, tận tình hướng dẫn suốt q trình thực hồn thiện luận văn Tác giả xin gửi lời cảm ơn chân thành đến thầy cô trực tiếp giảng dạy tác giả suốt trình học tập q thầy khoa Tốn Trường Đại học Sư phạm Đà Nẵng giúp đỡ thời gian qua Cuối cùng, tác giả xin gửi lời cảm ơn đến thành viên lớp Giải tích K31 xây dựng tập thể lớp đồn kết, gắn bó giúp đỡ lẫn tồn khóa học Tác giả Nguyễn Thị Liêu Noa MỤC LỤC MỞ ĐẦU CHƯƠNG KIẾN THỨC CƠ SỞ 1.1 KHÔNG GIAN HILBERT 1.2 HỆ TRỰC CHUẨN 1.3 TỐN TỬ TUYẾN TÍNH LIÊN TỤC VÀ TOÁN TỬ COMPACT 1.4 HÀM SỐ 11 1.5 DƯỚI VI PHÂN 14 1.6 HÀM PHẠT CĨ TÍNH CHẤT THƯA 15 1.7 TOÁN TỬ CO RÚT MỀM 16 CHƯƠNG CÁC GIẢI THUẬT CHO BÀI TOÁN TỐI ƯU KHƠNG TRƠN TRONG CHỈNH HĨA THƯA 19 2.1 ĐIỀU KIỆN CÓ NGHIỆM CỦA BÀI TOÁN 20 2.2 PHƯƠNG PHÁP KIỂU GRADIENT 21 2.2.1 Tính chất hội tụ 24 2.2.2 Các tiêu chuẩn chọn kích thước bước 29 2.2.3 Giải thuật kiểu Gradient 30 2.3 GIẢI THUẬT CẢI TIẾN CỦA BECK 30 CHƯƠNG MỘT SỐ VÍ DỤ VÀ ỨNG DỤNG 35 3.1 BÀI TỐN TỐI ƯU KHƠNG TRƠN HAI BIẾN 35 3.1.1 Bài toán 35 MỤC LỤC 3.1.2 Chương trình Matlab cho giải thuật kiểu Gradient 35 3.1.3 Chương trình Matlab cho giải thuật cải tiến Beck 36 3.1.4 Sự hội tụ nghiệm số giải thuật 37 3.2 PHƯƠNG TRÌNH TÍCH PHÂN LOẠI 39 3.2.1 Bài toán 39 3.2.2 Rời rạc toán 39 3.2.3 Áp dụng chỉnh hóa thưa cho tốn 40 3.2.4 Chương trình Matlab cho giải thuật kiểu Gradient 41 3.2.5 Chương trình Matlab cho giải thuật cải tiến Beck 42 3.2.6 Minh họa nghiệm số hội tụ 43 KẾT LUẬN VÀ KIẾN NGHỊ 45 TÀI LIỆU THAM KHẢO 46 BẢNG KÍ HIỆU : Tập số thực : Tập số thực mở rộng : Không gian tiền Hilbert không gian Hilbert n chiều x : Chuẩn x K : Chuẩn tốn tử K H : Khơng gian Hilbert Sτ : Hàm co rút Sτ : Toán tử co rút mềm δ f : Dữ liệu xấp xỉ f x := y : x định nghĩa y ∀x : Với x ∃x : Tồn x x, y : Tích vơ hướng x y (X, , ) : Không gian tiền Hilbert (X, ) : Không gian định chuẩn C[a, b] : Không gian hàm liên tục [a,b] L(X, Y ) : Không gian gồm tất ánh xạ tuyến tính bị chặn từ X vào Y K(x, r) : Hình cầu tâm x, bán kính r int(M ) : Phần M cl(M ) : Bao đóng M L (a, b) : Khơng gian hàm bình phương khả tích (a, b) SpanA : Không gian sinh tập A C(f, α) : Tập mức f với mức α ∂f : Dưới vi phân hàm f R R Rn DANH SÁCH CÁC HÌNH VẼ Số hiệu hình vẽ Tên hình vẽ Trang 2.1 Đồ thị hàm Θ(v), Θs (v, u) Js (u) 22 n 3.1 Sự hội tụ Θ(x ) ứng với n=50 37 n 3.2 Sự hội tụ Θ(x ) ứng với n=100 38 n 3.3 Sự hội tụ Θ(v ) 44 MỞ ĐẦU Lịch sử vấn đề lý chọn đề tài Tối ưu lĩnh vực kinh điển tốn học, có ảnh hưởng đến hầu hết lĩnh vực khoa học - công nghệ kinh tế - xã hội Trong thực tế, việc tìm nghiệm tối ưu cho tốn chiếm vai trị quan trọng Bài tốn tối ưu phát biểu sau: Tìm f (x) đó, f (x) x∈D hàm mục tiêu, x nghiệm toán, D biểu diễn tập ràng buộc thỏa mãn số tính chất cho trước tốn Khi đó, tồn x∗ ∈ D đem lại giá trị nhỏ cho hàm mục tiêu, lúc ta nói x∗ nghiệm tối ưu tốn Để tìm nghiệm số cho tốn tối ưu, cần có giải thuật phù hợp Đối với giải thuật, cần phải xây dựng sở lý thuyết giải thuật, chứng minh tính hữu hạn hay hội tụ Ngày nay, nhu cầu phát triển không ngừng khoa học kỹ thuật, ngày xuất nhiều toán với hàm mục tiêu f (x) khơng trơn (khơng có đạo hàm) [10], [14] Ví dụ phương pháp chỉnh hóa thưa, chỉnh hóa biến phân cho tốn ngược, dẫn đến tốn tối ưu khơng trơn [14] Phương pháp chỉnh hóa thưa nghiên cứu 10 năm trở lại Phương pháp ứng dụng nhiều lĩnh vực khác xử lí ảnh, xác định tham số phương trình đạo hàm riêng, [12] Với mong muốn nghiên cứu tìm hiểu tốn tối ưu khơng trơn, đặc biệt toán tối ưu xuất lĩnh vực chỉnh hóa thưa nên tơi chọn đề tài nghiên cứu: “Giải thuật cho tốn tối ưu khơng trơn chỉnh hóa thưa ứng dụng” Đề tài nhằm nghiên cứu tồn nghiệm, điều kiện cần đủ cho nghiệm toán Đặc biệt, đề tài dành phần lớn cho việc nghiên cứu hai giải thuật để giải tốn Mục đích nghiên cứu Nghiên cứu xây dựng giải thuật cho tốn tối ưu khơng trơn chỉnh hóa thưa chứng minh tính chất hội tụ Từ đó, ứng dụng vào để giải số ví dụ cụ thể Đối tượng phạm vi nghiên cứu Bài tốn tối ưu khơng trơn chỉnh hóa thưa Các giải thuật cho toán tối ưu không trơn: Giải thuật kiểu Gradient giải thuật cải tiến Beck Phương pháp nghiên cứu Với đề tài: “Giải thuật cho tốn tối ưu khơng trơn chỉnh hóa thưa ứng dụng” tơi sử dụng phương pháp nghiên cứu sau: Thu thập, phân tích tổng hợp tài liệu Phân loại hệ thống hóa lý thuyết Trao đổi với giáo viên hướng dẫn Ý nghĩa khoa học thực tiễn Đề tài trình bày chi tiết cở sở lý thuyết giải thuật để giải toán tối ưu khơng trơn chỉnh hóa thưa Luận văn tài liệu tham khảo cho sinh viên, học viên cao học người có nhu cầu tìm hiểu tốn tối ưu khơng trơn chỉnh hóa thưa Cấu trúc luận văn Luận văn gồm chương: Chương 1: Kiến thức sở Trong chương này, chúng tơi trình bày khái niệm, định lý giải tích hàm giải tích lồi Một số tính chất hàm phạt có tính chất thưa, tốn tử co rút mềm sử dụng luận văn 33 Khi đó, an ≤ c, ∀n ≥ Bổ đề 2.3.3 Cho {tn } dãy dương sinh (gt2) thông qua bước với t1 = thỏa mãn tn ≥ n+1 , ∀n ≥ Định lí 2.3.4 Cho F lồi thỏa mãn tính chất 1, Giả định 2.1.1 Cho {un } xây dựng (gt2) u∗ cực tiểu Bài toán (2.4) Khi ∀n ≥ ∗ n Θ (u ) − Θ (u ) ≤ c u0 − u∗ (c = 2µL) (n + 1)2 Chứng minh Cho xác định Bổ đề 2.3.1 ta đặt 2 an := n t2n , bn := xn , c := y − u∗ = u0 − u∗ s Khi đó, từ Bổ đề 2.3.1, ∀n ≥ ta có: = Θ (un ) − Θ (u∗ ) Ta giả sử a1 + b1 ≤ c, từ Bổ đề 2.3.2 ta 2 tn ≤ u0 − u∗ n s Vì tn ≥ (n + 1)/2 (do Bổ đề 2.3.3), ta suy ≤ 2sn u0 − u∗ (n + 1)2 Hơn nữa, từ (gt2) ta có sn ≤ µL Như vậy, để bất đẳng thức Định lý 2.3.4 có được, ta cần kiểm tra a1 + b1 ≤ c Do t1 = xn xác định Bổ đề 2.3.1, ta có 2 a1 = t1 v1 = v1 , b1 = x1 = u1 − u∗ s s Sử dụng Nhận xét 2.2.3 với (v, u, s) := (u∗ , y , s1 ), ta s1 ∗ Θ (u ) − Θ Js1 y ≥ Js1 y − y + s1 Js1 y − y , y − u∗ ∗ ⇔ Θ (u ) − Θ u s1 ≥ u − y1 2 + s1 u1 − y , y − u∗ 34 = ⇒ s1 v1 ≤ y − u∗ s1 2{ u1 − u∗ − u − u∗ ⇒ a1 + b1 ≤ c 2 + y − u∗ } 35 CHƯƠNG MỘT SỐ VÍ DỤ VÀ ỨNG DỤNG Trong chương này, luận văn áp dụng hai giải thuật nghiên cứu Chương để giải số tốn cụ thể minh họa tính chất hội tụ 3.1 BÀI TỐN TỐI ƯU KHƠNG TRƠN HAI BIẾN 3.1.1 Bài tốn Tìm cực tiểu hàm số Θ : R2 → R xác định bởi: Θ(x) = x1 + x2 − 4x1 x2 + α (|x1 | + |x2 |) , ∀x1 , x2 ∈ R2 (3.1) Bài tốn này, có dạng Bài tốn (2.4) với: F (x) = x1 + x2 − 4x1 x2 Φ(x) = α (|x1 | + |x2 |) Bài tốn (3.1) trơng đơn giản việc tìm nghiệm xác tốn thật khó Bằng hai chương trình Matlab trên, tìm nghiệm xấp xỉ toán cách dễ dàng 3.1.2 Chương trình Matlab cho giải thuật kiểu Gradient Trong phần này, trình bày (gt1) mã hóa mơi trường Matlab cho Bài tốn (3.1) Chương trình Matlab viết sau: f = @(x)x(1)4 + x(2)4 − ∗ x(1) ∗ x(2); gradf = @(x)[4 ∗ x(1)3 − ∗ x(2); ∗ x(2)3 − ∗ x(1)]; eta = 1e-4; N=2; alpha = eta*ones(N,1); q=0.5; s1=1e-5;s2=1e5; maxiter=50; x0 = [3;4]; x1=x0; sn=1; obj1=[]; objfcn1=f(x0); 36 objfcnt1 = objfcn1 + alpha’*abs(x0); gradfcn1 =gradf(x0); for i = 1:maxiter obj1=[obj1 objfcnt1]; ok=1; while ok stemp = x0 - sn*gradfcn1; x1 = sign(stemp).*max(abs(stemp)-sn*alpha,0); objfcn2=f(x1); objfcnt2 = objfcn2 + alpha’*abs(x1); DL=objfcn1+gradfcn1’*(x1-x0)+(x1-x0)’* (x1-x0)/(2*sn); DL = DL + alpha’*abs(x1); if objfcnt2>DL & (sn>=s1) & (snDL & (sn>=s1) & (snDL & (sn>=s1) & (snDL & (sn>=s1) & (sn