Gradient suy rộng và ứng dụng vào bài toán tối ưu không trơn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG HIẾU TRỌNG GRADIENT SUY RỘNG VÀ ỨNG DỤNG VÀO BÀI TỐN TỐI ƯU KHƠNG TRƠN LUẬN VĂN THẠC SỸ TỐN HỌC THÁI NGUN - NĂM 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG HIẾU TRỌNG GRADIENT SUY RỘNG VÀ ỨNG DỤNG VÀO BÀI TỐN TỐI ƯU KHƠNG TRƠN LUẬN VĂN THẠC SỸ TỐN HỌC Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 Người hướng dẫn khoa học: GS TS TRẦN VŨ THIỆU THÁI NGUYÊN - NĂM 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i Mục lục Mở đầu 1 Gradient suy rộng 1.1 Định nghĩa ký hiệu 1.2 Một số tính chất gradient suy rộng 3 Một số phương pháp giải toán tối ưu khơng trơn 2.1 Nội dung tốn 2.2 Điều kiện tối ưu 2.3 Một số phương pháp giải tốn tối ưu khơng trơn 2.3.1 Phương pháp gradient 2.3.2 Phương pháp siêu phẳng cắt 2.3.3 Phương pháp bó 2.3.4 Phương pháp miền tin cậy hàm hợp không trơn 2.3.5 Phương pháp Newton không trơn Kết luận Tài liệu tham khảo 11 11 14 18 18 25 27 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 30 38 46 47 ii Lời cảm ơn Bản luận văn hoàn thành trường Đại học Khoa Học Đại học Thái Nguyên hướng dẫn trực tiếp GS.TS Trần Vũ Thiệu Viện toán học - Viện KHCN Việt Nam Tác giả xin bày tỏ lịng kính trọng biết ơn sâu sắc tới Thầy hướng dẫn tận tình suốt thời gian tác giả làm luận văn Tác giả xin bày tỏ lịng biết ơn tới Thầy Cơ Viện tốn học - Viện KHCN Việt Nam, Viện công nghệ thông tin, Khoa cơng nghệ thơng tin, Khoa tốn Phịng đào tạo sau đại học trường Đại học Khoa Học Đại học Thái Nguyên tận tình giảng dạy tạo điều kiện thuận lợi cho tác giả trình học tập trường Tác giả xin gửi lời cảm ơn tới Ban giám đốc trung tâm Giáo dục thường xuyên Hưng Hà - Thái Bình Thầy Cô trung tâm tạo điều kiện giúp đỡ tác giả suốt thời gian học Xin chân thành cảm ơn anh chị em học viên lớp cao học bạn bè đồng nghiệp đóng góp q báu, giúp đỡ tận tình cổ vũ to lớn suốt trình học tập, nghiên cứu làm luận văn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mở đầu Hàm không trơn hiểu hàm khơng khả vi Vì hàm cịn gọi hàm khơng khả vi Bài toán quy hoạch phi tuyến min{f (x) : gi (x) = 0, i = 1, , p, gi (x) ≤ 0, i = p + 1, , m} gọi tốn tối ưu khơng trơn hàm mục tiêu f (x) hay hàm ràng buộc gi (x) hàm không trơn Như biết với toán tối ưu trơn, hàm khả vi có nhiều tính chất đẹp, phương pháp giải tốn xây dựng phát triển hoàn thiện Nhưng với tốn tối ưu khơng trơn việc xây dựng phương pháp giải gặp nhiều khó khăn, toán R1 việc giải khơng đơn giản Tuy nhiên, tốn tối ưu khơng trơn có tính ứng dụng thực tiễn cao Vì vậy, xây dựng phương pháp giải cho tốn tối ưu không trơn thu hút nhiều người làm tốn quan tâm Chính lẽ mà tác giả chọn đề tài "Gradient suy rộng ứng dụng vào tốn tối ưu khơng trơn" Mục đích luận văn trình bày kiến thức ban đầu tối ưu không trơn, đề cập tới điều kiên tối ưu không trơn giới thiệu số phương pháp số giải tốn tối ưu khơng trơn Luận văn chia làm hai chương Chương 1: Gradient suy rộng Trong chương này, tác giả trình bày số khái niệm hàm Lipschitz, đạo hàm theo hướng, đạo hàm theo hướng Dini trên, đạo hàm suy rộng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn theo hướng tính chất, khái niệm vi phân suy rộng, gradient suy rộng Các tính chất gradient suy rộng, mối liên hệ vi phân suy rộng vi phân Chương 2: Một số phương pháp giải toán tối ưu khơng trơn Trong chương này, tác giả trình bày số ví dụ tốn tối ưu khơng trơn khó khăn gặp phải giải toán Xây dựng điều kiện cần đủ tối ưu cho tốn tối ưu khơng trơn dựa tập vi phân suy rộng Trình bày số phương pháp giải toán như: phương pháp gradient, phương pháp bó, phương pháp siêu phẳng cắt, phương pháp miền tin cậy hàm hợp không trơn, phương pháp Newton Bản luận văn hoàn thành hướng dẫn tận tình GS.TS Trần Vũ Thiệu Tác giả hi vọng phần kiến thức nhỏ luận văn tài liệu tham khảo cho bạn sinh viên, người quan tâm yêu thích đề tài Mặc dù tác giả cố gắng kết đạt luận văn khiêm tốn, trình viết luận văn xử lý văn chắn không tránh khỏi sai sót định, tác giả mong nhận ý kiến đóng góp quý báu Thầy Cô bạn bè đồng nghiệp để luận văn hồn thiện Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương Gradient suy rộng 1.1 Định nghĩa ký hiệu Trước hết, chương trình bày số khái niệm tính chất gradient suy rộng hàm không trơn Định nghĩa 1.1 Cho X không gian Banach với chuẩn xác định X Giả sử Y tập X Một hàm f : Y → R gọi Lipschitz Y f (x) thỏa mãn điều kiện |f (x) − f (y)| ≤ K x − y , ∀x, y ∈ Y ⊆ X (1.1) Bất đẳng thức (1.1) gọi điều kiện Lipschitz K gọi số Lipschitz Ký hiệu B(x, ε) = {y| x − y ≤ ε} hình cầu suy rộng tâm x bán kính ε > Hàm f gọi Lipschitz gần x f thỏa mãn điều kiện Lipschitz hình cầu B(x, ε) với số ε > Định nghĩa 1.2 Đạo hàm hàm f theo phương d x ký hiệu f (x, d) định nghĩa giới hạn f (x, d) = lim t↓0 f (x + td) − f (x) t giới hạn tồn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Có thể thấy hàm có tính Lipschitz gần điểm khơng thiết khả vi điểm khơng có đạo hàm theo hướng theo nghĩa cổ điển vừa nêu Định nghĩa 1.3 Đạo hàm theo hướng Dini f x theo hướng d, ký hiệu f (D) (x, d) định nghĩa giới hạn f (D) (x, d) = lim sup t↓0 f (x + td) − f (x) t giới hạn tồn Định nghĩa 1.4 Cho f hàm Lipschitz gần x d vecto X Đạo hàm suy rộng theo hướng f x theo hướng d, ký hiệu f (x, d) định nghĩa giới hạn sup f (x, d) = lim y→x t↓0 f (y + td) − f (y) t y vecto thuộc X t số dương t ↓ hiểu t đơn điệu giảm tới Vì đạo hàm suy rộng theo hướng Clarke nêu nên đạo hàm f (x, d) gọi đạo hàm theo hướng Clarke Nhận xét 1.1 i) Nếu f (x) hàm Lipschitz địa phương đạo hàm theo hướng không tồn đạo hàm theo hướng Dini đạo hàm theo hướng Clarke tồn ta có hệ thức f (D) (x, d) ≤ f (x, d), ∀x d ii) Nếu f (x) hàm Lipschitz địa phương tồn f (x, d) f (x, d) = f (D) (x, d) Nếu f (x, d) tồn tại x với hướng d f gọi khả vi theo hướng x Nếu f khả vi theo hướng x f (x, d) = f (x, d) f gọi quy x Hàm f gọi hàm quy quy khắp nơi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Bổ đề 1.1 Nếu f (x) hàm Lipschitz gần x i) Hàm d → f (x, d) hàm dương, cộng tính thỏa mãn điều kiện |f (x, d)| ≤ K d ii) f (x, d) hàm Lipschitz X theo d iii) f (x, d) nửa liên tục theo (x, d) iv) f (x, −d) = (−f )0 (x, d) Chứng minh i) Thật vậy, với λ > ta có f (y + λtd) − f (y) t t↓0 f (y + λtd) − f (y) = λ lim sup y→x λt t↓0 f (y + ηd) − f (y) sup = λ lim y→x η η↓0 f (x, λd) = lim sup y→x = λf (x, d) Vậy f (x, d) hàm dương Theo định nghĩa ta có f (y + t(d1 + d2 )) − f (y) t t↓0 f (y + td1 + td2 ) − f (y + td2 ) ≤ lim sup y→x t t↓0 f (y + td2 ) − f (y) + lim sup y→x t t↓0 f (x, d1 + d2 ) = lim sup y→x ≤ f (x, d1 ) + f (x, d2 ) Vậy f (x, d) cộng tính f (y + td) − f (y) t t↓0 K y + td − y ≤ lim t↓0 t =K d f (x, d) = lim sup y→x Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Suy |f (x, d)| ≤ K d ii) Với d1 , d2 ∈ X, từ điều kiện Lipschitz ta thấy f (y + td1 ) − f (y) ≤ f (y + td2 ) − f (y) + Kt d1 − d2 (1.2) Chia hai vế (1.2) cho t > ta f (y + td1 ) − f (y) f (y + td2 ) − f (y) + Kt ≤ t t d1 − d2 Chuyển qua giới hạn hai vế ta nhận f (x, d1 ) ≤ f (x, d2 ) + K d1 − d2 f (x, d2 ) ≤ f (x, d1 ) + K d1 − d2 (1.3) Tương tự, ta có (1.4) từ (1.3) (1.4) suy |f (x, d1 ) − f (x, d2 )| ≤ K d1 − d2 Vậy, f (x, d) hàm Lipschitz với d iii) Giả sử {xk } {dk } dãy thỏa mãn xk → x dk → d, với k tồn yk ∈ X tk > cho yk − xk +tk < k Ta có f (xk , dk ) − f (yk + tk dk ) − f (yk ) ≤ k tk f (yk + tk dk ) − f (yk + tk d) f (yk + tk d) − f (yk ) ≤ + tk tk Suy lim supf (xk , dk ) ≤ f (x, d) k→∞ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 33 Định lí 2.13 (Điều kiện đủ cấp 1) Nếu DF (x, d) > với ∀d = x∗ điểm cực tiểu địa phương chặt hàm h(f (x)) Chứng minh Từ điều kiện DF (x∗ , d) > suy tồn δ > cho DF (x∗ , d) ≥ δ, ∀ d = (2.43) Giả sử kết luận định lý sai Khi đó, tồn xk → x∗ thỏa mãn h(f (xk )) ≤ h(f (x∗ )) Giả sử xk = x∗ + αk dk , dk 2= αk > 0, αk → Khi h(f (xk )) − h(f (x∗ )) = h(f (x∗ ) + A(x∗ )T (xk − x∗ )) − h(f (x∗ )) + o(αk ) ≥ αk DF (x∗ , dk ) + o(αk ) ≥ αk δ + o(αk ), trái với h(f (xk )) ≤ h(f (x∗ )) Ta gặp mâu thuẫn định lý chứng minh Thực từ giả thiết DF (x∗ , d) > ∀d = suy tồn δ ε cho h(f (x)) − h(f (x∗ )) ≥ δ x − x∗ với x thỏa mãn x − x∗ ≤ ε 2.3.4.2 Phương pháp miền tin cậy cho tốn tối ưu khơng trơn với hàm hợp Với toán (2.32), toán phương pháp miền tin cậy có dạng minn h(f (xk ) + A(xk )T d) + dT Bk d = Φk (d) (2.44) d∈R Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 34 với điều kiện d ≤ ∆k , (2.45) đó, A(x) = ∇f (x)T ∈ Rn×m , Bk ∈ Rn×n ma trận đối xứng, ∆k > bán kính miền tin cậy ∆k điều chỉnh lớn để trì phù hợp đầy đủ Φk (d) h(f (xk + d)) Chuẩn tùy ý, mục thường sử dụng chuẩn Giả sử dk nghiệm toán (2.44)-(2.45) Tương tự định lý 2.12 ta chứng minh có tồn λk ∈ ∂h(f (xk ) + A(xk )T dk ) (2.46) µk ∈ ∂ (2.47) dk µk ≥ cho A(xk )λk + βk dk + µk µk = (2.48) µk [∆k − (2.49) dk ] = Thuật toán miền tin cậy cho toán khơng trơn với hàm hợp sau: Thuật tốn 2.6 (Thuật toán miền tin cậy giải toán NSO) Bước Cho x1 ∈ Rn , λ0 ∈ Rm , ∆1 > 0, ε ≥ 0, k := Bước Tính Bk = (λk−1 )i ∇2 fi (xk ) (2.50) Giải tốn (2.44)-(2.45) để tìm dk Nếu dk ≤ ε dừng thuật tốn Bước Tính h(f (xk )) − h(f (xk + dk )) rk = (2.51) Φk (0) − Φk (dk ) dk Nếu rk < 0.25 đặt ∆k+1 := Nếu rk > 0.75 dk = ∆k đặt ∆k+1 = 2∆k Các trường Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 35 hợp khác, đặt ∆k+1 = ∆k Bước Nếu rk > chuyển sang Bước 5, trái lại đặt xk+1 := xk , λk := λk−1 chuyển sang Bước Bước Đặt xk+1 := xk + dk , λk xác định theo (2.48) Bước Đặt k := k + quay lại Bước Để phân tích hội tụ Thuật toán 2.6 ta giả sử dãy {xk } sinh thuật tốn bị chặn, điều chắn có tập mức {x|h(f (x)) ≤ h(f (x1 ))} bị chặn Từ tính bị chặn dãy {xk } suy có tập Ω lồi, đóng, bị chặn cho xk ∈ Ω, xk + dk ∈ Ω, ∀k = 1, (2.52) Do h(.) hàm lồi xác định toàn Rm nên tồn số L > cho |h(f1 ) − h(f2 )| ≤ L f1 − f2 (2.53) với f1 , f2 ∈ f (Ω) = {v = f (x), x ∈ Ω} Từ tính khả vi liên tục f tính bị chặn Ω suy tồn số M > cho A(x) ≤ M (2.54) với x ∈ Ω Định lí 2.14 Cho fi (x) (i = 1, 2, , m) hàm hai lần khả vi, liên tục Nếu dãy {xk } sinh Thuật toán 2.6 bị chặn tồn điểm tụ x∗ Thuật toán 2.6 điểm dừng toán tối ưu (2.32) Ngồi ra, có hệ sau Hệ 2.1 Với giả thiết Định lý 2.14 thay cho (2.50) chặn dãy {xk } có điểm tụ x∗ điểm dừng Bây ta giảm nhẹ tính bị chặn Bk thành Bk bị k Bk ≤ C5 + C6 ∆i (2.55) i=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 36 Cũng điều chỉnh bán kính miền tin cậy mở rộng cho trường hợp tổng quát dk ≤ ∆k+1 ≤ min[C1 ∆k , ∆] rk ≥ C2 (2.56) dk ≤ ∆k+1 ≤ C4 ∆k rk < C2 , (2.57) C3 Ci (i = 1, 2, , 6) số dương thỏa mãn C1 > > C4 > C3 ; C2 < ∆ số cho trước cận cho bán kính miền tin cậy Với điều kiện mở rộng, ta thiết lập hội tụ Trước hết ta xét bổ đề sau Bổ đề 2.4 Nếu dk nghiệm (2.44)-(2.45) Ψ∆k (xk ) , h(f (xk )) − Φk (dk ) ≥ Ψ∆k (xk ) 1; Bk ∆2k Ψt (x) xác định theo (2.35)-(2.36) Chứng minh Từ định nghĩa dk suy h(f (xk )) − Φk (dk ) ≥ h(f (xk )) − Φ(d) với d thỏa mãn dk ≤ ∆k cho d ≤ ∆k Theo định nghĩa Φt (x), tồn Ψ∆k (xk ) = h(f (xk )) − h(f (xk ) + A(xk )T dk ) Do h(.) hàm lồi nên ta nhận h(f (xk )) − Φk (dk ) ≥ h(f (xk )) − Φk (αdk ) T = χ(xk , αdk ) − α2 dk Bk dk ≥ αχ(xk , dk ) − α2 Bk dk 2 ≥ αΨ∆k (xk ) − α Bk ∆2k , với α ∈ [0; 1] Vì h(f (xk )) − Φk (dk ) ≥ max αΨ∆k (xk ) − α2 Bk ∆2k 0≤α≤1 [Ψ∆k (xk )]2 ≥ Ψ∆k (xk ); Bk ∆2k Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 37 Từ suy điều cần chứng minh Bây mở rộng kết luận Định lý 2.11 Định lí 2.15 Cho fi (x), (i = 1, 2, , m) hàm hai lần khả vi, liên tục Giả sử Bk Thuật tốn 2.6 khơng cho theo (2.50) mà cho theo (2.55) dãy {xk } thuật toán bị chặn phải có điểm tụ x∗ dãy {xk } điểm dừng toán (2.32) Chứng minh Giả sử kết luận định lý không Khi đó, tìm số δ > cho Ψ1 (xk ) ≥ δ, ∀k Từ Bổ đề 2.3 Bổ đề 2.4, bất đẳng thức Ψ1 (xk ) ≥ δ, ∀k tính bị chặn ∆k ta có h(f (xk )) − Φk (dk ) ≥ C7 ∆k , Bk ≥ C7 ∆k , , k C5 + C6 ∆1 i=1 C7 số dương Bằng cách đặt S = {k|rk ≥ C2 }, ta có ∞ h(f (xk )) − h(f (x)) ≥ x∈Ω h(f (xk )) − h(f (xk+1 )) k=1 ≥ h(f (xk )) − h(f (xk+1 )) k∈S ≥ C2 h(f (xk )) − Φk (dk ) k∈S Kết hợp điều kiện với ∆k ≤ ∆ ta suy ∆k k∈S < +∞ k C5 + C6 (2.58) ∆i i=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 38 Theo định nghĩa ∆k+1 ∆k+1 ≤ C4 ∆k , ∀k ∈ S, bất đẳng thức cho ta k i=1 C1 ∆i ≤ + − C4 k ∆i + ∆1 (2.59) i=1 i∈S ∞ ∆i hội tụ, Kết hợp (2.58) (2.59) cho thấy i∈S ∆k k=1 hội tụ theo (2.59) Do Bk bị chặn theo Hệ 3.1 ta thấyΨ1 (xk ) ≥ δ, ∀k không Ta gặp mâu thuẫn định lý chứng minh Tương tự phương pháp miền tin cậy cho tối ưu không ràng buộc, điều kiện (2.55) giảm nhẹ thành Bk ≤ C8 + C9 k Tuy nhiên, phương pháp miền tin cậy cho tối ưu không trơn dù ban đầu Bk đạt tốc độ hội tụ tuyến tính 2.3.5 Phương pháp Newton khơng trơn Phương pháp Newton cổ điển mở rộng cho trường hợp không trơn cách sử dụng ma trận Jacobi suy rộng thay cho ma trận Jacobi cổ điển Mục đề cập tới phương pháp Newton cho tối ưu khơng trơn Trước hết, ta tìm hiểu khái niệm ma trận Jacobi suy rộng hàm nửa trơn Giả sử F : Rn → Rm hàm Lipschitz địa phương Khi đó, F khả vi hầu khắp nơi Kí hiệu DF tập tất điểm F khả vi JF (x) ma trận Jacobi cấp m × n thơng thường đạo hàm riêng điểm x mà có tồn đạo hàm riêng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 39 Jacobi suy rộng F x kí hiệu ∂F (x) bao lồi tất ma trận V cấp m × n thu lấy giới hạn dãy có dạng JF (xi ), xi → x xi ∈ DF Khi đó, ta có ∂F (x) = co{lim JF (xi )|xi → x, xi ∈ DF } (2.60) Nếu F Lipschitz tập mở U Rn x, y ∈ U , ta có F (y) − F (x) ∈ ∂F ([x, y])(y − x) (2.61) Giả sử với h ∈ Rn tồn giới hạn lim V ∈∂F (x+th) t↓0 {V h} (2.62) Khi đạo hàm theo hướng theo nghĩa thông thường F (x, h) = lim t↓0 F (x + th) − F (x) t (2.63) tồn F (x, h) = lim V ∈∂F (x+th) t↓0 {V h} (2.64) Thực vậy, theo (2.61) ta có lim t↓0 F (x + tj h) − F (x) ∈ co∂F ([x, x + tj h])h tj (k) Theo định lý Caratheodory tồn tj m (k) ∂F ([x, x + tj h]), với k = 0, 1, , m, (k) ∈ [0, tj ], λj (k) ∈ [0, 1], Vj ∈ (k) λj = cho k=0 F (x + tj h) − F (x) = tj (k) Ta giả sử λj m (k) (k) λj Vj h k=0 → λj j → ∞ Ta có λj ∈ [0, 1] với Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 40 m λj = Khi có dãy tj ↓ cho k = 0, 1, , m k=0 F (x + tj h) − F (x) j→∞ tj F (x, h) = lim m (k) = lim { j→∞ (k) λj Vj h} k=0 m (k) lim λj = k=0 m j→∞ λj = k=0 = lim (k) lim {Vj h} j→∞ (k) lim V ∈∂F (x+th) t↓0 V ∈∂F (x+th) t↓0 {Vj h} (k) {Vj h} Hàm F gọi nửa trơn x F Lipschitz địa phương x tồn giới hạn với h ∈ Rn lim V ∈∂F (x+th ) h →h,t↓0 {V h } với ∀h ∈ Rn (2.65) có nghĩa lim h →h t↓0 F (x + th ) − F (x) = t lim {V h } (2.66) V ∈∂F (x+th ) h →h,t↓0 Bổ đề 2.5 Giả sử F : Rn → Rm hàm Lipschitz địa phương đạo hàm theo hướng F (x, h) x tồn với h Khi đó, i) F (x, h) Lipschitz ii) Với h tồn V ∈ ∂F (x) thỏa mãn F (x, h) = V h Chứng minh Với h, h ∈ Rn F (x, h) − F (x, h ) F (x + th) − F (x + th ) t↓0 t F (x + th) − F (x + th ) = lim t↓0 t =L h−h , = lim Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 41 L số Lipschitz gần x Điều chứng tỏ có i) Do (2.61) (2.63) nên có dãy {tk } dãy {Vk } cho tk ↓ 0, Vk ∈ co∂F ([x, x + tk h]) F (x, h) = lim {Vk h} k→∞ Do F Lipschitz địa phương nên {Vk } bị chặn cách chuyển qua dãy ta cho Vk → V Do ∂F tập đóng nên V ∈ ∂F (x) Vì ii) chứng minh Nếu F hàm nửa trơn với V ∈ ∂F (x + h) h → ta có V h − F (x, h) = o( h ) (2.67) lim x+h∈DF h→0 F (x + h, h) − F (x, h) = h (2.68) Thực vậy, F nửa trơn ta kết luận vế phải (2.66) hội tụ với h Giả sử kết luận khơng Khi đó, tồn ε > 0, {hk ∈ Rn | hk = 1, k = 1, 2, }, hk − hk → 0, t ↓ 0, Vk ∈ ∂F (x, hk ) cho Vk hk − F (x, hk ) ≥ 2ε, (2.69) với k = 1, 2, Bằng cách chuyển qua dãy con, ta giả sử hk → h Do có hk → h Theo bổ đề 2.5 (2.69) ta có Vk hk − F (x, h) ≥ ε, (2.70) với k đủ lớn Điều vơ lý F nửa trơn Tính hội tụ vế phải (2.66) kéo theo hội tụ (2.64) kéo theo hội tụ (2.67) Cũng vậy, từ (2.67) F (x , h) = V (h) (Bổ đề 2.5) trực tiếp suy (2.68) Đạo hàm Fréchet mạnh F (z) − F (y) − F (x)(z − y) = y→x z−y lim Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 42 Rõ ràng F có đạo hàm Fréchet mạnh x F nửa trơn x Nếu với V ∈ ∂F (x + h) h → V h − F (x, h) = o( h 1+p ), < p ≤ F gọi nửa trơn bậc p x Rõ ràng, F nửa trơn bậc p (0 < p ≤ 1) x F nửa trơn Chú ý F nửa trơn x với h → ta có f (x + h) − F (x) − F (x, h) = o( h ) Còn F nửa trơn bậc p x với h → ta có F (x + h) − F (x) − F (x, h) = o( h 1+p ) Bây ta mơ tả phương pháp Newton cho tối ưu không trơn Như biết hàm trơn F : Rn → Rn phương pháp Newton tìm nghiệm phương trình phi tuyến F (x) = phép lặp xk+1 = xk − [F (xk )]−1 F (xk ) (2.71) Giả sử F hàm khơng trơn Lipschitz địa phương Khi đó, công thức (2.71) không sử dụng Giả sử ∂F (xk ) Jacobi suy rộng f xk Thay cho (2.71) ta dùng phép lặp xk+1 = xk − Vk−1 F (xk ), (2.72) Vk ∈ ∂F (xk ) để giải phương trình không trơn F (x) = (2.73) Bổ đề 2.6 Nếu V ∈ ∂F (x) khơng suy biến tồn lân cận N (x) x số C cho với y ∈ N (x) V ∈ ∂F (y) có V khơng suy biến V −1 ≤ C Chứng minh Dùng phản chứng bổ đề sai có dãy yk → x, Vk ∈ ∂F (yk ) cho Vk suy biến Vk−1 → ∞ Do F Lipschitz địa phương nên ∂F bị chặn lân cận x Bằng cách chuyển qua dãy ta giả thiết Vk → V Khi V phải suy biến, điều trái với giả thiết bổ đề chứng minh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 43 Định lí 2.16 (Sự hội tụ địa phương) Nếu x∗ nghiệm hệ phương trình khơng trơn (2.73), F Lipschitz địa phương nửa trơn x∗ V ∈ ∂F (x∗ ) không suy biến phương pháp lặp (2.72) hồn tồn xác định hội tụ tới x∗ lân cận x∗ Hơn nữa, F nửa trơn bậc p x∗ (2.72) hội tụ với tốc độ + p Chứng minh Từ Bổ đề 2.6 dãy lặp (2.72) xác định lân cận x∗ Từ hệ thức xk+1 = xk − Vk−1 F (xk ), V h − F (x, h) = o( h ), F (x + h) − F (x) − F (x, h) = o( h ) Suy xk+1 − x∗ = xk − x∗ − Vk−1 F (xk ) ≤ Vk−1 [F (xk ) − F (x∗ ) − F (x∗ , xk − x∗ )] + [Vk−1 [Vk (xK − x∗ ) − F (x∗ , xk − x∗ )] = o( xk − x∗ ) Trường hợp F nửa trơn bậc p chứng minh tương tự Cuối ta xét hội tụ toàn cục phương pháp Newton cho tối ưu không trơn Định lí 2.17 (Sự hội tụ tồn cục) Giả sử F hàm Lipschitz địa phương, nửa trơn tập S = {x ∈ Rn | x − x0 ≤ r} với V ∈ ∂F (x), x, y ∈ S, V không suy biến V −1 ≤ β, V (y − x) − F (x, y − x) ≤ γ F (y) − F (x) − F (x, y − x) ≤ δ y−x y−x , α = β(γ + δ) < β F (x0 ) ≤ r(1 − α) Khi đó, dãy điểm lặp (2.72) nằm S hội tụ tới điểm x∗ nghiệm (2.73) Hơn nữa, sai số ước lượng công thức α xk − x∗ ≤ xk − xk−1 (1 − α) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 44 với k = 1, 2, Chứng minh Rõ ràng x1 − x0 = V0−1 F (x0 ) ≤ β F (x0 ) ≤ r(1 − α) nên x1 ∈ S Giả sử x1 , x2 , , xk ∈ S Khi xk+1 − xk = Vk−1 F (xk ) ≤ β F (xk ) ≤β F (xk ) − F (xk−1 ) − F (xk−1 , xk − xk−1 ) +β Vk−1 (xk − xk−1 ) − F (xk−1 , xk − xk−1 ) ≤ β(δ + γ) ≤ αk xk − xk−1 = α xk − xk−1 x1 − x0 ≤ rαk (1 − α) Do đó, k xk+1 − x0 ≤ xj+1 − xj j=0 k rαj (1 − α) ≤ r ≤ j=0 xk+1 ∈ S, nghĩa điểm lặp (2.72) nằm S Với k n ta có k+n xk+n+1 − xk ≤ xj+1 − xj j=k k+n rαj (1 − α) ≤ rαk ≤ j=k Vì điểm lặp (2.72) hội tụ tới điểm x∗ thuộc S Do F Lipschitz S nên Vk bị chặn Do F (x∗ ) = lim F (xk ) ≤ lim Vk k→∞ k→∞ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên xk+1 − xk = 0, http://www.lrc-tnu.edu.vn 45 nghĩa F (x∗ ) = Giả sử có x∗ , y ∗ thỏa mãn F (x∗ ) = F (y ∗ ) = Nếu V ∗ ∈ ∂F (x∗ ) y ∗ − x∗ ≤ β V ∗ (y ∗ − x∗ ) ≤β V ∗ (y ∗ − x∗ ) − F (x∗ , y ∗ − x∗ ) +β F (y ∗ ) − F (x∗ ) − F (x∗ , y ∗ − x∗ ) y ∗ − x∗ = α ≤ β(δ + γ) y ∗ − x∗ Từ suy (y ∗ − x∗ ) ≤ 0, nghĩa x∗ = y ∗ Điều chứng tỏ x∗ nghiệm hệ phương trình(2.73) Cuối cùng, ta có k+n xk+n+1 − xk xj+1 − xj = j=k n αj+1 ≤ xk − xk−1 j=0 ≤ Cho n → ∞ ta nhận α 1−α xk − x∗ ≤ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên xk − xk−1 α 1−α xk − xk−1 http://www.lrc-tnu.edu.vn 46 Kết luận Bài tốn tối ưu trơn vấn đề khó có nhiều hướng nghiên cứu khác xây dựng phương pháp giải Trong khuôn khổ luận văn tác giả giới thiệu hướng tiếp cận khác xuất phát từ khái niệm vi phân suy rộng Clarke đề xuất (trong trường hợp hàm lồi thỏa mãn điều kiện Lipschitz khái niệm vi phân) Trong chương 1, giới thiệu khái niệm đạo hàm sở xây dựng khái niệm vi phân suy rộng chứng minh số tính chất gradient suy rộng Các khái niệm cụ thể hóa thơng qua ví dụ giúp cho người đọc dễ tiếp cận Trong chương 2, đề cập tới điều kiện tối ưu tối ưu không trơn giới thiệu số phương pháp số giải tốn tối ưu khơng trơn Các phương pháp giải đề xuất luận văn mở rộng từ ý tưởng phương pháp có trước Một số kỹ thuật thay đổi làm tăng tốc độ hội tụ thuật toán Tác giả cố gắng xếp trình bày vấn đề theo cách hiểu rõ ràng có thể, đưa số so sánh nhận xét ưu nhược điểm phương pháp với hi vọng nhược điểm khắc phục để đưa phương pháp hiệu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 47 Tài liệu tham khảo Tiếng Việt [1] Nguyễn Thị Bạch Kim (2008), Giáo trình Các phương pháp Tối ưu Lý thuyết Thuật toán, nhà xuất Bách Khoa-Hà Nội Tiếng Anh [2] J.J Strodiot (2003), An Introduction to Non-Smooth Ontimization, Namur-Belgium [3] W.Sun and Ye-X.Yuan (2006), Optimization Theory and MethodsNonlinear Programming, Springer, pp 597-635 [4] M.Gaudioso (2002), Nonsmooth Optimization In Handbook of Optimization, Oxford Univ.Press [5] R.Fréchet (2006) Practical Methods of Optimization, Univercity of Dunlee Scotland UK 2n d edition, pp 357-417 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... tác giả chọn đề tài "Gradient suy rộng ứng dụng vào tốn tối ưu khơng trơn" Mục đích luận văn trình bày kiến thức ban đầu tối ưu không trơn, đề cập tới điều kiên tối ưu không trơn giới thiệu số... NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG HIẾU TRỌNG GRADIENT SUY RỘNG VÀ ỨNG DỤNG VÀO BÀI TỐN TỐI ƯU KHƠNG TRƠN LUẬN VĂN THẠC SỸ TỐN HỌC Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 Người hướng dẫn khoa... tối ưu không trơn dù ban đầu Bk đạt tốc độ hội tụ tuyến tính 2.3.5 Phương pháp Newton không trơn Phương pháp Newton cổ điển mở rộng cho trường hợp không trơn cách sử dụng ma trận Jacobi suy rộng