Gradient suy rộng và ứng dụng vào bài toán tối ưu không trơn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG HIẾU TRỌNG GRADIENT SUY RỘNG VÀ ỨNG DỤNG VÀO BÀI TỐN TỐI ƯU KHƠNG TRƠN LUẬN VĂN THẠC SỸ TỐN HỌC THÁI NGUYÊN - NĂM 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên Tai ngay!!! Ban co the xoa dong chu nay!!! http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG HIẾU TRỌNG GRADIENT SUY RỘNG VÀ ỨNG DỤNG VÀO BÀI TOÁN TỐI ƯU KHƠNG TRƠN LUẬN VĂN THẠC SỸ TỐN HỌC Chun ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 Người hướng dẫn khoa học: GS TS TRẦN VŨ THIỆU THÁI NGUYÊN - NĂM 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i Mục lục Mở đầu 1 Gradient suy rộng 1.1 Định nghĩa ký hiệu 1.2 Một số tính chất gradient suy rộng 3 Một số phương pháp giải toán tối ưu khơng trơn 2.1 Nội dung tốn 2.2 Điều kiện tối ưu 2.3 Một số phương pháp giải tốn tối ưu khơng trơn 2.3.1 Phương pháp gradient 2.3.2 Phương pháp siêu phẳng cắt 2.3.3 Phương pháp bó 2.3.4 Phương pháp miền tin cậy hàm hợp không trơn 2.3.5 Phương pháp Newton không trơn Kết luận Tài liệu tham khảo 11 11 14 18 18 25 27 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 30 38 46 47 ii Lời cảm ơn Bản luận văn hoàn thành trường Đại học Khoa Học Đại học Thái Nguyên hướng dẫn trực tiếp GS.TS Trần Vũ Thiệu Viện toán học - Viện KHCN Việt Nam Tác giả xin bày tỏ lịng kính trọng biết ơn sâu sắc tới Thầy hướng dẫn tận tình suốt thời gian tác giả làm luận văn Tác giả xin bày tỏ lòng biết ơn tới Thầy Cơ Viện tốn học - Viện KHCN Việt Nam, Viện công nghệ thông tin, Khoa cơng nghệ thơng tin, Khoa tốn Phịng đào tạo sau đại học trường Đại học Khoa Học Đại học Thái Nguyên tận tình giảng dạy tạo điều kiện thuận lợi cho tác giả trình học tập trường Tác giả xin gửi lời cảm ơn tới Ban giám đốc trung tâm Giáo dục thường xun Hưng Hà - Thái Bình Thầy Cơ trung tâm tạo điều kiện giúp đỡ tác giả suốt thời gian học Xin chân thành cảm ơn anh chị em học viên lớp cao học bạn bè đồng nghiệp đóng góp quý báu, giúp đỡ tận tình cổ vũ to lớn suốt trình học tập, nghiên cứu làm luận văn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mở đầu Hàm không trơn hiểu hàm khơng khả vi Vì hàm cịn gọi hàm khơng khả vi Bài tốn quy hoạch phi tuyến min{f (x) : gi (x) = 0, i = 1, , p, gi (x) ≤ 0, i = p + 1, , m} gọi tốn tối ưu khơng trơn hàm mục tiêu f (x) hay hàm ràng buộc gi (x) hàm không trơn Như biết với toán tối ưu trơn, hàm khả vi có nhiều tính chất đẹp, phương pháp giải toán xây dựng phát triển hoàn thiện Nhưng với tốn tối ưu khơng trơn việc xây dựng phương pháp giải gặp nhiều khó khăn, tốn R1 việc giải khơng đơn giản Tuy nhiên, tốn tối ưu khơng trơn có tính ứng dụng thực tiễn cao Vì vậy, xây dựng phương pháp giải cho toán tối ưu khơng trơn thu hút nhiều người làm tốn quan tâm Chính lẽ mà tác giả chọn đề tài "Gradient suy rộng ứng dụng vào tốn tối ưu khơng trơn" Mục đích luận văn trình bày kiến thức ban đầu tối ưu không trơn, đề cập tới điều kiên tối ưu không trơn giới thiệu số phương pháp số giải tốn tối ưu khơng trơn Luận văn chia làm hai chương Chương 1: Gradient suy rộng Trong chương này, tác giả trình bày số khái niệm hàm Lipschitz, đạo hàm theo hướng, đạo hàm theo hướng Dini trên, đạo hàm suy rộng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn theo hướng tính chất, khái niệm vi phân suy rộng, gradient suy rộng Các tính chất gradient suy rộng, mối liên hệ vi phân suy rộng vi phân Chương 2: Một số phương pháp giải tốn tối ưu khơng trơn Trong chương này, tác giả trình bày số ví dụ tốn tối ưu khơng trơn khó khăn gặp phải giải tốn Xây dựng điều kiện cần đủ tối ưu cho tốn tối ưu khơng trơn dựa tập vi phân suy rộng Trình bày số phương pháp giải tốn như: phương pháp gradient, phương pháp bó, phương pháp siêu phẳng cắt, phương pháp miền tin cậy hàm hợp không trơn, phương pháp Newton Bản luận văn hoàn thành hướng dẫn tận tình GS.TS Trần Vũ Thiệu Tác giả hi vọng phần kiến thức nhỏ luận văn tài liệu tham khảo cho bạn sinh viên, người quan tâm yêu thích đề tài Mặc dù tác giả cố gắng kết đạt luận văn khiêm tốn, trình viết luận văn xử lý văn chắn không tránh khỏi sai sót định, tác giả mong nhận ý kiến đóng góp q báu Thầy Cơ bạn bè đồng nghiệp để luận văn hồn thiện Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương Gradient suy rộng 1.1 Định nghĩa ký hiệu Trước hết, chương trình bày số khái niệm tính chất gradient suy rộng hàm không trơn Định nghĩa 1.1 Cho X không gian Banach với chuẩn k k xác định X Giả sử Y tập X Một hàm f : Y → R gọi Lipschitz Y f (x) thỏa mãn điều kiện |f (x) − f (y)| ≤ K k x − y k, ∀x, y ∈ Y ⊆ X (1.1) Bất đẳng thức (1.1) gọi điều kiện Lipschitz K gọi số Lipschitz Ký hiệu B(x, ε) = {y| k x − y k≤ ε} hình cầu suy rộng tâm x bán kính ε > Hàm f gọi Lipschitz gần x f thỏa mãn điều kiện Lipschitz hình cầu B(x, ε) với số ε > Định nghĩa 1.2 Đạo hàm hàm f theo phương d x ký hiệu f (x, d) định nghĩa giới hạn f (x, d) = lim t↓0 f (x + td) − f (x) t giới hạn tồn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Có thể thấy hàm có tính Lipschitz gần điểm không thiết khả vi điểm khơng có đạo hàm theo hướng theo nghĩa cổ điển vừa nêu Định nghĩa 1.3 Đạo hàm theo hướng Dini f x theo hướng d, ký hiệu f (D) (x, d) định nghĩa giới hạn f (D) (x, d) = lim sup t↓0 f (x + td) − f (x) t giới hạn tồn Định nghĩa 1.4 Cho f hàm Lipschitz gần x d vecto X Đạo hàm suy rộng theo hướng f x theo hướng d, ký hiệu f (x, d) định nghĩa giới hạn sup f (x, d) = lim y→x t↓0 f (y + td) − f (y) t y vecto thuộc X t số dương t ↓ hiểu t đơn điệu giảm tới Vì đạo hàm suy rộng theo hướng Clarke nêu nên đạo hàm f (x, d) gọi đạo hàm theo hướng Clarke Nhận xét 1.1 i) Nếu f (x) hàm Lipschitz địa phương đạo hàm theo hướng khơng tồn đạo hàm theo hướng Dini đạo hàm theo hướng Clarke tồn ta có hệ thức f (D) (x, d) ≤ f (x, d), ∀x d ii) Nếu f (x) hàm Lipschitz địa phương tồn f (x, d) f (x, d) = f (D) (x, d) Nếu f (x, d) tồn tại x với hướng d f gọi khả vi theo hướng x Nếu f khả vi theo hướng x f (x, d) = f (x, d) f gọi quy x Hàm f gọi hàm quy quy khắp nơi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Bổ đề 1.1 Nếu f (x) hàm Lipschitz gần x i) Hàm d → f (x, d) hàm dương, cộng tính thỏa mãn điều kiện |f (x, d)| ≤ K k d k ii) f (x, d) hàm Lipschitz X theo d iii) f (x, d) nửa liên tục theo (x, d) iv) f (x, −d) = (−f )0 (x, d) Chứng minh i) Thật vậy, với λ > ta có f (y + λtd) − f (y) t t↓0 f (y + λtd) − f (y) = λ lim sup y→x λt t↓0 f (y + ηd) − f (y) sup = λ lim y→x η η↓0 f (x, λd) = lim sup y→x = λf (x, d) Vậy f (x, d) hàm dương Theo định nghĩa ta có f (y + t(d1 + d2 )) − f (y) t t↓0 f (y + td1 + td2 ) − f (y + td2 ) ≤ lim sup y→x t t↓0 f (y + td2 ) − f (y) + lim sup y→x t t↓0 f (x, d1 + d2 ) = lim sup y→x ≤ f (x, d1 ) + f (x, d2 ) Vậy f (x, d) cộng tính f (y + td) − f (y) t t↓0 K k y + td − y k ≤ lim t↓0 t =Kkdk f (x, d) = lim sup y→x Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Suy |f (x, d)| ≤ K k d k ii) Với d1 , d2 ∈ X, từ điều kiện Lipschitz ta thấy f (y + td1 ) − f (y) ≤ f (y + td2 ) − f (y) + Kt k d1 − d2 k (1.2) Chia hai vế (1.2) cho t > ta f (y + td1 ) − f (y) f (y + td2 ) − f (y) + Kt k d1 − d2 k ≤ t t Chuyển qua giới hạn hai vế ta nhận f (x, d1 ) ≤ f (x, d2 ) + K k d1 − d2 k (1.3) f (x, d2 ) ≤ f (x, d1 ) + K k d1 − d2 k (1.4) Tương tự, ta có từ (1.3) (1.4) suy |f (x, d1 ) − f (x, d2 )| ≤ K k d1 − d2 k Vậy, f (x, d) hàm Lipschitz với d iii) Giả sử {xk } {dk } dãy thỏa mãn xk → x dk → d, với k tồn yk ∈ X tk > cho k yk − xk k +tk < k Ta có f (xk , dk ) − f (yk + tk dk ) − f (yk ) ≤ k tk f (yk + tk dk ) − f (yk + tk d) f (yk + tk d) − f (yk ) ≤ + tk tk Suy lim supf (xk , dk ) ≤ f (x, d) k→∞ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 25 dãy {xk } sinh Thuật toán 2.2 với cách chọn tham số theo (2.15) thỏa mãn f (xk ) − f ∗ lim inf < +∞, k→∞ qk  n  2n1 √  q = − n+1 n2 − Cũng có số mở rộng khác phương pháp gradient, thuật tốn elipxơit, xấp xỉ hiệu hữu hạn, v.v 2.3.2 Phương pháp siêu phẳng cắt Ý tưởng phương pháp siêu phẳng cắt tìm điểm cực tiểu hàm tập lồi đa diện phép lặp Sau phép lặp, siêu phẳng cắt đưa thêm vào điểm không thỏa mãn siêu phẳng bị cắt khỏi miền chấp nhận được, tập lồi đa diện thu hẹp dần Cuối cùng, dãy điểm phép lặp hội tụ tới nghiệm toán Thủ tục thực cách giải dãy toán quy hoạch tuyến tính xấp xỉ Rõ ràng với hàm lồi f (x) ta có f (x) = sup sup [f (y) + g T (x − y)] y (2.16) g∈∂f (y) Do tốn tìm cực tiểu hàm f (x) tập X: f (x) x∈X tương đương với toán v s.t v ≥ f (y) + g T (x − y) y ∈ Rn , g ∈ ∂f (y) (2.17) (2.18) Phương pháp siêu phẳng cắt phép lặp giải toán xấp xỉ (2.17)-(2.18) Giả sử xi (i = 1, 2, , k) điểm lặp Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 26 có Mỗi vịng lặp ta giải toán phụ v (2.19) s.t v ≥ f (xi ) + giT (x − xi ), i = 1, 2, , k (2.20) Rõ ràng tốn quy hoạch tuyến tính (2.19)-(2.20) xấp xỉ tốn (2.17)-(2.18) Phương pháp siêu phẳng cắt mơ tả sau Thuật toán 2.3 (Phương pháp siêu phẳng cắt) Bước Chọn điểm ban đầu x1 ∈ S với S tập lồi đa diện cho trước Bước Tính gk ∈ ∂f (xk ) Bước Giải tốn (2.19)-(2.20) để tìm vk+1 xk+1 Đặt k := k + quay trở lại bước Như nói, vịng lặp thuật toán thêm vào ràng buộc mà mặt hình học phần tập S khơng chứa nghiệm bị cắt bỏ siêu phẳng đưa vào Sự hội tụ phương pháp siêu phẳng cắt nêu định lý sau Định lí 2.9 Nếu f (x) hàm lồi bị chặn dãy {xk } {vk } sinh Thuật toán 2.3 thỏa mãn i) v2 ≤ v3 ≤ · · · ≤ vk → f ∗ ii) Bất kỳ điểm tụ dãy {xk } điểm cực tiểu f (x) S  Giả sử hàm f (x) khả vi thuật tốn hội tụ tới nghiệm Khi đó, với k đủ lớn gk = ∇(xk ) nhỏ điều kiện ràng buộc (2.20) trở thành điều kiện xấu Một nhược điểm phương pháp siêu phẳng cắt k đủ lớn có nhiều ràng buộc tốn (2.19)-(2.20) chi phí tính tốn cao, ràng buộc siêu phẳng cắt thêm vào tập ràng buộc có mà khơng bị loại Vì nhược điểm nêu nên phương pháp siêu phẳng cắt ý tới, phương Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 27 pháp sớm để giải quy hoạch lồi tổng quát Vì thế, cần có cải biên định cho phương pháp siêu phẳng cắt 2.3.3 Phương pháp bó Phương pháp bó thác triển từ phương pháp gradient liên hợp Đó phương pháp hướng giảm với f (xk+1 ) ≤ f (xk ) k Phương pháp gradient liên hợp Wolfe nêu Tại bước lặp thứ k có tập số Ik ⊂ {1, 2, , k} Hướng tìm xác định X (k) d=− λi gi , gi ∈ ∂f (xk ), (2.21) i∈Ik (k) đó, λi (i ∈ Ik ) nghiệm toán X k λi gi k22 X s.t λi = 1, λi ≥ (2.22) (2.23) i∈Ik Khi f (x) hàm lồi bậc hai Ik = {1, 2, , k} với thủ tục tìm xác theo tia hướng xác định (2.21)-(2.23) trùng với hướng phương pháp gradient liên hợp Phương pháp mơ tả sau: Thuật tốn 2.4 (Phương pháp gradient liên hợp) Bước Cho điểm ban đầu x1 ∈ Rn tính g1 ∈ ∂f (x1 ) Chọn < m2 < m1 < ; < m3 < 1, < ε, η > 0, k := 1, I = {1} Bước Tính hướng dk theo (2.21)-(2.23) Nếu k dk k< η dừng thuật tốn Bước Tính yk = xk + αk dk thỏa mãn f (yk ) ≤ f (xk ) − m2 αk k dk k22 (2.24) k yk − xk k≤ m3 ε (2.25) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 28 Bước Nếu có gk+1 ∈ ∂f (xk ) thỏa mãn T gk+1 dk ≥ −m1 k dk k22 (2.26) xk+1 := yk Trái lại, đặt xk+1 := xk Bước Đặt Ik+1 := Ik ∪ {k + 1}\Tk Tk tập số Tk = {i| k xi − xi+1 k> ε} Bước Đặt k := k + quay trở lại Bước Thuật toán hội tụ theo định lý sau: Định lí 2.10 Giả sử f (x) hàm lồi Nếu k ∂f (x) k bị chặn tập mở chứa tập {x|f (x) ≤ f (x1 )} dãy {xk } sinh Thuật toán 2.4 cho dãy f (xk ) bị chặn thuật toán kết thúc sau hữu hạn bước lặp  Chúng ta xét trường hợp mở rộng phương pháp gradient liên hợp Giả sử thực số bước phương pháp gradient liên hợp Khi đó, số điểm sinh điểm giá trị hàm f với gradient tính tốn Ta kí hiệu thơng tin bó x1 , , xk ; f1 , , fk ; g1 , , gk , fi = f (xi ) gi ∈ ∂f (xi ) (i) Giả sử bước lặp thứ k ta có giá trị trọng số tk ≥ 0(i = 1, , k) Xét toán phụ sau k k X λi gi k (2.27) i=1 với điều kiện k X i=1 k X λi = 1, λi ≥ (k) λi ti ≤ ε, (2.28) (2.29) i=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 29 đó, ε > số cho trước Gọi nghiệm (2.27)-(2.29) (k) λi Khi đó, hướng tìm theo phương pháp bó dk = − k X (k) λi gi (2.30) i=1 (k) (k) Dễ kiểm tra lại ti = (i ∈ Ik ) ti = +∞ (i 6∈ Ik ) tốn (2.27)-(2.29) hồn tồn tương đương với tốn (2.22)-(2.23) Thuật tốn 2.5 (Phương pháp bó) Bước Cho điểm ban đầu x1 ∈ Rn Tính g1 ∈ ∂f (x1 ) Chọn < m2 < (1) m1 < ; < m3 < 1, ε > 0, η > 0, k := t1 := (k) Bước Giải tốn (2.27)-(2.29) để tìm λi Tính dk theo (2.30) Nếu k dk k< η dừng thuật tốn Bước Tính yk = xk + αk dk thỏa mãn (2.24) T f (yk ) − αk gk+1 dk ≥ f (xk ) − ε (2.31) gk+1 ∈ ∂f (yk ) Nếu (2.24) không thỏa mãn, chuyển sang Bước Bước Đặt (k+1) xk+1 := yk , tk+1 = (k+1) tj (k) = tj + f (xk+1 ) − f (xk ) − αk gjT dk , j = 1, , k Đặt k := k + quay lại Bước Bước Đặt (k+1) xk+1 := xk , tj (k) = tj , (j = 1, , k) (k+1) T tk+1 = f (xk ) − f (yk ) + αk gk+1 dk , j = 1, , k Đặt k := k + quay lại Bước Thuật tốn bó hội tụ theo định lý sau Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 30 Định lí 2.11 Với giả thiết Định lý 2.10, Thuật toán 2.5 kết thúc sau hữu hạn bước lặp, nghĩa có số k ∈ IN cho f (xk ) ≤ f ∗ − ε với IN tập số nguyên dương 2.3.4 Phương pháp miền tin cậy hàm hợp khơng trơn 2.3.4.1 Tính chất hàm hợp khơng trơn Xét tốn có dạng h(f (x)), x∈Rn (2.32) f (x) = (f1 (x), , fm (x))T hàm khả vi liên tục h(f ) : Rm → R1 hàm lồi không trơn Hàm mục tiêu (2.32) hàm hợp toán (2.32) toán tối ưu không trơn hàm hợp (ký hiệu NSO) hay tốn tối ưu khơng khả vi hàm hợp (ký hiệu N DO) Sau ví dụ tốn tối ưu khơng trơn hàm hợp Ví dụ 2.6 Xét hệ phương trình tuyến tính Ax = b, (2.33) A ∈ Rm×n b ∈ Rm Nếu m > n hệ phương trình (2.33) nói chung khơng có nghiệm Tuy nhiên, ta tìm x cho sai số Ax b nhỏ Để tìm x ta phải giải toán cực tiểu minn k Ax − b k, (2.34) x∈R k k chuẩn Rm Hiển nhiên (2.34) dạng toán (2.32) Nếu lấy chuẩn k k2 (2.34) tốn tốn bình phương tối tiểu cổ điển Ngồi ra, ý tốn tối ưu trơn có ràng buộc biến đổi tốn tối ưu không trơn hàm hợp phương pháp hàm phạt Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 31 xác Đó lý làm cho toán tối ưu không trơn hàm hợp nhiều nhà nghiên cứu quan tâm Trước mơ tả thuật tốn giải tốn tối ưu khơng trơn hàm hợp ta cần xét điều kiện tối ưu toán NSO Để cho đơn giản ta đưa vào ký hiệu sau: χ(x, d) = h(f (x)) − h(f (x) + A(x)T d) (2.35) Ψt (x) = max χ(x, d) (2.36) kdk≤t DF (x, d) = sup dT A(x)λ, (2.37) λ∈∂h(f (x)) ∂h(f (x)) gradient h(.) f (x), A(x) = ∇f (x)T ma trận cấp n × m Do h(.) hàm lồi nên theo quy tắc lấy gradient hàm hợp, ta dễ dàng nhận bổ đề sau Bổ đề 2.2 Với hàm hợp fe(x) = h(f (x)) điều kiện ∈ ∂ fe(x) (2.38) tương đương với DF (x, d) ≥ 0, ∀d ∈ Rn (2.39) Khi điểm dừng tốn tối ưu khơng trơn thỏa mãn điều kiện(2.39) Từ tính lồi h(f ) ta cịn nhận kết sau: Bổ đề 2.3 Với χ(x, d), Ψt (x), DF (x, d) xác định theo (2.35)-(2.37) 1) DF (x, d) tồn với x d 2) χ(x, d) hàm lõm theo d đạo hàm theo hướng d∗ = theo hướng d -DF (x, d) 3) Ψt (x, d) ≥ 0, ∀t ≥ 0, Ψ1 (x) = x điểm dừng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 32 4) Ψt (x) hàm lõm theo t 5) Ψt (x) hàm liên tục theo x với t ≥ Từ kết ta điều kiện sau tương đương: 1) Dãy {xk } có điểm tụ x∗ điểm dừng 2) lim inf Ψ1 (xk ) = (2.40) k→∞ Từ định lý điều kiện cần tối ưu nêu mục 2.2 suy x∗ điểm cực tiểu hàm h(f (x)) x∗ điểm dừng Với hàm hợp khơng trơn viết lại điều kiện dạng tương đương sau Định lí 2.12 Nếu x∗ cực tiểu tốn NSO (2.32) tồn λ∗ ∈ ∂h(f (x∗ )) cho A(x∗ )λ∗ = (2.41) A(x) = ∇f (x)T Chứng minh Ta cần chứng minh điều kiện A(x∗ )λ∗ = DF (x∗ , d) ≥ 0, ∀d tương đương Thật vậy, có A(x∗ )λ∗ = theo định nghĩa (2.37) DF (x∗ , d) ≥ 0, ∀d ∈ Rn Ngược lại giả sử DF (x∗ , d) ≥ ∀d ∈ Rn A(x∗ )λ∗ 6= Khi tập S = {A(x∗ )λ|λ ∈ ∂h(f (x∗ ))} (2.42) không chứa điểm Do ∂h(f (x∗ )) tập lồi đóng nên S tập lồi đóng Do đó, áp dụng định lý tách tập lồi, có vecto d ∈ Rn cho T d A(x∗ )λ < 0, ∀λ ∈ ∂h(f (x)) Do ∂h(f (x∗ )) tập đóng nên bất đẳng thức trái với DF (X ∗ , d) ≥ Điều mâu thuẫn cho thấy tương đương A(x∗ )λ∗ = DF (X ∗ , d) ≥ Mặc dầu hàm fe(x) = h(f (x)) khơng lồi, song ta nhận điều kiện đủ cấp sau Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 33 Định lí 2.13 (Điều kiện đủ cấp 1) Nếu DF (x, d) > với ∀d 6= x∗ điểm cực tiểu địa phương chặt hàm h(f (x)) Chứng minh Từ điều kiện DF (x∗ , d) > suy tồn δ > cho DF (x∗ , d) ≥ δ, ∀ k d k= (2.43) Giả sử kết luận định lý sai Khi đó, tồn xk → x∗ thỏa mãn h(f (xk )) ≤ h(f (x∗ )) Giả sử xk = x∗ + αk dk , k dk k2 = αk > 0, αk → Khi h(f (xk )) − h(f (x∗ )) = h(f (x∗ ) + A(x∗ )T (xk − x∗ )) − h(f (x∗ )) + o(αk ) ≥ αk DF (x∗ , dk ) + o(αk ) ≥ αk δ + o(αk ), trái với h(f (xk )) ≤ h(f (x∗ )) Ta gặp mâu thuẫn định lý chứng minh Thực từ giả thiết DF (x∗ , d) > ∀d 6= suy tồn δ ε cho h(f (x)) − h(f (x∗ )) ≥ δ k x − x∗ k với x thỏa mãn k x − x∗ k≤ ε 2.3.4.2 Phương pháp miền tin cậy cho toán tối ưu khơng trơn với hàm hợp Với tốn (2.32), tốn phương pháp miền tin cậy có dạng minn h(f (xk ) + A(xk )T d) + dT Bk d = Φk (d) (2.44) d∈R Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 34 với điều kiện k d k≤ ∆k , (2.45) đó, A(x) = ∇f (x)T ∈ Rn×m , Bk ∈ Rn×n ma trận đối xứng, ∆k > bán kính miền tin cậy ∆k điều chỉnh lớn để trì phù hợp đầy đủ Φk (d) h(f (xk + d)) Chuẩn k k tùy ý, mục thường sử dụng chuẩn k k2 Giả sử dk nghiệm toán (2.44)-(2.45) Tương tự định lý 2.12 ta chứng minh có tồn λk ∈ ∂h(f (xk ) + A(xk )T dk ) (2.46) µk ∈ ∂ k dk k (2.47) A(xk )λk + βk dk + µk µk = (2.48) µk [∆k − k dk k] = (2.49) µk ≥ cho Thuật toán miền tin cậy cho tốn khơng trơn với hàm hợp sau: Thuật toán 2.6 (Thuật toán miền tin cậy giải toán NSO) Bước Cho x1 ∈ Rn , λ0 ∈ Rm , ∆1 > 0, ε ≥ 0, k := Bước Tính X Bk = (λk−1 )i ∇2 fi (xk ) (2.50) Giải tốn (2.44)-(2.45) để tìm dk Nếu k dk k≤ ε dừng thuật toán Bước Tính h(f (xk )) − h(f (xk + dk )) rk = (2.51) Φk (0) − Φk (dk ) k dk k Nếu rk < 0.25 đặt ∆k+1 := Nếu rk > 0.75 k dk k= ∆k đặt ∆k+1 = 2∆k Các trường Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 35 hợp khác, đặt ∆k+1 = ∆k Bước Nếu rk > chuyển sang Bước 5, trái lại đặt xk+1 := xk , λk := λk−1 chuyển sang Bước Bước Đặt xk+1 := xk + dk , λk xác định theo (2.48) Bước Đặt k := k + quay lại Bước Để phân tích hội tụ Thuật tốn 2.6 ta giả sử dãy {xk } sinh thuật toán bị chặn, điều chắn có tập mức {x|h(f (x)) ≤ h(f (x1 ))} bị chặn Từ tính bị chặn dãy {xk } suy có tập Ω lồi, đóng, bị chặn cho xk ∈ Ω, xk + dk ∈ Ω, ∀k = 1, (2.52) Do h(.) hàm lồi xác định toàn Rm nên tồn số L > cho |h(f1 ) − h(f2 )| ≤ L k f1 − f2 k (2.53) với f1 , f2 ∈ f (Ω) = {v = f (x), x ∈ Ω} Từ tính khả vi liên tục f tính bị chặn Ω suy tồn số M > cho k A(x) k≤ M (2.54) với x ∈ Ω Định lí 2.14 Cho fi (x) (i = 1, 2, , m) hàm hai lần khả vi, liên tục Nếu dãy {xk } sinh Thuật toán 2.6 bị chặn tồn điểm tụ x∗ Thuật toán 2.6 điểm dừng toán tối ưu (2.32)  Ngồi ra, có hệ sau Hệ 2.1 Với giả thiết Định lý 2.14 thay cho (2.50) k Bk k bị chặn dãy {xk } có điểm tụ x∗ điểm dừng  Bây ta giảm nhẹ tính bị chặn k Bk k thành k Bk k≤ C5 + C6 k X ∆i (2.55) i=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 36 Cũng điều chỉnh bán kính miền tin cậy mở rộng cho trường hợp tổng quát k dk k≤ ∆k+1 ≤ min[C1 ∆k , ∆] rk ≥ C2 (2.56) C3 k dk k≤ ∆k+1 ≤ C4 ∆k rk < C2 , (2.57) Ci (i = 1, 2, , 6) số dương thỏa mãn C1 > > C4 > C3 ; C2 < ∆ số cho trước cận cho bán kính miền tin cậy Với điều kiện mở rộng, ta thiết lập hội tụ Trước hết ta xét bổ đề sau Bổ đề 2.4 Nếu dk nghiệm (2.44)-(2.45) h Ψ (x ) i ∆k k , h(f (xk )) − Φk (dk ) ≥ Ψ∆k (xk ) 1; k Bk k ∆2k Ψt (x) xác định theo (2.35)-(2.36) Chứng minh Từ định nghĩa dk suy h(f (xk )) − Φk (dk ) ≥ h(f (xk )) − Φ(d) với d thỏa mãn k d k≤ ∆k Theo định nghĩa Φt (x), tồn k dk k≤ ∆k cho Ψ∆k (xk ) = h(f (xk )) − h(f (xk ) + A(xk )T dk ) Do h(.) hàm lồi nên ta nhận h(f (xk )) − Φk (dk ) ≥ h(f (xk )) − Φk (αdk ) T = χ(xk , αdk ) − α2 dk Bk dk ≥ αχ(xk , dk ) − α2 k Bk kk dk k2 2 ≥ αΨ∆k (xk ) − α k Bk k ∆2k , với α ∈ [0; 1] Vì   h(f (xk )) − Φk (dk ) ≥ max αΨ∆k (xk ) − α2 k Bk k ∆2k 0≤α≤1 h1 [Ψ∆k (xk )]2 i ≥ Ψ∆k (xk ); k Bk k ∆2k Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 37 Từ suy điều cần chứng minh Bây mở rộng kết luận Định lý 2.11 Định lí 2.15 Cho fi (x), (i = 1, 2, , m) hàm hai lần khả vi, liên tục Giả sử Bk Thuật toán 2.6 không cho theo (2.50) mà cho theo (2.55) dãy {xk } thuật tốn bị chặn phải có điểm tụ x∗ dãy {xk } điểm dừng toán (2.32) Chứng minh Giả sử kết luận định lý không Khi đó, tìm số δ > cho Ψ1 (xk ) ≥ δ, ∀k Từ Bổ đề 2.3 Bổ đề 2.4, bất đẳng thức Ψ1 (xk ) ≥ δ, ∀k tính bị chặn ∆k ta có h i h(f (xk )) − Φk (dk ) ≥ C7 ∆k , k Bk k h i ≥ C7 ∆k , , k P k C5 + C6 ∆1 k i=1 C7 số dương Bằng cách đặt S = {k|rk ≥ C2 }, ta có ∞ X   h(f (xk )) − h(f (x)) ≥ h(f (xk )) − h(f (xk+1 )) x∈Ω k=1 X   ≥ h(f (xk )) − h(f (xk+1 )) k∈S ≥ C2 X  h(f (xk )) − Φk (dk ) k∈S Kết hợp điều kiện với ∆k ≤ ∆ ta suy P ∆k k∈S < +∞ k
P C5 + C6 ∆i (2.58) i=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 38 Theo định nghĩa ∆k+1 ∆k+1 ≤ C4 ∆k , ∀k ∈ S, bất đẳng thức cho ta k X i=1 k i C1 h X ∆i + ∆1 ∆i ≤ + − C4 i=1  (2.59) i∈S Kết hợp (2.58) (2.59) cho thấy P ∆i hội tụ, i∈S ∞ P ∆k k=1 hội tụ theo (2.59) Do k Bk k bị chặn theo Hệ 3.1 ta thấyΨ1 (xk ) ≥ δ, ∀k không Ta gặp mâu thuẫn định lý chứng minh Tương tự phương pháp miền tin cậy cho tối ưu không ràng buộc, điều kiện (2.55) giảm nhẹ thành k Bk k≤ C8 + C9 k Tuy nhiên, phương pháp miền tin cậy cho tối ưu không trơn dù ban đầu Bk đạt tốc độ hội tụ tuyến tính 2.3.5 Phương pháp Newton khơng trơn Phương pháp Newton cổ điển mở rộng cho trường hợp không trơn cách sử dụng ma trận Jacobi suy rộng thay cho ma trận Jacobi cổ điển Mục đề cập tới phương pháp Newton cho tối ưu khơng trơn Trước hết, ta tìm hiểu khái niệm ma trận Jacobi suy rộng hàm nửa trơn Giả sử F : Rn → Rm hàm Lipschitz địa phương Khi đó, F khả vi hầu khắp nơi Kí hiệu DF tập tất điểm F khả vi JF (x) ma trận Jacobi cấp m × n thơng thường đạo hàm riêng điểm x mà có tồn đạo hàm riêng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 39 Jacobi suy rộng F x kí hiệu ∂F (x) bao lồi tất ma trận V cấp m × n thu lấy giới hạn dãy có dạng JF (xi ), xi → x xi ∈ DF Khi đó, ta có ∂F (x) = co{lim JF (xi )|xi → x, xi ∈ DF } (2.60) Nếu F Lipschitz tập mở U Rn x, y ∈ U , ta có F (y) − F (x) ∈ ∂F ([x, y])(y − x) (2.61) Giả sử với h ∈ Rn tồn giới hạn lim V ∈∂F (x+th) t↓0 {V h} (2.62) Khi đạo hàm theo hướng theo nghĩa thông thường F (x, h) = lim t↓0 F (x + th) − F (x) t (2.63) tồn F (x, h) = lim V ∈∂F (x+th) t↓0 {V h} (2.64) Thực vậy, theo (2.61) ta có lim t↓0 F (x + tj h) − F (x) ∈ co∂F ([x, x + tj h])h tj (k) (k) (k) Theo định lý Caratheodory tồn tj ∈ [0, tj ], λj ∈ [0, 1], Vj m P (k) (k) ∂F ([x, x + tj h]), với k = 0, 1, , m, λj = cho ∈ k=0 m F (x + tj h) − F (x) X (k) (k) = λj Vj h tj k=0 (k) Ta giả sử λj → λj j → ∞ Ta có λj ∈ [0, 1] với Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn