Khoá luận tốt nghiệp toán phương pháp miền tin cậy cho các bài toán tối ưu không có ràng buộc

T R Ư Ờ N G Đ Ạ I H Ọ C s ư P H Ạ M H À N Ộ I II KHOA TOÁN ĐÀO T H Ị HẬ U PHƯƠNG PH Á P MIỀN TIN CẬY CHO CÁC BÀI TOÁN TỐI ƯU KHÔNG CÓ RÀNG BUỘC K H Ó A L U Ậ N T Ố T N G H IỆ P Đ Ạ I H Ọ C C h u y ê n n g à n h : G iải tíc h Người hướng dân khoa học T h .s . P h ù n g Đ ức T h ắ n g H à N ội - 2015 LỜI C Ả M Ơ N Em xin chân thành cảm ƠĨ1 T h.s Phùng Đức Thắng đã tận tình hướng dẫn, giúp dỡ em trong suốt thời gian thực hiện khóa luận. Em cũng xin được cảm ƠĨ1 thầy Bùi Ngọc Mười đã góp ý chi tiết về cách trình bày một số kết quả trong khóa luận. Em xin chân thành cảm ƠĨ1 các thầy, các cô trong tổ giải tích- khoa Toán, trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiộn giúp đỡ em hoàn thành khóa luận này. Erri xin chân thành cảm ơn gia đình và bạn bò đã tạo mọi điều kiộn thuân lợi cho crri trong quá trình thực hiộn khóa luận. E m xin chân thành cảm ơn. Hà Nội, tháng 05 năm 2015 Sinh viên Đào Thị Hậu 1 LỜI C A M Đ O A N Em xin cam đoan, dưới sự hướng dẫn của T h.s Phùng Đức Thắng khóa luận "P h ư ơ n g p h á p m iề n tin cậy cho b à i to á n tố i ư u k h ô n g có rà n g buộc" được hoàn thành không trùng với bất kỳ đề tài nào khác. Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành tựu của các nhà khoa học với sự trân trọng và biết ƠĨ1. Hà Nội, tháng 0-5 năm 2015 Sinh viên Đào Thị Hậu 2 M ục lục Lời mở đầu 1 1 T h u ậ t to á n m iền tin cậy cơ b ả n 3 1.1. Một số khái niộm cơ b ả n ....................................................... 3 1.2. Một số giả thiết với hàm rriục tiêu và hàm xấp xỉ . 6 1.2.1. Giả thiết cho hàm mục t i c u ..................................... 6 1.2.2. Giả thiết cho hàrri xấp x ỉ ............................................ 7 1.3. Điểm và một hàm xấp xỉ g iả m .............................................. 9 1.3.1. ... Phương Cauchy ......................................................... 1.3.2. Điểm Cauchy cho hàm xấp xỉ dạng toàn phương 2 Sự hội tụ 9 10 15 2.1. Sự hội tụ đến điềm tới hạn bậc nhất ............................... 15 2.2. Sự hội tụ đến điểm tới hạn bậc h a i .................................. 23 Tài liệu tham khảo 31 3 Khóa luận tốt nghiệp Đào Thị Hậu Lời mở đầu Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trong dời sống. Nó được nghiên cứu một cách toàn diện Iihờ các phương pháp định tính và định lượng như phương pháp gradient, phương pháp gradicnt chiếu, phương pháp Newton, phương pháp nhân tử Lagrangc... Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo ra những thuật toán hữu hiệu giúp ta giải các bài toán tối ưu một cách hiộu quả nhất. Và phương pháp rniồn tin cậy được xcm là một trong số đó. Xét bài toán tìm cực tiểu hàm / : Rn — >R, được giả thiết là khả vi liên tục đến cấp hai và bị chặn dưới ở trên Rn. Với mỗi điổrri khởi đầu Xo £ Mn được chọn tùy ý, phương pháp m iề n tin cậy (thuật ngữ tiếng Anh là Trust-Region Mcthod) cho phóp tạo ra dãy lặp {#*;} mà, tại mỗi bước Ả:, việc chuyển từ điểm Xk sang điểm Xk+I làm giảm hàm mục tiêu xấp xỉ, được ký hiộu bởi 77ifc(;x), của f ( x) . Một trong những cách xấp xỉ thông dụng nhất là thay hàm số f ( x ) bởi phần tuyến tính-toàn phương trong khai triều Taylor bậc hai của nó tại điểm Xỵ. ơ mỗi bước thay cho Mn người ta xét một hình cầu tâm x k với bán kính A k thích hợp. Quy tắc chọn Ajt, nhằm đảm bảo tốc độ tính toán cao nhất có thể được, là một phần nội dung quan trọng của phương pháp này. Cụ thể, tỷ số giữa độ giảm hàm mục tiêu /(;x) và độ giảm của hàm xấp xỉ của nó tại bước k — 1, tức là hàm 77ifc_i(x), là cơ sở để xác định bán kính Afc. Dưới một số điều kiện, dãy lặp {.7;^} hội tụ đến một, điểrn tới hạn bậc nhất của bài toán. Thuật toán miền tin cậy là thuật toán làm giảm hàrri rriục tiêu, tức là ta có f (xk+ 1) < f{xk) với mọi k. 1 Khóa luận tốt nghiệp Đào Thị Hậu Cuốn chuyên khảo [1] của các tác giả A. R. Corm, N. I. M. Gould, và p. L. Toint là một cẩrri nang khá đầy đủ và chi tiết về lý thuyết phương pháp rriiền tin cậy. Lịch sử phát triển của phương pháp miền tin cậy và rriột số ứng dụng của các thuật toán miền tin cậy đã được giới thiệu ở [1, tr. 8-12]. Khi nghiên cứu phương pháp miền tin cậy, em quan tâm đến tính ổn định và sự hội tụ địa phương của dãy lặp, ở đây em cũng đã chứng rnirih một, kết quả về tính ổn định và sự hội tụ địa phương của các dãy lặp { x k} được sinh ra bởi thuật toán rriiền tin cậy trong trường hợp bài toán không có ràng buộc. Khóa luận gồm hai chương. Chương 1: "Thuật toán miền tin CẬĨJ cơ bản" trình bày thuật toán miền tin cậy BTR và một số giả thiết cho hàm mục tiêu và hàm xấp xỉ trong [1, Chương 6]. Chương 2: "Sụ hội t ụ 11 chính là lời giải cho vấn đề tính 011 định và tốc độ hội tụ địa phương của dãy lặp {.Xa-} được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc [1, Chương 6]. 2 Chương 1 T huật toán m iền tin cậy cơ bản 1.1. Một số khái niệm cơ bản Trước hết ta xét bài toán tối ưu không có ràng buộc (P) Bài toán. (p ) : rriin f ( x ) . (1-1) xeR" trong đỏ f : Mn — y R là hàm, khả vi liên tục cấp hai và bị chặn dưới trong R n. Đ ịn h n g h ĩa 1.1. Tập điểm tới hạn bậc nhất của (p), được kí hiệu S(P), ì,à: S( P) = { x * e R n I V * /( * .) = }, (1.2) ở đây Va:/(£ * ) là gradient của hàm f ( x ) tại điểm X* Chúng ta xem xét kĩ thuật để sinh vọng nó hội tụ tới điểrn tới hạn bậc nhất ra một dãy lặp {Xyt}, rriàta hi của bài toán (1.1). Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành như sau. Với mỗi bước lặp Xỵ , chúng ta xác định một hàm m ục tiêu xấp xỉ niỵ{x) trong một lân cận thích hợp của 3 mà ta gọi là miền tin cẠy. Khóa luận tốt nghiệp Đào Thị Hậu Đ ịn h n g h ĩa 1.2. Miền tin cậy ỉ,à tập hợp các điểm Bk = {x e Mn I \\x - x k\\ < A k}. (1.3) được gọi là bán kính miền tin cậy và tại mỗi bước lặp ||.||fc là một chuẩn phụ thuộc vào k. Cho hàm xấp xỉ này và miền tin cậy của Ĩ1Ó, chúng ta tìm một bước thử sk tới một điểrn thử x k + Sỵ với mục đích giảm hàm xấp xỉ trong đó thỏa rriãn tính bị chặn ||.Sfc||jfc < A k. 0 đây, ta sẽ tính tỉ số giữa độ giảm, hàm, mục tiêu và độ giảm, hàm xấp xỉ. Nếu tỉ số đủ 1ỚĨ1, tức hàm mục tiêu Ị (x) giảrn nhanh chóng, khi đó điểm thử được chấp nhận và được chuyển sang bước lặp tiếp k+1. Ớ bước k+1, điểm thử được xác định Xk +1 = + Sfc và rniền tin cậy sẽ đu’Ợc tăng lên hoặc giữ nguyên. Ngược lại nếu tỉ số nhỏ, thậrn chí là một số ârri, khi đó điểrn thử bị bác bỏ và ở bước lặp tiếp theo vẫn giữ nguyên điểrn thử này nhưng rriiền tin cậy sẽ bị thu hẹp. Khi dó, thuật toán miền tin cậy cơ bản (được viết tắt là thuật toán BTR), được mô tả như sau. T huật toán 1.1. Thuật toán m iền tin cậy cơ bản ( B T R ) B ư ớ c 0: K h ở i chạy. Cho trước một điếm, Xq ban đầu và một bán kính miền tin cậy ban đầu A0. Các hằng số ĩji, r/2, 7 i và 72 cho trước thỏa mẫn 0 < ĩì\ < ĩ]2 < 1 và 0 < 7 i < 72 < 1 (1-4) Tính /(.Xo) và đặt k = 0. Bước 1: X á c định hàm xấp xỉ mẫu. Chọn ||.||fc và xác định m ộ t hàm ĩĩík xấp xỉ với hàm f tại Xỵ trong B ỵ . Bước 2: Bước tính toán. Tỉnh một bước ,Sfc/ "đủ ỉ,àm giảm hàm, x ấp TÂ" ĩĩlỵ, sao cho Xỵ + Sỵ G Bỵ. 4 Khóa luận tốt nghiệp Đào Thị Hậu Bước 3: Chấp nhận điểm thử. Tỉnh f ( x k + Pk = nếu •Ek+l Pk Sk) và xác định f(Xk) - f(Xk + sk) (1.5) rnk ( x k) - m k ( x k + s k) > rji, sau đó xác định Xỵ+ 1 = Xk + Skỉ ngược lại nếu pk < ĩ/i thì '^k • Bước ị : Cập nhật bán kính m iền tin cậy. Tập nế upk >ĩ]2, [Afc,oo) Ak+I £ < [7 2A fc,Afc) ( 1.6 ) n ế u Ọk € [771, 772), [7 iA yt, 7 2A fc) nếupk < ĩ]1. Tăng k thêm 1 và quay trở lại buớc 1. Ta có thể lấy ví dụ, các hằng số thỏa mãn điều kiện (1.4) là ĩ/1 0 .01,772 0.9,71 72 (1.7) ị, nhưng những giá trị khác vẫn có thể phù hợp. Tại bước lặp rnà f)ỵ > 771, và do đó những lặp rnà Xk+1 = x k + sk, được gọi là bước lặp chấp nhận được, và chúng ta kí hiệu tập các chỉ số bởi kí hiệu 0IỌỵ > //1}. Tương tự, chúng ta cũng định nghĩa V = { k > 0 I p k > 772}, là tập các bước lặp chấp nhận đuợc tốt. Chú ý rằng V c s . Sự lặp mà các chỉ số của nó không thuộc s được gọi là không chấp nhận được. Trong thực hành, thường chọn hàm xấp xỉ toàn phương dạng m k(xk + .s) = m k(xk) + (gkĩ s) + ị ( s , H ks), 5 ( 1.8 ) Khóa luận tốt nghiệp Đào Thị Hậu ở đây m k(xk) = f ( x k) và gk - sỵxf ( x k) và Hỵ là rriột ma trận đối xứng xấp xỉ \ 7xxf(x k)- Nếu H k Ỷ 0, chúng ta nói rằng (1.8) là một hàrn xấp xỉ bậc hai. Một cách cụ thể để tìm bước thử Sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở dây. Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng có một chuỗi vô hạn được tạo ra. Nếu thuật toán BTR được thực hiện như một chương trình máy tính, Ĩ1Ó sẽ dừng lại ngay khi bước lặp Xỵ được đánh giá là "đủ gần điểm tới hạn". Trong trường hợp không có ràng buộc, ticu chuẩn đơn giản nhất là chuẩn của gradicnt của hàm mục II Va- f{Xk)\\- ticu tại 1.2. Một số giả thiết với hàm mục tiêu và hàm xấp xỉ Đe thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tấ t cả chúng lại trong rnột phần; phân biệt giữa giả thiết cho hàrri mục tiêu và giả thiết cho hàrri xấp xỉ. 1.2.1. G iả th iết cho hàm m ục tiêu Ta có các giả thiết cho hàm mục tiêu A F .l f ( x ) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn. A F .2 /( * ) bị chặn dưới trong R?i, nghĩa là, tồn tại một hằng số KibỊ sao cho với mọ i X £ Mn, / 0 ) > « 16/ . 6 Khóa luận tốt nghiệp Đào Thị Hậu A F .3 Ma trận Hessian của hàm mục tiêu bị chặn đều; tức là, tồn tại một hằng số dương Kufh sao cho, với mọi X G Mn, ^11 \7XX /(*^)|| — K'ufh- Ta thấy giả thiết cuối cùng thì quá mạnh. Thực tế, ta thường cần tính bị chặn của II Vx-X- f ( x ) II với giá trị X nằm giữa hai lần lặp licn tiếp của thuật toán cơ bản. Yôu cầu yếu hơn này tự động được thỏa mãn nếu những lần lặp vẫn trong một tập con bị chặn của Mn, như là, tập {x E Mn|/(a;) < f ( x o)} với x 0 tùy ý. Không mất tính tổng quát, chúng ta cũng có thổ giả sử rằng Kufh ^ 1- Cụm từ "lbf" và "ufh" xuất phát từ "lower bound oil the objective function" và "upper bound oil the objective function’s Hessian". 1.2.2. G iả th iết cho hàm xấp xỉ Ta sẽ giả thiết rằng hàm 77lỵ tại bước lặp thứ k xấp xỉ với hàm mục tiêu trong miền till cậy Bk là một xấp xỉ bậc một trơn tốt của hàm mục tiêu. Do dó, chúng ta bù lại những giả thiết sau. A M .l Với mọi k, hàm xấp xỉ mỵ là khả vi hai lần trong Bỵ. A M .2 Giá trị của hàm mục tiêu và hàm xấp xỉ phù hợp tại một dòng lặp; tức là, với mọi k, mk( xk) = f ( x k) (1.9) A M .3 Gradient của mô hình tại Xỵ bằng gradient của hàm mục tiêu; tức ỉ,à, với mọi k, 9k d- = Va: f ( x k) 7 (1.10) Khóa luận tốt nghiệp Đào Thị Hậu A M .4 Ma trận Hessian của hàm xấp xỉ củng bị chặn trong miền tin CẨiy; tứ c là, II s/XX m k (x)\\ ^ l^umh 1 với mọi k, khỉ numh > 1 là hằng số phụ thuộc vào k. Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xcm xót một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newt,on trên miền bị chặn đóng, tức là, nếu chúng ta chọn niỵ sao cho (1.9) và (1.10) được thỏa mãn, như tốt hơn VxxMk(%k “tvới mọi s sao cho \7xxỉ(%k) + s e Bk. Nếu ta giả thiết rằng hàm rriục tiêu khả vi hai lần (ví dụ, A F .l), phương trình (1.11) sau đó kết quả từ (1.12) và AF.3. Điều này chưa được rõ ràng nếu (1.12) được giả sử khắp. Chúng ta cũng chú ý rằng AM. 1-AM.4 cho phép trường hợp mà hàm mục tiêu không thể gần tới một hàm xấp xỉ. Ví dụ, chúng ta có thể xem xét trường hợp mà trong dó hàm mục tiêu có dạng ỉ ( x ) = fo(x,y{x)) (1.13) ỏ đó f 0(x, y) là một hàm số từ Mn X w p vào R Ĩ1Ó tương đối đơn giản để tính toán, nhưng y(x) thì phức tạp từ Mn vào R7\ Ví dụ, /o có thể là rriột. tiêu chí đơn giản cho một hệ thống được kí hiệu y(x) chỉ có thể được tính toán nhờ sử dụng một công cụ tính toán như là giải phương trình vi phân từng phần hoặc chạy một, mô phỏng chuyên dụng. Trong trường hợp này, có thể xây dựng một hàm xấp xỉ ĩrìị{x) thích hợp của y(x) trong lân cận của x k và khi đó xác định m k(x) = /oO , mị ( x) ) (1.14) Những điều kiộn AM .l- AM.4 của hàm xấp xỉ rriỵ có thổ được trình bày như là điều kiộn của m ị và / 0. 8 Khóa luận tốt nghiệp Đào Thị Hậu Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ rõ rriối liên hệ giữa các chuẩn \\.\\k khác nhau xác định hình dạng của miền till cậy trong (1.3). A N .l Tồn tại một hằng số Kune > 1 sao cho, với mọi k, 1 I . ,, ,, ,, ,, ----- \\x\\k < IMI < Kune\\x\\k . K'une với mọ i X E R 11 Cụm từ "urnh" và "line" xuất phát từ "upper bound 011 the model’s Hessian" và "uniform norm equivalence". 1.3. Điểm và một hàm xấp xỉ giảm Điểrn cốt yếu trong thuật toán của ta là sự xác định bước k, để hàrri xấp xỉ giảm trong miền tin cậy. Trong phần này, chúng ta đưa ra cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản. 1.3.1. Phương Cauchy Đ ịnh nghĩa 1.3. Phương Cauchy được xác định bởi x k № Chú ý rằng “f {x \ X = Xk — tgkì t > 0 và X £ Bk} (t ) = Xỵ với mọi t > 0 khi đó Qk = 0. Trong phần này, f t =f 1 + max II V o rrik(x)\ị xeBk (1.15) được xerri như là cận trên của độ cong. Sự xác định này và AM.4 cũng có nghĩa là Pk < Kumh với rriọi k. 9 (1-16) Khóa luận tốt nghiệp 1.3.2. Đào Thị Hậu Đ iểm C auchy cho hàm xấp xỉ dạng toàn phương Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó Ĩ1Ó có thẻ có cực tiểu nằrri trên phương Cauchy. Đ ịnh nghĩa 1.4. Điểm, Cauchy, kí hiệu là là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức x ị ( t ) = x k - t ck yk = {arg mill rnk ( x k - t y k) I t > 0 v à x k - t y k G 5*}, (1.17) Nếu gk Ỷ 0. Xk - tgk € B k tức \\x - x k\\ < A k. Khi đó, \\%k - tfyk - Xk\\ < Ajfc, suy ra t\\9k\\ < A*. Do đó. t < A* \\9k\\ Từ đó, điều kiện (1.17) có thể viết lại thành t ĩ = { arg min m k(xk - tgk) I 0 < t < Ịj—^ĩị} Đ ịnh lý 1.1. ([1, Theorem 6.3.1, p. 125]) Nếu hàm xấp xỉ được CÌIO bởi (1.8) và điểm Cauchy được xác định bởi (1.17), khi đó chúng ta có m k(xk) - m k{xỵ) > ^ll^jfell mill 2 10 , Pk (1.18) Khóa luận tốt nghiệp Dào Thị Hậu trong đó Pk được xác định bởi (1.15) và Vk = (1.19) \\yk\\k Chứng minh. Với mọií > 0 ta có: mk{xk - tgk) = m k(xk)- t\\gk\\2 + ị ( g k, ỉ ĩ kgk) (1.20) Trường hợp 1: (gk, H kgk) > 0 (1.21) Khi đó ta tính toán giá trị của tharn số t tại điểm cực tiểu của (1.20), kí hiệu tham số tối Ưu là tỵ. Lấy vi phân theo tham số t của (1.20), ta được 0 = I\9k\\2 — tịịgk, H kgk) từ đó suy ra Ạ* _ Ị -Ị r)ON llí^ll 1 - ) { ’ Nếu tl\\(jk\\ < A k (tức điểm cực tiểu nằm trong miền tin cậy). Khi đó = tị và thay vào (1.20) ta được m k(xk) - m k{ x ck ) = t*k\ịgk\\2 - ị(t*k)2 {gk, H kgk) 2v I I I \\gk\ỵ_ _ 1 \\gk\y_ (9k, Hkyk) 2 (ykì Hkyk) 1 Ikll4 2 (gki Hk9k) ’ Theo bất đẳng thức Cauchy- Schwarz ta có \( 9 k ỉ H kg k )\ < || 0 fc||||i/fc0 fc|| < \\9k\\2Pk Vì vậy m.ìẨ:Xu) m k(xk) — - rn m k{(T,ọ x ck ) > - 11 C1-23) Khóa luận tốt nghiệp Dào Thị Hậu Nếu (1.24) t-kìM > A * (đường cực tiểu nằm ngoài miền tin cậy). Khi đó, ta có: (1.25) í* 11*11 = A k. Kết hợp (1.22), (1.24) và (1.2-5) ta thấy t ĩ \ \ 9 k \ \ k < t l \ \ g k \\k hay Điều này dẫn tới ( g k , H kg k ) < Ta có m k(xk) - m k{xck ) = tck \\yk\Ỹ- - ị ( t t ) 2(gk,Hkyk} > t kc = Ik ll2 - ^i /' ^) l k l l 2 2[k) 1 ưk \ \ 9 k \ \ & k - t? 'k 7;i'ĩ\ịykị\&k: do đó m k(xk) - m k(xck ) > ị u Ị IIêíìIIA*. ( 1.26) với Vỵ được cho bởi (1.19). Nếu Ì9k,Hk9k) < 0. Khi đó, ta có mk(xk - tgk) = m k(xk) - t\\gk\\2 + ^ t2(gk,Hkgk) < m k(xh) - í||íft||2 12 (1.27) Khóa luận tốt nghiệp Dào Thị Hậu với t > 0. Trong trường hợp này, điểrn Cauchy phải nằrri trên biên của miền tin cậy, do đó (1.25) vẫn đúng. Có mk(xk) - m kix h) ằ Ils*||277^7j\\9k\\k = I'kWukW^kVì vậy m k(xk) - m k{xck ) > ^ ||fttl|A*- Từ (1.23), (1.26) và (1.28) ta có điều phải chứng rriinh. (1-28) □ Định lí 1.1 là một trường hợp đặc biệt của kếtquả tổng quát cho bài toán tìrri cực tiểu hóa của hàm toàn phương q(s) = f + (g, s) + i ( s , H s ) với tấ t cả các (1.29) điểm nằm dọc theo arcố’ = —ty trong miền ||ò‘||Q < A, (1.30) chuẩn IMU cho trước tùy ý. Từ đây ta có hệ quả H ệ quả 1.1. ([1, Corollary 6.3.2, p. 127]) Giỏ, sử rằng sc hàm toàn phương (1.29) trong m iề n tin cẬy (1.30) cho mọ i ì,àcực tiểu của điểm, nằm, dọc theo arcs = —tg. Khi đó chúng ta có 9(0) - 9 ( s c ) ằ ^1 MI min Ll + \\H\Ự ỈSCA khi /yc Chứng minh. Điều này được suy ra từ Định lí 1.1 nếu chúng ta chọn q(s) = m k(xk + s), / = m k(xk), g = g(xk), H = H k, A = A k và ll-IU = ll-IU thay (3k bởi cận trên. 13 □ Khóa luận tốt nghiệp Dào Thị Hậu Chúng ta thấy hàm xấp xỉ giảm tại điềm Cauchy phụ thuộc vào giá trị của /y^, ít nhất là bán kính miền tin cậy A k. ơ mỗi bước lặp ta thường sử dụng chuẩn Eclidean ||.|| 2, khi đó ưk = 1. Đối với các chuẩn khác thì AN.l đầrn bảo rằng 1 vck > > 0 Khi đó, điểrn Cauchy thỏa rnãn AA.l m k(xk) - m k(xk + sk) > Kmdc\\9kị\min Ikll Aj Pk (1.31) với mọi k và hằng số nmdc € (0,1). Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điổm Cauchy. Chữ A thứ hai trong cụm từ AA có nguồn gốc từ "acccpt", cụm từ ”mdc” là viết tắt của "model decrease". 14 Chương 2 Sự• hội tụ• • 2.1. Sự hội tụ đến điểm tới hạn bậc nhất Bây giờ chúng ta sẽ đi chứng minh rằng, với hệ thống những giả thiết đã nêu trong phần trước, tất cả các điểm giới hạn £•* của chuỗi lặp {£*;} được tạo ra bởi th ật toán BTR là điổm tới hạn bậc nhất của bài toán (1.1), tức là, chúng thỏa mãn V x f 0*) = 0 không phụ thuộc vào vị trí vủa vecto Xo ban đầu và sự lựa chọn bán kính miền tin cậy A0 ban đầu. Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm xấp xỉ tại điổm Xỵ + Sỵ € B. Đ ịn h lý 2.1. ([1, Theorem 6.4.1, p.133]) Giả sử các điều kiện AF. l , AF.3, và AM. l - A M .4 được thỏa mãn. Khi đó chúng ta có 1/0*. + sk) - m k(xk + sk)\ < [vị]2 rnax[/€ufhi umh ]At 2, khi Xỵ + Sỵ G Bỵ và 15 (2.1) Khóa luận tốt nghiệp Dào Thị Hậu Hơn nữa, nếu A N .l vẫn đúng, khi đó + Sỵ) — ĩ ĩ l k ^ k K'ubh ^'une" \j{xỵ + Sfc)| < (2.3) ^ubh^k2 ở đây ^'г/,rJ//í]• (2-4) Chứng minh. Với các giả thiết AF.1 và AM .l, chúng ta có thể áp dụng định lí giá trị trung bình cho hàm mục tiêu và hàrri xấp xỉ. Ta có _ 1 _ f ( x k + 8k) = ỷ ( x k) + (sk, Vxí (Xk)} + -{Sk,Vxxỉ(£,k)Sk) (2.5) với rriọi £k e [xk, Xỵ + s k], và tương tự 1 rnk(xk + sk) = m k{ x k) + (sk, yk) + ị ( s kì S7xx'rnk((k)sk) (2.6) với Q: e [xỵ,xỵ + 8k]. Trừ vế với vế của cho và lấy giá trị tuyệt đối, với chú ý rằng m k(xk) = f ( x k) và V x / ( ^ ) = 9k, ta được \ỉ(Xk + s k) - m k( x k + s k)\ - ^ \ { s k, Varar/(Cfe)Sfe) - (fife, V x x ™ k (Ck)sk) I — ^1 (s k) \7 xxf {£k)&k) I + ịịiSk. ỤxxmiCk^kìl Theo bất đẳng thức Cauchy- Schwarz, có 1 . 9 \ f ( x k + sk) — m k(xk + Sk)\ < -(II Vss / (Ca-) 11+ II Vxx ™fc(Ofc)ll)INr 1 2 — “ỉ“ t^umh l)ll^&|| 2\^ufh ^umh II^AtIIẵ: với Xỵ + Sỵ £ Bk thì ||S)t|| < Akì do đó 1 \ í ( x ỵ + Sỵ) — Tĩlk{xỵ + Sjt)| < ị { ^ u f h + «um/i - 1) [/yit]2Afc2 16 (2-7) Khóa luận tốt nghiệp Dào Thị Hậu Vậy định lí đã được chứng rriinh, trong đó (2.3) được suy ra từ AN.l và □ cách xác định (2.2), (2.4). Định lí cho thấy rriối liên hệ giữa sai số giữa hàm mục tiêu và hàm xấp xỉ với bán kính miền tin cậy. Khi bán kính này đủ nhỏ thì hàm xấp xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc làm giầrn hàm xấp xỉ cũng sẽ làrri giảrri hàm rriục tiêu. Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ. Đ ịn h lý 2.2. ([1, Theorem 6.4.2, p. 134]) Giả sử A F .l , AF.3, AN. l , AM. l - A M .ị và A A .l được thỏa mãn. Hơn nữa, chúng ta giả sử thêm, 11 0 * 11 Ỷ 0 v à A < KmdcỊỊgtlK1 - Vĩ) (2 .8) K'ubh khi đó bước lặp k là chấp nhận được tốt và (2.9) Ak+I > Ajfc. Chứng minh. Với 7/2 € (0.1) và 0 < Kmdc < 1 thì ^m dc(1 ^/2) ^ 1 Khi đó Mặt khác, với những điều kiện (1.16) và (2.4) ta có: Kubh > K um h > P k ì do đó m k(xk) - m k(xk+s k) > Kmức\\gk\\mm A k = Kmức\\gk\\Ak. (2.11) L Pk 17 Khóa luận tốt nghiệp Dào Thị Hậu Mặt khác, f {xk + sk) - m k(xk + sk) m k(xk) m {x k + sk) \pk - 1 Theo Đinh lí 2.1 thì If { x k + sk) - m k(xk + sk)\ < KubhA k Do đó \Pk - 1| < t^ubh -Afc < 1 - 772. ^mdc 119k 11 (2 .12) Từ đây ta thấy Pk > 772 và bước lặp là chấp nhận được tốt. Ngoài ra (1.6) đảm bảo cho (2.9) là đúng. □ Từ tính chất này, chúng ta có thổ chứng minh bán kính không thổ trở ncn quá nhỏ. Đ ịn h lý 2.3. ([1, Theorem 6.4.3, p. 135]) Giả sử rằng A F .l- AF.3, A N . ụ AM. l - A M .4 và A A .l được thỏa mãn. Hơn nữa giả sử thêm rằng tồn tại một hằng số Kibg > 0 sao cho II Kibg với mọi k. Khi đó tồn tại một hằng số HLibd > 0 sao cho Ak > Klbd (2.13) với 'moi k. Chứng minh. Giả sử k là bước lặp đầu ticn thỏa mãn Tl ^,mdc^Jlbq(1 ubh ^/2) (2.14) Khi đó theo cách xác định bán kính rriiền tin cậy (1.6) thì 7 i Ajfc < và do đó * ^/2) 1 \ ^ ^mdc^lbgi^ ^/2) 7 iAfc < --------- -------------- hay A*. < --------- ------------- ubh l^ubh Với giả thiết Vồ II Ajfc. Do đó A* < (2.15) ^ubh Điều này mâu thuẫn với điều giả sử lúc đầu k là bước lặp đầu tiên để (2.14) là đúng. Vậy chỉ có thể xảy ra trường hợp llK,mdcrHh(J{l — ĩ]2) Klbd — ----------------- ---------------- • K"ubh □ Cụm "lbg", "lbd" lần lượt có nguồn gốc từ "lower bound 011 the gradient", "lower bound on delta". Hai kết quả có trước đủ đổ chứng minh tính tới hạn của điểm giới hạn của dãy các bước lặp khi chỉ có hữu hạn các bước lặp chấp nhận được. Đ ịn h lý 2.4. ([1, Theorem 6.4.4, p.136]) Giả sử rằng AF. l , AF.3, A N . ụ A M .l- AM. ị và A A . l được tìlỏa mãn. Hơn nữa giả sử thêm Tằng có hữu hạn các bước lặp chấp nhận được. Khi đó Xỵ — :/;* với k đủ lớn và X* là điểm tới hạn bậc nhất của bài toán (1.1). Chứng minh. Theo giả thiết thì tồn tại chỉ số ko của bước lặp chấp nhận được cuối cùng. Khi đó theo thuật toán thì Zfco+i = x h + j v ới m ọ i j > 1 Đặt X* X}Ị0-ị-i. 19 Khóa luận tốt nghiệp Dào Thị Hậu Khi đó, .T* = Xỵ với rriọi k > k,Q + 1 tức X* là giới hạn của dãy {xỵ}. Ta đi chứng minh 'ựxỉịX*) — 0. Theo (1.4) và (1.6) thì dãy A k là dơn điệu giảm, hội tụ về 0. Nếu llíteo+ill > 0 ta có I K + ill = II V * f(Xh+j)\\ = II V x /(3Cfe„+i)|| = ah+1 ( j > 1). Khi đó tồn tại số kị > k0 sao cho Ạ ^ ^mdcị lỡ/ữ+l 11(1 V2) _ ^mdcị \9ki 11(1 K’ubh 772) K"ubh Theo Định lí 2.2 thì bước lặp ki chấp nhận được tốt. Điều này mâu thuẫn với giả sử ban đầu k,Q là bước lặp chấp nhận được tốt cuối cùng. Do đó, ||oo (2.16) Chứng minh. Trường hợp 1: nếu có hữu hạn bước lặp chấp nhận được thì theo Định lí 2.4 ta có IIV* Ỉ M II = 0 do đó (2.16) là đúng. Trường hợp 2: có vô hạn bước lặp chấp nhận được. Giả sử (2.16) là không đúng. Khi đó, tồn tại e > 0 và chỉ số k,Q > 0 thỏa mãn II Va- f(xk)\\ = I k l l > e 20 (2.17) Khóa luận tốt nghiệp Dào Thị Hậu với mọi k > k,Q. Xét bước lặp chấp nhận được k, tức k e s= {k > k0 I pk > r/i}. Khi đó, với AA.l và các điều kiện (1.16), (2.17), (2.13) ta có f(%k) - f{xk+1) > m [mk(xk) - m k(xk + sk)] (2.18) > Kmdctv1 min K'um h Lấy tổng tấ t cả các bước lặp từ kữ đến k, ta được k f(zk„) - /(^*+i) = ư ( x í) - f { x i +i)ì > ơ k Kmdcmi i i —— ,K(M j= 0.jes umh trong đó ơỵ là tổng Số bước lặp chấp nhận được cho đến bước thứ k. Vì có vô hạn các bước lặp chấp nhận được nên lim ơỵ = +oo. k-¥ oc Khi đó f ( x ko) - ơkKmdcnún 'ĩ Klbd > f ( x k+1) ^'uni h do đó dãy {f (xk+ 1)} không bị chặn dưới. Điều này mâu thuẫn với AF.2. Vậy điều giả sử là sai. Từ đó ta có điều phải chứng minh. □ Đ ịn h lý 2.6. ([1, Thcorcm 6.4.6, p. 137]) Nếu A F .l- AF.3, AN. l , AM. l A M .ị và A A .l vẫn thỏa mẫn thì lim II Va- f ( x k) II = 0. (2.19) k —>oo Chứng minh. Giả sử (2.19) là không đúng. Khi đó, tồn tại e > 0 và một dãy con các bước lặp chấp nhận được { .T í.} , tị € s sao cho II V x / K ) | | = 11^11 > 2 0 0 với mọi (2.20) ỉ. Theo Định lí 2.-5 thì với mỗi tị tồn tại một bước lặp chấp nhận được đầu ticn l(tị) > tị sao cho 21 Khóa luận tốt nghiệp Dào Thị Hậu Kí hiệu lị —f l(tị)ì khi đó chúng ta thu được một dãy C0 Ĩ1 khác Xlịị.) của s sao cho 110*11 > 6 với tị < k < lị vầ \\gi.\\ < e (2.21) Từ (2.20) và (2.21) ta có llỡí, - 5*11 > IKII - I k l l > Ễ (2-22) Ta kí hiệu tập các chỉ số k thỏa rriãn (2.21) là tập K = {k; € s I ti < k < h} và dỗ thấy /c e s Theo AA.l và (2.21) và (1.16) ta có f ( x k) - f ( x k+1 ) > riiịmk( x k) - m k{ x k + s k)] . r e > Kmdceni min K"umh (2.23) với mọi k 6 /c. Tuy nhiên, theo AF.2 thì dãy {f ( xk} là dơn điệu giảm và bị chặn. Do đó Ĩ1Ó hội tụ và vế trái của (2.23) tiến dần về 0 khi k tiến tới vô cùng. Điều này dẫn tới vế phải của (2.23) cũng tiến tới 0, khi đó A k < —— hay lim A* = 0. k —t o c . k £ Ì C Khi đó ta có A* < — [/ (i t ) - f ( x M )] ^mdc^Ịl với Ả; € /c đủ 1ỚĨ1. Từ AN.l và (2.2), với ỉ đủ lớn (2.24) li—1 IK -X i,n< llxj _ x j +l|l j= t ị. je K , h-l < E ^ j = t ị. je ! C r „ / 22 (2.25) Khóa luận tốt nghiệp Dào Thị Hậu Vì AF.2 và dãy {f {xk)} là đơn điệu giảm liên vế phải của bất đẳng thức này phải hội tụ về 0, và khi đó chúng ta có \\xt . — Xịt 11 cũng hội tụ về 0 khi i tiến tới vô cùng. Do tính liên tục của gradient AF.1, chúng ta suy ra II Va; f { x ti) - V i / K ) I I ’ và theo AM.3, \\gt. - gi.ịị cũng sẽ hội tụ về 0. Điều này mâu thuẫn với (2.22). Do đó, không tồn tại dãy con nào thỏa mãn (2.20). Vậy định lý đã dược chứng minh. 2.2. □ Sự hội tụ đến điểm tới hạn bậc hai Đ ịn h n g h ĩa 2.1. Nếu hàm f(x) khả vi liên tục cấp 2 thì ma trận Hessian X7xxf(x ) được gọi là nửa xác định dương khi (s^xxfM s) > 0 (2.26) với mọi s e Mn. Đ ịn h n g h ĩa 2.2. Điểm X* được gọi là điểm tới hạn bậc hai nếu nó thỏa m.ãn: (i) V * /0 * ) = 0 (ii) \ỵxxf ( x ) là nửa xác (lịnh dương B ổ đ ề 2.1. ([1, lemma 6.5.1, p. 140]) Nếu A M .l được thỏa mẫn và ^min [ )] — ^ (2.27) với m ọi X G [xjfe, Xk + Skị và với € > 0 thì I k l l < -11^11e Chứng minh. Xét hàm mục tiêu giảm tại điểrn x k + Sỵ 1 m k(xk) - m k(xk + sk) - - ( g kỉ sk) - - ( s k ỉ \ỵxxm k(£k)sk) 23 (2.28) Khóa luận tốt nghiệp Dào Thị Hậu với rriọi ỉ e [xk, x k + Skị. Nếu ĩĩlk(Xk + Sk) = ĩĩlki^k) Khi đó theo AM.3 thì gk = \ỵxf { x k) = 0, do đó (s*, Va;a№(ÍẲ-)sẲ-) = 0. Mặt khác, theo (2.27) thì < skl \ỵxxm k(^k)sk > > e||.s*||2 từ đây suy ra Sk = 0.Và hiền nhiên (2.28) là đúng. Nếum k(xk + sk) 0. Do (2.27) và sk Ỷ 0 nên > 0. Hơn nữa, 0(0) = 0 và ộ(l ) > 0. Theo tính chất đối xứng của hàrn toàn phương, ta có í* = arg m ax 0 (í) > t 2 (2.30) Mặt khác, ị _ ____________ 1 { 9 k ì $ k ) Ị___________ ( s ki Vxxmki &Sk) ^ I \ y k 11 ells^ll' Kết hợp điều này với (2.30) ta có (2.28) Vậy bổ đồ đã được chứng minh. □ Đ ịn h lý 2.7. ([!, theorem 6.5.2, p.14'1]) Giả sử A F .l- AF.3, AM. l A M .ị và A A .l được thỏa mẫn, hơn nữa dẫy con các bước lặp {£fc.} hội tụ đến điểm, tới hạn bậc nhất X* và tồn tại m ột hằng số Ksmh > 0 sao cho l ĩ l l ĩ l Amjn [ \ 7 xx (*^)] — ^ s m h xeBk ( 2 .3 1 ) khi x k đủ gần X*. Cuối cùng giả sử Va;xf(x *) không suy biến. Khi đỏ dãy CÁC b ư ớ c lặ p {.Tfc} h ộ i t ụ t ớ i đ iể m , X * . 24 Khóa luận tốt nghiệp Dào Thị Hậu Chứng minh. Nếu chỉ có hữu hạn các bước lặp chấp nhận được, thì theo Định lý 2.4 và2.6 dãy các bước lặp {.Tfc} sẽ hội tụ đến X*. Xét trường hợp có vô hạn các bước lặp chấp nhận được. Không m ất tính tổng quát ta giả sử dãy con {kị, ỉ € N} là dãy chỉ số của các bước lặp chấp nhận được, tức là X k i + 1 = x kị + S ỵ ( 2 .3 2 ) với mọi ỉ £ N. Chọn ô > 0 đủ nhỏ để (2.31) được thỏa mãn mọi k sao cho \\xịị —x*|| < 0 và 1 II Vn- f ( x ) - S7xxf(x*)\\ < “■m ill[(7,1, Ksmh\ (2.33) trong đó ơ > 0 là giá trị ricng nhỏ nhất của ma trận \ / x x f ( x *)- Bất đẳng thức (2.33) có được là do tính liên tục của Hessian của hàm mục tiêu (theo A M .l). Đặt ỗ() := Ịmin[ II V u f ( x . ) ị x kl+1 - x»)|| - ||G , - \7xxf(x>)W l l t e i +1 > ơõi - ||G . - X7 a;J{x,)\\S. (2.40) Mặt khác, từ (2.39) và (2.33) ta có IIG* - Vss/Oc*)II = / I V n / K + 1 + t ( x* - x ki+l)) - S 7 x x f ( x * ) ] d t Jo < niax II V n f ( x ki+i + t(x* - x ki+1)) - V ss/O O II íe [0.1] < ố0. (2.41) Kết hợp (2.40), (2.41), định nghĩa ố! trong (2.34) và định nghĩa ố0 trong (2.33) ta có ll^.+ill > ơ ỗ i - Ô0Ỏ -V. AX X Ấ' X ^smh > 4ỏoỏi - ỏoỏi-------------K'sm h ^0^1 2ốo) K'sm h > ỏoỏl. 26 Khóa luận tốt nghiệp Dào Thị Hậu Điều này là không thẻ vì (2.35), và do đó \\xki+1 - x*|| < ối < ỏ. Tất cả các đều kiộn được thỏa mãn tại điổrn cũng vẫn được thỏa mãn Xỵ. tại điổm Xịị.+Iì và với mọi j > 1 ta cũng có \\xkị+j - 37*11 < ỗi < ỗ. Khi ỗ Iihỏ tùy ý thì dãy {£•*;} sẽ hội tụ tới điểm X*. □ ơ đây, cụrri từ "srrih" có nguồn gốc từ "smallest, eigenvalue of the model’ s Hessian". Chúng t.a sẽ đưa thêm giả thiết về hàm mục tiêu và hàm xấp xỉ. A M .5 Giả sử lim II Vss f i x k) - Vx x m( x k ) \ \ = 0 khi lim ll^ll = 0. k-> co k —¥ co (2.42) BỔ đ ề 2.2. ([1, lemma 6.5.3, p.144]) Giả sử A F .l- AF.3, AM. l - AM.3 và A M .5 đuợc thỏa mãn. Giả sử tồn tại một dãy con {kị} và hằng số K mq d > 0 sao cho mkAxki) - m kt(xkt + Ski) > Kmqdịịsk.ịị2 (2.43) với m.ọi %đủ lớn. Cuối cùng giả sử lim llsfc.ll = 0. Khỉ đó với ỉ đủ ỉớĩl. Cìưứng m in h . Với mọi k đủ lớn và với mọi £,kiCki € [xkịìXk- + Skịị ta có IPi f(xt, + « * , ) - mkl(xkl + skl) mk,{xk,) - mkl(xkl + skl) 27 Khóa luận tốt nghiệp Dào Thị Hậu Có \ f ( x ki + ski) m ki(xki + ski)\ < |(s*., { ^ k ị 1 \ 7 XX ‘i n k i ( Q k , ) s k , ) V Và theo (2.43) thì 1 1 -----------------------------------< --------------\mk.(xki) - rrik.(xki + skị)\ KmqdịịSkiịị2 do đó 1 \p k ị — 1 — M j7 J _ I {^ k ị ì V l^mqd Il^kị 11 1 = Ti 772^I XX ỷ {£ ,kj) ỉ> kị) ~ { ' ^ k j 5V x x r ỉ ì k l {Q c, ) s kị ) I . ’[ựxxỷ i^kị) ~ S7xx^kị (Cfc,)]50 I qd 11Skj 11 Theo bất đẳng thức Cauchy- Schwarz thì [ \ 7 x x f { ^ k i ) \ 7 XX ^ k ị { C h ị )]S k ị )I^1 1S k ị 11"1 1s ỵ XX ĩ {^kị ) (c 11 \7xx ^^kị kị) suy ra \p k ị l | ^ j"j Kmmtl 1 < II K‘mqd + II + II V XX i T õ l l ^ i l l «Sỉ-. Va;* f f { % k , ) - i ^ k ị ) V II V x a .' f {£ ,ki) ' \ / x x f { ^ k i )\ I XX m \ / x x m k i { C k ị ) 11 (2.44) k , { x k t ) II Vx x m kí(xkt) - VxxTOtiíCt,)!! Do giả thiết. ll.Sfc.ll tiến (lần tới 0 khi i (lần tới vô cùng và 116, - **,11 < 11*4,11 và llOt, - Xk,\\ < 11«^ 11 ncn II V s s /(&*) - V x x f { x ki)\\ ^ 0 và II Va-a- rrikXxki) - VxxmkXCk^ịị -> 0 khi i —>0. Mặt khác, theo AM.5 và Định lý 2.6 thì II Vxx ỉ(xki) - Va-a-ra^O^OII sõ 28 Khóa luận tốt nghiệp Dào Thị Hậu nhỏ tùy ý. Vì vậy Pk. —V 1 khi i —¥ oo. Vậy với i đủ lớn thì pkị >7}2- □ ơ đây, cụm từ "mqd" có nguồn gốc từ "model quadratic decrease". B ổ đ ề 2.3. ([1, lemma 6.5.4, p .145]) Giả sử A F .l- AF.3, AM. l - AM.3 và A M .5 được thỏa mãn và tồn tại một ỉiằng số Kmqd > 0 sao cho m k(xk) - m k(xk + sk) > kfclI2 > 0 (2.45) với k đủ lớn. Cuối cùng giả sử lim 11.9*11 = 0. k —>co K hi đó tất cả các bước lặp đều chấp nhận được tốt và A k bị chặn khỏi 0. Chứng minh. Áp dụng Bổ đề 2.2, với k đủ lớn, thì các bước lặp là chấp nhận được tốt. Theo thuật toán BTR, trong mỗi bước lặp chấp nhận được, bán kính rniồn tin cậy là không giảm; tức nó bị chặn khỏi 0. □ Đ ịn h lý 2.8. ([1, theorem 6.5.5, p.146]) Giả sử AF. l - AF.3, A N . ụ AM. l - A M .5 và A A . l được thỏa mãn và thuật toán B T R tạo ra một dãy con của dãy các bước lặp {'Xk!} hội tụ đến điểm, tới hạn bậc nhất X*. Hơn nữa giả sử them, Sk Ỷ 0 với mọi k đủ lớn. Cuối cùng giả sử S7xxf(%*) là ma trận xác định dương. Khi đó dẫy các bước lặp chấp nhận được tốt {xk} sẽ hội tụ tới X* và bán kinh miền tin cậy bị chặn khỏi 0. Chứng minh. Vì dãy {xkị} hội tụ tới điểm X* với Va:f(x *) — 0) vì yki = V J ’K - ) nên dãy {11^11} sẽ hội tụ về 0. Do ma trận V n '/ ( ^ ) = 0 là xác định dương nên \ mm(s7XXf (%*)) > 0- Mặt khác, vì Xk- —►X* nên tồn tại một hằng số A2 sao cho Àmi n ( \7 n /( ^ ) ) > ^2 với i đủ 1ỚĨ1. Do đó, theo AM.5 thì v rafflj.(i:) là xác định dương với i đủ 1ỚĨ1 và X € Bỵ. 29 Khóa luận tốt nghiệp Dào Thị Hậu Đồng thời, tồn tại một hằng số K,smh > 0 sao cho (2.31) được thỏa mãn. Theo Định lý 2.7 thì toàn dãy {.Tfr} sẽ hội tụ tới X*. Mặt khác, theo Bổ đề 2.1 thì l k ll > ^ I N I > 0 (2.46) với k đủ 1ỚĨ1. < Ku m h và Do AA.l và các bất đẳng thức ||6*fc|| = vị < Kune (được xác định bởi AN.l), với k đủ lớn, ta có 1 m k(xk) - m k(xk + sk) > -KsmhKmdc\\Sk\\ min t^smh I\^k 11 2/9* ’ h 1 1 ^ ^ h (ìcỊI 11 líllĩl - 2Pk Ai (2.47) Kt > * I W | 2. trong đó 2 /?Ẳ : K"une~ Hơn nữa, dãy {||00 Áp dụng Bổ đề 2.4 với Kmqd = ô ta có điều phải chứng rriinh. 30 □ K ết luận chung Khóa luận đã trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả về tính 011 định và sự hội tụ địa phương của các dãy lặp {xic} được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc, dựa theo cuốn chuycn khảo [1]. 31 [...]... trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả về tính 011 định và sự hội tụ địa phương của các dãy lặp {xic} được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc, dựa theo cuốn chuycn khảo [1] 31 ... ta có 1 m k(xk) - m k(xk + sk) > -KsmhKmdc\\Sk\\ min t^smh I\^k 11 2/9* ’ h 1 1 ^ ^ h (ìcỊI 11 líllĩl - 2Pk Ai (2.47) Kt > * I W | 2 trong đó 2 /?Ẳ : K"une~ Hơn nữa, dãy {||00 Áp dụng Bổ đề 2.4 với Kmqd = ô ta có điều phải chứng rriinh 30 □ K ết luận chung Khóa luận đã trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán. .. quát cho bài toán tìrri cực tiểu hóa của hàm toàn phương q(s) = f + (g, s) + i ( s , H s ) với tấ t cả các (1.29) điểm nằm dọc theo arcố’ = —ty trong miền ||ò‘||Q < A, (1.30) chuẩn IMU cho trước tùy ý Từ đây ta có hệ quả H ệ quả 1.1 ([1, Corollary 6.3.2, p 127]) Giỏ, sử rằng sc hàm toàn phương (1.29) trong m iề n tin cẬy (1.30) cho mọ i ì,àcực tiểu của điểm, nằm, dọc theo arcs = —tg Khi đó chúng ta có. .. trường hợp không có ràng buộc, ticu chuẩn đơn giản nhất là chuẩn của gradicnt của hàm mục II Va- f{Xk)\\- ticu tại 1.2 Một số giả thiết với hàm mục tiêu và hàm xấp xỉ Đe thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tấ t cả chúng lại trong rnột phần; phân biệt giữa giả thiết cho hàrri mục tiêu và giả thiết cho hàrri xấp xỉ 1.2.1 G iả th iết cho hàm m ục tiêu Ta có các giả... (1.10) Khóa luận tốt nghiệp Đào Thị Hậu A M 4 Ma trận Hessian của hàm xấp xỉ củng bị chặn trong miền tin CẨiy; tứ c là, II s/XX m k (x)\\ ^ l^umh 1 với mọi k, khỉ numh > 1 là hằng số phụ thuộc vào k Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xcm xót một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newt,on trên miền bị chặn đóng, tức là, nếu chúng ta chọn niỵ sao cho (1.9) và... và AM.4 cũng có nghĩa là Pk < Kumh với rriọi k 9 (1-16) Khóa luận tốt nghiệp 1.3.2 Đào Thị Hậu Đ iểm C auchy cho hàm xấp xỉ dạng toàn phương Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó Ĩ1Ó có thẻ có cực tiểu nằrri trên phương Cauchy Đ ịnh nghĩa 1.4 Điểm, Cauchy, kí hiệu là là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy,... + «um/i - 1) [/yit]2Afc2 16 (2-7) Khóa luận tốt nghiệp Dào Thị Hậu Vậy định lí đã được chứng rriinh, trong đó (2.3) được suy ra từ AN.l và □ cách xác định (2.2), (2.4) Định lí cho thấy rriối liên hệ giữa sai số giữa hàm mục tiêu và hàm xấp xỉ với bán kính miền tin cậy Khi bán kính này đủ nhỏ thì hàm xấp xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc làm giầrn hàm xấp xỉ cũng... Ksmh > 0 sao cho l ĩ l l ĩ l Amjn [ \ 7 xx (*^)] — ^ s m h xeBk ( 2 3 1 ) khi x k đủ gần X* Cuối cùng giả sử Va;xf(x *) không suy biến Khi đỏ dãy CÁC b ư ớ c lặ p {.Tfc} h ộ i t ụ t ớ i đ iể m , X * 24 Khóa luận tốt nghiệp Dào Thị Hậu Chứng minh Nếu chỉ có hữu hạn các bước lặp chấp nhận được, thì theo Định lý 2.4 và2.6 dãy các bước lặp {.Tfc} sẽ hội tụ đến X* Xét trường hợp có vô hạn các bước lặp... được cho bởi (1.19) Nếu Ì9k,Hk9k) < 0 Khi đó, ta có mk(xk - tgk) = m k(xk) - t\\gk\\2 + ^ t2(gk,Hkgk) < m k(xh) - í||íft||2 12 (1.27) Khóa luận tốt nghiệp Dào Thị Hậu với t > 0 Trong trường hợp này, điểrn Cauchy phải nằrri trên biên của miền tin cậy, do đó (1.25) vẫn đúng Có mk(xk) - m kix h) ằ Ils*||277^7j\\9k\\k = I'kWukW^kVì vậy m k(xk) - m k{xck ) > ^ ||fttl|A*- Từ (1.23), (1.26) và (1.28) ta có. .. hạn bậc nhất của bài toán (1.1), tức là, chúng thỏa mãn V x f 0*) = 0 không phụ thuộc vào vị trí vủa vecto Xo ban đầu và sự lựa chọn bán kính miền tin cậy A0 ban đầu Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm xấp xỉ tại điổm Xỵ + Sỵ € B Đ ịn h lý 2.1 ([1, Theorem 6.4.1, p.133]) Giả sử các điều kiện AF l , AF.3, và AM l - A M 4 được thỏa mãn Khi đó chúng ta có 1/0* + sk) - ... lý thuyết phương pháp rriiền tin cậy Lịch sử phát triển phương pháp miền tin cậy rriột số ứng dụng thuật toán miền tin cậy giới thiệu [1, tr 8-12] Khi nghiên cứu phương pháp miền tin cậy, em quan... {.Xa-} sinh thuật toán miền tin cậy trường hợp toán ràng buộc [1, Chương 6] Chương T huật toán m iền tin cậy 1.1 Một số khái niệm Trước hết ta xét toán tối ưu ràng buộc (P) Bài toán (p ) : rriin... luận tốt nghiệp Đào Thị Hậu Lời mở đầu Bài toán tối ưu có ứng dụng rộng rãi toán học dời sống Nó nghiên cứu cách toàn diện Iihờ phương pháp định tính định lượng phương pháp gradient, phương pháp