Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1

Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1.Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1.Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1.Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1.Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1.

Chơng Những kiến thức chuẩn bị Chơng nhắc lại vắn tắt số kiến thức cần thiết giải tích lồi (tập lồi, hàm lồi tính chất), toán tối u phi tuyến (các điều kiện cần đủ tối u) Do toán tối u có ràng buộc thờng đợc đa toán không ràng buộc, nên nêu lại số phơng pháp hay đợc dùng để tìm cực tiểu tự hàm n biến (građiên, građiên liên hợp, Newton) Nội dung trình bày chơng chủ yếu dựa tài liệu [1], [4], [5] 1.1 Tập Afin tập lồi 1.1.1 Tập afin Trớc hết khái niệm liên quan tới tập afin Định nghĩa 1.1 Một tập M |Rn đợc gọi tập afin a, b M, |R a + (1 - )b M, tức M chứa hai điểm M chứa đờng thẳng qua hai điểm Một số tính chất tập afin: Nếu M tập afin a + M = {a + x : x M} tập afin a |Rn M tập afin chứa gốc M không gian |Rn Giao họ tập afin tập afin Nếu x1, , xk thuộc tập afin M tổ hợp afin điểm thuộc M, nghĩa xi M (i = 1, , k), + + k = 1x1 + + kxk M Một tập afin có dạng M = {x : Ax = b} với A |Rmìn, b |Rm Ngợc lai, tập có dạng tập afin (Đó tập nghiệm hệ phơng trình tuyến tính) Bao afin tập E giao tất tập afin chứa E, ký hiệu aff(E) Đó tập afin nhỏ chứa E Từ tính chất tập afin suy ra: x aff(E) x = k i x i , xi E, i =1 k i i =1 = Có thể thấy: tập M afin M = x0 + L với x0 M L không gian L đợc xác định cách đợc gọi không gian song song với M (M nhận đợc cách tịnh tiến L tới x0) Thứ nguyên (số chiều) tập afin M số chiều không gian song song với Định nghĩa 1.2 Một tập afin |Rn có thứ nguyên n - đợc gọi siêu phẳng Có thể thấy siêu phẳng tập có dạng H = {x : = } với a | Rn (a 0), |R (Đó tập nghiệm phơng trình tuyến tính |Rn) Một tập k điểm x1, x2, , xk gọi độc lập afin k - véctơ x - x1, , xk - x1 độc lập tuyến tính Qua n điểm độc lập afin |R n có siêu phẳng Một tập có dạng H = {x : } (hay H = {x : < }) đợc gọi nửa không gian đóng (mở) 1.1.2 Tập lồi Sau số khái niệm liên quan đến tập lồi Định nghĩa 1.3 Tập hợp C |Rn đợc gọi lồi a, b C, a + (1 - )b C, tức C chứa hai điểm chứa đoạn thẳng nối hai điểm Có thể thấy tập hợp rỗng, toàn không gian |Rn, tập afin, siêu phẳng, nửa không gian (đóng, mở), hình cầu, tập lồi Trong |R 2, hình tam giác, hình vuông, hình tròn, hình êlip tập hợp lồi Tuy nhiên, đờng tròn hay hình vành khăn tập hợp lồi Thứ nguyên hay số chiều tập lồi C thứ nguyên bao afin C Trong |Rn tập lồi thứ nguyên n đợc gọi tập lồi thứ nguyên đầy đủ Sau số tính chất tập lồi: Giao họ tập lồi tập lồi Nếu C, D tập lồi C + D = {x + y : x C, y D}, C = {x : x C} C D = C + (-1)D tập lồi Nếu C |Rn, D |Rm tập lồi tích C ì D = {(x, y) : x C, y D} |Rn ì |Rm tập lồi Nếu x1, x2, , xk thuộc tập lồi C tổ hợp lồi điểm thuộc C, nghĩa xi C, i (i = 1, , k) + + k = 1x1 + + kxk C Nếu tập lồi C |Rn không giới nội có véctơ t |Rn (t 0) cho với x C tia x + t, nằm trọn C Một véctơ t nh gọi phơng vô hạn tập lồi C Cho tập E |Rn Giao tất tập lồi chứa E đợc gọi bao lồi E, ký hiệu conv(E) Đó tập lồi nhỏ chứa E Có thể thấy: conv(E) trùng với tập tất tổ hợp lồi phần tử thuộc E Bao đóng tập lồi tập lồi Cho C |Rn tập lồi Điểm x C gọi điểm cực biên C x biểu diễn dới dạng tổ hợp lồi hai điểm phân biệt khác C, nghĩa không tồn hai điểm y, z C, y z cho x = y + (1 - )z với < < Mệnh đề 1.1 (Định lý tách) Hai tập lồi khác rỗng, điểm chung C, D |Rn (C D = ) tách đợc siêu phẳng, nghĩa tồn véctơ t |Rn (t 0) số |R cho bất đẳng thức sau đợc thoả mãn: với x C y D 1.2 Hàm lồi, lồi chặt lồi mạnh 1.2.1 Hàm lồi tính chất Định nghĩa 1.4 Một hàm f(x) xác định tập lồi C |Rn đợc gọi lồi C với x, y C số thực [0, 1] ta có f[x + (1 - )y] f(x) + (1 - )f(y) Nếu bất đẳng thức thoả mãn với dấu < với x y, < < f(x) đợc gọi lồi chặt Hàm f(x) gọi lõm (lõm chặt) - f(x) lồi (lồi chặt) Có thể chứng minh hàm f(x) lồi C a) Tập epi f {(x, t) |Rn+1 : x C, f(x) t} tập lồi |Rn+1, m b) f( k x k ) k =1 m k f (x k ) với xk C, k 0, k k =1 m k = 1, k =1 m số nguyên (bất đẳng thức Jensen) Một số ví dụ quen thuộc hàm lồi: Hàm tuyến tính afin f(x) + hàm vừa lồi, vừa lõm, với x, y |Rn với ta có f[x + (1 - )y] = f(x) + (1 - )f(y) Tuy nhiên hàm hàm lồi chặt hay lõm chặt Dạng toàn phơng nửa xác định dơng f(x) hàm lồi Hàm chuẩn f(x) ||x|| = < x, x > , x |Rn, hàm lồi Hàm khoảng cách từ điểm x |Rn tới tập hợp lồi, đóng cho trớc C |Rn: f(x) inf yC ||x y|| hàm lồi Một số tính chất đáng ý hàm lồi: Mọi tổ hợp tuyến tính không âm hàm lồi hàm lồi lồi chặt hàm lồi chặt Nếu f(x) lồi f(Ax + b) lồi, A ma trận vuông cấp n b |Rn Nếu hàm fi(x), i = 1, 2, , m lồi (nói riêng tuyến tính afin) hàm f(x) = 1max fi(x) lồi i m Nếu f(x) hàm lồi tập lồi C với số thực |R tập mức dới sau tập lồi (có thể rỗng): C {x C : f(x) < }, C {x C : f(x) } Hơn nữa, f(x) + với P ma trận xác định dơng C, C tập giới nội (bị chặn) Điều ngợc lại nói chung không đúng: Một hàm số có tập hợp mức dới lồi không thiết hàm lồi Ví dụ: Hàm f(x) = x , x |R, có tập hợp mức dới lồi, nhng thân hàm không lồi toàn |R Vì thế, ngời ta mở rộng khái niệm hàm lồi thành hàm tựa lồi, hàm f : |R n [, +] cho tập mức dới L = {x |Rn : f(x) } lồi với |R Hàm f(x) gọi tựa lõm f(x) tựa lồi Tất nhiên hàm lồi (lõm) tựa lồi (tựa lõm), nhng điều ngợc lại nói chung không Với x, d |Rn cố định, ta ký hiệu () f(x + d) Khi ta có Mệnh đề 1.2 Hàm f(x) lồi hàm biến () f(x + d) lồi theo với x, d |Rn 1.2.2 Hàm lồi khả vi Nếu f(x) hàm khả vi liên tục tập hợp C |Rn với x C ta xác định véctơ cột n thành phần: f ( x ) f ( x ) f ( x ) f ( x ) = , , , x x n x1 T gọi véctơ građiên hàm f điểm x Véctơ f(x) vuông góc với đờng đồng mức hàm f qua điểm x Hớng véctơ hớng tăng nhanh f x nên đợc gọi hớng dốc Ta gọi đạo hàm theo hớng d |Rn hàm f điểm x |Rn giá trị số f ( x + d ) f ( x ) f(x, d) = lim + giới hạn tồn (hữu hạn hay vô hạn) Có thể thấy hàm f khả vi liên tục f(x, d) = '() = với x, d |Rn Hơn nữa, f hai lần khả vi liên tục "() = , 10 2f (x ) P(x) = x i x j n ìn ma trận vuông đối xứng cấp n, gọi ma trận Hessian f x Để nhận biết hàm lồi, ngời ta sử dụng tiêu chuẩn sau: Mệnh đề 1.3 Các điều sau tơng đơng: f(x) hàm lồi toàn |Rn Hàm số '() không giảm theo f(y) f(x) với x, y |Rn Ma trận đạo hàm riêng cấp hai 2f(x) nửa xác định dơng với x, nghĩa x, d |Rn Định nghĩa 1.5 Giả sử hàm lồi f(x) xác định điểm x có giá trị hữu hạn Véctơ g đợc gọi dới građiên f x0 có bất đẳng thức f(x) f(x0) với x |Rn Có thể chứng minh f(x) liên tục x0 có tồn véctơ dới građiên tập véctơ dới građiên x0 tập hợp lồi, đóng bị chặn Nếu f(x) khả vi x0 f(x0) dới građiên f x0 Vì thế, khái niệm dới građiên mở rộng khái niệm đạo hàm (građiên) Với hàm lồi chặt ta có tính chất tơng tự nh Mệnh đề 1.3 Mệnh đề 1.4 Các điều sau tơng đơng: a) f(x) hàm lồi chặt b) f(y) f(x) > , x, y |Rn, x y c) hàm tăng chặt theo Hệ 1.1 Hàm toàn phơng f(x) + ẵ lồi ma trận C nửa xác định dơng (Do 2f(x) C x) 1.2.3 Hàm lồi mạnh tính chất 11 Định nghĩa 1.6 Hàm f(x) xác định tập lồi C |Rn đợc gọi lồi mạnh, tồn số > (hằng số lồi mạnh) cho với x, y C [0, 1] ta có bất đẳng thức: f[x + (1 )y] f(x) + (1 )f(y) (1 ) x y (1.1) Có thể chứng minh hàm f(x) lồi mạnh hàm f(x) .||x||2 lồi Rõ ràng hàm lồi mạnh lồi chặt, nhng điều ngợc lại không Các hàm lồi mạnh có vai trò đặc biệt quan trọng nghiên cứu toán tối u Sau xét hàm lồi mạnh hai lần khả vi liên tục Mệnh đề 1.5 Nếu f(x) hàm hai lần khả vi liên tục điều kiện lồi mạnh (1.1) tơng đơng với điều kiện m||d||2, m > với x, d |Rn (1.2) Hệ 1.2 Hàm toàn phơng xác định dơng f(x) = + ẵ hàm lồi mạnh toàn |Rn Ngợc lại, hàm bậc hai lồi mạnh xác định toàn |Rn dạng toàn phơng xác định dơng Tập C |Rn đợc gọi lồi chặt x, y C, x y, điểm x + (1 )y với < < 1, điểm C Tập C |Rn gọi lồi mạnh tồn số > cho x, y C ||z|| ||x y||2 ẵ (x + y) + z C Có thể thấy tập lồi mạnh lồi chặt, nhng ngợc lại không Ví dụ: tập C = {(x, y) |R2 : y ex} tập lồi chặt nhng không lồi mạnh Cho trớc điểm tuỳ ý x0 |Rn Xét tập mức dới C = {x |Rn: f(x) f(x0)} Mệnh đề 1.6 Nếu f(x) hàm lồi mạnh hai lần khả vi liên tục C tập hợp lồi mạnh, đóng bị chặn Mệnh đề 1.7 Nếu ma trận 2f(x) thoả mãn điều kiện (1.2) tồn ma trận nghịch đảo [2f(x)]1 12 ||d||2 m Hơn nữa, ma trận 2f(x) bị chặn, nghĩa M.||d||2 m ||d||2 M2 1.2.4 Cực trị hàm lồi Cho hàm số thực f(x) xác định tập khác rỗng C |Rn Ta nói x0 C điểm cực tiểu địa phơng f C tồn số > cho f(x0) f(x) với x C thoả mãn ||x x0|| < Ta nói x0 C điểm cực tiểu toàn cục f C f(x0) f(x) với x C Các khái niệm cực đại địa phơng, cực đại toàn cục đợc định nghĩa tơng tự Mệnh đề sau nêu tính chất đáng ý hàm lồi: Mệnh đề 1.8 Cho f(x) hàm lồi xác định tập lồi C Nếu x0 C điểm cực tiểu địa phơng f C x0 điểm cực tiểu toàn cục f C Hơn nữa: x0 C điểm cực tiểu f C với x C Hàm lồi chặt có nhiều điểm cực tiểu Mệnh đề 1.9 Cho f(x) hàm khả vi liên tục tập mở chứa C Nêú C tập lồi đóng, khác rỗng f lồi mạnh C (nói riêng, f dạng toàn phơng xác định dơng) f có cực tiểu C 1.3 Chỉ số điều kiện ma trận Xét hệ tuyến tính Ax = b, với A ma trận vuông cấp n không suy biến b véctơ |Rn, b Hệ đợc gọi đặt không chỉnh nhiễu nhỏ hệ gây nên thay đổi tơng đối lớn lời giải hệ Ngợc lại, hệ đợc gọi đặt chỉnh Ví dụ 1.1 Xét hệ phơng trình tuyến tính sau đây: 0,835x + 0,667y = 0,168 b1, 13 0,333x + 0,266y = 0,067 b2 Nghiệm hệ x* = y* = - Nếu thay b = 0,067 0,066 lời giải trở thành x* = - 666 y* = 834!!! Tình xẩy ra, chẳng hạn số b b2 kết thí nghiệm đợc đọc từ mặt số đồng hồ dụng cụ đo Giả sử đồng hồ đợc đọc với sai số cho phép 0,001 Bây vấn đề làm đo đợc mức không chỉnh Muốn thế, ta ký hiệu x* lời giải hệ tuyến tính Ax = b ta thay b thành b + b Khi đó, lời giải viết thành x* + x Ta có A(x* + x) = b + b = Ax* + b cho Ax = b x = A-1b Vì ||x|| ||A-1||.||b|| (1.3) Do Ax* = b nên ta có ||b|| = ||Ax*|| ||A||.||x*||, từ 1/ ||x*|| ||A||/ ||b|| (1.4) Khi đó, từ (1.3) (1.4) ta rút ||x||/ ||x*|| ||A||.||A-1||.||b||/ ||b|| Tơng tự, ta thay A A x lời giải ||x||/ ||x|| ||A||.||A-1||.||A||/ ||A|| Trong hai trờng hợp ta thấy thay đổi tơng đối x bị chặn thay đổi tơng đối liệu, nhân với ||A||.||A -1|| Tích ||A||.||A-1|| lớn thay đổi tơng đối rộng Định nghĩa 1.7 Cho A ma trận vuông cấp n không suy biến Giá trị tích ||A||.||A-1|| đợc gọi số điều kiện A ký hiệu cond(A) Để ý số điều kiện A luôn lớn hay Thật vậy, = ||AA-1|| ||A||.||A-1|| = cond(A) Với hệ tuyến tính cho ví dụ 1.1 số điều kiện A ||A||.||A-1|| = 1,502 ì 1.168.000 1,7 ì 106 Mệnh đề 1.10 Cho A ma trận đối xứng (cấp n) xác định dơng Khi đó, 14 cond(A) = 1(A)/ n(A), 1(A) n(A) lần lợt giá trị riêng lớn nhỏ A 1.4 Bài toán tối u phi tuyến :Xét toán tối u phi tuyến (P) {f(x) : hi(x) = 0, i = 1, , m; gj(x) 0, j = 1, , p}, f, hi, i = 1, , m, gj, j = 1, , p, hàm hai lần khả vi liên tục (thuộc lớp C2) Ký hiệu h(x) = (h1(x), , hm(x))T |Rm g(x) = (g1(x), , gp(x))T |Rp Điểm x thoả mãn h(x) = g(x) gọi điểm (lời giải) chấp nhận hay phơng án toán (P) Tập phơng án D = {x |Rn : h(x) = 0, g(x) 0} gọi miền ràng buộc toán Đó tập hợp lồi h i (i = 1, , m) hàm afin gj (j = 1, , p) hàm lồi Giả thiết D khác rỗng Một phơng án đạt cực tiểu hàm f đợc gọi phơng án (lời giải) tối u Khi đó, ta nói phơng trình hi(x) = ràng buộc đẳng thức, bất phơng trình gj(x) ràng buộc bất đẳng thức Hàm Lagrange tơng ứng với toán (P) đợc xác định nh sau: L(x, à, ) = f(x) + h(x)Tà + g(x) T x |Rn, |Rm |Rp, Giả sử x* điểm chấp nhận (P), ta ký hiệu I(x*) = {j : j p, gj(x*) = 0} Bài toán (P) đợc gọi qui điểm x* (hay x* điểm qui (P)) hệ {h1(x*), , hm(x*) gj(x*), j I(x*)} độc lập tuyến tính Điều kiện cần tối u (Định lý Karush - Kuhn - Tucker) Giả sử x* D điểm cực tiểu địa phơng f D x* điểm qui (P) Khi đó, có nhân tử à* |Rm * |Rp thoả mãn: f(x*) + h(x*)Tà* + g(x*)T* = 0, 15 g(x*)T* = 0, * 0, h(x*) = 0, g(x*) (do x* D) Điều kiện đủ tối u cấp hai Nếu (x*, à*, *) thoả mãn điều kiện h(x*) = 0, g(x*) (nghĩa x* D) xL(x*, à*, *) f(x*) + h(x*)Tà* + g(x*)T* = j gj(x*) = 0, j = 1, , p, * j > gj(x*) = (điều kiện bù chặt) dT x L(x*, à*, *)d > 0, d D(x*), d 0, D(x*) = {d : hi(x*)Td = 0, i = 1, , m, gj(x*)Td = 0, j I(x*)} x* điểm cực tiểu địa phơng toán (P) 1.5 Cực tiểu tự hàm n biến Thông thờng, việc giải toán có ràng buộc đợc qui việc giải dãy toán không ràng buộc Vì mục trình bày tóm tắt số phơng pháp tìm cực tiểu không ràng buộc hàm số nhiều biến số Đáng ý phơng pháp građiên, građiên liên hợp phơng pháp Newton quen thuộc hay đợc dùng nhiều để tìm cực tiểu tự hàm n biến 1.5.1 Phơng pháp građiên Bài toán: {f(x) : x |Rn} với giả thiết f khả vi liên tục (thuộc lớp C1) Chọn tuỳ ý điểm x1 |Rn Chọn trớc số > 0, < < 1, < < Thủ tục lặp: xk+1 = xk - kf(xk), k > 0, k = 1, 2, với k đợc chọn theo: a) Phơng pháp quay lui: k giá trị dãy , , 2, thoả mãn f(xk+1) f(xk) - k|| f(xk) ||2, b) Phơng pháp dò tìm xác: k đạt {f(xk - f(xk)) : 0} Sự hội tụ phơng pháp građiên đợc khẳng định hai mệnh đề sau Mệnh đề 1.11 Giả thiết hàm f(x) bị chặn dới građiên f(x) thoả mãn: 16 ||f(x) - f(y)|| L.||x y||, x, y |Rn với L > số k đợc chọn theo phơng pháp nêu Khi đó, với điểm ban đầu x1, dãy lặp {xk} có tính chất: ||f(xk)|| k Mệnh đề 1.12 Giả thiết hàm f(x) hai lần khả vi liên tục ma trận đạo hàm bậc hai thoả mãn: m||y||2 M||y||2, M m > 0, x, y |Rn Dãy {xk} xây dựng theo phơng pháp građiên, với k chọn theo cách nêu Khi đó, với x1 ta có xk x*, f(xk) f(x*), x* điểm cực tiểu (duy nhất) f(x) Đồng thời, có đánh giá tốc độ hội tụ dãy lặp: f(xk+1) f(x*) qk[f(x1) f(x*)], ||xk+1 x*|| Cqk/2, C < , < q < 1.5.2 Phơng pháp građiên liên hợp Bài toán: {f(x) = + 12 } với G đối xứng, xác định dơng Định nghĩa 1.8 Các hớng d1, d2, , dk gọi liên hợp với ma trận G = với i, j = 1, 2, , k i j Chọn tuỳ ý điểm x1 |Rn Hớng tìm ban đầu d1 = - f(x1) Bớc lặp: k = 1, 2, : Xác định xk+1 = xk + kdk, k > đạt cực tiểu hàm biến () = f(xk + dk), Chọn hớng dk+1 liên hợp với d1, , dk dới dạng: dk+1 = - gk+1 + kdk với k = ||gk+1||/ ||gk|| gk = f(xk) Đặt k k + Tiến hành bớc lặp k Phơng pháp građiên liên hợp cho cực tiểu hàm lồi bậc hai f(x) sau không n bớc lặp 1.5.3 Phơng pháp Newton 17 Bài toán: min{f(x): x |Rn} với giả thiết f hai lần khả vi liên tục (thuộc C2) Chọn tuỳ ý điểm x1 |Rn Thủ tục lặp: xk+1 = xk - k[2f(xk)]-1.f(xk), k > 0, k = 1, 2, Chọn k theo phơng pháp quay lui đạt min{f(xk - [2f(xk)]-1.f(xk)) : 0} Sự hội tụ phơng pháp Newton đợc nêu mệnh đề sau Mệnh đề 1.13 Dãy xk xây dựng theo phơng pháp Newton với k chọn theo cách nêu hội tụ tới điểm cực tiểu x* với tốc độ tuyến tính f(x) thoả mãn: m||y||2 M||y||2, m > 0, x, y |Rn, với tốc độ bậc hai ||xk+1 xk|| (L/m)||xk x*||2 2f(x) thoả mãn thêm điều kiện Lipschitz: ||2f(x) - 2f(y)|| L.||x y||, x, y |Rn 1.6 Tốc độ hội tụ Một thớc đo hiệu thực thi thuật toán tốc độ hội tụ Trong mục ta đề cập tới số khái niệm liên quan đến kiểu hội tụ khác Các khái niệm đợc trích dẫn hai chơng sau Giả sử {xk} dãy điểm |R n hội tụ tới x* Ta nói hội tụ tuyến tính có số r (0 1) cho x k +1 x x k x r với k đủ lớn Điều có nghĩa khoảng cách tới x* giảm dần, sau lần lặp giảm hệ số số < Chẳng hạn, dãy + (0,5) k hội tụ tuyến tính tới Lu ý kiểu hội tụ đợc định nghĩa thông qua tỉ số hai sai số liên tiếp Sự hội tụ đợc gọi tuyến tính 18 lim k x k +1 x k x x = Chẳng hạn, dãy xk = + k-k hội tụ tuyến tính tới x* = Thật vậy, ta có x k +1 x x k x k ( k +1) kk k ( k + ) = = = ì (k + 1) k +1 k + k + k k 1 1 ì k +1 k = ì 0ì = k k e k +1 ( k ) k + (1 + 1k ) Sự hội tụ đợc gọi bậc hai có số dơng M cho x k +1 x k x x M với k đủ lớn, M không cần thiết nhỏ Ví dụ dãy + (0,5) 2k hội tụ bậc hai tới Tốc độ hội tụ phụ thuộc vào r phần vào M Giá trị r M phụ thuộc không vào thuật toán mà vào tính chất toán cụ thể Nhng dù r M suy cho hội tụ bậc hai nhanh hội tụ tuyến tính Rõ ràng dãy hội tụ bậc hai hội tụ tuyến tính dãy hội tụ tuyến tính hội tụ tuyến tính Ta định nghĩa tốc độ hội tụ cao (bậc ba, bậc bốn, ), nhng từ hay đợc dùng thực tiễn Tổng quát, ta nói hội tụ dãy bậc p (với p > 1) có số dơng M cho x k +1 x k x x p M với k đủ lớn Nh biết, phơng pháp tựa Newton có tôc độ hội tụ tuyến tính, phơng pháp Newton có tốc độ hội tụ bậc hai Trái lại, thuật toán građiên hội tụ với tốc độ tuyến tính toán đặt không chỉnh số hội tụ r gần 19 Tóm lại Chơng nhắc lại khái niệm tập lồi, hàm lồi, hàm tựa lồi, hàm lồi chặt hàm lồi mạnh, số tính chất chúng Khái niệm số điều kiện ma trận đợc nói tới Các phơng pháp tìm cực tiểu tự hàm nhiều biến với hội tụ chúng, đợc nêu tóm tắt: phơng pháp građiên, građiên liên hợp, phơng pháp Newton Các phơng pháp cần đến chơng sau, giải toán tối u có ràng buộc (đẳng thức bất đẳng thức) 20 [...]... = 1 Thật vậy, ta có x k +1 x x k x k ( k +1) kk 1 k ( k + 1 ) = = = ì (k + 1) k +1 k + 1 k + 1 k k 1 1 1 1 1 ì k +1 k = ì 0ì = 0 khi k k e k +1 ( k ) k + 1 (1 + 1k ) Sự hội tụ đợc gọi là bậc hai nếu có hằng số dơng M sao cho x k +1 x k x x 2 M với mọi k đủ lớn, trong đó M không cần thiết nhỏ hơn 1 Ví dụ dãy 1 + (0,5) 2k hội tụ bậc hai tới 1 Tốc độ hội tụ phụ thuộc vào r và phần nào vào... 0 với mọi i, j = 1, 2, , k và i j Chọn tuỳ ý điểm x1 |Rn Hớng tìm ban đầu d1 = - f(x1) Bớc lặp: k = 1, 2, : Xác định xk +1 = xk + kdk, k > 0 đạt cực tiểu của hàm một biến () = f(xk + dk), 0 Chọn hớng dk +1 liên hợp với d1, , dk dới dạng: dk +1 = - gk +1 + kdk với k = ||gk +1| |/ ||gk|| và gk = f(xk) Đặt k k + 1 Tiến hành bớc lặp k mới Phơng pháp građiên liên hợp cho cực tiểu của hàm lồi bậc hai... lặp 1. 5.3 Phơng pháp Newton 17 Bài toán: min{f(x): x |Rn} với giả thiết f hai lần khả vi liên tục (thuộc C2) Chọn tuỳ ý điểm x1 |Rn Thủ tục lặp: xk +1 = xk - k[2f(xk)] -1. f(xk), k > 0, k = 1, 2, Chọn k theo phơng pháp quay lui hoặc đạt min{f(xk - [2f(xk)] -1. f(xk)) : 0} Sự hội tụ của phơng pháp Newton đợc nêu trong mệnh đề sau Mệnh đề 1. 13 Dãy xk xây dựng theo phơng pháp Newton với k chọn theo cách... do của hàm n biến Thông thờng, việc giải các bài toán có ràng buộc đợc qui về việc giải một dãy bài toán không ràng buộc Vì thế trong mục này sẽ trình bày tóm tắt một số phơng pháp chính tìm cực tiểu không ràng buộc của hàm số nhiều biến số Đáng chú ý là các phơng pháp građiên, građiên liên hợp và phơng pháp Newton quen thuộc hay đợc dùng nhiều để tìm cực tiểu tự do của hàm n biến 1. 5 .1 Phơng pháp građiên... phơng pháp građiên, với k chọn theo cách đã nêu Khi đó, với bất kỳ x1 ta có xk x*, f(xk) f(x*), trong đó x* là điểm cực tiểu (duy nhất) của f(x) Đồng thời, có đánh giá về tốc độ hội tụ của dãy lặp: f(xk +1) f(x*) qk[f(x1) f(x*)], ||xk +1 x*|| Cqk/2, C < , 0 < q < 1 1.5.2 Phơng pháp građiên liên hợp Bài toán: min {f(x) = + 12 } với G đối xứng, xác định dơng Định nghĩa 1. 8 Các hớng d1,... của phơng pháp građiên đợc khẳng định trong hai mệnh đề sau Mệnh đề 1. 11 Giả thiết hàm f(x) bị chặn dới và građiên f(x) thoả mãn: 16 ||f(x) - f(y)|| L.||x y||, x, y |Rn với L > 0 là một hằng số và k đợc chọn theo phơng pháp nêu trên Khi đó, với bất kỳ điểm ban đầu x1, dãy lặp {xk} có tính chất: ||f(xk)|| 0 khi k Mệnh đề 1. 12 Giả thiết hàm f(x) hai lần khả vi liên tục và ma trận đạo hàm bậc hai... các khái niệm về tập lồi, hàm lồi, hàm tựa lồi, hàm lồi chặt và hàm lồi mạnh, cùng một số tính chất cơ bản của chúng Khái niệm về chỉ số điều kiện của ma trận cũng đợc nói tới Các phơng pháp cơ bản tìm cực tiểu tự do của hàm nhiều biến cùng với sự hội tụ của chúng, cũng đợc nêu tóm tắt: phơng pháp građiên, građiên liên hợp, phơng pháp Newton Các phơng pháp này sẽ cần đến ở các chơng sau, khi giải các. .. dùng trong thực tiễn Tổng quát, ta nói sự hội tụ của dãy là bậc p (với p > 1) nếu có hằng số dơng M sao cho x k +1 x k x x p M với mọi k đủ lớn Nh đã biết, các phơng pháp tựa Newton có tôc độ hội tụ trên tuyến tính, còn các phơng pháp Newton có tốc độ hội tụ bậc hai Trái lại, các thuật toán građiên chỉ hội tụ với tốc độ tuyến tính và khi bài toán đặt không chỉnh thì hằng số hội tụ r gần 1 19 Tóm... hàm n biến 1. 5 .1 Phơng pháp građiên Bài toán: min {f(x) : x |Rn} với giả thiết f khả vi liên tục (thuộc lớp C1) Chọn tuỳ ý điểm x1 |Rn Chọn trớc số > 0, 0 < < 1, 0 < < 1 Thủ tục lặp: xk +1 = xk - kf(xk), k > 0, k = 1, 2, với k đợc chọn theo: a) Phơng pháp quay lui: k là giá trị đầu tiên trong dãy , , 2, 3 thoả mãn f(xk +1) f(xk) - k|| f(xk) ||2, hoặc b) Phơng pháp dò tìm chính xác: k đạt min {f(xk... hằng số r (0 1) sao cho x k +1 x x k x r với mọi k đủ lớn Điều này có nghĩa là khoảng cách tới x* giảm dần, sau mỗi lần lặp giảm ít nhất một hệ số hằng số < 1 Chẳng hạn, dãy 1 + (0,5) k hội tụ tuyến tính tới 1 Lu ý là kiểu hội tụ này đợc định nghĩa thông qua tỉ số của hai sai số liên tiếp Sự hội tụ đợc gọi là trên tuyến tính nếu 18 lim k x k +1 x k x x = 0 Chẳng hạn, dãy xk = 1 + k-k hội tụ ... ì 1. 168.000 1, 7 ì 10 6 Mệnh đề 1. 10 Cho A ma trận đối xứng (cấp n) xác định dơng Khi đó, 14 cond(A) = 1( A)/ n(A), 1( A) n(A) lần lợt giá trị riêng lớn nhỏ A 1. 4 Bài toán tối u phi tuyến :Xét toán. .. f(xk +1) f(x*) qk[f(x1) f(x*)], ||xk +1 x*|| Cqk/2, C < , < q < 1. 5.2 Phơng pháp građiên liên hợp Bài toán: {f(x) = + 12 } với G đối xứng, xác định dơng Định nghĩa 1. 8 Các hớng d1,... y D 1. 2 Hàm lồi, lồi chặt lồi mạnh 1. 2 .1 Hàm lồi tính chất Định nghĩa 1. 4 Một hàm f(x) xác định tập lồi C |Rn đợc gọi lồi C với x, y C số thực [0, 1] ta có f[x + (1 - )y] f(x) + (1 - )f(y)