Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2.

Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2. Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 2.

Chơng phơng pháp hàm chắn Chơng trình bày phơng pháp hàm chắn cho phép đa toán tối u có ràng buộc bất đẳng thức toán tối u không ràng buộc, để áp dụng đợc phơng pháp tìm cực tiểu không ràng buộc quen biết Phơng pháp đòi hỏi toán có điểm chấp nhận thoả mãn chặt ràng buộc Nội dung trình bày chơng chủ yếu dựa tài liệu [2], [3] [6] 2.1 Mở đầu Xét toán tối u với ràng buộc bất đẳng thức: (P) {f(x) : gi(x) 0, i = 1, , m; x |Rn}, f(x), gi(x): |Rn |R, i = 1, , m hàm lồi, hai lần khả vi liên tục Miền ràng buộc (miền chấp nhận đợc) toán (P) tập C = {x |Rn : gi(x) 0, i = 1, , m} Đặt C0 {x |Rn : gi(x) < 0, i = 1, , m} Ta giả thiết C , tức có điểm x với gi( x ) < 0, i = 1, , m (điều kiện Slater) C bị chặn Ta đa toán (P) toán không ràng buộc để áp dụng đợc phơng pháp giải số tìm cực tiểu không ràng buộc Dễ dàng thấy x* lời giải tối u (P) x* nghiệm toán cực tiểu không ràng buộc: (P) {f(x) + I(x) : x |Rn} 21 I : |Rn |R {+} hàm (indicator function) tập C, tức x C, I(x) = + trái lại Tuy nhiên, hàm mục tiêu không khả vi biên C, nên việc giải toán ( P ) gặp nhiều khó khăn ta vận dụng trực tiếp phơng pháp cổ điển tìm cực tiểu không ràng buộc để giải ( P ) Vì thế, ta tìm cách sử dụng hàm khả vi khác để xấp xỉ I(x) Giải toán không ràng buộc xây dựng theo cách ta đợc lời giải xấp xỉ (P) ý tởng phơng pháp hàm chắn xấp xỉ hàm I hàm I : | Rn |R {+} với tính chất: (A1) I hàm lồi khả vi liên tục miền hữu hiệu (A2) dom I = {x |Rn : gi(x) < 0, i = 1, , m} (A3) Nếu xk dom I , xk tiến gần tới biên C I (xk) + Một hàm I nh đợc gọi hàm chắn (barrier function) C, hàm dần tới vô x gần tới biên C (hàm ngăn x tiến biên) Bài toán xấp xỉ (P) có dạng ( P ) {f(x) + I (x) : gi(x) < 0, i = 1, , m} 22 Sự tồn tính nghiệm (lời giải tối u) toán đợc khẳng định mệnh đề sau Mệnh đề 2.1 Giả thiết miền ràng buộc C compac I hàm chắn Khi toán ( P ) có nghiệm Hơn nữa, f + I hàm lồi chặt nghiệm toán ( P ) Chứng minh Giả sử x0 C0 {x |Rn : gi(x) < 0, i = 1, , m} Đặt W = {x C0 : f(x) + I (x) f(x0) + I (x0)} (W đợc xác định giả thiết C0 khác rỗng) Trớc hết ta chứng minh W compac Do C compac W C0 nên tập W bị chặn Ta chứng tỏ W đóng Thật vậy, giả sử {w j}j N dãy hội tụ W điểm giới hạn dãy w Do C đóng nên w C w C0 w thuộc biên C Do w j w nên theo định nghĩa hàm chắn (điều kiện A3) f(wj) + I (wj) +, điều trái với kiện w j thuộc W Vậy phải có w C0 Do hàm f + I liên tục w wj W nên ta có I j I j f(w) + I (w) = lim j [f(w ) + (w )] f(x ) + (x ) 23 Vì thế, w W, nghĩa W đóng Cuối cùng, liên tục tập compac W nên hàm f + I đạt giá trị cực tiểu W, chẳng hạn điểm x* W |Rõ ràng, x* nghiệm (lời giải tối u) toán ( P ) Giả sử x nghiệm toán ( P ) Khi đó, x xấp xỉ cho nghiệm toán (P) Nhng xấp xỉ nói chung thô Để cải tiến xấp xỉ ta nhận xét I hàm chắn tI hàm chắn với t > giá trị t nhỏ hàm chẵn tI xấp xỉ tốt hàm I Nh vậy, ý tởng giải toán ( P (t)) {f(x) + tI (x) : gi(x) < 0, i = 1, , m} với t > đủ nhỏ Tuy nhiên mặt tính toán cách làm không thật hợp lý Lý số điều kiện ma trận Hessian hàm mục tiêu toán ( P (t)) tăng lên t giảm số điều kiện tăng gây khó khăn cho việc giải hệ phơng trình tuyến tính để xác định hớng Newton Trong thực hành tốt ta nên bắt đầu trình giải từ giá trị t không nhỏ giải toán ( P (t0)) để nhận đợc nghiệm xấp xỉ x(t0) toán Sau giảm t0, chẳng hạn đặt t1 = ct0 với hệ số c < Tiếp đó, giải toán ( P (t1)), cách xuất phát từ nghiệm x(t 0) có trớc Sau ta đặt t = ct1, 24 lại giải toán ( P (t2)), xuất phát từ nghiệm x(t1) có, Trong thực tiễn, ngòi ta thờng chọn hệ số c = 1/10 thấy cách chọn đủ tốt Đôi ngời ta chọn c = 1/12, 1/16, Rõ ràng dãy t k giảm dần tiến tới Quá trình tạo dãy điểm {x(tk)} với hy vọng dãy hội tụ tới điểm x* nghiệm toán (P) Theo Mệnh đề 2.1, toán ( P (tk)) có nghiệm Hơn nữa, ta dùng phơng pháp tìm cực tiểu không ràng buộc (Cauchy, Newton, tựa Newton, građiên liên hợp), xuất phát từ điểm chấp nhận đợc chặt (thuộc C0) điểm lặp tiếp sau thuộc C nhờ tính chất A3 hàm chắn Tuy nhiên, việc giải toán cực tiểu hàm biến số (cực tiểu chiều) cần tiến hành thận trọng để tránh phải xét điểm chấp nhận đợc không chặt (thuộc C nhng không thuộc C0) 2.2 Hàm chắn lôga Hàm chắn lôga lớp hàm đợc sử dụng rộng rãi để xử lý ràng buộc gi(x) 0, i = 1, , m Đó hàm đợc xác định công thức: im=1 log(g i ( x )) g i ( x ) < 0, i = 1, , m, (x) = + trái lại Có thể thấy hàm chắn Thật vậy, rõ ràng hàm lồi, trơn C0 (x) dần tới + x tiến gần tới biên C Hơn nữa, lồi chặt C0, theo nghĩa: với x1 x2 C0, < < ta có [x1 + (1 )x2] < (x1) + (1 )(x2) 25 Do (x) lồi, trơn C bị chặn (theo giả thiết) nên (x) phải có cực tiểu C0 Hơn nữa, tính lồi chặt nên có hai điểm x1 x2 đạt cực tiểu (x) C0 với < < 1: [x1 + (1 )x2] < (x1) + (1 ) (x2) = (x1) = (x2), trái với x1, x2 đạt cực tiểu Vậy có điểm cực tiểu C0 Điểm cực tiểu gọi tâm giải tích bất đẳng thức gi(x) i Ví dụ 2.1 Xét toán: {x2 + : x 0, x 0} Nghiệm toán x* = Hàm mục tiêu chắn lôga có dạng B(x, t) = x2 + t.log(x 2) t.log(4 x) Đồ thị B(x, t) đợc vẽ Hình 2.1 với giá trị t = 3, 5, 10 Ta thấy điểm cực tiểu x(t) B(x, t) dần tới x* = t dần tới 26 30 Hình 2.1 Hàm mục tiêu chắn lôga B(x, t) t1 = 10 25 t2 = 20 t3 = 15 10 x* = 2.2 x(t3) 2.4 x(t2) 2.6 x(t1) 2.8 3.2 3.4 3.6 3.8 Một ví dụ khác hàm chắn hàm chắn nghịch đảo đợc xác định im=11 / g i ( x ) g i ( x ) < 0, i = 1, , m, (x) = trái lại + Ví dụ 2.2 Xét toán tìm cực tiểu hàm biến số f(x) = x với ràng buộc g(x) = x Rõ ràng giá trị cực tiểu f 2, đạt điểm x* = Hàm chắn nghịch đảo có dạng: (x) = 1/(x 2) Dùng tham số t ta xét toán không ràng buộc {B(x, t) = x + t/(x - 2) : x |R} Hình 2.2 vẽ đồ thị hàm B(x, t) vị trí điểm cực tiểu tơng ứng với giá trị t = 1; 0,64; 0,25 0,09 27 Hình 2.2 Hàm mục tiêu chắn nghịch đảo q2 q4 q1 q3 q 1.5 2.5 3.5 4.5 Miền ràng buộc nằm bên phải đờng thẳng đứng x = Dễ nhận thấy dãy điểm q1, q2, q3, q4, tiến dần tới điểm q (cực tiểu có ràng buộc hàm f) Thật vậy, để tìm cực tiểu B(x, t) ta lấy đạo hàm B theo x cho đạo hàm 0, ta nhận đợc t dB =12 = (x 2) = t x = ( x ) dx t 2t d2B Do đó, = cực tiểu hàm B đạt đợc x = + ( x 2) dx t nằm bên miền ràng buộc giá trị cực tiểu + t Khi đó, q1 = (3; 4), q2 = (2,8; 3,6), q2 = (2,5; 3) q3 = (2,3; 2,6) Rõ ràng t giá trị cực tiểu không ràng buộc B(x, t) tiến tới điểm cực tiểu x* = 28 Nói chung ta xác định giải tích vị trí điểm cực tiểu hàm B(x, t) mà phải dùng phơng pháp giải số 2.3 Đờng trung tâm Dùng tham số t > ta đặt B(x, t) = f(x) + t (x), hàm chắn lôga, xét toán tối u không ràng buộc: {B(x, t) : x |Rn} Do hàm (x) lồi chặt C0 f(x) lồi C nên B(x, t) lồi chặt C0 Do vậy, B(x, t) có điểm cực tiểu C0 Vì thế, từ sau ta giả thiết hàm chắn đợc sử dụng hàm chắn lôga nghiệm toán không ràng buộc: {f(x) + t(x)} tồn Ta ký hiệu nghiệm x*(t) Tập hợp {x*(t) : t > 0} xác định đờng cong, đợc gọi đờng trung tâm (central path) hay quĩ đạo chắn (barrier trajectory) Ví dụ 2.3 Xét toán quy hoạch tuyến tính với hai biến, bốn ràng buộc: f(x) = x2 (P) với điều kiện: 0,5x1 x2 0, 3x1 x2 5, 2x1 + x2 10, x2 Điểm x* = (0, 0) nghiệm toán Đờng trung tâm đợc xác định tập điểm x*(t) = argmin B(x, t) với t > 0, B(x, t) = x2 t.log(- 0,5x1 + x2) - t.log(5 - 3x1 + x2) - t.log(10 - 2x1 - x2) - t.log(6 - x2) 29 Bảng sau ghi toạ độ số điểm thuộc đờng trung tâm giá trị tơng ứng hàm B(x, t) Các điểm đợc vẽ Hình 2.3 (trang sau) t x x B(x*, t) 10 - 1,0686 2,6595 - 24.8288 - 1,0225 2,4591 - 11.3029 2,5 - 0,9170 2,1069 - 4.7407 1,25 - 0,6904 1,5788 - 1.7472 0,625 - 0,3502 0,9876 - 0.5482 0,3125 - 0,0921 0,5429 - 0.1341 0,1563 0,0034 0,2870 - 0.0054 0,0781 0,0189 0,1490 0.0252 0,0391 0,0143 0,0762 0.0256 0,0195 0,0085 0,0386 0.0190 0,0098 0,0046 0,0194 0.0125 0,0049 0,0024 0,0097 0.0077 mục sau ta đề cập tới vấn đề hội tụ dãy {x*(t)} dãy {f(x*(t))} t 30 3.0 2.5 2.0 1.5 1.0 0.5 0.0 -1.2 -1.0 -0.8 -0.6 -0.4 -0.2 0.0 0.2 Hình 2.3 Đờng trung tâm 2.4 nhân tử Lagrange Do hàm f, gi (i = 1, , m) lồi, khả vi liên tục điều kiện Slater đợc thoả mãn, tức tồn điểm x cho gi( x ) < với i = 1, , m, nên điều kiện Karush - Kuhn - Tucker điều kiện cần đủ tối u Nói xác hơn, x* nghiệm toán (P) tồn véctơ * = ( , , m ) thoả mãn điều kiện sau đây, gọi tắt điều kiện KKT: m f(x*) + i gi(x*) = 0, i =1 i gi(x*) = 0, i = 1, 2, , m, gi(x*) 0, i = 1, 2, , m, 31 i 0, i = 1, 2, , m, Hơn nữa, ta biết * nghiệm toán đối ngẫu với (P): max {d() infx L(x, ) : 0}, (Q) m L(x, ) = f(x) + i gi(x) hàm Lagrange toán (P) i =1 Do điều kiện Slater đợc thoả mãn nên ta có hệ thức đối ngẫu mạnh: d(*) = f*, giá trị tối u (P) Sau ta sử dụng đờng trung tâm để đa xấp xỉ cho véc tơ nhân tử Lagrange * = ( , , , m ) Muốn thế, ta viết điều kiện tối u điểm x*(t) = argmin {f(x) + t.(x)} thuộc đờng trung tâm dới dạng: f(x*(t)) + t.(x*(t)) = với t > m m i =1 i =1 Do (x) = - log(g i ( x )) nên (x) = - (1 / g i ( x )) gi(x) Vì thế, đờng trung tâm đợc đặc trng hệ phơng trình t gi(x*(t)) = i =1 g i ( x * ( t )) m f(x*(t)) - So sánh điều kiện với điều kiện KKT thứ m f(x*) + i gi(x*) = 0, i =1 32 ta thấy x*(t) đủ gần x* giá trị i (t) = - t , i = 1, 2, , m g i ( x * ( t )) (2.1) đợc xem nh xấp xỉ cho nhân tử Lagrange i , i = 1, 2, , m Do t > gi(x*(t)) < 0, i = 1, 2, , m (vì điểm cực tiểu f(x) + t (x) nằm phần miền chấp nhận) nên ta có i (t) > với i = 1, 2, ,m Vì thế, véctơ *(t) thoả mãn ràng buộc toán đối ngẫu (Q) Ta để ý cặp véctơ (x*(t), *(t)) thoả mãn gần nh đầy đủ điều kiện KKT Thật vậy, ta có m f(x*(t)) + i (t)gi(x*(t)) = 0, i =1 i (t)gi(x*(t)) = - t, i = 1, 2, , m, (2.2) gi(x*(t)) < 0, i = 1, 2, , m, i (t) > 0, i = 1, 2, , m Điểm cực tiểu x*(t) B(x, t) điểm C, điểm đợc đặc trng điều kiện cần tối u: m g ( x*) i B(x*, t) = f(x*) + t g ( x*) = i =1 i 33 (2.3) Khi t 0+ x*(t) dần tới điểm cực tiểu (x), tức tới tâm giải tích hệ bất đẳng thức gi(x) với i = 1, , m Dễ thấy điều kiện (2.3) điều kiện cần đủ để x* điểm cực tiểu (trên toàn |Rn) hàm m L(x, *) = f(x) + i g i ( x ) , * i =1 *i = t Nhng L(x, ) hàm Lagrange toán (P) g i ( x*) * = *(t) lời giải chấp nhận đợc toán đối ngẫu (Q) Tập { *(t) : t > 0} gọi đờng trung tâm đối ngẫu Ký hiệu f* giá trị tối u toán (P) ta có m * f* inf {f(x) + i g i ( x ) } x i =1 m = f(x*) + i g i ( x*) = f(x*) m/ t * i =1 Nh vậy, điểm x*(t) đờng trung tâm gốc cho ta điểm *(t) đờng trung tâm đối ngẫu, với cận dới cho giá trị tối u f(x*(t)) f* f(x*(t)) m/ t Bất đẳng thức chứng tỏ t 0+ f(x*(t)) f* x*(t) dần tới lời giải tối u toán (P) 34 Mệnh đề 2.2 Với t > 0, x*(t) lời giải tối u (P) sai khác số mt > 0, nghĩa f(x*(t)) mt f* Hơn nữa, f(x*(t)) f*, giá trị tối u (P), t 0+ Chứng minh Do *(t) thoả mãn ràng buộc toán đối ngẫu (Q) nên ta có hệ thức đối ngẫu yếu d( *(t)) f* Mặt khác, cách lần lợt sử dụng định nghĩa hàm đối ngẫu, phơng trình đầu (2.2) hệ thức (2.1) ta nhận đợc: d(*(t)) = inf L(x, *(t)) = L(x*(t), *(t)) = x m = f(x*(t)) + i ( t ) gi(x*(t)) = f(x*(t)) mt i =1 Vì thế, f(x*(t)) mt = d(*(t)) f*, nghĩa x*(t) lời giải tối u (P) với độ sai khác mt > Hơn nữa, cho t 0+ f(x*(t)) f* mt ta có f(x*(t)) f* Từ kết ta suy phơng pháp sau để giải toán (P), gọi phơng pháp SUMT (Sequential Unconstrained Minimization Technique - kỹ thuật liên tiếp cực tiểu không ràng buộc) Thuật toán dạng phơng pháp bám đờng (path-following method) phơng pháp điểm đơn giản, tự nhiên nhất: 35 Thuật toán liên tiếp tìm cực tiểu không ràng buộc (SUMT) Bớc Cho điểm chấp nhận đợc chặt x C0, trị t = t0 > Cho hệ số < c < 1, > Bớc Xuất phát từ điểm x, tìm cực tiểu hàm f(x) + t (x) nhận đợc lời giải x*(t) Đặt x := x*(t) Bớc Nếu m.t (sai số cho phép) dừng thuật toán: x lời giải - tối u Nếu trái lại đặt t := ct (giảm t c < 1) lặp lại Bớc Các toán không ràng buộc thờng đợc giải cách sử dụng phơng pháp Newton Ta nhận xét tất điểm thuật toán SUMT tạo đờng trung tâm Thờng c đợc chọn từ 0,1 đến 0,001 Nếu giá trị c không nhỏ (ví dụ, c = 0,1) cần vài bớc lặp Newton nhận đợc x*(t), t = ct Tuy nhiên, cần giải nhiều toán phụ không ràng buộc để đạt tới x*, lời giải tối u (nghiệm) toán (P) Mặt khác, giá trị c nhỏ (ví dụ, c = 0,001) cần thực nhiều bớc lặp Newton để nhận đợc x*(t), nhng lại cần giải vài toán phụ không ràng buộc để đạt đợc nghiệm x* Để thực thuật toán cần giải hai vấn đề: Tính x*(t) đờng trung tâm; Xác định hệ số c, nhân với t để dùng bớc lặp sau; 36 Đối với phần lớn toán qui hoạch lồi, vấn đề giải thoả đáng Dĩ nhiên cách đơn giản cần bớc lặp từ đầu lấy t = /m giải toán không ràng buộc: m {f(x) log(g i ( x )) : x |Rn} m i=1 Tuy nhiên cách đơn giản tốt toán cỡ nhỏ, có điểm xuất phát tốt sai số cho phép không nhỏ Còn nói chung hội tụ chậm không thành công khó khăn khác Trong thực tế, tốt nên dùng nhiều lần lặp, giải dãy toán không ràng buộc với trị số t giảm dần Sự hội tụ thuật toán đợc bảo đảm hàm chắn thoả mãn số điều kiện định Hơn nữa, Nesterov Nemirovsky chứng minh phơng pháp hàm chắn lôga cho toán qui hoạch tuyến tính qui hoạch lồi toàn phơng với ràng buộc lồi toàn phơng có độ phức tạp tính toán đa thức Định lý 2.1 Phơng pháp giải nêu có tính chất sau đây: a) B(x, t) f(x) với t > 0, x C; b) gi(xk) < 0, i = 1, , m; c) {B(xk, tk)} hội tụ tới giá trị tối u (P) {tk} dần tới Chứng minh Tính chất a) hiển nhiên Để thấy rõ tính chất b), theo định nghĩa hàm B, ta cần để ý g i(xk) = B(xk, tk) có giá trị hữu hạn 37 Để chứng minh tính chất c), giả sử x* lời giải tối u (P) Ta chứng minh B(xk, tk) f(x*) tk Thật vậy, theo định nghĩa hàm B, {tk} dãy giảm {B(xk, tk)} dãy giảm Do dãy sau bị chặn dới (tính chất a), nên hội tụ tới số đó, chẳng hạn B0 f(x*) Nếu B0 > f(x*) hàm f, gi (i = 1, , m) liên tục nên ta chọn điểm chấp nhận đợc x0 thoả mãn hệ thức: f(x0) < f(x*) + /2, = B0 f(x*), gi(x0) < 0, i = 1, , m Lấy k đủ lớn cho m k tk log(g i ( x )) < /2 i =1 Khi ta có m k B0 B(xk, tk) B(x0, tk) = f(x0) tk log(g i ( x )) < i =1 < f(x0) + /2 f(x*) + = f(x*) + B0 f(x*) = B0 điều xẩy Mâu thuẫn kết thúc chứng minh định lý 2.5 ma trận Hessian hàm chắn Khó khăn gặp phải sử dụng phơng pháp hàm chắn toán không ràng buộc: {f + t} ngày trở nên khó giải tham số chắn t tiến dần 38 tới Lý số điều kiện ma trận Hessian hàm mục tiêu f + t điểm cực tiểu ngày lớn nh minh hoạ ví dụ sau Ví dụ 2.4 Xét toán: (P) {f(x) = x 12 + x 22 : x1 0, x2 + 0} Dễ thấy x* = (1, 0)T * = (2, 0)T Hàm mục tiêu chắn B(x, t) = x 12 + x 22 - t.log(x1 1) t.log(x2 + 1) Hàm lồi Thật vậy, véctơ građiên ma trận Hesian có dạng t 2x1 x 1 2B(x, t) = B(x, t) = t 2x x + t + ( x1 1) t 2+ ( x + 1) Do t > nên ma trận Hessian 2B(x, t) xác định dơng miền xác định B(., t) Khi điểm cực tiểu nghiệm hệ phơng trình: 2x1 - t = 0, x1 2x2 - t = 0, x2 +1 x1 > 1, x2 > - 1, nghĩa x1(t) = (1/2)( + + 2t ), 39 x2(t) = (1/2)(- + + 2t ) Khi t 0+ ta có x1(t) 1, x2(t) 0, nghĩa (x1(t), x2(t)) hội tụ tới nghiệm x* toán (P) Bây để tính số điều kiện 2B(x, t) trớc hết ta nhận xét t 2t = ( x ( t ) 1) + + 2t x1 ( t ) x1(t) = (1/2)(- + + 2t ) Do lim t 2t = lim = lim + 2t = t (1 + t ) / t + + 2t nên ta có 2+ t + t ( x1 ( t ) 1) Mặt khác, x2(t) nên ta có t t ( x ( t ) + 1) Vì số điều kiện c(t) 2B(x(t), t) tiến vô t Sự kiện số điều kiện c(t) + bác bỏ việc sử dụng phơng pháp tìm cực tiểu không ràng buộc mà tốc độ hội tụ phụ thuộc vào số điều kiện ma trận Hessian lời giải (nghiệm) Đó lý phơng pháp kiểu Newton thờng phơng pháp đợc lựa chọn Tuy nhiên, áp dụng vào quy 40 hoạch tuyến tính có nghiệm phơng pháp hàm chắn không gây điều kiện xấu, nh đợc minh hoạ ví dụ sau Ví dụ 2.5 Xét toán {x1 + x2 : x1 0, x2 0} (P) Lời giải tối u x* = (0, 0)T véctơ nhân tử Lagrange * = (1, 1)T Hàm mục tiêu chắn có dạng B(x, t) = x1 + x2 t.logx1 t.logx2 Do t x1 2B(x, t) = B(x, t) = t x t x1 t x 22 nên ta có x1(t) = x2(t) = t điểm cực tiểu B(., t) số điều kiện 2B(x, t) 1! Đối với ràng buộc đẳng thức, hàm chắn không đợc xác định, phần miền chấp nhận trờng hợp rỗng Vì thế, toán có ràng buộc đẳng thức ràng buộc bất đẳng thức ta cần giữ lại ràng buộc đẳng thức toán phụ với hàm mục tiêu chắn Chẳng hạn, toán cần giải có dạng {f(x) : Ax = b, x 0} toán chắn phụ 41 n {f(x) t log x j : Ax = b, x > 0} j=1 Trờng hợp toán không lồi Trên ta xét trờng hợp toán lồi Ta nhận đợc kết tơng tự cho trờng hợp toán không lồi, nhng lân cận điểm cực tiểu địa phơng x* Chẳng hạn, định lý sau đợc chứng minh cho toán tối u: {f(x) : gi(x) 0, i = 1, 2, , m}, (P) f gi, i = 1, 2, , m, hàm hai lần khả vi liên tục Ta cần giả thiết phần miền ràng buộc toán khác rỗng Định lý 2.2 Cho x* điểm cực tiểu địa phơng toán (P) Giả sử x* điểm qui điều kiện đủ cấp hai đợc thoả mãn Khi đó: a) Tồn hàm x(t) khả vi liên tục xác định với t dơng đủ nhỏ điểm cực tiểu địa phơng hàm mục tiêu f(x) + t(x) lân cận điểm x* cho x(t) x* t b) i(t) = - t i , nhân tử Lagrange thứ i tơng ứng với x* g i ( x ( t )) c) 2x (f + t)(x) xác định dơng với t dơng đủ nhỏ 42 Tóm lại Chơng trình bày phơng pháp hàm chắn mà thực chất phơng pháp hàm phạt điểm cho phép đa việc giải toán tối u có ràng buộc dãy toán tối u không ràng buộc Hàm chắn hay đợc sử dụng hàm chắn lôga giá trị cực tiểu không ràng buộc hội tụ tới giá trị cực tiểu có ràng buộc toán ban đầu 43 [...]... nhận trong trờng hợp này bằng rỗng Vì thế, khi trong bài toán có cả ràng buộc đẳng thức và ràng buộc bất đẳng thức thì ta cần giữ lại ràng buộc đẳng thức ở các bài toán phụ với hàm mục tiêu chắn Chẳng hạn, nếu bài toán cần giải có dạng min {f(x) : Ax = b, x 0} thì các bài toán chắn phụ là 41 n min {f(x) t log x j : Ax = b, x > 0} j=1 Trờng hợp bài toán không lồi Trên đây ta đã xét trờng hợp bài toán. .. với t dơng đủ nhỏ 42 Tóm lại Chơng này đã trình bày phơng pháp hàm chắn mà thực chất là phơng pháp hàm phạt điểm trong cho phép đa việc giải bài toán tối u có ràng buộc về một dãy bài toán tối u không ràng buộc Hàm chắn hay đợc sử dụng là hàm chắn lôga và giá trị cực tiểu không ràng buộc sẽ hội tụ tới giá trị cực tiểu có ràng buộc của bài toán ban đầu 43 ... chung nó hội tụ chậm và có thể không thành công do những khó khăn này khác Trong thực tế, tốt hơn nên dùng nhiều lần lặp, giải một dãy bài toán không ràng buộc với trị số t giảm dần Sự hội tụ của thuật toán sẽ đợc bảo đảm nếu hàm chắn thoả mãn một số điều kiện nhất định Hơn nữa, Nesterov và Nemirovsky đã chứng minh rằng phơng pháp hàm chắn lôga cho các bài toán qui hoạch tuyến tính và qui hoạch lồi toàn... c, nhân với t để dùng trong bớc lặp sau; 36 Đối với phần lớn các bài toán qui hoạch lồi, các vấn đề trên có thể giải quyết thoả đáng Dĩ nhiên cách đơn giản nhất chỉ cần một bớc lặp là ngay từ đầu lấy t = /m và giải bài toán không ràng buộc: m min {f(x) log(g i ( x )) : x |Rn} m i=1 Tuy nhiên cách đơn giản này chỉ tốt đối với các bài toán cỡ nhỏ, khi có điểm xuất phát tốt và sai số cho phép không... cũng có thể nhận đợc các kết quả tơng tự cho trờng hợp bài toán không lồi, nhng chỉ ở lân cận của điểm cực tiểu địa phơng x* Chẳng hạn, định lý sau đây đã đợc chứng minh cho bài toán tối u: min {f(x) : gi(x) 0, i = 1, 2, , m}, (P) trong đó f và gi, i = 1, 2, , m, là các hàm hai lần khả vi liên tục Ta cũng cần giả thiết phần trong của miền ràng buộc của bài toán là khác rỗng Định lý 2.2 Cho x* là một... này kết thúc chứng minh định lý 2.5 ma trận Hessian của hàm chắn Khó khăn gặp phải khi sử dụng phơng pháp hàm chắn là các bài toán không ràng buộc: min {f + t} ngày càng trở nên khó giải khi tham số chắn t tiến dần 38 tới 0 Lý do là vì chỉ số điều kiện của ma trận Hessian của hàm mục tiêu f + t tại điểm cực tiểu ngày càng lớn nh minh hoạ ở ví dụ sau Ví dụ 2.4 Xét bài toán: (P) min {f(x) = x 12 + x... Cho các hệ số 0 < c < 1, > 0 Bớc 1 Xuất phát từ điểm x, tìm cực tiểu của hàm f(x) + t (x) và nhận đợc lời giải x*(t) Đặt x := x*(t) Bớc 2 Nếu m.t (sai số cho phép) thì dừng thuật toán: x là một lời giải - tối u Nếu trái lại thì đặt t := ct (giảm t do c < 1) và lặp lại Bớc 1 Các bài toán không ràng buộc thờng đợc giải bằng cách sử dụng phơng pháp Newton Ta nhận xét là tất cả các điểm do thuật toán. .. dụng phơng pháp tìm cực tiểu không ràng buộc mà tốc độ hội tụ của nó phụ thuộc vào chỉ số điều kiện của ma trận Hessian tại lời giải (nghiệm) Đó là lý do tại sao các phơng pháp kiểu Newton thờng là phơng pháp đợc lựa chọn Tuy nhiên, khi áp dụng vào quy 40 hoạch tuyến tính có duy nhất nghiệm thì phơng pháp hàm chắn không gây ra điều kiện xấu, nh đợc minh hoạ ở ví dụ sau Ví dụ 2.5 Xét bài toán min {x1... điều kiện (2.3 ) cũng là điều kiện cần và đủ để x* là điểm cực tiểu (trên toàn |Rn) của hàm m L(x, *) = f(x) + i g i ( x ) , * i =1 trong đó *i = t 0 Nhng L(x, ) chính là hàm Lagrange của bài toán (P) g i ( x*) và * = *(t) là một lời giải chấp nhận đợc của bài toán đối ngẫu (Q) Tập { *(t) : t > 0} gọi là đờng trung tâm đối ngẫu Ký hiệu f* là giá trị tối u của bài toán (P) ta có m * f* inf {f(x) +... f(x*(t)) f* Từ những kết quả trên ta suy ra phơng pháp sau đây để giải bài toán (P), gọi là phơng pháp SUMT (Sequential Unconstrained Minimization Technique - kỹ thuật liên tiếp cực tiểu không ràng buộc) Thuật toán này là một dạng của phơng pháp bám đờng (path-following method) và là một trong các phơng pháp điểm trong đơn giản, tự nhiên nhất: 35 Thuật toán liên tiếp tìm cực tiểu không ràng buộc (SUMT)