Phương pháp chiếu giải bài toán tối ưu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC BÙI THỊ NGHĨA PHƯƠNG PHÁP CHIẾU GIẢI BÀI TOÁN TỐI ƯU LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN – 2015 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC BÙI THỊ NGHĨA PHƯƠNG PHÁP CHIẾU GIẢI BÀI TOÁN TỐI ƯU Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: GS TSKH LÊ DŨNG MƯU THÁI NGUYÊN – 2015 i Mục lục Mở đầu Chương Bài toán tối ưu 1.1 Kiến thức chuẩn bị 1.2 Phát biểu toán tối ưu 1.3 Một số ví dụ điển hình toán tối ưu 1.3.1 Bài tốn thể tích lớn 1.3.2 Bài toán lập kế hoạch sản xuất 1.3.3 Bài toán định vị 1.3.4 Bài toán phân việc 6 8 1.4 Sự tồn nghiệm tối ưu 1.5 Điều kiện tối ưu 1.5.1 Tối ưu không ràng buộc 1.5.2 Tối ưu có ràng buộc 1.5.3 Điều kiện tối ưu Kuhn - Tucker 14 15 18 20 Chương Phương pháp chiếu giải toán tối ưu 23 2.1 Toán tử chiếu lên tập lồi đóng 23 2.2 Một thuật toán chiếu giải toán tối ưu lồi 2.2.1 Thuật toán chiếu đạo hàm 2.2.2 Thuật toán hàm phạt điểm 27 27 32 Tài liệu tham khảo 37 Mở đầu Toán học nảy sinh từ thực tiễn ứng dụng rộng rãi thực tế Lí thuyết tối ưu ngành toán học ứng dụng nhiều lĩnh vực khoa học tự nhiên, xã hội, cơng nghệ, kinh tế Bài tốn tối ưu đóng vai trị quan trọng lý thuyết tối ưu, có hai yếu tố quan trọng toán tối ưu tập chấp nhận (tập ràng buộc) hàm mục tiêu xác định tập Để chứng minh tồn nghiệm xây dựng phương pháp giải, người ta thường phân loại toán theo cấu trúc tập chấp nhận tính chất hàm mục tiêu Mục đích luận văn tổng hợp lại kiến thức toán tối ưu Đặc biệt luận văn sâu trình bày thuật tốn chiếu giải tốn tối ưu khơng địi hỏi tính khả vi hàm mục tiêu Luận văn chia làm chương Chương 1: Bài toán tối ưu Chương trình bày số kiến thức giải tích lồi, phát biểu tốn tối ưu, số ví dụ điển hình tốn tối ưu, tồn nghiệm điều kiên tối ưu Chương 2: Phương pháp chiếu giải toán tối ưu Chương trình bày chi tiết tốn tử chiếu lên tập lồi đóng tính chất tốn tử chiếu Thuật toán chiếu để giải toán tối ưu lồi đợc giới thiệu thuật toán chiếu đạo hàm Cuối chương thuật toán hàm phạt điểm kỹ thuật cho phép đưa việc giải tốn tối ưu có ràng buộc việc giải tốn khơng có ràng buộc qua cho phép tránh phải tính hình chiếu nhiều trường hợp tính hình chiếu khó, trí khơng thực Nhân dịp này, xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Lê Dũng Mưu, người thầy tận tâm, nhiệt tình hướng dẫn, cung cấp tài liệu, truyền đạt cho kiến thức q trình học tập ln giúp đỡ, động viên tơi hồn thành luận văn Tơi xin trân trọng cảm ơn ban giám hiệu, phòng Đào Tạo, Khoa Toán Tin trường Đại học Khoa học, Đại học Thái Nguyên thầy, cô giáo tham gia giảng dạy cao học khóa 2013 - 2015 quan tâm giúp đỡ tơi suốt q trình học tập trường Tôi xin cảm ơn trường THPT Hùng An, Bắc Quang, Hà Giang gia đình tạo điều kiện tốt cho việc học tập Cảm ơn bạn bè đồng nghiệp hỗ trợ việc hoàn thành luận văn Thái Nguyên, tháng 05 năm 2015 Học viên Bùi Thị Nghĩa Chương Bài tốn tối ưu Chương trình bày số kiến thức giải tích lồi, giới thiệu tốn tối ưu số ví dụ điển hình tốn tối ưu Tiếp đến trình bày tồn nghiệm tối ưu, điều kiện tối ưu tối ưu khơng ràng buộc, tối ưu có ràng buộc điều kiện tối ưu Kuhn - Tucker Nội dung chương trích dẫn chủ yếu từ tài liệu tham khảo [1]; [2]; [3] [4] 1.1 Kiến thức chuẩn bị Để thuận tiện cho người đọc, phần ta xét số khái niệm kết sử dụng phần Cho hai điểm a, b ∈ Rn Tập tất điểm: x = (1 − λ)a + λb với ≤ λ ≤ 1, gọi đoạn thẳng nối a b, kí hiệu [a, b] Định nghĩa 1.1 Tập C ⊂ Rn gọi tập lồi chứa đoạn thẳng nối hai điểm thuộc nó, nói cách khác (1 − λ)a + λb, ∀a, b ∈ C, ≤ λ ≤ Định nghĩa 1.2 Cho f : Rd → R ∪ {+∞} hàm lồi Một véc tơ v gọi đạo hàm hàm f x với y ∈ Rd ta có v, y − x ≤ f (x) − f (y) Tập đạo hàm hàm f gọi khả vi phân hàm f x, kí hiệu ∂f (x) Hàm f gọi khả vi phân x ∂f (x) = Hàm f gọi khả vi phân khả vi phân x ∈ domf , domf = {x ∈ Rd : f (x) < +∞} Định lí 1.1 (Moreau - Rockafellar) Cho f1 , f2 , , fn : X → R ∪ {∞} hàm lồi, C = Domfi , i = 1, n thì: ∂f1 (x) + ∂f2 (x) + + ∂f1 (x) ⊂ ∂(f1 + f2 + + fn )(x), ∀x ∈ X Giả sử C họ tập lồi X , X chứa điểm hàm fi , giả sử x∗ liên tục C thì: ∂(f1 + f2 + + fn )(x) = ∂f1 (x) + ∂f2 (x) + + ∂f1 (x), ∀x ∈ X Định nghĩa 1.3 Cho f : Rn −→ R ∪ +∞ ta nói hàm f lồi tập C ∀x, y ∈ C, ∀λ ∈ [0, 1]: f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y)(bất đẳng thức Jensen) Định nghĩa 1.4 Hàm f : C → R gọi hàm nửa liên tục điểm x ∈ C với ε > có δ > cho f (x) − ε ≤ f (x) với x thuộc C, x − x ≤ δ Hàm f gọi nửa liên tục C f nửa liên tục điểm x ∈ C Định nghĩa tương đương với limx∈C,x→x f (x) ≥ f (x) Định nghĩa 1.5 Hàm f : C → R gọi hàm nửa liên tục điểm x ∈ C với ε > có δ > cho f (x) ≤ f (x) + ε với x thuộc C, x − x ≤ δ Hàm f gọi nửa liên tục trên C f nửa liên tục điểm x ∈ C Định nghĩa tương đương với limx∈C,x→x f (x) ≤ f (x) Định nghĩa 1.6 Hàm f gọi liên tục vừa nửa liên tục vừa nửa liên tục Bổ đề 1.1 Giả sử {ξk } dãy số dương thỏa mãn ξk+1 ≤ ξk + βk ∀k ∈ N, βk ≥ ∞ k=0 βk < +∞ Thì dãy {ξk } chuỗi hội tụ 1.2 Phát biểu toán tối ưu Trong không gian véc tơ Rn , cho C ⊆ Rn tập khác rỗng hàm số thực f : C → R tùy ý Bài toán tối ưu có dạng min{f (x) : x ∈ C} (P) tốn tìm véc tơ (điểm) x∗ ∈ C cho f (x∗ ) ≤ f (x) với x ∈ C Hàm f gọi hàm mục tiêu hay hàm chi phí, tập C gọi tập ràng buộc hay miền chấp nhận Một véc tơ (điểm) x ∈ C gọi phương án (lời giải hay nghiệm) chấp nhận Véc tơ x∗ ∈ C cho f (x∗ ) ≤ f (x) với x ∈ C gọi phương án (lời giải hay nghiệm) tối ưu toán f (x∗ ) gọi giá trị cực tiểu hay giá trị tối ưu f C , thường kí hiệu fmin Trường hợp C = Rn ta có tốn tối ưu khơng ràng buộc: min{f (x) : x ∈ Rn } hay minn f (x) x∈R Trái lại (P ) tốn tối ưu có ràng buộc Thông thường tập C cho C = {x ∈ Rn : gi (x) ≤ 0, i = 1, , m, hj (x) = 0, j = 1, 2, , p}, (1.1) với gi , hj : Rn → R hàm số cho trước, gọi hàm ràng buộc, tốn (P ) viết dạng (gọi toán dạng chuẩn): f (x) → với điều kiện: gi (x) ≤ 0, i = 1, , m, (1.2) hj (x) = 0, j = 1, 2, , p (1.3) Các hệ thức gi ≤ gọi ràng buộc bất đẳng thức, hệ thức hi = gọi ràng buộc đẳng thức Ràng buộc bất đẳng thức dạng xj ≥ (−xj ≤ 0) gọi ràng buộc không âm hay ràng buộc dấu Nhận xét 1.1 Ràng buộc bất đẳng thức biến đổi thành ràng buộc đẳng thức ngược lại Thật vậy, ràng buộc (1.2) biểu diễn nhờ hệ thức gi (x) + yi = 0, i = 1, , m, với yi số thực, gọi biến bù Ngược lại ràng buộc đẳng thức (1.3) tương đương với hai ràng buộc bất đẳng thức: hj (x) ≤ 0, −hj (x) ≤ 0, j = 1, 2, , p Với nhận xét vừa nêu khơng giảm tính tổng qt đơi ta xét toán tối ưu với ràng buộc đẳng thức với ràng buộc bất đẳng thức Nhận xét 1.2 Do min{f (x) : x ∈ C} = −max{−f (x) : x ∈ C} nên toán cực tiểu đưa toán cực đại ngược lại Nếu f (x∗ ) ≥ f (x) với x ∈ C f (x∗ ) giá trị cực đại hàm f C thường kí hiệu fmax 1.3 Một số ví dụ điển hình tốn tối ưu Trước hết ta nêu số ví dụ quen thuộc nhiều giáo trình tốn tối ưu 1.3.1 Bài tốn thể tích lớn Tìm cách dựng hộp bìa tơng tích lớn với điều kiện diện tích tồn phần hộp số c (cho trước)? Kí hiệu kích thước hộp x, y, z Bài tốn diễn đạt thành V (x, y, z) = xyz → max với điều kiện 2(xy + yz + zx) = c, x ≥ 0, y ≥ 0, z ≥ 1.3.2 Bài toán lập kế hoạch sản xuất Ví dụ 1.1 Có loại sản phẩm chế tạo từ m loại vật liệu khác Hàm sản xuất f (x1 , x2 , , xm ) cho biết số lượng sản phẩm sản xuất sử dụng kết hợp xj đơn vị vật liệu j, j = 1, 2, , m Giá đơn vị sản phẩm q giá trị đơn vị loại vật liệu p1 , p2 , , pm Để đạt lợi nhuận tối đa, nhà sản xuất cần giải toán tối ưu không ràng buộc: qf (x1 , x2 , , xm ) − (p1 x1 + p2 x2 + + pm xm ) → max Ví dụ 1.2 Một sở sản xuất dự định sản xuất hai loại sản phẩm A B Các sản phẩm chế tạo từ ba loại nguyên liệu I, II, III Số lượng đơn vị dự trữ loại nguyên liệu số lượng đơn vị từ loại nguyên liệu cần dùng để sản xuất đơn vị sản phẩm loại cho bảng đây: Hãy lập kế hoạch sản xuất, tức tính xem cần sản xuất bao Loại nguyên liệu I II III Nguyên liệu dự trữ 18 30 25 Số lượng đơn vị nguyên liệu cần dùng cho việc sản xuất đơn vị sản phẩm A B nhiêu đơn vị sản phẩm loại để tiền lãi thu lớn nhất, biết bán đơn vị sản phẩm A thu lãi trăm ngàn đồng, bán đơn vị sản phẩm B thu lãi trăm ngàn đồng Ta xây dựng mơ hình tốn học cho tốn trên: Gọi x y theo thứ tự số lượng đơn vị sản phẩm A B cần sản xuất theo kế hoạch Khi tiền lãi thu là: z = 3x + 2y Do nguyên liệu dự trữ có hạn nên x y phải chịu ràng buộc đó, cụ thể là: 2x + 3y ≤ 18 (ràng buộc nguyên liệu I); 5x + 4y ≤ 30 (ràng buộc nguyên liệu II); x + 6y ≤ 25 (ràng buộc nguyên liệu III) Ngoài ràng buộc tự nhiên x ≥ 0, y ≥ số đơn vị sản phẩm khơng thể âm Bằng ngơn ngữ tốn học, tốn phát biểu sau: Tìm x y cho biểu thức z = 3x + 2y đạt giá trị lớn với ràng buộc:  2x + 3y ≤ 18;    5x + 4y ≤ 30; x + 6y ≤ 25;    x ≥ 0, y ≥ 23 Chương Phương pháp chiếu giải toán tối ưu Trong chương ta nêu khái niệm toán tử chiếu lên tập lồi đóng, tiếp đến khảo sát số tính chất tốn tử chiếu, sử dụng toán tử chiếu chứng minh tồn nghiệm vai trị tốn tử chiếu thuật toán chiếu đạo hàm Cuối chương thuật toán hàm phạt điểm giải toán tối ưu Đây kỹ thuật để chuyển việc giải tốn có ràng buộc việc giải tốn khơng ràng buộc, tránh việc tính hình chiếu Trong nhiều trường hợp, tính hình chiếu vấn đề khó khăn, chí khơng thực Nội dung chương trích dẫn chủ yếu từ tài liệu tham khảo [1]; [2]; [4]; [5] [6] 2.1 Toán tử chiếu lên tập lồi đóng Định nghĩa 2.1 Cho C tập lồi đóng C = φ, với y ∈ Rn ta đặt: dC (y) := inf y − x x∈C Ta nói dC (y) khoảng cách từ y đến C Nếu tồn điểm π ∈ C cho dC (y) = x − y , ta nói π hình chiếu (vng góc) y lên tập C Ta kí hiệu π = PC (y) đơn giản π = P (y) không cần nhấn mạnh đến tập chiếu C Theo định nghĩa, ta thấy hình chiếu Pc (y) y C nghiệm toán tối ưu min{ x − y |x ∈ C} 24 Nói cách khác việc tìm hình chiếu y C đưa việc tìm cực tiểu hàm toàn phương x − y C Chú ý rằng, C = φ, dC (y) hữu hạn ≤ dC (y) ≤ y − x với x ∈ C Định lý sau cho thấy C tập lồi đóng hình chiếu P (y) ln tồn (∀y ∈ Rn ) Định lí 2.1 Cho C ⊂ Rn tập lồi đóng khác rỗng y ∈ Rn điểm Khi tồn điểm π ∈ C hình chiếu y C Chứng minh Nếu y ∈ C rõ ràng: P (y) = y, dC (y) = Giả sử y ∈ / C Do dC (y) = inf x∈C x−y nên theo định nghĩa infimum tìm dãy {xk } ⊂ C cho lim xk − y = dC (y) k→∞ Vì {xk } bị chặn nên tồn dãy {xkq } hội tụ đến phần tử π Do C đóng nên π ∈ C Vì ta có: π − y = lim xkq − y = lim xk − y = dC (y) q→∞ k→∞ Điều cho thấy π hình chiếu y C , tức π = P (y) Để chứng minh tính ta giả sử có hai điểm x1 ∈ C, x2 ∈ C, x1 = x2 cho: x1 − y = x2 − y = dC (y) Vì tập C lồi nên điểm z = (x1 + x2 ) ∈ C Theo định lý Pitago ta có z−y < 1 x −y 2 + x −y Suy z − y < dC (y), trái với định nghĩa dC (y) = [dC (y)]2 25 Tính chất 2.1 Cho C tập lồi đóng khác rỗng Khi (i) Với y ∈ Rn , π ∈ C hai tính chất sau tương đương: a) π = Pc (y) b) y − π ∈ NC (π) (ii) Nếu y ∈ / C , Pc (y) − y, x − Pc (y) = siêu phẳng tựa C Pc (y) tách hẳn y khỏi C , tức Pc (y) − y, x − Pc (y) ≥ 0, ∀x ∈ C Pc (y) − y, y − Pc (y) < (iii) Ánh xạ y → Pc (y) có tính chất sau a) Pc (x) − Pc (y) ≤ x − y ; ∀x, ∀y (tính khơng giãn) b) Pc (x) − Pc (y), x − y ≥ Pc (x) − Pc (y) (tính đồng bức) Chứng minh (i) Giả sử có a) Lấy x ∈ (C) λ ∈ (0, 1) Đặt xλ = λx + (1 − λ)π Do x, π ∈ C C lồi, nên xλ ∈ C Hơn π hình chiếu y , nên π − y ≤ y − xλ Hay π−y ≤ λ(x − π) + (π − y) Khai triển vế phải, ước lược chia hai vế cho λ > 0, ta có λ x−π + x − π, π − y ≥ Điều với x ∈ C λ ∈ (0, 1) Do cho λ tiến tới 0, ta π − y, x − π ≥ 0, ∀x ∈ C Vậy y − π ∈ Nc (π) 26 Bây giả sử có b) Với x ∈ C , có ≥ (y − π)T (x − π) = (y − π)T (x − y + y − π) = π−y + (y − π)T (x − y) Dùng bất đẳng thức Cauchy-Schwarz ta có: y−π ≤ (y − π)T (y − x) ≤ y − π y−x Suy y − π ≤ y − x , ∀x ∈ C π = P (y) (ii) Do y − π ∈ NC (π), nên π − y, x − π ≥ 0, ∀x ∈ C Vậy π − y, x = π − y, π siêu phẳng tựa C π Siêu phẳng tách y khỏi C y khác π , nên π − y, y − π = − π − y < (iii) Theo định lí (3.1) ánh xạ x → P (x) xác định khắp nơi Do z − P (z) ∈ NC (P (z)) với z , nên áp dụng với z = x z = y , ta có: x − P (x), P (y) − P (x) ≤ y − P (y), P (x) − P (y) ≤ Cộng hai bất đẳng thức lại P (y) − P (x), P (y) − P (x) + x − y ≤ Từ theo bất đẳng thức Cauchy-Schwarz, suy P (x) − P (y) ≤ x − y Để chứng minh tính đồng bức, áp dụng tính chất b) (i), với P (x) P (y), ta có: P (x) − x, P (x) − P (y) ≤ 27 y − P (y), P (x) − P (y) ≤ Cộng hai bất đẳng thức ta P (x) − P (y) + y − x, P (x) − P (y) = P (x) − P (y), y − x + P (x) − P (y) ≤ Chuyển vế ta có P (x) − P (y), y − x ≥ P (x) − P (y) Đây tính đồng cần chứng minh 2.2 Một thuật toán chiếu giải toán tối ưu lồi 2.2.1 Thuật toán chiếu đạo hàm Xét tốn lồi khơng ràng buộc (P): min{f (x) : x ∈ C} Bước chuẩn bị Chọn chuỗi ∞ j=1 βj với βj > cho: ∞ ∞ βj2 < +∞ βj = +∞, j=1 j=1 Chọn x1 ∈ C điểm xuất phát Bước lặp k Bắt đầu vào bước lặp, ta có xk ∈ C Tính g k ∈ ∂f (xk ) a) Nếu g k = dừng thuật tốn xk nghiệm tối ưu (P) b) Nếu g k = 0, tính xk+1 = PC xk − αk g k (P) 28 βk γk := max{1, g k } γk k+1 • Nếu x = xk thuật tốn dừng, xk nghiệm tối ưu tốn (P ) • Trái lại, cho k ← k + lặp lại bước lặp k với k := k + với αk := Định lí 2.2 (i) Nếu thuật tốn dừng lại bước lặp k xk nghiệm tối ưu toán (P ) (ii) Nếu thuật toán kéo dài vơ hạn, xk hội tụ đến nghiệm x∗ toán (P ), nghĩa k→∞ xk − x∗ −→ Chứng minh (i) Nếu thuật tốn dừng bước lặp thứ k g k = xk = PC (xk − αk g k ) Trường hợp g k = ∈ ∂f (xk ), theo định nghĩa đạo hàm, ta có: 0, x − xk + f (xk ) ≤ f (x) ≤ 0, ∀x ∈ C Do f (xk ) ≤ f (x) ∀x ∈ C, (2.1) tức xk nghiệm tối ưu toán (P ) Trường hợp xk = xk+1 = PC (xk − αk g k ) Sau sử dụng tính chất phép chiếu metric, ta có: (xk − αk g k ) − xk , x − xk ≤ ⇔ −αk g k , x − xk ≤ ⇔ g k , x − xk ≥ (2.2) Do g k ∈ ∂f (xk ), ta có g k , x − xk + f (xk ) ≤ f (x) Kết hợp với bất đẳng thức (2.2), cho f (xk ) ≤ f (x) với x ∈ C Khi xk nghiệm tối ưu toán (P ) 29 (ii) Ta giả sử thuật tốn khơng dừng Cho x∗ nghiệm toán (P ) Khẳng định (ii) chứng minh dựa vào bổ đề Bổ đề 2.1 Ta có: xk+1 − xk ≤ βk , ∀k ∈ N Chứng minh Theo định nghĩa αk ta có: αk g k = βk g k ≤ βk max{1, g k } Khi xk+1 = PC (xk − αk g k ), sử dụng lại tính chất phép chiếu metric, ta có: xk − αk g k − xk+1 , x − xk+1 ≤ 0, ∀x ∈ C (2.3) Thay x xk : xk − xk+1 ≤ αk g k , xk − xk+1 ≤ αk g k xk − xk+1 (2.4) ≤ βk xk − xk+1 , Suy xk − xk+1 ≤ βk Bổ đề 2.2 Dãy xk − x∗ hội tụ với k Chứng minh xk − x∗ = xk+1 − xk − xk − xk+1 , x∗ − xk+1 + xk+1 − x∗ = xk − x∗ − xk+1 − xk Do xk+1 − x∗ 2 + xk − xk+1 , x∗ − xk+1 (2.5) Chú ý từ (2.4) ta có αk − g k , xk − xk+1 ≤ βk xk − xk+1 ≤ βk2 (2.6) 30 Từ (2.5) (2.6), có: xk+1 + x∗ ≤ xk + x∗ − xk+1 + xk + αk g k , x∗ − xk+1 ≤ xk + x∗ + αk g k , x∗ − xk+1 = xk + x∗ + αk g k , x∗ − xk + αk g k , xk − xk+1 ≤ xk + x∗ + 2αk g k , x∗ − xk + 2βk2 (2.7) Từ g k ∈ ∂f (xk ) ta có: g k , x∗ − xk ≤ f (x∗ ) + f (xk ) (2.8) ≤ xk − x∗ (2.9) Thay (2.8) vào (2.7): xk+1 − x∗ 2 + 2αk (f (x∗ ) − f (xk )) + 2βk2 Khi x∗ nghiệm tối ưu, f (xk ) ≥ f (x∗ ) từ (2.9) ta có xk+1 − x∗ từ giả thiết ∞ k=0 βk ≤ xk − x∗ + 2βk2 , < +∞, theo bổ đề (1.1) dãy { xk −x∗ } hội tụ Bổ đề 2.3 Ta có: lim sup(f (xk )) = (2.10) k→+∞ Chứng minh Từ bổ đề (2.1), ta có: ≤ 2αk (f (xk ) − f (x∗ )) ≤ xk − x∗ + 2βk2 (2.11) Kết hợp hai trường hợp ta có: ∞ αk (f (xk , ) − f (x∗ )) 0≤2 k=0 m ≤ x −x ∗ − x m+1 −x ∗ βk2 +2 k=0 m ≤ x0 − x∗ βk2 +2 k=0 Cho m → +∞ ta có: +∞ m k 0≤2 ∗ ∗ αk (f (x ) − f (x )) ≤ x − x k=0 βk2 +2 k=0 (2.12) 31 Do m k=0 βk < +∞, ta có: +∞ αk (f (xk ) − f (x∗ ) < +∞ (2.13) k=0 αk = βk βk ≥ max{1, g k } L0 (2.14) kết hợp với (2.13): L0 Do +∞ +∞ ∗ k αk (f (xk ) − f (x∗ ) < +∞ βk (f (x ) − f (x ) ≤ k=0 +∞ k=0 βk (2.15) k=0 = +∞, suy ra: lim sup(f (xk ) − f (x∗ ) = k→+∞ (2.16) Bây ta sử dụng bổ đề vừa chứng minh, khẳng định (ii) định lý chứng minh Theo định nghĩa limsup, tồn dãy {xkj } dãy {xk } cho: lim (f (xkj ) − f (x∗ )) = lim sup(f (xk ) − f (x∗ )) = k→+∞ k→+∞ Do {xkj } bị chặn, ta giả sử rằng: lim xkj = x j→+∞ Khi f (x∗ ) − f (x) = lim (f (x∗ ) − f (xkj )) k→+∞ = − lim (f (xkj ) − f (x∗ )) k→+∞ = − lim sup(f (xk ) − f (x∗ )) k→+∞ = Vì x nghiệm tối ưu toán Nên dãy {xk − x hội tụ dãy {xkj } dãy {xk } hội tụ đến x, đó: lim xk = lim xkj = x k→+∞ k→+∞ 32 Như dãy {xk } phải hội tụ đến x Như thấy việc tính hình chiếu trường hợp tổng quát khó khăn, người ta sử dụng phương pháp hàm phạt để chuyển việc giải toán có ràng buộc việc giải tốn khơng có ràng buộc Khi ta khơng tính đến việc tính hình chiếu, phương pháp có hiệu phương pháp hàm phạt điểm 2.2.2 Thuật toán hàm phạt điểm Phương pháp thường sử dụng để biến đổi tốn có ràng buộc thành tốn khơng có ràng buộc cách sử dụng hàm phạt Xét toán: f∗ = min{f (x) : x ∈ X, gj (x) ≤ 0, j = 1, , m}, (P) X ⊆ Rn , f, gj (x) : Rn → R, (j = 1, m) Giả sử X đóng, khơng rỗng f, gj liên tục X Xét C = {x ∈ X : gj (x) ≤ 0, j = 1, , m}, tập chấp nhận giả sử tập ràng buộc C = {x ∈ X : gj (x) < 0, j = 1, , m}, Ta tìm điểm x0 ∈ C Hàm phạt (p) xây dựng sau (i) p liên tục C ; (ii) Với dãy {xk } ⊆ C hội tụ đến x ∈ / C ta có liminf p(xk ) = +∞ Ví dụ 2.1 m p(x) = − log(−gj (x)) j=1 Ta có p xác định C , hàm gj lồi p lồi chặt Với p > cố định, ta định nghĩa toán phạt: min{Ft (x) = f (x) + tp(x) : x ∈ C } (I) Định lí 2.3 (Định lý hội tụ) Giả sử (P ) giải Xét < tk → xk nghiệm (I) f (xk ) → f∗ điểm tụ dãy {xk } nghiệm tối ưu toán gốc (P ) 33 Chứng minh Vì xk nghiệm tối ưu (I) với k ta có f (xk ) + tk p(xk ) ≤ f (xk+1 ) + tk p(xk+1 ) f (xk+1 ) + tk+1 p(xk+1 ) ≤ f (xk ) + tk+1 p(xk ) Cộng hai bất đẳng thức ta thấy f (xk ) ≥ f (xk+1 ) với k Vậy limf (xk ) không tồn Ta xét hai trường hợp: Trường hợp Bài tốn (P ) có nghiệm x∗ ∈ C Vì xk nghiệm tối ưu (I) ta viết f (xk ) + tk p(xk ) ≤ f (x∗ ) + tk p(x∗ ) (2.17) Ta giả sử u∗ điểm tụ {xk } Giả sử xk → u∗ Nếu u∗ ∈ C lấy giới hạn (2.17), tk → 0, ta có f (u∗ ) ≤ f (u∗ ) Vậy u∗ nghiệm tối ưu (P ), tính đơn điệu {f (xk )} ta thấy tồn dãy {f (xk )} tiến f∗ Nếu u∗ ∈ C , xk → u∗ , từ (b) có số K1 cho {tk p(xk )} ≥ với k ≥ K1 Khi từ (2.17) ta có: f (xk ) ≤ f (x∗ ) + tk p(x∗ ), ∀k ≤ K1 Cho k → +∞, từ tk → 0, ta có limf (xk ) ≤ f (x∗ ) Nhưng xk ∈ C với k, f (xk ) ≥ f (x∗ ) Vậy limf (xk ) = f∗ Trường hợp Bài tốn (P ) khơng có nghiệm C Giả sử β := limf (xk ) Vì f (xk ) ≥ f∗ với k , ta có f∗ ≥ β Nếu f∗ < β Vì xk ∈ C tính liên tục f , phải tồn u ∈ C cho f∗ < f (u) < β (2.18) Thì f xk + tk p xk ≤ f (u) + tk p(u) 34 Theo chứng minh ta có f (xk ) ≤ f (u) + tk p(u), ∀k ≥ K1 Cho k → +∞ ta có β = limf (xk ) ≤ f (u) điều mâu thuẫn với (2.18) Vậy limf (xk ) = f ∗ Ví dụ 2.2 Tìm nghiệm tối ưu toán min{f (x, y) = x − 2y} Các điều kiện ràng buộc y − x − ≤ 0; y ≥ Giải Miền ràng buộc D = {(x, y) : y − x − ≤ 0; y ≥ 0} Ta có: g1 (x, y) = y − x − ≤ 0; g2 (x, y) = −y ≤ Đặt ∗ P0 (z) := −[ ln(−y + x + 1) + lny ], z = (x(t), y(t) Xét tốn phạt M in{F (z, t) = f (z) + tp0 (x, y) : z ∈ C } quy hoạch lồi Giả sử (x(t), y(t)) nghiệm tối ưu tốn Khi theo điều kiện cần đủ tối ưu, ta được: ∗ F (z, t) := f (z) + P0 (z) = (x − 2y) − t , ln(−y + x + 1) − t lny   ∂F (z, t) t t    =1− = = 1;   ∂x + x − y2 + x − y ⇔ t ∂F (z, t) t 2ty    −2 − + 2y = = −2 − + =  y ∂y y + x − y2 35 Ta có: −2 − t + 2y = ⇔ 2y − 2y − t = y √ + + 2t y(t) = > (thỏa mãn); √ ⇔ − + 2t y(t) =