thuật toán dca và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN VĂN HỒNG THUẬT TOÁN DCA VÀ ỨNG DỤNG Luận văn Thạc sỹ Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60. 46. 01. 12 Người hướng dẫn khoa học PGS. TS. PHẠM NGỌC ANH THÁI NGUYÊN - NĂM 2014 MỤC LỤC Mục lục 2 Lời cảm ơn 3 Bảng ký hiệu 4 Lời nói đầu 5 1. Một số khái niệm cơ bản 7 1.1. Tập lồi . . . . . . . . . . . . . . 7 1.1.1. Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.2. Phần trong tương đối và bao lồi đóng . . . . . . . . 9 1.1.3. Phương lùi xa và nón lùi xa . . . . . . . . . . . 10 1.2. Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . 11 1.2.1. Hàm lồi và hàm lõm. . . . . . . . . . . . . . . 11 1.2.2. Hàm lồi liên tục . . . . . . . . . . . . . . . . . . 12 1.2.3. Hàm lồi khả vi . . . . . . . . . . . . . . . . . 13 1.2.4. Dưới vi phân. . . . . . . . . . . . . . . . . . . . 15 1.3. Hàm D.C . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.1. Định nghĩa và tính chất của hàm D.C . . . . . . 16 1.3.2. Bài toán quy hoạch D.C . . . . . . . . . . . . 18 1.4. Bài toán đối ngẫu Lagrange . . . . . . . . . . . . 19 1.4.1. Điều kiện tối ưu trong bài toán lồi . . . . . . . 23 1.4.2. Định lý Karush-Kuhn-Tucker . . . . . . . . . 27 2. Thuật toán DCA 31 2.1. Bài toán D.C . . . . . . . . . . . . . 31 2 2.2. Thuật toán DCA . . . . . . . . . . . 36 2.3. Sự hội tụ của thuật toán DCA . . . . . . . . . . . 37 3. Ứng dụng thuật toán DCA 47 3.1. Điều kiện tối ưu hóa toàn bộ cho (P 1 ) và (P 2 ) . . . . . 47 3.2. Ứng dụng thuật toán DCA giải bài toán (P 1 ) . . . . 48 3.3. Tính hội tụ của DCA đến nghiệm cục bộ của bài toán (P 1 ) 51 3.4. Ứng dụng thuật toán DCA giải bài toán (P 2 ) . . . . . 54 Kết luận 56 Tài liệu tham khảo 57 Lời cảm ơn Luận văn này được hoàn thành tài trường Đại học Khoa học - Đại học Thái Nguyên. Tác giả xin bày tỏ lòng biết ơn sâu sắc đến PGS. TS. Phạm Ngọc Anh (Học viện Công nghệ Bưu chính Viễn thông), thầy đã trực tiếp hướng dẫn tận tình và động viên tác giả trong suốt thời gian viết luận văn vừa qua. Xin chân thành cảm ơn các thầy, cô giáo trong Ban chủ nhiệm khoa, các bạn học viên lớp cao học Toán K6B trường Đại học Khoa học - Đại học Thái Nguyên và các bạn đồng nghiệp đã tạo điều kiện thuận lợi, động viên tác giả trong quá trình học tập và nghiên cứu tại nhà trường. Tác giả cũng xin bày tỏ lòng biết ơn sâu sắc tới gia đình và người thân luôn khuyến khích, động viên tác giả trong suốt quá trình học tập và làm luận văn. Mặc dù có nhiều cố gắng, nhưng luận văn khó tránh khỏi những thiếu sót và hạn chế. Tác giả rất mong nhận được những ý kiến đóng góp quý báu của các thầy cô và bạn đọc để luận văn được hoàn thiện hơn. Xin chân thành cảm ơn! Thái Nguyên, tháng 6 năm 2014 Tác giả Nguyễn Văn Hồng Bảng ký hiệu R : Tập hợp số thực R + : Tập hợp các số trong nửa đoạn [0, +∞) R n : Không gian số thực n - chiều R n + : Không gian số thực không âm n - chiều x ∈ C : x thuộc tập C x ∈ C : x không thuộc tập C ∀x : Với mọi x ∃x : Tồn tại x ∅ : Tập hợp rỗng ∩ : Phép giao các tập hợp ∪ : Phép hợp các tập hợp x = y : x được định nghĩa bằng y x, y : Tích vô hướng của x và y ∇ x f(x) : Véc tơ đạo hàm của hàm f tại điểm x x k  x : Dãy x k hội tụ yếu tới x x k → x : Dãy x k hội tụ mạnh tới x I : Ánh xạ đồng nhất arg min {f (x) |x ∈ C} : Tập các điểm cực tiểu của hàm f trên C x : Chuẩn của véc tơ x. Lời nói đầu DCA được viết tắt của "difference of convex functions optimization algorithms". Thuật toán DCA đã được đề xuất từ năm 1986 bởi giáo sư Phạm Đình Tảo với các ứng dụng của nó được phát triển khá mở rộng (xem [1, 2, 4, 5, 6]). DCA được áp dụng trong nhiều lĩnh vực khoa học và liên quan đến nhiều bài toán tối ưu. Thuật toán DCA áp dụng để giải bài toán D.C (viết tắt của difference of convex functions) dạng f = g −h. Để giải bài toán này, tác giả đã sử dụng phương pháp D.C bằng cách phân rã hàm mục tiêu thành hiệu hai hàm lồi và sử dụng các kỹ thuật đối ngẫu Lagrange để chuyển bài toán D.C thành bài toán lồi mạnh không ràng buộc bằng cách tuyến tính hóa hàm lồi g. Một cách đơn giản, chúng ta có thể thấy mô hình của bài toán D.C có dạng: (P ) α = inf {f (x) = g (x) − h (x) : x ∈ R n } trong đó f là hàm mục tiêu, g, h là các hàm lồi nửa liên tục dưới trên R n , và bài toán đối ngẫu của nó là (D) α = inf {h ∗ (y) − g ∗ (y) : y ∈ R n } . trong đó h ∗ , g ∗ là các hàm liên hợp của g, h trong R n với g ∗ (y) = sup {x, y − g (x) : x ∈ R n } . Bằng cách áp dụng thuật toán DCA vào giải bài toán (P ) và (D), các tác giả đã chứng minh được rằng sau hữu hạn bước, ta có thể xác định được nghiệm tối ưu địa phương của bài toán ban đầu. Luận văn trình bày về bài toán D.C, thuật toán DCA và ứng dụng thuật toán DCA vào bài toán cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không gian Euclide R n . Luận văn gồm hai phần chính: Phần thứ nhất trình bày về bài toán D.C, thuật toán DCA và sự hội tụ của nó trong bài báo của Pham Dinh Tao and Le Thi Hoai An (1997), 6 Convex analysis approach to D.C programming: Theory, algorithms and applications, Acta mathematica Vietnamica, vol. 22, pp. 289 - 355 [8]. Phần thứ hai đề cập đến ứng dụng của DCA vào giải bài toán cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không gian Euclide R n trong bài báo "Pham Dinh Tao and Le Thi Hoai An (1996), Difference of convex functions optimization algorithms (DCA) for globally minimizing nonconvex quadratic forms on Euclidean balls and spheres, Operations Research Letters, vol. 19, pp. 207-216". Ngoài phần mở đầu, kết luận và các tài liệu tham khảo, luận văn được trình bày thành ba chương. Chương 1: Trình bày một số kiến thức về giải tích lồi làm cơ sở cho việc nghiên cứu bài toán D.C. Sau đó sẽ trình bày một số vấn đề của bài toán tối ưu lồi, bài toán đối ngẫu Lagrange, Định lý Karush-Kuhn-Tucker, hàm D.C và một số tính chất của hàm D.C. Chương 2: Trình bày bài toán D.C, thuật toán DCA và thuật toán DCA rút gọn. Chương 3: Trình bày ứng dụng thuật toán DCA vào bài toán tìm nghiệm cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không gian R n . Chương 1 Một số khái niệm cơ bản 1.1. Tập lồi 1.1.1. Tập lồi Cho a, b là hai điểm trong R n . Đường thẳng đi qua a và b là tập tất cả các điểm x ∈ R n có dạng x = (1 − λ) a + λb = a + λ (b − a) với λ ∈ R. Định nghĩa 1.1.1. Tập M ⊆ R n gọi là một tập afin (hay đa tạp tuyến tính) nếu (1 − λ) a + λb ∈ M với mọi a ∈ M, b ∈ M và mọi λ ∈ R, tức là nếu M chứa trọn cả đường thẳng đi qua hai điểm bất kỳ của nó. Rõ ràng nếu M là một tập afin và a ∈ R n thì a + M = {a + x : x ∈ M} cũng là một tập afin và M là một tập afin chứa gốc khi và chỉ khi M là một không gian con, nghĩa là nếu a, b thuộc M thì mọi điểm λa + µb cũng thuộc M với λ, µ ∈ R. Định lý 1.1.1. Tập M không rỗng là một tập afin khi và chỉ khi M = a + L trong đó a ∈ M và L là một không gian con. Không gian con L nói trên được gọi là không gian con song song với tập afin M : L//M. Nó được xác định một cách duy nhất. Thứ nguyên (hay số chiều) của một tập afin M, ký hiệu dim M, là số chiều của không gian con song song với nó. Ta qui ước: dim ∅ = −1. Định lý 1.1.2. Một tập afin k−chiều bất kỳ có dạng M = {x : Ax = b} với A ∈ R m×n , b ∈ R m và rankA = n − k (M là tập nghiệm của một hệ phương trình tuyến tính). Một tập khác rỗng bất kỳ có dạng trên là một tập afin k− chiều. 8 Định nghĩa 1.1.2. Một tập afin (n − 1) chiều trong R n gọi là một siêu phẳng. Định nghĩa 1.1.3. Điểm x ∈ R n có dạng x = λ 1 a 1 + λ 2 a 2 + + λ k a k với a i ∈ R n và λ 1 + λ 2 + + λ k = 1 gọi là một tổ hợp afin của các điểm a 1 , a 2 , , a k . M là một tập afin khi và chỉ khi M chứa mọi tổ hợp afin các phần tử của nó. Giao của một họ bất kỳ các tập afin cũng là một tập afin. Cho E là một tập bất kỳ trong R n , khi đó có ít nhất một tập afin chứa E, cụ thể là R n . Định nghĩa 1.1.4. Giao của tất cả các tập afin chứa E gọi là bao afin của E và ký hiệu là affE. Đó là tập afin nhỏ nhất chứa E. Dễ thấy x ∈ affE khi và chỉ khi x là một tổ hợp afin của các phần tử thuộc E. Định nghĩa 1.1.5. Ta nói k điểm a 1 , a 2 , , a k ∈ R n là độc lập afin nếu các véctơ a 2 − a 1 , a 2 − a 1 , , a k − a 1 độc lập tuyến tính. Định nghĩa 1.1.6. Cho hai điểm a, b ∈ R n . Với 0  λ  1 tập tất cả các điểm x = (1 − λ) a + λb gọi là đoạn thẳng (đóng) nối a và b, và được ký hiệu là [a, b]. Định nghĩa 1.1.7. Tập C ⊂ R n được gọi là một tập lồi nếu nó chứa trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó. Nói cách khác, nếu với mọi a, b ∈ C và mọi 0  λ  1 thì (1 − λ)a + λb ∈ C . Định nghĩa 1.1.8. Điểm x ∈ R n có dạng x = λ 1 a 1 + λ 2 a 2 + + λ k a k với a i ∈ R n , λ i  0, λ 1 + λ 2 + + λ k = 1 gọi là một tổ hợp lồi của các điểm a 1 , a 2 , , a k . Tập C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các phần tử của nó. Thứ nguyên (hay số chiều) của một tập lồi C, ký hiệu dimC, là số chiều của bao afin của nó. Một tập lồi C trong R n gọi là có thứ nguyên đầy nếu dimC = n. Định nghĩa 1.1.9. Cho E ⊂ R n là một tập bất kỳ. Giao của tất cả các tập lồi chứa E gọi là bao lồi của E, ký hiệu là convE. Đó là tập lồi nhỏ nhất chứa E. 9 Định lý 1.1.3 (Carathéodory). Cho E là một tập chứa trong một tập afin k−chiều. Khi đó bất kỳ x ∈ convE có thể biểu diễn dưới dạng một tổ hợp lồi của không quá k + 1 phần tử thuộc E. 1.1.2. Phần trong tương đối và bao lồi đóng Như đã biết trong giải tích hàm, bao đóng của một tập C, ký hiệu C, là giao của tất cả các tập đóng chứa C. Một điểm a thuộc bao đóng của C ⊂ R n  a ∈ C  nếu mọi hình cầu tâm a đều có chứa ít nhất một điểm thuộc C, hay nếu a là giới hạn của một dãy điểm thuộc C. Một điểm a của một tập C gọi là một điểm trong của C nếu có một hình cầu tâm a nằm trọn trong C. Tập các điểm trong của C gọi là phần trong của C và được ký hiệu là intC. Định nghĩa 1.1.10. Một điểm a ∈ C ⊂ R n gọi là một điểm trong tương đối của C nếu với mỗi x ∈ C đều có một số λ > 0 sao cho a+λ(x−a) ∈ C. Tập các điểm trong tương đối của C gọi là phần trong tương đối của C và được ký hiệu là riC. Hiệu tập hợp C/ (riC) gọi là biên tương đối của C và được ký hiệu là ∂C. Một tập C ⊂ R n gọi là một tập mở tương đối nếu riC = C. Nhận xét 1.1.1. Với B = {x ∈ R n : ||x|  1|} là hình cầu đơn vị đóng thì (i) int C = {x ∈ C : ∃ε > 0, x + εB ⊂ C} . (ii) riC = {x ∈ C : ∃ε > 0, (x + εB) ∩ affC ⊂ C}: Phần trong tương đối của C là phần trong của C trong affC. Nếu intC = ∅ thì intC = riC. C ⊂ D không suy ra riC ⊂ riD. Chẳng hạn, lấy D ∈ R 3 là một khối lập phương, C là một mặt của D. Khi đó, C ⊂ D, riC = ∅, riD = ∅ nhưng (riC) ∩ (riD) = ∅. Định lý 1.1.4. Một tập lồi bất kỳ C = ∅ có phần trong tương đối khác rỗng. Định lý 1.1.5. Bao đóng và phần trong tương đối của một tập lồi là lồi. Nhận xét 1.1.2. Với tập C lồi và a ∈ int C, b ∈ C với mọi λ ∈ [0, 1) thì x = (1 − λ) a + λb = a + λ (b − a) ∈ int C. Và nếu tập lồi C có phần [...]... phần trong tương đối, bao đóng của một tập lồi [3], hàm D.C và tính chất của hàm D.C Bên cạnh đó, ta cũng trình bày một sô kết quả về tối ưu như bài toán đối ngẫu Lagrange, Định lí đối ngẫu mạnh, Định lí đối ngẫu yếu, điều kiện tối ưu trong bài toán lồi, định lí Kuhn- Tucker và một số tính chất tương ứng. [9] Chương 2 Thuật toán DCA 2.1 Bài toán D.C Giả sử X ∈ Rn với một tích vô hướng , , Y là không... = 1, , p) (1.7) Khi ấy độ lệch đối ngẫu bằng 0 và nếu bài toán (GP) có lời giải tối ưu x∗ thì bài toán đối ngẫu (GQ) có lời giải tối ưu (λ∗ , µ∗ ) và (x∗ , (λ∗ , µ∗ )) là một điểm yên ngựa Chứng minh Xét tập lồi đóng D = Rm × Rp , và hàm + L (x, (λ, µ)) = f (x) + m i=1 λi gi (x) + p j=1 µi hi (x) Hàm L (x, (λ, µ)) lồi theo x ∈ Ω khi cố định (λ, µ) ∈ D và afin theo (λ, µ) ∈ Rq+p khi cố định x ∈ Ω Cho... hàm lồi và điều kiện Slater sau đây được thoả mãn: ∃˜ ∈ Ωgi (˜) < 0, i = 1, , m x x (1.6) Khi ấy độ lệnh đối ngẫu bằng 0 và nếu bài toán (P) có lời giải tối ưu x∗ thì bài toán đối ngẫu (Q) có lời giải tối ưu λ∗ và cặp (x∗ , λ∗ ) là một điểm yên ngựa Nhận xét 1.4.2 Nếu bài toán có một số ràng buộc đẳng thức, chẳng hạn min{f (x) |gi (x) 0 (i = 1, , m) , hj (x) = 0, (j = 1, , p) , x ∈ Ω} (GP ) thì ứng với... u, t) khi đó f (z) = f1 (x) − u, Ω = {z = (x, u, t)| x ∈ Ω, h1 (x) − t 0} , và h (z) = h2 (x) − t Bài toán trở thành min f (x) x ∈ Ω, h (x) 0 Vì f (x) , h (x) là hàm lồi, và Ω là tập lồi nên đây là một bài toán dạng (CDC) 1.4 Bài toán đối ngẫu Lagrange Dạng chuẩn của một bài toán tối ưu ("Quy hoạch toán học") trong n R min {f (x) gi (x) 0 i = 1, , m, x ∈ Ω|} (P ), trong đó f, gi : Rn → R, Ω ⊂ Rn Nhận... thuẫn m Do đó t0 > 0 và đặt λi = t0 υi ta có θ = i=1 λi > 0 Chia cho θ sẽ có m i=1 λi = 1 26 Hệ quả 1.4.3 Cho một ma trận A cấp k × n và một vectơ b ∈ Rm Một vectơ c ∈ Rm thoả mãn c, x 0 với mọi x thuộc đa tạp afin Ax = b khi T k và chỉ khi c = A t với một t ∈ R nào đó Nói riêng, một vectơ c trực giao với mọi vectơ thuộc không gian Ax = 0 khi và chỉ khi c = AT t, t ∈ Rk Chứng minh Áp dụng Hệ quả 1.4.2... một tập M ⊂ Rn và một điểm x ∈ M Ta nói một vectơ u ∈ Rn là một ¯ phương tiếp xúc của tập M tại x nếu có một dãy điểm xε ∈ M sao cho ¯ 28 o (ε) → 0 khi ε → 0 Cho h là một ánh ε xạ liên tục từ một tập mở U trong X = Rn vào Y = Rp và xε = x + εu + o (ε) với ε ↓ 0 và ¯ M = {x ∈ U |h (x) = 0} Định lý 1.4.6 (Ljustemik) Cho x ∈ U và h (¯) = 0 Nếu h khả vi liên ¯ x tục trong một lân cận của x và 1... được thay tương ứng bằng các bất đẳng thức thực sự > hay < Định lý 1.2.5 Cho Q là một ma trận vuông đối xứng thực cấp n × n Hàm toàn phương f (x) = x, Qx lồi khi và chỉ khi Q nửa xác định dương Hơn nữa, hàm f lồi chặt khi và chỉ khi Q xác định dương 15 Hệ quả 1.2.2 Hàm f (x) = 1 < x, Qx > + < c,x > + α (lồi chặt) trên 2 n R khi và chỉ khi ma trận Q nửa xác định dương (xác định dương) và f lõm (lõm chặt)... thêm vào một nhân tử µj ∈ R Lagrange của bài toán là hàm L : Ω × Rm × Rp → R xác định bởi + p m L (x, λ, µ) = f (x) + λi gi (x) + i=1 µi hi (x) j=1 22 Hàm đối ngẫu Lagrange là p m ϕ (λ, µ) = inf {f (x) + x∈Ω µi hi (x)} λi gi (x) + j=1 i=1 và bài toán đối ngẫu là p m sup inf {f (x) + λ∈Rm ,µ∈Rp x∈Ω + µi hi (x)} λi gi (x) + (GQ) j=1 i=1 Định lý đối ngẫu yếu vẫn đúng: Nếu α, β là các trị tối ưu của bài toán. .. số trường hợp riêng của quy hoạch D.C Bài toán cực tiểu hàm lõm ( Cực đại hàm lồi): min {f (x)| x ∈ Ω} trong đó f (x) là hàm lõm, Ω là tập lồi đóng, chẳng hạn Ω = {x| g (x) 0} với g (x) là một hàm lồi 19 Bài toán lồi đảo (CDC): min {f (x) | x ∈ Ω, h (x) 0} với f (x) , h (x) là các hàm lồi và Ω là tập lồi đóng, Đặt C = {x| h (x) 0} thì C là tập lồi đóng và bài toán (CDC) cũng có thể viết min {f (x) |... − a ∈ domf Cho U là một hình cầu tâm x0 , bán kính α−1 chuyển x0 tới a và r nằm trong domf Phép vị tự h tâm u và tỉ số α biến hình cầu U thành hình cầu h(U ) tâm a nằm trong h(U ) Với mọi 1 x ∈ U ta sẽ có x = u + α−1 h (x) và do f lồi: α α 1 α−1 1 α−1 f (x) f (u) + f (h (x)) f (u) + t α α α α Chứng tỏ f bị chặn trong hình cầu U và do đó liên tục tại điểm x0 (iii) ⇒ (i) Hiển nhiên 1.2.3 Hàm lồi khả . Trình bày bài toán D.C, thuật toán DCA và thuật toán DCA rút gọn. Chương 3: Trình bày ứng dụng thuật toán DCA vào bài toán tìm nghiệm cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không. 27 2. Thuật toán DCA 31 2.1. Bài toán D.C . . . . . . . . . . . . . 31 2 2.2. Thuật toán DCA . . . . . . . . . . . 36 2.3. Sự hội tụ của thuật toán DCA . . . . . . . . . . . 37 3. Ứng dụng thuật toán. bài toán ban đầu. Luận văn trình bày về bài toán D.C, thuật toán DCA và ứng dụng thuật toán DCA vào bài toán cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không gian Euclide R n . Luận