1.4 Quy hoạch DC và giải thuật DCA
1.4.3 Giới thiệu về Quy hoạch DC và giải thuật DCA
Quy hoạch DC và giải thuật DCA là những kỹ thuật được Phòng nghiên cứu Lý thuyết và Ứng dụng Khoa học máy tính LITA (Laboratoire d'Informatique Théorique et Appliquée - Theoretical and Applied Computer Science Laboratory), trường đại học Lorraine, Cộng hòa Pháp tiếp tục nghiên cứu và phát triển từ nhiều năm nay [64], [67]. Các kết quả khoa học ứng dụng Quy hoạch DC và giải thuật DCA vào giải quyết các bài toán tối ưu của Machine Learning/ Data mining đã được phòng nghiên cứu LITA cơng bố trên nhiều tạp chí khoa học quốc tế có uy tín [15], [65], [67]–[74].
Những cơng cụ này cũng đã được sử dụng trong nhiều phịng nghiên cứu, thí nghiệm nổi tiếng, ví dụ như: Princeton, Stanford, MIT, Berkeley, Cornell, Imperial College, Institut für Allgemeine Mechanik (IAM, RWTH Aachen), Mannheim, Minnesota, Iowa, Freiburg... để giải quyết các bài tốn quy mơ lớn trong các lĩnh vực khác nhau: vấn đề kinh tế và tài chính, giao thơng vận tải - hậu cần, an ninh máy tính, machine learning, cơng nghệ sinh học, xử lý hình ảnh và mạng viễn thơng, cơ khí… Việc ứng dụng phương pháp Quy hoạch DC và giải
thuật DCA để giải các bài toán tối ưu trong bảo mật truyền tin tầng vật lý là một hướng đi mới, hướng đến mục tiêu là nâng cao hiệu quả truyền tin mật trong hệ thống thông tin vô tuyến thông qua việc tìm nghiệm cận tối ưu tốt hơn so với các cách giải khác. Theo lý thuyết về Quy hoạch DC và giải thuật DCA thì việc tìm ra một phân tách DC tốt để cho nghiệm và tốc độ hội tụ của thuật toán tốt hơn đang là thách thức khoa học.
Bản chất và ý nghĩa quan trọng của giải thuật DCA, là cách tính tốn trên hàm khơng lồi (nonconvex function) với cách giải quyết dựa trên các hàm DC. Giải thuật DCA được quốc tế công nhận là “the State-of-Art Technology nonconvex programming and global optimization”. Phương pháp này đã được các nhà nghiên cứu và các học giả trên toàn thế giới phân tích và áp dụng thành cơng trong thực tế để giải quyết các mơ hình bài tốn có quy mơ tính tốn lớn trên các hàm khơng lồi trong nhiều lĩnh vực ứng dụng khác nhau.
Khả năng phổ biến của phương pháp giải quy hoạch DC và giải thuật DCA là do hiệu quả của phương pháp so với các phương pháp hiện có, tính thích ứng với nhiều dạng cấu trúc bài toán và khả năng giải quyết các bài tốn khơng lồi quy mô lớn thực tế trên thế giới.
1.4.4 Quy hoạch DC và giải thuật DCA
Quy hoạch DC và giải thuật DCA đã được nghiên cứu và trình bày trong nhiều tài liệu và cơng trình khác nhau. Phần này của Luận án chỉ trình bày một số nội dung cơ bản và các nội dung liên quan đến việc ứng dụng cho các phần sau của Luận án.
DCA là một phương pháp tiếp cận dựa trên xấp xỉ lồi liên tục. Nó dựa trên tính tối ưu cục bộ và tính đối ngẫu trong quy hoạch DC để giải các các bài toán quy hoạch DC chuẩn có dạng (Primal DC – Pdc):
với: g , h (n ) là các hàm lồi (convex functions) được định nghĩa trên ℝ và nhận các giá trị trong +
. Theo đó:
- Hàm f được gọi là hàm DC (DC function), hiệu của hai hàm lồi, - g - h là sự phân tách DC (DC decomposition) của f,
- Các hàm lồi g và h là các hàm thành phần DC của f.
Không gian các hàm DC, DC ( n ) = Γ g ( n )− Γh ( n ) tạo thành một lớp rất rộng bao gồm tất cả các hàm lồi và phần lớn các hàm không lồi trong thực tế thường gặp. Quy hoạch DC do đó trở thành trường hợp mở rộng của quy hoạch lồi và bao phủ hầu hết các quy hoạch không lồi trong thực tế [70], [75].
Một quy hoạch DC có ràng buộc là tập khả thi trong tập lồi C có thể biến đổi thành một quy hoạch DC khơng có ràng buộc bằng cách thêm hàm đặc trưng trên C, được ký hiệu bởi C với
0, nÕu x C C = + , x
kh¸c
Cụ thể:
inff (x ):= g (x )− h (x ): x C = inf c (x )+ g (x )− h (x ): x n
Chú ý rằng, đối với một hàm lồi, dưới vi phân của tại x0 dom( ), (domain – miền xác định), ký hiệu bởi (x0 ) , được định nghĩa như sau:
( x0 ):= y n : ( x ) (x0 )+ x − x0 , y , x n .
dưới vi phân (x0 ) là một tập lồi đóng, và khả vi tại x0 khi và chỉ khi (x0 ) chỉ có duy nhất một phần tử là (x0 ) .
Hàm liên hợp của , ký hiệu bởi * , được định nghĩa là:
* ( y ):= sup x, y − (x ): x n , y n .
Bài toán tối ưu đối ngẫu của bài toán quy hoạch DC gốc cũng là một quy hoạch DC (Dual DC - Dcd) có cùng giá trị tối ưu và được định nghĩa như sau:
= inf h* ( y )− g * (y ): y n . (Ddc ) (1.31)
Sự phức tạp của các quy hoạch DC nằm trong sự phân biệt giữa các nghiệm cận tối ưu và nghiệm tồn cục do nó thiếu các điều kiện có thể kiểm chứng được nghiệm tối ưu tồn cục.
Theo đó, điểm x* được gọi là điểm tới hạn của g - h nếu nó thỏa mãn điều kiện tổng quát của Karusk-Kuhn-Tucker (KKT) sau:
h (x* )g (x* ). (1.32)
Điều kiện cần để bài tốn quy hoạch DC chuẩn tắc có nghiệm tối ưu cục bộ là:
h (x* )g (x* ). (1.33)
Điều kiện (1.33) cũng là điều kiện đủ cho nhiều lớp bài tốn quy hoạch DC chuẩn tắc có nghiệm tối ưu cục bộ.
Triết lý của giải thuật DCA. Giải thuật DCA được dựa trên các điều kiện
tối ưu cục bộ và đối ngẫu trong quy hoạch DC. Ý tưởng ban đầu của DCA khá đơn giản, đó là một phép xấp xỉ của mỗi quy hoạch DC bằng một chuỗi các quy hoạch lồi: Tại mỗi lần lặp k, phần lõm của DCA (–h) được xấp xỉ thành dạng affine của nó (tương ứng với việc lấy y k h (xk )), rồi giải bài tốn cực tiểu hóa
các quy hoạch lồi được tạo ra.
Lược đồ DCA chuẩn tắc (DCA standard scheme)
Khởi tạo (Initialization): Chọn một điểm khởi tạo ban đầu x 0 , k 0 .
Lặp lại (Repeat)
Bước 1. Với mỗi k, biết được xk , tính
Bước 2. Tính x k +
1 arg min g (x )− h (x k )− x − x k , y k . ( pk )
Bước 3. k k +1.
Cho đến khi (Until): khơng có sự thay đổi đáng kể giữa xk và xk+1 hoặc giữa
f k (x) và f k +1 (x) .
Chú ý: (pk) là một bài toán tối ưu lồi và hiện nay có thể giải dễ dàng bằng các cơng cụ có sẵn như cplex, cvx hay cvxopt…
Tính chất hội tụ của giải thuật DCA và cơ sở lý thuyết của nó được phân tích và chứng minh đầy đủ trong [67], [69], [76]. Một số tính chất cơ bản và điển hình của DCA như sau:
- DCA là một phương pháp giảm dần mà khơng cần tìm kiếm tuyến tính, nói một cách khác dãy {g(xk) – h(xk)}và {h*(yk) – g*(yk)} là dãy đơn điệu giảm.
- Nếu g(xk+1) - h(xk+1) = g(xk)- h(xk) thì xk là một điểm tới hạn của g(x) –
h(x) và DCA kết thúc ở lần lặp k.
- Nếu giá trị tối ưu của quy hoạch DC là hữu hạn và các dãy vô hạn {xk} và {yk} là bị chặn, thì mỗi điểm tới hạn x* của dãy {xk} là một điểm tới hạn
của (g – h), cụ thể: g ( x* ) h( x* ) .
- DCA có tính chất hội tụ sau một số vịng lặp hữu hạn cho các quy hoạch
Một điều đáng chú ý là, việc áp dụng DCA liên quan đến các thành phần g và
h chứ không phải là hàm f. Do đó, đối với một quy hoạch DC, mỗi phân tách DC
tương ứng với một phiên bản DCA khác nhau. Vì mỗi hàm DC f có thể phân tách thành hiệu của các thành phần lồi khác nhau và mỗi phân tích như vậy ảnh hưởng trực tiếp đối với các tính chất của DCA như: tốc độ hội tụ, tính mạnh, tính hiệu quả, tính tồn cục. Do đó, việc tìm kiếm một sự phân tách DC tốt là thật sự quan trọng trong mỗi bài toán và đang là một vấn đề khoa học mở.
Hai yếu tố quan trọng để giải hiệu quả một bài tốn quy hoạch khơng lồi (Ddc) bằng Quy hoạch DC và giải thuật DCA là:
- Tìm kiếm một sự phân tách DC thích hợp của hàm mục tiêu f - Tìm một điểm khởi tạo tốt.
Quy hoạch DC và giải thuật DCA chuẩn tắc có thể được mở rộng tới quy hoạch DC và giải thuật DCA tổng quát, ở đó cả hàm mục tiêu và ràng buộc đều khơng lồi [67]. Dạng của bài tốn quy hoạch DC và giải thuật DCA tổng quát như sau: min f 0 x (x) (1.34) s.t.f i (x ) 0, i =1, , m x C. Trong đó, C n là một tập đóng khác rỗng; f : n → (i =0,1,..., m) là các i
hàm DC. Các cách tiếp cận để giải bài toán quy hoạch DC tổng quát vẫn dựa trên triết lý chung của DCA chuẩn tắc, đó là xấp xỉ bài tốn (1.34) bởi một dãy các bài toán quy hoạch lồi.