Giới thiệu về Quy hoạch DC và giải thuật DCA

1.4 Quy hoạch DC và giải thuật DCA

1.4.3 Giới thiệu về Quy hoạch DC và giải thuật DCA

Quy hoạch DC và giải thuật DCA là những kỹ thuật được Phũng nghiờn cứu Lý thuyết và Ứng dụng Khoa học mỏy tớnh LITA (Laboratoire d'Informatique Thộorique et Appliquộe - Theoretical and Applied Computer Science Laboratory), trường đại học Lorraine, Cộng hũa Phỏp tiếp tục nghiờn cứu và phỏt triển từ nhiều năm nay [64], [67]. Cỏc kết quả khoa học ứng dụng Quy hoạch DC và giải thuật DCA vào giải quyết cỏc bài toỏn tối ưu của Machine Learning/ Data mining đó được phũng nghiờn cứu LITA cụng bố trờn nhiều tạp chớ khoa học quốc tế cú uy tớn [15], [65], [67]–[74].

Những cụng cụ này cũng đó được sử dụng trong nhiều phũng nghiờn cứu, thớ nghiệm nổi tiếng, vớ dụ như: Princeton, Stanford, MIT, Berkeley, Cornell, Imperial College, Institut fỹr Allgemeine Mechanik (IAM, RWTH Aachen), Mannheim, Minnesota, Iowa, Freiburg... để giải quyết cỏc bài toỏn quy mụ lớn trong cỏc lĩnh vực khỏc nhau: vấn đề kinh tế và tài chớnh, giao thụng vận tải - hậu cần, an ninh mỏy tớnh, machine learning, cụng nghệ sinh học, xử lý hỡnh ảnh và mạng viễn thụng, cơ khớ… Việc ứng dụng phương phỏp Quy hoạch DC và giải

thuật DCA để giải cỏc bài toỏn tối ưu trong bảo mật truyền tin tầng vật lý là một hướng đi mới, hướng đến mục tiờu là nõng cao hiệu quả truyền tin mật trong hệ thống thụng tin vụ tuyến thụng qua việc tỡm nghiệm cận tối ưu tốt hơn so với cỏc cỏch giải khỏc. Theo lý thuyết về Quy hoạch DC và giải thuật DCA thỡ việc tỡm ra một phõn tỏch DC tốt để cho nghiệm và tốc độ hội tụ của thuật toỏn tốt hơn đang là thỏch thức khoa học.

Bản chất và ý nghĩa quan trọng của giải thuật DCA, là cỏch tớnh toỏn trờn hàm khụng lồi (nonconvex function) với cỏch giải quyết dựa trờn cỏc hàm DC. Giải thuật DCA được quốc tế cụng nhận là “the State-of-Art Technology nonconvex programming and global optimization”. Phương phỏp này đó được cỏc nhà nghiờn cứu và cỏc học giả trờn toàn thế giới phõn tớch và ỏp dụng thành cụng trong thực tế để giải quyết cỏc mụ hỡnh bài toỏn cú quy mụ tớnh toỏn lớn trờn cỏc hàm khụng lồi trong nhiều lĩnh vực ứng dụng khỏc nhau.

Khả năng phổ biến của phương phỏp giải quy hoạch DC và giải thuật DCA là do hiệu quả của phương phỏp so với cỏc phương phỏp hiện cú, tớnh thớch ứng với nhiều dạng cấu trỳc bài toỏn và khả năng giải quyết cỏc bài toỏn khụng lồi quy mụ lớn thực tế trờn thế giới.

1.4.4 Quy hoạch DC và giải thuật DCA

Quy hoạch DC và giải thuật DCA đó được nghiờn cứu và trỡnh bày trong nhiều tài liệu và cụng trỡnh khỏc nhau. Phần này của Luận ỏn chỉ trỡnh bày một số nội dung cơ bản và cỏc nội dung liờn quan đến việc ứng dụng cho cỏc phần sau của Luận ỏn.

DCA là một phương phỏp tiếp cận dựa trờn xấp xỉ lồi liờn tục. Nú dựa trờn tớnh tối ưu cục bộ và tớnh đối ngẫu trong quy hoạch DC để giải cỏc cỏc bài toỏn quy hoạch DC chuẩn cú dạng (Primal DC – Pdc):

( ) ( ) ( )   ( ) inf : : n dc f x g x h x x P  = = −  (1.30)

với: g h,  ( )n là cỏc hàm lồi (convex functions) được định nghĩa trờn ℝ𝑛 và nhận cỏc giỏ trị trong  + . Theo đú:

- Hàm f được gọi là hàm DC (DC function), hiệu của hai hàm lồi,

- g - h là sự phõn tỏch DC (DC decomposition) của f,

- Cỏc hàm lồi g và h là cỏc hàm thành phần DC của f.

Khụng gian cỏc hàm DC, ( )n Γ ( ) ( )n Γ n

g h

DC = − tạo thành một lớp rất rộng bao gồm tất cả cỏc hàm lồi và phần lớn cỏc hàm khụng lồi trong thực tế thường gặp. Quy hoạch DC do đú trở thành trường hợp mở rộng của quy hoạch lồi và bao phủ hầu hết cỏc quy hoạch khụng lồi trong thực tế [70], [75].

Một quy hoạch DC cú ràng buộc là tập khả thi trong tập lồi C cú thể biến đổi thành một quy hoạch DC khụng cú ràng buộc bằng cỏch thờm hàm đặc trưng trờn

C, được ký hiệu bởi Cvới

0, ,   = +  C x C x  nếu khác Cụ thể: ( ) ( ) ( )    ( ) ( ) ( )  inf f x :=g x −h x :x C =inf c x +g x −h x :x n

Chỳ ý rằng, đối với một hàm lồi, dưới vi phõn của  tại x0  dom(), (domain – miền xỏc định), ký hiệu bởi ( )x0 , được định nghĩa như sau:

( )x0 : y n: ( ) ( )x x0 x x y0, , x n.

  

 =   + −  

dưới vi phõn ( )x0 là một tập lồi đúng, và  khả vi tại x0 khi và chỉ khi

0

( )x



 chỉ cú duy nhất một phần tử là ( )x0 .

Hàm liờn hợp của , ký hiệu bởi *, được định nghĩa là:

( )  ( ) 

*

: sup , : n , n.

y x y x x y

Bài toỏn tối ưu đối ngẫu của bài toỏn quy hoạch DC gốc cũng là một quy hoạch DC (Dual DC - Dcd) cú cựng giỏ trị tối ưu và được định nghĩa như sau:

( ) ( )

 * *  ( )

inf h y g y :y n . Ddc

 = −  (1.31)

Sự phức tạp của cỏc quy hoạch DC nằm trong sự phõn biệt giữa cỏc nghiệm cận tối ưu và nghiệm toàn cục do nú thiếu cỏc điều kiện cú thể kiểm chứng được nghiệm tối ưu toàn cục.

Theo đú, điểm x* được gọi là điểm tới hạn của g - h nếu nú thỏa món điều kiện tổng quỏt của Karusk-Kuhn-Tucker (KKT) sau:

( )* ( )*

.

h x g x

    (1.32)

Điều kiện cần để bài toỏn quy hoạch DC chuẩn tắc cú nghiệm tối ưu cục bộ là:

( )* ( )*

h x g x

     . (1.33)

Điều kiện (1.33) cũng là điều kiện đủ cho nhiều lớp bài toỏn quy hoạch DC chuẩn tắc cú nghiệm tối ưu cục bộ.

Triết lý của giải thuật DCA. Giải thuật DCA được dựa trờn cỏc điều kiện

tối ưu cục bộ và đối ngẫu trong quy hoạch DC. í tưởng ban đầu của DCA khỏ đơn giản, đú là một phộp xấp xỉ của mỗi quy hoạch DC bằng một chuỗi cỏc quy hoạch lồi: Tại mỗi lần lặp k, phần lừm của DCA (–h) được xấp xỉ thành dạng

affine của nú (tương ứng với việc lấy k ( )k

y h x ), rồi giải bài toỏn cực tiểu húa

cỏc quy hoạch lồi được tạo ra.

Lược đồ DCA chuẩn tắc (DCA standard scheme)

Khởi tạo (Initialization): Chọn một điểm khởi tạo ban đầu 0

, 0

x k .

Lặp lại (Repeat)

Bước 1. Với mỗi k, biết được xk , tớnh k ( )k y h x . Bước 2. Tớnh 1  ( ) ( )  ( ) arg min , . k k k k k x +  g x −h x − −x x y p Bước 3. k +k 1.

Cho đến khi (Until): khụng cú sự thay đổi đỏng kể giữa xk và xk+1 hoặc giữa ( ) k f x và 1 ( ) k f + x .

Chỳ ý: (pk) là một bài toỏn tối ưu lồi và hiện nay cú thể giải dễ dàng bằng cỏc cụng cụ cú sẵn như cplex, cvx hay cvxopt…

Tớnh chất hội tụ của giải thuật DCA và cơ sở lý thuyết của nú được phõn tớch và chứng minh đầy đủ trong [67], [69], [76]. Một số tớnh chất cơ bản và điển hỡnh của DCA như sau:

- DCA là một phương phỏp giảm dần mà khụng cần tỡm kiếm tuyến tớnh, núi một cỏch khỏc dóy {g(xk) – h(xk)}và {h*(yk) – g*(yk)} là dóy đơn điệu giảm.

- Nếu g(xk+1) - h(xk+1) = g(xk)- h(xk) thỡ xk là một điểm tới hạn của g(x) – h(x) và DCA kết thỳc ở lần lặp k.

- Nếu giỏ trị tối ưu  của quy hoạch DC là hữu hạn và cỏc dóy vụ hạn {xk}

và {yk} là bị chặn, thỡ mỗi điểm tới hạn x* của dóy {xk} là một điểm tới hạn

của (g – h), cụ thể: * *

( ) ( )

g x h x

   .

- DCA cú tớnh chất hội tụ sau một số vũng lặp hữu hạn cho cỏc quy hoạch DC đa diện.

Một điều đỏng chỳ ý là, việc ỏp dụng DCA liờn quan đến cỏc thành phần g và

tương ứng với một phiờn bản DCA khỏc nhau. Vỡ mỗi hàm DC f cú thể phõn tỏch thành hiệu của cỏc thành phần lồi khỏc nhau và mỗi phõn tớch như vậy ảnh hưởng trực tiếp đối với cỏc tớnh chất của DCA như: tốc độ hội tụ, tớnh mạnh, tớnh hiệu quả, tớnh toàn cục. Do đú, việc tỡm kiếm một sự phõn tỏch DC tốt là thật sự quan trọng trong mỗi bài toỏn và đang là một vấn đề khoa học mở.

Hai yếu tố quan trọng để giải hiệu quả một bài toỏn quy hoạch khụng lồi (Ddc) bằng Quy hoạch DC và giải thuật DCA là:

- Tỡm kiếm một sự phõn tỏch DC thớch hợp của hàm mục tiờu f

- Tỡm một điểm khởi tạo tốt.

Quy hoạch DC và giải thuật DCA chuẩn tắc cú thể được mở rộng tới quy hoạch DC và giải thuật DCA tổng quỏt, ở đú cả hàm mục tiờu và ràng buộc đều khụng lồi [67]. Dạng của bài toỏn quy hoạch DC và giải thuật DCA tổng quỏt như sau: ( ) 0 . min s.t. ( ) 0, 1, , x i f x f x m x C i  =    (1.34) Trong đú, n C là một tập đúng khỏc rỗng; fi: n → (i=0,1,..., )m là cỏc hàm DC. Cỏc cỏch tiếp cận để giải bài toỏn quy hoạch DC tổng quỏt vẫn dựa trờn triết lý chung của DCA chuẩn tắc, đú là xấp xỉ bài toỏn (1.34) bởi một dóy cỏc bài toỏn quy hoạch lồi.