buộc toàn phương lồi
Xét bài toán toàn phương với ràng buộc toàn phương lồi QCQP, trong đó chỉ có một ràng buộc toàn phương lồi phi tuyến, tất cả những ràng buộc còn lại đều tuyến tính. Bằng cách biến đổi chuẩn tắc nếu cần, ta có thể giả sử QCQP được cho dưới dạng:
minf0(x, y) := 1 2x TQx+ qTx+ (gT +xTG)y + 1 2y THy. (2.24) với ||x||2 ≤hTy +d;Ax+By ≤ 0,
trong đó:y là một biến véc tơ ;g, h, c, q là véc tơ,dlà số thực; A, B, G, H, Q là những ma trận có kích thước thích hợp.
Ta sẽ chứng minh kết quả sau:
Định lý 2.4.1. Giả sử Q1 ≥ 0 và Qi = 0;∀i = 2,3, . . . , m, nếu hàm mục
tiêu f0(x) bị chặn trên tập ràng buộc C thì bài toán (2.1) có nghiệm tối
ưu.
Từ đây trở đi, kí hiệu inf (α) là giá trị cận dưới đúng của hàm mục tiêu của bài toán tối ưu (α). Khi ta nói bài toán α bị chặn nghĩa là: Hàm mục tiêu của bài toán đó bị chặn trên miền ràng buộc của nó. Khi ta nói bài toán α đạt cận dưới đúng nghĩa là: Hàm mục tiêu của bài toán đó đạt cận dưới đúng trên miền ràng buộc của nó.
Việc chứng minh định lý này dựa vào các bổ đề sau:
Bổ đề 2.4.1. (xem [7] và các tài liệu trích dẫn trong đó) Xét bài toán tối ưu sau:
minf(x, y), (2.25)
33
trong đó f là một hàm cho trước bị chặn dưới trên miền Ω. Giả sử
y = g(x) là một hàm cho trước. Ta đi xét sự hạn chế của (2.25):
minh(x) := f(x, g(x)), (2.26)
với x ∈ Ω; (¯ x, g(x)) ∈ Ω,
trong đó x ∈ Ω¯ ⊂ Rn. Giả sử rằng inf(2.26) ≤ inf(2.25) và hàm mục
tiêu của bài toán (2.26) đạt cận dưới đúng. Khi đó,inf(2.26) = inf(2.25)
và cận dưới đúng của (2.25) cũng đạt được.
Bổ đề 2.4.2. (Đánh giá Hoffman, [7] và các tài liệu trích dẫn trong đó)
Giả sử A là ma trận cấp m × n và Ay ≤ b có nghiệm. Giả sử z
là véc tơ n chiều bất kỳ. Khi đó phải có véc tơ y với Ay ≤ b sao cho
||y −z|| ≤ µ||(Az−b)+||, với µ là hằng số không phụ thuộc vào y, z và
mỗi thành phần của véc tơ (Az−b)+ là phần không âm của thành phần
tương ứng trong véc tơ Az−b.
Với hai bổ đề trên, ta xét bài toán (2.24). Trước hết ta xét một trường hợp riêng của (2.24). Cụ thể là trường hợp trong đó y là biến số y0. Tiếp theo ta sẽ chỉ ra rằng, có thể mở rộng cho trường hợp tổng quát. Đầu tiên ta đi xét bài toán (2.24) dưới dạng:
minf(x, y0) := 1 2x
T
Qx+qTx+ (r0 +rTx)y0 +hy02, (2.27) với ||x||2 ≤ y0;Ax+ay ≤ c,
trong đó y0 là biến số; a, c là các véc tơ; A là ma trận có kích thước phù hợp. Giả sử (2.27) bị chặn dưới trên tập ràng buộc. Ta chỉ ra rằng cận dưới đúng của (2.27) đạt được.
Cho {(xk, y0k)} là dãy của véc tơ chấp nhận được sao cho f(xk, y0k) → inf(2.27).
Nếu dãy{y0k} bị chặn thì {xk}cũng bị chặn. Trong trường hợp này điểm giới hạn của {(xk, y0k)} đạt được cận dưới đúng của (2.27). Giả sử dãy
Trường hợp 1: Với λ 6= 0, suy ra λ(y0k)2 sẽ trội hơn trong hàm mục tiêu vì||x||2 ≤ y0k. Do đó: Nếuλ > 0thì ta cóf(xk, y0k) → ∞, mâu thuẫn với giả thiết. Nếu λ < 0 thì ta có f(xk, y0k) → −∞, mâu thuẫn với f bị chặn dưới trên miền chấp nhận được.
Trường hợp 2: Với λ = 0 và ai > 0 với một i nào đó. Trong trường hợp này, ta khẳng định tập ràng buộc là tập bị chặn. Thật vậy, xét ràng buộc tuyến tính thứ i : Aix + aiy0 ≤ ci. Vì y0 ≥ ||x||2 và ai > 0 nên Aix+ aiy0 ≤ ci, suy ra x bị chặn. (Ở đây Ai kí hiệu hàng thứ i của A). Hơn nữa,
0≤ y0 ≤ ci −Aix
ai
suy ra y0 cũng bị chặn. Như vậy tập ràng buộc bị chặn và tính chất ta cần hiển nhiên thỏa mãn.
Trường hợp 3: Với λ = 0 và ai ≤ 0, i = 1,2, . . .. Trong trường hợp này, (x, y0) = (0,1) là phương lùi xa của tập ràng buộc. Do đó, để hàm mục tiêu bị chặn thì ta phải có (r0 + rTx) ≥ 0 , với mọi (x, y0) thuộc tập ràng buộc.Trước hết ta xét một không gian con mà trên đó ||x||k bị chặn. Khi đó ta có thể chọn một số hữu hạn y¯0 sao cho (xk,y¯0) thuộc miền chấp nhận được với mọi k. Vì y0k → ∞ nên y0k ≥ y¯0 với mọi k đủ lớn. Hơn thế, vì (r0 +rTxk) ≥0 ta có f(xk,y¯0) ≤ f(xk, y0k) . Do đó,
lim
k→∞inf f(xk,y¯0) →inf(2.27).
Vậy y¯0 cùng với bất kì điểm giới hạn nào của {xk} cũng sẽ đạt cận dưới đúng của (2.27). Cuối cùng, xét trường hợp ||x||k → ∞.
Đặt I = {i : ai = 0} và I˜= {i : ai < 0}. Vì y0k ≥ ||xk||2 và aI˜ < 0 nên các ràng buộc
AI˜x+aI˜y0 ≤ cI˜
hiển nhiên được thỏa mãn khi y0 ≥ d, với d > 0, đủ lớn. Do đó, véc tơ
35
Hơn nữa, f(xk,||xk||2) ≤ f(xk, y0k), vì (r0 + rxT) ≥ 0 và y0k ≥ ||xk||2 thấy được lim
k→∞inf f(xk,||xk||2) → inf(2.27).Do đó, không làm mất tính tổng quát, giả sử yk = ||xk||2.
Vì ||x||k → ∞, không giảm tổng quát ta giả sử rằng xk1 → ∞ (hoặc xk1 → −∞, nhưng trường hợp này ta có thể chứng minh bằng cách lấy đối xứng và do đó ta bỏ qua). Xét bài toán tối ưu nhận được bằng hạn chế y0 = ||xk||2 và x1 ≥ √d trong (2.27).
minf(x,||x||2) := 1 2x
TQx+qTx+ (r0 +rTx)||x||2, (2.28) trong đó,x1 ≥ √d;Q1x ≤ c1.
Trong trường hợp này, ta có λ = 0, suy ra λ||y0||2 = 0 và AI˜x+aI˜y0 ≤ cI˜,
chúng luôn được thỏa mãn vì ||x||2 ≥ x21 ≥ d. Rõ ràng, nếu x là nghiệm chấp nhận được của (2.28) thì (x,||x||2) là nghiệm chấp nhận được của (2.27). Do đó,inf(2.28) ≥inf(2.27), suy ra bài toán(2.28)bị chặn dưới. Mặt khác, vì xk là nghiệm chấp nhận được của bài toán (2.28) và
lim
k→∞f(xk,||xk||2) →inf(2.27)
nên inf(2.28) ≤ inf(2.27). Vì bài toán (2.28) là bài toán thu hẹp của bài toán (2.27) nên, theo Bổ đề 2.4.1, (2.28) đạt được cận dưới đúng thì (2.27) cũng đạt được. Như vậy, mấu chốt sự phân tích của ta là chỉ ra cận dưới đúng của (2.28) đạt được. Để kết thúc, ta xét bài toán có dạng:
ming(x) := 1 2x
T
Qx+qTx+ (r0 +rTx)||x||2, (2.29) với điều kiện Ax ≤ c,
trong đó, c là véc tơ, A là ma trận có kích thước phù hợp. Ta đi chứng minh kết quả sau:
Bổ đề 2.4.3. Giả sử bài toán (2.29) bị chặn dưới trên miền chấp nhận được. Khi đó cận dưới đúng của (2.29) đạt được.
Chứng minh. Giả sử {xk : k = 1,2, . . .} là dãy của những véc tơ chấp nhận được sao cho g(xk) ↓ inf(2.29) khi k → ∞. Rõ ràng, nếu dãy này bị chặn thì bổ đề hiển nhiên đúng. Từ đây ta luôn gải sử ||x||k → ∞ khi k → ∞.
Trước hết ta lưu ý rằng, dãy {r0+rTxk : k = 1,2, . . .} bị chặn. Thật vậy, vì
|g(xk)| ≥ (|r0 +rTxk| − 1
2||Q|| − ||q|| ||xk||)||x
k||2.
Do đó, nếu dãy {r0 + rTxk : k = 1,2, . . .} không bị chặn thì dãy con
{g(xk)} dần tới vô cực, mâu thuẫn với cách chọn {xk : k = 1,2, . . .}. Không làm giảm tính tổng quát, giả sử (r0+rTxk) → r∗ với r∗ là một véc tơ vô hướng nào đó khi k → ∞. Hơn nữa, bằng cách thay đổi tỷ lệ của hàm mục tiêu, nếu cần, giả sử ||r|| = 1. Xác định phép đổi độ trực chuẩn L : Rn → Rn : z1 z2 ... zn := L(x) = rT H x1 x2 ... xn + r0 −r∗ 0 ... 0 trong đó H là ma trận cấp (n−1)n và có các hàng là các véc tơ trực chuẩn và trực giao với f. Kí hiệu z¯= (z2, z3, . . . , zn)T . Khi đó qua ánh xạ L, ta có: z1 := (r0 +rTx)−r∗. Hơn nữa, sử dụng chuẩn hóa, ta có:
||x||2 = (z1 −r0 +r∗)2 + n X i=2 ¯ zi2 = (z1 −r0 +r∗)2 +||z¯||2.
Bằng cách thế biểu thức này và biểu thức L vào bài toán (2.29), đơn giản hóa các biểu thức và đặt lại tên các ma trận, véc tơ, ta có thể viết
37
lại hàm mục tiêu dưới dạng : g(x) = h(z) = 1
2z
TQz +qTz+ z1||z||2
và ràng buộc là
Az¯+az1 ≤ c,
với ma trận Q, A mới; a, q là những véc tơ mới. Khi đó, bài toán (2.29) trở thành:
minh(z) = 1 2z
TQz +qTz+z1||z||2. (2.30) với ràng buộc Az¯+az1 ≤ c.
với inf((2.29)) = inf((2.30)).
Vì g(xk) → inf((2.29)) và (f0 + fTxk) → f∗, ta có dãy {zk} chấp nhận được cho bài toán (2.30) và
h(zk) →inf((2.29)), z1k → 0;||zk|| → ∞. (2.31) Rõ ràng, (2.30) có một cận dưới đúng hữu hạn. Hơn nữa, nếu cận dưới đúng này đạt được thì qua nghịch đảo của ánh xạ L, cận dưới đúng của (2.29) cũng đạt được.
Để chỉ ra rằng cận dưới đúng của (2.30) cũng đạt đươc, ta xét bài toán tối ưu toàn phương với ràng buộc tuyến tính (QP) dưới đây (với z¯
là biến số) bằng cách hạn chế z1 = 0 trong bài toán (2.30).
minh(0,z¯) = 1 2(0, ¯ f)TQ 0 ¯ z + qT 0 ¯ z , (2.32)
với điều kiện Az¯≤ c. Vì (2.32) bị chặn dưới, ta có: τ = min{1 2(0,u¯) TQ 0 ¯ u : bTi u¯≤ 0,||u¯|| = 1} ≥ 0.
Xét hai trường hợp sau:
Trường hợp 1: Nếu τ > 0, thì ∀z = (z1,z¯) thỏa mãn Az¯+z1a ≤ c. Nhờ đánh giá của Hoffman trong Bổ đề 2.4.2, tồn tại y thỏa mãn Ay ≤0
sao cho:
||y−z¯|| ≤µ(||c||+|z1|||a||), trong đó µ là hằng số dương không phụ thuộc vào z và
||y −z¯|| ≤ µ(1 +|z1|). (2.33) Do đó, ta có: 1 2(z1,z¯) T Q z1 ¯ z ≥ 1 2(0,z¯) T Q 0 ¯ z −0(|z1|||z¯||+z12) ≥ 1 2(0, y) TQ 0 y −0(||z¯||||y −z¯||+||y−z¯||2)−0(|z1|||z¯||+z12) ≥ τ||y||2 −0(|z1|+ 1 +|z1|||z¯||+z12). Với mọi z = (z1,z¯) thỏa mãn biTz¯+z1a ≤ c. Từ (2.33) ta có:
1 2(z1,z¯) TQ z1 ¯ z ≥ τ||z¯||2 −0(|z1|+ 1 +|z1|||z¯||+ z12). Từ đây suy ra h(zk) = 1 2z kTQzk +qTzk+ z1k||zk||2 ≥ (τ +z1k)||z−k||2 −0(|z1k|+ 1 + (|z1k|+||q||)||z¯k||+z12) → ∞;k → ∞. trong đó, bước cuối cùng có được là do τ > 0,||zk|| → ∞ và xk1 → 0. Điều này mâu thuẫn với giả thiết là h(zk) →inf((2.29)).
Bây giờ, xét trường hợp τ = 0. Khi đó tồn tại u = (0,u¯) với ||u|| = 1
39 1 2(0,u¯) T Q 0 ¯ u .= 0;Au¯ ≤0. (2.34) Ta khẳng định rằng, z1k ≤0,∀k. Thật vậy, giả sử z1k < 0, với một giá trị k. Khi đó cho wk(t) = xk +tu với t > 0, suy ra wk(t) là véc tơ chấp nhận được của (2.32) và h(wk(t)) là một hàm toàn phương của t. Ngoài ra, có thể kiểm tra rằng, bằng cách dùng điều kiện (2.34), hệ số của t2 trong đa thức toàn phương này bằng z1k. Nếu zk1 ≤ 0thìh(wk(t)) → −∞, với mọi t lớn, mâu thuẫn với tính bị chặn của bài toán (2.30). Do đó, ta có zk1 ≥ 0,∀k. Không làm giảm tính tổng quát, giả sử z1k ↓0.
Như đã lưu ý ở trên, bài toán (2.32) phải có cận dưới đúng hữu hạn. Theo định lý Frank- Wolfe, cận dưới đúng đó là đạt được. Do đó, theo Bổ đề 2.4.1, nếu ta chỉ ra được inf((2.32)) = inf((2.30)) thì bất kì nghiệm cực tiểu nào của bài toán (2.32) cũng là nghiệm cực tiểu của bài toán (2.30). Rõ ràng, inf((2.32)) ≥ inf((2.30)). Bây giờ ta chỉ ra inf((2.32)) ≤ inf((2.30)) là xong. Xét hệ tuyến tính theo z¯ : Qz¯ ≤ c. Nhờ đánh giá của Hoffman, tồn tại y¯k sao cho:
Ay¯k ≤ c;||y¯k −z¯k|| = O(z1k), (2.35) trong đó, "O" là đại lượng không đổi, không phụ thuộc vào k. Đặt yk = (0,(¯yk)T)T. Khi đó, bằng khai triển Taylor, ta có:
h(yk)−h(zk) = 1 2(y k−zk)TQ(yk −zk) + (Qzk +q)T(yk −zk)−z1k||zk||2 ≤ O(||yk−zk||2) +O(||yk −zk||||zk||)−z1k||zk||2 ≤ O(z1k)2 + O(||zk||z1k)−z1k||zk||2 < 0,∀k đủ lớn,
trong đó, bước cuối cùng thứ 2 suy ra từ (2.35) và bước cuối cùng là do
||zk|| → ∞ và z1k ↓0. Lấy giới hạn khi k → ∞, ta được:
lim
Điều này có nghĩa là inf((2.32)) ≤ inf((2.30)). Theo Bổ đề 2.4.1, ta có kết quả cần chứng minh.
Sử dụng Bổ đề 2.4.3, ta có ngay:
Bổ đề 2.4.4. Nếu bài toán (2.27) bị chặn dưới trên miền chấp nhận được thì cận dưới đúng của (2.27) đạt được.
Chứng minh. Tiếp tục như trong Bổ đề 2.4.3, chỉ cần xét trường hợp λ = 0;ai ≤ 0;∀i và chuẩn của dãy tiến tới inf (2.27) không bị chặn. Áp dụng Bổ đề 2.4.3 ta kết luận (2.28) có nghiệm tối ưu.
Vì inf(2.28) =inf(2.27), suy ra tồn tại nghiệm tối ưu của (2.27). Bổ đề 2.4.5. Xét bài toán QP dưới đây:
min{1
2y
TQy+qTy},
với By ≤ c.
Giả sử tồn tại hai tập vô hạn U và V sao cho với mỗi q ∈ U và c ∈ V thì
bài toán QP có nghiệm tối ưu. Khi đó, tồn tại tập con vô hạn U0 ⊆ U
; V0 ⊆ V và một ánh xạ affine L độc lập với U và V sao cho với mọi
q ∈ U0; c ∈ V0, nghiệm tối ưu y của QP có thể được biểu diễn dưới dạng
y = L(q, c).
Chứng minh. Đầu tiên, theo định lý Frank- Wolfe, nghiệm tối ưu của bài toán QP luôn đạt được. Tiếp theo, mọi nghiệm tối ưu của QP là nghiệm của bài toán (LCP) sau:
Qy +q +BTx = 0 By + s= c sixi = 0,∀i, s ≤ 0;x ≤0.
Để thuận tiện, giả sử ma trận B có hạng cột đầy đủ. Kí hiệu I là tập chỉ số sao cho BI khả nghịch. Kí hiệu J là phần bù của I. Khử y ta được
41
bài toán (LCP)0 tương đương với (LCP) dưới đây:
xI = −BI−T(QBI−TcI +q) +BI−TQBI−TsI −BI−TBJTxJ sJ = cJ −BJBI−TcI +BJBI−TsI.
Hoán đổi các biến số s từ phải sang trái. Gọi biến bên trái là biến chính, bên phải là biến phụ. Khi đó, bất kì nghiệm(x, s) có thể đạt được bằng công thức tuyến tính đơn giản từ (LCP)0.
Vì chỉ có hữu hạn cách phân chia tập chỉ số, ta kết luận rằng phải có các tập vô hạn U0 ⊂ U và V0 ⊂ V sao cho với q ∈ U0 bất kì, và c ∈ V0 bất kì, sự phân chia biến chính- biến phụ của véc tơ (x, s) còn lại không đổi. Chính vì thế, nghiệm (x, s) có thể biểu diễn như là một hàm affine của q và c. Cuối cùng, thấy rằng biến y liên quan đến s theo hệ thức sau
y = BI−1cI −BI−1sI
. Bổ đề được chứng minh. Để thuận lợi hơn, ta đưa vào biến phụ y0 trong(2.24) và xét minf(x, y0, y) = 1 2x TQx+qTx+ (gT +xTG)y + 1 2y THy. (2.36) Giả thiết ||x||2 ≤y0;Ax+By ≤ c;y0 = hTy +d.
Bổ đề 2.4.6. Giả sử bài toán (2.36) bị chặn dưới trên tập ràng buộc. Khi đó cận dưới đúng của nó đạt được.
Chứng minh. Xét dãy {(xk, y0k, yk)} trong tập ràng buộc của (2.24) sao cho
f(xk, y0k, yk) ↓ inf((2.36)).
Với mỗi k cố định, xét bài toán (QP) với ràng buộc tuyến tính sau:
min(gT + xkTG)y + 1 2y
T
Hy. (2.37)
Bài toán (2.37) bị chặn dưới vì (2.36) bị chặn dưới. Theo định lý Frank- Wolfe thì (2.37) đạt được cận dưới đúng. Áp dụng Bổ đề 2.4.5 để kết luận rằng tồn tại tập con hữu hạnK ⊂ {1,2, . . .} sao cho với mọik ∈ K thì bài toán (2.37) có một nghiệm tối ưu biểu diễn dưới dạng:
¯
yk = L1xk +y0kl2 +l3
với ma trận L1 cố định và véc tơ cố đinh l2, l3. Thế quan hệ trên y = L1x+ y0l2 + l3
vào (2.36) ta nhận được bài toán dạng (2.27). Bài toán đó bị chặn dưới và có cùng cận dưới đúng như (2.36). Theo Bổ đề 2.4.4 và Bổ đề 2.4.1 thì cận dưới đúng của (2.36) cũng đạt được.
Chứng minh. (chứng minh Định lý 2.4.1)
Chứng minh định lý này được chia làm nhiều bước nhỏ. Ý chính của chứng minh là trình bày một số phép đổi biến và phát biểu lại bài toán sao cho cấu trúc bản chất của bài toán được bộc lộ rõ ràng, và sau đó áp dụng đánh giá của Hoffman và định lý Frank- Wolfe cho bài toán thu được. Sử dụng 6 bổ đề trên cùng vài phép biến đổi, định lý được chứng