Cho một bài tốn tối ưu (bài tốn phát biểu đầu chương), các nhà tốn học tìm ra một bài tốn tối ưu khác liên quan chặt chẽ với bài tốn đĩ. Bài tốn thứ nhất
được gọi là bài tốn gốc (primal problem), bài tốn thứ hai được gọi là bài tốn đối ngẫu (dual problem) hay cịn được gọi là bài tốn đối ngẫu Lagrangian. Dưới một vài giả thiết về tính lồi, bài tốn gốc và bài tốn đối ngẫu cĩ cùng kết quả ( cực tiểu của bài tốn gốc bằng với cực đại của bài tốn đối ngẫu). Từ nghiệm của bài tốn
đối ngẫu suy ra được nghiệm của bài tốn gốc và ngược lại.
Vấn đề đối ngẫu rất cĩ ích. Nhiều khi bài tốn gốc quá phức tạp để tìm nghiệm, người ta chuyển qua giải tốn đối ngẫu thì đơn giản hơn, và từ đĩ suy ngược ra lại nghiệm của bài tốn gốc. Phương pháp SVM cĩ dùng đến phương pháp đối ngẫu này.
Để đơn giản ở đây chỉ trình bày bài tốn gốc cĩ miền giới hạn là tập các bất
phương trình: S = {gi(x): gi(x) ≤ 0, i = 1, 2, … , m}. Phát biểu bài tốn đối ngẫu: Cho bài tốn gốc: Cực tiểu: f(x) Dựa trên: g(x) ≤ 0 với i = 1, 2, … , m x Rn Thì bài tốn đối ngẫu Langrangian của nĩ là: Cực đại : Dựa trên: x Rn
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 33 Với
Các ui được gọi là các hệ số nhân Lagrangian.
Định lý: nếu f(x) là các hàm lồi và S là tập lồi thì kết quả bài tốn gốc và kết quả bài tốn đối ngẫu là bằng nhau, nghĩa là:
Hơn nữa nếu x0 là nghiệm của bài tốn gốc và u0 là nghiệm của bài tốn đối ngẫu thì x0 và u0 liên hệ với nhau qua điều kiện KKT của bài tốn gốc:
i = 1, 2, … , m
Đây là tính chất quan trọng vì nĩ giúp ta tìm được nghiệm của bài tốn gốc thơng qua nghiệm của bài tốn đối ngẫu sau khi đã giải bài tốn đối ngẫu.
Ý nghĩa hình học của bài tốn đối ngẫu trong mối quan hệ với bài tốn gốc
được minh họa qua ví dụ sau:
Tìm cực tiểu của f(x) với x Rn và g(x) ≤ 0
Trong mặt phẳng (z1, z2), xây dựng một tập G như sau: z1 = g(x), z2 = f(x).
Như vậy là ta đã ánh xạ khơng gian Rn vào thành một tập G trong khơng gian
R2 thơng qua ánh xạ (g,f)
Bài tốn gốc trở thành tìm điểm (z01, z02) sao cho z01≤ 0 và z02 là bé nhất. Rõ ràng (z01, z02) là điểm chỉ định trên hình vẽ.
Bây giờ cho u ≥ 0, ta phải xác định của bài tốn đối ngẫu. Vì
nên để tìm ta di chuyển đường thẳng f(x) + ug(x) = z1 + z2 = α sao cho α là bé nhất mà vẫn đảm bảo đường thẳng này cĩ giao với G. Vậy là giá trịα khi đường thẳng tiếp tuyến với G như trong hình dưới.
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 34
Ta đã tìm được tương ứng với một u ≥ 0 nào đĩ. Để tìm lớn nhất (mục tiêu của bài tốn đối ngẫu) ta xoay đường thẳng sao cho nĩ cắt trục tung tại
điểm lớn nhất. Rõ ràng điểm này cũng chính là điểm (z01, z02) của bài tốn gốc.
đạt được lớn nhất với hệ số gĩc đường thẳng là –u0.
Vậy nghĩa là kết quả của bài tốn đối ngẫu bằng với kết quả
của bài tốn gốc.