Điều kiện Karush-Kuhn-Tucker (KKT)

Một phần của tài liệu Nghiên cứu giải thuật naїve bayes trong bài toán phân loại văn bản (Trang 35 - 37)

Điều kiện KKT được phát biểu như sau:

Xét vấn đề sau: Cực tiểu: f(x) Dựa trên: Nếu f(x) là hàm lồi tại x0, và S là tập lồi với là các hàm liên tục, khả vi tại x0 thi điều kiện cần và đủ để f(x0) là cực tiểu của f(x) là: Tồn tại u1, u2, … ,um; sao cho: với i = 1, 2, …, m với i = 1, 2, …, m là đạo hàm của f(x) và g(x) tại x0

Luận văn tốt nghiệp Nghiên cu gii thut NB trong bài tốn TC

Trang 31

Hình 8. Ý nghĩa hình học của điều kiện KKT

Trong hình trên, miền xác định S được giới hạn bởi các hàm:

Trong đĩ g1 và g2 cắt nhau tại x1, cịn g3g2 cắt nhau tại x2. A là điểm cực tiểu của hàm f(x) nếu x khơng bị giới hạn bởi S. Các đường cong đứt nét là các

đường mức mà cĩ cùng giá trị f(x). Từ hình vẽ cĩ thể phán đốn rằng chính x1 là

điểm cực tiểu của f(x) trong miền xác định S.

Bây giờ ta cũng xem xét x1 và x2 dưới điều kiện KKT.

Đạo hàm của g1(x) và g2(x) tại x1 là hai vector và . Đạo hàm của f(x) tại x1 là vector . Điều kiện KKT nĩi rằng nếu x1 là cực tiểu của f(x) thì tồn tại u1, u2, …, um thỏa:

với i = 1, 2, 3 với i = 1, 2, 3 Vì x1 g3(x) nên g3(x1) ≠ 0, theo điều kiện trên thì u3 = 0. Vì g1(x1) = 0 và

Luận văn tốt nghiệp Nghiên cu gii thut NB trong bài tốn TC

Trang 32

Mệnh đề này chứng tỏ rằng vector cĩ thể được phân tích một tồng tuyến tính của hai vector và . Điều này chỉ cĩ thể xảy ra khi vector – thuộc hình chĩp tạo bởi hai vector và .

Trở lại với hình vẽ, đối với điểm x1 cĩ thể thấy rằng vector – nằm giữa hai vector và nên suy ra mệnh đề KKT được thỏa mãn tại x1. Điều đĩ

chứng tỏ rằng x1 là cực tiểu của f(x) trong miền S.

Cịn đối với điểm x2 thì vector – khơng nằm giữa hai vector và. Nên sẽ

khơng tồn tại u2 và u3 để:

Do đĩ x2 khơng thỏa điều kiện KKT, x2 khơng phải là cực tiểu của f(x) trong S.

Điều kiện KKT chỉ đơn thuần là điều kiện kiểm định tính cực trị của một biến.

Nĩ khơng đưa ra cách để tìm đến nghiệm của bài tốn.

Một phần của tài liệu Nghiên cứu giải thuật naїve bayes trong bài toán phân loại văn bản (Trang 35 - 37)

Tải bản đầy đủ (PDF)

(68 trang)