Như phần trước đã nêu các vấn đề của phương pháp SVM:
●Xác định một hàm nhân K(x, y) thỏa mãn điều kiện Mercer. Qua đĩ ngầm
xác định khơng gian đặc trưng để ánh xạ các mẫu vào.
●Trong giai đoạn huấn luyện, giải bài tốn đối ngẫu:
Tìm max của
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 48
Để tìm ra các ui từ đĩ tìm ra b. Đây là một bài tốn tối ưu bậc hai QP (Quadratic Programming).
●Trong giai đoạn nhận dạng, tìm phân lớp của một mẫu bằng các kiểm tra
dấu của hàm:
Như vậy vấn đề cơ bản trong giai đoạn huấn luyện là ở giải bài tốn QP để tìm max của F(u). Để tìm max F(u), phương pháp cơ bản là phương pháp giảm đạo hàm. Xuất phát từ một u0 nào đĩ trong miền xác định, ở mỗi bước t thay ut bằng
ut+1 theo chiều giảm đạo hàm của F(u) để cĩ F(ut+1) > F(ut) trong khi ut vẫn nằm trong miền xác định. Sau một số bước lặp hữu hạn sẽ chọn được ut sao cho F(ut) cĩ giá trị lớn nhất. Vì bài tốn SVM là bài tốn lồi, F(u) và miền xác định đều lồi, nên bảo đảm đây là nghiệm của bài tốn. Cĩ một số tiêu chuẩn xấp xỉ để dừng việc lặp
(điều kiện dừng) là:
●F(ut+1) khơng tăng quá F(ut) một tỉ lệ ngưỡng nào đĩ. Đây là một điều kiện dễ thấy, tuy nhiên khơng đạt hiệu quả cao trong thực tế.
●ut thoả điều kiện Karush-Kuhn-Tucker. Chương 3 đã nĩi rằng nếu một
điểm thoả điều kiện KKT thì đĩ là cực trị. Đối với bài tốn trên các điều kiện KKT là như sau: ◦Đối với bài tốn gốc: i = 1, 2,…,l i = 1, 2,…,l i = 1, 2,…,l i = 1, 2,…,l ◦Đối với bài tốn đối ngẫu: i = 1, 2,…,l i = 1, 2,…,l i = 1, 2,…,l i = 1, 2,…,l Trong điều kiện f là hàm nhận dạng: f(x) =
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 49 Dựa trên các điều kiện trên suy ra được:
◦Nếu : (mẫu khơng phải support vector)
◦Nếu (mẫu là support vector)
◦Nếu ui = C: (mẫu là lỗi)
Do đĩ nếu một xi mà ứng với một ui nào đĩ mà thoả mãn điều kiện KKT thì cũng thoả mãn điều kiện. Và ngược lại nếu vi phạm điều kiện thì cũng là vi phạm điều kiện KKT.
Do đĩ với một vector ut, nếu tất cả các thành phần của nĩ thoả điều kiện theo một ngưỡng nào đĩ thì xem như là một điều kiện dừng.
●Khi khoảng cách đối ngẫu giữa bài tốn gốc và bài tốn đối ngẫu nhỏ hơn
một ngưỡng nào đĩ (theo chương 3 giá trị của bài tốn gốc và giá trị của
bài tốn đối ngẫu bằng nhau tại điểm cực trị nên khoảng các đối ngẫu bằng 0).
Trở lại phương pháp giảm đạo hàm, đứng về phương diện tính tốn việc tính
đạo hàm của F(u) gặp phải một số khĩ khăn như sau: Đạo hàm riêng phần theo chiều i là:
Việc tính tốn hết tất cả các chiều (cĩ l chiều như vậy) địi hỏi phải tốn rất nhiều phép tính và bộ nhớ (cĩ l giá trị ). Để giải quyết vấn đề trên, các nhà nghiên cứu đã đề xuất các phương án hueristic để tại mỗi bước lặp chỉ cần cập nhật một số chiều của vector u mà thơi chứ khơng phải thay đổi giá trị của tất cả l chiều.
Đĩ là các phương pháp gom cụm, phân rã, và cực tiểu tuần tự.
(adsbygoogle = window.adsbygoogle || []).push({});