Bài viết phân tích phương pháp để giải bài toán tối ưu phi tuyến có rằng buộc bằng phương pháp Gradient cổ điển. Bài viết cũng trình bày bài toán phân lớp dữ liệu (SVM), áp dụng phương pháp Gradient để đưa bài toán phân lớp dữ liệu về bài toán tối ưu.
TRƯỜNG ĐẠI HỌC THỦ ĐÔ H 136 NỘI GIẢ GIẢI B I TOÁN TỐ TỐI ƯU BẰNG PHƯƠNG PHÁP GRADIENT V ỨNG DỤ DỤNG Nguyễn Quốc Tuấn Trường Đại học Thủ Hà Nội Tóm tắ tắt: Bài báo phân tích phương pháp để giải tốn tối ưu phi tuyến có buộc phương pháp Gradient cổ điển Đối với phương pháp gradient cổ ñiển sử dụng phương pháp hàm chắn để đưa tốn phi tuyến khơng ràng buộc ሼ݉݅݊ ߶ ൌ ݂ ߖሽ, sau thực giải tốn tối ưu phi tuyến khơng ràng buộc.Trong báo ñưa phương pháp Gradient cải tiến để giải tốn tối ưu ሼ݉݅݊ ߶ሽ với hàm ߖ phức tạp nhiều so với phương pháp gradient cổ điển.Trong báo trình bày tốn phân lớp liệu (SVM), áp dụng phương pháp Gradient ñể ñưa toán phân lớp liệu toán tối ưu Từ khóa: khóa Phương pháp Gradient, Phương pháp Gradient cải tiến, Support vector machine, hàm chắn, tập mẫu Nhận ngày 18.7.2017; gửi phản biện, chỉnh sửa duyệt ñăng ngày 10.9.2017 Liên hệ tác giả: Nguyễn Quốc Tuấn; Email: nqtuan@daihocthudo.edu.vn MỞ ĐẦU Lý thuyết tối ưu ngành tốn học phát triển mạnh, ngày có nhiều ứng dụng quan trọng lĩnh vực khoa học, kỹ thuật, công nghệ quản lý đại Cuộc cách mạng cơng nghệ thơng tin tạo ñiều kiện thuận lợi ñể ứng dụng tối ưu hóa cách rộng rãi thiết thực Trong toán học, thuật ngữ tối ưu hóa tới việc nghiên cứu tốn tìm nghiệm tối ưu Bài báo phân tích số phương pháp để giải tốn tối ưu phi tuyến có ràng buộc Đối với phương pháp gradient cổ ñiển sử dụng phương pháp hàm chắn ñể đưa tốn phi tuyến khơng ràng buộc ሼmin ߶ ൌ ݂ Ψሽ, sau thực giải tốn tối ưu phi tuyến khơng ràng buộc Phương pháp gradient cải tiến giải toán tối ưuሼmin ߶ሽ với hàm Ψ phức tạp nhiều so với phương pháp gradient cổ ñiển Trong báo giới thiệu toán phân lớp liệu dùng phương pháp SVM ñể ñưa toán phân lớp liệu toán tối ưu Sau đó, báo trình bày số tính tốn thử nghiệm, ứng với thuật tốn ñề xuất TẠP CHÍ KHOA HỌC − SỐ 18/2017 137 GIỚI THIỆU VỀ BÀI TOÁN PHÂN LỚP DỮ LIỆU SUPPORT VECTOR MACHINE (SVM) Support Vector Machines (SVM) [1] kỹ thuật tốn phân lớp liệu, ñây phương pháp học sử dụng khơng gian giả thiết hàm tuyến tính khơng gian đặc trưng nhiều chiều dựa vào lý thuyết tối ưu lý thuyết thống kê Trong kỹ thuật SVM, khơng gian liệu nhập ban đầu ánh xạ vào khơng gian đặc trưng có xác định mặt siêu phẳng phân chia tối ưu SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác Do đó, SVM thuật tốn phân loại nhị phân { } Tập D = ( xi , ci ), xi ∈ R n , i = 1, 2, , m , ci ∈ {−1,1} ñược gọi tập mẫu học Tập mẫu học tầm thường tất nhãn ci có giá trị Giả sử tập phân tách tuyến tính, nghĩa tập ñược chia thành hai miền ñược xác ñịnh hai siêu phẳng song song, cho lớp thuộc không miền không gian mà không nằm hai siêu phẳng Hình Các siêu phẳng phân tách khơng gian hai chiều Hình Siêu phẳng tách Hình Siêu phẳng tối ưu TRƯỜNG ĐẠI HỌC THỦ ĐƠ H 138 NỘI Phương trình tương ứng hai siêu phẳng: +) ݓۦ, ۧݔെ ܾ ൌ +) ݓۦ, ۧݔെ ܾ ൌ െ1 Trong đó: +) w gọi vector pháp tuyến +) n chiều b giá trị ngưỡng, xác ñịnh khoảng cách siêu phẳng gốc Người ta muốn tìm véc tơ W cho khoảng cách hai siêu phẳng tách lớn Điều dẫn đến tốn tối ưu báo trình bày mục GIẢI BÀI TOÁN TỐI ƯU BẰNG PHƯƠNG PHÁP GRADIENT 3.1 Phương pháp Gradient 3.1.1 Bài toán qui hoạch phi tuyến khơng ràng buộc Xét tốn qui hoạch phi tuyến không ràng buộc: [3] ݂ሺݔሻ, ௫∈ோ Giả sử ݂ hàm khả vi, ñiểm cực trị ∗ ݔcủa ݂ thỏa mãn: ݂ሺ ∗ ݔሻ ൌ 0, Việc trực tiếp giải phương trình ݂ሺ ݔሻ ൌ phức tạp Do cần xây dựng phương án hiệu so với việc giải trực tiếp toán ݂ሺ ݔሻ ൌ Ý tưởng phương pháp tìm dãy phương án chấp nhận ñược ሼݔ ሽ hội tụ ñến ∗ ݔ Giá trị dãy số bước ݇ ước tính: ݔାଵ ൌ ݔ ݐ ݀ , Trong đó, véc tơ ݀ hướng di chuyển từ ݔ ñến ݔାଵ ñộ dài bước di chuyển ݐ Để ñiều kiện: ݂ሺݔ ሻ ൏ ݂ሺݔାଵ ሻ ñược bảo ñảm giá trị ݔାଵ mới, véc tơ hướng giảm phải thỏa mãn: 〈݂ሺݔ ሻ, ݀ 〉 ൏ Khi với độ dài bước ݐ đủ bé ta có: ݂ሺݔାଵ ሻ ൌ ݂ሺݔ ݐ ݀ ሻ ൌ ݂ሺݔ ሻ ݐ 〈݂ሺݔ ሻ, ݀ 〉 ሺݐ ሻ ൏ ݂ ሺݔ ሻ, Chọn hướng ݀ ൌ െ݂ሺݔ ሻ Suy ra: TẠP CHÍ KHOA HỌC − SỐ 18/2017 139 xk +1 = xk − tk ∇f ( xk ), k = 1, 2,3 Biểu diễn dạng tọa ñộ biểu thức trên: ( xi ) k +1 = ( xi )k − tk ∂f ( xk ) / ∂xi , i = 1, 2, , n Vì tính đơn giản, hiệu nên ñây phương pháp phổ biến ñược sử dụng cho tốn qui hoạch phi tuyến khơng ràng buộc Vấn đề cịn lại lựa chọn tk bước tính Thuật tốn sau ñưa giá trị ước tính tk bước Bước Chọn trước giá trị Bước Tính x = xk − t∇f ( xk ), Bước Kiểm tra: − Nếu f ( x) < f ( xk ) , lấy tk = t − Ngược lại, ñặt t = t / quay lại bước Hình Ý nghĩa hình học phương pháp gradient 3.1.2 Bài tốn tối ưu có buộc Xét tốn tối ưu có ràng buộc: [3] f ( x ) < f ( xk ) x∈C (3.1) Để áp dụng phương pháp giải tốn tối ưu khơng ràng buộc, người ta chuyển tốn tối ưu có ràng buộc dạng tốn tối ưu khơng ràng buộc Có nhiều phương pháp chuyển ñổi như: Phương pháp nhân tử Lagrange, phương pháp hàm chắn Ở ñây ta sử dụng phương pháp hàm chắn, cách ñịnh nghĩa hàm chắn Ψ hàm lồi tập sau: 0, x ∈ C Ψ ( x) = +∞, x ∉ C Và thực xét tốn tối ưu khơng ràng buộc hàm hai hàm: ñược biểu diễn tổng TRƯỜNG ĐẠI HỌC THỦ ĐÔ H 140 ݉݅݊߶ሺݔሻ ൌ ݂ ሺ ݔሻ Ψሺݔሻ xác ñịnh tập ܴ Trong đó, ݂ khả vi NỘI (3.2) Tuy nhiên, ta áp dụng trực tiếp phương pháp gradient hàm Ψ khơng khả vi biên ܥ Do người ta sử dụng thuật tốn gradient cải tiến để giải tốn tối nói Đặt: ࣠ሺݕሻ ൌ ሼ ݑൌ ߬ ሺ ݔെ ݕሻ, ܥ ∈ ݔ, ߬ 0ሽ ⊂ ܴ , tập hướng chấn nhận ñược ݕ Và: nón lồi ܰሺݕሻ ൌ ሼݏ: ݏۦ, ݔെ ۧݕ 0, ܥ ∈ ݏሽ ⊂ ܴ , ܥ ∈ ݕ Ta xét ñiều kiện tối ưu tương ñương ñể ∗ ݔlà ñiểm cực tiểu: ߶ ᇱ ሺ ∗ ݔሻ ൌ ߘ݂ሺ ∗ ݔሻ ߦ ∗ ∈ ܰሺ ∗ ݔሻ, (3.3) ∗ ߦۦ, ۧݑ 0, ∀ܨ ∈ ݑሺ ∗ ݔሻ, (3.4) ߶ۦᇱ ሺ ∗ ݔሻ, ۧݑ 0, ∀ܨ ∈ ݑሺ ∗ ݔሻ (3.5) với ߦ ∗ ∈ ߲Ψሺ ∗ ݔሻ Nói cách khác: Mà Ψ hàm lồi, suy ra: Chú ý: Với trường hợp hàm ݂ lồi, ràng buộc từ (3.2) ñến (3.4) ñiều kiện ñủ ñể ∗ ݔlà cực tiểu toàn cục ߶ tập lồi ܥ Định lý 3.1: Điểm ܥ ∈ ݔthỏa mãn ñiều kiện tối ưu cực tiểu ñịa phương bậc hàm ߶ tập ܥvới độ xác ߳ nếu: 〈߶ ᇱ ሺ ̅ݔሻ, 〉ݑ െ߳, ∀࣠ ∈ ݑሺݔሻ, || ||ݑൌ (3.6) Đây điều kiện dừng thuật tốn gradient Trong trường hợp ܨሺݔሻ ൌ ܴ ߘ݂ሺݔሻ ߲Ψሺݔሻ ് 0, rút gọn bất ñẳng thức (2.5): തതതതതത െ߳ ݉݅݊ 〈߶ ᇱ ሺݔሻ, 〉ݑൌ ݉݅݊ ݂݉ܽߘ〈 ݔሺ ̅ݔሻ ߦ, 〉ݑ ห|௨|หୀଵ ห|௨|หୀଵ క∈డఅሺ௫̅ ሻ ൌ ݉݅݊ ݂݉ܽߘ〈 ݔሺ ̅ݔሻ ߦ, 〉ݑ ห|௨|หஸଵ క∈డఅሺ௫̅ ሻ ൌ ݂݉ܽߘ〈 ݊݅݉ ݔሺ ̅ݔሻ ߦ, 〉ݑ క∈డఅሺ௫̅ ሻ ห|௨|หஸଵ ൌ െ ݉݅݊ ‖ߘ݂ሺ ̅ݔሻ ߦ‖ ห|௨|หஸଵ TẠP CHÍ KHOA HỌC − SỐ 18/2017 141 Với ܥ ∈ ݕ, ký hiệu: ܮ ݉ ሺݔ ;ݕሻ ൌ ݂ ሺݕሻ 〈݂ሺݕሻ, ݔെ 〉ݕ ‖ ݔെ ‖ݕଶ Ψሺ ݔሻ, (3.7) ܶ ሺݕሻ ൌ ܽ݊݅݉݃ݎ௫∈ொ ݉ ሺ ݔ ;ݕሻ, (3.8) ݃ ሺݕሻ ൌ ܮ൫ ݕെ ܶ ሺݕሻ൯ ∈ ܴ (3.9) 〈݂ሺݕሻ ܮሺܶ ሺݕሻ െ ݕሻ ߦ ሺݕሻ, ݔെ ܶ ሺݕሻ〉 0, ∀ܥ ∈ ݔ, (3.10) ߶ ᇱ ൫ܶ ሺݕሻ൯ ൌ ݂൫ܶ ሺݕሻ൯ ߦ ሺݕሻ ∈ ߲߶൫ܶ ሺݕሻ൯ (3.11) ‖݂ሺݔሻ െ ݂ሺݕሻ‖ ܮ ‖ ݔെ ‖ݕ, ∀ݔ, ܥ ∈ ݕ, (3.12) ܮlà số dương Xét véc tơ: Trong trường hợp ܳ ≡ ܴ , Ψ ≡ ݃ ሺݕሻ ൌ ߘ߶ሺݕሻ ≡ ߘ݂ሺݕሻ với tham số ܮ Một số tính chất điều kiện tối ưu bậc nhất: ߦ ሺݕሻ ∈ ߲Ψሺܶ ሺݕሻሻ Suy ra: Giả sử hàm mục tiêu (2.1) thỏa mãn ñiều kiện Lipschitz: Do tập ܥlồi, biểu thức (3.9) tương ñương với: |݂ሺݔሻ െ ݂ሺݕሻ െ 〈݂ሺݔሻ, ݔെ |〉ݕ ܮ ‖ ݔെ ‖ݕଶ , ∀ݔ, ܥ ∈ ݕ, Gọi ܵ ሺݕሻ ñộ biến thiên hàm ߶ tập ܥ ܵ ሺݕሻ ൌ ฮ݂൫ܶ ሺݕሻ൯ െ ݂ሺݕሻฮ ܮ ‖ܶ ሺݕሻ െ ‖ݕ 3.1.3 Thuật toán gradient [4] Thuật toán 3.1 Vòng lặp phương pháp gradient ࣡థ ሺݔ, ܯሻ ࡿࡱࢀ: ܮ: ൌ ܯ ࡾࡱࡼࡱࢀ: ܶ: ൌ ܶ ሺݔሻ ࡵࢌ߶ሺܶሻ ݉ ሺݔ, ܶሻ ࢀࢎࢋ ܮ: ൌ ܮ ߛ௨ ࢁࡺࢀࡵࡸ: ߶ሺܶሻ ݉ ሺݔ, ܶሻ ࡻࢁࢀࡼࢁࢀ: ࣡థ ሺݔ, ܯሻ ܶ ൌ ܶ; ࣡థ ሺݔ, ܯሻ ܮൌ ;ܮ (3.13) TRƯỜNG ĐẠI HỌC THỦ ĐÔ H 142 NỘI Chọn giá trị khởi tạo cho thuật toán gradient: − ܮ , ൏ ܮ ൏ ܮ ܮ số Lipschitz gradient hàm f (thường chọn số L lớn) − Hai tham số ñiều chỉnh ߛ௨ ߛௗ − Chọn ݕ ∈ ܳ − k nguyên, ݇ Với việc chọn tham số ñiều chỉnh trên, dễ thấy giá trị ܮluôn tăng ܮ ܮ Thuật toán 3.2 Thuật toán gradient ࣡థ ࣧሺݕ , ܮ ሻ ITERATION: (Bước lặp k) ݕାଵ: ൌ ࣡థ ሺݕ , ܮ ሻ ܶ, ܯ ≔ ࣡థ ሺݕ , ܮ ሻ ܮ, ܮାଵ ≔ max ൜ܮ , ܯ ൠ ߛௗ Suy ݕାଵ ൌ ܶெ ሺݕ ሻ, từ thuật toán thu ñược biểu thức sau hiển nhiên ñúng: ܮ ܮ ܯ ߛ௨ ܮ Ngoài ra, ߛ௨ ߛௗ thì: (3.14) ܮ ܮ , ∀݇ 3.2 Thuật tốn Gradient cải tiến Sau đây, phát biểu thuật tốn Gradient đối ngẫu Thuật tốn 3.2 Thuật tốn Gradient đối ngẫu ࣞ࣡థ ሺ߭ , ܮ ሻ, ݇ [2] INITIAL (Khởi tạo): Cho ߭ ∈ ݀݉Ψ, ñịnh nghĩa hàm ߰ ሺݔሻ ൌ ଶ ‖ ݔെ ߴ ‖ଶ , chọn số dương ܮ cho ܮ ൏ ܮ ଵ ITERATION (Bước lặp k): ݕ ൌ ࣡థ ሺߴ , ܮ ሻܶ, ܯ ൌ ࣡థ ሺߴ , ܮ ሻܮ, ܮାଵ ൌ max ൜ܮ , ܯ ൠ , ߙାଵ ൌ , ߛௗ ܯ ߰ାଵ ሺݔሻ ൌ ߰ ሺݔሻ ߙାଵ ሾ݂ሺݔାଵ ሻ 〈݂ሺݔାଵ ሻ, ݔെ ݔାଵ 〉ሿ Ψሺݔሻ TẠP CHÍ KHOA HỌC − SỐ 18/2017 143 Tiếp theo ñây, xét đến thuật tốn cải tiến có tốc ñộ hội tụ tốt hẳn so với hai thuật toán thuật toán gradient thuật toán gradient ñối ngẫu ñã ñược xét ñến ଵ ‖ݔ ଶ Thuật toán 3.3 Thuật toán gradient cải tiến ࣛሺݔ , ܮ , ߤሻ [1] INITIAL (Khởi tạo): Chọn x ∈ domΨ, ߤ thuộc ñoạn ሺ0, ߤஏ ሿ ñủ bé, ܽ ൌ Đặt ߰ ሺݔሻ ൌ െ ݔ ‖ଶ, chọn số dương ܮ cho ܮ ൏ ܮ ITERATION (Bước lặp k): - Đặt ܮ: ൌ ܮ - Tìm ܽ giá trị thỏa mãn phương trình bậc hai ܶ ሺݕሻ theo biếu thức (3.7) ଶ మ ೖ ା ൌ2 ଵାఓೖ Đặt ݕൌ ೖ ௫ೖ ାణೖ , ೖ ା tính - Nếu 〈߶ ᇱ ൫ܶ ሺݕሻ൯, ݕെ ܶ ሺݕሻ〉 ൏ ฮ߶ ᇱ ൫ܶ ሺݕሻ൯ฮ dừng thuật toán, lấy giá trị ܮ ≔ ܮ ߛ௨ ଵ - Nếu không, chuyển sang bước iii thực gán: ݕ ≔ ݕ, ܯ ≔ ܮ, ܽାଵ ≔ ܽ, ܯ ,ݔ ≔ ܶெೖ ሺݕ ሻ, ܮାଵ ≔ ߛௗ ାଵ ߰ାଵ ሺݔሻ ൌ ߰ ሺݔሻ ߙାଵ ሾ݂ሺݔାଵ ሻ 〈݂ሺݔାଵ ሻ, ݔെ ݔାଵ 〉ሿ Ψሺݔሻ Quay lại bước ii MỘT SỐ TÍNH TỐN THỬ NGHIỆM Từ toán phân lớp nêu Mục 2, đưa tốn dạng tối ưu Vùng không gian nằm hai siêu phẳng gọi cận biên, khoảng cách hai siêu phẳng Bài tốn đặt là, tìm khoảng cách lớn hai siêu phẳng Như vậy, toán w chuyển tốn tối ưu phát biểu sau: Tìm cực tiểu hàm: ݉݅݊||||ݓଶ với điều kiện: ܿ ሺݓۦ, ݔ ۧ െ ܾሻ 1, ∀݅ ൌ 1,2, , ݉ Trong nhiều trường hợp, tập huấn luyện D khơng phân tách tuyến tính (hay tồn điểm nhiễu), ta sử dụng biến bù ߦ để đo mức độ khơng thể phân loại ñiểm liệu ߦ : ܿ ሺݓۦ, ݔ ۧ െ ܾሻ െ ߦ , ݅ ݉ hàm mục tiêu tăng thêm lượng tương ứng tham số ߦ khác không Cụ thể toán lúc trở thành: TRƯỜNG ĐẠI HỌC THỦ ĐÔ H 144 NỘI minሼ ‖‖ݓଶ ܥ ߦ ሽ ୀଵ với ñiều kiện ܿ ሺݓۦ, ݔ ۧ െ ܾሻ െ ߦ , ∀݅ ൌ 1,2, , ݉ Đây hàm mục tiêu dạng quy hoạch toàn phương, trường hợp riêng qui hoạch lồi tuyến tính Vì vậy, cịn giải phương pháp Franke-Wolfe hay phương pháp đơn hình Beale Tiếp đây, sử dụng thuật tốn gradient để giải toán tối ưu với hàm mục tiêu Xét với trường hợp riêng toán nêu ܾ ൌ 0, chọn tham số C = λm viết lại toán tối ưu cần giải: ߣ ݉݅݊߶ሺݓሻ ൌ ‖‖ݓଶ ݈ ሺݓሻ ݉ ୀଵ (4.1) với ñiều kiện: ݈ ሺݓሻ ൌ ݉ܽݔሼ 0,1 െ ܿ ݓۦ, ݔ ۧሽ, ݅ ൌ 1,2, , ݉ Trong trường hợp ݂ ሺ ݔሻ ൌ ଶ ‖‖ݔଶ , hàm Ψሺ ݔሻ ൌ ∑ ୀଵ ݈ ሺݔሻ ఒ ଵ Ta sử dụng thuật tốn gradient để giải tốn cụ thể Tức tìm tọa độ véc tơ ݓሺݓଵ , ݓଶ ሻ nghiệm tối ưu toàn cục hàm số: ߣ ߶ሺݓሻ ൌ ‖‖ݓଶ ݈ ሺݓሻ ݉ ୀଵ Ý tưởng toán sau: − Cho trước véc tơ pháp tuyến a, có gốc nằm đường thẳng phân chia hai lớp liệu cho trước − Hai lớp liệu ñược tạo ngẫu nhiên gán nhãn ሼ1; െ1ሽ − Sau sử dụng thuậ tốn tối ưu gradient để tìm véc tơ pháp tuyến đường thẳng tối ưu phân chia hai lớp liệu ñã tạo ngẫu nhiên (véc tơ pháp tuyến có gốc nằm ñường thẳng) − Khi ñã xác ñịnh ñược véc tơ pháp tuyến có gốc nằm đường thẳng, dễ dàng xác ñịnh ñường thẳng thỏa mãn ñiều kiện Khai báo sai số ߳ ൌ 10ି Thuật tốn viết lại sau: Thuật toán 4.1: Thuật toán gradient ࣡ Chọn giá trị ban ñầu ݔ, chọn số cho trước ߙ Lặp:݇ ൌ 1,2, Bước 1: Tính ݔାଵ ൌ ݔ െ ߙߘ݂ሺݔ ሻ Bước 2: Kiểm tra: TẠP CHÍ KHOA HỌC − SỐ 18/2017 - Nếu f ( xk +1 ) < f ( xk ) , chọn 145 - Ngược lại, ñặt α = α quay lại Bước Chạy thử nghiệm với số liệu sau: a Thử nghiệm với liệu ngẫu nhiên gồm 20 ñiểm >> [a,w] = PhanLop(20,2) a= 2.2805 5.6246 w= 1.0671 3.1872 Hình Mơ ñồ thị phân lớp liệu 20 ñiểm ngẫu nhiên b Tạo 100 ñiểm liệu ngẫu nhiên >> [a,w] = PhanLop(100,2) a= 1.2821 0.5431 w= 1.1631 0.5111 Hình Khi tăng ñiểm liệu lên 100 ñiểm ngẫu nhiên TRƯỜNG ĐẠI HỌC THỦ ĐÔ H 146 NỘI Thực tăng số điểm ngẫu nhiên khơng gian chiều c Thử nghiệm với 200 ñiểm liệu ngẫu nhiên >> [a,w] = PhanLop(200,2) a= 5.3324 -2.6038 w= 4.5695 -2.2495 Hình Mơ tăng hệ số điểm ngẫu nhiên d Thử nghiệm với100 ñiểm liệu ngẫu nhiên không gian ba chiều >> [a,w] = PhanLop(100,3) a= 1.0645 -3.9196 3.6634 w= 0.8317 -3.2198 3.1436 e Thử nghiệm với100 điểm liệu ngẫu nhiên khơng gian chiều >> [a,w] = PhanLop(100,5) a= 1.1616 -4.9320 0.8892 5.2191 -3.5934 w= 0.6263 -2.5409 0.7258 2.8727 -2.0685 Dựa kết trên, đưa số nhận xét sau: − Khi số ñiểm ngẫu nhiên ít, thấy véc tơ phân chia lớp liệu tối ưu tìm có khoảng cách lớn rõ so với véc tơ ngẫu nhiên chọn ban đầu TẠP CHÍ KHOA HỌC − SỐ 18/2017 147 − Điểm liệu ngẫu nhiên nhiều, véc tơ chọn ngẫu nhiên ban ñầu gần so với véc tơ tối ưu tìm ñược sau Điều với số ñiểm liệu nhiều có nhiều điểm phân lớp thuộc véc tơ phân cách, khả chấp nhận thuật tốn gần KẾT LUẬN − Bài báo ñã trình bày tốn phân cụm liệu phương pháp Support Vector Machines đưa tốn phân cụm liệu tốn tối ưu Sau dùng phương pháp Gradient để giải tốn tối ưu − Bài báo tập trung vào phương pháp Gradient Gradient cải tiến giải tốn tối ưu phi tuyến khơng buộc áp dụng vào tốn phân cụm liệu Chương trình cài đặt MATLAB cho thấy kết tốt TÀI LIỆU THAM KHẢO Tseng, P Yun, A coordinate gradient descent method for linearly constrained smooth optimization and support vector machines training, B 47, pp.179-206 Tseng, P Yun (2009), A coordinate gradient descent method for nonsmooth separable minimization.Math, Program, B117, pp.387-423 Nguyễn Trọng Tồn (2012), Giáo trình phương pháp tính tốn số, Học viện Kỹ thuật Qn Nguyễn Thị Bạch Kim (2014), Giáo trình phương pháp tối ưu lý thuyết thuật toán, Nxb Đại học Bách khoa SOLVING THE OPTIMAL PROBLEM USING THE GRADIENT METHOD AND THE APPLICATION Abstract: Abstract The article analyzes the method to solve the nonlinear optimization problem that is bound by the classical Gradient method For classical gradient methods use the defining method to take on the non constraint nonlinear problem ሼ݉݅݊ ߶ ൌ ݂ ߖሽ, then solve the non constraint optimal nonlinear problem The article also provides the advanced gradient method for solving the optimal problem ሼ݉݅݊ ߶ሽ with a function Ψ much more complex than the classical gradient method The article also presents the problem of data stratification; apply Gradient method to put the data stratification problem to optimization problem Keywords: Keywords The gradient method, Advanced Gradient Method, Support vector machine, defining, sample set ... − Bài báo trình bày toán phân cụm liệu phương pháp Support Vector Machines đưa tốn phân cụm liệu tốn tối ưu Sau dùng phương pháp Gradient ñể giải toán tối ưu − Bài báo tập trung vào phương pháp. .. học phương pháp gradient 3.1.2 Bài tốn tối ưu có buộc Xét tốn tối ưu có ràng buộc: [3] f ( x ) < f ( xk ) x∈C (3.1) Để áp dụng phương pháp giải toán tối ưu khơng ràng buộc, người ta chuyển tốn tối. .. cách hai siêu phẳng tách lớn Điều dẫn đến tốn tối ưu báo trình bày mục GIẢI BÀI TOÁN TỐI ƯU BẰNG PHƯƠNG PHÁP GRADIENT 3.1 Phương pháp Gradient 3.1.1 Bài toán qui hoạch phi tuyến khơng ràng buộc Xét