Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán svm

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THẾ CƯỜNG NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU TRÊN CƠ SỞ CẢI TIẾN THUẬT TOÁN SVM LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH HUẾ - NĂM 2023 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THẾ CƯỜNG NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU TRÊN CƠ SỞ CẢI TIẾN THUẬT TOÁN SVM NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9.48.01.01 Người hướng dẫn khoa học: PGS.TS Huỳnh Thế Phùng HUẾ - NĂM 2023 Nâng cao hiệu phân lớp liệu sở cải tiến thuật tốn SVM LỜI CAM ĐOAN Tơi xin cam đoan đề tài: "Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM " cơng trình nghiên cứu riêng tơi, hướng dẫn PGS.TS Huỳnh Thế Phùng Các số liệu sử dụng luận án trung thực Các thuật tốn đề xuất hồn tồn mới, kết thực nghiệm thực liệu khách quan Những kết luận án cơng bố cơng trình liên quan đến luận án Nghiên cứu sinh Nguyễn Thế Cường i Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM LỜI CẢM ƠN Luận án trở thành thực ủng hộ giúp đỡ tri thức lẫn tinh thần nhiều người quan trọng đời tơi Tơi xin bày tỏ lịng biết ơn sâu sắc đến quý Thầy, Cô khoa Công nghệ Thơng tin khoa Tốn trường Đại học Khoa học, Đại học Huế, trường Đại học Sư phạm, Đại học Huế, người dạy không kiến thức mà cịn thái độ sống từ tơi tới Huế, đến mai sau Xin chân thành cảm ơn phòng đào tạo sau Đại học trường Đại học Khoa học, Đại học Huế hướng dẫn tận tình thủ tục cần thiết để tơi hồn thành hồ sơ Khoa học Xin cảm ơn thành phố Huế, nơi đặc biệt tơi hành trình học làm người Xin cảm ơn tất anh, em bạn bè sống Huế Xin cảm ơn khoa Cơ trường Sĩ quan Thông tin tạo điều kiện mặt thời gian để tơi hồn thành trình học tập nghiên cứu Nhân dịp này, xin chân thành cảm ơn tất người gia đình tơi, ln ủng hộ vật chất lẫn tinh thần động viên lúc khó khăn Đặc biệt, tơi xin bày tỏ lịng biết ơn sâu sắc tới thầy Huỳnh Thế Phùng, người trực tiếp hướng dẫn từ dấu chấm câu đến tổng thể, giúp tơi có góc nhìn đắn khoa học làm khoa học Tôi xin chân thành cảm ơn gia đình thầy ln hỗ trợ mặt để tơi có điều kiện tốt làm việc với thầy Làm luận án hành trình dài với nhiều cung bậc cảm xúc, q trình khiến tơi trở nên khiêm nhường, biết ơn có người gặp Dành cho biết đến đề tài động viên cho tôi, xin cảm ơn! TÁC GIẢ LUẬN ÁN Nghiên cứu sinh Nguyễn Thế Cường ii MỤC LỤC Lời cam đoan Lời cảm ơn i ii Danh mục ký hiệu v Danh mục bảng biểu vii Danh mục hình vẽ viii Mở đầu Chương Cơ sở toán học SVM 1.1 Hàm toàn phương 1.2 Bài tốn quy hoạch tồn phương (QP) 1.3 Điều kiện tối ưu toán QP 1.4 Bài toán đối ngẫu 1.5 Bài toán phân lớp liệu 11 1.6 Hàm phân lớp tuyến tính 12 1.7 Siêu phẳng lề mềm 16 1.8 Hàm phân lớp phi tuyến 18 1.9 Hàm phân lớp có trọng số 20 1.10 Tiểu kết chương 21 Chương Các biến thể SVM 22 2.1 SVM xấp xỉ (PSVM) 23 2.2 PSVM thông qua trị riêng suy rộng (GEPSVM) 26 2.3 SVM song sinh (TSVM) 28 2.3.1 Trường hợp tuyến tính 28 2.3.2 Trường hợp phi tuyến 31 2.4 TSVM dùng bình phương tối thiểu (LSTSVM) 32 2.5 SVM song sinh có cấu trúc (S-TSVM) 34 2.6 Tiểu kết chương 40 Chương Phương pháp lớp đối cụm 41 3.1 SVM có cấu trúc có trọng số (WS-SVM) iii 41 Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM 3.1.1 Trường hợp tuyến tính 3.1.2 Trường hợp phi tuyến 44 47 3.1.3 Thực nghiệm 50 3.1.3.1 Tập liệu giả chiều 50 3.1.3.2 Các tập liệu UCI 52 3.2 Cải tiến SVM dùng bình phương tối thiểu (ILS-SVM) 57 3.2.1 Trường hợp tuyến tính 58 3.2.2 Trường hợp phi tuyến 60 3.2.3 Thực nghiệm 63 3.2.3.1 Tập liệu giả chiều 63 3.2.3.2 Các tập liệu UCI 64 3.3 Tiểu kết chương Chương Phương pháp cụm đối lớp 69 70 4.1 Biến đổi S-TSVM 70 4.2 SVM dùng bình phương tối thiểu có trọng số (WLS-SVM) 72 4.2.1 Trường hợp tuyến tính 75 4.2.2 Trường hợp phi tuyến 77 4.3 Thực nghiệm 80 4.3.1 Tập liệu giả chiều 81 4.3.2 Các tập liệu UCI 82 4.4 Tiểu kết chương 87 Kết luận 88 Danh mục cơng trình khoa học tác giả liên quan đến luận án 90 Tài liệu tham khảo 91 Phụ lục 96 iv Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM DANH MỤC CÁC KÝ HIỆU Ký hiệu Diễn giải ý nghĩa SVM PSVM Support Vector Machine SVM xấp xỉ (Proximal Support Vector Machine) GEPSVM SVM xấp xỉ thông qua trị riêng suy rộng (Proximal Support Vector Machine via Generalized Eigenvalues) TSVM SVM song sinh (Twin Support Vector Machine) LSTSVM SVM song sinh dùng bình phương tối thiểu (Least Square Twin Support Vector Machine) S-TSVM SVM song sinh có cấu trúc (Structural Twin Support Vector Machine) WS-SVM SVM có cấu trúc có trọng số (Weighted Structural - Support Vector Machine) ILS-SVM Cải tiến SVM dùng bình phương tối thiểu (Improvement Least Square - Suport Vector Machine) WLS-SVM SVM dùng bình phương tối thiểu có trọng số (Weighted Least Square - Support Vector Machine) CV Đánh giá chéo (Cross validation) SMW Công thức giảm chiều ma trận nghịch đảo Sherman-MorisonWoodbury SLEs Hệ phương trình tuyến tính (Systems of Linear Equations) KKT Hệ điều kiện Karush - Kuhn - Tucker QP Quy hoạch toàn phương (Quadratic programming) ∥x∥ Chuẩn Euclide véc-tơ x v Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM Ký hiệu Diễn giải ý nghĩa a, b, w, x, Chữ thường biểu diễn số Chữ thường đậm véc-tơ cột C,A, Chữ hoa đậm ma trận P(X, f) Bài toán tối ưu tổng quát với hàm mục tiêu f tập ràng buộc X B(x¯, ϵ) sgn Hình cầu mở tâm x¯ bán kính ϵ Hàm xác định dấu ∇Q(x) Gradient hàm Q(x) ∇ Q(x) T Hessian hàm Q(x) Chuyển vị ma trận hay véc-tơ Ma trận hiệp phương sai ma trận A A w x Tích vơ hướng véc-tơ w véc-tơ x f Hàm phân lớp T (w,b) S (x) (w,b) Mặt định vi Nâng cao hiệu phân lớp liệu sở cải tiến thuật toán SVM DANH MỤC BẢNG BIỂU 3.1 Thời gian huấn luyện WS-SVM với kernel tuyến tính 3.2 Thời gian huấn luyện WS-SVM với kernel phi tuyến 52 52 3.3 WS-SVM tuyến tính liệu nhỏ UCI 54 3.4 WS-SVM tuyến tính liệu lớn UCI 55 3.5 WS-SVM phi tuyến liệu UCI 56 3.6 Thời gian huấn luyện ILS-SVM với kernel tuyến tính 63 3.7 Thời gian huấn luyện ILS-SVM với kernel phi tuyến 64 3.8 ILS-SVM tuyến tính liệu nhỏ UCI 66 3.9 ILS-SVM tuyến tính liệu lớn UCI 67 3.10 ILS-SVM phi tuyến liệu UCI 68 4.1 Thời gian huấn luyện WLS-SVM với kernel tuyến tính 81 4.2 Thời gian huấn luyện WLS-SVM với kernel phi tuyến 82 4.3 WLS-SVM tuyến tính liệu nhỏ UCI 84 4.4 WLS-SVM tuyến tính liệu lớn UCI 85 4.5 WLS-SVM phi tuyến liệu UCI 86 vii Nâng cao hiệu phân lớp liệu sở cải tiến thuật tốn SVM DANH MỤC HÌNH VẼ 1.1 Mặt định phi tuyến 1.2 Mặt định tuyến tính 12 12 1.3 Mặt định tắc 13 1.4 Siêu phẳng lề mềm 16 1.5 Dữ liệu phi tuyến 18 1.6 Dữ liệu phi tuyến không gian 18 2.1 SVM lề mềm 24 2.2 SVM xấp xỉ (PSVM) 25 2.3 PSVM thông qua trị riêng suy rộng (GEPSVM) 27 2.4 SVM song sinh (TSVM) 29 2.5 LSTSVM 33 2.6 Độ chi tiết cấu trúc 35 2.7 TSVM có cấu trúc (S-TSVM) 37 3.1 S-TSVM 42 3.2 WS-SVM 43 3.3 Dữ liệu giả chiều 51 3.4 ILS-SVM 58 4.1 S-TSVM trường hợp liệu có cấu trúc đơn giản 72 4.2 S-TSVM trường hợp liệu có cấu trúc phức tạp 73 4.3 WLS-SVM trường hợp liệu có cấu trúc đơn giản 74 4.4 WLS-SVM trường hợp liệu có cấu trúc phức tạp 75 viii