Ứng dụng một số thuật toán giải hệ bất phương trình tuyến tính vào bài toán phân loại

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐỒNG THỊ MAI DUNG ỨNG DỤNG MỘT SỐ THUẬT TOÁN GIẢI HỆ BẤT PHƯƠNG TRÌNH TUYẾN TÍNH VÀO BÀI TOÁN PHÂN LOẠI ĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Bình Định - Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐỒNG THỊ MAI DUNG ỨNG DỤNG MỘT SỐ THUẬT TOÁN GIẢI HỆ BẤT PHƯƠNG TRÌNH TUYẾN TÍNH VÀO BÀI TOÁN PHÂN LOẠI Chuyên ngành: Khoa học dữ liệu ứng dụng Mã số: 8904648 Người hướng dẫn: TS TRẦN NGỌC NGUYÊN i Lời cam đoạn Tôi xin cam đoan nội dung trong luận văn “Ứng dụng một số thuật toán giải hệ bất phương trình tuyến tính vào bài toán phân loại” là do bản thân thực hiện theo logic riêng dưới sự hướng dẫn của TS Trần Ngọc Nguyên Các nội dung và kết quả sử dụng trong luận văn đều có trích dẫn và chú thích nguồn gốc rõ ràng Bình Định, tháng 11 năm 2023 Học viên thực hiện Đồng Thị Mai Dung ii Lời cảm ơn Lời đầu tiên tôi xin gởi đến TS Trần Ngọc Nguyên lời cảm ơn sâu sắc về sự tận tình giúp đỡ của thầy đối với tôi trong suốt khóa học, đặc biệt trong quá trình làm luận văn Tôi xin được bày tỏ lòng biết ơn đến tất cả các thầy cô khoa Toán và Thống kê trường Đại Học Quy Nhơn, các giảng viên Trường DHKHTN-DHQG TPHCM đã nhiệt tình giảng dạy chúng tôi trong suốt khóa học Xin được cảm ơn các vị lãnh đạo và chuyên viên Phòng Đào tạo sau đại học Trường Đại Học Quy Nhơn đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình học Tôi cũng xin được cảm ơn gia đình tôi, các đồng nghiệp và các bạn học viên Cao học khóa 24B đã hỗ trợ, động viên tôi trong suốt thời gian học Cuối cùng, với kiến thức còn hạn chế nên dù rất cố gắng nhưng chắc chắn luận văn còn nhiều sót Kính mong các thầy cô và các bạn đồng nghiệp đóng góp ý kiến để luận văn còn hoàn chỉnh hơn Bình Định, tháng 11 năm 2023 Học viên thực hiện Đồng Thị Mai Dung iii Mục lục Lời cam đoan i Lời cảm ơn ii Mục lục iii Danh sách bảng vi Danh sách hình vẽ vii Danh mục ký hiệu, chữ viết tắt viii Lời mở đầu 1 Chương 1 Kiến thức chuẩn bị 3 1.1 Hệ bất phương trình tuyến tính 3 1.1.1 Hệ bất phương trình tuyến tính 3 1.1.2 Tập chỉ số I(x) 4 1.1.3 Hệ bất phương trình tuyến tính theo nghĩa bình phương nhỏ nhất 4 1.2 Bài toán quy hoạch toàn phương 8 1.3 Ma trận 9 1.3.1 Ma trận giả nghịch đảo 9 1.3.2 Phân rã giá trị suy biến SVD 9 1.3.3 Giả nghịch đảo Moore–Penrose 10 1.4 Không gian vec-tơ Euclide 11 1.4.1 Bất đẳng thức Cauchy - Schwarz 11 iv 1.4.2 Phép chiếu 11 1.5 Biểu đồ hiệu suất 12 Chương 2 Một số thuật toán giải hệ bất phương trình tuyến tính 14 2.1 Sơ lược thuật toán Han và phiên bản hiệu quả hơn của thuật toán Han 14 2.1.1 Thuật toán Han đối với bài toán hệ bất phương trình tuyến tính 14 2.1.2 Thuật toán Han đối với bài toán bình phương nhỏ nhất tuyến tính 16 2.1.3 Một phiên bản hiệu quả hơn: thuật toán Bramley 17 2.2 Phương pháp chiếu liên tiếp 22 2.2.1 Bài toán đối ngẫu của bất phương trình tuyến tính 22 2.2.2 Giải quyết bài toán đối ngẫu 26 2.3 Thuật toán điểm trong 35 2.3.1 Giải hệ đối ngẫu 37 2.3.2 Lựa chọn độ dài bước 38 2.3.3 Phương pháp toàn phương thực tế 40 2.4 Thuật toán vùng tin cậy 42 2.4.1 Bài toán không ràng buộc 42 2.4.2 Bài toán phụ của phương pháp Newton 42 2.4.3 Bước lặp của phương pháp vùng tin cậy 43 2.5 Thuật toán Newton bán trơn 45 2.5.1 Bài toán phương trình phi tuyến 45 2.5.2 Giải phương trình phi tuyến 45 Chương 3 Ứng dụng việc giải bất phương trình tuyến tính vào bài toán phân loại 47 3.1 Bài toán phân loại 47 3.2 Giải bài toán phân loại tuyến tính bằng hệ bất phương trình bình phương nhỏ nhất 48 v Chương 4 Thực nghiệm số 52 4.1 So sánh hiệu suất giữa các thuật toán 52 4.1.1 So sánh hiệu suất tính toán (FLOPS) của 4 thuật toán 52 4.1.2 So sánh thời gian chạy CPU của 7 thuật toán 55 4.1.3 Sự phụ thuộc của Thuật toán Dykstra vào số ràng buộc hoạt động 57 4.2 So sánh hiệu suất phân loại giữa thuật toán SVM và thuật toán giải hệ bất phương trình tuyến tính bình phương nhỏ nhất 58 Kết luận 61 Tài liệu tham khảo 62 vi Danh sách bảng 4.1 Kết quả so sánh hiệu suất tính toán (FLOPS) của 4 thuật toán 53 vii Danh sách hình vẽ 1.1 Biểu đồ hiệu suất so sánh ba phương pháp trên một tập hợp 132 bài toán 12 2.1 Phân rã trực giao 24 2.2 Phân rã cực 27 2.3 Thuật toán Dykstra 28 2.4 Thuật toán Dykstra áp dụng cho b = (3, 3), C1 = {(x, y) ∈ R2|y ≤ 0} và C2 = {(x, y) ∈ R2|x + 3y ≤ 0} 32 2.5 Thuật toán Dykstra áp dụng cho b = (0, 5), C1 = {(x, y)|(x − 2.5)2 + (y − 2.5)2 ≤ 1.52} và C2 = {(x, y)|(x − 5)2 + (y − 3)2 ≤ 22} 32 4.1 So sánh hiệu suất của 4 thuật toán dựa trên FLOPS (20 × 40) 54 4.2 So sánh hiệu suất 4 thuật toán về mặt FLOPS với m = 2n 54 4.3 So sánh hiệu suất 4 thuật toán về mặt FLOPS với m = 100n 55 4.4 So sánh hiệu suất về thời gian CPU của 7 thuật toán 56 4.5 Giá trị trung bình của FLOPS cho mỗi số ràng buộc hoạt động p 57 4.6 Bài toán có thể phân loại tuyến tính (◦ : A, + : B) 59 4.7 Bài toán hình vuông (◦ : A, + : B) 59 4.8 Bài toán tam giác (◦ : A, + : B) 60 viii Danh mục ký hiệu, chữ viết tắt A Ma trận A với kích thước m × n AT Ma trận chuyển vị của một ma trận A A−1 Ma trận nghịch đảo của A A† Ma trận giả nghịch đảo của A ∇f (x) Gradient của f (x) SVM Support Vector Machine SVD Singular Value Decomposition FLOPS Floating point operations per second CPU Central Processing Unit KKT Karush − Kuhn − Tucker