GIẢI THUẬT SVM (Support vector machines)

GIẢI THUẬT SVM(Suppot Vector Machine) Giới thiệu SVM Máy vectơ hỗ trợ (SVM - viết tắt tên tiếng Anh support vector machine) khái niệm thống kê khoa học máy tính cho tập hợp phương pháp học có giám sát liên quan đến để phân loại phân tích hồi quy SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác Do SVM thuật toán phân loại nhị phân Với ví dụ luyện tập thuộc hai thể loại cho trước, thuật tốn luyện tập SVM xây dựng mơ hình SVM để phân loại ví dụ khác vào hai thể loại Một mơ hình SVM cách biểu diễn điểm không gian lựa chọn ranh giới hai thể loại cho khoảng cách từ ví dụ luyện tập tới ranh giới xa Phân loại thống kê nhiệm vụ phổ biến học máy Trong mơ hình học có giám sát, thuật tốn cho trước số điểm liệu với nhãn chúng thuộc hai lớp cho trước Mục tiêu thuật toán xác định xem điểm liệu thuộc lớp Mỗi điểm liệu biểu diễn dạng vector p-chiều, ta muốn biết liệu chia tách hai lớp liệu siêu phẳng p − chiều Đây gọi phân loại tuyến tính Có nhiều siêu phẳng phân loại liệu Một lựa chọn hợp lý chúng siêu phẳng có lề lớn hai lớp Giải thuật học SVM Support vector machines? _1_ _2_ _3_ _4_ a) Phân loại với SVM - Cực đại hóa lề + cực tiểu hóa lỗi : - Giải (1) : b, w - Phân loại x: sign(x.w – b) - Bài toán đối ngẫu (1) : - Giải (2): αi • Những xi tương ứng với αi > véctơ hỗ trợ (SV) • Tính b dựa tập SV - Phân loại x: b) SVM phi tuyến Không gian input : phi tuyến Khơng gian trung gian : tuyến tính _5_ Chuyển không gian input => không gian trung gian: - chiều [x1, x2] không gian input => chiều [x 1, x2, x1x2, x12, x22] không gian trung gian (feature space) - Phép chuyển đổi khó xác định, số chiều không gian trung gian lớn - Hàm kernel (Hilbert Schmidt space): làm việc không gian input ngầm định không gian trung gian c) SVM cho vấn đề nhiều lớp (>2) - Xây dựng trực tiếp mơ hình cho nhiều lớp • Xây dựng toán tối ưu cho k lớp - 1-tất (1 vs all) • Mỗi mơ hình phân tách lớp từ lớp khác • k lớp : k mơ hình - 1-1 (1 vs 1) • Mỗi mơ hình phân tách lớp • k lớp : k*(k-1)/2 mơ hình - Phương pháp khác • Phân tách nhóm, nhóm bao gồm nhiều lớp • Xác định cách phân tách nhóm cho có lợi d) Giải thuật SVM - SVM = giải tốn quy hoạch tồn phương - Giải quadratic program • Sử dụng trình tối ưu hóa sẵn có: phương pháp Quasi-Newton, gradient • Phân rã vấn đề (decomposition chunking) _6_ • Phân rã vấn đề thành vấn đề kích thước SMO (Platt, 1998) - Diễn giải SVM phương pháp khác • Lớp giải thuật Mangasarian & sinh viên ông • Hoặc đưa giải toán quy hoạch tuyến tính hay hệ phương trình tuyến tính e) Giải thuật SVM cho khối liệu khổng lồ - Active SVM • Chọn tập liệu từ tập liệu ban đầu • Học tập liệu - Học song song SVM • Chia thành khối liệu nhỏ phân máy tính • Học độc lập song song • Tập hợp mơ hình để sinh mơ hình tổng thể - Học tiến hóa SVM (incremental learning) • Chia thành khối liệu nhỏ • Load khối • Cập nhật mơ hình - Học liệu symbolic • Chuyển liệu dạng trình bày mức cao • Có thể clusters, interval, • Học liệu trừu tượng • Thay đổi cách tính hàm kernel _7_ - Boosting SVM • Lấy mẫu từ tập liệu ban đầu • Học tập liệu • Phân loại tồn liệu • Những liệu bị phân loại sai cập nhật trọng lượng tăng • Lấy mẫu dựa trọng lượng gán cho liệu • Tiếp tục học, etc • Q trình lặp k lần • Các mơ hình bình chọn phân loại liệu đến f) Hồi quy với SVM - Tìm siêu phẳng (Input Hilbert space) • Đi qua tất điểm với độ lệch chuẩn epsilon g) Một lớp với SVM _8_ - Tìm siêu cầu (Input Hilbert space) • Tâm o bán kính nhỏ r • Chứa hầu hết điểm liệu - Ứng dụng SVM Nhận dạng: tiếng nói, ảnh, chữ viết tay (hơn mạng nơron) Phân loại văn bản, khai mỏ liệu văn Phân tích liệu theo thời gian Phân tích liệu gien, nhận dạng bệnh, công nghệ bào chế thuốc Phân tích liệu marketing … _9_ SVM nhận dạng chữ số viết tay SVM phân loại text _10_ SVM phân loại gen Kết luận hướng phát triển a) Kết luận - SVM + kernel methods • Phương pháp học • Cung cấp nhiều cơng cụ • Nền tảng lý thuyết học thống kê • Tối ưu tồn cục, mơ hình chất lượng cao, chịu đựng nhiễu • Thành cơng nhiều ứng dụng - Hạn chế • Khó dịch kết • Độ phức tạp cao • Xử lý liệu kiểu số • Tham số đầu vào b) Hướng phát triển - Multi-class - Clustering - Xử lý liệu lớn - Dữ liệu kiểu số - Dữ liệu không cân - Xây dựng hàm nhân - Dịch kết - Tìm kiếm thơng tin (ranking) _11_ ... (Platt, 1998) - Diễn giải SVM phương pháp khác • Lớp giải thuật Mangasarian & sinh viên ơng • Hoặc đưa giải tốn quy hoạch tuyến tính hay hệ phương trình tuyến tính e) Giải thuật SVM cho khối liệu... nhóm bao gồm nhiều lớp • Xác định cách phân tách nhóm cho có lợi d) Giải thuật SVM - SVM = giải toán quy hoạch tồn phương - Giải quadratic program • Sử dụng trình tối ưu hóa sẵn có: phương pháp... chế thuốc Phân tích liệu marketing … _9_ SVM nhận dạng chữ số viết tay SVM phân loại text _10_ SVM phân loại gen Kết luận hướng phát triển a) Kết luận - SVM + kernel methods • Phương pháp học •