3. Cấu trúc luận văn
2.5.1 Máy véctơ hỗ trợ SVM
Máy hỗ trợ vectơ hỗ trợ (SVM – viết tắt tiếng Anh support vector machine) là một khái niệm trong thống kê và khoa học máy tính cho một tập hợp các phƣơng pháp học có giám sát liên quan đến nhau để phân loại và phân tích hồi quy. SMV dạng chuẩn dữ liệu vào và phân loại chúng vào hai
lớp khác nhau. Do đó SVM là một dạng thuật toán nhị phân. Với một bộ các ví dụ luyện tập thuộc hai thể loại cho trƣớc, thuật toán luyện tập SVM xây dựng mô hình SVM là một các biểu diễn các điểm trong không gian và lựa chọn ranh giới giữa hai thể loại sao cho khoảng cách từ các ví dụ luyện tập tới ranh giới là xa nhất có thể. Các ví dụ mới cũng đƣợc biểu diễn trong cùng một không gian và đƣợc thuật toán dự đoán thuộc một trong hai thể loại tùy vào ví dụ đó nằm ở phía nào của ranh giới.
Một máy vecto hỗ trợ xây dựng một siêu phẳng hoặc một tập hợp các siêu phẳng trong một không gian nhiều chiều hoặc vô hạn chiều, có thể sử đƣợc dụng cho phân loại, hồi quy, hoặc các nhiệm vụ khác. Một cách tự giác, để phân loại tốt nhất thì các siêu phẳng nằm ở xa càng xa các điểm dữ liệu của tất cả các lớp ( gọi là hàm lề) càng tốt, vì nói chung lề càng lớn thì sai số tổng quát hóa của thuật toán phân loại càng bé.
Trong nhiều trƣờng hợp, không thể phân chia các lớp dữ liệu một cách tuyến tính trong một không gian ban đầu đƣợc dùng để mô tả một vấn đề. Vì vậy, nhiều khi cần phải ánh xạ các điểm dữ liệu trong không gian ban đầu vào một không gian mới nhiều chiều hơn, để phân việc tách chúng trở nên dễ dàng hơn trong không gian mới. Để việc tính toán đƣợc hiệu quả , ánh xạ sử dụng trong thuật toán SVM chỉ đòi tích vô hƣớng của các vecto dữ liệu trong không gian mới có thể đƣợc tính dễ từ các tọa độ trong không gian cũ. Tích vô hƣớng này đƣợc xác định bằng một hạt nhân K (x,y) phù hợp. Một siêu phẳng trong không gian mới đƣợc định nghĩa là tập hợp các điểm có tích vô hƣớng với một vecto cố định trong không gian đó là một hằng số. Vecto xác định một siêu phẳng sử dụng trong SVM là một tổ hợp tuyến tính của các vecto dữ liệu luyện tập trong không gian mới với các .Với siêu phẳng lựa chọn nhƣ trên, các điểm x trong không gian đặc trƣng đƣợc ánh xạ vào một
(2.44)
Ghi chú rằng nếu K ( x,y) nhận giá trị ngày càng nhỏ khi y xa dần khỏi x thì mỗi số hạng của tổng trên đƣợc dùng để đo độ tƣơng tác giữa x với điểm tƣơng ứng trong dữ liệu luyện tập. Nhƣ vậy, tác dụng của tổng trên chính là so sánh khoảng cách giữa điểm cần dự đoán với các điểm dữ liệu đã biết. Lƣu ý là tập hợp các điểm x đƣợc ánh xạ vào một siêu phẳng có thể độ phức tạp tùy ý trong không gian ban đầu, nên có thể phân tách các tập hợp thậm chí không lồi trong không gian ban đầu.
Phân loại thống kê là một nhiệm vụ phổ biến trong học máy. Trong mô hình học có giám sát, thuật toán đƣợc cho trƣớc một số điểm dữ liệu cùng với nhãn của chúng thuộc một trong hai lớp cho trƣớc. Mục tiêu của thuật toán là xác định xem một điểm dữ liệu mới sẽ thuộc về lớp nào. Mỗi điểm dữ liệu đƣợc biểu diễn dƣới dạng một vector p-chiều, và ta muốn biết dữ liệu có thể chia tách hai lớp dữ liệu bằng một siêu phẳng p -1. Đậy gọi là phân loại tuyến tính. Có nhiều siêu phẳng có thể phân loại đƣợc dữ liệu. Một lựa chọn hợp lý trong chúng là siêu phẳng có lề lớn nhất giữa hai lớp.
Năm 1995, Corinna Cortes và Vladimir N. Vapnik đề xuất một ý tƣởng mới cho phép thuật toán gán nhãn sai cho một ví dụ luyện tập. Nếu không tồn tại siêu phẳng nào phân tách đƣợc hai lớp giữ liệu, thì thuật toán lề mềm sẽ chọn một siêu phẳng phân tách các ví dụ luyện tập tốt nhất có thể, và đồng thời cực đại hóa khoảng cách giữa siêu phẳng với các ví dụ đƣợc gán đúng nhãn.
Là một kỹ thuật phân lớp khá phỏ biến, SVM thể hiện đƣợc nhiều ƣu điểm trong số đó có việc tính toán hiệu quả trên các tập dữ liệu lớn. có thể kể thêm một số ƣu điểm của phƣơng pháp này nhƣ:
Xử lý trên không gian số chiều cao: svm là một công cụ tính toán hiệu quả trong không gian chiều cao, cao trong đó đặc biệt áp dụng cho các bài toán phân loại văn bản và phân tích quan điểm nơi chiều cao có thể cực kỳ lớn.
Tiết kiệm bộ nhớ: nhớ do chỉ có một tập hợp con của các điểm đƣợc sử dụng trong quá trình huấn luyện và ra quyết định thực tế cho các điểm dữ liệu mới nên chỉ có những điểm cần thiết mới đƣợc lƣu trữ trong bộ nhớ khi ra quyết định.
Tính linh hoạt- phân lớp lớp thƣờng là phi tuyến tính. khả năng áp dụng kernel mới cho phép linh động giữa các phƣơng pháp tuyến tính và phi tuyến tính từ đó khiến cho hiệu suất phân loại lớn hơn
Nhƣợc điểm của SVM:
Bài toán số chiều cao: trong trƣờng hợp số liệu thuộc tính (p) của tập dữ liệu lớn hơn rất nhiều so với số lƣợng dữ liệu u(n) thì SVM cho kết quả khá tồi.
Chƣa thể hiện rõ tính xác suất: việc phân lớp của svm chỉ là việc cố gắng tách các đối tƣợng vào hai lớp đƣợc phân tách bởi siêu phẳng svm. điều này chƣa giải thích đƣợc xác suất xuất hiện của một thành viên trong nhóm nhƣ là thế nào. tuy nhiên hiệu quả của việc phân lớp có thể đƣợc xác định dựa vào khái niệm margin từ điểm dữ liệu mới đến siêu phẩm phân lớp mà chúng ta đã bàn luận ở trên.
SVM là một phƣơng pháp hiệu quả cho bài toán phân lớp dữ liệu. Nó là một công cụ đắc lực cho các bài toán về xử lý ảnh, phân loại văn bản, Phân tích quan điểm. Một yếu tố làm nên hiệu quả của SVM đó là việc sử dụng kernel function khiến cho các phƣơng pháp chuyển không gian trở nên linh hoạt hơn