5. Ý nghĩa khoa học và thực tiễn của đề tài
2.1. Mô hình SVC
Khái niệm về máy vector hỗ trợ (SVM) đƣợc phát triển bởi Vapnik và cộng sự tại AT&T (Vapnik, 1995)[11]. SVM là một kỹ thuật tối ƣu hóa cố gắng tìm một siêu phẳng trong không gian đầu vào ban đầu để tách một tập huấn luyện nhất định một cách chính xác và để càng nhiều khoảng cách càng tốt từ các instance gần nhất đến siêu phẳng ở cả hai phía.
Nhƣ đã biết, với bài toán phân loại nhị phân tuyến tính ta cần vẽ đƣợc mặt phân tách (với không gian 2 chiều thì mặt phẳng này là đƣờng phân tách): để phân biệt đƣợc dữ liệu. Khi đó dấu của hàm ƣớc lƣợng { } sẽ thể hiện đƣợc điểm dữ liệu x nằm ở cụm dữ liệu nào.
Hình 2.1. Bài toán phân loại nhị phân tuyến tính
Nếu để ý thì ta có thể có nhiều mặt phân tách thoả mãn đƣợc việc này và đƣơng nhiên là nếu chọn đƣợc mặt mà phân tách tốt thì kết quả phân loại của ta sẽ tốt hơn. Một lẽ rất tự nhiên là dƣờng nhƣ mặt nằm vừa khít giữa 2 cụm dữ liệu sao cho nằm xa các tập dữ liệu nhất là mặt tốt nhất.
Hình 2.2. Max margin biên SVM
SVM chính là một biện pháp để thực hiện đƣợc phép lấy mặt phẳng nhƣ vậy.
Trong ƣớc tính hồi quy, các điểm dữ liệu có thể nhận ra biên tối đa thì đƣợc gọi là vector hỗ trợ. Nói cách khác, chúng là các điểm dữ liệu có sai số xấp xỉ bằng hoặc lớn hơn cái gọi là kích thƣớc ống của SVM. Nếu nhƣ tập huấn luyện không thể phân tách một cách tuyến tính, khi đó một ranh giới phi tuyến phải đƣợc xây dựng. Để đạt đƣợc ranh giới, không gian đầu vào ban đầu đƣợc ánh xạ thành không gian có chiều cao hơn gọi là không gian đặc trƣng. Không gian đặc trƣng sau đó tìm một siêu phẳng có thể tách các instance trong cùng một không gian đặc trƣng. Ánh xạ từ không gian đầu vào cho không gian đặc trƣng đƣợc xác định bởi một hàm kernel. Kỹ thuật cũng cho phép phân loại sai bằng cách đƣa vào hệ số phạt C trong mô hình tối ƣu hóa và tổng số hình phạt đƣợc tìm thấy bằng cách cộng các hình phạt cho mỗi lần phân loại sai. Do đó, kỹ thuật tìm một siêu phẳng tối thiểu hóa tổng nghịch đảo của biên độ và tổng số phạt. Hàm hình phạt tổng hợp đƣợc nêu nhƣ là hàm mục tiêu trong mô hình tối ƣu.
Từ khi đƣợc giới thiệu lần đầu, SVM đã đƣợc nghiên cứu rộng rãi và đƣợc sử dụng cho một số các ứng dụng nhƣ nhận dạng mẫu, ký tự viết tay và
phân loại văn bản (Joachims, 1997; Scholkpf và Burges, 1995; Schmidt, 1996)[30][31][32]. Do kết quả hiệu suất của nó trong các vấn đề phân loại thế giới thực, nguyên tắc của SVM đã đƣợc mở rộng đến các vấn đề hồi quy (Smola và Scholkopf, 1999)[18]. Trong tài liệu SVM, khi thuật toán SVM đƣợc sử dụng cho các bài toán phân loại, nó đƣợc gọi là Vector hỗ trợ phân loại (SVC) và khi nó đƣợc sử dụng cho các vấn đề hồi quy, nó đƣợc gọi là Vector hỗ trợ hồi quy (SVR). Một số đặc tính hấp dẫn của SVR là việc sử dụng các hàm kernel làm cho kỹ thuật có thể áp dụng cho các tuyến tính và phi tuyến tính xấp xỉ, hiệu suất tổng quát hóa tốt do chỉ sử dụng vector hỗ trợ để dự đoán, sự vắng mặt của cực tiểu cục bộ là bởi vì thuộc tính lồi của hàm mục tiêu và các ràng buộc của nó, và thực tế là phƣơng pháp luận là dựa trên giảm thiểu rủi ro cấu trúc khi tìm cách giảm thiểu tổng quát hóa thay vì lỗi đào tạo.
Máy vectơ hỗ trợ SVM là một khái niệm trong thống kê và khoa học máy tính cho một tập hợp các phƣơng pháp học có giám sát liên quan đến nhau để phân loại và phân tích hồi quy. SVM dạng chuẩn nhận dữ liệu vào và phân loại chúng vào hai lớp khác nhau. Do đó SVM là một thuật toán phân loại nhị phân. Với một bộ các ví dụ luyện tập thuộc hai thể loại cho trƣớc, thuật toán luyện tập SVM xây dựng một mô hình SVM để phân loại các ví dụ khác vào hai thể loại đó. Một mô hình SVM là một cách biểu diễn các điểm trong không gian và lựa chọn biên giữa hai loại sao cho khoảng cách từ các ví dụ luyện tập tới biên là xa nhất có thể. Trong nhiều trƣờng hợp, không thể phân chia các lớp dữ liệu một cách tuyến tính trong không gian dùng để mô tả vấn đề. Vì vậy, nhiều khi cần phải ánh xạ các điểm dữ liệu trong không gian ban đầu vào một không gian mới nhiều chiều hơn, vì việc phân tách chúng trở nên dễ dàng hơn trong không gian đó. Do đó, hiện nay ngƣời ta thƣờng sử dụng phƣơng pháp SVR thay cho phƣơng pháp SVM. Mục đích của phƣơng
pháp SVR là xây dựng mô hình biểu diễn mối quan hệ giữa biến phụ thuộc với các biến độc lập.