Trong (Hình1) vector hỗ trợ là các điểm được khoanh tròn, và ta cũng thấy được 2 siêu mặt phẳng :
H1 : wTxi + b = 1 có khoảng cách đến gốc tọa độ là |1-b| / ||w|| H2 : wTxi + b = -1 có khoảng cách đến gốc tọa độ là |-1-b| / ||w||
(||w|| là độ lớn Euclide của w)
H1 và H2 đều có vector pháp tuyến là w hay H1 và H2 song song với nhau. Ta có được khoảng cách bờ ρ giữa 2 lớp : ρ = 2/||w|| .
Như vậy trong việc huấn luyện siêu mặt, SVM tìm cách cực đại ρ . Do đó trong trường hợp tuyến tính, việc tìm siêu mặt phân cách cũng là tìm :
Cực tiểu : Ф(w) = ||w||2/2 (4)
Với ràng buộc : yi(wTxi + b) –1 ≥ 0 , i = 1,2,..,n
Nếu bất phương trình (3) không đúng với một số phần tử trong tập học ta gọi đây không phải là trường hợp phân cách tuyến tính và phần tử đó là phần tử lỗi. Để giải quyết trường hợp này, tập không âm { ξi }n
i = 1 được thêm vào, ràng buộc trở thành : yi(wTxi + b) ≥ 1 - ξi , ξi >0, i =1,2,…,n (5)
ξi gọi là biến lỏng (slack). Trường hợp ξi >1 là do điểm bị lỗi nằm bên kia mặt phân cách, trường hợp 0< ξi <1 là do điểm bị lỗi chưa vượt qua vạch phân cách.
Do đó mục đích cúa SVM bây giờ tìm siêu phẳng phân cách sao cho lỗi phân loại là thấp nhất và khoảng cách bờ là lớn nhất trong trường hợp không thể phân cách tuyến tính bài toán trở thành :
Cực tiểu : Ф(w,ξ) = 21 ||w||2 + C∑ n
i=1ξi (6)
Với điều kiện : yi(wTxi + b) –1 ≥ 0 , i = 1,2,..,n (7)
và : ξ ≥ 0 (8)
Với C là tham số do người dùng chọn lựa để cân bằng độ phức tạp giữa hệ và tỉ lệ lỗi, C càng lớn tỉ lệ lỗi càng thấp.
Một cách để giải quyết bài toán là dùng hàm Largange. Có hai lý do cho điều này. Thứ nhất là ràng buộc (3) sẽ được thế bằng ràng buộc trên hệ số nhân Lagrange, để dễ làm việc hơn. Thứ hai là dữ liệu huấn luyện sẽ chỉ xuất hiện dưới dạng phép nhân vô hướng giữa các vector. Điều này cho phép tổng quát hoá cho trường hợp phi tuyến. Đưa ra các hệ số nhân Lagrange không âm αi, và βi , cho ràng buộc bất đẳng thức (3). Bài toán đối ngẫu trở thành :
Cực đại Q(α) = ∑ n i=1αi -21∑ n i=1∑ n j=1αi αj yi yj xT i xj (9) Với ràng buộc ∑ n i=1αi yi = 0 (10) và 0 ≤ αi ≤ C , i = 1,2,…,n (11) Trong bài toán đối ngẫu, hàm lượng giá Q(α) chỉ phụ thuộc vào dữ liệu dưới dạng tích vô hướng {xT
i xj }n
(i,j)=1. Do đó các hệ số nhân Lagrange có thể được tính dựa trên các rảng buộc (10-11).
Điều kiện Karush-Kuhn-Tucker (KKT) có vai trò quan trọng đối với bài toán tối ưu ràng buộc. Với bài toán trên, điều kiện KKT có thể phát biểu :
αi [yi(wTxi + b) –1 + ξi ] = 0 , i=1,2,…,n (12)
βi ξi = 0 , i=1,2,…,n (13)
Có 2 dạng tham số αi, nếu như 0 < αi ≤ C thì mẫu tương ứng là vector hỗ trợ. Vector lời giải cho bài toán chính là vector xác định bởi :
w0 = ∑i=1αi yi xi (14)
Trong đó Ns chính là tổng số lượng các vector hỗ trợ.
Tuy nhiên trong trường hợp 0 < αi < C, chúng ta có ξi = 0 theo phương trình (13) của điều kiện KKT. Do đó, có thể lấy điểm huấn luyện bất kì thỏa 0 < αi < C để dùng công thức (12) (với ξi = 0) để tính b0. Cuối cùng có thể lấy giả trị trung bình b0 trên toàn tập mẫu.
Một khi (w0,b0) được xác định ta có hàm quyết định chính là :
(15)
đồng thời siêu mặt phân cách chính là g(x) = 0. Trường hợp khác xảy ra nữa là khi αi = C ( >0 có thể được tính bằng (12)) và αi = 0 (mẫu i đã được phân loại đúng).
A.5.2. SVM phi tuyến
Trong trường hợp không thể tìm được mặt phẳng siêu phân cách trong trường hợp tuyến tính, ta chuyển không gian đầu vào Rn sang một không gian mới có kích thước lớn hơn gọi là không gian đặc trưng Rm với m>n.
Hàm φ(x) là hàm ánh xạ xi ∈ Rn sang yi = φ(xi), i = 1,2,..,n. Sau đó chúng ta sẽ tìm siêu mặt phẳng trong không gian mới(không gian đặc trưng).
K ( x , xi ) = K ( xi, x ) = φ(x)T φ(x) (16)
Do đó, bài toán đối ngẫu trở thành : Cực đại Q(α) = ∑ n i=1αi -21∑ n i=1∑ n j=1αi αj yi yj K ( xi, xj ) (17) N s
Với cùng ràng buộc (10-11). Điều kiện duy nhất chính là hàm xử lý chính K ( xi, xj ) phải thỏa điều kiện Mercer. Bằng cách sử dụng các hàm sử lý chính, dữ liệu có thể được phân loại như sau :
x ∈ Lớp dương nếu g(x) > 0
x ∈ Lớp âm nếu g(x) > 0 (18)
Trong đó g(x) là hàm quyết định sau :
(19)
A.5.3. SVM trong trường hợp có nhiều phân lớp
Có 2 phương pháp để giải quyết trường hợp có nhiều hơn 2 phân lớp :
• Phân loại mỗi lớp với mọi lớp còn lại : tạo ra c bộ phân loại nhị phân (c là số phân lớp). Bộ phân loại thứ i có hàm đầu ra là oi, bộ phân loại này phân lớp thứ i với (c- 1) lớp còn lại. Khi đưa mẫu x vào phân loại, phương pháp này sẽ gán cho mẫu x lớp tương ứng có đầu ra oi lớn nhất.
• Phân loại theo từng cặp : tạo ra mỗi bộ phân loại nhị phân cho từng cặp phân lớp. Nếu có c phân lớp thì sẽ có tất cả c(c-1)/2 bộ phân loại nhị phân. Bộ phân loại nhịo phân Cij sẽ phân lớp thứ i và thứ j. Khi đưa mẫu x vào phân loại nếu bộ phân loại Cij
quyết định x thuộc về phân lớp i thì giá trị đại diện cho lớp i tăng lên 1, ngược lại giá trị đại diện cho phân lớp j tăng lên 1. Phương pháp này sẽ quyết định mẫu x thuộc về phân lớp có giá trị đại diện lớn nhất.
A.6 Cơ sở lý thuyết mạng nơron [25]
A.6.1 Mở đầu:
Chúng ta biết rằng bộ não con người là một cấu trúc rất đặc biệt, nó là một mạng lưới gồm nhiều Nơron liên kết với nhau, nhờ đó con người có thể giải quyết những vấn đề phức tạp như nghe, nhìn, phân biệt được các giọng nói khác nhau, các màu sắc khác
nhau, các đối tượng khác nhau trong thế giới xung quanh. Khả năng đặc biệt này của bộ não là nhờ mạng lưới những phần tử nhỏ gọi là Nơron, não phân bổ việc xử lý thông tin đưa vào cho hàng tỉ Nơron, điều khiển liên lạc giữa các Nơron đó. Các Nơron không ngừng nhận và truyền thông tin cho nhau. Mỗi Nơron sau khi nhận tín hiệu đầu vào thì nó tích hợp các tín hiệu vào thân Nơron, tại đây, khi tín hiệu tổng hợp vượt quá một ngưỡng nào đó thì chúng tạo ra tín hiệu đầu ra, và gửi tín hiệu này đến các Nơron khác thông qua dây thần kinh (axon). Các Nơron thần kinh liên kết với nhau thành mạng, mức độ bền vững của các liên kết này xác định một hệ số gọi là trọng số liên kết (Weight). Cơ chế hoạt động của các Nơron có thể là tự liên kết, tổng quát hoá, và tự tổ chức. Các Nơron liên kết với nhau tạo thành mạng Nơron, mỗi mạng có thể có hàng vạn Nơron, mỗi Nơron có thể có hàng vạn liên kết với hàng vạn Nơron khác....Chính khả năng đặc biệt của mạng Nơron của bộ não con người đã thúc đẩy các nhà khoa học tìm cách nghiên cứu xây dựng những hệ thống bắt chước hoạt động của bộ não con người, tạo ra trí thông minh nhân tạo. Điều đó dẫn đến sự ra đời của mạng Nơron nhân tạo.
Hình A.6.1-1: Mô hình một Nơron thần kinh