Khai phá dữ liệu SVM, S3VM và chính quy hóa entropy

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC ——————–o0o——————– BÁO CÁO Môn học: HỆ HỖ TRỢ QUYẾT ĐỊNH Khai liệu SVM, S3VM quy hóa Entropy Giảng viên hướng dẫn: TS LÊ CHÍ NGỌC Nhóm sinh viên thực hiện: BÙI THỊ NGỌC MAI 20162620 NGUYỄN THỊ NGÂN 20162890 NGUYỄN THỊ PHƯƠNG THÚY 20163980 ĐỖ TRUNG ANH 20160067 Lớp: Toán tin K61 HÀ NỘI, 06/2020 Lời cảm ơn Trong thời gian hoàn thành chuyên đề: “Khai phá liệu: SVM, S3VM quy hóa Entropy”, chúng em xin chân thành cảm ơn hướng dẫn tận tình thầy Lê Chí Ngọc, thầy hỗ trợ, cung cấp nhiều thông tin tài liệu quý báu, giúp đỡ bảo tận tình để chúng em nghiên cứu hồn thành chun đề Mặc dù nhóm cố gắng thời gian, kiến thức kinh nghiệm hạn chế nên báo cáo nhiều thiếu sót việc trình bày Nhóm em mong nhận thơng cảm đóng góp ý kiến quý thầy cô bạn Chúng em xin chân thành cảm ơn! Mục lục Lời cảm ơn Lời mở đầu Chương SVM 1.1 Ý tưởng 1.2 Hard - Margin SVM 1.2.1 Xây dựng toán 1.2.2 Bài toán đối ngẫu cho Hard - margin SVM Soft - Margin SVM 1.3 1.3.1 Xây dựng toán 1.3.2 Bài toán đối ngẫu cho Soft - margin SVM 11 Chương SVM bán giám sát 13 Chương Chính quy hóa Entropy 16 Chương Giả thuyết S3VMs quy hóa Entropy 20 Kết luận 22 Tài liệu tham khảo 23 Lời mở đầu Hiện nay, với phát triển không ngừng công nghệ thông tin, vấn đề xử lý liệu để thu thông tin hiệu giúp hỗ trợ mang lại lợi ích tốt tốn lớn khơng ngừng nghiên cứu phát triển Trong đó, việc phân lớp liệu có vai trị quan trọng, tốn ln mang tính thời lĩnh vực xử lý liệu Một yêu cầu đặt cần tăng tính hiệu thuật toán phân lớp, nâng cao giá trị độ đo hồi tưởng, xác thuật tốn Mặt khác, nguồn tài ngun ví dụ học có nhãn khơng phải ln đáp ứng cần có thuật tốn phân lớp sử dụng ví dụ chưa có nhãn Phân lớp bán giám sát đáp ứng hai yêu cầu nói Các thuật toán phân lớp bán giám sát tận dụng nguồn liệu chưa gán nhãn phong phú có tự nhiên kết hợp với số liệu gán nhãn cho sẵn Trong năm gần đây, phương pháp sử dụng phân loại máy hỗ trợ vector (Support Vector Machine - SVM) quan tâm sử dụng nhiều lĩnh vực nhận dạng phân loại SVM phương pháp hiệu cho tốn phân lớp liệu Nó cơng cụ đắc lực cho toán xử lý ảnh, phân loại văn bản, phân tích quan điểm Trong báo cáo này, chúng em xin trình bày SVM, S3VM quy hóa Entropy Bố cục báo cáo gồm chương: • Chương báo cáo trình bày sở lý thuyết, ý tưởng, cách xây dựng toán tối ưu SVM SVM bán giám sát • Chương báo cáo trình bày quy hóa Entropy • Chương báo cáo trình bày giả thuyết S3VMs quy hóa Entropy Do thời gian thực đồ án khơng nhiều, kiến thức cịn hạn chế nên làm báo cáo không tránh khỏi hạn chế sai sót, chúng em mong nhận góp ý ý kiến phản biện quý thầy cô bạn đọc Chúng em xin chân thành cảm ơn! Chương SVM 1.1 Ý tưởng Giả sử có hai lớp liệu phân biệt tuyến tính gán nhãn Bài tốn phân lớp coi tốn tìm biên giới lớp biên giới đơn giản không gian hai chiều đường thẳng, ba chiều mặt phẳng, nhiều chiều siêu phẳng Như thuật toán phân lớp khác PLA, SVM làm nhiệm vụ tương tự, từ liệu hai lớp gán nhãn, xây dựng phân lớp để có điểm liệu mới, ta dự đốn nhãn Tuy nhiên, với PLA, tồn vô số siêu phẳng thỏa mãn, siêu phẳng tìm chưa siêu phẳng tối ưu nhất, lí SVM đời SVM làm nhiệm vụ • Xác định mặt phân cách cho tối ưu - Khoảng cách gần từ điểm lớp đến mặt phân cách hay nói cách khác margin - Margin lớn • Mặt phân cách tìm Chúng ta vào tìm hiểu sâu thuật toán 1.2 Hard - Margin SVM Bài toán làm việc với lớp liệu phân biệt tuyến tính, tức tồn siêu phẳng phân cách lớp hồn tồn Hình 1.1: Hard - margin SVM 1.2.1 Xây dựng tốn Vì hai lớp liệu phân biệt tuyến tính nên tồn siêu phẳng phân cách hoàn toàn hai lớp, nhiệm vụ Hard - margin SVM tìm mặt phân cách đó, phân cách hai lớp liệu gán nhãn âm dương biểu diễn Hình 1.1 Giả sử w véc tơ pháp tuyến mặt phân cách cần tìm Khi với x điểm liệu bất kì, thỏa mãn điều kiện w · x ≥ c, hay w · x + b ≥ 0(b = −c) x ∈ {+} Tuy nhiên có ràng buộc này, việc tối ưu khó khăn q điều kiện, ta quy ước w · x+ + b ≥ w · x− + b ≤ −1 yn = néu x ∈ {+} yn = −1 néu x ∈ {−} Những ràng buộc tương đương với yn (w · x + b) ≥ hay nói cách khác − yn wT · xn + b ≤ Từ ta xác định véc tơ nằm hai đường biên (những điểm khoanh tròn) chúng gọi véc tơ hỗ trợ, lí thuật tốn gọi máy hỗ trợ véc tơ, véc tơ hỗ trợ véc tơ thỏa mãn yn (w · x + b) = Độ rộng (width) tính khoảng cách hai đường biên hai lớp √ i Độ rộng = (x+ − x− ) · w 1−b+1+b = w 2 = w Margin tính khoảng cách từ đường biên lớp đến mặt phân cách, mặt phân cách cách hai biên nên margin tính cơng thức Margin = w Bài toán tối ưu Hard - margin SVM tốn tìm w,b cho margin lớn Như vậy, toán tối ưu Hard - margin SVM phát biểu sau (w∗ , b∗ ) = arg w,b w 2 v.d.k: − yn wT · xn + b ≤ Nhận xét 1.2.1 f (w, b) = w 2 hàm lồi chặt, điều kiện ràng buộc − yn wT , xn + b ≤ hàm lồi, toán toán lồi với hàm mục tiêu lồi chặt, nghiệm tốn (nếu có) 1.2.2 Bài toán đối ngẫu cho Hard - margin SVM Việc giải toán gốc Hard - margin SVM thường phức tạp nên để đơn giản người ta thường giải toán đối ngẫu Lagrange Tiêu chuẩn Slater Đầu tiên, ta chứng minh toán thỏa mãn tiêu chuẩn Slater Nhận xét 1.2.2 Nếu ta thay vector hệ số w,b kw,kb k số dương tùy ý mặt phân chia không thay đổi hay khoảng cách từ điểm đến mặt phân chia không đổi, tức margin khơng đổi Xét điều kiện ràng buộc tốn − yn wT · xn + b ≤ ∀n = 1, , N → − 2.yn wT xn + b ≤ ∀n = 1, , N → − yn wT xn + b ≤ ∀n = 1, , N vói w = 2w, b = 2b → − yn wT , xn + b ≤ −1 ≤ ∀n = 1, , N Như tiêu chuẩn Slater thỏa mãn toán gốc đối ngẫu mạnh Hàm Lagrange L(w, b, λ) = w N 2 λn − yn wT xn + b + n=1 với λ = [λ1 , , λN ] , λn ≥ 0, ∀n = 1, , N Hàm đối ngẫu Lagrange g(λ) = L(w, b, λ), λ ≥ (1.1) (w,b) Việc tìm giá trị nhỏ hàm theo w,b thực cách giải hệ phương trình đạo hàm L theo w,b N N ∇wL(w, b, λ) = w − λn yn xn = → w = n=1 λn yn xn (1.2) a=1 N ∇b L(w, b, λ) = − λn yn = (1.3) n=1 Thay (1.2) (1.3) vào (1.1) ta N N λn − g(λ) = n=1 N λn λm yn ym xTn xm n=1 m=1 (1.4) Đặt vector V = [y1 x1 , , yN xN ] vector = [1, , 1]T , ta viết lạig(λ) dạng g(λ) = − λT V T V λ + 1T λ Đặt K = V T V , ta có nhận xét λT Kλ = λT V T V λ = V λ 2 ≥0 Như K ma trận nửa xác định dương nên g(λ) hàm lõm Bài toán đối ngẫu Lagrange Từ toán đối ngẫu Lagrange cho toán Hard - margin SVM định nghĩa sau λ = arg max g(λ) λ v.d.k: λ ≥ N λn yn = n=1 Đây toán tối ưu lồi, toán tối ưu dạng tồn phương nên ta giải công cụ biết hướng giảm Gradient, tốn đối ngẫu Lagrange, Ta thấy ràng buộc toán đối ngẫu đơn giản nhiều so với tốn gốc nên việc tính tốn giải nghiệm mà dễ dàng lí người ta quan tâm đến toán đối ngẫu SVM tốn gốc Điều kiện KKT Vì tốn gốc thõa mãn điều kiện Slater nên đối ngẫu mạnh xảy ra, nghiệm toán thỏa mãn điều kiện KKT sau − yn wT xn + b ≤ 0∀n = 1, , N (1.5) λn ≥ 0∀n = 1, , N (1.6) λn − yn wT xn + b = 0∀n = 1, , N (1.7) N w= λn yn xn (1.8) n=1 N λn yn = (1.9) n=1 Từ điều kiện (1.7) ta thấy với n λ = (1), − yn wT xn + b = (2) Những điểm thỏa mãn (2) điểm gần mặt phân chia gọi vector hỗ trợ, đường thẳng wT xn + b = ±1 gọi mặt phẳng tựa Trong toàn bộ liệu, điểm thỏa mãn (2) thường chiếm số lượng nhỏ, đa số λn = 0,vector λ trở thành vector thưa, nên Hard - margin SVM cịn gọi Mơ hình thưa Trên thực tế, mơ hình thưa thường có cách giải hiệu so với mơ hình tương tự với nghiệm hầu hết khác Đây lí tốn đối ngẫu Hard - margin SVM quan tâm toán gốc Sau tìm λ, thay vào điều kiện (1.8) ta tính w Gọi S tập vector hỗ trợ, với n ∈ S ta có = yn wnT xn + b → b = yn − wnT xn Để sai số nhỏ nhất, ta lấy giá trị trung bình cộng b sau n lần tính tốn b= b= Ng NS n∈S n∈S yn − yn − w T xn m∈S λm ym xTm xn Vì số lượng điểm thỏa mãn (2) so với tồn liệu nên việc xác định mặt phân cách dựa vào vector hỗ trợ giúp giảm khối lượng tính tốn phân lớp điểm liệu mới, thay ban đầu ta phải thay tọa độ điểm vào phương trình wT xn + b bây giờ, ta thay vào phương trình sau với khối lượng tính tốn giảm đáng kể wT x + b = λm ym xTm x + m∈S 1.3 Ns λm ym xTm xn yn − n∈S m∈S Soft - Margin SVM Hard - Margin SVM làm việc hiệu với liệu phân biệt tuyến tính tốt Với trường hợp liệu phân biệt tuyến tính có điểm nhiễu thuộc lớp dương gần so với lớp âm, hard - margin Hình 1.2: Một số hạn chế Hard - margin SVM SVM tìm siêu phẳng phân lớp, nhiên với margin nhỏ, bất lợi cho việc phân lớp liệu Còn với trường hợp liệu khơng phân biệt tuyến tính hay gần phân biệt tuyến tính khơng tồn siêu phẳng hoàn toàn phân chia hai lớp liệu, tốn hard - margin SVM trở nên vơ nghiệm (Hình 1.2) Tuy nhiên, ta chấp nhận hy sinh vài điểm nhiễu, điểm gần khu vực biên giới hai lớp, ta có siêu phẳng phân lớp tốt, lý soft margin SVM đời 1.3.1 Xây dựng toán Như đề cập trên, để có margin tốt soft - margin SVM, ta cần hy sinh vài điểm liệu cách chấp nhận cho chúng rơi vào vùng khơng an tồn Tuy nhiên, việc hy sinh cần hạn chế, không ta thu margin cực lớn cách hy sinh hầu hết điểm, việc phân lớp cho kết khơng tốt Bài tốn tối ưu soft - margin SVM cực đại margin đồng thời cực tiểu hy sinh Đối với toán soft - margin SVM ta cần thêm biến ξn (slack) tương ứng với điểm liệu xn để đo mức độ hy sinh chúng • Nếu xn nằm vùng an tồn ξ = • Nếu xn khơng nằm vùng an tồn ξ ≥ 0, hay mát xảy Một cách khác ta định nghĩa ξ sau ξi = wT xi + b − yi với yi nhãn điểm liệu xi Khác chút so với hard - margin SVM, toán soft - margin SVM ta có thêm số hạng giúp tối thiểu tổng hy sinh điểm Hàm mục tiêu Hình 1.3: Soft - margin SVM tốn soft - margin SVM có dạng N w 2 +C ξn n=1 C số dương với điều kiện − ξn − yn W T xn + b ≤ 0, ∀n = 1, 2, , N ξn ≥ 0, ∀n = 1, , N Như toán tối ưu tổng quát soft - margin SVM định nghĩa sau (w, b, ξ) = arg (w,b,ξ) w N 2 ξn +C n=1 v.d.k: − ξn − yn wT xn + b ≤ 0, ∀n = 1, , N −ξn ≤ 0, ∀n = 1, , N Nhận xét 1.3.1 • Nếu C nhỏ, hy sinh nhiều hay không ảnh hưởng nhiều đến giác trị hàm mục tiêu thuật tốn điều chỉnh cho w 2 nhỏ vùng an toàn bị nhỏ Ngược lại C lớn, thuật toán tập trung vào làm giảm hy sinh Trường hợp hai lớp liệu phân biệt tuyến tính C lớn hy sinh 0, tức khơng có điểm phải hy sinh, toán hard - margin SVM Như vậy, hard - margin SVM trường hợp soft margin SVM • Nếu ξn = tương ứng với điểm liệu nằm vùng an toàn, ≤ ξn ≤ tương ứng với điểm nằm vùng khơng an tồn phân loại đúng, ξn ≥ tương ứng với điểm bị phân lớp sai 10 • Hàm mục tiêu tổng hai hàm lồi: hàm chuẩn hàm tuyến tính, nên hàm mục tiêu hàm lồi, ràng buộc hàm lồi, tốn tối ưu toán lồi Để giải toán tối ưu có nhiều cách giải tốn đối ngẫu Lagrange nó, đưa tốn tối ưu không ràng buộc, dùng phương pháp hướng giảm gradient, Trong phạm vi đồ án này, giải toán tối ưu cách giải toán đối ngẫu Lagrange 1.3.2 Bài toán đối ngẫu cho Soft - margin SVM Tiêu chuẩn Slater Với n = 1, , N w, b ta ln tìm ξn , n = 1, , N đủ lớn cho yn wT xn + b + ξn ≥ 1, ∀n = 1, , N , điều kiện Slater thỏa mãn, đối ngẫu mạnh xảy ra, nghiệm toán ban đầu nghiệm hệ điều kiện KKT Hàm Lagrange toán Soft - margin SVM Hàm Lagrange cho toán tối ưu tổng quát L(w, b, ξ, λ, µ) = w N 2 N +C n=1 T N λ n − ξn − yn w T xn + b ξn + n=1 − µn ξn (1.10) n=1 T vói λ = [λ1 , , λn ] ≥ µ = [µ1 , , µn ] ≥ biến đối ngẫu Lagrange Hàm đối ngẫu Lagrange Hàm đối ngẫu toán tối ưu gốc g(λ, µ) = L(w, b, ξ, λ, µ) (w,b,ξ) Việc tìm giá trị nhỏ hàm theo w, b, ξ thực cách giải hệ phương trình đạo hàm L theo w, b, ξ ∇wL(w, b, ξ, λ, µ) = → w = ∇b L(w, b, ξ, λ, µ) = → N n=1 N n=1 λn yn xn λn yn = ∇εn L(w, b, ξ, λ, µ) = → λn = C − µn Từ ràng buộc cuối cùng, ta viết gọn lại thành ≤ λ ≤ C, ta giảm biến µ hàm g có dạng N N λn − g(λ) = n=1 N λn λm yn ym xTn xm n=1 m=1 Bài toán đối ngẫu Lagrange Lúc toán đối ngẫu Lagrange xác định λ = arg max g(λ) λ v.d.k: ≤ λn ≤ C, ∀n = 1, , N N λn yn = n=1 Bài toán tương tự toán hard - margin SVM, khác λ có thêm điều kiện bị chặn C Khi C lớn, ta coi toán Việc giải toán đối ngẫu Lagrange sử dụng 11 cơng cụ tương tự tốn đối ngẫu hard - margin SVM Sau giải tìm λ từ toán đối ngẫu này, ta cần quay lại tìm nghiệm w, b, ξ tốn gốc Điều kiện KKT Vì tốn gốc thõa mãn điều kiện Slater nên đối ngẫu mạnh xảy ra, nghiệm toán thỏa mãn điều kiện KKT sau − ξn − yn wT xn + b ≤ ∀n = 1, , N (1.11) ξn ≥ ∀n = 1, , N (1.12) λn ≥ ∀n = 1, , N (1.13) λn − ξn − yn wT xn + b = ∀n = 1, , N (1.14) µn ξn = (1.15) N w= λn yn xn (1.16) λn = C − µn ∀n = 1, , N (1.17) n=1 Từ điều kiện ta thấy điểm ứng với ξn ≥ đóng góp vào nghiệm w toán, tập hợp S = {n : λn ≥ 0} gọi tập hỗ trợ {xn : n ∈ S} gọi tập vector hỗ trợ Khi λn > yn w T xn + b = − ξn (1.18) Cịn ≤ λ ≤ C điểm xn nằm xác margin Tương tự hard - margin SVM, giá trị b tính sau b= NM ym − w T xm m∈M vói M = {m : ≤ λm ≤ C} NM số phần tử S Tổng kết lại, nghiệm toán soft - margin SVM tính sau w= λ m ym xm (1.19) m∈S b= NM wT xTm xn yn − n∈M (1.20) m∈S Một điều đặc biệt giải tốn soft - margin SVM dựa vào giá trị λ ta dự đốn vị trí tương đối x so với đường margin Cuối việc phân lớp liệu mới, tương tự hard - margin SVM, ta phân lớp liệu dựa vào công thức sau wT x + b = λm ym xTm x + m∈S NM wT xTm xn yn − n∈M m∈S Như chương hiểu sở toán học hướng giải thuật toán Hard - margin SVM Soft - margin SVM, chương trình bày quy hóa Entropy S3VM 12 Chương SVM bán giám sát Máy vectơ hỗ trợ bán giám sát (Semi-Supervised Support Vector Machines - S3VMs) ban đầu gọi Máy vectơ hỗ trợ chuyển đổi (Transductive Support Vector Machines - TSVMs) lý thuyết phát triển để phân loại mẫu chưa gắn nhãn Tuy nhiên, hàm f học áp dụng cách tự nhiên cho trường hợp mẫu chưa biết, nên phù hợp ta gọi chúng S3VMs Hình 2.1: Biên định S3VMs Trong Hình 2.1, S3VMs đặt hai nhóm liệu gắn nhãn chưa gắn nhãn bên Margin (lề) Chúng ta biết SVM xử lý trường hợp có gắn nhãn Phần (4.1) Vậy với trường hợp khơng có gắn nhãn sao? Khơng có nhãn, khơng thể biết mẫu x có phía so với biên định hay không Dưới cách để kết hợp mẫu chưa gắn nhãn x vào q trình học Ta gọi dự đốn nhãn x yˆ = sign(f (x)) Nếu coi dự đốn nhãn giả định x, áp dụng hàm mát lề (hinge loss) vào x: c(x, yˆ, f (x)) = max(1 − yˆ(wT x + b), 0) = max(1 − sign(wT x + b)(wT x + b), 0) 13 Áp dụng tính chất sign(z)z = |z|, ta có: c(x, yˆ, f (x)) = max(1 − |wT x + b|, 0) (2.1) Hàm mát khác với hàm lề chỗ khơng cần nhãn thực y x mà thay vào hồn tồn xác định f (x) Hàm mát biểu diễn Hình 2.2(b) Lưu ý trục hoành trường hợp f (x) thay yf (x) Do hình dạng đặc biệt nó, hàm mát (2.1) gọi hàm mát mũ (a) Hàm mát lề (b) Hàm mát mũ Hình 2.2: (a) Hàm mát lề c(x, y, f (x)) = max(1 − y(wT x + b), 0) hàm yf (x) (b) Hàm mát mũ c(x, yˆ, f (x)) = max(1 − |wT x + b|, 0) hàm f (x) Do cách chọn nhãn giả định yˆ, mẫu chưa gắn nhãn ln nằm phía so với biên định Tuy nhiên, hàm mát mũ phạt vài trường hợp mẫu chưa gắn nhãn Cụ thể, hàm thường sử dụng với f (x) ≥ f (x) ≤ −1 Đây mẫu chưa gắn nhãn, nằm xa biên định Mặt khác, phạt mẫu chưa gắn nhãn với −1 < f (x) < 1, đặc biệt mẫu với f (x) ≈ Đây mẫu chưa gắn nhãn nằm bên lề Theo trực giác, chúng mẫu mà hàm f không chắn chúng Bây giờ, kết hợp hàm mát mũ tập liệu chưa gắn nhãn {xj }l+u j=l+1 với mục tiêu SVM để tạo thành mục tiêu S3VM: l w,b l+u max(1 − yi (wT xi + b, 0) + λ1 w i=1 max(1 − |wT xj + b|, 0) + λ2 (2.2) j=l+1 Mục tiêu S3VM mẫu chưa gắn nhãn nằm bên lề Tượng tự, biên định muốn khoảng trống có mật độ thấp, cho có mẫu khơng gắn nhãn gần Mặc dù sử dụng hàm mát mũ, tự nhiên xem (2.2) giảm thiểu 14 rủi ro quy với hàm mát lề mẫu gắn nhãn quy hóa liên quan đên hàm hình mũ này: l+u Ω(f ) = λ1 w max(1 − |wT xi + b|, 0) + λ2 (2.3) j=l+1 Có ý quan trọng thực tế Theo kinh nghiệm, người ta quan sát thấy giải pháp cho (2.2) cân Đó phần lớn (hoặc trí tất cả) trường hợp không gắn nhãn dự đoán lớp Lý hành vi chưa hiểu rõ Để sửa lỗi cho cân bằng, heuristic ràng buộc tỉ lệ lớp dự đoán liệu chưa gắn nhãn cho giống tỉ lệ lớp liệu liệu gắn nhãn: u l+u yˆj = j=l+1 l l yi (2.4) j=1 Vì yˆ = sign(f (x)) hàm khơng liên tục, ràng buộc khó thực thi Thay vào đó, nới lỏng thành ràng buộc liên quan đến hàm liên tục: u l+u f (xj ) = j=l+1 l l yi (2.5) j=1 Do đó, vấn đề S3VM hồn chỉnh với ràng buộc cân lớp là: l w,b l+u max(1 − yi (wT xi + b), 0) + λ1 w max(1 − |wT xj + b|, 0) + λ2 i=1 j=l+1 với điều kiện u l+u w T xj + b = j=l+1 l l yi (2.6) i=1 Cuối cùng, khó khăn tính tốn S3VM Hàm mục tiêu S3VM không lồi Một hàm g gọi lồi ∀x1 , x2 , ∀0 ≤ λ ≤ 1, g(λx1 + (1 − λ)x2 ) ≤ λg(x1 ) + (1 − λ)g(x2 ) (2.7) Ví dụ, mục tiêu SVM hàm lồi tham số x, b Điều khẳng định độ lồi hàm mát lề,chuẩn bình phương, thực tế tổng hàm lồi hàm lồi Tối thiểu hóa hàm lồi tương đối dễ dàng, hàm có đáy xác định rõ Mặt khác, hàm mát mũ không lồi dễ thấy với x1 = −1, x2 = λ = 0.5 Với tổng lượng lớn hàm mũ, mục tiêu S3VM (2.2) không lồi với nhiều cực tiểu địa phương Một thuật tốn học tập bị mắc kẹt số cực tiểu địa phương tối ưu khơng thể tìm thấy giải pháp tối thiểu tổng quát Việc nghiên cứu S3VMs tập trung vào cách tìm kiếm giải pháp gần tối ưu cách hiệu 15 Chương Chính quy hóa Entropy SVMs S3VMs mơ hình phi xác suất Nghĩa khơng thể thiết kế để tính tốn nhãn p(y|x) phân loại Trong học máy thống kê, có nhiều mơ hình xác suất tính tốn p(y|x) từ liệu gắn nhãn để phân loại Điều thú vị có mối liên quan trực tiếp S3VM với mơ hình xác suất này, gọi quy hóa Entropy Để thảo luận vấn đề này, trước tiên ta giới thiệu mô hình xác suất cụ thể hồi quy logistic, sau mở rộng sang học bán giám sát thơng qua quy hóa Entropy Mơ hình xác suất hồi quy logistic sau p(y|x), giống SVM, sử dụng hàm định dạng tuyến tính: f (x) = wT x + b, gắn nhãn y ∈ {−1; 1} Nếu f (x) >> 0, x nầm sâu bên lớp khẳng định ranh giới định Nếu f (x)