Mục đích trong việc thiết kế luật học tích cực là giảm thiểu phức tạp nhãn được đưa vào câu truy vấn chỉ cho các nhãn trên các điểm trong miền lỗi ξt. Tuy nhiên không có tri thức của u, thuật toán sẽ không biết vị trí của ξt. Theo trực giác thì luật học tích cực là xấp xỉ với miền lỗi, với thông tin đã cho thuật toán có vt. Trong hình 3.3, vùng đã gán nhãn L đơn giản là miền được hình thành bởi việc tạo ngưỡng cho các lề của một ví dụ ứng viên đối với vt.
Phiên bản tích cực của thuật toán Perceptron cải tiến được chỉ ra trong hình 3.4. Thuật toán này tương tự thuật toán của phần trước trong các bước cập nhật. Đối với quy tắc lọc, sẽ duy trì một ngưỡng st và chỉ yêu cầu cho các nhãn của các ví dụ có <#3. < 9 3. Miền xấp xỉ lỗi đạt được bằng cách chọn ngưỡng st thích hợp, để quản lý sự cân bằng giữa vùng L đang quá lớn, gây ra nhiều nhãn bị lãng phí mà không tìm được ξt, và L chỉ chứa các điểm có lề rất
nhỏ đối với vt, vì bước cập nhật sẽ tạo ra sự cải tiến rất nhỏ trên các điểm như thế. Thuật toán giảm ngưỡng thích ứng với thời gian, bắt đầu với s1=1/J@ và giảm ngưỡng đi 2 lần cho đến khi nào có thể thực hiện các ví dụ đã gán nhãn trên ngưỡng là đúng.
Chúng ta giới hạn cận dưởi của st đối với lỗi chỉ ra rằng với xác suất cao thì ngưỡng st không bao giờ là nhỏ.
Perceptron cải tiến
chiều d, số lượng nhãn L và R
#; ;. ; cho dữ liệu đầu tiên ; ;
; HJ@
For t=1 to L:
Chờ dữ liệu tiếp theo x: <. #3< 9 3 và truy vấn nhãn của x. Gọi dữ liệu đã gán nhãn 3 3 If3. #33 . ', then: #3:; #3 2#3. 33 3:; 3 else #3:; #3
If các dự đoán là đúng trên R dữ liệu đã gán nhãn liên tiếp
(vd: . # 4 '+K L L L),
then 3:; 3H2 else 3:; 3
Thuật toán trong hình 3.4 đã được Dasgupta đã trình bày bằng cách cải tiến bước cập nhật của thuật toán perceptron [32], thu được một thuật toán đơn giản hơn, đạt được lỗi mục tiêu ε bằng cách sử dụng số lượng nhãn xác định >?@ AB;C.
Trong lý thuyết phát triển của học tập tích cực, các kịch bản không tầm thường và cụ thể nhất mà trong đó học tập tích cực đã được thể hiện để cung cấp cho một sự cải tiến hàm số mũ trong độ phức tạp mẫu là học một một bộ phân tách tuyến tính cho các dữ liệu phân bố đều trên mặt cầu đơn vị.
3.2 Học tích cực với SVM 3.2.1 Giới thiệu