CHƯƠNG I : GIỚI THIỆU
3.1 Họctích cực dựa trên perceptron
3.1.4 Perceptron chỉnh sửa tích cực
Mục đích trong việc thiết kế luật học tích cực là giảm thiểu phức tạp nhãn được đưa vào câu truy vấn chỉ cho các nhãn trên các điểm trong miền lỗi ξt. Tuy nhiên khơng cĩ tri thức của u, thuật tốn sẽ khơng biết vị trí của ξt. Theo trực giác thì luật học tích cực là xấp xỉ với miền lỗi, với thơng tin đã cho thuật tốn cĩ vt. Trong hình 3.3, vùng đã gán nhãn L đơn giản là miền được hình thành bởi việc tạo ngưỡng cho các lề của một ví dụ ứng viên đối với vt.
Phiên bản tích cực của thuật tốn Perceptron cải tiến được chỉ ra trong hình 3.4. Thuật tốn này tương tự thuật tốn của phần trước trong các bước cập nhật. Đối với quy tắc lọc, sẽ duy trì một ngưỡng st và chỉ yêu cầu cho các nhãn của các ví dụ cĩ <#3. < 9 3. Miền xấp xỉ lỗi đạt được bằng cách chọn ngưỡng st thích hợp, để quản lý sự cân bằng giữa vùng L đang quá lớn, gây ra nhiều nhãn bị lãng phí mà khơng tìm được ξt, và L chỉ chứa các điểm cĩ lề rất
nhỏ đối với vt, vì bước cập nhật sẽ tạo ra sự cải tiến rất nhỏ trên các điểm như thế. Thuật tốn giảm ngưỡng thích ứng với thời gian, bắt đầu với s1=1/J@ và giảm ngưỡng đi 2 lần cho đến khi nào cĩ thể thực hiện các ví dụ đã gán nhãn trên ngưỡng là đúng.
Chúng ta giới hạn cận dưởi của st đối với lỗi chỉ ra rằng với xác suất cao thì ngưỡng st khơng bao giờ là nhỏ.
Perceptron cải tiến
chiều d, số lượng nhãn L và R
#; ;. ; cho dữ liệu đầu tiên ; ;
; HJ@
For t=1 to L:
Chờ dữ liệu tiếp theo x: <. #3< 9 3 và truy vấn nhãn của x. Gọi dữ liệu đã gán nhãn 3 3 If3. #33 . ', then: #3:; #3 2#3. 33 3:; 3 else #3:; #3
If các dự đốn là đúng trên R dữ liệu đã gán nhãn liên tiếp
(vd: . # 4 '+K L L L),
then 3:; 3H2 else 3:; 3
Thuật tốn trong hình 3.4 đã được Dasgupta đã trình bày bằng cách cải tiến bước cập nhật của thuật tốn perceptron [32], thu được một thuật tốn đơn giản hơn, đạt được lỗi mục tiêu ε bằng cách sử dụng số lượng nhãn xác định >?@ AB;C.
Trong lý thuyết phát triển của học tập tích cực, các kịch bản khơng tầm thường và cụ thể nhất mà trong đĩ học tập tích cực đã được thể hiện để cung cấp cho một sự cải tiến hàm số mũ trong độ phức tạp mẫu là học một một bộ phân tách tuyến tính cho các dữ liệu phân bố đều trên mặt cầu đơn vị.
3.2 Học tích cực với SVM 3.2.1 Giới thiệu