Chương 2 - Đánh giá hiệu năng học máy. Chương này trình bày những nội dung chính sau: Đánh giá hiệu năng học máy, các phương pháp đánh giá hiệu năng học máy, Bootstrap sampling, tập tối ưu, các tiêu chí đánh giá tập tối ưu, tính chính xác, ma trận nhầm lẫn,... Mời các bạn cùng tham khảo nội dung chi tiết.
Học Máy (IT 4862) Nguyễn ễ Nhật hậ Quang quangnn-fit@mail.hut.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin truyền thông Năm học 2011-2012 Nội dung d môn ô học: h Giới thiệu chung g Đánh giá hiệu hệ thống học máy Cá phương Các h pháp há học h dựa d t ê xác suất ất Các phương pháp học có giám sát Các phương pháp học không giám sát Lọc cộng tác Học tăng cường Học Máy – IT 4862 Đánh giá hiệu hệ thống học máy (1) Việc đánh giá hiệu hệ thống học máy thường thực dựa thực nghiệm (experimentally), (experimentally) dựa phân tích (analytically) • Các đánh g giá p phân tích ((analytical y evaluation)) nhằm chứng minh hệ thống đắn (correct) hoàn chỉnh (complete) (vd: chứng minh định lý Logics) • Khơng thể xây dựng đặc tả (định nghĩa) hình thức vấn đề mà ộ hệ ệ thống g học ọ máyy g giải q y ((Đối với tốn học máy, tính đắn tính hồn chỉnh gì?) Học Máy – IT 4862 Đánh giá hiệu hệ thống học máy (2) Tập trung vào việc đánh giá hiệu hệ thống • Thực cách tự động, động sử dụng tập ví dụ (tập thử nghiệm) • Khơng g cần tham g gia ((can thiệp) p) người g dùng g Các phương pháp đánh giá (evaluation methods) có ộ đá đánh g giá đá đáng g tin cậy ề hiệu ệu → Làm hệ thống? Các tiêu chí đánh g giá ((evaluation metrics)) → Làm để đo (tính tốn) hiệu hệ thống? Học Máy – IT 4862 Các p phươngg pháp p p đánh giá g (1) Tập huấn ấ luyện Toàn tập ví dụ Được dùng để huấn ố luyện hệ thống Tập tối ưu Tùy chọn; dùng để tối ưu tham số hệ thống Tập ập kiểm thử Được dùng để đánh giá hệ thống (sau khi) đ h ấ luyện huấn l ệ Học Máy – IT 4862 Các p phươngg pháp p p đánh giá g (2) Làm để thu đánh giá đáng tin cậy ệ g hệ ệ thống? g hiệu • Tập huấn luyện lớn, hiệu hệ thống học tốt • Tập kiểm thử lớn, việc đánh giá xác • Vấn đề: Rất khó (ít khi) có tập liệu (rất) lớn Hiệu g hệ thống g không g p phụ thuộc vào g giải thuật học máy sử dụng, mà phụ thuộc vào: • Phân bố lớp (Class distribution) • Chi phí việc phân lớp sai (Cost of misclassification) • Kích thước tập huấn luyện (Size of the training set) • Kích thước tập kiểm thử (Size of the test set) Học Máy – IT 4862 Các p phươngg pháp p p đánh giá g (3) Hold-out Stratified sampling Repeated hold-out hold out Cross-validation • k-fold • Leave-one-out Bootstrap sampling Học Máy – IT 4862 Hold-out (Splitting) Toàn tập ví dụ D chia thành tập khơng giao • Tập huấn luyện D_train _ – để huấn luyện hệ thống • Tập kiểm thử D_test – để đánh giá hiệu hệ thống học → D = D_train ∪ D_test, thường |D_train| >> |D_test| Các yêu cầu: Bất kỳ ví dụ thuộc vào tập kiểm thử D_test không sử dụng trình huấn luyện hệ thống Bất kỳ víí dụ d đ sử dụng d t giai i i đoạn đ huấn h ấ luyện l ệ hệ thống thố (i.e., thuộc vào D_train) không sử dụng giai đoạn đánh giá hệ thống Các Cá víí d dụ kiểm kiể thử ttrong D_test cho h phép ột đá đánh h giá iá khô không thiên vị hiệu hệ thống Các lựa chọn thường gặp: |D_train|=(2/3).|D|, |D_test|=(1/3).|D| Phù hợp ta có tập ví dụ D có kích thước lớn Học Máy – IT 4862 Stratified sampling Đối với tập ví dụ có kích thước nhỏ không cân xứng ((unbalanced datasets), ), ví dụ ụ g tập ập huấn luyện yệ thử nghiệm khơng phải đại diện Ví dụ: Có (rất) ít, khơng có, ví dụ số lớp Mục tiêu: Phân bố ố lớp (class distribution) tập huấn ấ luyện tập kiểm thử phải xấp xỉ tập tồn ví dụ (D) Lấy mẫu phân tầng (Stratified sampling) • Là phương pháp để cân xứng (về phân bố lớp) • Đảm bảo tỷ lệ phân bố lớp (tỷ lệ ví dụ lớp) tập h ấ luyện huấn l ệ tậ tập kiểm kiể thử xấp ấ xỉỉ h Phương pháp lấy mẫu phân tầng không áp dụng cho toán học máy dự đoán/hồi quy (vì giá trị đầu hệ thống giá trị số, nhãn lớp) Học Máy – IT 4862 Repeated hold-out Áp dụng phương pháp đánh giá Hold-out nhiều lần, để sinh (sử dụng) tập huấn luyện thử nghiệm khác • Trong bước lặp, tỷ lệ định tập D lựa chọn ngẫu ẫ nhiên để ể tạo nên tập huấn ấ luyện (có thể ể sử dụng kết ế hợp với phương pháp lấy mẫu phân tầng – stratified sampling) giá trịị lỗi ((hoặc ặ g giá trịị tiêu chí đánh g giá khác)) • Các g ghi nhận bước lặp lấy trung bình cộng (averaged) để xác định giá trị lỗi tổng thể Phương pháp khơng hồn hảo • Mỗi bước lặp sử dụng tập kiểm thử khác • Có số ví dụ trùng lặp (được sử dụng lại nhiều lần) tập kiểm ể thử Học Máy – IT 4862 10 Cross-validation Để tránh việc trùng lặp tập kiểm thử (một số ví dụ xuất tập kiểm thử khác nhau) k-fold cross-validation • Tập tồn ví dụ D chia thành k tập khơng giao (gọi “fold”) fold ) có kích thước xấp xỉ • Mỗi lần (trong số k lần) lặp, tập sử dụng làm tập kiểm thử, (k-1) tập lại dùng làm tập huấn luyện • k giá trị lỗi (mỗi giá trị tương ứng với fold) tính trung bình cộng để thu giá trị lỗi tổng thể Các lựa chọn thông thường k: 10, Thông thường, tập (fold) lấy mẫu phân tầng (xấp xỉ phân bố lớp) trước áp dụng trình đánh giá Cross-validation Phù hợp ta có tập ví dụ D vừa nhỏ Học Máy – IT 4862 11 Leave-one-out cross-validation Một trường hợp (kiểu) phương pháp Cross-validation • Số lượng nhóm (folds) kích thước tập liệu (k=|D|) (k |D|) • Mỗi nhóm (fold) bao gồm ví dụ Khai thác tối đa ((triệt để)) tập p ví dụ ban đầu Khơng có bước lấy mẫu ngẫu nhiên (no random subsampling) Áp dụng lấy mẫu phân tầng (stratification) không phù hợp → Vì bước lặp, tập thử nghiệm gồm có ví dụ Chi phí tính tốn (rất) cao Phù hợp ta có tập ví dụ D (rất) nhỏ Học Máy – IT 4862 12 Bootstrap sampling (1) Phương pháp Cross-validation sử dụng việc lấy mẫu không lặp lại (sampling without replacement) → Đối với ví dụ, dụ chọn (được sử dụng), dụng) khơng thể chọn (sử dụng) lại cho tập huấn luyện Phương pháp Bootstrap sampling sử dụng việc lấy mẫu có lặp lại (sampling with replacement) để tạo nên tập huấn luyện • Giả sử tập tồn D bao gồm n ví dụ • Lấy mẫu có lặp lại n lần tập D, để tạo nên tập huấn luyện D train gồm n ví dụ D_train Từ tập D, lấy ngẫu nhiên ví dụ x (nhưng khơng loại bỏ x khỏi tập D) ¾ Đưa ví dụ x vào tập huấn luyện: D_train = D_train ∪ x ¾ Lp li bc trờn n ln ắ ã Sử dụng tập D_train để huấn luyện hệ thống • Sử dụng g tất ví dụ thuộc D g không g thuộc ộ D_train ể tạo nên tập thử nghiệm: D_test = {z∈D; z∉D_train} để Học Máy – IT 4862 13 Bootstrap sampling (2) Trong bước lặp, ví dụ có xác suất = ⎛⎜1 − ⎞⎟ n⎠ không lựa chọn đưa vào tập huấn luyện⎝ để Vì vậy, xác suất để ví dụ (sau q trình lấy mẫu lặp lại – bootstrap sampling) đưa vào tập kiểm thử là: n Có nghĩa rằng: ⎛ 1⎞ −1 ⎜1 − ⎟ ≈ e ≈ 0.368 ⎝ n⎠ • Tậ Tập huấn h ấ lluyện ệ (có ( ó kí kích h th thước =n)) b bao gồm xấp ấ xỉỉ 63.2% 63 2% víí d dụ D (Lưu ý: Một ví dụ thuộc tập D xuất nhiều lần tập D_train) • Tập kiểm thử (có kích thước