Slide máy học chương 2 đánh giá hiệu năng đại học bách khoa hà nội

Học Máy (IT 4862) Nguyễn ễ Nhật hậ Quang quangnn-fit@mail.hut.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin truyền thông Năm học 2011-2012 CuuDuongThanCong.com https://fb.com/tailieudientucntt Nội dung d môn ô học: h „ Giới thiệu chung g „ Đánh giá hiệu hệ thống học máy „ Cá phương Các h pháp há học h dựa d t ê xác suất ất „ Các phương pháp học có giám sát „ Các phương pháp học không giám sát „ Lọc cộng tác „ Học tăng cường Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Đánh giá hiệu hệ thống học máy (1) „ Việc đánh giá hiệu hệ thống học máy thường thực dựa thực nghiệm (experimentally), (experimentally) dựa phân tích (analytically) • Các đánh g giá p phân tích ((analytical y evaluation)) nhằm chứng minh hệ thống đắn (correct) hoàn chỉnh (complete) (vd: chứng minh định lý Logics) • Khơng thể xây dựng đặc tả (định nghĩa) hình thức vấn đề mà ộ hệ ệ thống g học ọ máyy g giải q y ((Đối với tốn học máy, tính đắn tính hồn chỉnh gì?) Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Đánh giá hiệu hệ thống học máy (2) „ Tập trung vào việc đánh giá hiệu hệ thống • Thực cách tự động, động sử dụng tập ví dụ (tập thử nghiệm) • Khơng g cần tham g gia ((can thiệp) p) người g dùng g „ Các phương pháp đánh giá (evaluation methods) có ộ đá đánh g giá đá đáng g tin cậy ề hiệu ệu → Làm hệ thống? „ Các tiêu chí đánh g giá ((evaluation metrics)) → Làm để đo (tính tốn) hiệu hệ thống? Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Các p phươngg pháp p p đánh giá g (1) Tập huấn ấ luyện Toàn tập ví dụ Được dùng để huấn ố luyện hệ thống Tập tối ưu Tùy chọn; dùng để tối ưu tham số hệ thống Tập ập kiểm thử Được dùng để đánh giá hệ thống (sau khi) đ h ấ luyện huấn l ệ Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Các p phươngg pháp p p đánh giá g (2) „ Làm để thu đánh giá đáng tin cậy ệ g hệ ệ thống? g hiệu • Tập huấn luyện lớn, hiệu hệ thống học tốt • Tập kiểm thử lớn, việc đánh giá xác • Vấn đề: Rất khó (ít khi) có tập liệu (rất) lớn „ Hiệu g hệ thống g không g p phụ thuộc vào g giải thuật học máy sử dụng, mà phụ thuộc vào: • Phân bố lớp (Class distribution) • Chi phí việc phân lớp sai (Cost of misclassification) • Kích thước tập huấn luyện (Size of the training set) • Kích thước tập kiểm thử (Size of the test set) Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Các p phươngg pháp p p đánh giá g (3) „ Hold-out „ Stratified sampling „ Repeated hold-out hold out „ Cross-validation • k-fold • Leave-one-out „ Bootstrap sampling Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Hold-out (Splitting) „ Tồn tập ví dụ D chia thành tập khơng giao • Tập huấn luyện D_train _ – để huấn luyện hệ thống • Tập kiểm thử D_test – để đánh giá hiệu hệ thống học → D = D_train ∪ D_test, thường |D_train| >> |D_test| „ Các yêu cầu: Bất kỳ ví dụ thuộc vào tập kiểm thử D_test khơng sử dụng q trình huấn luyện hệ thống ‰ Bất kỳ víí dụ d đ sử dụng d t giai i i đoạn đ huấn h ấ luyện l ệ hệ thống thố (i.e., thuộc vào D_train) không sử dụng giai đoạn đánh giá hệ thống ‰ Các Cá víí d dụ kiểm kiể thử ttrong D_test cho h phép ột đá đánh h giá iá khô không thiên vị hiệu hệ thống ‰ „ „ Các lựa chọn thường gặp: |D_train|=(2/3).|D|, |D_test|=(1/3).|D| Phù hợp ta có tập ví dụ D có kích thước lớn Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Stratified sampling „ „ Đối với tập ví dụ có kích thước nhỏ khơng cân xứng ((unbalanced datasets), ), ví dụ ụ g tập ập huấn luyện yệ thử nghiệm khơng phải đại diện Ví dụ: Có (rất) ít, khơng có, ví dụ số lớp „ Mục tiêu: Phân bố ố lớp (class distribution) tập huấn ấ luyện tập kiểm thử phải xấp xỉ tập tồn ví dụ (D) „ Lấy mẫu phân tầng (Stratified sampling) • Là phương pháp để cân xứng (về phân bố lớp) • Đảm bảo tỷ lệ phân bố lớp (tỷ lệ ví dụ lớp) tập h ấ luyện huấn l ệ tậ tập kiểm kiể thử xấp ấ xỉỉ h „ Phương pháp lấy mẫu phân tầng không áp dụng cho tốn học máy dự đốn/hồi quy (vì giá trị đầu hệ thống giá trị số, nhãn lớp) Học Máy – IT 4862 CuuDuongThanCong.com https://fb.com/tailieudientucntt Repeated hold-out „ Áp dụng phương pháp đánh giá Hold-out nhiều lần, để sinh (sử dụng) tập huấn luyện thử nghiệm khác • Trong bước lặp, tỷ lệ định tập D lựa chọn ngẫu ẫ nhiên để ể tạo nên tập huấn ấ luyện (có thể ể sử dụng kết ế hợp với phương pháp lấy mẫu phân tầng – stratified sampling) giá trịị lỗi ((hoặc ặ g giá trịị tiêu chí đánh g giá khác)) • Các g ghi nhận bước lặp lấy trung bình cộng (averaged) để xác định giá trị lỗi tổng thể „ Phương pháp khơng hồn hảo • Mỗi bước lặp sử dụng tập kiểm thử khác • Có số ví dụ trùng lặp (được sử dụng lại nhiều lần) tập kiểm ể thử Học Máy – IT 4862 CuuDuongThanCong.com 10 https://fb.com/tailieudientucntt Cross-validation „ „ Để tránh việc trùng lặp tập kiểm thử (một số ví dụ xuất tập kiểm thử khác nhau) k-fold cross-validation • Tập tồn ví dụ D chia thành k tập khơng giao (gọi “fold”) fold ) có kích thước xấp xỉ • Mỗi lần (trong số k lần) lặp, tập sử dụng làm tập kiểm thử, (k-1) tập lại dùng làm tập huấn luyện • k giá trị lỗi (mỗi giá trị tương ứng với fold) tính trung bình cộng để thu giá trị lỗi tổng thể „ Các lựa chọn thông thường k: 10, „ Thông thường, tập (fold) lấy mẫu phân tầng (xấp xỉ phân bố lớp) trước áp dụng trình đánh giá Cross-validation Phù hợp ta có tập ví dụ D vừa nhỏ „ Học Máy – IT 4862 CuuDuongThanCong.com 11 https://fb.com/tailieudientucntt Leave-one-out cross-validation „ Một trường hợp (kiểu) phương pháp Cross-validation • Số lượng nhóm (folds) kích thước tập liệu (k=|D|) (k |D|) • Mỗi nhóm (fold) bao gồm ví dụ „ Khai thác tối đa ((triệt để)) tập p ví dụ ban đầu „ Khơng có bước lấy mẫu ngẫu nhiên (no random subsampling) „ Áp dụng lấy mẫu phân tầng (stratification) không phù hợp → Vì bước lặp, tập thử nghiệm gồm có ví dụ „ Chi phí tính tốn (rất) cao „ Phù hợp ta có tập ví dụ D (rất) nhỏ Học Máy – IT 4862 CuuDuongThanCong.com 12 https://fb.com/tailieudientucntt Bootstrap sampling (1) „ Phương pháp Cross-validation sử dụng việc lấy mẫu không lặp lại (sampling without replacement) → Đối với ví dụ, dụ chọn (được sử dụng), dụng) khơng thể chọn (sử dụng) lại cho tập huấn luyện „ Phương pháp Bootstrap sampling sử dụng việc lấy mẫu có lặp lại (sampling with replacement) để tạo nên tập huấn luyện • Giả sử tập tồn D bao gồm n ví dụ • Lấy mẫu có lặp lại n lần tập D, để tạo nên tập huấn luyện D train gồm n ví dụ D_train Từ tập D, lấy ngẫu nhiên ví dụ x (nhưng khơng loại bỏ x khỏi tập D) ¾ Đưa ví dụ x vào tập huấn luyện: D_train = D_train ∪ x ¾ Lặp lại bước n ln ắ ã S dng D_train hun luyện hệ thống • Sử dụng g tất ví dụ thuộc D g khơng g thuộc ộ D_train ể tạo nên tập thử nghiệm: D_test = {z∈D; z∉D_train} để Học Máy – IT 4862 CuuDuongThanCong.com 13 https://fb.com/tailieudientucntt Bootstrap sampling (2) „ „ Trong bước lặp, ví dụ có xác suất = ⎛⎜1 − ⎞⎟ n⎠ không lựa chọn đưa vào tập huấn luyện⎝ để Vì vậy, xác suất để ví dụ (sau trình lấy mẫu lặp lại – bootstrap sampling) đưa vào tập kiểm thử là: n „ Có nghĩa rằng: ⎛ 1⎞ −1 ⎜1 − ⎟ ≈ e ≈ 0.368 ⎝ n⎠ • Tậ Tập huấn h ấ lluyện ệ (có ( ó kí kích h th thước =n)) b bao gồm xấp ấ xỉỉ 63.2% 63 2% víí d dụ D (Lưu ý: Một ví dụ thuộc tập D xuất nhiều lần tập D_train) • Tập kiểm thử (có kích thước