PowerPoint Presentation BÀI 2 HỌC MÁY Nội dung 1 Các khái niệm cơ bản 2 Phương pháp đánh giá 3 Cây quyết định 4 Thuật toán Naive Bayes 5 Thuật toán SVM 6 Thuật toán kNN 7 Mạng nơ ron tiến 8 Mạng nơ ro[.]
BÀI 2: HỌC MÁY Nội dung Các khái niệm Phương pháp đánh giá Cây định Thuật toán Naive Bayes Thuật toán SVM Thuật toán kNN Mạng nơ-ron tiến Mạng nơ-ron tích chập Mạng nơ-ron hồi quy 10 Kết hợp phân loại Các khái niệm ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ Dữ liệu miêu tả thuộc tính nằm tập A = {A1, A2, , A|A|} Thuộc tính lớp C = {c1, c2, , c|C|} (|C| ≥ 2), ci nhãn lớp Mỗi tập DL dùng để học bao gồm ví dụ chứa thơng tin “kinh nghiệm q khứ” Cho tập DL D, mục tiêu việc học xây dựng hàm phân loại/dự đoán liên kết giá trị thuộc tính A với lớp C Hàm sử dụng để phân loại/dự đốn liệu “tương lai” Hàm cịn gọi mơ hình phân loại/dự đốn phân loại VD mẫu DL Bảng ID Tuổi Đi làm trẻ FALSE trẻ FALSE trẻ TRUE trẻ TRUE trẻ FALSE trung niên FALSE trung niên FALSE trung niên TRUE trung niên FALSE 10 trung niên FALSE 11 già FALSE 12 già FALSE 13 già TRUE 14 già TRUE 15 già FALSE Có nhà FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE TRUE TRUE TRUE TRUE FALSE FALSE FALSE Tín dụng Lớp bình thường tốt tốt bình thường bình thường bình thường tốt tốt xuất sắc xuất sắc xuất sắc tốt tốt xuất sắc bình thường No No Yes Yes No No No Yes Yes Yes Yes Yes Yes Yes No Học có giám sát ⚫ ⚫ ⚫ ⚫ ⚫ Học có giám sát: Nhãn lớp cung cấp tập DL DL dùng để học gọi DL huấn luyện Sau mơ hình học thơng qua thuật tốn học, đánh giá tập DL kiểm thử để đo đạc mức độ xác Khơng dùng DL kiểm thử để học mơ hình Tập DL có nhãn thường chia làm hai tập độc lập dùng để học kiểm thử độ xác = số phân loại tổng số DL kiểm thử Học máy gì? ⚫ ⚫ ⚫ Cho tập DL biểu diễn “kinh nghiệm” khứ, tác vụ T độ đo hiệu M Một hệ thống máy tính có khả học từ DL để thực tác vụ T sau học hiệu máy tác vụ T (được đo M) cải thiện Mơ hình học tri thức giúp cho hệ thống thực tác vụ tốt so với khơng học Q trình học q trình xây dựng mơ hình trích rút tri thức Học máy gì? (tiếp) ⚫ Trong bảng 1, khơng có q trình học, giả sử tập DL kiểm thử có phân phối lớp DL huấn luyện − − ⚫ Thực dự đoán cách ngẫu nhiên → độ xác = 50% Thực dự đoán theo lớp phổ biến (lớp yes) → độ xác = 9/15 = 60% Mơ hình có khả học độ xác cải thiện Mối quan hệ DL huấn luyện kiểm thử ⚫ Giả thiết: Phân phối DL huấn luyện DL kiểm thử DL huấn luyện Thuật tốn học Bước 1: Huấn luyện Mơ hình DL kiểm thử Bước 2: Kiểm tra Độ xác đánh giá 2.1 P đánh giá P ⚫ Chia DL hai tập huấn luyện kiểm thử độc lập (thường dùng tỉ lệ 50-50 70-30) − − ⚫ ⚫ Nếu DL nhỏ, thực lấy mẫu đánh giá n lần lấy trung bình Cross-validation: DL chia làm n phần độc lập Mỗi lần phần dùng làm DL kiểm thử n-1 phần lại làm DL huấn luyện Kết lấy trung bình − ⚫ Lấy mẫu ngẫu nhiên để tạo tập huấn luyện; phần lại làm tập kiểm thử Nếu DL xây dựng theo thời gian, sử dụng khứ làm DL huấn luyện Leave-one-out: Nếu DL bé, tập chứa phần tử, số phần = số phần tử tập DL Validation set: Sử dụng để lựa chọn siêu tham số mơ hình (các tham số khơng học được) 2.2 Các độ đo đánh giá Ma trận nhập nhằng Phân loại tích cực Tích cực TP Tiêu cực FP Phân loại tiêu cực TN FN TP: Số lượng phân loại ví dụ tích cực (true positive) FN: Số lượng phân loại sai ví dụ tích cực (false negative) FP: Số lược phân loại sai ví dụ tiêu cực (false positive) TN: Số lượng phân loại ví dụ tiêu cực (true negative) Ví dụ tích cực ví dụ có nhãn lớp cần quan tâm Ví dụ tiêu cực ví dụ có nhãn lớp khơng quan tâm Precision = TP TP + FP Recall = TP TP + FN F= 2pr p+r