Học Máy (IT4862) Nhập môn Học máy và Khai phá dữ liệu (IT3190) Nguyễn Nhật Quang quang nguyennhat@hust edu vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2020 2021[.]
Nhập môn Học máy Khai phá liệu (IT3190) Nguyễn Nhật Quang quang.nguyennhat@hust.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin truyền thông Năm học 2020-2021 Nội dung môn học: Giới thiệu Học máy Khai phá liệu Tiền xử lý liệu Đánh giá hiệu hệ thống Hồi quy Phân lớp Cây định (Decision tree) Phân cụm Phát luật kết hợp Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Học định – Giới thiệu ◼ Học định (Decision tree –DT– learning) • Để học (xấp xỉ) hàm mục tiêu có giá trị rời rạc (discretevalued target function) – hàm phân lớp • Hàm phân lớp biểu diễn định ◼ Một định biểu diễn (diễn giải) tập luật IF-THEN (dễ đọc dễ hiểu) ◼ Học định thực với liệu có chứa nhiễu/lỗi (noisy data) ◼ Là phương pháp học quy nạp (inductive learning) dùng phổ biến ◼ Được áp dụng thành công nhiều tốn ứng dụng thực tế Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Ví dụ DT: Những tin tức mà quan tâm? “sport”? is present “player”? is present Interested is absent Uninterested is absent “football”? is present Interested is present Interested • (…,“sport”,…,“player”,…) → Interested • (…,“goal”,…) → Interested • (…,“sport”,…) → Uninterested Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining is absent “goal”? is absent Uninterested Ví dụ DT: Một người có chơi tennis không? Outlook=? Sunny Overcast Humidity=? Rain Wind=? Yes High Normal No Yes Strong No Weak Yes • (Outlook=Overcast, Temperature=Hot, Humidity=High, Wind=Weak) → Yes • (Outlook=Rain, Temperature=Mild, Humidity=High, Wind=Strong) → No • (Outlook=Sunny, Temperature=Hot, Humidity=High, Wind=Strong) → No Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Biểu diễn định (1) ◼ Mỗi nút (internal node) biểu diễn thuộc tính cần kiểm tra giá trị (an attribute to be tested) ví dụ ◼ Mỗi nhánh (branch) từ nút tương ứng với giá trị thuộc tính gắn với nút ◼ Mỗi nút (leaf node) biểu diễn phân lớp (a classification) ◼ Một định học phân lớp ví dụ, cách duyệt từ nút gốc đến nút → Nhãn lớp gắn với nút gán cho ví dụ cần phân lớp Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Biểu diễn định (2) ◼ Một định biểu diễn phép tuyển (disjunction) kết hợp (conjunctions) ràng buộc giá trị thuộc tính ví dụ ◼ Mỗi đường (path) từ nút gốc đến nút tương ứng với kết hợp (conjunction) kiểm tra giá trị thuộc tính (attribute tests) ◼ Cây định (bản thân nó) phép tuyển (disjunction) kết hợp (conjunctions) ◼ Các ví dụ → Hãy xét định nêu trước… Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Những tin tức mà quan tâm? “sport”? is present “player”? is present Interested is absent “football”? is absent is present is absent Uninterested Interested “goal”? is present Interested is absent Uninterested [(“sport” is present) (“player” is present)] [(“sport” is absent) (“football” is present)] [(“sport” is absent) (“football” is absent) (“goal” is present)] Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Một người có chơi tennis khơng? Outlook=? Sunny Rain Overcast Humidity=? Wind=? Yes High Normal No Yes Strong Weak No Yes [(Outlook=Sunny) (Humidity=Normal)] (Outlook=Overcast) [(Outlook=Rain) (Wind=Weak)] Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Giải thuật ID3 – Ý tưởng ◼ Thực giải thuật tìm kiếm tham lam (greedy search) khơng gian định dựng (học) định theo chiến lược top-down, nút gốc ◼ Xây ◼Ở nút, thuộc tính kiểm tra (test attribute) thuộc tính có khả phân loại tốt ví dụ học gắn với nút ◼ Tạo (sub-tree) nút cho giá trị thuộc tính kiểm tra, tập học tách (thành tập con) tương ứng với vừa tạo ◼ Mỗi thuộc tính phép xuất tối đa lần đường ◼ Quá trình phát triển (học) định tiếp tục khi… • Cây định phân loại hồn tồn (perfectly classifies) ví dụ học, • Tất thuộc tính sử dụng Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining 10 ...Nội dung môn học: Giới thiệu Học máy Khai phá liệu Tiền xử lý liệu Đánh giá hiệu hệ thống Hồi quy Phân lớp Cây định (Decision tree) Phân cụm Phát luật kết hợp Nhập môn Học máy Khai phá liệu... hiểu) ◼ Học định thực với liệu có chứa nhiễu/lỗi (noisy data) ◼ Là phương pháp học quy nạp (inductive learning) dùng phổ biến ◼ Được áp dụng thành công nhiều tốn ứng dụng thực tế Nhập mơn Học máy. .. Khai phá liệu – Introduction to Machine learning and Data mining Học định – Giới thiệu ◼ Học định (Decision tree –DT– learning) • Để học (xấp xỉ) hàm mục tiêu có giá trị rời rạc (discretevalued target