Microsoft PowerPoint TTNT Learning2 ppt Trang 1 CâyCây quyquyếếtt đđịịnhnh (ID3) (ID3) vvàà HHọọcc QuyQuy nnạạpp (ILA)(ILA) Tô Hoài Việt Khoa Công nghệ Thông tin Đại học Khoa học Tự nhiên TPHCM thviet[.]
Cây định (ID3) Học Quy nạp (ILA) Tô Hồi Việt Khoa Cơng nghệ Thơng tin Đại học Khoa học Tự nhiên TPHCM thviet@fit.hcmuns.edu.vn Trang Nội dung • • • • • Cây định Học định – Thuật toán ID3 Biểu diễn tri thức luật Rút luật từ định Thuật toán học quy nạp Trang Cây định Cây định biểu diễn: • Mỗi nút kiểm tra thuộc tính • Mỗi nhánh tương ứng với giá trị thuộc tính • Mỗi nút gán phân lớp Định luật Occam: đơn giản định tốt Trang Thuật toán học ID3 Được phát triển đồng thời Quinlan AI Breiman, Friedman, Olsen Stone thống kê Lặp: Chọn A Å thuộc tính định “tốt nhất” cho nút Gán A thuộc tính định cho nút Với giá trị A, tạo nhánh nút Phân loại mẫu huấn luyện cho nút Nếu mẫu huấn luyện phân loại hồn tồn NGƯNG, Ngược lại, lặp với nút Thuộc tính tốt gì? Trang Entropy • • • S tập mẫu huấn luyện p tỷ lệ mẫu dương S H ≡ – p.log2p – (1 – p).log2(1 – p) Trang Thuật toán học ID3 Được phát triển đồng thời Quinlan AI Breiman, Friedman, Olsen Stone thống kê Lặp: Chọn A Å thuộc tính định “tốt nhất” cho nút Gán A thuộc tính định cho nút Với giá trị A, tạo nhánh nút Phân loại mẫu huấn luyện cho nút Nếu mẫu huấn luyện phân loại hoàn toàn NGƯNG, Ngược lại, lặp với nút Thuộc tính tốt làm tối thiểu hố entropy trung bình liệu nút Trang Ví dụ Huấn luyện Trang Ví dụ (tt) Outlook Rain Overcast Temparature Sunny Cool Hot Mild 3+,2- 4+,0- 2+,3- 2+,2- H = 0.971 H=0 H = 0.971 H=1 4+,2- 3+,1- H = 0.918 H = 0.811 Hrain = – 3/5.log23/5 – 2/5.log22/5 = 0.442 + 0.529 = 0.971 Hovercast = – 4/4.log24/4 – 0/4.log20/4 = + = Hsunny = – 2/5.log22/5 – 3/5.log23/5 = 0.529 + 0.442 = 0.971 AE ( ĐHLTB ) = ∑p H v v∈Value ( A ) Av Trang Ví dụ (tt) Outlook Rain Overcast Temparature Sunny Cool Hot Mild 3+,2- 4+,0- 2+,3- 2+,2- 4+,2- H = 0.971 H=0 H = 0.971 H=1 H = 0.918 AE = 5/14*.971 + 4/14*0 + 5/14*.971 = 0.694 3+,1H = 0.811 AE = 4/14*1 + 6/14*.918 + 4/14*.811 = 0.911 Trang Ví dụ (tt) Humidity High Wind Normal Weak Strong 3+,4- 6+,1- 6+,2- 3+,3- H = 0.985 H = 0.592 H = 0.811 H=1 AE = 7/14*.985 + 7/14*.592 = 0.788 AE = 8/14*.811 + 6/14*1 = 0.892 Chọn Outlook thuộc tính định Trang 10 Ví dụ (tt) Outlook Rain 3+,2- Overcast Sunny Yes 2+,3- AE (Sunny, Temperature) = 2/5*0 + 2/5*1 + 1/5*0= 0.4 AE (Sunny, Humidity) = 2/5*0 + 3/5*0 = AE (Sunny, Wind) = 2/5*1 + 3/5*.918 = 0.951 Trang 13 Ví dụ (tt) Outlook Rain Sunny Overcast Wind Humidity Yes Weak Strong Yes No Normal Yes High No Trang 14 Tri thức dạng luật • Tri thức biểu diễn dạng luật: IF Điều kiện ^ Điều kiện 2… THEN Kết luận • Dễ hiểu với người, sử dụng chủ yếu hệ chuyên gia • Rút luật từ định: từ nút gốc đến nút lá, lấy phép thử làm tiền đề phân loại nút làm kết Trang 15 Rút luật từ định • IF Outlook = Overcast THEN Yes • IF Outlook = Rain AND Wind=Weak THEN Yes • IF Outlook = Rain AND Wind=Strong THEN No High • IF Outlook = Sunny AND Humidity=Normal THEN Yes No • IF Outlook = Sunny AND Humidity=High THEN No Outlook Rain Overcast Yes Humidity Wind Weak Yes Sunny Strong No Normal Yes Trang 16 Thuật giải Học Quy nạp (ILA) Dùng để rút luật phân lớp từ tập mẫu liệu: Chia tập mẫu thành tập ứng với thuộc tính định Với bảng Với tổ hợp thuộc tính bắt (bắt đầu với số lượng = 1) Tìm giá trị xuất bảng mà không xuất bảng khác (Nếu có nhiều tổ hợp chọn tổ hợp có số lượng mẫu tin nhiều nhất) Sử dụng tổ hợp thuộc tính, giá trị vừa tìm để tạo luật Đánh dấu dòng xét Nếu dòng chưa xét, lặp lại bước Lặp lại bước với bảng Trang 17 Ví dụ ILA STT Kích cỡ Màu sắc Hình dáng Quyết định Vừa Xanh dương Hộp Mua Nhỏ Đỏ Nón Không mua Nhỏ Đỏ Cầu Mua Lớn Đỏ Nón Khơng mua Lớn Xanh Trụ Mua Lớn Đỏ Trụ Không mua Lớn Xanh Cầu Mua Trang 18 Ví dụ ILA (tt) STT Kích cỡ Màu sắc Hình dáng Quyết định Vừa Xanh dương Hộp Mua Nhỏ Đỏ Cầu Mua Lớn Xanh Trụ Mua Lớn Xanh Cầu Mua Màu sắc Hình dáng Quyết định STT Kích cỡ Nhỏ Đỏ Nón Khơng mua Lớn Đỏ Nón Khơng mua Lớn Đỏ Trụ Khơng mua Trang 19 Ví dụ ILA (tt) STT Kích cỡ Màu sắc Hình dáng Quyết định Vừa Xanh dương Hộp Mua Nhỏ Đỏ Cầu Mua Lớn Xanh Trụ Mua Lớn Xanh Cầu Mua Màu sắc Hình dáng Quyết định STT Kích cỡ Nhỏ Lớn Lớn Chọn thuộc Đỏ tính Màu sắc Nón với giá trị Xanh Khơng mua Đỏ Nón Khơng mua Đỏ Trụ Khơng mua Trang 20 ...Nội dung • • • • • Cây định Học định – Thuật toán ID3 Biểu diễn tri thức luật Rút luật từ định Thuật toán học quy nạp Trang Cây định Cây định biểu diễn: • Mỗi nút kiểm tra thuộc... dụ ILA (tt) STT Kích cỡ Màu sắc Hình dáng Quy? ??t định Vừa Xanh dương Hộp Mua Nhỏ Đỏ Cầu Mua Lớn Xanh Trụ Mua Lớn Xanh Cầu Mua Màu sắc Hình dáng Quy? ??t định STT Kích cỡ Nhỏ Đỏ Nón Khơng mua Lớn... dụ ILA (tt) STT Kích cỡ Màu sắc Hình dáng Quy? ??t định Vừa Xanh dương Hộp Mua Nhỏ Đỏ Cầu Mua Lớn Xanh Trụ Mua Lớn Xanh Cầu Mua Màu sắc Hình dáng Quy? ??t định STT Kích cỡ Nhỏ Lớn Lớn Chọn thuộc Đỏ