Chơng 5 Phân lớp dựa trên cây quyết định
5.3.1 Chiến lợc dựng cây
Để tiện trình bày, kí hiệu : T : Tập mẫu học
Cj : Lớp thứ j, j = 1 , . . . , k X : Một phép thử bất kì
Oi : Khả năng thứ i của phép thử X, i = 1 , . . . , n
Ti : Tập con thứ i của T (i = 1 , . . . , n) sao cho mọi mẫu trong Ti đều thỏa mãn khả năng Oi.
Việc dựng cây đợc thực hiện một cách đệ quy theo phơng pháp Hunt. Khi dùng tập mẫu học T có các nhãn lớp {C1 , . . . , Ck} để phát triển một cây quyết định có thể xảy ra một trong ba trờng hợp sau :
1. Mọi mẫu trong T đều thuộc lớp Cj : Cây quyết định tơng ứng sẽ chỉ là một lá có nhãn lớp là Cj .
2. T là tập rỗng. Khi đó cây quyết định tơng ứng cũng chỉ là một lá, tuy nhiên để xác định nhãn lớp cho lá này cần có thêm thông tin.
3. Các phần tử của T thuộc nhiều lớp khác nhau. Dùng một phép thử X có các khả năng O1, . . . , On loại trừ lẫn nhau để tách tập T thành các tập con T1 , . . . , Tn rời nhau. Cây quyết định tơng ứng với T sẽ gồm một nút quyết định có nhãn X và n nhánh tơng ứng với n khả năng ở hình 5.2 dới đây.
Lặp lại phơng pháp này với từng tập con Ti . T
T1 T2 Tn
Hình 5.2 : Phát triển một nút quyết định
Quá trình phát triển cây sẽ hoàn thành khi các mẫu ở tập mẫu tơng ứng với từng lá đều thuộc cùng một lớp hoặc khi tập mẫu này có quá ít phần tử không cần tiếp tục phân chia nữa.
Nh vậy ở mỗi nút quyết định Node có tập mẫu tơng ứng là T, quá trình phát triển cây chia thành hai thao tác chính : Thao tác quyết định tách và thao tác tách . Thao tác thứ nhất xác định một điều kiện tách tập T nhằm tối u một tiêu chuẩn tách. Tính phức tạp của thao tác này phụ thuộc tính chất của thuộc tính đang xét là liên tục hay rời rạc. Thao tác thứ hai áp dụng điều kiện tách vừa xác định đợc để tách tập T thành các tập con Ti
rời nhau tơng ứng với việc phát triển nút Node thành các nút con.