III. Thuật toán phân lớp cây quyết định
3.3.2. Nội dung thuật toán C4.5
Dữ liệu vào: Tập dữ liệu D, tập danh sách thuộc tính, tập nhãn lớp. Dữ liệu ra: Mô hình cây quyết định.
Thuật toán: TaoCay(tập dữ liệu E, tập danh sách thuộc tính F, tập nhãn lớp)
1. Nếu điều_kiện_dừng(E,F)=Đúng 2. Nút_lá = CreateNode() 3. Nút_lá.Nhãn_lớp = Phân_lớp(E) 4. return Nút_lá 5. Ngược lại 6. Nút_gốc = CreateNode() 7. Nút_gốc.Điều_kiện_kiểm_tra = Tìm_điểm_chia_tốt_nhất(E,F) 8. Đặt F= F\{Nút chọn phân chia}
9. Đặt V = {v}| v thỏa điều kiện là phần phân chia xuất phát từ Nút_gốc} 10. Lặp qua từng tập phân chia v ∈ V
12. Νút_con = TaoCay(Ev, F, tập nhãn lớp)
13. Dừng lặp 14. End If
15. Trả về Nút_gốc.
Giải thích thuật toán: đây là một thuật toán kiểu đệ quy tạo cây quyết định.
Tại hàm chính, gọi hàm đệ quy TaoCay() với 3 tham số vào là tập dữ liệu E, tập danh sách thuộc tính F và tập nhãn. Thuật toán làm việc bằng cách đệ quy chọn giá trị thuộc tính tốt nhất để chia. Lưu ý là chọn giá trị của thuộc tính sao cho điều kiện chia tốt nhất (bước 7), tiếp tục tiến hành mở rộng nút con bằng cách gọi đệ quy cho đến khi điều kiện dừng (ở bước 1) được thỏa mãn. Chi tiết thuật toán như sau:
+ Dòng đầu tiên sẽ kiểm tra điều kiện dừng, nếu được thỏa mãn nghĩa là đã đệ quy để tạo ra được đến nút lá. Điều kiện dừng chỉ xảy ra khi chỉ khi:
++ Tất cả các dòng trong tập dữ liệu E thuộc về cùng một lớp duy nhất (1).
++ Không có bất cứ dòng nào trong tập E, điều nàu có thể xảy ra khi tập con được tạo ở bước phân chia các tập con là rỗng (2).
Trong trường hợp (1) chỉ việc tiến hành tạo nút lá bằng hàm CreateNoode() và tiến hành gán nhãn cho nút lá này bằng cách gán nhãn duy nhất cho thuộc tính nhãn của nút vừa được tạo này.
Trong trường hợp (2) sẽ trả về nút lá bằng rỗng và tiến hành gán nhãn cho nút cha là nhãn lớp xuất hiện nhiều nhất như sau:
++ Nhãn lớp = max (tổng của từng giá trị nhãn lớp riêng biệt trong E)
Hàm Phân_lớp(E) thực hiện việc xác định nhãn cho một tập dữ liệu E, nó tự động xác định và trả về đúng giá trị nhãn cho cả hai trường hợp trên.
+ Dòng 3 và 4 xảy ra khi chỉ còn một thuộc tính trong nút cha (lưu ý nút cha là nút sau khi đã phân chia tạo ra tập dữ liệu D này). Nếu sau khi phân chia trên nút cha mà tập D không còn chứa thuộc tính để phân chia, trả về nút lá là giá trị nhãn xuất hiện nhiều nhất trong D.
+ Dòng 5, nếu thuật toán chưa thỏa mãn điều kiện để dừng, tiếp tục xét bằng các tìm kiếm điểm chia tốt nhất. Để tìm điểm chia tốt nhất cần sử dụng một hàm đánh giá, kết quả của hàm này sẽ trả về thuộc tính được chọn tương ứng. Về các tiêu chuẩn đánh giá cũng như chọn điểm chia sẽ được giải thích rõ hơn trong các phần bên dưới.
+ Dòng 7 và 8 sau khi đã chọn được điểm chia tốt nhất, tiến hành phân chia tập D thành các tập con Di, cập nhật lại danh sách thuộc tính.
+ Dòng 9 và 10 lặp lại danh sách các tập con của D và tiến hành gọi đệ quy hàm TaoCay() với tham số tương ứng.