2.3. Thuật toán C4.5 với ứng dụng của nó trong ngân hàng
2.3.2. Đánh giá hiệu suất từ câyquyết định
Một cây quyết định sinh ra bởi C4.5 được đánh giá là tốt nếu như cây này có khả năng phân loại đúng được các trường hợp sẽ gặp trong tương lai, hay cụ thể hơn là có khả năng phân loại đúng các ví dụ khơng nằm trong tập dữ liệu rèn luyện.
Để đánh giá hiệu suất của một cây quyết định người ta thường sử dụng một tập ví dụ tách rời, tập này khác với tập dữ liệu rèn luyện, để đánh giá khả năng phân loại của cây trên các ví dụ của tập này. Tập dữ liệu này gọi là tập kiểm tra (validation set). Thơng thường, tập dữ liệu sẵn có sẽ được chia thành hai tập: tập rèn luyện thường chiếm 2/3 số ví dụ và tập kiểm tra chiếm 1/3.
Để đánh giá cây quyết định người ta thường sử dụng ma trận nhầm lẫn: [10]
Giá trị qua bộ phân lớp
Thuộc lớp C TP FN
Tên độ đo
Công thức Diễn giải
Độ chính xác Accuracy ∙z TP+FP+TN+FNTP+TN = Tỷ lệ các mẫu được phân lớp đúng trên toàn bộ tập mẫu
Tỷ lệ lỗi
_ _ FP+FN
ErrorRate = ——lT+^∕,τ, „„
TP+FP+TN+FN
Tỷ lệ các mẫu được phân lớp sai trên toàn bộ tập mẫu
Độ bao phủ recall = „5P„„
TP+FN
Tỷ lệ các mẫu thuộc lớp C đúng trên toàn bộ các mẫu có giá trị thực thuộc lớp C Độ hiệu dụng precision = ———' TP TP+FP Tỷ lệ các mẫu thuộc lớp C đúng trên tồnbộ mẫu được dự đốn thuộc phân lớp C
Độ đo F F1---------—- -:-----—_ 2*precision*recall
precιsιon+recall
F1 là giá trị nằm trong khoảng (0, 1]. F1 càng cao, bộ phân lớp càng tốt
TP: Số ví dụ thuộc lớp C mà bộ phân lớp phân đúng (T) giá trị thuộc lớp C
TN: Số ví dụ khơng thuộc lớp C mà bộ phân lớp phân đúng (T) giá trị không thuộc lớp C
FP: Số ví dụ thuộc lớp C mà bộ phân lớp phân sai (F) thành giá trị không thuộc lớp C FN: Số ví dụ khơng thuộc lớp C mà bộ phân lớp phân sai (F) thành giá trị thuộc lớp C
Đào Thị Hiền - Lớp HTTTB - K17
Ứng dụng cây quyết định xếp hạng khách hàng cá nhân tại Maritime Bank chi nhánh Hà Nội Khóa luận tốt nghiệp
Các độ đo đánh giá: [10]
STT Tuoi Gioitinh Hokhau Thunhap Kethon Nghenghiep TGCongtac TNTuluong TKHientai TSThechap Result
1 Gia Nam Thanhpho Thap Khong Congchuc <10nam Khong Khong Khong True
2 Trungnien Nu Thitran Trungbinh Co LDPT >10nam Khong Co Co False
3 Gia Nam Thanhpho Thap Co Giaovien >10nam Co Co Khong False
4 Thanhnie
n Nam Thitran Trungbinh Co LDPT <10nam Khong Co Khong False
5 Gia Nam Nongthon Cao Co Giaovien <10nam Co Khong Khong False
6 Gia Nam Thitran Trungbinh Co Kysu <10nam Co Co Khong True
7 Thanhnie
n Nu Nongthon Thap Khong Giaovien <10nam Khong Co Khong True
8 Gia Nu Thitran Trungbinh Co Giaovien >10nam Co Co Khong False
9 Trungnien Nam Ngoaio Trungbinh Co Kysu >10nam Khong Khong Khong False
10 Gia Nu Thitran Trungbinh Co Kysu >10nam Co Co Khong False
Đào Thị Hiền - Lớp HTTTB - K17 35
Khóa luận tốt nghiệp Ứng dụng cây quyết định xếp hạng khách hàng cá nhân tại Maritime Bank chi nhánh Hà Nội