ĐỒ ÁN MÔ HÌNH CÂY QUYẾT ĐỊNH DECISION TREE

ĐỒ ÁN MÔ HÌNH CÂY QUYẾT ĐỊNH DECISION TREE

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN

ĐỒ ÁN MÔN HỌC MÁY HỌC

Lớp Cao Học - Chuyên Ngành KHMT & HTTT

MÔ HÌNH CÂY QUYẾT ĐỊNH

MỤC LỤC

1 Giới thiệu (Đỗ Minh Tuấn) 4

1.1 Mô hình cây quyết định 4

1.2 Chiến lược cơ bản để xây dựng cây quyết định 5

1.3 Thuận lợi và hạn chế của mô hình cây quyết định 6

2 Các tiêu chuẩn tạo cây quyết định (Đỗ Minh Tuấn) 8

2.1 Tiêu chuẩn tách 1 chiều (Univariate Splitting Criteria): 8

2.1.1 Impurity-based Criteria: 8

2.1.2 Normalized impurity based criteria: 13

2.1.3 Binary criteria 13

2.2 Tiêu chuẩn tách đa chiều: 14

2.3 Tiêu chuẩn dừng (Stopping Criteria): 14

3 Một số thuật toán (Trần Thị Tuyết Vân) 15

3.1 Thuật toán CLS 15

3.2 Thuật toán ID3 18

3.3 Thuật toán C4.5 22

3.4 Một số cài tiến của thuật toán C4.5 so với thuật toán ID3 23

3.4.1 Chọn độ đo Gain Ratio 23

3.4.2 Xử lý các thuộc tính có kiểu giá trị liên tục 24

3.4.3 Làm việc với thuộc tính thiếu giá trị 26

3.4.4 Xử lý các thuộc tính có giá trị chi phí 28

3.5 Thuật toán SPRINT 29

3.5.1 SPRINT sử dụng độ đo Gini-index 30

3.5.2 Cấu trúc dữ liệu trong SPRINT 30

3.5.3 Danh sách thuộc tính 31

3.5.4 Thực thi sự phân chia 34

4 Vấn đề Overfitting và các giải pháp giảm Overfitting (Hồ Sơn Lâm) 37

4.1 Quá khớp dữ liệu (Overfitting) 37

4.1.1 Định nghĩa: 37

4.1.2 Nguyên nhân quá khớp dữ liệu 38

4.2 Phương pháp tránh quá khớp dữ liệu 39

4.2.1 Cắt tỉa để giảm lỗi (Reduced error pruning) 40

4.2.2 Luật hậu cắt tỉa (Rule Post-Pruning) 46

5 Cây quyết định mở rộng (Bùi Tuấn Phụng) 48

5.1 Oblivious Decision Trees Error! Bookmark not defined 5.2 Fuzzy decision trees Error! Bookmark not defined 5.3 Decision Trees Inducers for Large Datasets Error! Bookmark not defined 5.4 Incremental Induction: Error! Bookmark not defined 6 Demo (Phan Hoàn Vũ) 53

Tài liệu tham khảo 68

1 Giới thiệu (Đỗ Minh Tuấn)

Cây quyết định (decision tree) là một trong những hình thức mô tả dữ liệu trực quan nhất, dễ hiểu nhất đối với người dùng Cấu trúc của một cây quyết định bao gồm các nút

và các nhánh Nút dưới cùng được gọi là nút lá, trong mô hình phân lớp dữ liệu chính là các giá trị của các nhãn lớp (gọi tắt là nhãn) Các nút khác nút lá được gọi là các nút con, đây còn là các thuộc tính của tập dữ liệu, hiển nhiên các thuộc tính này phải khác thuộc tính phân lớp Mỗi một nhánh của cây xuất phát từ một nút p nào đó ứng với một phép so sánh dựa trên miền giá trị của nút đó Nút đầu tiên được gọi là nút gốc của cây Xem xét một ví dụ về một cây quyết định như sau[1]:

Từ bảng dữ liệu trên, ta xây dựng được cây quyết định như sau:

Cây quyết định của ví dụ trên có thể được giải thích như sau: các nút lá chứa các giá trị của thuộc tính phân lớp (thuộc tính “Play”) Các nút con tương ứng với các thuộc tính khác thuộc tính phân lớp; nút gốc cũng được xem như một nút con đặc biệt, ở đây chính là thuộc tính “Outlook” Các nhánh của cây từ một nút bất kỳ tương đương một phép so sánh có thể là so sánh bằng, so sánh khác, lớn hơn nhỏ hơn… nhưng kết quả các phép so sánh này bắt buộc phải thể hiện một giá trị logic (Đúng hoặc Sai) dựa trên một giá trị nào đó của thuộc tính của nút Lưu ý cây quyết định trên không có sự tham gia của thuộc tính “thu nhập” trong thành phần cây, các thuộc tính như vậy được gọi chung là các thuộc tính dư thừa bởi vì các thuộc tính này không ảnh hưởng đến quá trình xây dựng mô hình của cây

Các thuộc tính tham gia vào quá trình phân lớp thông thường có các giá trị liên tục hay còn gọi là kiểu số (ordered or numeric values) hoặc kiểu rời rạc hay còn gọi là kiểu

dữ liệu phân loại (unordered or category values) Ví dụ kiểu dữ liệu lương biểu diễn bằng số thực là kiểu dữ liệu liên tục, kiểu dữ liệu giới tính là kiểu dữ liệu rời rạc (có thể rời rạc hóa thuộc tính giới tính một cách dễ dàng)

• Bắt đầu từ nút đơn biểu diễn tất cả các mẫu

• Nếu các mẫu thuộc về cùng một lớp, nút trở thành nút lá và được gán nhãn bằng lớp đó

• Ngược lại, dùng độ đo thuộc tính để chọn thuộc tính sẽ phân tách tốt nhất các mẫu vào các lớp

• Một nhánh được tạo cho từng giá trị của thuộc tính được chọn và các mẫu được phân hoạch theo

• Dùng đệ quy cùng một quá trình để tạo cây quyết định

• Tiến trình kết thúc chỉ khi bất kỳ điều kiện nào sau đây là đúng

- Tất cả các mẫu cho một nút cho trước đều thuộc về cùng một lớp

- Không còn thuộc tính nào mà mẫu có thể dựa vào để phân hoạch xa hơn

- Không còn mẫu nào cho nhánh test_attribute = ai

Tuy nhiên, nếu không chọn được thuộc tính phân lớp hợp lý tại mỗi nút, ta sẽ tạo ca cây rất phức tạp, ví dụ như cây dưới đây:

Như vậy, vấn đề đặt ra là phải chọn được thuộc tính phân lớp tốt nhất Phần tiếp theo

sẽ giới thiệu các tiêu chuẩn, dựa vào các tiêu chuẩn này, ta sẽ chọn ra thuộc tính phân lớp tốt nhất tại mỗi nút

Một số thuận lợi sau đây của cây quyết định được xem như là một công cụ phân loại mà đã chỉ ra trong tài liệu này:

1 Cây quyết định tự giải thích và khi được gắn kết lại, chúng có thể dễ dàng tự sinh

ra Nói cách khác, nếu cây quyết định mà có số lượng nút lá vừa phải thì người

không chuyên cũng dễ dàng hiểu được nó Hơn nữa, cây quyết định cũng có thể chuyển sang tập luật Vì vậy, cây quyết định được xem như là dễ hiểu

2 Cây quyết định có thể xử lý cả thuộc tính tên và số đầu vào

3 Thể hiện của cây quyết định là đủ đa dạng để biểu diễn cho bất kỳ giá trị rời rạc nào

4 Cây quyết định có khả năng xử lý các bộ dữ liệu mà có thể gây ra lỗi

5 Cây quyết định có khả năng xử lý các bộ dữ liệu mà có giá trị rỗng

6 Cây quyết định được xem như là một phương pháp phi tham số Điều này có nghĩa là cây quyết định không có giả định về sự phân chia bộ nhớ và cấu trúc phân lớp

Bên cạnh đó, cây quyết định cũng có những bất lợi sau đây:

1 Hầu hết các thuật toán (như ID3 hoặc C4.5) bắt buộc các thuộc tính mục tiêu phải

là các giá trị rời rạc

2 Khi cây quyết định sử dụng phương pháp “chia để trị”, chúng có thể thực hiện tốt nếu tồn tại một số thuộc tính liên quan chặt chẽ với nhau, nhưng sẽ khó khăn nếu một số tương tác phức tạp xuất hiện Một trong những nguyên nhân gây ra điều này là những sự phân lớp mà có mô tả rất mạch lạc về việc phân lớp cũng có thể gặp khó khăn trong việc biểu diễn bằng cây quyết định Một minh họa đơn giản của hiện tượng này là vấn đề tái tạo cây quyết định (Pagallo và Huassler, 1990) Khi mà hầu hết các cây quyết định phân chia không gian thể hiện thành những khu vực loại trừ lẫn nhau để biểu diễn một khái niệm, trong một số trường hợp, cây nên chứa một vài cây con giống nhau trong thứ tự thể hiện của việc phân lớp Ví dụ, nếu khái niệm sau mà thể hiện theo hàm nhị phân: y = (A1∩ A2)

∪ (A3∩ A4) thì cây quyết định đơn biến tối tiểu mà biểu diễn hàm này đã được biểu diễn trong phần 9.3 Lưu ý là cây có chứa 2 bản sao của cùng một cây con

3 Các đặc tính liên quan của cây quyết định dẫn đến những khó khăn khác như là

độ nhạy với tập huấn luyện, các thuộc tính không phù hợp, nhiễu (Quinlan, 1993)

2 Các tiêu chuẩn tạo cây quyết định (Đỗ Minh Tuấn)

Việc tìm các tiêu chí để đánh giá tìm điểm chia là rất quan trọng, chúng được xem là một tiêu chuẩn “heuristic” để phân chia dữ liệu Ý tưởng chính trong việc đưa ra các tiêu chí trên là làm sao cho các tập con được phân chia càng trở nên “trong suốt” (tất cả các

bộ thuộc về cùng một nhãn) càng tốt Cho một tập dữ liệu D, một tập các nhãn Ci (i>=1

và i<=m với m là số nhãn), định nghĩa các khái niệm sau:

Ci,D : là tất cả các bộ dữ liệu có nhãn lớp Ci trong D

|D| : là tổng số bộ dữ liệu của tập dữ liệu D

| Ci,D | : là tổng số bộ dữ liệu của tập dữ liệu D có nhãn lớp Ci.[1]

Nghĩa là tách chỉ dựa trên 1 thuộc tính Xét theo cấu trúc của mẫu dữ liệu thì có 3 tiêu chuẩn

Khi tất cả các mẫu dữ liệu thuộc về 1 phân lớp, ta gọi đó là Purity Ngược lại, khi các mẫu dữ liệu tạo ra nhiều phân lớp thì đó gọi là Impurity Xét theo tiêu chuẩn Impurity-based thì có các độ đo sau:

2.1.1.1 Information Gain

Các thuật toán cũ trước đây thường dùng độ đo Gain để xác định điểm chia Độ đo này dựa trên cơ sở lý thuyết thông tin của nhà toán học Claude Shannon, độ đo này xác định giá trị của nội dung mà các thông tin sở hữu trong một loạt các thông điệp Giả sử tại nút hiện hành N, tập D là tập dữ liệu cần được xác định điểm chia, lặp qua tất cả các thuộc tính và chọn lựa thuộc tính nào có độ đo Gain lớn nhất làm ứng cử viên để phân chia Công thức tính độ đo Gain như sau [1]:

Với pi là xác suất của một bộ bất kỳ trên D thuộc về nhãn Ci

Có thể xem công thức Info(D) như một hàm tính giá trị trung bình trên lượng thông tin sử dụng nhằm xác định nhãn của một bộ bất kỳ trong tập D, Info(D) còn được gọi là độ đo sự hỗn loạn (entropy) của D Giả sử phân chia các bộ trong D trên một thuộc tính A bất kỳ, để không mất tính tổng quát có thể xem như A có các giá trị phân biệt {a1, a2, a3, ….av} Nếu thuộc tính A được sử dụng để chia thành v tập con,

những tập con này sẽ tương ứng với các nhánh con của nút hiện tại, độ đo thông tin có được sau khi phân lớp theo v tập con trên sẽ được tính như sau [1]:

Với |Dj| là tống số bộ dữ liệu được phân chia vào tập con thứ j

Độ đo Gain được xác định là sự khác biệt giữa thông tin gốc (thông tin khi chưa phân lớp) và thông tin mới (thông tin sau khi đã phân lớp) và được tính theo công thức bên dưới như sau [1] :

Nói một cách khác, độ đo Gain cho biết được lượng thông tin thu được khi phân lớp, thuộc tính nào có độ đo Gain lớn nhất sẽ được chọn làm ứng cử viên để phân chia Việc chọn thuộc tính theo tiêu chí độ đo Gain lớn nhất tương đương với việc muốn tìm được một phân hoạch sao cho việc phân lớp là tốt nhất hay nói cách khác lượng thông tin cần thiết để hoàn thành việc phân lớp (thể hiện qua giá trị InfoA(D)) là nhỏ nhất [1]

Giải thích cơ sở dữ liệu ở bảng dữ liệu trên: để tiện lợi ta xem tất cả các thuộc tính đều có kiểu dữ liệu rời rạc Thuôc tính nhãn lớp tức thuộc tính “buys_computer” chỉ

có hai giá trị là C1=“yes” và C2=“no”, như vậy có chín bộ dữ liệu có nhãn lớp là giá trị C1 và năm bộ giá trị C2 Để tìm điểm chia tốt nhất, phải tính toán chỉ số Gain của tất

cả các thuộc tính trên Đầu tiên sẽ tính cho toàn bộ tập huấn luyện D [1]:

Kế tiếp tính cho từng thuộc tính, bắt đầu với thuộc tính “Age” Thuộc tính này có ba giá trị là “youth”, “middle_aged” và “senior” Nhìn vào bảng dữ liệu, với giá trị

“youth” có hai bộ có giá trị thuộc tính nhãn là “yes” và ba bộ giá trị thuộc tính nhãn

là “no” Tương tự giá trị “middle_aged” có bốn bộ có nhãn lớp là “yes” và không

có bộ nào có nhãn lớp là “no”; với giá trị “senior” có ba bộ nhãn lớp “yes” và hai bộ

có nhãn lớp “no” Theo công thức trên, độ đo của thuộc tính A xét trên tập huấn luyện D là [1]:

Vậy theo công thức tính chỉ số Gain:

Theo cách tính tương tự như trên, tính chỉ số Gain cho lần lượt các thuộc tính

“income”, “student” và “credit_rating” Kết quả sẽ là Gain(“income”) = 0.029; Gain(“student”) = 0.151 và Gain(“credit_rating”) = 0.048 Như vậy, thuộc tính

“Age” là thuộc tính có chỉ số Gain lớn nhất nên sẽ được chọn là thuộc tính phân chia Kết quả phân chia sẽ là cây quyết định như sau [1]:

2.1.1.2 Gini index

Chỉ số Gini (Gini index): Chỉ số Gini được sử dụng trong thuật toán CART Trái ngược với độ đo Gain, chỉ số Gini là độ đo về tính “không trong suốt” của tập dữ liệu Chỉ số Gini của một tập dữ liệu D được định nghĩa như sau [1]:

Với m là tổng số nhãn lớp, pi là xác suất để một bộ bất kỳ trong D thuộc về một nhãn

Ci, được tính như sau:

Chỉ số Gini thường sẽ được tính toán dựa trên giả định một tập dữ liệu D được phân chia nhị phân thành hai tập con Đầu tiên xét trường hợp thuộc tính A bất kỳ trong D

có kiểu dữ liệu rời rạc, khi dùng phép chiếu sẽ thu được v = {a1,a2 … av} giá trị khác nhau Để xác định điểm chia tốt nhất của A, kiểm tra tất cả tập con có thể tạo được

từ v giá trị phân biệt trên, mỗi tập con tạm gọi là SA là một điều kiện kiểm tra nhị phân dạng A ∈ SA Như vậy với v giá trị khác nhau ta sẽ có 2v - 2 tập con, trong đó tập rỗng và tập toàn phần v = {a1,a2 … av} sẽ không được xét đến Như vậy tiến hành lặp qua tất cả các tập con này, mỗi lần lặp sẽ phân chia tập giá trị v thành hai tập con v1

và v2 riêng biệt thoả điều kiện rời rạc toàn phần (hội v1 và v2 chính là tập v và phần giao là tập rỗng) Với hai tập con v1 và v2 này tương ứng tập con D cũng được phân

chia thành hai tập con D1 (các bộ có giá trị thuộc tính A ∈ v1) và D2 (các bộ có giá trị thuộc tính A ∈ v2) theo , Gini(D) sẽ được tính như sau [1]:

Khác với độ đo Gain, người ta chọn chỉ số Gini nhỏ nhất với mong muốn sau khi phân chia dữ liệu sẽ làm giảm tính không trong suốt của tập D nhiều nhất Đối với các giá trị liên tục có một lưu ý là đầu tiên phải sắp xếp các giá trị này, sau đó tất cả các giá trị cũng sẽ được tính toán chỉ số Gini và cũng chọn ra giá trị nào có thuộc tính Gini nhỏ nhất Cũng giống như độ đo Gain, chỉ số Gini thông thường cũng được tính cho điểm giữa của hai giá trị liên tục nằm liền kề nhau Lúc này tập D sẽ được chia làm hai tập D1 là các bộ dữ liệu thoả điều kiện giá trị thuộc tính A nhỏ hơn hoặc bằng giá trị điểm giữa và D2 thoả điều kiện giá trị thuộc tính A lớn hơn giá trị điểm giữa Mục tiêu của chí số Gini là càng làm giảm tính không trong suốt của dữ liệu càng nhiều càng tốt, giá trị giảm trừ này thể hiện qua công thức [1]:

Lưu ý Gini(D) là một con số cố định, chính vì mục đích chọn điểm chia sao cho Δgini(A)

là lớn nhất nên bắt buộc chọn thuộc tính A sao cho GiniA(D) là nhỏ nhất Ví dụ bên dưới sẽ tính chỉ số Gini cho tập dữ liệu từ bảng dữ liệu ở trên, lưu ý có chín bộ dữ liệu có nhãn lớp “buys_computer” = yes và năm bộ dữ liệu có nhãn lớp

“buys_computer” = no [1]:

Để tìm điểm chia tốt nhất, tiến hành lặp qua tất cả tập con (trừ tập rỗng và tập toàn bộ) của từng thuộc tính Giả sử xét thuộc tính “income” bao gồm ba giá trị: {low, medium, high} Xét tập con {low, medium}, như vậy có mười bộ dữ liệu thuộc tập con này, trong đó có bốn bộ có giá trị low và sáu bộ có giá trị medium:

Tương tự, các tập con còn lại ({low, high} và {medium}) có Gini = 0.315 và ({medium, high} và {low}) có Gini = 0.3 Như vậy, nếu xét trên thuộc tính

“income”, tập con ({medium, high} và {low}) có Gini = 0.3 sẽ được chọn (lưu ý chỉ xét riêng trên thuộc tính này) Lần lượt thực hiện cho các thuộc tính còn lại và chọn ra thụôc tính nào có Gini nhỏ nhất, đó chính là thuộc tính sẽ được chọn để phân chia [1]

2.1.2 Normalized impurity based criteria:

Ta dùng các tiêu chuẩn này khi thuộc tính có nhiều giá trị Các tiêu chuẩn thuộc loại này

là Gain Ratio, Distance Measure Phần dưới đây sẽ giới thiệu về tiêu chuẩn Gain Ratio Theo các nghiên cứu thì độ đo Gain thích hợp trong trường hợp các thuộc tính có nhiều giá trị hiện hành (dĩ nhiên các giá trị này phải thuộc miền giá trị, ví dụ với 100 mẫu tin có 80 giá trị khác nhau của thuộc tính khi sử dụng phép chiếu lên thuộc tính) Xem xét trường hợp thuộc tính “Client_ID”, trong đó mỗi khách hàng sẽ có một mã số riêng biệt, như vậy khi áp dụng phép chia trên thuộc tính này sẽ có một số rất lớn các tập con phát sinh, thậm chí mỗi khách hàng thuộc một tập con Điều trên xảy ra là do mỗi khách hàng khi xét trên duy nhất một thuộc tính “Client_ID” được xem như là

“trong suốt” (InfoClient_ID(D)=0) Như vậy việc phân chia theo thuộc tính này được xem như vô ích Thuật toán C4.5 (một thuật toán cải tiến từ ID3) sử dụng độ đo tỷ lệ Gain (Gain ratio) được mở rộng từ độ đo Gain, được định nghĩa như sau [1]:

Công thức SplitInfoA(D) cho biết thông tin tiềm ẩn được tạo ra bằng cách chia tập D trong v tập con Với mỗi tập con được tạo ra, tính toán tỷ lệ của số bộ trong tập con này so với tổng số bộ dữ liệu trong tập D Khi đó, độ đo tỷ lệ Gain sẽ được tính toán theo công thức sau [1]:

Tất cả thuộc tính sẽ được tính toán độ đo tỷ lệ Gain, thuộc tính nào có độ đo tỷ lệ Gain lớn nhất sẽ được chọn làm thuộc tính phân chia Tuy nhiên, khi sử dụng độ đo tỷ lệ Gain, cần phải lưu ý một điều về mẫu số trong công thức SplitInfo(A) vì mẫu số này

có thể đạt giá trị bằng 0 Xét vì dụ được nêu trong bảng dữ liệu trên, để tính độ đo tỷ

lệ Gain cho thuộc tính “income”, lưu ý thuộc tính này khi chiếu lên có ba giá trị riêng biệt: “low” (bốn bộ dữ liệu), “medium” (sáu bộ dữ liệu) và “high” (bốn bộ dữ liệu) Theo công thức [1]:

Xem lại ví dụ phần độ đo Gain, tính được Gain(“income”) = 0.029 Như vậy, tỷ lệ độ đo Gain của thuộc tính “income”:

Dùng để tạo cây quyết định nhị phân Các tiêu chuẩn thường được sử dụng đối với tiêu chuẩn này là:

• Twoing Criterion

• Orthogonal (ORT) Criterion

• Kolmogorov–Smirnov Criterion

• AUC–Splitting Criteria

Khác với tách 1 chiều nghĩa là tách theo 1 thuộc tính, tiêu chuẩn tách đa chiều

sử dụng kết hợp nhiều thuộc tính cùng lúc để phân tách Tuy nhiên, điều này

sẽ ảnh hưởng tới performance nên ít được sử dụng

Dưới đây là một số tiêu chuẩn dừng thường được sử dụng:

• Từng thuộc tính đã được đưa vào dọc theo con đường trên cây

• Các mẫu huấn luyện ứng với nút lá có cùng giá trị thuộc tính đích (chẳng hạn, chúng có entropy bằng 0)

• Tất cả các mẫu dữ liệu E thuộc về cùng một lớp duy nhất

• Tất cả các mẫu có cùng giá trị thuộc tính

3 Một số thuật toán (Trần Thị Tuyết Vân)

Với tiêu chí xây dựng cây quyết định ngày càng đơn giản, cho độ chính xác phân lớp cao, chi phí thấp, có khả năng mở rộng,… thì có rất nhiều tác giả đã cho ra đời các thuật toán ngày càng tối ưu hơn Một số thuật toán tiêu biểu sau:

SLIQ (Supervised Learning in Quest) Mehta(1996)

SPRINT(A Scalable Parallel Classifier for

1 Tạo một nút T, nút này gồm tất cả các mẫu của tập huấn luyện

2 Nếu tất cả các mẫu trong T thuộc cùng một lớp và có thuộc tính quyết định mang giá trị :

• “yes” thì gán nhãn cho nút T là "yes" và dừng lại T lúc này là nút lá

• "no” thì gán nhãn cho nút T là "no" và dừng lại T lúc này là nút lá

3 Trường hợp ngược lại các mẫu của tập huấn luyện thuộc cả hai lớp "yes" và

• Tạo n nút con Ti (i=1,2…n) với nút cha là nút T

• Tạo các nhánh nối từ nút T đến các nút Ti (i=1,2…n) là các thuộc tính của X

4 Thực hiện lặp cho các nút con Ti(i =1,2 n) và quay lại bước 2

Ví dụ 3.1: Cho tập huấn luyện gồm 14 mẫu, dựa vào thời tiết để xác định người đó có đi chơi Tennis hay không?

Ngày Quang Cảnh Nhiệt độ Độ ẩm Gió Chơi Tennis

D14 Mưa Ấm áp Cao Mạnh Không

Theo các bước của thuật toán ta có cây quyết định như sau:

Ta nhận thấy trong bước 3 của thuật toán, thuộc tính được chọn để triển khai cây là tuỳ

ý Nếu ta chọn thuộc tính “Độ ẩm” làm thuộc tính để triển khai T1 thì ta có 1 cây khác:

Quang Cảnh

Độ ẩm

Gi Có

Có Nhẹ

Do vậy cùng với một tập mẫu dữ liệu huấn luyện nếu áp dụng thuật toán CLS với thứ tự

chọn thuộc tính triển khai cây khác nhau, sẽ cho ra các cây có hình dạng khác nhau Việc

lựa chọn thuộc tính sẽ ảnh hưởng tới độ rộng, độ sâu, độ phức tạp của cây Vì vậy một

câu hỏi đặt ra là thứ tự thuộc tính nào được chọn để triển khai cây sẽ là tốt nhất Vấn đề

này sẽ được giải quyết trong thuật toán ID3 dưới đây

Thuật toán ID3 được phát biểu bởi tác giả Quinlan (trường đại học Syney, Australia) và

được công bố vào cuối thập niên 70 của thế kỷ 20 Sau đó, thuật toán này được giới

thiệu và trình bày trong mục Induction on decision trees, machine learning năm 1986

ID3 được xem như là một cải tiến của CLS với khả năng lựa chọn thuộc tính tốt nhất để

tiếp tục triển khai cây tại mỗi bước ID3 xây dựng cây quyết định từ trên xuống (top

-down) ID3 sử dụng độ đo Information Gain (trình bày ở 2.1.1.1)để đo tính hiệu quả của

các thuộc tính phân lớp Trong quá trình xây dựng cây quyết định theo thuật toán ID3 tại

mỗi bước phát triển cây, thuộc tính được chọn để triển khai là thuộc tính có giá trị Gain

lớn nhất Hàm xây dựng cây quyết định trong thuật toán ID3 [2]

Function induce_tree(tập_ví_dụ, tập_thuộc_tính)

begin

if mọi ví dụ trong tập_ví_dụ đều nằm trong cùng một lớp then

return một nút lá được gán nhãn bởi lớp đó

Quang Cảnh

Gió Có

Có

M Nhẹ

else if tập_thuộc_tính là rỗng then

return nút lá được gán nhãn bởi tuyển của tất cả các lớp trong tập_ví_dụ

else begin

chọn một thuộc tính P, lấy nó làm gốc cho cây hiện tại;

xóa P ra khỏi tập_thuộc_tính;

với mỗi giá trị V của P begin

tạo một nhánh của cây gán nhãn V;

Đặt vào phân_vùng

V các ví dụ trong tập_ví_dụ có giá trị V tại thuộc tính P;

Gọi induce_tree(phân_vùng

V, tập_thuộc_tính), gắn kết quả vào nhánh V

end

end

end

Xét ví dụ 3.1 cho thuật toán ID3:

- Gọi tập huấn luyện là S, số mẫu thuộc lớp Có ký hiệu là (+) và số mẫu thuộc lớp Không ký hiệu là (-), ta có S[9+,5-] tức tập huấn luyện S có 14 mẫu trong đó có 9 mẫu thuộc lớp Có và 5 mẫu thuộc lớp Không

- Để xác định thuộc tính phân lớp ta cần tính Information Gain cho từng thuộc tính của mẫu huấn luyện:

- Gain(S,DA)= 0.151

- Gain(S,G)= 0.048

Chọn Quang cảnh làm thuộc tính phân lớp vì có Gain lớn nhất

- Vẽ cây quyết định:

Do Quang cảnh=Nắng và Quang cảnh=Mưa chưa xác định được thuộc tính phân

lớp nên ta chia tập huấn liệu thành 2 bảng như hình trên và tiếp tục tìm thuộc tính phân

lớp cho 2 bảng mẫu huấn luyện Kết quả cuối cùng ta có cây quyết định sau:

Từ cây quyết định trên tạo ra các luật:

– R1: IF QC=Âm u THEN Chơi Tennis=Có

– R2: IF QC=Nắng AND Độ ẩm=TB THEN Chơi Tennis=Có

– R3: IF QC=Nắng AND Độ ẩm=Cao THEN Chơi Tennis=Không

– R4: IF QC=Mưa AND Gió=Nhẹ THEN Chơi Tennis=Có

– R5: IF QC=Mưa AND Gió=Mạnh THEN Chơi Tennis=Không

Nhận xét: Với việc tính toán giá trị Gain để lựa chọn thuộc tính tối ưu cho việc triển

khai cây, thuật toán ID3 được xem là một cải tiến của thuật toán CLS Tuy nhiên thuật

toán ID3 còn các vấn đề chưa được giải quyết như sau:

o Vấn đề overfitting (sẽ trình bày kỹ ở mục 4)

o Độ đo Information Gain chưa thật sự tốt vì còn thiên về các thuộc tính có nhiều

giá trị

o Xử lý các thuộc tính có kiểu giá trị liên tục (ví dụ như kiểu số thực)

o Xử lý các bộ học thiếu giá thuộc tính (missing-value attributes)

Xử lý các thuộc tính có chi phí (cost) khác nhau

Vấn đề này sẽ được giải quyết trong thuật toán C4.5 sau đây

Thuật toán C4.5 cũng được tác giả Quinlan phát triển và công bố vào năm 1996 Thuật toán này là một thuật toán được cải tiến từ thuật toán ID3 và giải quyết hầu hết các vấn đề mà ID3 chưa giải quyết như đã nêu trên Nó thực hiện phân lớp tập mẫu dữ liệu theo chiến lược ưu tiên theo chiều sâu (Depth - First)

Thuật toán xây dựng cây quyết định C4.5

Mô tả thuật toán dưới dạng giả mã như sau [2]:

Function xay_dung_cay(T)

{

<Tính toán tần xuất các giá trị trong các lớp của T>;

If <Kiểm tra các mẫu, nếu thuộc cùng một lớp hoặc có rất ít mẫu khác lớp>Then <Trả về 1 nút lá>

Else <Tạo một nút quyết định N>;

For <Với mỗi thuộc tính A> Do <Tính giá trị Gain(A)>;

<Tại nút N, thực hiện việc kiểm tra để chọn ra thuộc tính có giá trị Gain

tốt nhất (lớn nhất) Gọi N.test là thuộc tính có Gain lớn nhất>;

If <Nếu N.test là thuộc tính liên tục> Then <Tìm ngưỡng cho phép tách của N.test>;

For <Với mỗi tập con T` được tách ra từ tập T> Do ( T` được tách ra theo quy tắc:

- Nếu N.test là thuộc tính liên tục tách theo ngưỡng ở bước 5

- Nếu N.test là thuộc tính phân loại rời rạc tách theo các giá trị của thuộc tính này

) { If <Kiểm tra, nếu T' rỗng>} Then

<Gán nút con này của nút N là nút lá>;

3.4 Một số cài tiến của thuật toán C4.5 so với thuật toán ID3

Thuật toán ID3 sử dụng độ đo Information Gain để tìm thuộc tính phân lớp tốt nhất nhưng xu hướng của Information Gain là ưu tiên chọn thuộc tính có nhiều giá trị làm thuộc tính phân lớp Thật vậy, ta xét ví dụ với tập huấn luyện sau:

Outlook Temp Humidity Windy Play

A Cool Normal Weak Yes

B Cool Normal Strong No

E Cool Normal Strong Yes

D Cool Normal Weak Yes

E Mild Normal Weak Yes

A Mild Normal Strong Yes

B Mild High Strong Yes

Test bằng Tool WEKA ta được kết quả sau:

Rõ ràng Information Gain chọn thuộc tính có nhiều giá trị (Outlook) làm thuộc tính phân lớp Kết quả cho cây quyết định phức tạp hơn, sinh ra nhiều luật hơn Trong thuật toán C4.5, tác giả Quinlan đã giải quyết vấn đề này bằng cách sử dụng 1 độ đo khác là Gain Ratio, làm giảm ảnh hưởng của các thuộc tính có nhiều giá trị

Thuộc tính kiểu giá trị liên tục là

Ngày Quang Cảnh Nhiệt độ Độ ẩm Gió Chơi Tennis

| Humidity = High: No

| Humidity = Normal: Yes Outlook = B

| Temp = Hot: Yes

| Temp = Mild: Yes

| Temp = Cool: No Outlook = E: Yes Outlook = D

| Temp = Hot: null

| Temp = Mild: No

| Temp = Cool: Yes Outlook = C: Yes

C4.5 Humidity = High

Test bằng WEKA

đã giải quyết vấn đề này như sau:

- Trước tiên, sắp xếp các giá trị của thuộc tính A tăng dần ví dụ như từ v1 ,v2 ,…, vN

- Chia giá trị của thuộc tính A thành N-1 “ngưỡng”, giá trị “ngưỡng”= 89<8:;

- Tính Information Gain ứng với N-1 “ngưỡng”

- Chọn “ngưỡng” có Information Gain cao nhất làm “ngưỡng” tốt nhất của A, Gain(S,A) là giá trị Gain cao nhất của “ngưỡng” chọn

Xét ví dụ với tập huấn luyện trên, tìm ngưỡng và Gain của thuộc tính Độ Ẩm

Kết quả trên cho thấy ta có ngưỡng là Độ ẩm<=80 và Độ ẩm>80 vì có Gain lớn nhất

Gain(S,Độ ẩm)=0.2361 Nhận xét: Việc tìm ngưỡng theo thuật toán C4.5 rất tốn thời gian để tính Gain cho

N-1 ngưỡng Sau có nhiều tác giả đã nghiên cứu để tìm cách tìm ngưỡng nhanh hơn

như Fayyad(1991), Utgoff, Brodley, Murthy et al

Thuật toán xây dựng dựa vào giả thuyết tất cả các mẫu dữ liệu có đủ các thuộc tính

Nhưng trong thực tế, xảy ra hiện tượng dữ liệu bị thiếu, tức là ở một số mẫu dữ liệu

có những thuộc tính không được xác định, hoặc mâu thuẫn, hoặc không bình

thường Ta xem xét kỹ hơn với trường hợp dữ liệu bị thiếu Đơn giản nhất là không

Sắp xếp tăng dần

0.0477 0.0103 Information Gain

0.000 0.0150 0.0453 0.0903 0.1518 0.2361 0.1022 0.0251 0.0103 0.0477

đưa các mẫu với các giá trị bị thiếu vào, nếu làm như vậy thì có thể dẫn đến tình trạng thiếu các mẫu học Một số cách khác được đề xuất ở thuật toán C4.5 như sau:

o Giả sử thuộc tính A là một ứng cử cho thuộc tính kiểm tra ở nút n

o Xử lý thế nào với bộ X thiếu giá trị đối với thuộc tính A(tức là XA là không xác định)?

o Gọi Sn là tập các mẫu học gắn với nút n có giá trị đối với thuộc tính A

– Giải pháp 1: XA là giá trị phổ biến nhất đối với thuộc tính A trong số các bộ thuộc tập Sn

– Giải pháp 2: XA là giá trị phổ biến nhất đối với thuộc tính A trong số các bộ

Sn có cùng phân lớp với X – Giải pháp 3:

• Tính xác suất pv đối với mỗi giá trị có thể V của thuộc tính A

• Gán phần pv của bộ X đối với nhánh tương ứng của nút n

• Giá trị pv này được dùng tính Gain và hơn nữa để chia nhỏ nhánh tiếp theo của cây nếu có thuộc tính thứ 2 có lỗi(thiếu giá trị)

D11 Nắng Ấm áp TB Mạnh Có

Tại mẫu huấn luyện D5 có thuộc tính không rõ giá trị là thuộc tính Gió, theo 3 giải pháp trên ta tìm giá trị cho thuộc tính ở mẫu này như sau:

- Giải pháp 1: Xét trên toàn tập S có 13 mẫu, trong đó số mẫu có Gió = Mạnh là

6 và số mẫu có Gió = Nhẹ là 7 Vậy giá trị “Nhẹ” phổ biến hơn nên ta chọn

“Nhẹ” điền vào giá trị thiếu ở mẫu D5

- Giải pháp 2: Chỉ xét trên lớp mà mẫu D5 thuộc, đó là lớp “Có” Số mẫu thuộc lớp “Có” lúc này là 8, trong đó số mẫu có Gió = Mạnh là 3 và số mẫu có Gió = Nhẹ là 5 Vậy giá trị “Nhẹ” phổ biến hơn nên ta chọn “Nhẹ” điền vào giá trị thiếu ở mẫu D5

- Giải pháp 3: Gió có 2 giá trị là “Nhẹ” và “Mạnh” Tính xác suất ứng với 2 giá trị này:

• P(Gió=Nhẹ )=7/13

• P(Gió=Mạnh )=6/13 Xác suất của Gió=Nhẹ cao hơn nên ta chọn “Nhẹ” điền vào giá trị thiếu ở mẫu D5

Trong việc học để phân lớp các bệnh y tế, BloodTest có chi phí $150 trong khi TemperatureTest có chi phí $10, ta nên chọn thuộc tính nào để chi phí trị bệnh là thấp nhất! Theo xu hướng học cây quyết định:

– Sử dụng càng nhiều các thuộc tính có chi phí thấp càng tốt

– Chỉ sử dụng các thuộc tính có chi phí cao khi cần thiết (để giúp đạt được các phân loại đáng tin cậy)

Làm sao để học một cây quyết định với chi phí thấp? Vấn đề này đã được 2 tác giả Tan và Schimmer (1990) giải quyết bằng cách sử dụng các đánh giá khác của Information Gain cho việc xác định thuộc tính phân lớp theo công thức sau:

<

Đến năm 1991, tác giả Nunez đưa ra một cách công thức khác:

C

Ngày nay dữ liệu cần khai phá có thể có tới hàng triệu bản ghi và khoảng 10 đến

10000 thuộc tính Hàng Tetabyte (100 M bản ghi * 2000 trường * 5 bytes) dữ liệu cần được khai phá Những thuật toán ra đời trước không thể đáp ứng được nhu cầu đó Trước tình hình đó, SPRINT là sự cải tiến của thuật toán SLIQ (Mehta, 1996) ra đời Các thuật toán SLIQ và SPRINT đều có những cải tiến để tăng khả năng mở rộng của thuật toán như:

• Khả năng xử lý tốt với những thuộc tính liên tục và thuộc tính rời rạc

• Cả hai thuật toán này đều sử dụng kỹ thuật sắp xếp trước một lần dữ liệu, và lưu trữ thường trú trên đĩa (disk – resident data) những dữ liệu quá lớn không thể chứa vừa trong bộ nhớ trong Vì sắp xếp những dữ liệu lưu trữ trên đĩa là đắt, nên với cơ chế sắp xếp trước, dữ liệu phục vụ cho quá trình phát triển cây chỉ cần được sắp xếp một lần Sau mỗi bước phân chia dữ liệu tại từng node, thứ tự của các bản ghi trong từng danh sách được duy trì, không cần phải sắp xếp lại như các thuật toán CART và C4.5 Từ đó làm giảm tài nguyên tính toán khi sử dụng giải pháp lưu trữ dữ liệu thường trú trên đĩa

• Cả 2 thuật toán sử dụng những cấu trúc dữ liệu giúp cho việc xây dựng cây quyết định dễ dàng hơn Tuy nhiên cấu trúc dữ liệu lưu trữ của SLIQ và SPRINT khác nhau, dẫn đến những khả năng mở rộng, và song song hóa khác nhau giữa hai thuật toán này

Mã giả của thuật toán SPRINT như sau:

Initial call: Partition(Training Data)

SPRINT là một trong những thuật toán sử dụng độ đo Gini-index để tìm thuộc tính tốt nhất làm thuộc tính phân lớp tại mỗi node trên cây Chỉ số này đã được trình bày chi tiết

ở mục 2.1.1.2

Ưu điểm của loại chỉ số này là các tính toán trên nó chỉ dựa vào thông tin về sự phân phối các giá trị lớp trong từng phần phân chia mà không tính toán trên các giá trị của thuộc tính đang xem xét

Để tìm được điểm phân chia cho mỗi node, cần quét từng danh sách thuộc tính của node đó và ước lượng các phân chia dựa trên mỗi thuộc tính gắn với node đó Thuộc tính được chọn để phân chia là thuộc tính có chỉ số ginisplit(S) nhỏ nhất

Điểm cần nhấn mạnh ở đây là khác với Information Gain chỉ số này được tính mà không cần đọc nội dung dữ liệu, chỉ cần biểu đồ biểu diễn sự phân phối các bản ghi theo các giá trị phân lớp Đó là tiền đề cho cơ chế lưu trữ dữ liệu thường trú trên đĩa

Kỹ thuật phân chia dữ liệu thành các danh sách thuộc tính riêng biệt lần đầu tiên được SLIQ (Supervised Learning In Quest) đề xuất Dữ liệu sử dụng trong SLIQ gồm: nhiều danh sách thuộc tính lưu trữ thường trú trên đĩa (mỗi thuộc tính tương ứng với một danh sách), và một danh sách đơn chứa giá trị của class lưu trữ thường trú trong bộ nhớ chính Các danh sách này liên kết với nhau bởi giá trị của thuộc tính rid (chỉ số bản ghi được đánh thứ tự trong cơ sở dữ liệu) có trong mỗi danh sách

SLIQ phân chia dữ liệu thành hai loại cấu trúc:

Danh sách thuộc tính (Attribute List) thường trú trên đĩa Danh sách này gồm trường thuộc tính và rid (a record identifier)

Danh sách lớp (Class List) chứa các giá trị của thuộc tính phân lớp tương ứng với từng bản ghi trong cơ sở dữ liệu Danh sách này gồm các trường rid, thuộc tính phân lớp và node (liên kết với node có giá trị tương ứng trên cây quyết định) Việc tạo ra trường con trỏ trỏ tới node tương ứng trên cây quyết định giúp cho quá trình phân chia dữ liệu chỉ cần thay đổi giá trị của trường con trỏ, mà không cần thực sự phân chia dữ liệu giữa các node Danh sách lớp được lưu trữ thường trú trong bộ nhớ trong vì nó thường xuyên được truy cập, sửa đổi cả trong giai đoạn xây dựng cây, và cả trong giai đoạn cắt, tỉa cây Kích thước của danh sách lớp tỉ lệ thuận với số lượng các bản ghi đầu vào Khi danh sách lớp không vừa trong bộ nhớ, hiệu năng của SLIQ sẽ giảm Đó là hạn chế của thuật toán SLIQ Việc sử dụng cấu trúc dữ liệu thường trú trong bộ nhớ làm giới hạn tính mở rộng được của thuật toán SLIQ

SPRINT khắc phục được hạn chế của SLIQ bằng cách không sử dụng danh sách lớp cư trú trong bộ nhớ, SPRINT chỉ sử dụng một loại danh sách là danh sách thuộc tính có cấu trúc như sau:

SPRINT tạo danh sách thuộc tính cho từng thuộc tính trong tập dữ liệu Danh sách này bao gồm thuộc tính, nhãn lớp (Class label hay thuộc tính phân lớp), và chỉ số của bản ghi rid (được đánh từ tập dữ liệu ban đầu) Danh sách thuộc tính liên tục được sắp xếp thứ

tự theo giá trị của thuộc tính đó ngay khi được tạo ra Nếu toàn bộ dữ liệu không chứa

đủ trong bộ nhớ thì tất cả các danh sách thuộc tính được lưu trữ trên đĩa

Chính do đặc điểm lưu trữ này mà SPRINT đã loại bỏ mọi giới hạn về bộ nhớ, và có khả năng ứng dụng với những cơ sở dữ liệu thực tế với số lượng bản ghi có khi lên tới hàng

tỉ

Các danh sách thuộc tính ban đầu tạo ra từ tập dữ liệu đào tạo được gắn với gốc của cây quyết định Khi cây phát triển, các node được phân chia thành các node con mới thì các dánh sách thuộc tính thuộc về node đó cũng được phân chia tương ứng và gắn vào các node con Khi danh sách bị phân chia thì thứ tự của các bản ghi trong danh sách đó được giữ nguyên, vì thế các danh sách con được tạo ra không bao giờ phải sắp xếp lại

Đó là một ưu điểm của SPRINT so với các thuật toán trước đó

• Biểu đồ (Histogram)

SPRINT sử dụng biểu đồ để lập bảng thống kê sự phân phối lớp của các bản ghi trong mỗi danh sách thuộc tính, từ đó dùng vào việc ước lượng điểm phân chia cho danh sách

đó Thuộc tính liên tục và thuộc tính rời rạc có hai dạng biểu đồ khác nhau

- Biểu đồ của thuộc tính liên tục

SPRINT sử dụng 2 biểu đồ: Cbelow và Cabove Cbelow chứa sự phân phối của những bản ghi

đã được xử lý, Cabove chứa sự phân phối của những bản ghi chưa được xử lý trong danh sách thuộc tính

Với thuộc tính liên tục, các giá trị kiểm tra là các giá trị nằm giữa mọi cặp 2 giá trị liền kề của thuộc tính đó Để tìm điểm phân chia cho thuộc tính đó tại một node nhất định, biểu đồ được khởi tạo với Cbelow bằng 0 và Cabove là phân phối lớp của tất cả các bản ghi tại node đó Hai biểu đồ trên được cập nhật lần lượt mỗi khi từng bản ghi được đọc Mỗi khi con trỏ chạy gini-index được tính trên từng điểm phân chia nằm giữa giá trị vừa đọc và giá trị sắp đọc Khi đọc hết danh sách thuộc tính (Cabove bằng 0 ở tất cả các cột) thì cũng là lúc tính được toàn bộ các gini-index của các điểm phân chia cần xem xét Căn cứ vào kết quả đó có thể chọn ra gini-index thấp nhất và tương ứng là điểm phân chia của thuộc tính liên tục đang xem xét tại node đó Việc tính gini-index hoàn toàn dựa vào biểu đồ Nếu tìm ra điểm phân chia tốt nhất thì kết quả đó được lưu lại và biểu đồ vừa gắn danh sách thuộc tính đó được khởi tạo lại trước khi xử lý với thuộc tính tiếp theo

- Biểu đồ của thuộc tính rời rạc

Thuộc tính rời rạc cũng có một biểu đồ gắn với từng node Tuy nhiển SPRINT chỉ sử dụng một biểu đồ là count matrix chứa sự phân phối lớp ứng với từng giá trị của thuộc tính được xem xét

Với thuộc tính rời rạc, quá trình tìm điểm phân chia tốt nhất cũng được tính toán dựa trên biểu đồ của danh sách thuộc tính đó Trước tiên cần quét toàn bộ danh sách thuộc tính để thu được số lượng phân lớp ứng với từng giá trị của thuộc tính rời rạc, kết quả này được lưu trong biểu đồ count matrix Sau đó, cần tìm tất cả các tập con có thể có từ các giá trị của thuộc tính đang xét, coi đó là điểm phân chia và tính gini-index tương ứng Các thông tin cần cho việc tính toán chỉ số gini-index của bất cứ tập con nào đều có trong count matrix Bộ nhớ cung cấp cho count matrix được thu hồi sau khi tìm ra được điểm phân chia tốt nhất của thuộc tính đó

Các danh sách thuộc tính được xử lý cùng một lúc, do vậy thay vì đòi hỏi các danh sách thuộc tính trong bộ nhớ, với SPRINT bộ nhớ chỉ cần chứa tập các biểu đồ như trên trong quá trình phát triển cây

Ví dụ mô tả cách tính chỉ số Gini–index với mẫu huấn luyện như trên

Với Thuộc tính liên tục Age cần tính điểm phân chia trên lần lượt các so sánh sau Age<=17, Age<=20, Age<=23, Age<=32, Age<=43:

• Gini(Age<=17) = 1- (12+02) = 0

• Gini(Age>17) = 1- ((3/5)2+(2/5)2) = 12/25 – GiniSPLIT (Age<=17, Age>17)= (1/6) * 0 + (5/6) * (12/25) = 2/5

• G(Age<=20) = 1- (12+02) = 0

• G(Age>20) = 1- ((2/4)2+(2/4)2) = 1/2 – GiniSPLIT (Age<=20, Age>20)= (2/6) * 0 + (4/6) * (1/2) = 1/3

• Gini(Age<=23) = 1- (12+02) = 0

• Gini(Age>23) = 1- ((1/3)2+(2/3)2) = 4/9 – GiniSPLIT (Age<=23, Age>23)= (3/6) * 0 + (3/6) * (4/9) = 2/9

• Gini(Age<=32) = 1- ((3/4)2+(1/4)2) = 1/4

• Gini(Age>32) = 1- ((1/2)2+(1/2)2) = 1/2 – GiniSPLIT (Age<=32, Age>32)= (4/6) * 1/4 + (2/6) * (1/2) = 1/3

• Gini(Age<=43) = 1- ((4/5)2+(1/5)2) = 8/25

• Gini(Age>43) = 1- ((0)2+(1)2) = 0 – GiniSPLIT (Age<=43, Age>43)= (5/6) * 8/25 + (1/6) * 0= 4/15

So sánh các GiniSPLIT tìm được ứng với từng phân chia của các thuộc tính, GiniSPLIT ứng với Age <=23 có giá trị nhỏ nhất Do vậy điểm phân chia là tại thuộc tính Age với giá trị ngưỡng phân chia = (23+32) / 2 = 27.5 và Gini(Age)=2/9

Sau khi tìm ra thuộc tính phân chia tốt nhất của node dựa trên so sánh gini-index của các thuộc tính có trên node đó, cần thực thi sự phân chia bằng cách tạo ra các node con

và phân chia danh sách thuộc tính của node cha cho các node con

Với thuộc tính được chọn (Age như trên hình vẽ) làm thuộc tính phân chia tại node đó, việc phân chia danh sách thuộc tính này về các node con khá đơn giản Nếu đó là thuộc tính liên tục, chỉ cần cắt danh sách thuộc tính theo điểm phân chia thành 2 phần và gán cho 2 node con tương ứng Nếu đó là thuộc tính rời rạc thì cần quét toàn bộ danh sách

và áp dụng test đã xác định để chuyển các bản ghi về 2 danh sách mới ứng với 2 node con

Nhưng vấn đề không đơn giản như vậy với những thuộc tính còn lại tại node đó (Car Type chẳng hạn), không có test trên thuộc tính này, nên không thể áp dụng các kiểm tra trên giá trị của thuộc tính để phân chia các bản ghi Lúc này cần dùng đến một trường đặc biệt trong các danh sách thuộc tính đó là rids Đây chính là trường kết nối các bản ghi trong các danh sách thuộc tính Cụ thể như sau: trong khi phân chia danh sách của thuộc tính phân chia (Age) cần chèn giá trị trường rids của mỗi bản ghi vào một bảng băm (hash table) để đánh đấu node con mà các bản ghi tương ứng (có cùng rids) trong các danh sách thuộc tính khác được phân chia tới Cấu trúc của bảng băm như sau:

Phân chia xong danh sách của thuộc tính phân chia thì cũng là lúc xây dựng xong bảng băm Danh sách các thuộc tính còn lại được phân chia tới các node con theo thông tin trên bảng băm bằng cách đọc trường rids trên từng bản ghi và trường Child node tương ứng trên bảng băm