Thuật tốn ID3 bắt đầu với tập dữ liệu ban đầu S làm root node. Với mỗi chu kì của thuật tốn, thuật tốn sẽ tính tốn hệ số Entropy của từng thuộc tính trong tập S. Sau đĩ thuật tốn sẽ lựa chọn thuộc tính cĩ Entropy thấp nhất. Tập dữ liệu S sau đĩ sẽ được phân tách dựa trên thuộc tính đã chọn để tạo ra các tập dữ liệu con. Thuật tốn sẽ tiếp tục đệ quy với từng tập dữ liệu con và chỉ xem xét các thuộc tính chưa được lựa chọn.
Quá trình đệ quy trên các tập dữ liệu con cĩ thể dừng lại nếu:
- Nếu tồn bộ thành phần của tập dữ liệu con đều thuộc về một lớp.
- Khơng cịn thuộc tính để lựa chọn nhưng vẫn cịn thành phần dữ liệu khơng thuộc về cùng một lớp, lúc này node sẽ biến thành terminal node và được đặt theo class phổ biến nhất trong tập dữ liệu.
- Khơng cịn thành phần trong tập dữ liệu, điều này xảy ra là do khơng cĩ thành phần nào trong tập cha ban đầu cĩ giá trị giống với giá trị của thuộc tính đã chọn. Lúc này node sẽ biến thành terminal node và được đặt theo class phổ biến nhất trong tập dữ liệu.
Trong quá trình huấn luyện, decision tree được xây dựng với từng split node đại diện cho từng thuộc tính và terminal node đại diện cho tên lớp của tập con cuối cùng của phân nhánh này.
Tĩm tắt lại, các bước để xây dựng decision tree theo thuật tốn ID3 đĩ là:
- Tính tốn Entropy cho tồn bộ các thuộc tính của tập dữ liệu S.
- Phân tách tập S thành các tập con dựa trên thuộc tính cĩ Entropy nhỏ nhất.
- Tạo node cho decision tree chứa thuộc tính đĩ.
- Tiếp tục quá trình với các thuộc tính cịn lại trong các tập con.
Entropy H(S) (2.1) là phép tính đại diện cho sự khơng chắc chắn trong tập dữ liệu S. H(S) = (2.1) Trong đĩ:
- S: Tập dữ liệu entropy đang được tính (thay đổi theo mỗi chu kì thuật tốn ID3).
- X: Các lớp của S.
- p(x): Tỉ lệ số phần tử trong lớp x trên số phần tử trong S.