Thủ tục xây dựng cây Bayesian
1. Tính
D
P i j
I (X ;X ) giữa các cặp các thuộc tính, với i j. Trong
đó, P x,y P(x,y) I (X;Y)= P(x,y)log P(x)P(y)
Là hàm thông tin bổ trợ (mutual information), hàm chỉ ra mức độ ảnh hưởng của Y đối với X.
2. Xây dựng một đồ thị vô hướng đầy đủ, trong đó các đỉnh là các thuộc tính có trong X. Biểu diễn trọng số của cung nối từ Xi
đến Xj bằng
D
P i j I (X ;X ) .
3. Xây dựng một cây bao trùm cực đại.
4. Chuyển đổi cây bao trùm vô hướng thành cây có hướng bằng cách chọn một nút gốc rồi thiết lập các hướng của các cung theo hướng đi ra từ nút gốc đó.
Dựa trên thủ tục xây dựng cây của Chow & Liu (1968), N. Friedman et al. ([23]) đưa ra một thủ tục xây dựng TANB có sử dụng các thông tin bổ trợ giữa các thuộc tính và xác suất điều kiện nhằm đánh giá thuộc tính class. Khi đó, hàm thông tin bổ trợ được định nghĩa như sau:
P x,y,z P(x,y|z) I (X;Y|Z)= P(x,y,z)log P(x|z)P(y|z)
Trong đó, P(x,y,z)là xác suất của các giá trị thuộc tính của X, Y, Z tương ứng và được tính dựa trên sự xuất hiện đồng thời của các giá trị thuộc tính x, y, z trong dữ liệu mẫu. P(x,y,z) là xác suất điều kiện, được tính dựa trên sự xuất hiện của các giá trị thuộc tính x, y và giá trị z đã được xác định.
Thủ tục xây dựng TANB
1. Tính
D
P i j
I (A ,A |C) giữa các cặp thuộc tính, với i j.
2. Xây dựng một đồ thị vô hướng đầy đủ, trong đó các đỉnh là các thuộc tính A ,A ,...,A1 2 n . Biểu diễn trọng số của các cung từ Ai đến Aj bằng giá trị
D
P i j I (A ,A |C). 3. Xây dựng cây bao trùm cực đại.
4. Chuyển cây vô hướng thành cây có hướng bằng việc chọn ra một thuộc tính gốc và thiết lập các hướng của tất cả các cung theo hướng đi ra từ gốc.
5. Xây dựng TANB bằng việc thêm vào một đỉnh có tên là C và thêm các cung đi từ C đến các Ai.
Cũng dựa trên thủ tục xây dựng cây của Chow & Liu, có nhiều dạng phát triển cho TANB như ETAN [37] với việc cho phép giá trị liên tục trong việc xây dựng các cung, SAB [59] với cải tiến trong việc xây dựng các cung trong cây Bayes. Nghiên cứu gần đây nhất cho việc cải tiến NB là AODE (averaged one- dependence estimator) [60]. Trong AODE, một tập hợp các phân lớp 1-phụ thuộc (mỗi thuộc tính chỉ phụ thuộc vào một thuộc tính khác) được học và việc phân lớp được thực hiện bằng việc kết hợp những tiên đoán của các phân lớp đã học. Điều này tương tự như việc mỗi thuộc tính trong TANB phụ thuộc vào nhiều hơn một thuộc tính khác.
Phân loại TANB Giai đoạn học:
o Xây dựng mô hình TANB
o Dựa trên mô hình TANB cùng với nguồn dữ liệu huấn luyện, với mỗi lớp cj, mỗi cặp giá trị thuộc tính a , ai l(trong đó, al là thuộc tính hỗ trợ thông tin cho thuộc ai, được xác định dựa trên mô hình TANB), tính xác suất P(c )j và P(a |a ,c )i l j dựa vào tần số của chúng trong dữ liệu huấn luyện. (adsbygoogle = window.adsbygoogle || []).push({});
Giai đoạn phân loại:
Với một trường hợp mới x = a , a , ..., a1 2 n sẽ được phân loại như sau: C j n TANB c j i l j i=1
C = arg maxP(c ) P(a |a ,c )
với al là thuộc tính hỗ trợ thông tin cho thuộc tính a i