ĐỒ án THỰC HÀNH TRÍ TUỆ NHÂN tạo cây QUYẾT ĐỊNH – i2

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM ĐỒ ÁN THỰC HÀNH TRÍ TUỆ NHÂN TẠO CÂY QUYẾT ĐỊNH – I2 CÔNG NGHỆ THÔNG TIN Ngành: Giảng viên hướng dẫn : Th.S Nguyễn Mạnh Hùng Thành viên nhóm : Phan Hoài Nam MSSV: Lớp: 17DTHB1 Phạm Hoàng Trung Nghĩa Trần Nhật Nam MSSV: Lớp: 17DTHB1 MSSV: Lớp: 17DTHB1 TP Hồ Chí Minh, 2019 PHẦN 1: CHẠY TAY CÂY QUYẾT ĐỊNH STT 10 11 12 13 14 15 16 17 18 19 20 Sepal length 5.1 4.9 4.7 4.6 6.4 6.9 5.5 6.4 6.3 6.1 7.7 6.3 6.7 6.7 6.3 6.5 6.2 5.9 Sepal width 3.5 3.2 3.1 3.6 3.2 3.2 3.1 2.3 2.8 2.8 2.6 3.4 3.3 2.5 3.4 Petal length 1.4 1.4 1.3 1.5 1.4 4.7 4.5 4.9 5.6 5.1 5.6 6.1 5.6 5.7 5.2 5.2 5.4 5.1 Petal width 0.2 0.2 0.2 0.2 0.2 1.4 1.5 1.5 1.3 2.2 1.5 1.4 2.3 2.4 2.5 2.3 1.9 2.3 1.8 Bảng liệu Class Iis-setosa Iis-setosa Iis-setosa Iis-setosa Iis-setosa Iris-Versicolor Iris-Versicolor Iris-Versicolor Iris-Versicolor Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Iris-Virginica Chuẩn hố thuộc tính liên tục thành liệu rời rạc: Giá trị thuộc tính (Sepal length) Setosa Versicolor Virginica (-, 5.6] (5.6, 6.67] (6.67,+) 0 1 Giá trị thuộc tính (Sepal width) Setosa Versicolor Virginica (-, 2.73] (2.73,3.16] (3.16,+) 1 2 Giá trị thuộc Tính (Petal length) Setosa Versicolor Virginica 0 2 0 11 (-, 2.9] (2.9, 4.5] (4.5, +) Giá trị thuộc tính (Petal width) Setosa Versicolor Virginica (-, 0.967] (0.967, 1.733] (1.733, +) 0 0 Gọi tập S = [Se, Ve, Vi] Entropy (S) = -PSelog2PSe -PVelog2PVe PVilog2PVi = 4/20*log2 4/20 - 5/20*log2 5/20 - 11/20*log2 11/20 = 1.44 ĐỘ ĐO (INFORMATION GAIN): Công thức chung: SSepal length = [Se, Ve, Vi] [5, 1, 0] (-, 5.6] (5.6, 6.67] [0, 1, 8] [0, 2, 3] (6.67, +) Entropy 0.65 0.5 0.97  Gain(S, Sepal length); 1.44 -6/20*0.65 -9/20*0.5 -5/20*0.97= 0.7775  Gain(S, Sepal width): SSepal width = [Se, Ve, Vi] [0, 1, 2] (-, 2.73] (2.73,3.16] [2, 1, 6] [3, 2, 3] (3.16,+) Entropy 0.918 1.22 1.56  Gain(S, Sepal Width): 1.44 - 3/20*0.918 -9/20*1.22 - 8/20* 1.56 = 0.1293  Gain(S, Petal length): SPetal length = [Se, Ve, Vi] [5, 0, 0] (-, 2.9] (2.9, 4.5] [0, 2, 0] [0, 2,11] (4.5, +) Entropy 0 0.619  Gain(S, Pepal length): 1.44- 5/20*0 – 2/20*0 -13/20*0.619 = 1.037  Gain(S, Petal width): SPetal width = [Se, Ve, Vi] [5, 0, 0] (-, 0.967] (0.967, 1.73] [0, 4, 2] [0, 0, 9] (1.733, +) Gain(S, Petal width): Entropy 0.918 1.44 – 5/20*0 -9/20*0 -6/20*0.918 = 1.16 Ta có Gain ( s,sepal length) = 0.7775 Gain(S, Sepal Width)= 0.1293 Gain(S, Sepal length)= 1.037 Gain(S, Petal width) = 1.164 Nhận xét: Từ ta thấy độ đo S thuộc tính "Petal width" lớn thuộc tính Như ta định chọn "Petal width" làm thuộc tính để khai triển Hình 1: Khai triển theo thuộc tính "Petal width" Tương tự vậy, ta tiến hành triển khai nút bước tiếp theo:  Petal width (S(-, 0.967]) S = [5, 0, 0] Entropy = STT Sepal length Sepal width Petal length Petal width Class 5.1 4.9 4.7 4.6 3.5 3.2 3.1 3.6 1.4 1.4 1.3 1.5 1.4 0.2 0.2 0.2 0.2 0.2 Iris-Setosa Iris-Setosa Iris-Setosa Iris-Setosa Iris-Setosa SSepal length = [Se, Ve, Vi] [5, 0, 0] (-, 5.63] (5.633,6.67] [0, 0, 0] [0, 0, 0] (6.667,+) Entropy 0 SSepal width = [Se, Ve, Vi] [0, 0, 0] (-, 2.733] (2.733, 3.167] [2, 0, 0] [3, 0, 0] (3.167, +) Entropy 0 SPetal length = [Se, Ve, Vi] [5, 0, 0] (-, 2.9] (2.9, 4.5] [0, 0, 0] (4.5,+ ] [0, 0, 0] Entropy 0 Nhận xét: Vì thuộc tính Sepal length, Sepal width Petal length nhận Class Iris-Setosa trình khai triển nên với Petal width (S(-, 0.967]) nhận kết trả Iris-Setosa Hình : Khai triển theo thuộc tính "Iris Setosa" Tương tự vậy, ta tiến hành triển khai nút bước tiếp theo:  STT 11 12 Petal width (S0.967,1,733]) Sepal length 6.4 6.9 5.5 6.3 6.1 Sepal width 3.2 3.2 3.1 2.3 2.8 2.6 S = [0, 4, 2] Petal length 4.7 4.5 4.9 5.1 5.6 SSepal length = [Se, Ve, Vi] [0, 0, 0] (-, 5.63] (5.633,6.67] [0, 1, 2] [0, 2, 0] (6.667,+) Entropy = 0,918 Petal width 1.4 1.5 1.5 1.3 1.5 1.4 Entropy 0,918 Gain=0,918-3/6*0,918=0,46 SSepal width = [Se, Ve, Vi] [0, 1, 1] (-, 2.733] (2.733, 3.167] [0, 1, 1] [0, 2, 0] (3.167, +) Entropy 1 Gain=0,918-2/6*1-2/6*1=0,25 SPetal length = [Se, Ve, Vi] [0, 0, 0] (-, 2.9] (2.9, 4.5] [0, 1, 0] (4.5,+ ] [0, 3, 2] Class Iris-Versicolor Iris-Versicolor Iris-Versicolor Iris-Versicolor Iris-Virginica Iris-Virginica Entropy 0 0.97 Gain=0,918-5/6*0,97=0,11 Ta có: Gain sepal length =0,46 Gain sepal width=0,25 Gain petal length=0,11 Nhận xét: Từ ta thấy độ đo S(2.7, 3.2] thuộc tính "sepal length" lớn Như ta định chọn "sepal length" làm thuộc tính để khai triển Hình : Khai triển theo thuộc tính "Sepal Length" Tương tự vậy, ta tiến hành triển khai nút bước tiếp theo: § Petal width: (S(1,733, +U]) S = [0, 0, 9] Entropy = Entropy SSepal length = [Se, Ve, Vi] [0, 0, 0] [0, 0, 8] [0, 0, 1] (-u,5.633] (5.633-6.667] (6.667,+u) 0 Entropy SSepal width = [Se, Ve, Vi] [0, 0, 1] [0, 0, 5] [0, 0, 3] (-u,2.733] (2.733,3.167) (3.167,+u) S T T 10 Sepal length 6.4 Sepal width 2.8 Petal length 5.6 0 Petal width Class 2.2 Iris- 13 7.7 6.1 2.3 14 6.3 3.4 5.6 2.4 15 6.7 3.3 5.7 2.5 16 6.7 5.2 2.3 17 6.3 2.5 1.9 18 6.5 5.2 19 6.2 3.4 5.4 2.3 20 5.9 5.1 1.8 Virginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica Entropy SPetal length = [Se, Ve, Vi] (-u,2.9] (2.9,4.5] (4.5,+u) [0, 0, 0] [0, 0, 0] [0, 0, 9] 0 Nhận xét: Vì thuộc tính Sepal length, Sepal width Petal length nhận Class Iris- Virginica trình khai triển nên với Petal width (S(1,733, +U]) nhận kết trả Iris-Virginica Hình : Khai triển theo thuộc tính "Iris-Virginica “ Tương tự vậy, ta tiến hành triển khai nút bước tiếp theo: § Sepal length: (S(-u,5.63) S = [0, 2, 0] Entropy = 0,97 S T T Sepal length Sepal width 5.5 Petal length 2.3 Petal width Class Iris1.3 Versicolor Nhận xét: Vì thuộc tính Sepal length nhận Class Iris-Versicolor trình khai triển nên với Sepal lenght : : (S(-u,5.63) nhận kết trả Iris-Versicolor Hình : Khai triển theo thuộc tính " Iris-Versicolor “ § Sepal length: (S(5.6,6.7]) S = [0, 1, 10] Entropy = 0,5 Entropy SSepal width = [Se, Ve, Vi] [0, 0, 2] [0, 1, 5] [0, 0, 3] (-u,2.733] (2.733,3.167] (3.2,+u) Gain=0,5-0,65*6/11=0,145 S Sepal Sepal Petal T length width length T 6.4 3.2 4.5 0,65 Petal width 1.5 Class IrisVersicolor 10 10 6.4 2.8 5.6 2.2 11 6.3 2.8 5.1 1.5 12 6.1 2.6 5.6 1.4 14 6.3 3.4 5.6 2.4 15 6.7 3.3 5.7 2.5 16 6.7 5.2 2.3 17 6.3 2.5 1.9 18 6.5 5.2 19 6.2 3.4 5.4 2.3 20 5.9 5.1 1.8 IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica IrisVirginica Entropy SPetal length = [Se, Ve, Vi] (-u,2.9] (2.9,4.5] (4.5,+u) [0, 0, 0] [0, 1, 0] [0, 0, 10] 0 nhận xét: Vì thuộc tính Sepal length nhận Class Sepal width trình khai triển nên với Sepal lenght : (S(5.6,6.7]) nhận kết trả Sepal width Hình : Khai triển theo thuộc tính " sepal width “ 11 § Sepal length: (S(6.667,+u)) S = [0, 2, 0] Entropy = 0,97 S T T Sepal length Sepal width Petal length 3.2 4.7 6.9 3.1 4.9 Petal width Class Iris1.4 Versicolor Iris1.5 Versicolor Nhận xét: Vì thuộc tính Sepal length nhận Class Iris-Versicolor trình khai triển nên với Sepal lenght : (S(6.667,+u)) nhận kết trả Iris-Versicolor Hình : Khai triển theo thuộc tính " Iris-Versicolor “ § Sepal width: (S(-u,2.7)) S = [0, 0, 1] Entropy = S T T 12 Sepal length 6.1 Sepal width 2.6 Petal length 5.6 Petal width Class Iris1.4 Virginica Nhận xét: Vì thuộc tính Sepal width nhận Class Iris-Vinginica tron trình khai triển nên với Sepal width: (S(-u,2.7)) nhận kết trả Iris-Vinginica 12 Hình : Khai triển theo thuộc tính " Iris-Vinginica “ § Sepal width: (S(2.7,3.167]) S = [0, 0, 1] Entropy = S T T 11 Sepal length 6.3 Sepal width 2.8 Petal length 5.1 Petal width Class Iris1.5 Virginica Nhận xét: Vì thuộc tính Sepal width nhận Class Iris-Vinginica tron trình khai triển nên với Sepal width: : (S(2.7,3.2]) nhận kết trả Iris-Vinginica 13 Hình : Khai triển theo thuộc tính " Iris-Vinginica “ § Sepal width: (S(3.167,+u)) S = [0, 0, 2] Entropy = S T T Sepal length 6.4 Sepal width 3.2 Petal length 4.5 Petal width Class Iris1.5 Versicolor Nhận xét: Vì thuộc tính Sepal width nhận Class Iris-Versicolor tron trình khai triển nên với Sepal width: : : (S(3.167,+u]) nhận kết trả Iris-Versicolor 14 Hình : Khai triển theo thuộc tính " Iris-Versicolor “ 15 PHẦN 2: CHẠY CÂY QUYẾT ĐỊNH TRÊN WEKA Nội dung File *arff: Thực nghiệm định: Chọn thuật toán ID3, Vẽ lại định: a Kết chạy thuật toán ID3 Weka: 16 b Vẽ định: Test tạo sử dụng cross-validation (=20) Hãy cho biết tỉ lệ xác phân lớp, số mẫu phân lớp đúng/ sai/ không phân lớp Diễn giải lại phân bố liệu thông tin từ Confusion Matrix (Chụp ảnh hình ) 17 Trong đó Correctly Classified Instances Incorrectly Classified Instances Kappa statistic Mean absolute error Root mean squared error Relative absolute error Root relative squared error UnClassified Instances Total Number of Instances 14 70 % 20 % 0.625 0.1481 0.3849 38.8889 % 86.7077 % 20% 20 // Là tỷ lệ % độ xác Phân lớp // Là tỷ lệ % độ khơng xác Phân lớp // Là tỷ lệ % lỗi tuyệt đối Phân lớp // Lỗi tương đối tuyệt đối // Là tỷ lệ % không Phân lớp // Tổng số thuộc tính phân lớp === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure ROC Area Class 1 1 Iris-Setosa 0.25 0.071 0.5 0.25 0.333 0.594 Iris-Versicolor 0.889 0.333 0.727 0.889 0.8 0.697 Iris-Virginica Weighted Avg 0.778 0.183 0.753 0.778 0.752 0.758 18 Ý nghĩa: Tổng cộng có 20 trường hợp phân lớp có 14 phân lớp phân lớp sai trường hợp không phân lớp - Trong 14 trường hợp phân lớp thì: + Có trường hợp hoa Iris Setosa + Có trường hợp hoa Iris Versicolor + Có trường hợp hoa Iris Virginica - Trong trường hợp phân lớp sai thì: + Có trường hợp hoa Iris Versicolor + Có trường hợp hoa Iris Virginica - Cịn trường hợp khơng phân lớp hoa Iris Virginica 19 ... Iris-Versicolor “ 15 PHẦN 2: CHẠY CÂY QUYẾT ĐỊNH TRÊN WEKA Nội dung File *arff: Thực nghiệm định: Chọn thuật toán ID3, Vẽ lại định: a Kết chạy thuật toán ID3 Weka: 16 b Vẽ định: Test tạo sử dụng cross-validation...PHẦN 1: CHẠY TAY CÂY QUYẾT ĐỊNH STT 10 11 12 13 14 15 16 17 18 19 20 Sepal length 5.1 4.9 4.7 4.6 6.4 6.9 5.5 6.4 6.3... thuộc tính "sepal length" lớn Như ta định chọn "sepal length" làm thuộc tính để khai triển Hình : Khai triển theo thuộc tính "Sepal Length" Tương tự vậy, ta tiến hành triển khai nút bước tiếp theo: