K t l un ch n g2
3.3.ÁNH GIÁ, N HN XÉT KT QU MƠ HÌNH
Vi c ánh giá các mơ hình là c n thi t m b o r ng các mơ hình
chúng ta xây d ng s cĩ hi u qu d báo t t. ây, chúng ta s t p trung vào
kh n ng d ốn c a các mơ hình qua vi c quan sát k t qu c a ma tr n nh m l n (confusion matrix), T l chính xác, MAE, RMSE, Precision, Recall,
F1-score, Error_rate ánh giá, nh n xét các mơ hình. Trong ĩ:
Confusion matrix Predicted Class
Actual Class
tang giam
tang a b
giam c d
a: TP (true positive) m u mang nhãn d ng c phân l p úng vào
l p d ng.
b:FN (false negative) m u mang nhãn d ng b phân l p sai vào
c:FP (false positive) m u mang nhãn âm b phân l p sai vào l p d ng.
d:TN (true negative) m u mang nhãn âm c phân l p úng vào
l p âm.
MAE (Mean Absolute Error) Sai s tuy t i trung bình
MAE là m t ph ng pháp o l ng s khác bi t gi a hai bi n liên t c.
Gi s r ng X và Y là hai bi n liên t c th hi n k t qu d ốn c a mơ hình
và k t qu th c t , o MAE c tính theo cơng th c sau:
MAE = =
RMSE (Root mean squared error) c n b c hai sai s bình ph ng trung bình
RMSE th ng xuyên c s d ng ánh giá kh p c a mơ hình so
v i d li u hu n luy n. c tính b ng c n b c hai c a giá tr tuy t i c a h
s t ng quan gi a giá tr th c và giá tr d ốn.
RMSE=
Precision (bao nhiêu cái úng c l y ra)
Xem xét trên t p d li u ki m tra xem cĩ bao nhiêu d li u c mơ
hình d ốn úng. ây chính là ch s accuracy ( chính xác c a mơ
hình), Precision c tính nh sau:
Precision =
Tuy nhiên cho khách quan h n ng i ta c n ph i xem xét thêm m t (adsbygoogle = window.adsbygoogle || []).push({});
y u t n a chính làRecall, Recall (bao nhiêu cái c l y ra là úng) c
tính theo cơng th c sau:
Ch s này cịn c g i là nh y c a mơ hình là xem xét cĩ kh n ng t ng quát hĩa nh th nào.
F1-score là harmonic mean c a precision và recall (gi s r ng hai i l ng này khác khơng)
F1-score = 2
F1-score càng cao, b phân l p càng t t. T ng h p k t qu t các mơ hình nh sau:
B ng 3.3. score cĩ giá tr n m trong n a kho ng B ng t ng h p k t qu phân tích các mơ hình
Classifier MAE RMSE Precision Recall F1-score Error_rate
Train Test Train Test Train Test Train Test Train Test Train Test
Logistic 0.1148 0.1152 0.2381 0.2186 0.933 0.961 0.935 0.935 0.934 0.948 0.067 0.039 NaiveBayes 0.1285 0.1144 0.3069 0.2687 0.883 0.907 0.887 0.871 0.885 0.889 0.117 0.093 BayesNet 0.1235 0.1436 0.2698 0.2808 0.916 0.945 0.909 0.871 0.912 0.906 0.084 0.055 Tree J48 0.1028 0.0889 0.2267 0.1705 0.940 0.976 0.942 0.986 0.941 0.981 0.060 0.058 kNN K=1 0.0551 0.061 0.1621 0.1534 0.963 0.969 0.961 0.968 0.962 0.968 0.037 0.031 K=2 0.1006 0.1131 0.2133 0.2058 0.929 0.969 0.922 0.968 0.925 0.968 0.071 0.078 K=3 0.116 0.1128 0.2375 0.2153 0.919 0.967 0.922 0.968 0.92 0.967 0.081 0.033 SMO 0.0909 0.129 0.3015 0.3529 0.920 0.945 0.909 0.871 0.914 0.906 0.080 0.055 Multilayer Perceptron 0.0633 0.0678 0.1668 0.1529 0.961 0.976 0.961 0.968 0.961 0.972 0.039 0.033
Hình 3.19. Bi u so sánh k t qu d báo các mơ hình
D a vào b ng k t qu phân tích và bi u so sánh trên chúng ta cĩ th k t lu n r ng i v i t p d li u ã cĩ trong lu n v n này thì mơ hình
MultilayerPerceptroncho k t qu d báo chính xác cao nh t (> 96%), t l d báo l i th p nh t (< 4%) t p d li u hu n luy n và cho k t qu d báo chính xác cao nh t (> 96.5%), t l d báo l i th p nh t (x p x 3.5%) t p d li u ki m th và t l F1-score i v i t p d li u hu n luy n là > 96%, t p ki m th là > 97%, t l F1 càng cao cho th y b phân l p càng t t. V y, ta cĩ th
u tiên l a ch n mơ hình Multilayer Perceptron cho bài tốn.