Mô t£ th¸c nghiªm: mˆc ích cıa th¸c nghiªm này ánh giá kh£n´ng phân lÓp cıa ph˜Ïng pháp ∑xußt so vÓi ph˜Ïng pháp chødùng hÂc máy ˜Òc nêu trong mˆc 3.5.
Phát bi∫u th¸c nghiªm
• ¶u vào: mÎt t™p các bài báo ã ˜Òc lÂc.
• ¶u ra: các bài báo ˜Òc gán nhãn EVENT ho∞c NOT_EVENT.
D˙ liªu th¸c nghiªm: d˙ liªu là 686 bài báo sau khi ˜Òc lÂc bi bÎ lÂc d˙
liªu.
Tác gi£ ti∏n hành hai th¸c nghiªm ∫ ánh giá hiªu n´ng cıa bÎ phân lÓp. Th¸c nghiªm th˘ nhßt có tên là Th¸c nghiªm a k∏t hÒp gi˙a lu™t và hÂc máy. Th¸c nghiªm th˘ hai có tên là Th¸c nghiªm b chø s˚ dˆng hÂc máy. Các Î o
˜Òc s˚ dˆng ∫ ánh giá hai bÎ phân lÓp là Î chính xác (Precision - P), Î hÁi t˜ng (Recall - R), và Î o F1 (F1-score) d¸a trên ánh giá chéo 10-fold cross validation.
Trong th¸c nghiªm th˘nhßt, tác gi£l¸a chÂn 686 bài báo t¯t™p d˙liªu ã ˜Òc lÂc và gán nhãn chúng vÓi nhãn là EVENT ho∞c NOT_EVENT. Tác gi£bi∫u diπn
B£ng 4.6: So sánh kh£n´ng phân lÓp gi˙aThí nghiªm a andThí nghiªm b
Thí nghiªm a Thí nghiªm b
Fold Precision (%) Recall (%) Î o F-1 Precision (%) Recall (%) Î o F-1
1 80.56 87.88 84.06 72.22 76.47 74.29 2 72.13 75.86 73.95 73.97 79.41 76.59 3 81.90 84.31 83.09 80.00 83.81 81.86 4 79.73 84.29 81.95 72.92 78.36 75.54 5 73.94 81.88 77.71 75.14 78.98 77.01 6 69.95 73.34 71.60 70.89 76.65 73.66 7 73.58 75.73 74.64 71.76 75.20 73.44 8 71.33 80.24 75.52 70.00 75.51 72.65 9 72.37 76.92 74.58 67.27 80.57 73.32 10 75.26 77.15 76.19 69.37 73.48 71.36 Avg 75.07 79.76 77.33 72.35 77.84 74.97
t™p d˙ liªu này là t™p d˙ liªu cıa thí nghiªm a. Trong thí nghiªm th˘ hai, tác gi£
l¸a chÂn ng®u nhiên 50 bài báo t¯t™p d˙ liªu ban ¶u (t™p d˙liªu này ch˜a ˜Òc i qua bÎ lÂc d˙ liªu) và thêm chúng vào 686 bài báo ban ¶u. Tác gi£ gÂi t™p d˙
liªu này là t™p d˙ liªu cıa thí nghiªm b. Nh˜ v™y, sË bài báo trong thí nghiªm b là 736.
Sau khi chu©n b‡ t™p d˙ liªu hußn luyªn cho hai thí nghiªm, tác gi£so sánh kh£
n´ng phân lÓp cıa hai thí nghiªm này. K∏t qu£ so sánh ˜Òc minh ho§ trong b£ng 4.6, nÏi mà k∏t qu£ cıa thí nghiªm b n¨m trong ba cÎt bên ph£i, trong khi chúng
˜Òc bi∫u diπn ba cÎt bên trái trongthí nghiªm a. K∏t qu£trung bình cıa Î o F-1 trong hai thí nghiªm chø ra r¨ng kh£n´ng phân lÓp cıa bÎphân lÓp trong thí nghiªm a tËt hÏn trong thí nghiªm b ⇡2.36%. S¸ chênh lªch cıa hai bÎ phân lÓp không lÓn do tác gi£chø thêm vào 50 bài báo. K∏t qu£ th¸c nghiªm trong b£ng 4.6 chø ra r¨ng ph˜Ïng pháp k∏t hÒp gi˙a lu™t và hÂc máy §t k∏t qu£ tËt hÏn ph˜Ïng pháp chø s˚ dˆng hÂc máy trong bài toán phát hiªn s¸ kiªn d‡ch bªnh.