Luận văn thạc sĩ VNU UET trích chọn sự kiện dịch bệnh cho hệ thống giám sát trực tuyến 04

ÑI H≈C QU»C GIA HÀ NÀI TR◊ÕNG ÑI H≈C CÔNG NGHõ NGUN MINH TIịN TRÍCH CH≈N S‹ KIõN D¿CH BõNH CHO Hõ TH»NG GIÁM SÁT TR‹C TUN LN VãN THĐC Sfl CÔNG NGHõ THÔNG TIN HÀ NÀI - 2014 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ÑI H≈C QU»C GIA HÀ NÀI TR◊ÕNG ĐI H≈C CƠNG NGHõ NGUN MINH TIịN TRÍCH CH≈N S‹ KIõN D¿CH BõNH CHO Hõ TH»NG GIÁM SÁT TR‹C TUN Ngành: Cơng nghª Thơng tin Chun ngành: Mã sË: Hª thËng Thơng tin 60480104 LN VãN THĐC Sfl CƠNG NGHõ THƠNG TIN NG◊ÕI H◊ŒNG DàN KHOA HOC: Ti∏n sˇ Nguyπn Trí Thành HÀ NÀI - 2014 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi cam oan Tơi xin cam oan lu™n v´n “Trích chÂn s¸ kiên dch bênh cho thậng giỏm sỏt trác tuyn cơng trình nghiên c˘u cıa riêng tơi Các sË liªu, k∏t qu£ ˜Ịc trình bày lu™n v´n hồn tồn trung th¸c ch˜a t¯ng ˜Ịc cơng bË bòt k mẻt cụng trỡnh no khỏc Tụi ó trớch dđn ảy cỏc ti liêu tham khÊo, cụng trình nghiên c˘u liên quan  n˜Ĩc qc t NgoĐi tr cỏc ti liêu tham khÊo ny, lun l cụng viêc ca riờng tụi H Nẻi, ngy tháng n´m 2014 Tác gi£ Nguyπn Minh Ti∏n LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi c£m Ïn Tr˜Ĩc tiên, tơi xin g˚i lÌi c£m Ïn sâu s≠c nhßt tĨi TS Nguyπn Trí Thành, ngi ã t™n tình bÊo v hểng dđn tụi quỏ trỡnh thác hiªn lu™n v´n tËt nghiªp Tơi xin g˚i lÌi c£m Ïn chân thành tĨi PGS.TS Hà Quang Thˆy, ng˜Ìi ã t™n tình giúp Ơ, ‡nh h˜Ĩng góp ˛ cho tơi st thÌi gian tơi nghiên c˘u làm viêc tĐi phũng thớ nghiêm Cụng nghê Tri thc (Knowledge Technology Laboratory - KT-Lab) Tơi xin g˚i lÌi c£m Ïn tĨi TS Phan Xn Hi∏u, nghiên c˘u sinh Tr¶n Mai VÙ, nh˙ng ng˜Ìi ã cÍ vÙ, giúp Ơ óng góp ˛ ki∏n cho tơi st q trình hÂc v nghiờn cu tĐi trèng Đi hc Cụng nghê - Đi hc Quậc gia H Nẻi Tụi chõn thnh cÊm ẽn cỏc thảy, cụ, v cỏn bẻ trèng Đi hc Cụng nghê Đi hc Quậc gia H Nẻi ó giÊng dĐy v tĐo iu kiên thun lềi cho tụi hÂc t™p, nghiên c˘u, hoàn thành lu™n v´n Bên c§nh ó, tơi xin c£m Ïn anh, ch‡, cỏc bĐn sinh viờn thuẻc phũng nghiờn cu Cụng nghê Tri th˘c (KT-Lab) ã giúp Ơ tơi hồn thành lu™n v´n Tơi xin g˚i lÌi c£m Ïn tĨi nh˙ng Áng nghiêp tĐi Bẻ mụn Cụng nghê Phản mm - Khoa Cụng nghê Thụng tin - Trèng Đi hc S phĐm Kˇ Thu™t H˜ng n ã ıng hỴ, cÍ vÙ tơi st thÌi gian hÂc t™p, nghiên c˘u hồn thành lu™n v´n Ci cùng, tơi mn g˚i lÌi c£m ẽn c biêt tểi gia ỡnh, bĐn bố, v nhng ngèi thõn yờu luụn bờn cĐnh ẻng viờn tụi suật quỏ trỡnh hc v thác hiên lun tËt nghiªp Tơi xin chân thành c£m Ïn! HÂc viên Nguyπn Minh Ti∏n LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mˆc lˆc TÍng quan v∑ tốn trớch xuòt sá kiên 1.1 Bi toỏn trớch xuòt thụng tin t¯ d˙ liªu lĨn 1.1.1 Bài tốn trích xt thơng tin 1.1.2 D˙ liªu lĨn - CÏ hẻi v thỏch thc cho lổnh vác trớch chn thụng tin 1.2 Tng quan v sá kiên 1.2.1 nh nghổa sá kiên 1.2.2 Trớch chn sá kiên 1.3 Bi toỏn trớch chn sá kiên dch bªnh 1.3.1 Trích chn sá kiên dch bênh - nghổa v tảm quan trng 1.3.2 Phỏt hiên sá kiên 1.3.3 Trớch chn sá kiên 1.4 fi nghỉa tốn trích chÂn s¸ kiªn d‡ch bªnh 1.4.1 fi nghæa khoa hÂc 1.4.2 fi nghỉa th¸c t∏ 1.5 Khó kh´n thách th˘c 1.6 TÍng k∏t 8 9 10 10 10 11 11 MỴt sË ph˜Ïng pháp ti∏p c™n 2.1 Ph˜Ïng pháp ti∏p c™n d¸a lu™t 2.1.1 Lu™t cú pháp 2.1.2 Lu™t ng˙ nghæa 2.2 Ph˜Ïng pháp ti∏p c™n d¸a hÂc máy 2.3 Ph˜Ïng pháp k∏t hÒp lu™t hÂc máy 2.4 MỴt sË nh™n xét 2.5 TÍng k∏t 12 12 12 13 14 15 15 17 18 18 19 20 20 Mô 3.1 3.2 3.3 3.4 hình ∑ xt Các ∞c tính cıa sá kiên dch bênh Phỏt biu bi toỏn Ph˜Ïng pháp ∑ xt Mơ hỡnh phỏt hiên v trớch chn sá kiªn 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com M÷C L÷C 3.5 3.6 3.7 Bi toỏn phỏt hiên sá kiên 3.5.1 Phát bi∫u toán 3.5.2 Xây d¸ng t™p lu™t 3.5.3 Xây d¸ng mơ hình phân lĨp Bài tốn trớch chn sá kiên 3.6.1 Phát bi∫u toán 3.6.2 Trích chÂn thÌi gian 3.6.3 Trích chÂn tên bªnh 3.6.4 Trích chÂn ‡a i∫m TÍng k∏t Thác nghiêm v ỏnh giỏ kt qu£ 4.1 Mơi tr˜Ìng cơng cˆ cài ∞t 4.1.1 Còu hỡnh phản cng 4.1.2 Cơng cˆ ph¶n m∑m 4.1.3 Các gói ch˜Ïng trình 4.2 Xây dáng d liêu 4.2.1 Thu th™p d˙ liªu 4.2.2 Ti∑n x˚ l˛ d˙ liªu 4.3 ỏnh gớa quỏ trỡnh phỏt hiên sá kiên 4.3.1 ỏnh giỏ bẻ lc d liêu 4.3.2 ánh giá q trình phân lĨp 4.4 ánh gớa quỏ trỡnh trớch chn sá kiên 4.5 Phân tích lÈi bàn lu™n 4.5.1 Phân tớch lẩi bẻ lc d liêu 4.5.2 Phân tích lÈi q trình trích chÂn s¸ 4.6 TÍng k∏t kiªn 21 21 22 24 25 25 26 27 27 29 30 30 30 30 30 32 32 33 33 33 34 35 37 37 37 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mˆc t¯ vi∏t t≠t STT 10 11 12 13 14 15 T¯ vi∏t t≠t IE IR DM DSSs OMSs RSs MUC ACE NOAA TDT NLP NER TF-IDF CRFs Maxent T¯ ¶y ı Information Extraction Information Retrieval Data Mining Decision Supporting Systems Online Monitoring Systems Recommendation Systems Message Understanding Conference Automatic Content Extraction National Oceanic and Atmospheric Administration Topic Detection and Tracking Natural Language Processing Named Entity Recognition Term Frequency - Inverse Document Frequency Conditional Random Fields Maximum Entropy Model LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách b£ng 1.1 ThËng kê d˙ liªu Twitter 3.1 Danh sách t¯/cˆm t¯ th˜Ìng xuyên 23 4.1 4.2 4.3 4.4 4.5 4.6 4.7 Cßu hỡnh phản cng ềc s dng thác nghiêm Cơng cˆ ph¶n mm ềc s dng thác nghiêm Danh sách lÓp t¯ng gói ph¶n m∑m Các thành ph¶n cıa mỴt báo T lª lÈi cıa ch˘c n´ng lÂc d˙ liªu So sánh kh£ n´ng phân lĨp gi˙a Thí nghiêm a and Thớ nghiêm b So sỏnh ẻ xác q trình trích chÂn gi˙a Thí nghiªm c and Thí nghiªm d LÈi Thí nghiªm c (15 25 lÈi) LÈi Thí nghiªm d 30 31 32 33 34 35 4.8 4.9 36 38 39 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách hình v≥ 1.1 1.2 1.3 S¸ t´ng tr˜ng d˙ liªu t¯ n´m 2004 ∏n n´m 2020 D˙ liªu Internet 60 giây Các b˜Ĩc q trình khám phá tri th˘c cÏ s d˙ liªu [15] 3.1 3.2 3.3 3.4 Q trình phát hiªn trích chn sá kiên Thnh phản phỏt hiên sá kiên Thành ph¶n trích chÂn sá kiên Biu din cıa phân cßp ‡a i∫m 21 22 25 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi nói ¶u Trích chÂn/trích xuòt thụng tin (Information Extraction - IE), c biêt l trớch chn/trớch xuòt sá kiên (Event Extraction - EE) l mẻt lổnh vác khai phỏ d liêu (Data Mining - DM) K∏t qu£ cıa q trình trích chÂn có th∫ ˜Ịc dùng cho hª thËng hÈ trỊ quy∏t ‡nh (Decision Supporting Systems - DSSs), hª thậng t vòn (Recommendation Systems - RSs), hoc cỏc thËng giám sát tr¸c tuy∏n (Online Monitoring Systems - OMSs) [20] Nhng nm gản õy, trớch chn sá kiên ó thu hút nhi∑u s¸ quan tâm t¯ nhà khoa hc lổnh vác khai phỏ d liêu núi chung trích chÂn thơng tin nói riêng Trích chÂn s¸ kiên ềc xuòt lản ảu tiờn tĐi hẻi thÊo Message Understanding Conference n´m 1987 [19] Trong hỴi ngh‡ này, mẻt sá kiên ềc nh nghổa nh sau: mẻt sá kiên bt buẻc phÊi cú tỏc nhõn (actor), thèi gian xÊy sá kiên (time), a im (place) v tỏc Ỵng tĨi mơi tr˜Ìng xung quanh (impact on the surrounding environment) Bênh c§nh ó, ch˜Ïng trình Automatic Content Extraction (ACE) a nh nghổa: sá kiên l mẻt hnh ẻng ˜Ịc t§o bi ng˜Ìi tham gia ˜Ịc chia thnh tỏm loĐi: cuẻc sậng (life), sá di chuyn (movement), sá chuyn (transection), kinh doanh (business), xung ẻt (conflict), liờn hª (contact), ng˜Ìi (personnel) lu™t phát (justice) Theo inh nghổa ca Allen v cẻng sá [1], mẻt sá kiên bao gm bận thuẻc tớnh: phẽng thc (modality), sá phõn (Positive, Negative), mc ẻ (Specific, Generic) v thèi i∫m (Past, Present, Future, Unspecified) Lu™n v´n "Trích chÂn s¸ kiên dch bênh cho thậng giỏm sỏt trác tuyn" t™p trung vào nghiên c˘u cách th˘c ph˜Ïng phỏp giÊi quyt bi toỏn trớch chn sá kiên dch bªnh Qua ó, ˜a mơ hình, gi£i pháp cho vòn trớch chn sá kiên dch bênh trờn d˙ liªu ti∏ng Viªt Lu™n v´n s˚ dˆng ph˜Ïng pháp k∏t hÒp gi˙a lu™t (rule-based) hÂc máy ∫ gi£i quy∏t hai tốn lĨn nghiên c˘u, ó là: bi toỏn phỏt hiên sá kiên v bi toỏn trớch chn sá kiên Kt quÊ ca nghiờn cu l danh sỏch cỏc sá kiên dch bênh ềc trác quan húa trờn thậng giỏm sỏt trác tuyn, nẽi m ngèi dùng có th∫ theo dõi tình hình diπn bi∏n d‡ch bênh trờn lónh th Viêt Nam Còu trỳc lun ˜Ịc chia làm bËn ch˜Ïng, nỴi dung ˜Ịc mơ t£ nh˜ sau: Ch˜Ïng 1: TÍng quan v∑ tốn trích chn sá kiên Chẽng ny trỡnh by cẽ bÊn v bi toỏn trớch chn sá kiên bậi cÊnh bựng 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ 36 ÁNH GIÁ KòT QUÉ cıa quỏ trỡnh phỏt hiên sá kiên Do mẻt sá kiên E ềc nh nghổa l mẻt bẻ gm tờn bênh, thÌi gian, ‡a i∫m bùng phát d‡ch bªnh nh˜ cụng thc (3.1), nh vy mẻt sá kiên ỳng nên ch˘a ¶y ı ba thành ph¶n Khi y∏u tậ thèi gian ca sá kiên khụng ềc cp rõ ràng, tác gi£ s˚ dˆng ngày xußt b£n bỏo nh l thèi gian ca sá kiên Trong cỏc trèng hềp khỏc, nu mẻt sá kiên khụng bao gm tên bªnh ho∞c ‡a i∫m bùng phát ˜Ịc xem l mẻt sá kiên sai ỏnh giỏ ẻ xác cıa q trình trích chÂn, tác gi£ ti∏n hành hai thí nghiªm có tên thí nghiªm c v thớ nghiêm d Thớ nghiêm th nhòt s dˆng lu™t ó thí nghiªm th˘ hai k∏t hÒp lu™t hÂc máy (NER) Tác gi£ s˚ dˆng ba Ỵ o Ỵ xác (Precision - P), Î hÁi t˜ng (Recall - R), Î o F (F-score) ∫ so sánh kh£ n´ng trích chÂn cıa hai thớ nghiêm Cỏc ẻ o ny ềc biu din cơng th˘c (4.2), (4.3), (4.4) Ỵ xác (P) = sậ sá kiên ỳng sậ sá kiên ỳng + sậ sá kiên sai (4.2) vểi: ã sậ sá kiên ỳng l sậ sá kiên ềc mụ hỡnh trớch chn chớnh xỏc ã sậ sá kiên sai l sậ sá kiên ềc mụ hỡnh trớch chn sai ẻ hi tng (R) = sậ sá kiên ỳng sậ sá kiên ỳng + sậ sá kiên khụng ềc tỡm thòy (4.3) vểi: ã sậ sá kiên ỳng l sậ sá kiên ềc mụ hỡnh trớch chn chớnh xỏc ã sậ sá kiên khụng ềc tỡm thòy l sậ sá kiên m thnh phản trớch chn khụng tỡm thòy F1 = 2P R (P + R) (4.4) D¸a cơng th˘c (4.2), (4.3), (4.4), tác gi£ so sánh kh£ n´ng trích chÂn cıa Thí nghiªm c Thí nghiªm d K∏t qu£ so sánh ˜Ịc minh ho§ b£ng 4.7, ó hng th hai minh hoĐ kt quÊ ca Thớ nghiêm c hàng th˘ ba minh ho§ k∏t qu£ Thớ nghiêm d BÊng 4.7: So sỏnh ẻ chớnh xỏc q trình trích chÂn gi˙a Thí nghiªm c and Thí nghiªm d Tên thí nghiªm Thí nghiªm c Thí nghiªm d Sậ sá kiên 127 136 ỳng Sậ sá kiên sai 25 16 P (%) 83.55 89.47 R (%) 92.02 94.44 F1 87.58 91.89 Trong Thớ nghiêm c, ẻ o F kho£ng ⇡87.58% ⇡91.89% Thí nghiêm d Kt quÊ chng minh ẻ chớnh xỏc thí nghiªm th˘ hai LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ ÁNH GIÁ KịT Q 37 ˜Ịc c£i thiªn ⇡4.31% so vĨi thí nghiêm th nhòt Nguyờn nhõn ca sá khỏc biêt ny s≥ ˜Ịc trình bày ph¶n ti∏p theo cıa lu™n v´n 4.5 4.5.1 Phân tích lÈi bàn lu™n Phân tớch lẩi bẻ lc d liêu Trong quỏ trỡnh phỏt hiên sá kiên, kt quÊ bÊng 4.5 bẻ lc d liêu hoĐt ẻng khụng tật mỴt sË tr˜Ìng hỊp ∫ tìm ngun nhân t lª lÈi cao (36%), tác gi£ ki∫m tra thı cơng báo ˜Ịc l¸a trÂng mˆc 4.3.1 K∏t quÊ phõn tớch cỏc trèng hềp bẻ lc d liêu hoĐt ẻng khụng tật, mẻt vi lu™t M®u (3.2) M®u (3.3) khơng phı h∏t tr˜Ìng hỊp cıa d˙ liªu Ngun nhân chı ∑ có th∫ có mỴt Ỵng t¯ Ví dˆ, Ỵng t¯ t˚ vong có th∫ thuẻc ch dch bênh hoc cha bênh Nu ẻng t ny xuòt hiên mẻt bi bỏo, bẻ lc d liêu s cho bi bỏo thuẻc ch dch bênh; nhiờn, thác th nú lĐi thuẻc chı ∑ ch˙a bªnh nh˜ Ví dˆ Ví d 7: Uậng thuậc hĐ sật sau 30 phỳt bênh nhân t˚ vong" Ví dˆ ˜Ịc phát hiªn bi Mđu (3.2) - bênh nhõn # t vong", nhiên, th¸c t∏, nguyên nhân t˚ vong liên quan tĨi viªc ch˙a tr‡ (ng thc) thay b‡ nhiπm bênh Hẽn na, mẻt sậ lut ca Mđu (3.3) (mđu kt hềp gia mẻt tờn bênh v mẻt ẻng t) nhảm lđn gia sá kiên dch bênh v ch ∑ liên quan tĨi bªnh nh˜ Ví dˆ Ví dˆ 8: “Phát hiªn chıng virus mĨi gây bªnh tay chõn miêng" Lut ca Mđu (3.3) - tay chõn miêng # phỏt hiên" phỏt hiên sá kiên ví dˆ trênm; nhiên, ví dˆ ∑ cp tểi viêc phỏt hiên mẻt chng virus mểi ca bênh tay chõn miêng ch khụng phÊi l sá bùng phát cıa bªnh tay chân miªng 4.5.2 Phân tích lẩi quỏ trỡnh trớch chn sá kiên Trong pha trớch chn sá kiên, kt quÊ bÊng 4.7 ẻ chớnh xỏc ca quỏ trỡnh trớch chn Thí nghiªm d cao hÏn Thí nghiªm c ⇡5.92% Ban ¶u, tác gi£ ng§c nhiên vĨi k∏t qu£ so sánh Thí nghiªm c s˚ dˆng lu™t ∫ trích chÂn thơng tin Thơng th˜Ìng, s˚ dˆng lu™t s≥ cho Ỵ xác cao ∫ tìm ngun nhân lÈi xuòt hiên pha trớch chn, tỏc giÊ kim tra thı công báo cho k∏t qu£ không úng c£ hai thí nghiªm ( ˜Ịc ∑ c™p phản 4.4) Kt quÊ kim tra ềc th hiên b£ng 4.8 4.9 K∏t qu£ thËng kê b£ng 4.8 v 4.9 nguyờn nhõn gõy lẩi q trình trích chÂn c£ hai thí nghiªm xt phát t¯ q trình trích chÂn ‡a i∫m, q tình trích chÂn tên bªnh Trong Thớ nghiêm c, tỏc giÊ nhn cỏc lut ˜Ịc s˚ dˆng q trình trích chÂn khơng bao phı h∏t LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ STT Doc ID 13 17 24 26 32 64 65 10 11 12 13 79 89 92 96 14 15 105 108 ÁNH GIÁ KịT Q 38 B£ng 4.8: LÈi Thí nghiªm c (15 25 lÈi) Mô t£ lÈi Thông tin úng Thơng tin trích chÂn Congo NULL Th‡ trßn Kon-Plong Ly, tønh Pray NULL Veng Ph˜Ìng 6, Qu™n 8, Ph˜Ìng 14, Qu™n 5, Qu™n 8, Ph˜Ìng 7, Qu™n Thành phË HÁ Chớ Minh Bỡnh ThĐnh, Huyên Húc Mụn xúm 1, tr tròn Ngụ Dng, huyên Nam nh Giao Thu , tứnh Nam nh tay chõn miêng bênh sật xuòt huyt phèng 8, qu™n 5, thành phË HÁ Chí qu™n Long Biên Minh ph˜Ìng 7, qu™n 8, thành phË HCM NULL bªnh sật rột bênh sật xuòt huyt xúm 3, phèng Tran Hung Dao, Nặng thnh phậ Kon Tum H nẻi NULL cúm A/H1N1 viêm phÍi (triªu ch˘ng) cúm A/H1N1 bªnh lao th‡ trßn Ea T’ling xã: Nam NULL Dơng, Tam Th≠ng, D’Dak Rong d‡ch t£ tiêu ch£y cßp xã Tam Quan, thành phË Tam D£o, xã Tam Quan Quan Nẻi, Quan NgoĐi, lng Chanh, lng Mu, v Nhõn Ly LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ STT Doc ID 16 17 21 23 25 26 32 39 10 40 45 11 46 12 47 13 69 14 84 15 16 106 109 ÁNH GIÁ KịT Q 39 B£ng 4.9: LÈi Thí nghiªm d Mơ t£ lÈi Thơng tin úng Thơng tin trích chÂn làng Thanh Long, xã Ph˜Ĩc Mˇ, Bình ‡nh thành phË Quy NhÏn huyªn Giao Thıy, Nam ‡nh, cúm Nam ‡nh, cúm A (H5N1) Mπ S, V´n Giang, H˜ng Yên H˜ng Yên Bà R‡a - VÙng Tàu NULL xóm 4, xã Hịa An, huyªn Krong xã Hịa An, huyªn Chiêm Hóa, Pac, Dak Lak Tun Quang ph˜Ìng 8, qu™n 5, thành phË HÁ Chí NULL Minh (P.8, Q.5, TP HCM) ph˜Ìng 7, qu™n 8, thành phË HCM NULL (P.7, Q.8, TP HCM) M‰ Cày Nam, M‰ Cày B≠c, GiÁng B∏n Tre Trơm, Th§nh Phú, Châu Thành, Ba Tri, ChỊ Lách ph˜Ìng 6, qu™n (P.6, Q.8) TP HCM H˜ng Yên, n ‡nh, Thanh Hóa, Hà NỴi, Vỉnh Phúc Vỉnh Phúc, Ba ỡnh, H Nẻi Thun An, Dổ An, huyên Bn Cỏt, Bỡnh Dẽng th tròn Th Dảu Mẻt, Bỡnh Dẽng ph˜Ìng Kim Long H˜Ïng Long, NULL thành phË Hu∏ lng Tõn An Hẻi, huyên C Chi, NULL thnh phậ HCM ph˜Ìng Thanh Bình, qu™n H£i ph˜Ìng Thanh Bình, thành phË Châu, thành phË NỈng, ak Lak Ninh Binh,thành phË NỈng, qu™n H£i Châu ph˜Ìng 7, qu™n Tân Bình qu™n qu™n Hồng Mai, Hai Bà Tr˜ng, Hà NỴi Thanh Xn, qu™n Hồn Ki∏m, Thanh Trì, Ëng a, Qu£ng Ninh, B≠c Giang, Nam ‡nh, Thái Bình, Hà Nam, H˜ng Yên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ ÁNH GIÁ KòT QUÉ 40 tr˜Ìng hỊp Trong mỴt sË tr˜Ìng hỊp, n∏u thơng tin ‡a i∫m ˜Ịc vi∏t t≠t, nh˜ v™y lu™t khơng th∫ nh™n ˜Ịc nh˙ng thơng tin nh˜ Ví dˆ Ví dˆ 9: “Phát hiªn mẻt trèng hềp bênh nhõn nhim cỳm A H5N1 tĐi P.7, Q.8, TP HCM" Trong ví dˆ này, ph˜Ìng 7, qu™n 8, thành phË HÁ Chí Minh ˜Ịc vi∏t t≠t; ó, lu™t khơng th∫ nh™n ˜Ịc thơng tin Trong Thí nghiªm d, ngun nhân làm gi£m Ỵ xác cıa q trình trích chn l ẻ chớnh xỏc ca bẻ nhn dĐng thác th (NER) Trong mẻt sậ trèng hềp, bẻ nhn dĐng thác th khụng th phỏt hiên cỏc a im ˜Ịc vi∏t t≠t (nh˜ ví dˆ 9) Trong mỴt sậ trèng hềp khỏc, bẻ nhn dĐng thác th b qua thơng tin ‡a i∫m ˜Ịc ∑ c™p nh˜ thơng tin v∑ tÍ ch˘c nh˜ Ví dˆ 10 Ví dˆ 10: “Ngày 12/03/2012, d‡ch tiêu ch£y cßp ó bựng phỏt tĐi H Nẻi, HÊi Phũng, QuÊng Ninh, B∏n Tre, C¶n ThÏ" Trong ví dˆ này, Hà Nẻi, HÊi Phũng, QuÊng Ninh, Bn Tre, v Cản Thẽ ˜Ịc nh™n d§ng nh˜ nh˙ng tÍ ch˘c ( ˜Ịc gán nhãn ) Nh˙ng thông tin s≥ b‡ b‰ qua q trình trích chÂn Trong c£ hai thớ nghiêm, mẻt vi tờn bênh sau quỏ trỡnh trớch chn khụng chớnh xỏc chỳng khụng năm t i∫n tên bªnh HÏn n˙a, t¯ i∫n tên bªnh ch˘a mẻt sậ tờn bênh giậng vểi cỏc triêu chng ca bênh, nh vy, sá tẽng ẽng ny tĐo sá nhảm lđn quỏ trỡnh trớch chn tờn bênh Vớ dˆ, b£ng 4.8, tên bªnh A H5N1 báo th˘ 89 ˜Ịc phát hiªn nh˜ bªnh viên phÍi (pneumonia) viờm phi l mẻt triêu trng ca cỳm A/H5N1 Bờn cĐnh ớ, cú mẻt sậ yu tậ tỏc ẻng lm giÊm hiêu quÊ ca quỏ trỡnh trớch chn ảu tiờn, cỏc lẩi soĐn thÊo ca cỏc a i∫m báo làm gi£m Ỵ xác cıa q trình trích chÂn Ví dˆ, “ ≠k L≠k" ˜Ịc vi∏t “ ≠c L≠c", nhiên “ ≠c L≠c" khụng xuòt hiên t in a im Nh vy, thơng tin v∑ ‡a i∫m có th∫ b‡ b‰ qua Th˘ hai, n∏u thơng tin cıa ‡a i∫m khơng ˜Ịc mụ tÊ mẻt cỏch rừ rng nh cỏc huyên phớa Tõy ca tứnh Bn Tre"; nh vy, bẻ nhn dĐng thác th khụng th nhn dĐng ềc cỏc thụng tin Ci cùng, mỴt ngun nhân quan trÂng khác sá nhp nhăng ca a im Trong thác t, mẻt tên ‡a i∫m có th∫ ˜Ịc ∞t tên cho nhi∑u ‡a danh N∏u báo không ∑ c™p thông tin rõ ràng, thơng tin ‡a i∫m có th∫ b nhảm lđn nh Vớ d 11 Vớ d 11: “Ngày 05/10/2012, S Y t∏ Qu£ng Ninh thông báo ó phỏt hiên vi khuân tÊ tĐi th tròn ụng H£i" Trong ví dˆ này, th‡ trßn ơng H£i ‡a danh có th∫ thc c£ Trà Vinh Qu£ng Ninh, nhiên báo chø ∑ câp tÓi tên th‡ trßn, nh˜ v™y ch˘c n´ng trích chÂn khơng th∫ quy∏t ‡nh ơng H£i thc Qu£ng Ninh hay Trà Vinh Nguyên nhân gây lÈi khác ∏n t¯ thông tin không ¶y ı cıa ‡a i∫m, ví dˆ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG TH‹C NGHIõM VÀ NH GI KũT QUẫ 41 nh mẻt sậ thnh phản cıa v‡ trí ˜Ịc trích chÂn nh˜ hàng th˘ cıa b£ng 4.8 (chø Nam ‡nh ˜Ịc trích chÂn) b£ng 4.9 (chø Bình D˜Ïng ˜Ịc trích chÂn) Nguyên nhân cuËi ‡a i∫m ˜Òc ∑ c™p báo không ph£i ‡a i∫m bùng phát d‡ch bªnh Do ó, thơng tin ˜Ịc trích chÂn khơng xác nh˜ hàng cıa b£ng 4.8 hàng cıa b£ng 4.9 4.6 TÍng k∏t Trong ch˜Ïng tác gi£ ã trình bày cỏc kt quÊ thác nghiêm chng minh phẽng phỏp xuòt chẽng Kt quÊ thác nghiêm trung vào hai tốn quan trÂng, ó tốn phỏt hiên sá kiên v bi toỏn trớch chn sá kiên Kt quÊ thác nghiêm cho thòy phẽng phỏp xuòt phự hềp cho bi toỏn trớch chn sá kiên dch bênh Bờn cĐnh ú, tỏc giÊ cng nh˙ng tr˜Ìng hỊp làm gi£m Ỵ xác pha phỏt hiên v trớch chn sá kiên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÍng k∏t K∏t qu£ §t ˜Ịc Lu™n v´n ã trình bày ki∏n th˘c cÏ bÊn v trớch chn sá kiên v trớch chn sá kiªn d‡ch bªnh mi∑n d˙ liªu ti∏ng Viªt Bên c§nh ó, lu™n v´n ã trình bày chi ti∏t phẽng phỏp tip cn bi toỏn trớch chn sá kiên t™p trung vào ph˜Ïng pháp k∏t hÒp gi˙a lu™t ng˙ nghỉa hÂc máy ∫ gi£i quy∏t tốn phỏt hiên v trớch chn sá kiên dch bênh Lun v´n cÙng ∑ xt mơ hình gi£i quy∏t hai tốn quan trÂng, ó là: tốn phát hiªn bi toỏn trớch chn sá kiên, thụng qua ú trớch chn cỏc sá kiên dch bênh dựng cho thậng giỏm sỏt trác tuyn Vn-Loc Trong bi toỏn phỏt hiên sá kiên, lun s dng phẽng phỏp kt hềp gi˙a lu™t hÂc máy, vĨi tốn trớch chn sá kiên, lun s dng lut trích chÂn thÌi gian, t¯ i∫n tên bªnh ∫ trích chÂn tên bênh hÂc máy (NER) k∏t hỊp vĨi t¯ i∫n ‡a i∫m ∫ trích chÂn ‡a i∫m bùng phỏt dch bênh Kt quÊ thác nghiêm cho thòy phẽng pháp k∏t hÒp gi˙a lu™t hÂc máy cho k∏t qu£ tËt mi∑n d˙ liªu ti∏ng Viªt Lu™n v´n ã s˚ dˆng ba Ỵ o là: Ỵ o xác (precision), Ỵ o hÁi t˜ng (recall), Ỵ o F-1 (F-1 measured) ∫ ánh giá k∏t qu£ cıa trỡnh phỏt hiên sá kiên vểi cỏc kt quÊ lản l˜Ịt là: Ỵ o xác (75.07%), Ỵ o hÁi tng (79.76%), v ẻ o F-1 (77.33%) Bờn cĐnh ú, lu™n v´n s˚ dˆng ph˜Ïng pháp ánh giá thı công trờn bi toỏn trớch xuòt sá kiên, kt quÊ ẻ chớnh xỏc Đt 89.04 Kt quÊ thác nghiêm minh chng phẽng phỏp lun xuòt Đt kt quÊ khÊ quan v cú th ỏp dng thác t HĐn ch∏ M∞c dù §t ˜Ịc nh˙ng k∏t qu£ kh£ quan ban ảu, song lun phẽng phỏp lun xuòt vđn cũn mẻt sậ nhềc im cản khc phc nh sau: ã Tp lut ềc xõy dáng th cụng, o ó khó có th∫ bao phı tồn bỴ mi∑n d˙ liêu iu ny dđn n lut cú th b sót nh˙ng d˙ liªu có liên quan tĨi mi∑n d˙ liêu ã Kt quÊ ca bẻ phõn lểp cha cao sá nhp nhăng gia mẻt bÊn cha 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH◊ÃNG THC NGHIừM V NH GI KũT QUẫ 43 sá kiên dch bênh thác sá v mẻt bÊn l thụng bỏo ã Trong mẻt vi trèng hềp cũn xÊy trèng hềp nhp nhăng gia cỏc a im nu v´n b£n khơng ∑ c™p ı thơng tin (ví dˆ: chø nêu tên xã ho∞c huyªn mà khơng nêu ảy thụng tin) ã Cha phỏt hiên ềc cỏc sá kiên trựng lp, cha gom nhúm ềc cỏc bÊn liờn quan tểi mẻt sá kiên theo thèi gian Hểng phỏt trin ã CÊi thiên ẻ bao ph ca lut ềc s dng pha phỏt hiên sá kiên ã Nõng cao ẻ chớnh xỏc ca mụ hỡnh phõn lểp pha phỏt hiên sá kiên ã Nõng cao ẻ chớnh xỏc ca quỏ trỡnh nhn dĐng thác th ã GiÊi quyt bi toỏn nhp nhăng v a im xÊy sá kiên ã Phỏt hiên sá trựng l∞p gom nhóm báo liên quan tĨi mẻt sá kiên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cơng bË khoa hÂc • Minh-Tien Nguyen and Tri-Thanh Nguyen, “Extraction of Disease Events for a Real-time Monitoring System”, in the Proceedings of the 4th Symposium on Information and Communication Technology - SoICT, Danang, Vietnam, (December 2013) • Mai-Vu Tran, Minh-Hoang Nguyen, Sy-Quan Nguyen, Minh-Tien Nguyen, and Xuan-Hieu Phan (2012) “VnLoc: A Real–time News Event Extraction Framework for Vietnamese", in the Proceedings of the 4th International Conference on Knowledge and Systems Engineering - KSE, Danang, Vietnam, (August 2012) 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liªu tham kh£o [1] James Allen, Ron Papka, and Victor Larvenko On-line new event detection and tracking SIGIR, pages pp 37–45, 1998 [2] Chinatsu Aone and Mila Ramos-Santacruz Rees: A large-scale relation and event extraction system In In: 6th Applied Natural Language Processing Conference (ANLP 2000):pp 76–83 Association for Computational Linguistics, 2000 [3] Douglas E Appelt Introduction to information extraction technology In Tutorial held at IJCAI-99, Stockholm, Sweden, 1999 [4] Adam L Berger, Vincent J Della Pietra, and Stephen A Della Pietra A maximum entropy approach to natural language processing Computational Linguistics, 22.1:39–71, 1996 [5] Jethro Borsje, Frederik Hogenboom, and Flavius Frasincar Semi-automatic financial events discovery based on lexico-semantic patterns International Journal of Web Engineering and Technology, 6(2):115–140, 2010 [6] Philippe Capet, Thomas Delavallade, Takuya Nakamura, Agnes Sandor, Cedric Tarsitano, and Stavroula Voyatzi A risk assessment system with automatic extraction of event types Intelligent Information Processing IV, IFIP International Federation for Information Processing Springer Boston, vol 288:220–229, 2008 [7] Lee Chang-Shing, Yea-Juan Chen, and Zhi-Wei Jian Ontology-based fuzzy event extraction agent for chinese e-news summarization In Expert Systems with Applications 25(3), 431– 447, 2003 [8] K Bretonnel Cohen, Karin Verspoor, Helen L Johnson, Chris Roeder, Philip V Ogren, William A Baumgartner, Elizabeth White Jr., Hannah Tipney, and Lawrence Hunter High-precision biological event extraction with a concept recognizer In In: Workshop on BioNLP: Shared Task collocated with the NAACL-HLT 2009 Meeting pp 50–58 Association for Computational Linguistics, 2009 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIõU THAM KHÉO 46 [9] Nigel Collier, Reiko Matsuda Goodwin, John McCrae, Son Doan, Ai Kawazoe, Mike Conway, Asanee Kawtrakul, Koichi Takeuchi, and Dinh Dien An ontology-driven system for detecting global health events In Proceedings of the 23rd International Conference on Computational Linguistics Association for Computational Linguistics, 2010 [10] H Cunningham, D Maynard, K Bontcheva, and V Tablan Gate: A framework and graphical development environment for robust nlp tools and applications In In: 40th Anniversary Meeting of the Association for Computational Linguistics (ACL 2002) pp 168–175 Association for Computational Linguistics, 2002 [11] Hamish Cunningham Gate, a general architecture for text engineering In Computers and the Humanities 36(2), 223–254, 2002 [12] Son Doan, Ai Kawazoe, and Nigel Collier Global health monitor - a web-based system for detecting and mapping infectious diseases Proc International Joint Conference on Natural Language Processing (IJCNLP), Companion Volume, Hyderabad, India:pp 951–956, 2008 [13] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel The automatic content extraction (ace) program – tasks, data, and evaluation In LREC, 2004 [14] Li Fang, Huanye Sheng, and Dongmo Zhang Event pattern discovery from the stock market bulletin In: 5th International Conference on Discovery Science (DS 2002) Lecture Notes in Computer Science, Springer-Verlag Berlin Heidelberg, vol 2534:35–49, 2002 [15] Usama M Fayyad, Gregory Piatetsky-Shapiro, and Padhraic Smyth From data mining to knowledge discovery in databases In AI Magazine (AIM) 17(3):37-54, 1996 [16] Jungermann Felix and Katharina Morik Enhanced services for targeted information retrieval by event extraction and data mining In: 13th International Conference on Natural Language and Information Systems: Applications of Natural Language to Information Systems (NLDB 2008) Lecture Notes in Computer Science Springer-Verlag Berlin Heidelberg, vol 5039:335–336, 2008 [17] Ralph Grishman, Silja Huttunen, and Roman Yangaber Information extraction for enhenced access to disease outbreak reports Journal of Biomedical Informastic, 35(4):pp 236–246, 2002 [18] Ralph Grishman, Silja Huttunen, and Roman Yangarber Real-time event extraction for infectious disease outbreaks Proceeding HLT ’02 Proceedings of LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIõU THAM KHÉO 47 the second international conference on Human Language Technology Research, 2002 [19] Ralph Grishman and Beth Sundheim Message understanding conference-6: a brief history Proceedings of the 16th conference on Computational linguistics, COLING, Stroudsburg, PA, USA, Volume 1:pp 466–471, 1996 [20] Frederik Hogenboom, Flavius Frasincar, Uzay Kaymak, and Franciska de Jong An overview of event extraction from text Workshop on Detection, Representation, and Exploitation of Events in the Semantic Web (DeRiVE 2011) at Tenth International Semantic Web Conference (ISWC 2011), 779:pp 48–57, 2011 [21] Chun Hong-Woo, Young-Sook Hwang, and Hae-Chang Rim Unsupervised event extraction from biomedical literature using co-occurrence information and basic patterns In: 1st International Joint Conference on Natural Language Processing (IJCNLP 2004) Lecture Notes in Computer Science Springer-Verlag Berlin Heidelberg, vol 3248:777–786, 2004 [22] John Lafferty, Kamal Nigam, and Andrew McCallum Using maximum entropy for text classification IJCAI-99 Workshop on Machine Learning for Information Filtering, Vol.1:61–67, 1999 [23] Mingrong Liu, Yicen Liu, Liang Xiang, Xing Chen, and Qing Yang Extracting key entities and significant events from online daily news In: 9th International Conference on Intelligent Data Engineering and Automated Learning (IDEAL 2008) Lecture Notes in Computer Science Springer-Verlag Berlin Heidelberg, vol 5326:201–209, 2008 [24] Vargas-Vera Maria and David Celjuska Event recognition on news stories and semi-automatic population of an ontology In In: 3rd IEEE/WIC/ACM International Conference on Web Intelligence (WI 2004) pp 615–618, 2004 [25] Okamoto Masayuki and Masaaki Kikuchi Discovering volatile events in your neighborhood: Local-area topic extraction from blog entries In: 5th Asia Information Retrieval Symposium (AIRS 2009) Lecture Notes in Computer Science Springer-Verlag Berlin Heidelberg, vol 5839:181–192, 2009 [26] John Naisbitt Megatrends: Ten new directions transforming our lives In Grand Central Publishing, 1998 [27] Minh-Tien Nguyen and Tri-Thanh Nguyen Extraction of disease events for a real-time monitoring system In SoICT, Danang, Vietnam, 2013 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIõU THAM KHÉO 48 [28] Yoko Nishihara, Keita Sato, and Wataru Sunayama Event extraction and visualization for obtaining personal experiences from blogs HCI (9), pages 315–324, 2009 [29] Leonid Peshkin and Avi Pfeffer Bayesian information extraction network In Proc of the 18th International Joint Conference on Artificial Intelligence (IJCAI), 2003 [30] Cimiano Philipp and Steffen Staab Learning by googling In SIGKDD Explorations Newsletter 6(2), 24–33, 2004 [31] Jakub Piskorski, Hristo Tanev, and Pinar Oezden Wennerberg Extracting violent events from on-line news for ontology population In: 10th International Conference on Business Information Systems (BIS 2007) Lecture Notes in Computer Science Springer-Verlag Berlin Heidelberg, vol 4439:287–300, 2007 [32] Vasin Punyakanok, Dan Roth, and Wen tau Yih The importance of syntactic parsing and inference in semantic role labeling In Computational Linguistics 34(2), 257–287, 2008 [33] Adwait Ratnaparkhi A maximum entropy model for part-of-speech tagging Proceedings of the Conference on Empirical Methods in Natural Language Processing, Vol 1:133–142, 1996 [34] Ronald Rosenfeld A maximum entropy approach to adaptive statistical language modelling Computer Speech & Language, 10.3:187–228, 1996 [35] Pakhomov Serguei Semi-supervised maximum entropy based approach to acronym and abbreviation normalization in medical texts In In: 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002) pp 160–167 Association for Computational Linguistics, 2002 [36] Keh-Yih Su, Tung-Hui Chiang, and Jing-Shin Chang An overview of corpusbased statistics-oriented (cbso) techniques for natural language processing In Computational Linguistics and Chinese Language Processing 1(1), 101–157, 1996 [37] Hristo Tanev, Jakub Piskorski, and Martin Atkinson Real-time news event extraction for global crisis monitoring In Proceedings of the 13th International Conference on Applications of Natural Language to Information Systems (NLDB 2008) Lecture Notes in Computer Science, Vol 5039, Springer-Verlag Berlin Heidelberg:pp 207–218, 2008 [38] Mai-Vu Tran, Minh-Hoang Nguyen, Sy-Quan Nguyen, Minh-Tien Nguyen, and Xuan-Hieu Phan Vnloc: A real-time news event extraction framework for LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIõU THAM KHÉO 49 vietnamese The Fourth International Conference on Knowledge and Systems Engineering (KSE), pages pp 161–166, 2012 [39] Svitlana Volkova, Doina Caragea, William H Hsu, and Swathi Bujuru Animal disease event recognition and classification 2010 [40] Feiyu Xu, Hans Uszkoreit, and Hong Li Automatic event and relation detection with seeds of varying complexity In In: AAAI Workshop on Event Extraction and Synthesis, 2006 [41] Akane Yakushiji, Yuka Tateisi, Yusuke Miyao, and Jun’ichi Tsujii Event extraction from biomedical papers using a full parser In Pacific Symposium on Biocomputing 2001:408-419, 2001 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phˆ lˆc 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... chn sá kiên cú th ềc minh hoĐ hỡnh 3.3 Bẻ trớch chÂn Trích chọn thời gian Luật Trích chọn tên bệnh Sự kiện Dữ liệu Từ điển tên bệnh Trích chọn địa điểm Cây phân cấp địa điểm Hình 3.3: Thành phản... thu thập liệu Tiền xử lý liệu Bộ phát kiện Bộ trích chọn kiện Trực quan hố Hình 3.1: Q trình phát hiên v trớch chn sá kiên t cỏc trang trờn Internet chuy∫n cho thành ph¶n ti∑n x˚ l˛ d˙ liêu ã Tin... ÑI H≈C CÔNG NGHõ NGUN MINH TIịN TRÍCH CH≈N S‹ KIõN D¿CH BõNH CHO Hõ TH»NG GIÁM SÁT TR‹C TUN Ngành: Cơng nghª Thơng tin Chun ngành: Mã sË: Hª thËng Thơng tin 6048 0 104 LN VãN THĐC Sfl CƠNG NGHõ THƠNG