Trong cßu trúc phân cßp này, m˘c cao nhßt là nút gËc; m˘c mÎt bi∫u diπn 63 tønh thành cıa Viªt Nam; m˘c hai bi∫u diπn 692 huyªn; và m˘c ba bi∫u diπn 11.101 xã, ph˜Ïng, th‡ trßn trong toàn quËc. Khi mÎt t¯/cˆm t¯ n¨m trong c∞p th¥ <LOC> và </LOC>, nó s≥ ˜Òc so khÓp vÓi giá tr‡ cıa mÎt nút trong cây phân cßp trong hình 3.4, và nh˜v™y nút hiªn t§i s≥ ˜Òc ánh dßu; lúc này, thông tin ‡a i∫m chính là ˜Ìng di t¯ nút hiªn t§i tÓi nút gËc. Rõ ràng, cách tÍ ch˘c này hiªu qu£ cho viªc xác ‡nh mËi quan hª gi˙a xã, ph˜Ìng, th‡ trßn, huyªn, và tønh. S¸hiªn qu£ cıa cây phân cßp s≥ ˜Òc minh ho§ trong Ví dˆ 6.
Ví dˆ 6: “Ngày 12/04/2013, S Y t∏ Qu£ng Ngãi thông báo d‡ch cúm A H5N1 ã
bùng phát t§i th‡ trßn Sông Vª"
Ví dˆ này chø ∑ c™p tÓi th‡ trßn (Sông Vª), nÏi mà d‡ch cúm A H5N1 bùng 5http://jvntextpro.sourceforge.net
phát, trong khi thông tin v∑ huyªn và tønh b‡ b‰ qua (m∞c dù thông tin S Y t∏
Qu£ng Ngãi ng¶m ám chø d‡ch bªnh bùng phát tønh Qu£ng Ngãi). Trong quá trình trích chÂn, ví dˆtrên ˜Òc phân tích b¨ng bÎnh™n d§ng th¸c th∫ (NER) và
“Sông Vª" ˜Òc gán nhãn bi c∞p th¥ <LOC> và </LOC>, trong khi ó Qu£ng Ngãi ˜Òc gán nhãn là ORG. The cách thông th˜Ìng, sau khi lßy v∑ thông tin cıa
‡a i∫m (n¨m trong c∞p th¥ <LOC> và </LOC>), Sông Vª là thông tin v∑ ‡a i∫m mà d‡ch bªnh bùng phát. Tuy nhiên, thông tin này không ı ∫ tr¸c quan hoá trên b£n ÁGIS do nó không ¶y ı. ∫ gi£i quy∏t vßn ∑ này, thông tin v¯a thu hÁi ˜Òc so khÓp trên cây phân cßp ‡a i∫m. Khi mÎt nút ch˘a giá tr‡ ˜Òc tìm thßy, quá trình chu©n hoá s≥ duyªt t¯ nút hiªn t§i v∑ nút gËc ∫ lßy ra thông tin ¶y ı. Trong ví dˆ này, khi tìm thßy nút ch˘a cˆm t¯ Sông Vª, quá trình chu©n hoá s≥ ánh dßu nút hiªn t§i, và duyªt ng˜Òc v∑ nút gËc ∫ lßy thông tin
¶y ı là: th‡ trßn Sông vª, huyªn T˜ Nghæa, tønh Qu£ng Nam.
CuËi cùng, các thông tin ˜Òc trích chÂn gÁm thÌi gian, tên bªnh, và dánh sách các v‡ trí t¯bài báo ¶u vào ˜Òc tÍ hÒp ∫ t§o thành mÎt s¸ kiªn d‡ch bªnh. S¸
kiªn này s≥ ˜Òc l˜u tr˙ trong mÎt cÏ s d˙ liªu s¸ kiªn nh¨m mˆc ích cung cßp d˙ liªu cho thành ph¶n tr¸c quan hoá.
3.7 TÍng k∏t
Trong ch˜Ïng này, tác gi£ ã trình bày ph˜Ïng pháp và mô hình ∑ xußt ∫ gi£i quy∏t bài toán trích chÂn s¸kiªn d‡ch bªnh; tác gi£cÙng mô t£chi ti∏t hai bài toán quan trÂng trong mô hình ó là: bài toán phát hiªn s¸ kiªn và trích chÂn s¸ kiªn; trong bài toánphát hiªn s¸ kiªn tác gi£ ã trình bày chi ti∏t v∑quá trình xây d¸ng t™p lu™t và mô hình hÂc máy; trong bài toán trích chÂn s¸ kiªn tác gi£ ã trình bài chi ti∏t ba thành ph¶n cÏ b£n cıa bài toán này, ó là: trích chÂn thÌi gian, tên bªnh, và ‡a i∫m bùng phát d‡ch bªnh. C£ hai bài toán này ∑u s˚ dˆng ph˜Ïng pháp k∏t hÒp gi˙a lu™t và hÂc máy. Trong ch˜Ïng ti∏p theo tác gi£s≥ ch˘ng minh tính hiªu qu£ cıa ph˜Ïng pháp ∑ xußt b¨ng ph˜Ïng pháp th¸c nghiªm.
Ch˜Ïng 4
Th¸c nghiªm và ánh giá k∏t qu£
Ch˜Ïng này tác gi£s≥ trình bày v∑ môi tr˜Ìng, công cˆ, cÙng nh˜ các gói ˜Òc tác gi£ xây d¸ng; bên c§nh ó, tác gøa cÙng ch˘ng minh tính hiªu qu£cıa ph˜Ïng pháp thông qua hai bài toán quan trÂng là phát hiªn s¸ kiªn vàtrích chÂn s¸ kiªn; cuËi cùng, tác gi£ trình bày mÎt sË bàn lu™n liên quan tÓi k∏t qu£ th¸c nghiªm cıa ph˜Ïng pháp ∑ xußt cÙng nh˜ ph¶n k∏t ch˜Ïng.
4.1 Môi tr˜Ìng và các công cˆ cài ∞t
4.1.1 Cßu hình ph¶n c˘ng
Cßu hình ph¶n c˘ng s˚ dˆng trong lu™n v´n ˜Òc trình bày trong b£ng 4.1.1.
B£ng 4.1: Cßu hình ph¶n c˘ng ˜Òc s˚dˆng trong th¸c nghiªm
STT Thành ph¶n Chø sË
1 CPU 2.6 GHz Intel Core i5
2 RAM 8GB
3 Hª i∑u hành OS X 10.9.2 (13C64)
4 BÎ nhÓ ngoài 256GB
4.1.2 Công cˆ ph¶n m∑m
Công cˆ ph¶n m∑m s˚dˆng trong lu™n v´n ˜Òc trình bày trong b£ng 4.1.2.
4.1.3 Các gói ch˜Ïng trình
VÓi các công cˆ ph¶n m∑m ˜Òc trình bày trong ph¶n 4.1.2, tác gi£ xây d¸ng ch˜Ïng trình ∫ th¸c thi trích xußt thông tin s¸ kiªn d‡ch bªnh. Cßu trúc cıa ch˜Ïng trình ˜Òc chia làm 5 gói (package) chính nh˜ sau:
• nlp.util: gói x˚l˛ các thao tác liên quan tÓi tªp, chuÈi.
• org.ktlab.dataprocess: gói d˙ liªu liên quan tÓi viªc x˚ l˛ d˙ liªu nh˜ ti∑n x˚ (adsbygoogle = window.adsbygoogle || []).push({});
l˛, so khÓp...
B£ng 4.2: Công cˆph¶n m∑m ˜Òc s˚dˆng trong th¸c nghiªmSTT Tên ph¶n STT Tên ph¶n m∑m Tác gi£ ‡a chødownload 1 Eclipse Stan- dard/Kepler Release
Apache Software Foun- dation
http://eclipse.org/eclipse
2 JVnTextPro-
v.2.1
Cam-Tu Nguyen http://jvntextpro.sourceforge.net
3 maxent-2.5.2 Mã nguÁn m, phân
phËi bi Apache
http://opennlp.sourceforge.net/maven2/ opennlp/maxent/2.5.2/
4 args4j Kohsuke Kawaguchi
(GNU style)
http://maven.jenkins-ci.org/
content/repositories/releases/args4j/
5 commons-cli-1.2 Phân phËi bi Apache http://commons.apache.org/proper/
commons-cli/downloadcli.cgi
6 htmlparser Mã nguÁn m http://htmlparser.sourceforge.net
7 opennlp-tools- 1.4.3 Mã nguÁn m http://sourceforge.net/projects/opennlp/ files/OpenNLP%20Tools/1.4.3/ 8 vn.hus.nlp.utils- 1.0.0 Mã nguÁn m https://code.google.com/p/vntagger- gate-plugin/source/browse/lib/ vn.hus.nlp.utils- 1.0.0.jar?r=85418c90bafeec89da 9203f9a7f10338d2cff40c 9 vn.hus.nlp.tokenizer- 4.1.1 Mã nguÁn m https://code.google.com/p/vntagger- gate-plugin/source/browse/lib/ vn.hus.nlp.tokenizer- 4.1.1.jar?r=85418c90bafeec89da 9203f9a7f10338d2cff40c 10 vn.hus.nlp.sd- 2.0.0 Mã nguÁn m https://code.google.com/p/vntagger- gate-plugin/source/browse/lib/ vn.hus.nlp.sd- 2.0.0.jar?r=7af0fda73f97b7f9fd50a 379379b84b8404989c2 11 vn.hus.nlp.fsm- 1.0.0 Mã nguÁn m https://code.google.com/p/vntagger- gate-plugin/source/browse/lib/ vn.hus.nlp.fsm- 1.0.0.jar?r=85418c90bafeec89da 9203f9a7f10338d2cff40c
CH◊ÃNG 4. TH‹C NGHIõM VÀ ÁNH GIÁ KòT QUÉ 32
• org.ktlab.entities: gói d˙ liªu liên quan tÓi các th¸c th∫.
• org.ktlab.extraction: gói d˙ liªu liên quan tÓi quá trình trích chÂn thông tin s¸
kiªn.
• org.ktlab.util: gói d˙ liªu liên quan tÓi các x˚ l˛ cÏ b£n vÓi d˙ liªu nh˜ tách t¯, tách câu, Âc t¯ i∫n...
Chi ti∏t các gói ˜Òc trình bày trong b£ng 4.1.3
B£ng 4.3: Danh sách các lÓp trong t¯ng gói ph¶n m∑m
Tên gói Tên lÓp Ch˘c n´ng
nlp.util FileUtil Làm viªc vÓi tªp StringUtil Làm viªc vÓi d˙liªu chuÈi org.ktlab.dataprocess DictionaryMatching So khÓp vÓi t¯ i∫n DiseaseExtraction Trích chÂn tên bªnh LocationExtraction Trích chÂn ‡a i∫m mà d‡ch bªnh bùng phát LocationMatching So khÓp d˙liªu ‡a i∫m trích chÂn ˜Òc vÓi v´n b£n gËc ban ¶u ProcessData Ti∑n x˚l˛d˙liªu TimeExtraction Trích chÂn thÌi gian
org.ktlab.entities Disease LÓp ch˘a d˙liªu v∑tên bªnh
Location LÓp ch˘a d˙liªu v∑ ‡a i∫m
org.ktlab.extraction Chunk LÓp dùng ∫trích chÂn th¸c th∫trong v´n b£n (adsbygoogle = window.adsbygoogle || []).push({});
¶u vào
MakeInputText LÓp dùng ∫t§o ra d˙liªu ¶u vào ng®u nhiên
org.ktlab.util
Chunk LÓp th¸c th∫ ch˘a d˙ liªu trong quá trinhg
NER
DataChunker LÓp dùng ∫lßy d˙liªu v∑thÌi gian, ‡a i∫m,
vàv‡trí trong quá trình NER
DiseaseMatchingUtil LÓp dùng ∫ lßy ra danh sách tên bªnh phˆ
vˆcho quá trình so khÓp
LocationEntityUtil LÓp dùng ∫ Âc danh sách các th¸c th∫ ‡a
i∫m t¯mÎt b£ng b´m và trích chÂn th¸c th∫ ‡a i∫m vÓi ¶u vào là 1 câu
LocationMatchingUtil LÓp dùng ∫so khÓp thông tin ‡a i∫m ˜Òc
trích chÂn vÓi cây phân cßp ‡a i∫m
ReadDictionary LÓp dùng ∫ Âc d˙liªu t¯t¯ i∫n
VnTockenizer LÓp dùng ∫tách câu, tách t¯ trong v´n b£n
ti∏ng Viªt
4.2 Xây d¸ng t™p d˙ liªu
4.2.1 Thu th™p d˙ liªu
D˙ liªu trong lu™n v´n ˜Òc thu th™p t¯ trang Báo MÓi1. Tác gi£ chÂn trang web này vì Báo MÓi t¸ Îng thu th™p d˙ liªu t¯ các trang web khác và phân lÓp
các bài báo vào các chuyên mˆc mÎt cách t¸ Îng, do v™y, d˙ liªu t¯ trang này luôn £m b£o tính c™p nh™t và a d§ng.
4.2.2 Ti∑n x˚ l˛ d˙ liªu
D˙ liªu khi thu th™p v∑ ˜Òc l˜u d˜Ói ‡nh d§ng JSON vÓi kho£ng 60GB d˙
liªu. Tác gi£ ti∏n hành ˜a d˙ liªu v∑ ‡nh d§ng HTML và sau ó lo§i b‰ i các th¥ HTML ∫ thu ˜Òc nÎi dung v´n b£n. Sau quá trình ti∑n x˚ l˛, tác gi£ thu
˜Òc 3.842.137 bài báo. Các thành ph¶n trong mÎt bài báo ˜Òc minh ho§ trong b£ng 4.2.2. T™p 3.842.137 bài báo s≥ là ¶u vào cıa thành ph¶n phát hiªn s¸kiªn.
B£ng 4.4: Các thành ph¶n cıa mÎt bài báo
STT Tên thành ph¶n Mô t£
1 Tiêu ∑ Tiêu ∑cıa bài báo
2 Tóm t≠t Ph¶n tóm t≠t cıa bài báo
3 Ngày xußt b£n Ngày mà bài báo ó ˜Òc xußt b£n
4 Liên k∏t ‡a chøliên k∏t cıa bài báo (adsbygoogle = window.adsbygoogle || []).push({});
5 NÎi dung NÎi dung cıa bài báo
4.3 ánh gía quá trình phát hiªn s¸ kiªn
Nh˜tác gi£ ã ∑ c™p, thành ph¶n phát hiªn s¸kiªn có hai ch˘c n´ng, ó là:bÎ
lÂc d˙ liªu và bÎ phân lÓp. Nh˜ v™y, ∫ ánh giá tính hiªu qu£cıa quá trình phát hiªn s¸ kiªn, tác gi£s≥ ánh giá trên hai ch˘c n´ng chính cıa thành ph¶n này.
4.3.1 ánh giá bÎ lÂc d˙ liªu
Mô t£ th¸c nghiªm: mˆc ích cıa th¸c nghiªm này ánh giá kh£ n´ng cıa bÎ lÂc d˙ liªu ˜Òc nêu trong mˆc 3.5.
Phát bi∫u th¸c nghiªm
• ¶u vào: mÎt t™p các bài báo ˜Òc thu th™p t¯ trang Báo MÓi. • ¶u ra: các bài báo liên quan tÓi mi∑n d˙ liªu d‡ch bªnh.
D˙ liªu th¸c nghiªm: d˙ liªu là 3.842.137 bài báo.
BÎ lÂc d˙liªu là ch˘c n´ng ¶u tiên trong pha phát hiªn s¸ kiªn, nó lÂc các bài báo ˜Òc g˚i tÓi t¯ thành ph¶n thu th™p d˙ liªu. Nh˜ ã ∑ c™p trong ch˜Ïng 3, ch˘c n´ng này s˚ dˆng M®u 1 (3.2) và M®u 2 (3.3) ∫ lÂc các bài báo. Nh˜ v™y, hiªu n´ng cıa ch˘c n´ng này phˆ thuÎc vào Î bao phıcıa t™p lu™t trong M®u 1
và M®u 2. Thông th˜Ìng, chúng ta ph£i ánh giá Î chính xác cıa hai m®u trên toàn bÎt™p d˙liªu (3.842.137 bài báo); tuy nhiên, ph˜Ïng pháp này tËn nhi∑u chi phí vì tác gi£ s˚ dˆng ph˜Ïng pháp ánh gi£ thı công.
CH◊ÃNG 4. TH‹C NGHIõM VÀ ÁNH GIÁ KòT QUÉ 34
B£ng 4.5: T lªlÈi cıa ch˘c n´ng lÂc d˙liªu
SËbài báo liên quan TÍng sËbài báo Îchính xác (%)
311 486 64
∫ ánh giá hiªu n´ng cıa ch˘c n´ng này, tác gi£ l¸a chÂn ng®u nhiên 486 bài báo t¯t™p d˙liªu ∫ ánh giá Î chính xác b¨ng tay. Îchính xác ˜Òc tính toán b¨ng công th˘c (4.1) và k∏t qu£ ˜Òc trình bày trong b£ng 4.5.
Î chính xác= sË bài báo liên quan
tÍng sË (4.1)
vÓi:
• sË bài báo liên quan là sË bài báo liên quan tÓi mi∑n d˙ liªu d‡ch bªnh. • tÍng sË là tÍng sË bài báo ˜Òc lßy ng®u nhiên.
K∏t qu£ trong b£ng 4.5 cho thßy t lª lÈi cao hay nói cách khác Î chính xác cıa t™p lu™t khá thßp. i∑u này là do sË l˜Òng cách bài báo liên quan tÓi d‡ch bªnh ít trong khi tÍng sË bài báo có sËl˜Òng lÓn (chi ti∏t s≥ ˜Òc bàn lu™n trong ph¶n 4.5. Tác gi£ chßp nh™n t lª lÈi cao ( Î chính xác thßp) ∫ §t Î cân b¨ng cho Î o hÁi t˜ng. Nh˜ v™y, hiªu n´ng chung cıa ch˘c n´ng s≥ ˜Òc c£i thiªn.
4.3.2 ánh giá quá trình phân lÓp
Mô t£ th¸c nghiªm: mˆc ích cıa th¸c nghiªm này ánh giá kh£n´ng phân lÓp cıa ph˜Ïng pháp ∑xußt so vÓi ph˜Ïng pháp chødùng hÂc máy ˜Òc nêu trong mˆc 3.5.
Phát bi∫u th¸c nghiªm
• ¶u vào: mÎt t™p các bài báo ã ˜Òc lÂc.
• ¶u ra: các bài báo ˜Òc gán nhãn EVENT ho∞c NOT_EVENT.
D˙ liªu th¸c nghiªm: d˙ liªu là 686 bài báo sau khi ˜Òc lÂc bi bÎ lÂc d˙
liªu.
Tác gi£ ti∏n hành hai th¸c nghiªm ∫ ánh giá hiªu n´ng cıa bÎ phân lÓp. Th¸c nghiªm th˘ nhßt có tên là Th¸c nghiªm a k∏t hÒp gi˙a lu™t và hÂc máy. Th¸c nghiªm th˘ hai có tên là Th¸c nghiªm b chø s˚ dˆng hÂc máy. Các Î o
˜Òc s˚ dˆng ∫ ánh giá hai bÎ phân lÓp là Î chính xác (Precision - P), Î hÁi t˜ng (Recall - R), và Î o F1 (F1-score) d¸a trên ánh giá chéo 10-fold cross validation. (adsbygoogle = window.adsbygoogle || []).push({});
Trong th¸c nghiªm th˘nhßt, tác gi£l¸a chÂn 686 bài báo t¯t™p d˙liªu ã ˜Òc lÂc và gán nhãn chúng vÓi nhãn là EVENT ho∞c NOT_EVENT. Tác gi£bi∫u diπn
B£ng 4.6: So sánh kh£n´ng phân lÓp gi˙aThí nghiªm a andThí nghiªm b
Thí nghiªm a Thí nghiªm b
Fold Precision (%) Recall (%) Î o F-1 Precision (%) Recall (%) Î o F-1
1 80.56 87.88 84.06 72.22 76.47 74.29 2 72.13 75.86 73.95 73.97 79.41 76.59 3 81.90 84.31 83.09 80.00 83.81 81.86 4 79.73 84.29 81.95 72.92 78.36 75.54 5 73.94 81.88 77.71 75.14 78.98 77.01 6 69.95 73.34 71.60 70.89 76.65 73.66 7 73.58 75.73 74.64 71.76 75.20 73.44 8 71.33 80.24 75.52 70.00 75.51 72.65 9 72.37 76.92 74.58 67.27 80.57 73.32 10 75.26 77.15 76.19 69.37 73.48 71.36 Avg 75.07 79.76 77.33 72.35 77.84 74.97
t™p d˙ liªu này là t™p d˙ liªu cıa thí nghiªm a. Trong thí nghiªm th˘ hai, tác gi£
l¸a chÂn ng®u nhiên 50 bài báo t¯t™p d˙ liªu ban ¶u (t™p d˙liªu này ch˜a ˜Òc i qua bÎ lÂc d˙ liªu) và thêm chúng vào 686 bài báo ban ¶u. Tác gi£ gÂi t™p d˙
liªu này là t™p d˙ liªu cıa thí nghiªm b. Nh˜ v™y, sË bài báo trong thí nghiªm b là 736.
Sau khi chu©n b‡ t™p d˙ liªu hußn luyªn cho hai thí nghiªm, tác gi£so sánh kh£
n´ng phân lÓp cıa hai thí nghiªm này. K∏t qu£ so sánh ˜Òc minh ho§ trong b£ng 4.6, nÏi mà k∏t qu£ cıa thí nghiªm b n¨m trong ba cÎt bên ph£i, trong khi chúng
˜Òc bi∫u diπn ba cÎt bên trái trongthí nghiªm a. K∏t qu£trung bình cıa Î o F-1 trong hai thí nghiªm chø ra r¨ng kh£n´ng phân lÓp cıa bÎphân lÓp trong thí nghiªm a tËt hÏn trong thí nghiªm b ⇡2.36%. S¸ chênh lªch cıa hai bÎ phân lÓp không lÓn do tác gi£chø thêm vào 50 bài báo. K∏t qu£ th¸c nghiªm trong b£ng 4.6 chø ra r¨ng ph˜Ïng pháp k∏t hÒp gi˙a lu™t và hÂc máy §t k∏t qu£ tËt hÏn ph˜Ïng pháp chø s˚ dˆng hÂc máy trong bài toán phát hiªn s¸ kiªn d‡ch bªnh.
4.4 ánh gía quá trình trích chÂn s¸ kiªn
Mô t£ th¸c nghiªm: mˆc ích cıa th¸c nghiªm này ánh giá tính chính xác cıa thành ph¶n trích chÂn s¸ kiªn ˜Òc n∏u trong mˆc 4.4.
Phát bi∫u th¸c nghiªm
• ¶u vào: mÎt bài báo ch˘a s¸kiªn d‡ch bªnh.
• ¶u ra: thông tin v∑ s¸ kiªn d‡ch bªnh gÁm tên bªnh, thÌi gian và ‡a i∫m bùng phát d‡ch bªnh.
CH◊ÃNG 4. TH‹C NGHIõM VÀ ÁNH GIÁ KòT QUÉ 36
cıa quá trình phát hiªn s¸kiªn.
Do mÎt s¸ kiªn E ˜Òc ‡nh nghæa là mÎt bÎ gÁm tên bªnh, thÌi gian, và ‡a i∫m bùng phát d‡ch bªnh nh˜ trong công th˘c (3.1), nh˜ v™y mÎt s¸ kiªn úng nên ch˘a ¶y ıba thành ph¶n trên. Khi y∏u tËthÌi gian cıa s¸kiªn không ˜Òc
∑ c™p rõ ràng, tác gi£ s˚ dˆng ngày xußt b£n bài báo nh˜ là thÌi gian cıa s¸
kiªn. Trong các tr˜Ìng hÒp khác, n∏u mÎt s¸ kiªn không bao gÁm tên bªnh ho∞c
‡a i∫m bùng phát thì nó ˜Òc xem là mÎt s¸ kiªn sai.
∫ ánh giá Î chính xác cıa quá trình trích chÂn, tác gi£ ti∏n hành hai thí nghiªm có tên là thí nghiªm c và thí nghiªm d. Thí nghiªm th˘ nhßt chø s˚ dˆng lu™t trong khi ó thí nghiªm th˘ hai k∏t hÒp lu™t và hÂc máy (NER).
Tác gi£ s˚ dˆng ba Î o là Î chính xác (Precision - P), Î hÁi t˜ng (Recall - R), và Î o F (F-score) ∫ so sánh kh£n´ng trích chÂn cıa hai thí nghiªm. Các
Î o này ˜Òc bi∫u diπn trong công th˘c (4.2), (4.3), và (4.4).
Î chính xác (P)= sË s¸ kiªn úng
sË s¸ kiªn úng + sË s¸ kiªn sai (4.2)
vÓi:
• sË s¸ kiªn úng là sË s¸ kiªn ˜Òc mô hình trích chÂn chính xác. • sË s¸ kiªn sai là sË s¸ kiªn ˜Òc mô hình trích chÂn sai.
Î hÁi t˜ng (R)= sË s¸ kiªn úng (adsbygoogle = window.adsbygoogle || []).push({});