2.3 Ph˜Ïng pháp ti∏p c™n và ∑ xußt
2.3.6 Phân lo§i câu h‰i
Nghiên c˘u này xem xét viªc tìm ki∏m các câu h‰i trong cÏ s d˙ liªu liên quan ∏n câu h‰i mÓi q⇤ nh˜là mÎt vßn ∑ phân lo§i. N∏u mÎt câu h‰i qi là liên quan ∏n câu h‰i mÓi thì nó s≥ ˜Òc phân vào lÓp “relevant”; ng˜Òc l§i, nó ˜Òc phân vào lÓp “irrelevant”. Lu™n án s˚ dˆng mÎt sË bÎ phân lo§i khác nhau bao gÁm: SVM và m§ng nÏ-ron nhi∑u t¶ng (Multilayer Perceptron - MLP). ¶u vào cıa mÈi bÎphân lo§i này là véc-tÏ ∞c tr˜ng ã ˜Òc tÍng hÒp t¯các ∞c tr˜ng sinh ra sau các mô- un 2.3.2, 2.3.3, 2.3.4, 2.3.5.
SVM: BÎ phân lo§i này ã ˜Òc s˚ dˆng phÍ bi∏n trong các nghiên c˘u v∑
phân lo§i câu h‰i và phân lo§i v´n b£n. SVM nh™n ¶u vào là véc-tÏ ∞c tr˜ng và tr£ v∑ nhãn lÓp cıa mÈi câu h‰i cùng vÓi i∫m sËt˜Ïng t¸ gi˙a câu h‰i mÓi và các câu h‰i trong cQA.
MLP: ∫ s˚ dˆng bÎ phân lo§i MLP, ¶u tiên lu™n án tính toán i∫m sË
t˜Ïng t¸gi˙a câu h‰i mÓi q⇤ và các câu h‰i trong cÏs d˙liªuD nh˜ ˜Òc trình bày trong ph¶n 2.3. Ti∏p theo, các giá tr‡ t˜Ïng t¸này ˜Òc k∏t hÒp thành mÎt véc-tÏ và s˚ dˆng nh˜ là véc-tÏ ¶u vào cıa bÎ phân lo§i MLP. Lu™n án xây d¸ng bÎ phân lo§i MLP bao gÁm 3 t¶ng: 2 t¶ng ©n và 1 t¶ng ¶u ra. T¶ng ©n
¶u vào (sË l˜Òng các giá tr‡ ∞c tr˜ng). T¶ng ©n th˘ 2 có sË nÏ-ron b¨ng 60% sË nÏ-ron cıa t¶ng ©n th˘ nhßt. T¶ng ¶u ra ch˘a 1 nÏ-ron ∫ sinh ra i∫m sË
d¸ oán. BÎphân lo§i MLP s˚dˆng hàm kích ho§t sigmoid ¶u ra ∫ sinh ra các giá tr‡ n¨m trong kho£ng t¯ 0 ∏n 1. Các giá tr‡ này có th∫ dπ dàng và t¸ Îng ˜Òc chuy∫n Íi sang các giá tr‡ lÓp cˆ th∫. CuËi cùng, hàm logarithmic loss (binary cross-entropy) ˜Òc s˚ dˆng trong quá trình hußn luyªn, hàm loss phù hÒp cho các vßn ∑ phân lo§i nh‡ phân. BÎ phân lo§i này cÙng s˚ dˆng thu™t toán tËi ˜u hóa Adam hiªu qu£ cho các phép o gradient. Trong các th¸c nghiªm, bÎ phân lo§i MLP ˜Òc xây d¸ng d¸a trên bÎ th˜viªn Keras3.
2.3.7 X∏p h§ng câu h‰i
Sau khi các câu h‰i ã ˜Òc phân lo§i s˚dˆng bÎphân lo§i nh˜ ã ˜Òc trình bày trong mˆc 2.3.6, hª thËng s≥ th¸c hiªn ti∏p mô- un x∏p h§ng các câu h‰i theo Î liên quan cıa nó vÓi câu h‰i mÓi q⇤. BÎ phân lo§i th¸c hiªn gán nhãn cho các c∞p câu h‰i (q⇤, qi)các nhãn là 1 ho∞c 0. Các giá tr‡ xác sußt th∫ hiªn Î
tin c™y khi mÎt c∞p câu h‰i (q⇤, qi) ˜Òc gán nhãn là 1 s≥ ˜Òc s˚dˆng làm giá tr‡ ∫x∏p h§ng các câu h‰i qi theo Î liên quan cıa nó vÓi câu h‰i mÓi q⇤. T˘c là các câu h‰i trong D ã ˜Òc phân vào lÓp “relevant” s≥ ˜Òc x∏p h§ng t¯cao tÓi thßp theo xác sußt th∫ hiªn giá tr‡ Î tin c™y cıa nó Ëi vÓi câu h‰i q⇤.
2.4 Th¸c nghiªm
2.4.1 T™p d˙ liªu
∫ cài ∞t các th¸c nghiªm, lu™n án s˚ dˆng t™p d˙ liªu cQA cung cßp bi SemEval 2016 task 3 subtask B4. T™p d˙ liªu này ˜Òc trích rút t¯ Qatar Living5, mÎt diπn àn QA mà ó mÂi ng˜Ìi có th∫ g˚i nh˙ng câu h‰i, câu tr£
lÌi v∑ nhi∑u khía c§nh khác nhau. T™p d˙ liªu bao gÁm 337 câu h‰i mÓi, 3369 câu h‰i liên quan cùng vÓi 33690 câu tr£ lÌi cıa nó. T™p d˙ liªu ˜Òc phân chia thành 267 câu h‰i mÓi và 2669 câu h‰i liên quan ˜Òc s˚ dˆng nh˜ là t™p d˙
liªu hußn luyªn, cÙng nh˜70 câu h‰i mÓi và 700 câu h‰i liên quan ˜Òc s˚dˆng nh˜ là t™p d˙ liªu ki∫m tra. MÈi i∫m d˙ liªu là mÎt c∞p câu h‰i (câu h‰i mÓi
3https://github.com/fchollet/keras
4http://alt.qcri.org/semeval2016/task3/index.php?id=data-and-tools 5http://www.qatarliving.com/forum
và câu h‰i liên quan) và mÎt nhãn t˜Ïng t¸, ó là “relevant” ho∞c “irrelevant”. Các th¸c nghiªm c¶n d¸ oán nhãn nh‡ phân trong ó 1 thuÎc v∑ lÓp “relevant”, 0 thuÎc v∑ lÓp “irrelevant” và x∏p h§ng mÎt t™p hÒp các câu h‰i có liên quan theo Î o s¸ giËng nhau cıa chúng Ëi vÓi câu h‰i mÓi. B£ng 2.6 là mÎt ví dˆ
cıa t™p d˙ liªu này. Trên cùng là mÎt câu h‰i mÓi, ti∏p theo là danh sách các c∞p câu h‰i-câu tr£ lÌi có th∫ liên quan ∏n câu h‰i mÓi.
B£ng 2.6: Ví dˆ v∑ t™p d˙ liªu SemEval 2016
Câu h‰i mÓiq⇤
q⇤ What are the tourist places in Qatar? I’m likely to travel in the month of June. Just wanna know some good places to visit.
Các c∞p câu h‰i-câu tr£ lÌi liên quan {qi,{aij}}
q1
Where is the best beach in Qatar? Maybe a silent and romantic bay? Where to go for it?
a11
Try Dukhan beach, last Friday I was bored to death so I drove to there from Doha all by myself, sat on the beach beside a dead fish, and there was a couple making out near me...and that was it the four of us and the sea .... sounds romantic, right?
a12
The best beach is North Eastern part of Qatar. Unfortunately don’t know the name of that area. You turn right just before arriving Madinal Shamal.
q2
Which all places are there for tourists to Qatar? My nephew 18 years on visit.
a21
The Cornish is lovely to walk along in the evening. Buy Doha time out, it’s really useful.
a22 The Museum of Islamic Art is worth a morning. Opens at 10 am.
a23
hi. there are a lot of places in Qatar
you have Dukhan (west), sealine (south) beach, Fuwairit beach and almirah beach before Fuwairit beach (north)
Resort: Sealine, sultan Beach Resort, Algeria (www.alghariyaresorts.com/), Zubara Castle (north)
B£ng 2.7 cung cßp mÎt sË thËng kê v∑ t™p d˙ liªu mà lu™n án s≥ s˚ dˆng trong các th¸c nghiªm d˜Ói ây.
∫ x∏p h§ng các câu h‰i trong cÏ s d˙ liªu liên quan ∏n câu h‰i mÓi, lu™n án s˚dˆng ch˜Ïng trình cài ∞t nh˜ ã ˜Òc cung cßp trong SemEval 2016 task
B£ng 2.7: MÎt sË thËng kê trên t™p d˙ liªu SemEval 2016
D˙ liªu hußn luyªn D˙ liªu ki∫m tra TÍng sË
Câu h‰i mÓi 267 70 337
Các c∞p câu h‰i-câu tr£lÌi trong cQA 2669 - 26690 700-7000 3369-33690
sinh ra sau bÎ phân lo§i (SVM, MLP).
Ti∑n x˚ l˛ d˙ liªu
Trong b˜Óc này, mÈi câu h‰i, câu tr£ lÌi trong t™p d˙ liªu ˜Òc thao tác b¨ng cách áp dˆng các b˜Óc ti∑n x˚l˛. Giai o§n ti∑n x˚l˛ ˜Òc s˚ dˆng trong nghiên c˘u này bao gÁm h¶u h∏t các nhiªm vˆ ti∑n x˚ l˛ ˜Òc s˚ dˆng trong NLP [51], ó là: tách t¯(phân tích các câu h‰i, câu tr£lÌi thành các t¯, cˆm t¯
ho∞c k˛ hiªu, các t¯tË); g≠n th¥ t¯ lo§i (gán th¥ t¯lo§i cho mÈi t¯ho∞c t¯ tË, chØng h§n nh˜ danh t¯, Îng t¯, tính t¯, vv); stemming (là quá trình ∫ gi£m ho∞c bi∏n Íi các t¯ ã chuy∫n sang d§ng khác v∑ các t¯ cÏ s ho∞c t¯ gËc, ví dˆ chuy∫n Íi các t¯ “flew” và “flying” v∑ t¯ gËc “fly”); chuy∫n Íi v∑ d§ng ch˙
th˜Ìng.
2.4.2 Cài ∞t th¸c nghiªm
∫ bi∫u diπn các t¯ d˜Ói d§ng các véc-tÏ s˚ dˆng mô hình word2vec, lu™n án s˚ dˆng các véc-tÏ ˜Òc hußn luyªn tr˜Óc trên mÎt ph¶n cıa t™p d˙ liªu Google Tin t˘c (kho£ng 100 t t¯). Mô hình ch˘a các véc-tÏ 300 chi∑u cho 3 triªu t¯ và cˆm t¯. Các véc-tÏ này ˜Òc l˜u tr˙ và có sÆn t§i GoogleNews- vectors-negative300.bin.gz6.
BÎ phân lo§i SVM s˚ dˆng trong các th¸c nghiªm d˜Ói ây là SVMlin ˜Òc công bËbi Vikas Sindhwani. ây là gói ph¶n m∑m dành cho bài toán phân lÓp mÎt sË lÓn các m®u d˙ liªu và các ∞c tr˜ng. Là ch˜Ïng trình ph¶n m∑m ˜Òc vi∏t trên ngôn ng˙C++ (h¶u h∏t ˜Òc vi∏t trên C). Ng˜Ìi dùng có th∫t£i phiên b£n cıa SVMlin t§i ‡a chø: http://vikas.sindhwani.org/svmlin.html. Trong các th¸c nghiªm, bÎ phân lo§i SVM ˜Òc cài ∞t s˚ dˆng hàm nhân RBF (Radial Basis Function - hàm cÏ s xuyên tâm). ∫ có ˜Òc k∏t qu£ cao nhßt, các th¸c nghiªm cÙng i∑u chønh tham sË gamma ( ) cıa hàm nhân RBF và h¨ng sË C (tham sË ph§t) d¸a trên viªc ki∫m tra chéo t¯ t™p d˙ liªu hußn luyªn. BÎtham
sË tËi ˜u tìm ˜Òc là = 0,01 và C = 100.
BÎphân lo§i MLP gÁm có t¶ng ¶u vào là mÎt véc-tÏ các giá tr‡ ∞c tr˜ng ã
˜Òc trích rút nh˜ trong ph¶n 2.3 (không s˚ dˆng các véc-tÏ n-gram t¯). T¶ng
©n th˘ nhßt có sË nÏ-ron là 40 (b¨ng vÓi kích th˜Óc cıa véc-tÏ ¶u vào), t¶ng này s˚ dˆng hàm kích ho§t ReLU và tø lª b‰ hÂc (dropout rate) là 0,2. T¶ng
©n th˘ hai có sË nÏ-ron là 24 t¶ng này s˚ dˆng hàm kích ho§t ReLU và tø lª
b‰ hÂc (dropout rate) là 0,2. T¶ng ¶u ra ch˘a 1 nÏ-ron ∫ sinh ra i∫m sË d¸
oán, t¶ng này s˚ dˆng hàm kích ho§t sigmoid ¶u ra ∫ sinh ra các giá tr‡
n¨m trong kho£ng t¯ 0 ∏n 1.
2.4.3 K∏t qu£ th¸c nghiªm
Lu™n án ti∏n hành các th¸c nghiªm vÓi viªc s˚ dˆng các ph˜Ïng pháp khác nhau ∫ bi∫u diπn Ît˜Ïng t¸gi˙a câu h‰i mÓi và các câu h‰i, câu tr£lÌi trong cÏ s d˙ liªu D. Sau khi tính toán ˜Òc Î t˜Ïng t¸, các giá tr‡ này ˜Òc k∏t hÒp vÓi nhau và ˜Òc bi∫u diπn d˜Ói các ‡nh d§ng phù hÒp vÓi các yêu c¶u cıa các bÎ phân lo§i. Các th¸c nghiªm ˜Òc ti∏n hành nh˜ sau:
Th¸c nghiªm 1.
Th¸c nghiªm này nh¨m ki∫m tra hiªu sußt cıa mô hình khi bi∫u diπn Î
t˜Ïng t¸ gi˙a các câu h‰i s˚ dˆng mô hình n-gram. Các c∞p câu h‰i mÓi và câu h‰i trong cÏ s d˙ liªu ˜Òc bi∫u diπn d˜Ói d§ng véc-tÏ cıa các ∞c tr˜ng n-gram, sau ó bÎ phân lo§i SVM ˜Òc s˚ dˆng ∫ phân lo§i các c∞p câu h‰i này và sau ó s˚ dˆng các i∫m sË d¸ oán ∫ x∏p h§ng các câu h‰i qi theo Î
liên quan cıa nó vÓi câu h‰i mÓi. CuËi cùng, k∏t qu£ phân lo§i và x∏p h§ng các câu h‰i trong cÏ s d˙ liªu theo Î liên quan cıa nó vÓi câu h‰i mÓi ˜Òc trình bày trong B£ng 2.8.
B£ng 2.8: Các k∏t qu£ phân lo§i và x∏p h§ng cıa th¸c nghiªm 1
N-gram t¯ Các Î o phân lo§i Các Î o x∏p h§ng
Acc P R F1 MAP AveRec MRR
1-gram (Unigram) 62,43 42,02 33,91 37,53 55,98 76,22 61,85 2-gram (Bigram) 61,43 39,66 30,47 34,47 53,33 72,72 57,07 3-gram (Trigram) 64,29 44,97 32,62 37,81 53,69 73,31 56,49
Th¸c nghiªm này nh¨m ki∫m tra hiªu sußt cıa mô hình khi bi∫u diπn Î
t˜Ïng t¸gi˙a câu h‰i mÓi vÓi các câu h‰i trong cÏ s d˙liªu d¸a trên tính chßt cıa câu h‰i và câu tr£ lÌi. Trong th¸c nghiªm này, lu™n án s˚ dˆng c£ hai bÎ
phân lo§i SVM và MLP ∫ phân lo§i các câu h‰i qi và sinh ra i∫m sË d¸ oán
∫ x∏p h§ng. Cßu hình cıa MLP ã ˜Òc mô t£ trong ph¶n 2.3.6. Các k∏t qu£
th¸c nghiªm ˜Òc trình bày trong B£ng 2.9 (k∏t qu£s˚ dˆng bÎphân lo§i MLP
˜Òc ∞t trong ngo∞c Ïn).
B£ng 2.9: Các k∏t qu£ phân lo§i và x∏p h§ng cıa th¸c nghiªm 2
Bi∫u diπn Ît˜Ïng t¸d¸a trên
Các Î o phân lo§i Các Î o x∏p h§ng
Acc P R F1 MAP AveRec MRR
Tính chßt cıa câu h‰i (QP) 78,86 (78,29) 68,09 (70,39) 68,67 (66,40) 68,38 (68,33) 76,90 (76,27) 90,66 (90,11) 84,69 (83,15) Tính chßt cıa câu tr£ lÌi (AP) 76,14 (76,00) 63,41 (57,94) 66,95 (65,85) 65,14 (61,64) 74,69 (71,27) 89,55 (88,02) 80,40 (76,75) QP, AP 78,86 (79,14) 67,63 (65,67) 69,96 (69,86) 68,78 (67,70) 77,53 (75,53) 90,86 (90,12) 83,98 (81,57) Th¸c nghiªm 3.
Trong th¸c nghiªm này, lu™n án s˚ dˆng nh˙ng ∞c tr˜ng nh˜ trong th¸c nghiªm 2 nh˜ng bÍ sung thêm các ∞c tr˜ng mÓi d¸a trên mô hình bi∫u diπn véc-tÏ t¯(s˚dˆng công cˆword2vec) ∫ bi∫u diπn câu h‰i và câu tr£lÌi. Nghiên c˘u cÙng th¸c hiªn hai ph˜Ïng pháp khác nhau ∫ xây d¸ng véc-tÏ tÍng hÒp cho các câu h‰i và câu tr£ lÌi t¯ s¸ bi∫u diπn véc-tÏ cıa các t¯ trong câu h‰i, câu tr£ lÌi. K∏t qu£cıa th¸c nghiªm này ˜Òc th∫ hiªn trong B£ng 2.10.
B£ng 2.10: Các k∏t qu£ phân lo§i và x∏p h§ng cıa th¸c nghiªm 3
Bi∫u diπn Ît˜Ïng t¸d¸a trên
Các Î o phân lo§i Các Î o x∏p h§ng
Acc P R F1 MAP AveRec MRR
QP, AP, Bi∫u diπn véc-tÏ t¯(WVR) (Ph˜Ïng pháp 1) 80,71 (80,86) 70,59 (67,38) 72,10 (73,02) 71,34 (70,09) 78,21 (75,91) 92,12 (90,73) 85,64 (81,69) QP, AP, Bi∫u diπn véc-tÏ t¯(WVR) (Ph˜Ïng pháp 2) 81,57 (81,86) 71,49 (69,53) 74,25 (74,31) 72,84 (71,84) 77,64 (77,99) 91,72 (91,68) 84,93 (86,23)
Th¸c nghiªm 4.
Th¸c nghiªm th˘ t˜ muËn ki∫m tra tính hiªu qu£ cıa mô hình khi bÍ sung thêm các ∞c tr˜ng trích rút t¯lo§i câu h‰i. Tr˜Óc tiên mÈi câu h‰i mÓi q⇤ ˜Òc phân lo§i vào mÎt trong nh˙ng lo§i câu h‰i cıa các câu h‰i trong t™p d˙liªu D. Nghiên c˘u gi£ ‡nh r¨ng các câu h‰i trong cùng mÎt lo§i th˜Ìng có Î t˜Ïng t¸ lÓn hÏn các câu h‰i trong các lo§i khác nhau. Ti∏p theo, chúng tôi bi∫u diπn
Î t˜Ïng t¸ gi˙a q⇤ vÓi các câu h‰i trong cÏ s d˙ liªu d¸a trên các lo§i câu h‰i mÓi và các lo§i câu h‰i trong cÏ s d˙ liªu. Các giá tr‡ Î o t˜Ïng t¸ mÓi này ˜Òc k∏t hÒp vÓi các Î o t˜Ïng t¸nh˜ trong th¸c nghiªm 3 và ˜Òc bi∫u diπn d˜Ói d§ng mÎt véc-tÏ ∞c tr˜ng duy nhßt làm ¶u vào cho các bÎ phân lo§i. CuËi cùng th¸c nghiªm này thu ˜Òc các k∏t qu£nh˜ ˜Òc trình bày trong B£ng 2.11.
B£ng 2.11: Các k∏t qu£ phân lo§i và x∏p h§ng cıa th¸c nghiªm 4
Bi∫u diπn Î t˜Ïng t¸d¸a trên
Các Î o phân lo§i Các Î o x∏p h§ng
Acc P R F1 MAP AveRec MRR
QP, AP, WVR (Ph˜Ïng pháp 1), lo§i câu h‰i(QC) 80,86 (81,57) 72,20 (69,10) 69,10 (73,85) 70,61 (71,40) 78,27 (76,45) 92,14 (91,08) 85,64 (84,37) QP, AP, WVR (Ph˜Ïng pháp 2), lo§i câu h‰i(QC) 81,86 (82,29) 73,25 (70,39) 71,67 (74,89) 72,45 (72,57) 77,75 (78,35) 91,81 (91,93) 85,64 (86,23) 2.4.4 ánh giá các k∏t qu£ th¸c nghiªm
T¯các k∏t qu£cıa th¸c nghiªm 1 có th∫ nh™n thßy khi chø s˚dˆng mô hình n-gram ∫ bi∫u diπn mËi quan hª gi˙a câu h‰i mÓi vÓi các câu h‰iqi cho k∏t qu£
phân lo§i và x∏p h§ng không cao. Th¸c nghiªm này chø §t k∏t qu£cao nhßt vÓi các Î o Accuracy và M AP l¶n l˜Òt là 64,29% và 55,98%. T¯ ó có th∫ thßy chø d¸a trên mô hình n-gram ch˜a bi∫u diπn ˜Òc ¶y ı Î t˜Ïng t¸ gi˙a các câu h‰i. Trong th¸c nghiªm 2, s˚ dˆng s¸ bi∫u diπn d¸a trên tính chßt cıa các câu h‰i và câu tr£ lÌi nh˜ danh t¯, Îng t¯, tính t¯, tên th¸c th∫, chÁng chéo n-gram t¯, vv. Các k∏t qu£ phân lo§i và x∏p h§ng ˜Òc th∫ hiªn trong B£ng 2.10 cho thßy mô hình bi∫u diπn này cıa câu h‰i và câu tr£lÌi cho k∏t qu£ phân lo§i và x∏p h§ng cao hÏn khi chø s˚ dˆng mô hình bi∫u diπn n-gram t¯. Th¸c nghiªm này ã s˚ dˆng c£hai bÎ phân lo§i SVM và MLP. Th¸c nghiªm ã §t
˜Òc k∏t qu£ phân lo§i và x∏p h§ng cao vÓi các Î o Accuracy t´ng 14,85% và
M AP t´ng 21,55% so vÓi khi chø s˚dˆng mô hình bi∫u diπn n-gram.
Trong th¸c nghiªm 3, ã s˚dˆng thêm s¸bi∫u diπn véc-tÏ t¯cıa c£ câu h‰i và câu tr£lÌi. Trong cách bi∫u diπn này, lu™n án s˚dˆng hai ph˜Ïng pháp khác nhau ∫ xây d¸ng véc-tÏ câu h‰i, véc-tÏ câu tr£ lÌi t¯ s¸ bi∫u diπn véc-tÏ t¯. K∏t qu£ th¸c nghiªm này cho thßy r¨ng cách xây d¸ng các véc-tÏ tÍng hÒp cho các câu h‰i, câu tr£lÌi s˚dˆng ph˜Ïng pháp 2 cho các k∏t qu£phân lo§i và x∏p h§ng cao hÏn ph˜Ïng pháp 1. Áng thÌi các k∏t qu£cıa th¸c nghiªm này cÙng t´ng lên áng k∫ so vÓi khi chø s˚ dˆng s¸bi∫u diπn d¸a trên tính chßt cıa câu h‰i và câu tr£ lÌi nh˜ trong th¸c nghiªm 2. Các Î o Accuracy và M AP t´ng l¶n l˜Òt là 2,71% và 0,46%.
Th¸c nghiªm 4 cÙng th¸c hiªn nh˜ trong th¸c nghiªm 3 nh˜ng có bÍ sung thêm s¸ bi∫u diπn Î t˜Ïng t¸ gi˙a câu h‰i mÓi vÓi các câu h‰i qi d¸a trên lo§i