4.3 Các ph˜Ïng pháp ti∏p c™n và ∑ xußt
4.4.4 So sánh vÓi các k∏t qu£ nghiên c˘u khác
Lu™n án cÙng th¸c hiªn so sánh các k∏t qu£trong ch˜Ïng này vÓi các k∏t qu£
cıa các mô hình khác trong cùng nhiªm vˆ và các Î o ánh giá. Các k∏t qu£
so sánh trên t™p d˙ liªu SemEval 2016 ˜Òc th∫ hiªn nh˜ trong B£ng 4.13. T¯b£ng so sánh 4.13 cho thßy mô hình ∑ xußt trong ch˜Ïng này cho k∏t qu£
cao nhßt trong c£ Î o phân lo§i (Accuracy) và x∏p h§ng (M AP) so vÓi nhi∑u nghiên c˘u tr˜Óc ó. Trong [38] các tác gi£ ã nghiên c˘u ∑xußt s˚dˆng ba bÎ
B£ng 4.13: So sánh vÓi các nghiên c˘u khác trên t™p d˙ liªu SemEval 2016
Nghiên c˘u cıa các tác gi£ Các Î o phân lo§i Các Î o x∏p h§ng
Acc P R F1 MAP AvgRec MRR
Hoogeveen và các cÎng s¸ [38] 74,57 63,96 54,08 58,60 70,20 86,21 78,58 Mohtarami và các cÎng s¸[69] 79,43 76,33 55,36 64,18 75,55 90,65 84,64 Gonzalez và các cÎng s¸[28] 79,30 77,61 90,33 84,29 Kunneman và các cÎng s¸[56] 68,34 76,70 Mô hình trong lu™n án (CNN) 82,86 72,10 75,34 73,68 78,38 92,01 86,23 Mô hình trong lu™n án (BLSTM) 83,57 71,67 77,31 74,39 78,48 92,10 86,35
phân lo§i ∫ x∏p h§ng các câu h‰i. N∏u có ít nhßt 2 trong sË3 bÎphân lo§i cho k∏t qu£là “related” thì câu h‰i mÓi ˜Òc là xem xét t˜Ïng t¸nh˜ câu h‰i trong cÏ s d˙ liªu. Trong [69], các tác gi£ ã nghiên c˘u xây d¸ng các mô hình d¸a trên RCNN, CNN, LSTM, mô hình k∏t hÒp c£bag-of-vectors (BOV), LSTM và RCNN. Tuy nhiên các mô hình này s˚ dˆng các RCNN, CNN hay LSTM cho riêng t¯ng câu h‰i mÓi và câu h‰i liên quan. T˘c là các câu h‰i mÓi và câu h‰i liên quan có các tham sËm§ng khác nhau. Mô hình chø s˚dˆng mÎt lo§i bÎlÂc vÓi kích th˜Óc bÎ lÂc là 5. Trong [28], các tác gi£ xây d¸ng mô hình d¸a trên bÎ phân lo§i MLP, trong ó các ∞c tr˜ng o Ît˜Ïng t¸ gi˙a các câu h‰i d¸a trên các Î o cosine, manhattan, bhattacharya và euclidean. Nghiên c˘u [56] phân tích tác Îng cıa các b˜Óc ti∑n x˚ l˛ (chuy∫n thành ch˙vi∏t th˜Ìng, lo§i b‰ dßu chßm câu, lo§i b‰ t¯ d¯ng) và s¸ t˜Ïng Áng v∑ nghæa cıa t¯ d¸a trên: xác sußt d‡ch t¯, Word2Vec, fastText, ELMo ∫ tìm ki∏m và x∏p h§ng các câu h‰i t˜Ïng t¸trên t™p d˙liªu SemEval 2016. Mô hình ∑ xußt trong ch˜Ïng này s˚ dˆng chung CNN, LSTM cho c£ hai câu h‰i, t˘c là chúng chia s¥ cùng mÎt thông sËm§ng. Áng thÌi mô hình hÂc sâu cÙng s˚dˆng các bÎlÂc vÓi các kích th˜Óc khác nhau (3, 4, 5). ∞c biªt mô hình ∑ xußt ã tích hÒp nhi∑u nguÁn tri th˘c trích rút t¯ thông tin ngoài các câu h‰i (nh˜ thông tin trong các câu tr£lÌi, thông tin v∑ lo§i câu h‰i, vv).
Các k∏t qu£ so sánh trên t™p d˙ liªu Quora ˜Òc th∫ hiªn nh˜ trong B£ng 4.14.
Trong bài báo [106], các tác gi£ ã xây d¸ng các mô hình khác nhau cho viªc ánh giá Î t˜Ïng t¸ gi˙a hai câu h‰i trong Quora. K∏t qu£ cho thßy mô hình d¸a trên XLNet cho k∏t qu£cao hÏn so vÓi các mô hình khác. Trong [105],
B£ng 4.14: So sánh vÓi các nghiên c˘u khác trên t™p d˙liªu Quora
Nghiên c˘u cıa tác gi£ Acc
Rong Zhang và các cÎng s¸(BERT+BLSTM) [105] 89,79 Zhilin Yang và các cÎng s¸ (XLNet) [106] 92,30
Yoan Dimitrov và các cÎng s¸[17] 87,22 Ansari và cÎng s¸[4] 85,82 Elkhan Dadashov và cÎng s¸ [20] 83,80 Mô hình trong lu™n án (CNN) 87,54
Mô hình trong lu™n án (BLSTM) 87,79
Mô hình trong lu™n án (BERT) 89,06
các tác gi£ xây d¸ng mô hình d¸a trên BERT k∏t hÒp vÓi BLSTM vÓi t™p d˙
liªu th¸c nghiªm là Quora giËng nh˜ trong lu™n án này. K∏t qu£ §t ˜Òc cıa mô hình này là 89,79%, tËt hÏn 0,73% so vÓi mô hình trong lu™n án (89,06%). Trong bài báo [17], tác gi£ ã xây d¸ng mô hình k∏t hÒp gi˙a s¸bi∫u diπn véc-tÏ
t¯ vÓi CNN ∫ xác ‡nh các câu h‰i giËng nhau trong Quora. Ëi vÓi viªc bi∫u diπn véc-tÏ t¯, nghiên c˘u s˚dˆng nhi∑u mô hình khác nhau bao gÁm word2vec, fasttext và doc2vec. K∏t qu£ th¸c nghiªm cho thßy mô hình d¸a trên word2vec
§t ˜Òc k∏t qu£ cao nhßt là 87,22%. Nghiên c˘u cıa Wang và các cÎng s¸[89] cÙng xây d¸ng các mô hình d¸a trên BERT ∫ ánh giá Î t˜Ïng t¸ gi˙a các câu h‰i trong t™p d˙ liªu Quora (khác vÓi t™p d˙ liªu ˜Òc s˚ dˆng trong lu™n án này). Các mô hình xây d¸ng gÁm mô hình d¸a trên BERT, mô hình BERT + CNN. Các k∏t qu£th¸c nghiªm cho thßy mô hình BERT §t Îchính xác (Acc) 95,9% cao hÏn so vÓi mô hình BERT + CNN ( §t Îchính xác 95,8%). Nghiên c˘u k∏t lu™n r¨ng các bi∏n th∫ cıa BERT không ho§t Îng tËt nh˜ BERT Îc l™p do mô hình BERT ban ¶u rßt ph˘c t§p và ˜Òc k∏t nËi nÎi bÎ nên viªc thêm các lÓp bÍ sung s≥ làm loãng các ¶u ra ã ˜Òc tinh chønh cıa mô hình. Trong lu™n án này, chúng tôi ã xây d¸ng các mô hình d¸a trên BERT, m∞c dù không §t Îchính xác phân lo§i (Acc) cao nh˜BERT nh˜ng các mô hình tích hÒp thêm tri th˘c ã cho thßy s¸ c£i thiªn áng k∫ v∑ Î o F1 trong các th¸c nghiªm B£ng 4.12. Do cßu hình cıa máy tính làm các th¸c nghiªm, trong mô hình xây d¸ng, lu™n án chø giÓi h§n Îdài cıa chuÈi ¶u vào (câu h‰i) là 20 và s˚ dˆng BERT-Base. ∫ nâng cao hiªu sußt cıa mô hình c¶n nâng cao Î dài