Nghiên cứu một số bài toán trong hỏi đáp cộng đồng

BáGI ODệCV OT O TRìNG I HC B CH KHOA H NáI H TH THANH NGHI N CU MáT Să B I TO N TRONG H˜I LU N N TI N S H H P CáNG NG THăNG THNG TIN NáI 2021 BáGI ODệCV OT O TRìNG I HC B CH KHOA H N¸I H THÀ THANH NGHI N CÙU MáT Să B I TO N TRONG HI P CáNG ˙NG Ng nh: H» thŁng thỉng tin M¢ sŁ: 9480104 LU N N TI N S H T P TH THăNG THNG TIN HìNG D N KHOA HC: PGS.TS NGUY N THÀ KIM ANH TS NGUY N KI M HI U H N¸I 2021 L˝I CAM OAN Tỉi xin cam oan c¡c k‚t qu£ tr…nh b y lun Ăn l cổng trnh nghiản cứu ca bÊn thƠn nghi¶n cøu sinh thíi gian håc t“p v nghi¶n cứu ti i hồc BĂch khoa H Ni dữợi sỹ hữợng dÔn ca th hữợng dÔn khoa hồc CĂc sŁ li»u, k‚t qu£ tr…nh b y lu“n ¡n l ho n to n trung thüc C¡c k‚t qu£ sò dửng tham khÊo ãu  ữổc trch dÔn y ı v theo óng quy ành H Nºi, ng y thĂng nôm 2021 Nghiản cứu sinh H Th Thanh T P TH HײNG D N KHOA H¯C PGS.TS Nguy„n Thà Kim Anh TS Nguy„n Ki¶m Hi‚u L˝IC MÌN Trong qu¡ tr…nh nghi¶n cøu v ho n th nh lu“n ¡n n y, nghiản cứu sinh  nhn ữổc rĐt nhiãu sỹ giúp ù v õng gõp quỵ bĂu u tiản, nghiản cứu sinh xin ữổc b y tọ lặng bit ỡn sƠu sc tợi th hữợng dÔn: PGS.TS Nguyn Thà Kim Anh v TS Nguy„n Ki¶m Hi‚u C¡c thƒy cổ luổn luổn tn tnh hữợng dÔn, ch bÊo, giúp ï v ºng vi¶n nghi¶n cøu sinh suŁt qu¡ trnh nghiản cứu Nghiản cứu sinh xin chƠn th nh c£m ìn c¡c thƒy cỉ Bº mỉn H» thŁng thỉng tin v PhỈng th‰ nghi»m Khoa håc dœ li»u, Viằn Cổng nghằ thổng tin v truyãn thổng - Trữớng ⁄i håc B¡ch khoa H Nºi, nìi nghi¶n cøu sinh hồc  to iãu kiằn cho nghiản cứu sinh câ th” tham gia nghi¶n cøu suŁt thíi gian håc t“p Trong thíi gian n y, nghi¶n cøu sinh  nhn ữổc rĐt nhiãu kin thức v kinh nghiằm tł c¡c thƒy cỉ v c¡c b⁄n sinh vi¶n lab v °c bi»t l nhâm nghi¶n cøu Nghi¶n cứu sinh xin chƠn th nh cÊm ỡn Phặng o to - Trữớng i hồc BĂch Khoa H Ni  to iãu kiằn nghiản cứu sinh cõ th ho n th nh c¡c thı töc b£o v» lu“n ¡n tin sắ Nghiản cứu sinh cÊm ỡn trữớng H CNTT&TT ThĂi Nguyản - nỡi NCS ang l m viằc,  t⁄o i•u ki»n v• thíi gian v hØ trỉ håc ph‰ cho nghi¶n cøu sinh tham gia håc t“p v nghiản cứu ti trữớng H BĂch Khoa H Ni Nghiản cøu sinh xin c£m ìn ch÷ìng tr…nh 911 v Cỉng ty TNHH ƒu t÷ v Ph¡t tri”n ỉ Gia L¥m thuºc T“p o n Vingroup v hØ trỉ bði Q Œi mỵi s¡ng t⁄o Vingroup (VINIF) Dü ¡n m¢ sŁ VINIF.2019.DA18 ¢ t i trỉ cho NCS thíi gian nghi¶n cøu v thüc hi»n lu“n ¡n CuŁi cũng, nghiản cứu sinh xin gòi lới cÊm ỡn sƠu sc tợi gia nh, bn b ỗng nghiằp  luổn ºng vi¶n, gióp ï nghi¶n cøu sinh, gióp nghi¶n cøu sinh yản tƠm nghiản cứu v vữổt qua khõ khôn ” ho n th nh lu“n ¡n M—U Bi cÊnh nghiản cứu Nhu cu t cƠu họi v tm kim cƠu trÊ lới ca ngữới dũng h ng ng y l rĐt lợn Nguỗn thổng tin lợn nhĐt hi»n l thỉng tin t…m ki‚m tr¶n m⁄ng thỉng qua c¡c trang web Trong â h» thŁng häi ¡p cng ỗng (Community Question Answering - CQA) l mt nhœng h» thŁng hi»u qu£ v phŒ bi‚n vi»c tm kim thng tin trản web Mt ngữới dũng mun cõ cƠu trÊ lới hồ phÊi ông cƠu họi lản h» thŁng v chí c¡c th nh vi¶n kh¡c tham gia tr£ líi Qua thíi gian, h» thŁng häi ¡p cng ỗng chứa lữổng thổng tin rĐt lợn v hu ‰ch Tł â h» thŁng ph¡t sinh c¡c b i to¡n cƒn gi£i quy‚t gióp cho ng÷íi dịng truy c“p thỉng tin mºt c¡ch thu“n ti»n hìn, rót ng›n thíi gian truy c“p v t…m ki‚m thỉng tin Thø nh§t, hằ thng họi Ăp cng ỗng, mt cƠu họi ữổc ữa lản hằ thng, nu cƠu họi thú v v ữổc nhiãu ngữới quan tƠm th cƠu họi õ s nhn ữổc rĐt nhiãu cƠu trÊ lới Thm ch cõ nhng cƠu họi cõ n h ng trôm cƠu trÊ lới Bản cnh thun lổi l ngữới họi s nhn ữổc nhiãu phÊn hỗi vã cƠu họi ca mnh th iãu n y cụng cõ bĐt lổi õ l ng÷íi häi cơng nh÷ nhœng ng÷íi dịng kh¡c quan tƠm tợi cƠu họi phÊi mĐt khĂ nhiãu thới gian ồc qua tĐt cÊ cĂc cƠu trÊ lới v chồn cho mnh cƠu trÊ lới tt nhĐt V vy, h» thŁng CQA cơng cƒn câ cỉng cư hØ trỉ ng÷íi dịng gióp ng÷íi dịng câ th” lüa chån cĂc cƠu trÊ lới úng nhĐt vợi thới gian nhanh nhĐt V vy, b i toĂn lỹa chồn cƠu trÊ lới ữổc t giÊi quyt vĐn ã n y Thứ hai, theo thng kả th cõ t nhĐt 78% cƠu trÊ lới tt nhĐt ca cƠu họi ữổc sò dửng li cƠu họi tữỡng tỹ ữổc họi l⁄i Trong sŁ â ch¿ câ 48% c¥u häi l cõ nhĐt mt cƠu trÊ lới tt nhĐt, cặn li s õ cõ chứa nhiãu cƠu trÊ lới liản quan hoc nhng cƠu trÊ lới khổng y [8] Nguyản nhƠn ca viằc cƠu trÊ lới khổng y cõ th cƠu họi chứa nhiãu ỵ họi Hỡn na mỉi ngữới dũng cõ tri thức vã tng l¾nh vüc kh¡c nhau, c¡ch ti‚p c“n v quan i”m khĂc dÔn tợi cƠu trÊ lới khĂc Ngữới häi ph£i m§t thíi gian åc v tŒng hỉp c¡c ỵ kin thu ữổc cƠu trÊ lới chứa y ı chøa c¡c thæng tin m…nh cƒn Mºt c¡ch ti‚p cn hiằu quÊ õ l kt hổp nhiãu cƠu trÊ líi ” sinh mºt o⁄n tâm t›t gióp t⁄o c¥u tr£ líi ho n ch¿nh Thø ba, mt cƠu họi ữổc ông lản hằ thng họi Ăp cng ỗng th khổng phÊi cƠu họi n o cụng nhn ữổc cƠu trÊ lới t cng ỗng Cõ cƠu họi ông lản hằ thng sau v i giớ cõ th nhn ữổc cƠu trÊ lới cõ nhng cƠu họi phÊi mĐt v i ng y ” kh›c phöc t…nh tr⁄ng ch“m tr„ n y, b i toĂn tm cƠu họi tữỡng ỗng kho d liằu ữổc t cõ th giÊi quyt vĐn ã n y Ngữới dũng hi vồng rng nhng cƠu trÊ lới ca cĂc cƠu họi tữỡng ỗng cõ th l cƠu trÊ lới ca cƠu họi mợi Hỡn na, v d liằu ữổc tch lụy qua nhiãu nôm s rĐt lợn nản khÊ nông ngữới dũng họi li nhng cƠu họi trữợc õ l rĐt cao Do vy, b i toĂn tm cƠu họi tữỡng ỗng c ng tr lản cõ ỵ nghắa giÊi quyt cĂc vĐn ã trản, rĐt nhiãu nghiản cứu  ữổc ã xuĐt Khi giÊi quy‚t nhœng b i to¡n n y, c¡c nh nghi¶n cứu phn lợn giÊi quyt thĂch thức lợn nhĐt õ l kho£ng c¡ch tł vüng (lexical gap) giœa c¥u häi vợi cƠu họi, gia cƠu họi vợi cƠu trÊ lới CĂc nghiản cứu trung v o hữợng: khai thĂc c trững t vỹng, c trững kắ thut vã cú phĂp v ng nghắa ca cƠu Thới gian gn Ơy cĂc nghiản cứu trung v o ã xuĐt mổ hnh mng nỡ ron hồc sƠu vợi kin trúc Siamese, mỉ h…nh düa tr¶n so s¡nh tŒng hỉp (compare-aggregate) ‚n cĂc mổ hnh dỹa trản cỡ ch ỵ (attention) B¶n c⁄nh â c¡c mỉ h…nh düa v o c¡c mỉ h…nh ngỉn ngœ v c¡c mỉ h…nh ri¶ng bi»t cho hằ thng họi Ăp cụng ữổc ã xuĐt TĐt cÊ cĂc nghiản cứu n y ãu vợi mửc ch hồc ữổc ng nghắa v mi quan hằ gia cƠu họi vợi cƠu họi v cƠu họi vợi cƠu trÊ lới ữa dỹ oĂn tt nhĐt ºng lüc thóc 'y Tł bŁi c£nh tr¶n, ba b i to¡n: b i to¡n t…m c¥u tr£ líi tŁt nhĐt, b i toĂn tõm tt cƠu trÊ lới v b i toĂn tm cƠu họi tữỡng ỗng l cĂc b i to¡n r§t quan trång h» thŁng häi Ăp cng ỗng Viằc cÊi thiằn chĐt lữổng dỹ oĂn ca ba b i toĂn tữỡng ứng vợi viằc phĂt trin chức nông hỉ trổ ngữới dũng, giúp ngữới dũng cÊm thĐy tiằn lổi nhĐt sò dửng hằ thng họi Ăp cng ỗng Nhn thức ữổc iãu n y, lu“n ¡n t“p trung v o vi»c nghi¶n cøu c¡c b i toĂn hằ thng họi Ăp cng ỗng Mc dũ cõ rĐt nhiãu nghiản cứu trản cĂc b i to¡n NLP cơng nh÷ c¡c b i to¡n cıa hằ thng họi Ăp cng ỗng v ã xuĐt ữổc rĐt nhiãu giÊi phĂp cÊi tin nƠng cao hiằu suĐt v chnh xĂc ca mổ hnh vÔn cặn khoÊng cĂch rĐt lợn gia hiằu quÊ thỹc t ca mổ hnh t ữổc vợi mong mun ca ngữới dũng D liằu trản hằ thng họi Ăp cng ỗng vÔn cõ rĐt nhiãu thĂch thức Mt nhng thĂch thức õ l d liằu vôn bÊn trản cĂc mng x hi D liằu n y thữớng nhiãu nhiu, cƠu dng vôn nõi, nhiãu t vit sai chnh tÊ, vi‚t t›t Hìn nœa, câ nhœng c¥u tr£ líi ho°c cƠu họi chứa nhiãu ni dung khổng liản quan Lỵ n y l m cho thĂch thức vã khoÊng cĂch t vỹng gia cƠu họi vợi cƠu họi v cƠu họi vợi cƠu trÊ lới c ng khõ v phức Mt lỵ khĂc, cĂc nghiản cứu vã cĂc b i toĂn họi Ăp cng ỗng phn lợn ữổc thỹc hiằn trản d liằu ting Anh Nghiản cứu vã hằ thng họi Ăp cng ỗng trản dœ li»u ti‚ng Vi»t cỈn h⁄n ch‚, °c bi»t l trản cĂc miãn d liằu cử th CĂc nghiản cứu cụng ch rng l m viằc trản miãn dœ li»u cư th” gióp cho mỉ h…nh håc tŁt hỡn l m viằc trản d liằu mang nhiãu ch ã chung chung Cui cũng, cĂc nghiản cứu phn lợn trung v o cÊi thiằn hiằu nông vã chnh xĂc ca mổ hnh m chữa ỵ nhiãu vã thới gian Cử th õ l yảu cu vã thới gian phÊn hỗi cƠu họi mợi ữổc ông lản Ơy cụng l yảu cu cn thit ca cĂc hằ thng phn mãm thọa mÂn yảu cu ca ngữới dũng mt cĂch tt nhĐt v thun tiằn nhĐt Mửc tiảu v phm vi nghiản cứu Mửc ti¶u ch‰nh cıa lu“n ¡n l gi£i quy‚t c¡c th¡ch thức trản qua viằc ã xuĐt cĂc mổ hnh hồc sƠu kt hổp vợi cỡ ch ỵ ữổc ã xu§t cho mºt sŁ to¡n h» thŁng CQA gióp n¥ng cao hi»u qu£ cıa c¡c mỉ h…nh dü o¡n C¡c mỉ h…nh håc s¥u l mỉ h…nh end-to-end m tł dœ li»u thæ ƒu v o i qua c¡c cĂc lợp 'n mng nỡ ron v ữa k‚t qu£ ƒu Trong mæ h…nh n y, vi»c hồc c trững ng nghắa ca vôn bÊn v lợp d oĂn ữổc tch hổp v hồc mt cĂch ỗng thíi thay v… thüc hi»n mºt c¡ch tuƒn tü C¡c mổ hnh n y  ữổc chứng minh phũ hổp vợi d liằu cng ỗng cĂc b i toĂn häi cıa h» thŁng häi ¡p CQA Qua vi»c ph¥n tch kin trúc ca hằ thng họi Ăp cng ỗng, nhiãu b i toĂn  ữổc t t nhữ b i toĂn Ănh giĂ chĐt lữổng cƠu trÊ lới, b i toĂn tm cƠu họi tữỡng ỗng, b i to¡n t…m c¥u tr£ líi cho c¥u häi mợi, b i toĂn tm chuyản gia Tuy nhiản d liằu khổng y v thng nhĐt cho nản phm vi nghiản cứu chnh ca ã t i trung v o ba b i to¡n: b i to¡n lüa chån c¥u tr£ líi óng, b i to¡n tâm t›t c¥u tr£ líi v b i to¡n t…m c¥u họi tữỡng ỗng CĂc thổng tin liản quan tợi ngữới dũng chuyản gia khổng ữổc giÊi quyt lun Ăn CĂc mổ hnh ã xuĐt v cĂc thò nghiằm minh hồa cho cĂc nghiản cứu ca ã t i ữổc tin h nh trản cĂc mổ hnh hồc sƠu v kt hổp vợi cỡ ch ỵ Kt quÊ t ÷æc cıa lu“n ¡n gâp phƒn gi£i v o vi»c ph¥n t‰ch tŒng th” c¡c mỉ h…nh håc s¥u øng döng v o c¡c b i to¡n cıa h» thŁng CQA CĂc mửc tiảu ữổc th hiằn cử th qua cĂc õng gõp dữợi Ơy CĂc õng gõp ch‰nh cıa lu“n ¡n ” thüc hi»n mưc ti¶u tr¶n cıa • t i, lu“n ¡n t“p trung v o cĂc ã xuĐt sau Ơy: Thứ nhĐt, lun Ăn  ã xuĐt mổ hnh match-LSTM kt hổp vợi cỡ ch ỵ cõ giĂm sĂt (supervised attention) giúp mổ hnh hồc trồng s ỵ tt hỡn t õ gióp cho mỉ h…nh dü o¡n tŁt hìn Thüc nghi»m chứng minh rng mổ hnh ã xuĐt giúp xĂc nh c¡c nºi dung quan trång cıa c¥u häi v c¥u trÊ lới Qua õ, cĂc phn khổng liản quan tợi nºi dung ch ‰nh (phƒn d÷ thła) cơng ÷ỉc mỉ hnh phĂt hiằn T õ, mổ hnh ã xuĐt giúp cho qu¡ tr…nh dü o¡n c¥u tr£ líi tŁt hìn so vợi mổ hnh gc ban u ã ã õng gâp thø hai l ÷a mºt ph÷ìng ph¡p tâm t›t c¥u tr£ líi cıa c¡c c¥u häi non-factoid Cư th, mổ hnh hồc khổng giĂm sĂt LSTM-AE ữổc ã xuĐt hồc biu din ca cƠu m khổng cƒn dœ li»u câ nh¢n Mỉ h…nh n y khai thĂc ng nghắa v cú phĂp ca cƠu thổng qua trt tỹ t cƠu Mổ hnh ã xuĐt cho chĐt lữổng tõm tt tt tữỡng ữỡng vợi phữỡng phĂp håc bi”u di„n câ gi¡m s¡t v th“m ch‰ cho chĐt lữổng tt hỡn trản mt s o m khổng mĐt cổng gĂn nhÂn d liằu Thut toĂn MMR ữổc sò dửng trch rút cĂc cƠu tõm tt gi£i quy‚t th¡ch thøc v• sü a d⁄ng v trịng l°p dœ li»u tâm t›t Thø ba, mæ h…nh BERT ữổc sò dửng cho b i toĂn tm kim cƠu họi tữỡng ỗng trản d liằu ting Viằt giúp cÊi thiằn hiằu nông vã ch nh xĂc ca mổ hnh ỗng thới, mổ hnh SBERT ữổc ã xuĐt sò dửng v o b i toĂn tm cƠu họi tữỡng ỗng giúp giÊm thới gian phÊn hỗi li ngữới dũng vã cĂc cƠu họi tữỡng ỗng cƠu họi mợi ữổc ông lản hằ thng Mổ hnh SBERT giÊi quyt mửc tiảu vã mt thới gian phÊn hỗi ca hằ thng m vÔn Êm bÊo chnh xĂc cao ã CĂc mổ hnh ã xuĐt lun Ăn cõ ữu im hỡn so vợi cĂc mổ hnh  cõ xt trản mt s o nhữ o MAP, MRR ( Łi vỵi b i to¡n t…m ki‚m c¥u tr£ líi v b i to¡n t…m ki‚m c¥u họi tữỡng ỗng), Rouge-N i vợi b i toĂn tõm t›t c¥u tr£ líi Hìn nœa, mỉ h…nh k‚t hỉp ti chữỡng v mổ hnh ã xuĐt ti chữỡng cỈn câ t‰nh gi£i th‰ch tŁt hìn thỉng qua viằc trỹc quan hõa cĂc trồng s ỵ ca tng t cƠu Trản Ơy l cĂc õng gõp cıa lu“n ¡n Lu“n ¡n t“p trung gi£i quy‚t mºt sŁ th¡ch thøc cì b£n cıa c¡c b i to¡n hằ thng họi Ăp cng ỗng qua viằc ã xuĐt cĂc mổ hnh hồc sƠu kt hổp vợi cĂc cỡ ch ỵ CĂc mổ hnh n y ÷ỉc tr…nh b y cư th” c¡c ch÷ìng cıa lu“n ¡n BŁ cưc cıa lu“n ¡n Vỵi c¡c âng gâp cıa lu“n ¡n tr…nh b y ð möc trản, lun Ăn bao gỗm chữỡng vợi b cửc nh÷ sau: Ch÷ìng 1: Ch÷ìng n y tr…nh b y c¡ch kh¡i qu¡t mºt sŁ h» thŁng t… m ki‚m ã thổng tin bao gỗm: hằ thng họi Ăp tỹ ng v hằ thng họi Ăp cng ỗng vợi c¡c th¡ch thøc cì b£n tłng h» thŁng Nºi dung tip theo giợi thiằu vã mt s b i toĂn ca hằ thng họi Ăp cng ỗng ữổc ã c“p ch‰nh lu“n ¡n v c¡c mæ h…nh håc sƠu cỡ bÊn Nhng mổ hnh n y l nãn tÊng ã xuĐt mt s mổ hnh cÊi tin ¡p dưng v o c¡c b i to¡n Ch÷ìng 2: Mổ hnh match-LSTM ữổc ã xuĐt sò dửng cho b i to¡n lüa chån c¥u tr£ líi Thüc nghi»m cho thĐy rng cỡ ch ỵ (attention) theo hữợng tng tł (word-by-word) l m vi»c khỉng hi»u qu£ tr¶n mỉ hnh gc i vợi cp d liằu cƠu họi v cƠu trÊ lới mng x hi V vy, ng nghắa ca t vỹng t tri thức ngo i ữổc tn dửng hữợng dÔn mổ hnh hồc trồng s ỵ ca cp t gia cƠu họi v cƠu trÊ lới Thỹc nghiằm cho thĐy mổ hnh ữổc ã xuĐt  hồc ữổc trồng s ỵ cõ ỵ nghắa hỡn, ỗng thới qua õ giúp cho mỉ h…nh l m vi»c tŁt hìn so vỵi mỉ h…nh gŁc Mỉ h…nh cơng cho k‚t qu£ t÷ìng ÷ìng v tŁt hìn so vỵi k‚t qu£ cıa c¡c ºi øng ƒ tr¶n t“p dœ li»u cıa cuºc thi Semeval 2017 T‰nh hi»u qu£ cıa mỉ h…nh ÷ỉc gi£i th‰ch thỉng qua vi»c trüc quan hâa c¡c trång sŁ chó ỵ hồc ữổc gia tng t ca cƠu họi vợi cĂc t cƠu trÊ lới ã Chữỡng 3: Tip theo ch ã vã vĐn ã xĂc nh chĐt lữổng c¥u tr£ líi, b i to¡n tâm t›t c¡c c¥u trÊ lới ữổc ã xuĐt giÊi quyt lun Ăn Ch÷ìng n y tr…nh b y mºt ph÷ìng ph¡p tâm t›t c¥u tr£ líi cıa c¡c c¥u häi non-factoid h» thŁng CQA Trong â, hai mæ h…nh håc khæng giĂm sĂt AutoEncoder v mổ hnh LSTM-AutoEcoder ữổc ã xuĐt hồc biu din cƠu v sò dửng phữỡng phĂp tõm tt cƠu trÊ lới CĂc biu din cƠu ữổc sò dửng thut toĂn MMR (Maximal Marginal Relevance) ” tâm t›t c¥u tr£ líi theo ki”u tr‰ch rút hữợng truy vĐn Kt quÊ cho thĐy rng phữỡng ph¡p bi”u di„n c¥u khỉng gi¡m s¡t cho k‚t qu£ tữỡng ữỡng v thm ch cặn cao hỡn vợi phữỡng phĂp biu din cõ giĂm sĂt ã Chữỡng 4: Chữỡng n y tr…nh b y c¡ch x¥y düng t“p dœ li»u ti‚ng Vi»t cho b i to¡n t…m ki‚m c¥u họi tữỡng ỗng trản miãn d liằu thữỡng mi iằn • [56] Bromley J., Guyon I., LeCun Y., Sackinger E., and Shah R (1993) Sig-nature verification using a "siamese" time delay neural network NIPS’93, p 737 744 Morgan Kaufmann Publishers Inc., San Francisco, CA, USA [57] Lai T.M., Bui T., and Li S (August 2018) A review on deep learning tech-niques applied to answer selection In Proceedings of the 27th International Conference on Computational Linguistics, pp 2132 2144 Association for Computational Linguistics, Santa Fe, New Mexico, USA [58] He H., Gimpel K., and Lin J (September 2015) Multi-perspective sentence similarity modeling with convolutional neural networks In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Process-ing, pp 1576 1586 Association for Computational Linguistics, Lisbon, Portugal doi:10.18653/v1/D15-1181 [59] Tayyar Madabushi H., Lee M., and Barnden J (August 2018) Integrating question classification and deep learning for improved answer selection In Proceedings of the 27th International Conference on Computational Lin-guistics, pp 3283 3294 Association for Computational Linguistics, Santa Fe, New Mexico, USA [60] Rao J., He H., and Lin J (2016) Noise-contrastive estimation for answer selection with deep neural networks In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, CIKM ’16, p 1913 1916 Association for Computing Machinery, New York, NY, USA ISBN 9781450340731 doi:10.1145/2983323.2983872 [61] Yang L., Ai Q., Guo J., and Croft W.B (2016) Anmm: Ranking short answer texts with attention-based neural matching model In Proceed-ings of the 25th ACM International on Conference on Information and Knowledge Management, CIKM ’16, p 287 296 Association for Com-puting Machinery, New York, NY, USA ISBN 9781450340731 doi: 10.1145/2983323.2983818 [62] Wen J., Ma J., Feng Y., and Zhong M (2018) Hybrid attentive answer selection in cqa with deep users modelling In AAAI [63] Li Y., Du N., Liu C., Xie Y., Fan W., Li Q., Gao J., and Sun H (2017) Re-liable medical diagnosis from crowdsourcing: Discover trustworthy answers from non-experts In Proceedings of the Tenth ACM International Confer-ence on Web Search and Data Mining, WSDM ’17, p 253 261 Association for Computing Machinery, New York, NY, USA ISBN 9781450346757 doi:10.1145/3018661.3018688 105 [64] Yoon S., Shin J., and Jung K (June 2018) Learning to rank questionanswer pairs using hierarchical recurrent encoder with latent topic clustering In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long Papers), pp 1575 1584 Association for Computational Linguistics, New Orleans, Louisiana doi:10.18653/v1/N18-1142 [65] Shen Y., Deng Y., Yang M., Li Y., Du N., Fan W., and Lei K (2018) Knowledge-aware attentive neural network for ranking question answer pairs In The 41st International ACM SIGIR Conference on Research De-velopment in Information Retrieval, SIGIR ’18, p 901 904 Association for Computing Machinery, New York, NY, USA ISBN 9781450356572 doi: 10.1145/3209978.3210081 [66] He H and Lin J (June 2016) Pairwise word interaction modeling with deep neural networks for semantic similarity measurement In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp 937 948 Association for Computational Linguistics, San Diego, California doi: 10.18653/v1/N16-1108 [67] Wang S and Jiang J (2017) A compare-aggregate model for matching text sequences In 5th International Conference on Learning Representa-tions, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings [68] Wang Z., Hamza W., and Florian R (2017) Bilateral multiperspective matching for natural language sentences In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI-17 , pp 4144 4150 doi:10.24963/ijcai.2017/579 [69] Bian W., Li S., Yang Z., Chen G., and Lin Z (2017) A compareaggregate model with dynamic-clip attention for answer selection In Proceedings of the 2017 ACM on Conference on Information and Knowledge Man-agement, CIKM ’17, p 1987 1990 Association for Computing Machinery, New York, NY, USA ISBN 9781450349185 doi:10.1145/3132847.3133089 [70] Shen G., Yang Y., and Deng Z.H (September 2017) Interweighted align-ment network for sentence pair modeling In Proceedings of the 2017 Con-ference on Empirical Methods in Natural Language Processing, pp 1179 1189 Association for Computational Linguistics, Copenhagen, Denmark doi:10.18653/v1/D17-1122 106 [71] Howard J and Ruder S (July 2018) Universal language model fine-tuning for text classification In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp 328 339 Association for Computational Linguistics, Melbourne, Australia doi:10.18653/v1/P18-1031 [72] Wang Z., Mi H., and Ittycheriah A (2017) Sentence similarity learning by lexical decomposition and composition [73] Yang R., Zhang J., Gao X., Ji F., and Chen H (July 2019) Simple and effective text matching with richer alignment features In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp 4699 4709 Association for Computational Linguistics, Florence, Italy doi:10.18653/v1/P19-1465 [74] Rocktaschel T., Grefenstette E., Hermann K.M., Kociskỵ T., and Blunsom P (2016) Reasoning about entailment with neural attention In Y Bengio and Y LeCun, editors, 4th International Conference on Learning Repre-sentations, ICLR 2016, San Juan, Puerto Rico, May 24, 2016, Conference Track Proceedings [75] Wang S and Jiang J (June 2016) Learning natural language inference with LSTM In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Lan-guage Technologies, pp 1442 1451 Association for Computational Lin-guistics, San Diego, California doi:10.18653/v1/N16-1170 [76] Mi H., Wang Z., and Ittycheriah A (November 2016) Supervised atten-tions for neural machine translation In Proceedings of the 2016 Confer-ence on Empirical Methods in Natural Language Processing, pp 2283 2288 Association for Computational Linguistics, Austin, Texas doi: 10.18653/v1/D16-1249 [77] Nguyen M and Nguyen T.H (August 2018) Who is killed by police: Introducing supervised attention for hierarchical LSTMs In Proceedings of the 27th International Conference on Computational Linguistics, pp 2277 2287 Association for Computational Linguistics, Santa Fe, New Mexico, USA [78] Liu L., Utiyama M., Finch A., and Sumita E (December 2016) Neural machine translation with supervised attention In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp 3093 3102 The COLING 2016 Organizing Com-mittee, Osaka, Japan 107 [79] Zou Y., Gui T., Zhang Q., and Huang X (August 2018) A lexicon-based supervised attention model for neural sentiment analysis In Proceedings of the 27th International Conference on Computational Linguistics, pp 868 877 Association for Computational Linguistics, Santa Fe, New Mexico, USA [80] Liu S., Chen Y., Liu K., and Zhao J (July 2017) Exploiting argument information to improve event detection via supervised attention mech-anisms In Proceedings of the 55th Annual Meeting of the Associa-tion for Computational Linguistics (Volume 1: Long Papers), pp 1789 1798 Association for Computational Linguistics, Vancouver, Canada doi: 10.18653/v1/P17-1164 [81] Lample G., Ballesteros M., Subramanian S., Kawakami K., and Dyer C (June 2016) Neural architectures for named entity recognition In Proceed-ings of the 2016 Conference of the North American Chapter of the Associ-ation for Computational Linguistics: Human Language Technologies, pp 260 270 Association for Computational Linguistics, San Diego, California doi:10.18653/v1/N16-1030 [82] Gajendran S., D M., and Sugumaran V (2020) Character level and word level embedding with bidirectional lstm dynamic recurrent neural network for biomedical named entity recognition from literature Jour-nal of Biomedical Informatics, 112:p 103609 ISSN 1532-0464 doi: https://doi.org/10.1016/j.jbi.2020.103609 [83] Filice S., Da San Martino G., and Moschitti A (August 2017) KeLP at SemEval-2017 task 3: Learning pairwise patterns in community question answering In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp 326 333 Association for Computational Linguistics, Vancouver, Canada doi:10.18653/v1/S17-2053 [84] Wu G., Sheng Y., Lan M., and Wu Y (August 2017) ECNU at SemEval-2017 task 3: Using traditional and deep learning methods to address community question answering task In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp 365 369 Association for Computational Linguistics, Vancouver, Canada doi: 10.18653/v1/S17-2060 [85] Chen Q., Zhu X., Ling Z.H., Wei S., Jiang H., and Inkpen D (2017) Enhanced lstm for natural language inference Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) doi:10.18653/v1/p17-1152 108 [86] Wang M (2006) A survey of answer extraction techniques in factoid question answering ravichandran, deepak, abharam ittycheriah, and salim roukos 2003 automatic derivation of surface text patterns for a maximum entropy based question answering system In In Proceedings of the Hu-man Language Technology Conference and North American Chapter of the Association for Computational Linguistics (HLT-NAACL [87] Song H., Ren Z., Liang S., Li P., Ma J., and de Rijke M (2017) Sum-marizing answers in non-factoid community question-answering In Pro-ceedings of the Tenth ACM International Conference on Web Search and Data Mining, WSDM ’17, pp 405 414 ACM, New York, NY, USA ISBN 978-1-4503-4675-7 doi:10.1145/3018661.3018704 [88] Yang W., Xie Y., Lin A., Li X., Tan L., Xiong K., Li M., and Lin J (2019) End-to-end open-domain question answering with bertserini In W Ammar, A Louis, and N Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Demonstrations, pp 72 77 Association for Computational Linguistics doi:10.18653/v1/n19-4013 [89] Li J., Luong T., and Jurafsky D (July 2015) A hierarchical neural autoen-coder for paragraphs and documents In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th In-ternational Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp 1106 1115 Association for Computational Linguistics, Beijing, China doi:10.3115/v1/P15-1107 [90] Hinton G and Salakhutdinov R (2006) Reducing the dimensionality of data with neural networks Science, 313(5786):pp 504 507 [91] Carbonell J and Goldstein J (1998) The use of mmr, diversity-based reranking for reordering documents and producing summaries In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’98, pp 335 336 ACM, New York, NY, USA ISBN 1-58113-015-5 doi:10.1145/290941.291025 [92] Tomasoni M and Huang M (2010) Metadata-aware measures for an-swer summarization in community question answering In Proceedings of the 48th Annual Meeting of the Association for Computational Linguis-tics, ACL ’10, pp 760 769 Association for Computational Linguistics, Stroudsburg, PA, USA 109 [93] Le Q and Mikolov T (22 24 Jun 2014) Distributed representations of sentences and documents In E.P Xing and T Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, volume 32 of Proceedings of Machine Learning Research, pp 1188 1196 PMLR, Bejing, China [94] Gouws S., Bengio Y., and Corrado G (2015) Bilbowa: Fast bilingual distributed representations without word alignments In Proceedings of the 32nd International Conference on Machine Learning [95] Qiu X and Huang X (2015) Convolutional neural tensor network architec-ture for community-based question answering In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI’15, pp 1305 1311 AAAI Press ISBN 978-1-57735-738-4 [96] Severyn A and Moschitti A (2016) Modeling relational information in question-answer pairs with convolutional neural networks CoRR, abs/1604.01178 [97] Yousefiazar M (2015) Query-oriented single-document summarization us-ing unsupervised deep learning In In Proceedings of Australasian Language Technology Association Workshop, p 210 [98] Nallapati R., Xiang B., and Zhou B (2016) Sequence-tosequence rnns for text summarization In Workshop track - ICLR 2016 [99] Rush A.M., Chopra S., and Weston J (September 2015) A neural atten-tion model for abstractive sentence summarization In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp 379 389 Association for Computational Linguistics, Lisbon, Portugal doi:10.18653/v1/D15-1044 [100] Chopra S., Auli M., and Rush A.M (June 2016) Abstractive sentence summarization with attentive recurrent neural networks In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp 93 98 Association for Computational Linguistics, San Diego, California doi: 10.18653/v1/N16-1012 [101] Zhaochun Ren Hongya Song P.L.S.L.J.M and de Rijke M (2016) Us-ing sparse coding for answer summarization in non-factoid community question-answering [102]Kingma D.P and Ba J (2015) Adam: A method for stochastic optimiza-tion In Y Bengio and Y LeCun, editors, 3rd International Conference 110 on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings [103] Lin C.Y (July 2004) ROUGE: A package for automatic evaluation of summaries In Text Summarization Branches Out, pp 74 81 Association for Computational Linguistics, Barcelona, Spain [104] Reimers N and Gurevych I (2019) Sentence-bert: Sentence embeddings using siamese bert-networks CoRR, abs/1908.10084 [105]Zhou G., Chen Y., Zeng D., and Zhao J (2013) Towards faster and better retrieval models for question search In Proceedings of the 22nd ACM International Conference on Information Knowledge Management, CIKM ’13, p 2139 2148 Association for Computing Machinery, New York, NY, USA ISBN 9781450322638 doi:10.1145/2505515.2505550 [106] Zhou G., He T., Zhao J., and Hu P (July 2015) Learning continuous word embedding with metadata for question retrieval in community question answering In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp 250 259 Association for Computational Linguistics, Beijing, China doi:10.3115/ v1/P15-1025 [107] Tay Y., Luu A.T., and Hui S (2017) Enabling efficient question answer retrieval via hyperbolic neural networks ArXiv, abs/1707.07847 [108] Harris Z.S (1954) Distributional structure WORD, 10(2-3):pp 146 162 doi:10.1080/00437956.1954.11659520 [109] Robertson S., Walker S., Jones S., Hancock-Beaulieu M.M., and Gatford M (January 1995) Okapi at trec-3 In Overview of the Third Text RE-trieval Conference (TREC-3) [110]Blei D.M., Ng A.Y., and Jordan M.I (2002) Latent dirichlet allocation In T.G Dietterich, S Becker, and Z Ghahramani, editors, Advances in Neural Information Processing Systems 14 , pp 601 608 MIT Press [111] Ji Z., Xu F., Wang B., and He B (2012) Question-answer topic model for question retrieval in community question answering In Proceedings of the 21st ACM International Conference on Information and Knowledge Management, CIKM ’12, p 2471 2474 Association for Computing Machinery, New York, NY, USA ISBN 9781450311564 doi:10.1145/2396761.2398669 111 [112]Tan M., Xiang B., and Zhou B Lstm-based deep learning models for non-factoid answer selection In Workshop track - ICLR 2016 [113]Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer L., and Stoyanov V (2019) Roberta: A robustly optimized bert pretraining approach [114] Hao Y., Dong L., Wei F., and Xu K (2019) Visualizing and understanding the effectiveness of bert Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) [115]Kiros R., Zhu Y., Salakhutdinov R., Zemel R.S., Torralba A., Urtasun R., and Fidler S (2015) Skip-thought vectors In Proceedings of the 28th Inter-national Conference on Neural Information Processing Systems Volume , NIPS’15, p 3294 3302 MIT Press, Cambridge, MA, USA [116]Conneau A., Kiela D., Schwenk H., Barrault L., and Bordes A (Septem-ber 2017) Supervised learning of universal sentence representations from natural language inference data In Proceedings of the 2017 Confer-ence on Empirical Methods in Natural Language Processing, pp 670 680 Association for Computational Linguistics, Copenhagen, Denmark doi: 10.18653/v1/D17-1070 [117] Cer D., Yang Y., Kong S.y., Hua N., Limtiaco N., St John R., Constant N., Guajardo-Cespedes M., Yuan S., Tar C., Strope B., and Kurzweil R (November 2018) Universal sentence encoder for English In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp 169 174 Association for Computational Linguistics, Brussels, Belgium doi:10.18653/v1/D18-2029 [118]Hill F., Cho K., and Korhonen A (June 2016) Learning distributed representations of sentences from unlabelled data In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp 1367 1377 Association for Computational Linguistics, San Diego, California doi: 10.18653/v1/N16-1162 [119]Yang Y., Yuan S., Cer D., Kong S.y., Constant N., Pilar P., Ge H., Sung Y.H., Strope B., and Kurzweil R (July 2018) Learning semantic textual similarity from conversations In Proceedings of The Third Workshop on Representation Learning for NLP, pp 164 174 Association for Computa-tional Linguistics, Melbourne, Australia doi:10.18653/v1/W18-3022 112 [120] Deng Y., Lam W., Xie Y., Chen D., Li Y., Yang M., and Shen Y Joint learning of answer selection and answer summary generation in community question answering In The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20) [121] Sun J., Moosavi S., Ramnath R., and Parthasarathy S (2013) Question difficulty and expertise estimation in community question answering sites In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp 85 90 [122]Sakata W., Shibata T., Tanaka R., and Kurohashi S (2019) Retrieval us-ing query-question similarity and bert-based query-answer relevance In In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR ’19) [123]Pires T., Schlinger E., and Garrette D (July 2019) How multilingual is multilingual BERT? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp 4996 5001 Association for Computational Linguistics, Florence, Italy doi:10.18653/v1/P19-1493 [124] Yang Z., Dai Z., Yang Y., Carbonell J., Salakhutdinov R.R., and Le Q.V (2019) Xlnet: Generalized autoregressive pretraining for language under-standing In Advances in Neural Information Processing Systems, vol-ume 32 Curran Associates, Inc [125] Yin W., Schutze H., Xiang B., and Zhou B (2016) ABCNN: Attention-based convolutional neural network for modeling sentence pairs Trans-actions of the Association for Computational Linguistics, 4:pp 259 272 doi:10.1162/tacl_a_00097 [126] Nguyen D.Q and Tuan Nguyen A (November 2020) PhoBERT: Pre-trained language models for Vietnamese In Findings of the Association for Computational Linguistics: EMNLP 2020 , pp 1037 1042 Association for Computational Linguistics, Online doi:10.18653/v1/2020.findings-emnlp 92 [127] Nguyen D.Q., Nguyen D.Q., Vu T., Dras M., and Johnson M (May 2018) A fast and accurate Vietnamese word segmenter In Proceedings of the Eleventh International Conference on Language Resources and Evalua-tion (LREC 2018) European Language Resources Association (ELRA), Miyazaki, Japan [128]Vu T., Nguyen D.Q., Nguyen D.Q., Dras M., and Johnson M (June 2018) VnCoreNLP: A Vietnamese natural language processing toolkit In Pro- 113 ceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp 56 60 Association for Computational Linguistics, New Orleans, Louisiana doi: 10.18653/v1/N18-5012 [129] Wiegreffe S and Pinter Y (November 2019) Attention is not not ex-planation In Proceedings of the 2019 Conference on Empirical Meth-ods in Natural Language Processing and the 9th International Joint Con-ference on Natural Language Processing (EMNLP-IJCNLP), pp 11 20 Association for Computational Linguistics, Hong Kong, China doi: 10.18653/v1/D19-1002 [130]Cui B., Li Y., Chen M., and Zhang Z (November 2019) Fine-tune BERT with sparse self-attention mechanism In Proceedings of the 2019 Con-ference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp 3548 3553 Association for Computational Linguistics, Hong Kong, China doi:10.18653/v1/D19-1361 [131] Schroff F., Kalenichenko D., and Philbin J (2015) Facenet: A unified embedding for face recognition and clustering 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 815 823 [132] Hadsell R., Chopra S., and LeCun Y (2006) Dimensionality reduction by learning an invariant mapping In Proceedings of the 2006 IEEE Com-puter Society Conference on Computer Vision and Pattern Recognition - Volume , CVPR ’06, p 1735 1742 IEEE Computer Society, USA ISBN 0769525970 doi:10.1109/CVPR.2006.100 [133]Henderson M.L., Al-Rfou R., Strope B., Sung Y., Luk¡cs L., Guo R., Ku-mar S., Miklos B., and Kurzweil R (2017) Efficient natural language response suggestion for smart reply CoRR, abs/1705.00652 114 ... nghiản cứu liản quan tợi b i to¡n lüa chån c¥u tr£ líi v c¡c nghiản cứu xoay quanh mổ hnh ã xuĐt 2.2.1 CĂc nghiản cứu vã b i toĂn lỹa chồn cƠu trÊ lới Ơy l b i toĂn ct lêi v ữổc nghiản cứu nhiãu... nìi nghi¶n cøu sinh håc t“p  to iãu kiằn cho nghiản cứu sinh cõ th tham gia nghi¶n cøu suŁt thíi gian håc t“p Trong thới gian n y, nghiản cứu sinh  nhn ữổc rĐt nhiãu kin thức v kinh nghiằm t... nghi¶n cứu ca Barun v cng sỹ [22] Nhiãu nh nghiản cứu sò dửng d liằu ữổc lĐy t Yahoo!answer cĂc d liằu huĐn luyằn, phĂt trin v t“p ki”m thß l⁄i kh¡c nhau, khỉng cŁ ành v khỉng cỉng bŁ cỉng khai Trong