4.3 Các ph˜Ïng pháp ti∏p c™n và ∑ xußt
4.3.6 Mô hình d¸a trên BERT
Mô hình mã hóa hai chi∑u d˙liªu t¯các khËi Transformer (BERT) ˜Òc thi∏t k∏ ∫ hußn luyªn tr˜Óc các bi∫u diπn t¯ (pre-train word embedding). i∫m ∞c biªt BERT ó là nó có th∫ i∑u hòa cân b¨ng bËi c£nh theo c£ 2 chi∑u trái và ph£i. BERT m rÎng kh£n´ng cıa các ph˜Ïng pháp tr˜Óc ó b¨ng cách t§o s¸
bi∫u diπn theo ng˙c£nh d¸a trên các t¯tr˜Óc và các t¯ ti∏p theo, d®n ∏n mÎt mô hình ngôn ng˙ vÓi ng˙ nghæa phong phú hÏn. M∞c dù BERT ã §t ˜Òc các k∏t qu£ áng kinh ng§c trong nhi∑u nhiªm vˆ hi∫u ngôn ng˙t¸nhiên, ti∑m n´ng cıa nó v®n ch˜a ˜Òc khám phá h∏t. Có rßt ít nghiên c˘u s˚ dˆng BERT
Hình 4.6: Mô hình d¸a trên BLSTM tích hÒp thêm tri th˘c tính toán i∫m t˜Ïng
Áng gi˙a q⇤ và qi
Trong ph¶n này, lu™n án t™p trung vào nghiên c˘u làm th∏ nào ∫ s˚ dˆng BERT nh¨m xác ‡nh Î t˜Ïng t¸ gi˙a các câu h‰i trong cQA. Lu™n án khám phá mÎt sË cách ∫ tinh chønh BERT, sau ó xây d¸ng các mô hình d¸a trên BERT, CNN và tích hÒp thêm nguÁn tri th˘c bên ngoài ∫ nâng cao hiªu qu£
cho nhiªm vˆ xác ‡nh câu h‰i t˜Ïng t¸. HÏn n˙a, lu™n án t™p trung vào viªc phát tri∫n mÎt mô hình mÓi d¸a trên BERT và i∑u quan trÂng là làm th∏ nào
∫ tích hÒp i∫m m§nh cıa các mô hình khác vào mô hình này. Nh˜ ã bi∏t, các mô hình hÂc sâu yêu c¶u hÂc trên mÎt l˜Òng rßt lÓn d˙ liªu, nh˜ng i∑u này trong nhi∑u bËi c£nh không kh£ thi. Do ó, viªc s˚ dˆng tích hÒp thêm nguÁn tri th˘c bên ngoài ˜Òc trích rút t¯ các mô hình khác hy vÂng s≥ bÍ sung ki∏n th˘c cho mô hình hÂc sâu.
Mô hình BERT
BERT là mÎt mô hình d¸a trên s¸ chuy∫n Íi (transformer) cho phép bi∫u diπn theo ng˙ c£nh cıa mÎt t¯ d¸a trên mËi quan hª cıa nó vÓi các t¯ xung quanh [43]. BERT tri∫n khai cÏ ch∏ s¸ t¸ chú ˛ trong mã hóa t¯ vÓi ng˙ c£nh cıa t¯, s˚ dˆng ki∏n trúc nhi∑u t¶ng vÓi mô hình hóa vßn ∑ cho d¸ oán t¯
s˚ dˆng thông tin ng˙ c£nh hai chi∑u. Do ó, BERT hiªn là mô hình rßt tËt ∫
c˘u ã xây d¸ng các mô hình d¸a trên BERT ∫ gi£i quy∏t vßn ∑ phân lo§i. Mô hình phÍ bi∏n là s˚ dˆng BERT ∫ bi∫u diπn cho v´n b£n ¶u vào, sau ó k∏t nËi véc-tÏ ã ˜Òc mã hóa ( §t ˜Òc bi BERT) vÓi mÎt sË t¶ng cıa m§ng nÏ-ron ˜Òc k∏t nËi ¶y ıcho nhiªm vˆcıa phân lo§i. Công viªc này ˜Òc gÂi là công viªc tinh chønh BERT.
Mô hình BERT tích hÒp thêm tri th˘c
Trong ph¶n này, lu™n án mô hình hóa phép o Î t˜Ïng Áng gi˙a các c∞p câu h‰i nh˜ là bài toán phân lo§i hai lÓp, xác ‡nh xem hai câu h‰i có giËng nhau hay không và s˚ dˆng xác sußt cıa ¶u ra ∫ o m˘c Ît˜Ïng t¸gi˙a hai câu h‰i. Mô hình ∑ xußt ˜Òc th∫ hiªn nh˜ trong Hình 4.7. Mˆc tiêu cıa mô hình này là tích hÒp thêm nguÁn tri th˘c bên ngoài ˜Òc trích rút t¯các ph˜Ïng pháp ti∏p c™n khác vào mô hình phân lo§i d¸a trên BERT ∫ làm phong phú thêm cách bi∫u diπn d¸a trên BERT cıa d˙ liªu ¶u vào, giúp kh≠c phˆc vßn ∑
v∑ d˙liªu th˜a thÓt cıa tßt c£các mô hình hÂc sâu. Lu™n án chia nguÁn tri th˘c bên ngoài thành hai lo§i, lo§i th˘nhßt là các ∞c tr˜ng ˜Òc trích rút d¸a trên t™p nhúng t¯ t¯ mÎt mô hình word2vec khác (không ph£i BERT), và ph˜Ïng pháp th˘ hai là t¯các ph˜Ïng pháp khác nh˜ s˚ dˆng phân lo§i câu h‰i, danh mˆc câu h‰i và t¯ cˆm t¯ (n-gam). Hình 4.7 cho thßy các ∞c tr˜ng này ˜Òc tích hÒp vÓi véc-tÏ ˜Òc mã hóa t¯BERT thông qua mô- un “Concat”. HÏn n˙a vÓi các ∞c tr˜ng t¯ t™p nhúng t¯, lu™n án ã s˚ dˆng các t¶ng cıa m§ng CNN
∫ t§o ra các ∞c tr˜ng tÍng hÒp tr˜Óc khi th¸c hiªn mô- un k∏t nËi. L˜u ˛
r¨ng Hình 4.7 trình bày cho mÎt mô hình ¶y ı, nh˜ng trong các th¸c nghiªm lu™n án th¸c hiªn nhi∑u mô hình khác nhau, có ho∞c không s˚ dˆng các ∞c tr˜ng bÍ sung, có ho∞c không s˚ dˆng các t¶ng cıa m§ng CNN.
4.4 Th¸c nghiªm