Mô hình d¸a trên m§ng nÏ-ron tích ch™p CNN tích hÒp thêm tri th˘c

4.3 Các ph˜Ïng pháp ti∏p c™n và ∑ xußt

4.3.3 Mô hình d¸a trên m§ng nÏ-ron tích ch™p CNN tích hÒp thêm tri th˘c

Trong ph¶n này, lu™n án ∑ xußt xây d¸ng mÎt mô hình mÓi, tích hÒp thêm nguÁn tri th˘c bên ngoài vào mô hình d¸a trên CNN. Hình 4.3 minh hÂa ki∏n trúc chung cıa mô hình tích hÒp này.

Hình 4.3: Mô hình d¸a trên CNN tích hÒp thêm tri th˘c tính toán i∫m t˜Ïng Áng gi˙a q⇤ và qi

Các b˜Óc xây d¸ng mô hình tích hÒp này t˜Ïng t¸ nh˜ mô hình d¸a trên CNN nh˜ ã ˜Òc trình bày trong mˆc 4.3.2. Nó cÙng bao gÁm các t¶ng: t¶ng

phân lo§i MLP. Tuy nhiên, vÓi mô hình tích hÒp này t§i t¶ng k∏t nËi không chø

k∏t nËi các véc-tÏ ∞c tr˜ng ˜Òc t§o ra sau các t¶ng cıa m§ng CNN mà còn k∏t nËi vÓi véc-tÏ ∞c tr˜ng ˜Òc trích rút t¯các nguÁn tri th˘c bên ngoài. Các

∞c tr˜ng này ã ˜Òc trình bày trong mˆc 4.3.1. S¸ tích hÒp nguÁn tri th˘c bên ngoài vào mô hình CNN giúp mô hình có ˜Òc véc-tÏ ∞c tr˜ng ch˘a nhi∑u thông tin ng˙ nghæa t¯ d˙ liªu h‰i áp hÏn.

Trong nghiên c˘u này, mô hình s˚ dˆng toán t˚ concatenate nh˜ mÎt s¸ k∏t hÒp cıa các véc-tÏ.

cv =concatenate(c, r) (4.10)

Trong ó c là véc-tÏ bi∫u diπn cho q⇤ và qi t§o ra sau t¶ng tÍng hÒp, r là véc-tÏ ∞c tr˜ng ˜Òc trích rút nh˜ ã ˜Òc trình bày trong mˆc 4.3.1.

Véc-tÏ tÍng hÒp này sau ó s≥ ˜Òc s˚ dˆng làm ¶u vào cıa MLP. Sau ó, công th˘c 4.6 ˜Òc thay th∏ b¨ng công th˘c 4.11 nh˜ bên d˜Ói.

oj =f m+l X i=1 wij.cvi+bj1 ! (4.11) Trong ó l là kích th˜Óc cıa véc-tÏ ∞c tr˜ng r. 4.3.4 Mô hình d¸a trên m§ng BLSTM

Trong tr˜Ìng hÒp xây d¸ng mô hình d¸a trên m§ng CNN, các véc-tÏ t¯ ˜Òc k∏t nËi vÓi nhau bi các bÎ lÂc vÓi các kích th˜Óc bÎ lÂc khác nhau, làm viªc nh˜ các mô hình n-gram nh˜ng không n≠m b≠t ˜Òc các phˆ thuÎc t¯ kho£ng cách xa vÓi kích th˜Óc vùng bÎ lÂc nh‰. Các bÎ lÂc vÓi kích th˜Óc lÓn hÏn có th∫ ˜Òc s˚ dˆng, nh˜ng i∑u này có th∫ d®n ∏n vßn ∑ th˜a thÓt d˙ liªu. ∫

mã hóa các phˆ thuÎc t¯ kho£ng cách xa, lu™n án xây d¸ng mô hình s˚ dˆng m§ng LSTM, nó là mÎt tr˜Ìng hÒp ∞c biªt cıa m§ng nÏ-ron hÁi quy RNN có kh£ n´ng hÂc các phˆ thuÎc t¯ kho£ng cách xa. LSTM ã ˜Òc giÓi thiªu bi Hochreiter và các cÎng s¸ [37]. Các mô hình LSTM ã ˜Òc áp dˆng cho nhi∑u nhiªm vˆkhác nhau trong NLP, bao gÁm gán nhãn chuÈi [29], l¸a chÂn câu tr£

lÌi [22, 98]. Trong ch˜Ïng này, lu™n án s≥ xây d¸ng mô hình m§ng nÏ-ron sâu d¸a trên BLSTM ∫ hÂc s¸ bi∫u diπn k∏t nËi cıa các véc-tÏ câu h‰i mÓi và các véc-tÏ câu h‰i trong cÏ s d˙ liªu và tính toán s¸ t˜Ïng Áng gi˙a chúng.

Ki∏n trúc chung cıa mô hình d¸a trên BLSTM

Trong ph¶n này, lu™n án ∑ xußt xây d¸ng các mô hình hÂc sâu d¸a trên BLSTM ∫ tính toán i∫m t˜Ïng Áng gi˙a câu h‰i mÓi q⇤ và câu h‰i qi trong cÏ s d˙ liªu, sau ó i∫m t˜Ïng Áng này s≥ ˜Òc s˚ dˆng ∫ x∏p h§ng các câu h‰i qi. Ki∏n trúc chung cıa mô hình d¸a trên BLSTM ˜Òc minh hÂa trong Hình 4.4.

Hình 4.4: Mô hình d¸a trên BLSTM tính toán i∫m t˜Ïng Áng gi˙aq⇤ và qi

Xây d¸ng mô hình d¸a trên m§ng BLSTM

Viªc xây d¸ng các mô hình d¸a trên BLSTM giËng vÓi viªc xây d¸ng các mô hình d¸a trên CNN. ¶u tiên, các t¯ trong mÈi câu h‰i ˜Òc chuy∫n thành các véc-tÏ t¯ b¨ng cách s˚ dˆng mô hình hußn luyªn l§i word2vec. Sau ó mÈi câu h‰i vÓi các t¯ ã ˜Òc bi∫u diπn d˜Ói d§ng các véc-tÏ t¯ ˜Òc coi nh˜ các chuÈi ¶u vào và ˜Òc Âc tu¶n t¸ bi BLSTM theo c£ hai h˜Óng (nh˜ minh hÂa trong Hình 4.5). B¨ng cách này, thông tin theo ng˙ c£nh gi˙a các t¯ trong c£ câu h‰i mÓi q⇤ và câu h‰i trong cÏ s d˙ liªu qi ˜Òc mô hình hóa b¨ng cách s˚ dˆng m§ng nÏ-ron BLSTM.

BLSTM sau ó sinh ra s¸ bi∫u diπn véc-tÏ cho các câu h‰i mÓi q⇤ và các câu h‰i qi trong cÏ s d˙ liªu. Sau ó t¶ng k∏t nËi s≥ ˜Òc s˚ dˆng ∫ k∏t nËi các véc-tÏ bi∫u diπn cho q⇤ và qi (nh˜ minh hÂa trong Hình 4.4) thành mÎt véc-tÏ

Hình 4.5: Minh hÂa mÎt BLSTM Âc chuÈi ¶u vào