(2.7)
ăápăd ngăANNăchoăcácăbƠiătốnăphơnăl păthìăqătrìnhăh călƠătìmăm tăhƠmăl iăđ ă đánhăgiáăvƠătìmăcáchăt iă uăhƠmăl iăđóăđ ăđ căk tăqu ăh păĺănh tăcóăth .ăQătrìnhăh că s ăd ngăthu tătoánălanătruy năng căvƠăk tăh păv iăm tăph ngăphápăt iă uăhóaănh ă ắgradientădescent”.ăPh ngăphápănƠyătínhătốnăđ oăhƠmăc aăhƠmăl iăv iăt tăc ăcácătr ngă
s ăcóătrongăm ngăANN,ăsauăđóăc pănh tăl iăcácătr ngăs ăđ ăc căti uăhóaăhƠmăl i. Các
b căc aăthu tătốnăcóăth ăđ cătrìnhăbƠyănh ăsau.
Cho m t s b c l p:
B c 1:Kh iăt oăng uănhiênăvéc-t ătr ngăs ăw v iăcácăph năt ăg nă0.
B c 2:Lanătruy năti n,ăv iăm iăm uăhu năluy năx
- Tínhăđ uăraăy theoăcơngăth că(2.4)
- TínhăhƠmăl iăc aăy soăv iăđ uăraămongămu n
- Tínhăđ oăhƠmăhƠmăl i
B c 3:ăLanătruy năng c
- C pănh tătr ngăs ătheoăđ oăhƠmăhƠmăl i.ă
K t thúc l p.
Thu tătoánălanătruy năng căvƠăm ngăANNălƠăn năt ngăchoăcácăph ngăphápăh că sâu [142] hi nănay.ăCácămơăhìnhăh căsơuăđưămangăl iăhi uăqu ăr tăl nătrongăngƠnhătríă tu ănhơnăt oăc ngănh ătrongăcácăl nhăv căx ăĺăngơnăng ăt ănhiên,ăx ăĺă nh,ăv.v.
2.6.2 Mơ hình ngơn ng - Ti n hu n luy n
ắWordăembeddings”ălƠăm tăkháiăni măc ăb năc aăm tămơăhìnhăh căsơuătrongăcácăbƠiă tốnăx ăĺăngơnăng ăt ănhiên.ă ăx ăĺăcácăt ,ăchu iăt ă(đo n),ăcơuăhayăv năb năthìăvi că
chuy năđ iăcácăt ăthƠnhăcácăvéc-t ăs ăcóắăngh aăđ căápăd ngătrongăcácămơăhìnhăh că
sơuăđ căg iălƠănhúngăt ă(WordăEmbeddingsă- WE).ăVíăd ăhaiăt ăắking”ăvƠăắqueen”ă
36
Hình 2.9 Wordăembeddingăc aăt ăắking”ăvƠăắqueen”.
Cácăph ngăphápăchoăWEăth ngăti năhu năluy nătrênăcácăkhoăng ăli uă(corpus)ăt ă
vi căth ngăkêăs ăxu tăhi năđ ngăth iăc aăcácăt ,ănh ămơăhìnhăWord2Vecă[143], Glove
[144].ăTuyănhiênăcácămơăhìnhănƠyăth căhi năWEăkhơngăcóăng ăc nh.ăVíăd ăt ăắbank”ă trong Hình 2.10 c̀ngăcóăgiáătr ăWEănh ănhauătrongăhaiăđo năkhácănhau.ă
Hình 2.10 Wordăembeddingsăc aăt ăắbank”ăkhôngăng ăc nh.
M tăt ă ăm iăv ătrí,ăng ăc nhăkhácănhauăđ căbi uădi năb iăcácăvéc-t ăkhácănhauă
trênăc̀ngăkhoăng ăli uălƠăm tăvéc-t ăđ căsinhăraăt ăm tămơăhìnhăti năhu năluy năbi uă
di năng ăc nhăk tăh păc ătráiăvƠăph iăhi nănayăr tăhi uăqu ăđóălƠăBERTă[92].
BERT (Bidirectional Encoder Representations from Transformers)ălƠăm tămơăhìnhă ngơnăng ăm i,ăđ căthi tăk ăđ ăti năhu năluy năvi căbi uădi năt ,ăcơuătheoăng ăc nhăhaiă chi uătráiăvƠăph iătrênăt tăc ăcácăt ngăc aămơăhình.ăVíăd ăhaiăcơuăsauăs ăgi iăthíchărõăh nă v ăng ăc nhăhaiăchi u.
Cơuă3.1.ăắTheămanăwasăaccusedăofărobbingăaăbank.”
Cơuă3.2.ăắTheămanăwentăfishingăbyătheăbank ofătheăriver.”
Cơuăth ănh tăvƠăth ăhaiăđ uăcóăt ăắbank”,ătuyănhiênă ăm iăcơu,ăm iăv ătrí,ăt ăắbank”ă
cóăngh aăkhácănhau.ăT ăắbank”ă ăcơuăth nh tăđiăsauăt ăắrobbing”ăcóăngh aăắngơnăhƠng”,ă
ăcơuăth haiăđiăsauăc măt ăắfishingăbyăthe”ăvƠătr căc măt ăắofătheăriver”ănênăt ăắbank”ă
đ căhi uălƠăắb ăsơng”.ăXétăc ătráiăvƠăph iăc aăt ăắbank”,ătaăcóăm tăvéc-t ăs ăth cămưă
hóaăng ăc nhătheoăt ăv ng,ăv ătríăc aăt ătrongăcơuăvƠătokenă(nhưnăt ).ă uăvƠoăc aămơă
hìnhăBERTăđ căminhăh aănh ăHình 2.11.ăM iăt ătrongăcơuălƠăt ngăc aătoken,ăv ătríăt ă
37
Hình 2.11 Bi uădi năđ uăvƠoăc aămơăhìnhăBERT [92].
Hình 2.11 minhăh aăđ uăvƠoăc aă2ăcơuăắMy dog is cute. He likes playing.”.V ătríăc aă t ătrongăc ăhaiăcơuăđ căđánhăch ăs ăt ă0,ăv ătríăcơuăđ căđánhăd uătheoăcơuăAăvƠăB.ă
Cu iăc̀ngălƠăcáchătáchăt ătheoăb t ăv ngăc aăBERT.
BERTălƠăm t ki nătrúcăđaăt ngăg mănhi uăl p vƠăđ năgi năv ăkháiăni m,ăm nhăv ă
th cănghi m.ăK tăqu ăđ tăđ căc aămơăhìnhătrênă11ăbƠi tốnăx ăĺăngơnăng ăt ănhiênălƠă
kháăcao,ănh ăđánh giátrênăt păd ăli uăGLUEăđ tă80.4%,ăt păd ăli uăMultiNLIăđ tăđ ă
chínhăxácălƠă86.7%,ăt păd ăli uăh iăđápăSQuADăv1.1ăđ tăF1ălƠă93.2%.
BERTălƠăph ngăphápăh căkhơngăgiámăsátăvƠăth căhi năhaiănhi măv ăchính:
- Nhi măv ăth ănh t:ăMơăhình ngơn ng m t n (Masked Language Model-
MLM)
- Nhi măv ăth ăhai:ăD đoán câu ti p theo (Next Sentence Prediction-NSP)
Nhi măv ăc a MLM lƠch nă15%ăt ăng uănhiênăvƠăsauăđóăth căhi nătrong:
- 80%ăth iăgianăđ uătiên,ăcácăt ănƠyăđ căthayăth ăb iănhưnă[MASK].ă
- 10%ăth iăgianăti pătheo,ăcácăt ăđ căthayăth ăb iăcácăt ăng uănhiên.
- 10% th iăgianăcònăl i,ăcácăt ăđ căgi ănguyênăt ăg c.
Nhi măv ăth ăhai,ăNSPăd ăđốnăcơuăti pătheoăcóăđúngălƠăcơuăk ăti păc aăcơuătr că hayăkhơng?ăMơăhìnhăth căhiênănh măxácăđ nhăm iăquanăh ăgi aăhaiăcơu.ăGi ăs ăcóăcơuă AălƠăcơuăđ ngătr căcơuăBăchoăm iăm uăhu năluy n.ăMơăhìnhăs ăl yă50%ăth iăgianăchoă Băth căs ălƠăcơuăđ ngăngayăsauăAăvƠă50%ăcịnăl iăs ăch năm tăcơuăng uănhiênăt ăkhoă ng ăli u.
38
BERTă s ă d ngă khoă ng ă li uă k tă h pă c aă BooksCorpusă 800ă tri uă t ă[145] và Wikipediaăti ngăAnhă2500ătri uăt .
Ngồi ra mơ hình BERT cịnăs ăd ngăk ăthu tăSelf-Attention,ălƠăph ngăphápăquană tơmăđ năcácăv ătríăkhácănhauătrongăm tăcơuăđ ăđ aăraăcáchăbi uădi năm tăchu iăcơu.ă ă chínhăxácăc aămơăhìnhăđ tăđ că97%ăđ nă98%.
V iăt ăắbank”ătrongăcơuă1ăvƠăcơuă2ă ăvíăd ăHình 2.10 thìăBERTăs ămưăhóaăthƠnhăhaiă
véc-t ăkhácănhau.ă ơyălƠăĺădoălu năánăs ăd ngăvéc-t ăcóăđ yăđ ăng ăc nhătráiăvƠăph iă
trongăcácăbƠiătốnăxácăđ nhăkhíaăc nh năvƠăphơnăgi iăđ ngăthamăchi uăđ iăt ng.