D~ d€ rninh hoq.,chung toi gQi:
. X; khong gian rn~u (rnoi rn~u Ia nhling don vi ligon ngli, nhu: tu, c\lrn tu,... chua duQc gall nhan ngon ngli).
. c:: t~p cae nhan ligon ngli d~ gall eho cae rn~u (c6 th~ Ia tu Ioq.i, eu phap, ngli nghla, ...)
. S=xxC::khong gian tr~ng thai rna rnoi vi tIi Ia 01 C?P(m~u, nhan). . C[s]: chi s1fgall nMn cho ro~u (vi d\l gall tu Ioq.ieho tu).
. T[s]: chi s1/ gall nhan dung cho m~u (vi dlf gall tir IO<;ii"Det" cho tir"the "). "the ").
. p: vi tir dU<;5cdtnh nghla tren kh6ng gian S.
. MQt Iu~t I' dU<;5cdtnh nghla nhu m9t C?P (p, t) g5m vi tir p va TItan tE <f.C6 nghla la m~u S ESse dU<;5cgan hay them nhan t (tuy theo day Ia giai C6 nghla la m~u S ESse dU<;5cgan hay them nhan t (tuy theo day Ia giai
do<;inhuan Iuy~n hay th1/c thi. Bay Ia di~m moi clia giai thu~t KFTBL)
neu vi tir p thoa tren s.
. R: T~p tat d cac Iu~t.
. Neu r=(p,t), thl hk d6 Pr se chi thanh ph~n p va t,. se chi thanh ph~n t trong Iu~t r.
. M9t. Iu~t r=(p,t) dU<;5cap dlfng tren m~u s neu m~nh d~
(Pr(s)=True)/\(tr:;t:C[sJ)la Bung. res) Ia ket qua ap dlfng lu~t I' tren TItan s.
. Ham danh giaf(r) =goodeI')- badeI')voi:
goodeI') =I{s IC[s]:;t T[s] /\ C[r(s)] =T[s]~
badeI')=I{s I C[s] = T[s] /\ C[r(s)] :;t T[s]~
( 3.1)( 3.2) ( 3.2)
C6 nghla I~ goodeI') Ia so Ill'<;5ngnhting m~u s ma dU<;5cIu~t I' stra tir sai thanh dung va badeI')Ia so IU<;5ngnhting m~u s ma bt Iu~t I' sli'a tir dung thanh sai.
Chung ta chi quail tam den nhting Iu?t nElOsli'a du<;5Cit nhat 01 16i (nghla Ia
goodeI')~ 1) va ghi nh~n nhting Iu~t b nElOma c6 di~mfib) cao nhat. Bay chinn Ia ki~u tim kiem "tham lam" (greedy) voif(b) > nguBng j3 (do ta G?t) nao d6.
V~ can ban, giai thu?t KFTBL giong nhu giai thu?t TBL goc (xin xem phgn 3.3.1), n6 chi khac bi~t d ph~n tint di~m - phat sinh Iu?t ling VieD,va xuat nhi~u nhan ket qua c6 xac suat di kern. Sail day, chung t6i xin trlnh bay cac ph~n khac bi~t ay:
3.3.4.2 TINH DIEM vA PHAT SMrI LUAT (FTBL)
Ph~n nay dU<;5cRadu Florian va Grace Ngai d6 xua't trong giai thu~t FTBL [80] d\!a tren y tuang cila Ramshaw va Marcus [122]. Chung ta gQi:
G(r) = {s E S I (Pr (s) = true ) /\ (C[s] =Ftr) /\ (tr = T[s])} (3.3)
B(r) = {s E S I (Pr(s) =true) /\ (C[s] =Ftr) /\ (C[s] = T[s])} (3.4)
Ta tha'y: G(r) chinh la t?P cac mftu ma lu?t r lac dQngrich c\!c leDchung, va good(r) = !G(r)!, con B(r) la t?P cac mftu ma lu~t r lac dQng lieu c\!c leD
chung, va bad(r)= IB(r)!. TrQng tam chinh cila ph~n di tie'n nay la: ydi mQt Iu?t
b mdi hQc dU<;5c,khi ta rho tar dQng leD khang gian tr<;J.ngthai S, lam the' naG d€
\
xac dtnh du<;5cnhii'ng lu?t r naG dii hQc dU<;5ctrudc do se bi anh huang bai slf tar
dQng cila Iu?t b mdi nay. VI ne'u ta xac dinh dU<;5c. . . nhu V?y, ta chi dn tinh l?i
di€m cila nhii'ng lu?t r bi tar d~ng ma thai, chu khang phai tinh l<;J.idi~m roan bQ rho ta't d cac lu~t (chi phi tinh roan ra't IOn) nhlt trong TBL g6c. Ngoai fa, khi
xem xet anh huang cila lu~t b leD m~u s, ta con phai tinh de'n tar dQng gian tie'p
do cac nhiin cila cac m~u 5 Ian c?n. Ta gQi vung Ian c?n cila mQt mfiu 5 nay la
V(s).Ne'u cac m~u dQc l?p vdi nhau, thl V(s)={5}.
Cho lu?t b tar dQng Ien m~u SES (nghla la b(s) :;t C(s)), lam thay d6i
s-tb(s). Ta dn xac dinh nhii'ng lu?t r naG chill anh huang bai thay d6i nay. Gia sa r la lu~t bi anh huang nhu the', thi:fer) thay d6i ~ :3s' sao rho:
(S'E G(r» /\ (b(s') ~ G(r» hay (S'E B(r» /\ (b(s') ~ B(r» hay (3.5) (3.6) (s'~ G(r» /\ (b(s') E G(r» hay (s'~ G(r» /\ (b(s') E G(r» (3.7) (3.8)
Cac Gong thUGtren co nghla la: dudi tar dQng cila b, m~u s' di ra khoi (ho~c di
tilt d cac s' ES, ma chi xem xet cac s' EV(S) ma thai (nghTa Ia chi xet nhung m~u thuQc Ian c~n m~u s). Qua xem xet tilt ca cac truong hQp, chung toi rut ra k€t Iu~n sail:
Dinh Iv 3.1: \7s'EV(S), chi nhilng lugt rER thod mQt trong ale m?nh d~ sau thi...
mai dw!c phdt sinh sau m6i buac l(ip:
(Pr(s') = true) /\ (C[s'];:,: tr) /\ (tr = T[s']) /\ (Pr (b(s') = false) . (Pr(s') = true) /\ (C[s'];:,: tr) /\ (C[s'] = T[s']) /\ (Pr (b(s')) = false) (3.9) (3.10) (Pr(s') = false) /\ (C[s']:r= fJ /\ (fr = T[s']) /\ CPr(b(s')) = true) (Pr (s') = false) /\ (C[s'] ;:':tr) /\ (C[s'] = T[s']) /\ CPr(b(s')) = true) (3.11 ) (3.12) \ (Pr(s') = true) /\ (C[s'] :r=fr) /\ (tr = T[s']) /\ (Pr (b(s')) = false) v (C[b(s')] = tJ (p r (s') = true) /\ (C[ s'] ;:':t r) /\ (C[ s'] = T[ s']). . (3.13) (3.14 ) (Pr (s') = false) v (Pr (b(s'») = true) /\ (C[b(s')];:,: tr) /\ (tr = T[s']) /\ (C[s'] = tr) (Pr(b(s'») = true) /\ (C[b(s')];:,: tr) /\ (C[b(s')] = T[s']) (3.15) (3.16) Chung minh:
Cha s' EV(S), khi b tac GQngJen s, co hai kha Dang xay ra: (1) b thong anh hUd~gtdi s' va (2) b anh huang tdi s'.
Truong hop 1: b thong anh hudng Wi s': C(s') =C(b(s')), ta se xem xet 19nluQt
04kba Dang(cac cong thlic 3.5 - 3.8) phat sinh Iu~tr lam s' thay d6i.
a. Xet kba Dang thli nhilt: rhea 3.5, ta co: (S'E G(r» /\ (b(s') eG(r»
Theo 3.3: S'E G(l') <=>(Pr(s') = true) /\ (C[s'];:,:tr) /\ (tr = T[s']), Thea 3.3 vdi s' Ia b(s') va thee Iu?t Demorgan, ta co:
b(s') e G(l') <=>(Pr (b(s'») = false) v (C[b(s')] = tr) v (tr ;:':T[b(s')]), nen 3.5 <=>
[(Pres') =frue) /\ (qs'];:,: tJ I\(tr = T[s'])]/\ [(Pr (b(s'» = fals~ v (qb(s')] = tJ v (tr ;:':T[b(s')])]
[(PI'(s') = true) 1\(c[s'] :;f:tJ 1\ (tr = T[s'])] 1\[(PI'(b(s'» = false) v (c[s'] = I1')V (tr :;f:T[s'])]
Do [(C[s']:;f:tr)l\(tr = T[s'])] 1\[(C[s'] =/J V (tr :;f:T[s'])]=false rhea Demorgan, Den
cu6icung 3.5 se ~ (PI'(s') = true) 1\ (C[s']:;f:tr) I\(tr =T[s']) 1\(PI' (b(s'»= false) => 3.9
b. Xet kha Dangthu hai: rhea 3.6, ta c6:(S'E B(r» 1\ (b(s') 110B(r»
Theo 3.4: S'E B(r) ~ (PI' (s') = true) 1\(C[s']:;f: tr) 1\(C[s'] = T[s']),
Theo 3.4 vdi s' la b(s') va theo Demorgan, ta c6:
b(s') 110B(r) ~ (PI' (b(s'» = false) v (C[b(s')] = tr) v (C[b(s')] :;f:T[b(s')]), Den 3.6 ~
[(Pres') = true) 1\ (C[s'] :;f:II') 1\ (C[s'] = T[s'])] 1\ ". ? .A'
[(Pr(b(s'» = false) v (C[b(s')] = tr) v (C[b(s')]:;f:T[b(s,)])]Do C[s ]=C[b(s )] (gla thlet)
va T[s']=T[b(s')] (guy udcl,Den 3.6 ~
[(PI'(s') = tnl~ 1\ (qs'] :;f:tJ 1\ (qs'] = T[s'])]1\ [(PI' (b(s'» = falsi) v (qs'] = II')V (qs'] :;f:T[s'])]
Do [(C[s']:;f:trJ 1\(C[s'] = T[s'])] I\J(C[s'] =tl') v (C[s'] :;f:T[s'])] = false rhea Demargan,
Dencu6i clIng 3.6 se~
(PI'(s') = true) 1\ (C[s'] :;f:tr) 1\ (C[s'] = T[s']) 1\ (PI'(b(s'» = false) =>3.10
c. Xet kha Dang thu ba: rhea 3.7, ta c6: (s'e:G(r» 1\ (b(s') E G(r»
Tudng tlf nhu truong hQp a vdi slf hoan d6i vai tra cua s' va b(s'), ta vi6t l~i 3.7:
<=>(PI' (s') = false) 1\'(C[s'] :;f:tr) 1\ (II' = T[s']) 1\ (PI' (b(s'» = true)=> 3.11
d. Xet kha Dang thu tu: rhea 3.8, ta c6: (s'e: B(r» 1\ (b(s') E B(r»
Tudng tlf nhu' truong hQpb vdi slf hoan c16ivai tra cua s' va b(s'), ta vi6t l~i 3.8:
<=>(PI' (s') = false) 1\ (C[s'] :;f:tr) 1\ (C[s'] =T[s'])1\(PI'(b(s'» = true) => 3.12
Truong hop 2: b anh huang Wi s': C(s') =1=C(b(s'», ta se xem xet Hin luQt 04 kha
Dang(cae c6ng thuc 3.5 - 3.8) phat sinh lu~t r lam s' thay c16i.
a. Xet kha Dang thu nha't: rhea 3.5, ta c6: (S'E G(r» 1\ (b(s') e: G(r»
Theo 3.3 vdi s' la b(s') va thee lu~t Demorgan, ta co:
b(s') e G(r) <=>(p r(b(s'») = false) v (C[b(s')] = tr) v (tr :;tT[b(s')]) , Den 3.5 <=> [(Pres') = true)A(C[s'];= tr)A(tr = T[s'J)] A
[(p r (b(s'» = false) v (C[b(s')] = tr) v (tr ;=T[b(s')])]
Do T[s']=T[b(s')] (quy U'dc), VIv~y, ta vie't lq.i bi§u thlic tren thanh:
[CPr(s') = true) A (C[s']:;t tr) A (t, = T[s'])] A [(p, (b(s')) = false) v (C[b(s')] ==t,) v (t, ;=T[s'])]
Do [(t, =T[S'])]A(tr ;=T[s'])]=false thee Demorgan, Den cuoi cling 3.5 se <=>
(p,(s') = true) A (C[s'];= t,) A(t, = T[s']) A (P,(b(s')) = false) v (qb(s')] = tr)-===>3.13
b. Xet ktla Dang thli hai: rhea 3.6, ta co: (S'E B(r) A (b(s') e B(r»
Theo 3.4: S'E B(r) <=>(p, (s') = true) A (C[s'] :;ttr) A (C[s'] = T[s']), C6 nghla la: ne'u S'E B(r) -===>(C[s']= T[s']).
Ma C[s'];=C[b(s~)] (theo gia thret) va T[s'J=T[b(s')] (do guy U'de),nen:
(C[s']= T[Sf])<=> (C[b(s')];= T[s']) <=> (C[b(s')]:;t: T[b(s')])-===>bes') e Ber), VI v~y
3.6 chi con <=>(Pr(s') = true) A (C[s']:;t:tr) A (C[s'] = T[s'])-===>3.14
c. Xet kha Dang thli ba: rhea 3.7, ta co: (s'e G(r) A (b(s') E G(r»
Tuong tlf nhU'trU'ongh<;:ipa vdi slf toaD d6i vai tro eila s' va b(s'), ta vie't l~i 3.7:
(p, (b(s')) = true) A (C[b(s')];= tr) A (tr = T[s']) A (p, (S') = false) v (C[S']= t,) => 3.15
d. Xet kha Dang thli tIT:thee 3.8, ta co: (s'e B(r» A (b(s') E B(r»
TU'ongtlf nhU'trU'ong hQp a vdi slf hmin d6i vai tro cila s' va b(s'), ta vie't 1q.i3.8:
<;::;>(p,(b(s') = true) A (C[b(s')]:;t t,) A (C[b(s')] = T[s']) -===> 3.16 3.3.4.3 XUA T NHLEU NlI.A.NKET QUA (K-BEST)
Thay VI chI eho ra m9t ke't qua tot unit nhU'TBL goc~KTBL cho ra nhi~u
ket qua ling vien (K-best). B§ lam dU'Qcdi~u nay, trong giai thu~t TBL gaG,thay VI chuy§n tiTTItan X ~ nhan Y, chung Wi stl' d\lng ytU'dngcila Eric Brill [45] la
"them nhan Y vao bell q.nh nhan X". Vi~c them nhan nay du'Qcphan bi~t rhea cae lo<;1inhan khac nhau va c6 danh da'u cho nhan sail cling. Do di;ic di~m cua ng6n ngu tv Dillen, m6i ddn vi ng6n ilgu ling voi m6i blnh di~n (hlnh thai, tu lo<;1i,Cll phap, quail h~ ngu phap, ngu nghla,...) chi c6 mQt so Iu'Qngra't gioi h<;1n cae nhan khac nhau. Ching h<;1n:voi ddn vi "tu", d blnh di~n "tu lo<;1i", k chi c6
toi da khoang 5, 6 tu lo<;1ima th6i. Do Sv gioi h<;1nnay, khie'n cho vi~c th~m nhan du'Qcth1;1'chi~n de dang ma chi pm be>nho hay tinh roan tang kh6ng dang k~.
3.3.4.4 GA.N XA.C SUA T CHONHAN (PTBL)
Xac sua't gall nhan Cidu'Qctinh bdi so lfin nhan Cidu'Qcgall cho me>tdon vi
ng6n ngu u cilia cho t6ng so I~n N ma ddn vi ng6n ngu d6 du'Qcgall nhan:
\'LTagk (U ) LTagk (U ) k=J P(c,)= N . { I if C(u)=Cj
vo( Tagk(u)= 0 if C(u):t;c; (3.17)