3.5. K tălu năch ng
ăch ngănƠy,ălu năv năđưăđiăvƠo chiăti tv ălỦăthuy tăc aăm tăm ngăh căt ngăc ng, m ngăh căt ngăc ngăsơuăvƠăm ngăh căt ngăc ngănhi uăagent.ăD aătrênănh ngăki nă th cănƠy,ălu năv năs ăđ ăxu tăchi năthu tăh căt ngăc ngăđ ăgi iăbƠiătốnăphơnăb ăcơngă su tătrongăh ăth ngăcell-free massive MIMO. Chi năthu tăh căt ngăc ngănƠyăs ăđ că trìnhăbƠyă ăCh ngă4.ă
LU NăV NăTH CăS 51 Linh Pham
CH NGă4:ăPHÂN B CÔNG SU T NG UPLINK TRONG H TH NG CELL-FREE MASSIVE MIMO
Ch ngănƠyăs ăđiăsơuăvƠolỦăthuy tăc aămơăhìnhăđ ngăuplinkăh ăth ngăcell-free massive
MIMO và phơnătíchăt ngăthƠnhăph năc aăhi uăsu tăph ,ăbaoăg m thƠnhăph năđ ăl i,ă
thƠnhăph nătínăhi ukhơngăxácăđ nh,ăthƠnhăph năcanănhi uăvƠănhi uăthi tăb ătrên đ ngă
uplink.ăSauăđó,ăthu tătốnăblock coordinate descent s ăđ căápăd ngăđ ăgi iăbƠiătoánă
phơnăb ăcơngăsu tăt iă uăhóaăt ngăhi uăsu tăph ătrongăh ăth ngăcell-free massive MIMO. Cu iăcùng,ălu năv năs ăđ ăxu tăm tăchi năthu tăh căt ngăc ng đ ăgi iăbƠiătoánăt iă uă trên.
4.1. Mơ hình h ăth ngăcell-free massive MIMO
Mơ hình m t h th ng cell-free massive MIMO đ c s d ng s đ c d a trên [17]. H
th ng bao g m đi m truy c p và thi tăb ăng iădùng.ăM iăđi m truyăc păvà m iă
thi tăb ăng iădùngăch ătrangăb ăm tăantenna đ n.ăTrongăm ng này, v trí c a đi m truy
c p và thi t b ng i dùng s đ c phân b ng u nhiên trong m t khu v căcóăkíchăth c
là k� . T tăc ăthi tăb ăng iădùngăđ uăgơyăcanănhi uăl nănhauătrongăkhuăv cănƠy.ă T tăc ăcácăđi mtruyăc pănƠyăđ uăđ căk tăn iăđ năm tăđ năv ăx ălỦătrungătơm vƠăđ uă thamăgiaăđ ngăth iăđ ăph căv ăchoăt tăc ăthi tăb ăng iădùng.ă ngătruy năgi aăthi tă b ăng iădùngvƠăđi mătruyăc păđ uătuơnătheoăgiaoăth căghépăkênhăsongăcôngăphơnăchiaă theoăth iăgiană(TDD).ă
Kênhătruy năđ căgi ăđ nhănh ătrongă[17]. Mơăhìnhăkênhătruy năs ăch uătácăđ ngă c aăhaiăhi uă ngăsmall-scale fading và large-scaleăfading.ăTrongăđó,ăhi uă ngăsmall- scaleăkhơngăthayăđ iătrongăkho ngăth iăgianăđ ngăb ăvƠăs ăthayăđ iăđ căl păkhiăchuy nă t ăkho ngăth iăgianăđ ngăb ănƠyăsangăkho ngăth iăgianăđ ngăb ăkhác.ăCònăhi uă ngă
large-scaleăfadingăs ăthayăđ iăch m vƠăg nănh ăkhôngăđ iătrongăm tăvƠiăkho ngăth iă
gian đ ng b . H s kênh truy n gi aăng i dùng th vƠăđi m truy c p th đ căkíă
hi uălƠă vƠăđ cămơăhìnhăhóaănh ăsau:
LU NăV NăTH CăS 52 Linh Pham
v iă và l năl t là h s large-scale fading và small-scale fading. H s small-
scaleăfadingăđ c gi đ nhăđ c l p và có phân ph i đ ng nh t .ăH ăs ălarge-scale fadingăđ cătínhătốnăd aătrênămơăhìnhăsuyăhaoăđ ngăđiăvƠămơăhìnhăshadowing.ă
Hình 4.1: Minh h a h th ng cell-free massive MIMO.
Mơăhìnhăkênhătruy năcóăt tăc ăcácăđi m truyăc păđ uăph căv ăđ ngăth iăt tăc ă ng iădùngătrongăcùngăm tătƠiănguyênăth iăgiană- t năs .ăỄpăd ngăgiaoăth căghépăkênhă songăcôngăphơnăchiaătheoăth iăgian,ăm iăkho ngăđ ngăb ăs ăđ căchiaălƠmăbaăpha:
- Phaăhu năluy năđ ngăuplink - Pha đ ngătruy năd ăli u downlink - Pha đ ngătruy năd ăli uăuplink
Phaăhu năluy năđ ngăuplink đ căs ăd ngăđ ă căl ngăkênhătruy năc aăt tăc ăng iă dùngăd aătrênăchu iăpilotămƠăng iădùngăg iăđ năcácăđi mtruyăc p.ăKênhătruy nă că l ngăs ăđ căs ăd ngăđ ăti nămưăhóaătínăhi uăphátăt ăđi m truyăc pătrongăphaătruy nă tr ăd ăli uădownlinkăvƠăđ ăd ăđốnătínăhi uăt ăthi tăb ăng iădùngătrongăphaătruy nătr ă d ăli uăuplink. Lu năv n ch ăt pătrungăvƠoăxemăxétăhaiăphaălƠăphaăhu năluy năđ ngă
uplink và pha truy năd ăli uăuplink.
4.1.1. Phaăhu năluy năđ ngăuplink
Kênhătruy năđ căgi ăđ nhăkhôngăđ iătrong m tăkho ngăth iăgianăđ ngăb ăvƠăkho ngă t năs ăđ ngăb .ăDoăđó,ăđ ădƠiăc aăm tăkho ngăđ ngăb đ căkíăhi uălƠ ,ăb ngătíchăc aă
LU NăV NăTH CăS 53 Linh Pham kho ngăth iăgianăđ ngăb ăvƠăkho ngăt năs ăđ ngăb .ăKho ngăđ ngăb choăphaăhu nă luy năđ ngăuplink trênăt ngăkho ngăđ ngăb đ căkíăhi uălƠă v iă . Trong pha hu năluy n,ăt tăc ăthi tăb ăng iădùngăđ ngăth iăg iăchu i tínăhi uăpilotăv iăđ ădƠiălƠă
m u t i t t c các đi m truy c p. Chu iăpilotăđ c g iăđiăb i thi t b ng i dùng th
đ cămơăhìnhăhóaănh ăsauă ,ăv iă .ăNh ăv y, tín hi u pilot
đ c thu t i đi m truy c p th ,ăđ căkíăhi uă là ch ng ch t c a các tín hi u thu
đ c t thi tăb ăng iădùng. B ngăcách kíăhi u lƠăt ăs ătínăhi uătrênănhi uăchu nă
hóaăc aăt ngăkíăt ăpilotăvƠă là nhi uăđ c thêm vào t iăđi m truy c p th , tínăhi uă
pilot t iăđi m truy c p th đ căcơngăth căhóaănh ăsau:
(4.2) v iănhi uă đ c l p và tuân theo phân ph i chu n . Kênhătruy nă đ că
căl ngăb ngăcách nhơnăt ngăquanăgi aătínăhi uăpilotăthuăđ că vƠăchu iăpilotă . Tínăhi u pilot căl ngă s ăcóăd ngănh ăsau:
(4.3)
v iă . D aătrênăcôngăth că(4.3), ch ătrongătr ngăh păhaiăchu iă và lƠăhaiăchu iăpilotătr căgiaoă và v i thì m iăđ tăđ că kênhătruy nă .ăDoăđó,ăb ă căl ngăsaiăs ăbìnhăph ngătrungăbìnhăc căti uă(MMSE)ă đ căs ăd ngăđ ă căl ngăkênhătruy nă :
(4.4) v iă
LU NăV NăTH CăS 54 Linh Pham (4.5) Ph ngăsaiăc aă căl ngăMMSEăs ăcóăd ng:
(4.6)
4.1.2. ngătruy năuplink
Trongăđ ng truy n uplink, t t c thi t b ng iădùngăđ u g i d li uăđ ng th i t i các
đi m truy c p. Kí t mà thi t b ng i dùng th g i, đ căkíăhi uălà v i
.ăH ăs ăđi uăkhi năcôngăsu t đ căkíăhi uălƠă , . V iă lƠăt ăs ătínăhi uă trênănhi uăuplinkăchu năhóaăvƠă là nhi uăđ c thêm vào t iăđi m truy c p
th , tín hi u thuăđ c t i đi m truy c p th đ cămơ hình hóa nh ăsau:
(4.7) Kíăt ă , đ c truy n t thi t b ng i dùng th t iăđi m truy c p th , đ căd ă đốnăb ngăcách nhơnăl ngăliênăhi pătínăhi uăthuăđ că v iă căl ngăkênhătruy n
. Tínăhi uăthuăđ căs ăcóăd ngănh ăsauă . Tínăhi u t iăđi m truy
c p đ căg iăv ăđ năv ăx ălỦătrungătơm.ăDoăđó,ătínăhi uă đ căthuăt iăđ năv ăx ălỦă
trungătơmălƠăch ngăch tăc aăt tăc ătínăhi uănh năđ ct ăphépănhơnăliênăhi păc a t tăc ă đi mătruyăc p.ăSauăđó,ăkíăt ă s ăđ căd ăđốnăt ătínăhi uă . Nh ăv y, tínăhi uă t iă đ năv ăx ălỦătrungătơmăcóăd ngănh ăsau:
LU NăV NăTH CăS 55 Linh Pham
4.2. Phơnătíchăt căđ ăd ăli ucóăth ăđ tăđ c trên đ ngăuplink
ăm cănƠy,ălu năv năs ăphơnătíchăt căđ ăd ăli uăc aăng iădùngăvƠăv năđ ăt iă uăhóaă t căđ ăd ăli ut iăđa.ăD ăli uăthôngătinăkênhătruy năđ căg iăv ăvƠăx ălỦăt iăCPUănênă t căđ ăd ăli uăđ căphơnătíchăd aătrênăđ cătínhăkênhătruy n.ă uătiên,ătínăhi u, thuăđ c t iăđ năv x lý trung tâm c aăng i dùng th , đ căphơnătíchănh ăsau:
SINR c aăng i dùng th cóăth ăđ căcơngăth căhóaănh ăsau:
��N� (4.9)
v iăcácăthƠnhăph năđ căcơngăth căhóaănh ăsau:
- Thành ph n tín hi u mong mu n c aăng i dùng th :
(4.10) G iă lƠăl iă căl ngăkênhătruy n.ăD aătrênăđ cătínhăc aăb ă căl ngă
MMSE thì và đ căl p,ădoăđó:
ThayăvƠoăcơngăth că(4.10),ăthƠnhăph nătínăhi uămongmu năs ăđ cărútăg năl i (4.11)
LU NăV NăTH CăS 56 Linh Pham (4.12)
Thành ph n tín hi uăkhơngăxácăđ nh đ căphơnătíchănh ăsau:
D a trên công th c , thành ph n s ă cóă
d ng:
XétăthƠnhăph năth ănh tătrongăcơngăth cătrên:
Doăđó, thành ph n s ăđ căvi tăl iănh ăsau:
LU NăV NăTH CăS 57 Linh Pham - ThƠnhăph năcanănhi uăc aăng iădùngăth ă gơyălênăng i dùng th :
(4.14)
tă . Vì và đ căl pănhauănên:
ThƠnhăph n đ căphơnătíchănh ăsau:
LU NăV NăTH CăS 58 Linh Pham ThƠnhăph n đ căphơnătíchănh ăsau:
LU NăV NăTH CăS 59 Linh Pham
Thay th , , , vào công th căbanăđ u, thành ph n s ăđ căvi tăl iă
nh ăsau:
G iăthƠnhăph nă cóăd ngănh ăsau:
G iăthƠnhăph nă cóăd ngănh ăsau:
LU NăV NăTH CăS 60 Linh Pham Nh ăv y,ăthƠnhăph n cóăth ăđ căvi tăl iănh ăsau:
Ễpăd ngă , , thành ph n cóăth ăđ căvi tăl iănh ăsau:
LU NăV NăTH CăS 61 Linh Pham
- Thành ph n gây nhi u thêm vào t iăđi m truy c p th :
(4.16)
Thành ph n nhi u thêm vào đ căphơnătíchănh ăsau:
(4.17)
T s tín hi u trên can nhi u c aăng i dùng th cóăth ăđ căcơngăth căhóaănh ă
sau:
(4.18)
Nh ăv y,ăt căđ ăd ăli u t iăđaăcó th đ tăđ c c a thi t b ng i dùng th s ăđ cătínhă nh ăsau:
�og (4.19)
4.3. Phơnă b ă cơngă su t trên đ ngă uplinkă b ngă thu tă toán block coordinate descent
Hi uăsu tăph ălƠăs ăbit thơngătinăcóăth ăđ cătruy năđángătinăc yătrênăm tăđ năv ăt năs . Trongăm tăthi tăk h ăth ngăphátăthu,ăhi uăsu tăph ăđ tăđ căcƠngăl năthìăcƠngăt t. Kí hi uă là m c công su t c a thi t b ng i dùng th , lƠăt căđ ăd ăli uăt iăđaăc aă ng iădùng th cóăth ăđ tăđ c, bài tốn phơnăb cơngăsu tătrênăđ ngăuplinkăđ ăt iă
LU NăV NăTH CăS 62 Linh Pham �ax
st
(4.20)
i uăki nărƠngăbu căchoăm căcôngăsu tăvƠoăkho ngă[0,1].ă i uăki nănƠyănh măchoăcôngă su tătruy năkhôngăơmăvƠăkhôngăv tăquáăcôngăsu tătruy năt iăđaămƠăh ăth ngăchoăphép.ă M cătiêuăc aăbƠiătoánălƠăt ngăt căđ ăt iăđaăđ tăđ căl nănh t.ăBƠiătốnătrênăkhơngăl i, ph ngăphápătr ngăs ăMMSEs ăđ căápăd ngănh mătìmăđi m t iă uăc căb ătrongă[8]
và [18] v iăcácăgi ăđ nhăd aătrênătr ngăh păSISOăchung nh ăthƠnhăph nătínăhi u khơng
xácăđ nhăcóătrungăbìnhăb ngăkhơng,ăcácăkíăt ăđ cătruy năcóătrungăbìnhăb ngăkhơng,ă ph ngăsaiăb ngăm tăvƠăđ căl p. B ăthuăcóăth ătínhătốnă căl ngăkíăt mongămu nă nh ăsauă v iă lƠăh ăs ăđi uăch nhăcóăth ăt ng biên đ ăvƠăxoayăpha.ă că l ngăl iăbìnhăph ngătrungăbìnhăMSEăgi aăkíăt ă căl ngă vƠăkíăt ămongămu n s ăcóăd ngănh ăsau:
(4.21)
Nh ăv y,ă căl ngăl iănƠyăđ căxemănh ălƠăm tăhƠmăl iăc aă .ăDoăđó,ă căl ng l i bìnhăph ng trung bình MSE nh nh t cho thi t b ng i dùng th s ăđ cătìmănh ă sau:
LU NăV NăTH CăS 63 Linh Pham ngăv iătr ngăh pănh ănh tăthìă cóăgiáătr ănh ăsau:
(4.22) Nh ăv y, căl ngăl iăt ngă ngălƠ:
��N�
(4.23)
Ễpăd ngăph ngăphápă căl ngăl iăbìnhăph ngătrungăbìnhănh ănh t tr ngăs ăhóa
MMSE trong [8] và [18],ăs ăd ng m t bi n s ă cho căl ngăl iăbìnhăph ngă
trung bình MSE thìăbƠiătốnăt iă u, t ngăđ ngăv iăbƠiătốnăt iă uăt ng hi uăsu t
LU NăV NăTH CăS 64 Linh Pham
�in �n
st
(4.24)
Bài toán trên xem nh ălƠăm tăbi năs ăchoăm tă căl ngăl iăMSEă , nên giáătr ăt iă
uăc abƠiătốnăcóăth ăđ tăđ căb ngăcáchăđ oăhƠmă �n theo :
(4.25)
Doăđi m t iă uăhóaă là ,ăt ngă ngăv iă ��N� nên hai bài tốn đ căxemă nh t ngăđ ng nhau. Doăđó,ăgiáătr ăt iă uăhóaăt ngăhi uăsu tăph ăl nănh tăs ăđ tăđ că v iăcùngăm tđi uăki nrƠngăbu c.ăNh ăv y,ăbƠiătốnăt iă uăm iătaăcóăth ăgi iăđ căb ngă cáchă t iă u t ngă ph n c a ba thành ph nă c aă bi nă , và .ă Thu tă tốnăblock
coordinate descent ápăd ngăđ cătrìnhăbƠyănh ăsau:
Thu tătốnă4.1:ăBáiătốnăt iă uăt iăđaăt ngăhi uăsu tăph ăđ căgi iăb ngăthu tătoánă block coordinate descent [8].
1. Kh iăt o:
o tăđ chính xác và ch n m c cơng su t b t kì
o G i lƠăth iăđi măhi năt i
o G i hàm m c tiêu t i th iăđi m là
�n M c c i thi n thu t toán
2. while do
3. Tínhătốnăh ăs ăđi uăch nhă đ ăchoă căl ngăl iăMSEă đ tănh ănh tă
LU NăV NăTH CăS 65 Linh Pham ��N�
5. Gi iăbƠiătốnăt iă uăsauănh mătìmătr ngăs ă v iă căl ngăl i :
�in �n
st
K tăqu ăbƠiătoánăt iă uătrênălƠ:
6. Gi iăbáiătoánăt iă uăv iăsauăv iăgiáătr ă và v aăcóăđ c.ăTrongăđó,ă că l ngăl iă thayăđ i theo h s công su t :
�in st
7. C pănh tăgiáătr ăh ăs ăcơngăsu tă
8. Tính tốn
9. end while
10. uăra:ăH ăs ăcôngăsu tă v i
Xem xét gi iăbƠiătoánăt iă uă ăb căs ă6ăc aăThu tătốnă4.1, đ đ năgi năhóaăcácăphépă
tính tốn, ��N� s ăđ căbi năđ iănh ăsau:
��N�
LU NăV NăTH CăS 66 Linh Pham Nh ăv y,ăhƠmăm cătiêuăs ăđ căbi năđ iănh ăsau:
Tách t ngătrênăthƠnhăt ngăph n theo :
G iăhàm đ căbi uădi nătheo bi nă cóăd ngănh ăsau:
LU NăV NăTH CăS 67 Linh Pham (4.26)
LU NăV NăTH CăS 68 Linh Pham
4.4. Thu tătốnăh căt ngăc ngtrongăphơnăb ăcơngăsu tătrongăh ăth ngăcell-free masive MIMO
4.4.1. Phân tích bài tốn
Các thu tătốnăh căsâu đ căápăd ngănh măm cătiêuăt oăraăm tămơăhìnhăm ngăthayăth ă
cho các thu tătốnăph căt pănh ăblock coordinate descent.ăQătrìnhăhu năluy năchoăm tă
mơăhìnhăm ngăth ngăthìăs ăm tăr tănhi uăth iăgiannh ngăđ iăl iăqătrìnhăd ăđốnăc a mơăhìnhăm ngăh căsơuăs ăt năr tăítăth iăgianănh ăvƠoăs ăd ngăcác tr ngăs ăhu năluy nă trongămơăhìnhăm ng.ă ăápăd ngăđ căthu tătốnăthìthu tătốnăh căsơuuăc uăthuăth pă d ăli uătrongămơiătr ng.ăThơngăth ng,ăt tăc ăthôngătinăd ăli uăđ uăkhôngăth ăđ căthuă th păhoƠnăh oănênăd ăli uăđ căthuăth păđ ăt oăthƠnhăm tăt păd ăli uăđ iădi năđ l n đ căg iălƠăt păhu năluy n. QuáătrìnhănƠyăs ătiêuăt nănhi uăth iăgianăđ ăth căhi n.ăKhôngă nh ngăth ,ăs ăthayăđ iătrongămơiătr ngălnădi năraăliênăt c,ăv yănênăcóăth ăd năt iăt pă hu năluy năđ căs ăd ngăs ăt oăraăm tămơăhìnhăm ngăkhơngăphùăh p.ăDoăđó,ăcáchăth că th ngăđ căs ăd ngăđ ăkh căph călƠăth căhi năhu năluy năl iăt ăđ u,ănóiăcáchăkhác, thu tătốnăuăc uăti păt căthuăth păd ăli uăvƠăti păt căhu năluy năchoăm ng.ăDoăđó,ăđ ă kh căph cămơăhìnhăkhơngăphùăh pădoăthayăđ iăc aămơiătr ng,ălu năv năs ăápăd ngă ph ngăphápăh căt ngăc ng.ăPh ngăphápăkhácăbi tă ăđi măthayăvìăph iăthuăth păd ă li uăr iăm iăhu năluy năthìăvi căhu năluy năđ căth căhi năd aătrênăhƠnhăđ ngăvƠăph nă th ngăph năh iăt ămơiătr ng.ăPh ngăphápănƠyăs ăth căhi nătrênăchínhăm uăv aăthuă th păđ c.ăV yănênăkhiămôiătr ngăthayăđ i,ăm ngăh căt ngăc ngăc ngăthayăđ iăđ ă thích nghi.
Trong m ngăcell-free massive MIMO,ăt tăc ăđi mătruyăc păđ uăthamăgiaăvƠoă
truy năt iăthôngătintrongăc ăđ ngăuplinkăvƠăđ ngădownlink.ăTrongăđ ngăuplink,ătínă hi uămƠăđi mătruyăc păthuăđ căt ăcácăthi tăb ăng iădùng,ăthayăvìăđ căx ălỦăt iăchínhă đi mătruyăc păđó,ăthìăchúngăđ căg iăđ năđ năv ăx ălỦătrungătơm.ăVƠăt iăđ năv ăx ălỦă
trung tâm, tín hi uăđ căt ngăh păl iăt ăt tăc ăđi mătruyăc păs ăđ cădùngăđ ăd ăđốnăkíă
t ămƠăthi tăb ăng iădùngăg i.ă ơyălƠăm tăđ căđi măquanătr ngăđ cănh măđ năđ ăcóă th ăcóăápăd ngăh căt ngăc ng. uătiên,ăm ngăh căt ngăc ngăcóăth ăt ădoăs ăd ngă lu ngăd ăli uăđ căthuăđ căt ămôiătr ngăt iăđ năv ăx ălỦătrungătơm.ă i uănƠyăc ngă choăphépăchiaăs ăd ăli uăgi aăcácăagent.ăTh ăhai, t căđ ăx ălỦătínăhi uăc aăđ năv ăx ălỦă
LU NăV NăTH CăS 69 Linh Pham ba,ăt tăc ăcácăđi mătruyăc păđ uăk tăn iăv iăđ năv ăx ălỦătrungătơm.ă i uănƠyăchoăphépă c pănh tăthôngătinătr ngăs ăm ngăh căt ngăc ng t ăđ năv ăx ălỦătrungătơm đ năđi mă truyăc p,ăđ năthi tăb ăng iădùng.
Gi ăs ăcoiănh ăt tăc ăthi tăb ăng iădùnglƠăm tăagent,ăthìăm tăhƠnhăđ ngăt ngă ngăch năm căcơngăsu tăchoăt tăc ăthi tăb ăng iădùng. N uăs ăm căcôngăsu tătrongă m ngălƠă100ăm c, t ngăs ăhƠnhăđ ngăt ngă ngăcóăth ăch nălƠă .ăNh ăv y,ăt ngăs ă hƠnhăđ ngăt ngătheoăhàm s ăm ,ăv iăs ăm ăt ngă ng s ăthi tăb ăng iădùng. V yănên,ă m tăm ngăh căt ngăc ngăv iăm tăagentătr ănênăkhôngăhi uăqu ăkhiăs ăl ngăthi tăb ă ng iădùngăt ngălên. Thay vào đó,ăm ngăh căt ngăc ng nhi uăagent đ căápăd ng, t ngă ngăv iăm iăagentălà m tăthi tăb ăng iădùng.ăT păhƠnhăđ ngăc aăm iăagentăs ă t ngă ngăv iăcác m căcôngăsu t. Tuy nhiên,ăn uăs ăm căcơngăsu tăt ngălênăthìăvi căl pă b ngăgiáătr ăhƠnhăđ ngătr ănênăkhóăkh ndoăs ăl ngănhi uătr ngătháiăậ hƠnhăđ ngăcóă th ăđ tăđ cc ngăt ngătheoăs ăm căcơngăsu t. Cho nên, m ng neural network s đ c
s d ng đ mơ hình hóa l i b ng giá tr tr ng thái ậhƠnhăđ ng. M t hàm Q-function s
đ c s d ngăđ thay th b ng tr ng thái ậhƠngăđ ng. Hàm Q-function s có d ngănh ă
sau .ăTrongăđó,ă và l năl tălƠătr ngătháiăvƠăhƠnhăđ ngăđangăxemăxét.ăCònă lƠătr ngs đ csinhăraăt ăm ngăneural network, và là đ iădi năchoăk tăqu ăhu năluy nă c aăm ng.ă
Thu tătoánăh căt ngăc ngăsơuănhi uăagentăđ căxơyăd ngăd aătrênă[19] và [20]. Trongăđó,ăqătrìnhăth căhi năh căt ngăc ngăs ăđ căchiaălƠmăhaiăb c.ăB căm tălƠă thuăth păd ăli uăt ngătácăc aăagentăv iămôiătr ngăt iăm iăb căth iăgianăvƠăl uătr ă chúngăl iătrongăb ănh ăphátăl i.ăB căth ăhaiălƠăs ăd ngăd ăli uăng uănhiênătrongăb ă nh ăphátăl iđ hu n luy n m ng.ăDoăđó,ăhaiăm ng deep Q-learning đ c s d ng. M ng
deep Q-learningădùngăđ hu n luy năđ c kí hi u là và m ng deep Q-learning
đ cădùngăđ thu th p d li uăđ c g i là . G iăd ăli uăthuăth păt iăb căth i
gian là ,ăđ căl uătr trong b nh phát l i . M ng v iătr ng
s t iăb c th i gian s đ cădùngăđ hu n luy n các d li u ng u nhiên trong
b nh phát l i. M ng t ngă ngăv iătr ngăs s đ c các agent s
d ng đ t ngătácăv iămôiătr ng. G i lơ m u ng u nhiên cóăkíchăth c l ytrongăb ă
LU NăV NăTH CăS 70 Linh Pham (4.27)
và hàm m c tiêu t i b c th i gian :
�ax (4.28)
C ăm tăkho ngăth iăgianăchoătr c,ătr ngăs ă s ăđ căc pănh tăb ngătr ngăs ă .
Hình 4.2: Minh h a thu t toán h căt ngăc ng nhi uăagentăđ xu t.
M cătiêuăc aăbƠiătốnălà t iăđaăhóaăt ngăt căđ ăd ăli uăcaoănh tăcóăth ăđ tăđ că c aăt tăc ăthi tăb ăng iădùng.ăV yănênăkhiăápăd ngăm ngăh căt ngăc ngăthìăm iăthi tă b ăng iădùngăs ăch năm tăm căcôngăsu tăphùăh păđ ăt ngăhi uăsu tăph ălƠăcaoănh t.