Dự báo chuỗi thời gian có tính hỗn loạn dựa vào mạng nơ ron học sâu lstm

I H C QU C GIA TP.HCM TR NG I H C BÁCH KHOA V N T N VI N D BÁO CHU I TH I GIAN CĨ TÍNH H N LO N D A VÀO M NG N -RON H C SÂU LSTM NGÀNH: KHOA H C MÁY TÍNH Mà NGÀNH: 8480101 LU N V N TH C S TP H CHÍ MINH, THÁNG 07 N M 2022 I H C QU C GIA TP.HCM TR NG I H C BÁCH KHOA V N T N VI N D BÁO CHU I TH I GIAN CĨ TÍNH H N LO N D A VÀO M NG N -RON H C SÂU LSTM NGÀNH: KHOA H C MÁY TÍNH Mà NGÀNH: 8480101 LU N V N TH C S TP H CHÍ MINH, THÁNG 07 N M 2022 CỌNGăTRỊNHă CăHOĨNăTHĨNHăT I TR NGă IăH CăBỄCHăKHOA ậ HQGă-HCM Cánăb ăh ngăd năkhoaăh că: PGS.TS D ng Tu năAnh (Ghiărõăh ,ătên,ăh căhƠm,ăh căv ăvƠăch ăký) Cánăb ăch mănh năxétă1ă: TS.ăD ngăNg căHi u (Ghiărõăh ,ătên,ăh căhƠm,ăh căv ăvƠăch ăký) Cánăb ăch mănh năxétă2ă: TS LêăV năQu căAnh (Ghiărõăh ,ătên,ăh căhƠm,ăh căv ăvƠăch ăký) Lu năv năth căs ăđ căb oăv ăt iăTr ngƠyă21 thángă07 n mă2022 ngă iăh căBáchăKhoa,ă HQG Tp HCM ThƠnhăph năH iăđ ngăđánhăgiáălu năv năth căs ăg m: (Ghiăărõăh ,ătên,ăh căhƠm,ăh căv ăc aăH iăđ ngăch măb oăv ălu năv năth căs ) PGS.TS.ăHu nhăT ngăNguyên TS.ăNguy năTi năTh nh TS.ăD ngăNg căHi u TS.ăLêăV năQu căAnh PGS.TS.ăVõăTh ăNg căChơu Xácănh năc aăCh ăt chăH iăđ ngăđánhăgiáăLVăvƠăTr ngƠnhăsauăkhiălu năv n đưăđ căs aăch aă(n uăcó) CH T CH H I NG TR ngăKhoaăqu nălýăchuyênă NG KHOA KH&KTMT IăH CăQU CăGIAăTP.HCM NG I H C BÁCH KHOA TR C NG HÒA Xà H I CH NGH A VI T NAM c l p - T - H nh phúc NHI M V LU N V N TH C S H ătênăh căviên:ăV năT năVi n MSHV: 1970221 NgƠy,ătháng,ăn măsinh:ă04/08/1983 N iăsinh:ăQu ngăNgưi NgƠnh:ăKhoa H căMáyăTính Mưăs :ă8480101 I TÊN TĨI: D ăBỄOăCHU IăTH IăGIANăCịăTệNHăH NăLO NăD AăVĨOă M NGăN -RONăH CăSỂU LSTM II NHI M V VĨ N I DUNG: - Nghiênăc uăph ngăphápăxơyăd ngăl iă(táiăt o)ăkhôngăgianăpha - Nghiênăc uăph ngăphápăk tăh păgi aăm ngăn -ronăh căsơuăLSTMăvƠătáiăt oăkhơngă gianăphaăđ ăđ aăraăm tămơăhình,ăm tăph ngăphápăh căsơuăm iăđ ăgi iăquy tăl păcácă bƠiătốnăv ăchu iăth iăgianăcóătínhăh nălo n - Hi năth cămơăhìnhăm ngăn -ronăh căsơuăLSTM k tăh păv iătáiăt oăkhôngăgianăpha - Soăsánhăhi uăqu ăd ăbáoăc aăm ngăn -ronăh căsơuăLSTMăk tăh păv iătáiăt oăkhôngă gianăphaăvƠăm ngăn -ronăh căsơuăDBNăk tăh păv iătáiăt oăkhôngăgianăpha trênăcácăb ă d ăli uăt ngăh păvƠăb ăd ăli uăth căt III NGĨY GIAO NHI M V : 06/09/2021 IV NGĨY HOĨN THĨNH NHI M V : 06/06/2022 V CÁN B H NG D N: PGS.TS D NGăTU NăANH Tp HCM, ngày 06 tháng 06 n m 2022 CÁN B H NG D N (H ătênăvƠăch ăký) TR NG KHOA KH & KTMT (H ătênăvƠăch ăký) L IC M N  Tr cătiên, tôiăxinăg i l i c mă năchơnăthƠnhăvƠăsơuăs căđ n th y PGS.TSăD Tu n Anh, th y đưătr c ti păh ngă ng d n vƠăgiúpăđ tôiăr t nhi u su t quáătrìnhăth c hi n lu năv năth căs ănƠy.ăTh yăkhơngăch h ng d n t nătình,ăchuăđáo mƠăcịnăcungăc p choătôiănh ng tƠiăli u hay, nh ng ki n th c vƠănh ng l iăkhuyênăvôăcùngăquýăgiá, nh ng l i nh năxét,ăgópăý c a th yăđưăgiúpătơiăcóăh ngăđiăđúngătrongăqătrìnhăth c hi năđ tƠiălu năv nănƠy.ăTh y chínhălƠăm t nh ngănhơnăt quan tr ngăvƠăkhôngăth thi u đ t oăđ ng l căchoătôiăhoƠnăthƠnhălu năv nănƠy Tơiăxin chơnăthƠnhăbi tă năs d y d t nătình,ăchuăđáoăc a quýăth yăcô giáoă khoa Khoa h căvƠăK thu tăMáyătínhătr ngă i h căBáchăkhoaăTP.ăHCM Tơiăc ngăxinăchơnăthƠnhăg i l i c mă năđ năgiaăđình,ăb năbè,ăđ ng nghi p, nh ng ng iălnăsátăcánh,ăđ ngăviên,ăc v ătinhăth n,ăgópăýăvƠăt o m iăđi u ki n thu n l i, t t nh tăđ tơiăcóăth hoƠnăthƠnhălu năv năt t nghi pănƠy.ăTơiăc ngăg i l i c mă năđ n nh ng ng i b n h căviênăcác khóaăcaoăh căđưăchiaăs ki n th c, kinh nghi măchoătôi Cu iăcùngătôiăđưăc g ngăhoƠnăthƠnhăt t nh t cho lu năv nănƠy,ătuyănhiênăkhóă tránhăkh i thi uăsótădoăt mănhìnăc a b năthơnăcònăh n ch , r t mong nh năđ ýăc aăqăth yăcơ i c s gópă TịM T T LU N V N Trong nh ng th păniênăg năđơyăcácămơăhìnhăd báoăchoăd li u chu i th i gian khôngăng ngăphátătri năvƠăđ c c i ti năth ngăxuyên.ăTrongăđóăcóănhi uăph ngăphápă nh măgiúpăt iă uăcácăgi i thu tăc ngănh ăchoăkh n ngăd báoăt tăh n.ăM ngăn -ron nhơnăt oănóiăchung, m ng n -ron RBF (RadialăBasisăFunction),ăvƠăm ng n -ron h c sâu DBN (Deep Belief Network) nóiăriêngăc ngăđ vƠăđ cănghiênăc u r t nhi uăđ tƠiă căápăd ngăvƠoăcácămơăhìnhăd báoăth c ti n c a d li u chu i th i gian nh vƠoă kh n ngăx p x hƠmăphi n.ăTuyănhiên,ănhi uănghiênăc u cho th yăđ i v i d li u chu i th iăgianăcóătínhăh n lo năthìăch tăl đ ng d báoăc a m ngăn -ronănhơnăt oăkhôngă c cao Trong lu năv nănƠy,ăchúngătơiăxơyăd ngăvƠăhi n th cămơăhìnhăd báoăd li u chu i th iăgianăcóătínhăh n lo n s d ng m ng n -ron h c sâu LSTM (Long Short Term Memory) k t h p v i lýăthuy t h n lo n (c th lƠăxơyăd ng l iăkhơngăgianăpha).ăụă t ngăchínhălƠăxây d ng l i khơng gian pha (phase space reconstrucion) đ xácăđ nh th i gian tr vƠ s chi u nhúngăc a chu i th i gian cóătínhăh n lo n t d li uătr c đ aăvƠoăm ng n -ron LSTM đ d báoăchu i th iăgianăcóătínhăh n lo n.ăQătrìnhătáiă t o khơngăgianăphaătr c hu n luy n m ngăn -ron LSTM v i hy v ng s cho k t qu t tăh năcácămơăhìnhăd báoăkhác Trongăqătrìnhăth c nghi m c a vi c hu n luy n m ng LSTM k t h p v i xơyă d ng l iăkhôngăgianăpha vƠăd báo v iăcácăb d li u t ph ngătrìnhălýăthuy tăvƠăb d li u th c t cóăđ cătínhăh n lo n, mơăhìnhănƠyăđưăchoăth y kh n ngăd báo t tăh nă so v iămơăhìnhăm ngăn -ron h căsơuăDBNăk t h p v iălýăthuy t h n lo n Cácăt khóa: M ngăn -ron LSTM, DBN, Gi i thu t lan truy n ng c qua th i gian (BPTT), Lýăthuy t h n lo n, Chu i th iăgianăcóătínhăh n lo n, D báoăchu i th i gian ii ABSTRACT In recent decades, the forecast models for time series data have been continuously developed and improved Among them, there are many methods to optimize the algorithms as well as to enhance predictability Artificial neural network in general, RBF (Radial Basis Function) neural network, DBN (Deep Belief Network) in particular have been studied in a variety of domains and applied in several practical time series data due to their learning and nonlinear function approximation ability However, many studies show that the simple forecast models of neural network can not forecast well the chaotic time series data In this work, we study to use LSTM neural network plus the phase space reconstruction for forecasting chaotic time series data The main idea of reconstructing the phase space is to determine the delay time and the number of embedding dimentions of the chaotic time series from the dataset before training LSTM neural network to predict the chaotic time series The process of reconstructing the phase space before training the LSTM neural network is expected to give better result in term of accuracy than other predictive models Experimental results on several real and theoric datasets of chaotic time series reveal that LSTM neural network plus the phase space reconstruction gives higher accuracy than DBN neural network with phase space reconstruction Keywords: LSTM Neural Network, DBN Neural Network, RBM, Chaos Theory, Chaotic Time Series, Time Series Prediction, Phase Space Reconstruction iii L I CAM OAN Tôiăxinăcamăđoanăr ng ngo i tr cácăk t qu tham kh o t cácăcơngătrìnhăkhácă nh ăđưăghiătrongăm c tham kh o c a lu năv n,ăcácăcơngăvi cătrìnhăbƠyătrongălu năv nă nƠyălƠădoăchínhăchúngătơiăth c hi năvƠăch aăcóăph n n iădungănƠoăc a lu năv nănƠyă đ c n păđ l y m t b ng c p tr ngăđ i h cănƠoăkhác Tp H ChíăMinh,ăngƠy 06 tháng 06 n m 2022 Kýătên V năT n Vi n iv M CL C L I C Mă N i TịMăT T LU NăV N ii ABSTRACT iii L IăCAMă OAN iv M C L C v DANH M CăHỊNHă NH viii DANH M C B NG xii CH NGă1.ăGI I THI Uă 1.1 C ăS HỊNHăTHĨNHă 1.2.ăụăNGH Aă TĨI TĨI TĨI 1.2.1.ăụăngh aăth c ti n 1.2.2.ăụăngh aăkhoaăh c 1.3 PH MăVIă 1.4.ăTịMăL TĨI Tă C NH NG K T QU C 1.5 C UăTRÚCăBỄOăCỄO CH NGă2.ăC ăS LụăTHUY T 2.1 D LI U CHU I TH I GIAN 2.2 D LI U CHU I TH IăGIANăCịăTệNHăH N LO N 2.2.1 Tínhăh n lo n 2.2.2 Cáchăxácăđ nhătínhăh n lo n d aăvƠoăs m ăLyapunov 2.2.3.ăXơyăd ng l iăkhôngăgianăphaă(Phase Space Reconstruction) 12 2.3 M NGăN -RON H CăSỂUăLSTM 17 2.3.1.ăBênătrongăLSTM 20 2.3.2 M ng LSTM 22 2.4 M t s hƠmăchiăphíă(cost function)ăđánhăgiáăhi u qu choămơăhìnhăd báo 24 CH NGă3.ăCỄCăCỌNGăTRỊNHăNGHIểNăC UăLIểNăQUAN 25 v 3.1 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RON RBF 25 3.2 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RONăRBFăVĨăLụăTHUY T H N LO N 28 3.3 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RON H CăSỂU DBN 28 3.4 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RON H CăSỂUăDBNă(M NG BOLTZMAN GI I H N K T H P V I M NG MLP TRUY N TH NG) 30 3.5 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RON H CăSỂUăDBNăK T H P V IăLụăTHUY T H N LO N 32 3.6 D BỄOăCHU I TH IăGIANăCịăTệNHăH N LO N S D NG M NGăN RON H CăSỂUăLSTMă(LONGăSHORT-TERM MEMORY) 32 CH NGă4.ăXỂYăD NGăMỌăHỊNHăD BỄOăCHU I TH I GIAN H N LO N D AăVĨOăM NGăN -RON H CăSỂUăLSTMăK T H P V IăTỄIăT OăKHỌNGă GIAN PHA 36 4.1 GI I THU T LAN TRUY NăNG C QUA TH I GIAN BPTT 36 4.1.1.ăGiaiăđo n lan truy n ti n 36 4.1.2.ăGiaiăđo n lan truy 4.2 K c 38 THU T KH I T O TR NG S CHO M NGă N -RON H Că SỂUă LONG SHORT-TERM MEMORY (LSTM) 46 4.3.ăXỂYăD NGăMỌăHỊNHăD 4.3.1.ăụ t BỄO 51 ng 51 4.3.2 Hi n th c 53 CH NGă5.ăTH C NGHI MăVĨă ỄNHăGIỄ 58 5.1.ăCỄCHăTH C TH C NGHI M 58 5.2 K T QU TH C NGHI MăVĨă ỄNHăGIỄ 59 5.2.1 B d li uăđ c t o b iăph ngătrìnhăLorenz 59 5.2.2 B d li uăđ c t o b iăph ngătrìnhăMackey-Glass 64 5.2.3 B d li uăđ c t o b iăph ngătrìnhăRossler 69 vi D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM MAE 0.000103 0.000112 MSE 0.000001 0.000006 MAPE 0.16% 0.35% MAE 0.005123 0.006641 đenăm t MSE 0.000051 0.000082 tr i MAPE 3.68% 6.10% T giáăđôăla MAE 0.004414 0.007289 Úcăv iăđôă MSE 0.000032 0.000084 la M MAPE 1.08% 1.77% T giáăEuro MAE 0.004690 0.006120 v i đôălaă MSE 0.000037 0.000061 M MAPE 1.13% 1.49% Giáăc MAE 0.010945 0.016075 phi u IBM MSE 0.000258 0.000532 MAPE 2.55% 3.65% Rossler đoăv t B ng 5-9 Th i gian hu n luy n c a hai mơ hình b y (7) b d li u (đ n v đo: second) M ngăn -ron h căsơuă M ngăn -ron h c sơuă LSTM_PSR DBN_PSR Lorenz 164.41 513.00 Mackey-Glass 96.77 151.00 Rossler 506.34 395.00 Sunspot 267.47 203.46 AUD / USD 407.90 1270.55 EUR / USD 439.79 1284.50 IBM 378.05 109.02 T p d li u H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 92 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Nh n xét: i v i cácăt p d li uănƠyăthìămơăhìnhăLSTM k t h p v i táiăt o khôngăgianăphaăc n nhi u th iăgianăđ hu n luy năh năso v i mơăhìnhăDBN k t h p v iătáiăt o khơngăgianăpha K t qu cho th y cácăch s MSE,ăMAEăvƠăMAPE c a m ng LSTM k t h p v iătáiăt oăkhôngăgianăphaăđ uăcaoăh năm ng DBN k t h p v i táiăt oăkhôngăgianăpha 5.3 NH N XÉT CHUNG Thôngăquaăk t qu th c nghi mătrênăb y (7) b d li uăchúngătôiănh n th y r ng m ngăn -ron h căsơuăLSTM k t h p v i táiăt o khôngăgianăpha choăđ chínhă xácăd báoăcaoăh n so v iămơăhìnhăm ngăn -ron h căsơuăDBNăk t h p v iătáiăt o khôngăgianăphaătrênăc cácăb d li u sinh t cácăph Mackey-Glass, Rossler) vƠăcácăb d li u th c t ngătrìnhătốnăh c (Lorenz, i uănƠyăchoăth y vi c s d ng mơăhìnhăm ngăn -ron h căsơuăLSTMăk t h p v i táiăt o khôngăgianăphaă đ hu n luy n s hi u qu h năsoăv i mơăhìnhăm ngăn -ron h căsơuăDBNăk t h p v i táiăt o khơngăgianăpha,ănóăgiúpăíchăr t nhi u cơngăvi c d báo.ă V m t sai s : m ngăn -ron h căsơuăLSTM k t h p v i táiăt o khôngăgianăphaă cho k t qu v m t sai s t t h n so v iămơăhìnhăDBN k t h p v iătáiăt o khôngăgian pha Cácăch s MSE,ăMAEăvƠăMAPEătrênătoƠnăb b y (7) t p d li uăđ c hu n luy nătrênămơăhìnhăLSTM k t h p v i táiăt o khôngăgianăphaăđ u t t h năsoăDBN k t h p v iătáiăt o khôngăgianăpha.ă V m t th i gian: Vi c hu n luy n m ng LSTM k t h p v iătáiăt o khôngăgiană pha m t nhi u th i gian h năsoăv iămơăhìnhăDBN k t h p v i táiăt o khôngăgianăpha trênăbaă(3) b d li u: Rossler, v tăđenăm t tr iăvƠăIBM.ă ơyăc ngălƠăs đánhăđ i ph i hu n luy n m ngăn -ronăcóăs t ng n nhi uăh n.ăKhiăhu n luy n m ngăn -ron sơuăh năđ ngăngh aăs thơngăs (cácătr ng s weightsăvƠăbias)ăc ngănhi uăh n,ădoăđóă c n nhi u th iăgianăđ hi u ch nh (fine tuning)ăh n.ăTuyăv y, th iăgianăđ hu n luy n m ng LSTM k t h p v iătáiăt oăkhơngăgianăphaăc ngăcóăth ch p nh năđ c Trongăđi u ki n th i gian c a lu năv n,ăchúngătôiăch aăth ch yătrênăth t nhi u b d li u th iăgianăcóătínhăh n lo năh năn aăđ đ aăraăth ngăkêăm tăcáchătinăc y h nă v hi uăn ngăc a m ng LSTMăkhiăxơy d ng l iăkhơngăgianăpha nênăđi u kh ngăđ nh trênăcóăth đ căxemălƠăm t k t lu nărútăraăt m t s th c nghi măbanăđ u H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 93 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM CH Trongăch hi năđ NG K T LU N ngănƠyăchúngătơiătrìnhăbƠyăv cácăk t qu mƠăchúngătơiăđưăth c c lu năv nănƠyăcùngăv i nh ng h n ch vƠăh 6.1 ngăphátătri n c aăđ tƠi ÁNH GIÁ K T QU 6.1.1 Nh ng công vi c đư lƠm đ c Trongăqătrìnhăth c hi năđ tƠi,ăchúngătơiăđưăth c hi năcácăcơngăvi căsauăđơy: ▪ Nghiênăc uălýăthuy t c ăb n v d li u chu i th iăgianăcóătínhăh n lo n ▪ Nghiênăc uălýăthuy t xơyăd ng l i khôngăgianăpha ▪ Nghiênăc u m ngăn -ron h căsơuăLSTM vƠăthu tătoánăliênăquanăt i vi c hu n luy n m ngăn -ron LSTM lƠ gi i thu t lan truy c qua th i gian (Backpropagation Through Time) ▪ Nghiênăc u framework Keras đ ph c v cho vi căxơyăd ngămơăhìnhă d báo ▪ Hi n th c h th ng d báoăd li u chu i th iăgianăcóătínhăh n lo n s d ng m ngăn -ron h căsơuăLSTM k t h p v i táiăt o khơngăgianăpha ▪ Ki mătraăđ chínhăxácăc aămơăhìnhăLSTM k t h p v iătáiăt oăkhôngă gian pha trênăb y (7) b d li u bao g m ba (3) b d li u t ng h p (synthetic data) (t ph ngătrìnhătốnăh c)ăvƠăb n (4) b d li u th c t (real world data) vƠăđ tăđ c k t qu d báoăv iăđ chínhăxácăcaoă h năsoăv iămơăhìnhăm ngăn -ron DBN k t h p v i táiăt o khôngăgian pha trênăt t c b d li u 6.1.2 Nh ng đúc k t v m t lý lu n M ngăn -ron h căsơuăLSTM k t h p v i táiăt o khơngăgianăphaăcóămơăhìnhă ph c t păh năm ng DBN k t h p v iătáiăt oăkhôngăgianăpha.ăTr c hu n luy n mơăhìnhăchúngătaăph iăxơyăd ng l i khôngăgiaăphaăb ngăcáchăxácăđ nh th i gian tr , xácăđ nh l i s chi uănhúngăvƠătínhăs m ăLyapunov.ă i uănƠyăgơyăkhóăkh năchoă ng iădùngăh nălƠăch dùngămơăhìnhăhu n luy năđ c h tr b iăcácăth ăvi năcóăs n nh ăTensorflow,ăKeras,ă… H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 94 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Tuyăcóăth i gian hu n luy nălơuăh n (baătrênăb y b d li u),ănh ngănhìnăchungă m ng LSTM k t h p v i táiăt o khôngăgianăphaăcho k t qu d báoăt tăh năsoăv i m ng DBN k t h p v iătáiăt o khôngăgianăpha.ăK t qu th c nghi m t b y (7) b d li uăđưăch ng t u nƠy 6.1.3 Các m t h n ch Vi căxácăđ nhăcácăsiêuăthơngăs (hyper parameter) c uăhìnhăchoăm ng LSTM lƠăkhácănhauăđ i v i m i t p d li uăkhácănhau.ăVi cătìmăraăcácăsiêuăthơngăs phùă h p cho m ng LSTM h i t đ i v i m i t p d li u cịnăkhóăkh n.ăChínhăvìăv yăchúngă ta s m t nhi u th iăgianăđ th c hi năđi uănƠyăn uăch aăcóăkinhănghi m vi c u ch nhăcác siêu thôngăs đ hu n luy n m ngăn -ron h căsơuănóiăchung.ăVƠăm i l năđi u ch nhăthôngăs chúngătaăph i hu n luy n l i cho m ngăđ ki m tra k t qu c aăthơngăs t ngă ng v iămơăhìnhănh ăth nƠo.ă i uănƠyăđịiăh i c năcóăm t gi i thu tăđ cóăth t đ ng h căđ căcácăthơngăs c a m ng ng v i m i b d li uăkhácă NgoƠiăra,ăchúngătơiăch aăcóăđi u ki n ch y th c nghi mătrênăth t nhi u b d li u th i gian cóătínhăh n lo n tin c y v ch tăl 6.2 H cácăl nhăv căkhácănhauăđ đ aăraăm t k t lu năđángă ng d báoăc aămơăhìnhăm ngăn -ron h căsơuăLSTM NG PHÁT TRI N Vi c hu n luy nămơăhìnhăm ngăn -ron h căsơuăđịiăh i ng i s d ng c n cóă nhi u k thu tăvƠăkinhănghi m l a ch năcácăsiêuăthơngăs cho mơăhìnhăhu n luy n cho k t qu d báoăchínhăxácănh tăcóăth C nănênăcóăcácăcơngăc h tr vi c ch n cácăsiêuăthơngăs phùăh p,ăđi uănƠy giúpăíchăr t nhi uăchoăng iădùng i v iăquáă trìnhăhu n luy n m ng,ăcóăth c i ti n vi căxácăđ nhăcácăthôngăs c a m ng LSTM thôngăquaăcácăgi i thu t v di truy n (GA), gi i thu t t iă uăhóaăb yăđƠnă(particle swarm optimization - PSO), hay gi i thu t Harmony Search m tăcáchăt đ ng.ăCácă gi i thu tănƠyăs tìmăraăđ nh t v i ch tăl ng d báoăcaoănh t i v iăch giao ti p v iăng căthôngăs t t nh tăđ m ng LSTM cóăth h i t nhanh ngătrình,ăc năđóngăgóiăl iăthƠnhăm tăch ngătrìnhăcóăgiaoădi năđ i s d ng.ăCóăth tíchăh păcácămơ-đunănƠyătrongăm t trang web đ H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 95 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM m iăng iăcóăth t iălên m t file d li u d ng chu i th iăgianăd ho căfileăexcelă(.csv)ăđ ki m th ch tăl i d ng text (.txt) ng d báoăc a m ng LSTM đ i v i nhi u d li uăkhácănhau H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 96 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM TĨI LI U THAM KH O [1] L Ma, X Xu, "RBF Network-BasedăChaoticăTimeăSeriesăPredictionăandăIt’să Application in Foreign Exchange Market," Proceedings of the Fist International Conference on Complexity Science Management, Wuhan, 2007 [2] H Zhao, "A Chaotic Time Series Prediction based on Neural Network: Evidence from the Shanghai Composite Index in China,," Proc of International Conference on Test and Measurement (ICTM), pp 382-385, 2009 [3] P Shang, X Li, S Kamae, "Chaotic Analysis of Traffic Time Series," Chaos Solitons & Fractals 25, pp 121 -128, 2005 [4] Y Zhang, J Zhu, J Zhang, "Short-term Passenger Flow Forecasting based on Phase Space Reconstruction and LSTM," Proc of 3rd Int Conf on Electrical and Information Technologies for Rail Transportation (EITRT), LNEE 482, 2017 [5] Z Shudong, L Weiguang, N Jun, W Guangzhi and Z Lina, "Combined Method of Chaotic Theory and Neural Networks for Water Quality Prediction," Journal of Northeast Agricultural University, vol 17, pp 71-76, 2010 [6] J C Xie, T P Wang, J L Zhang, Y Shen, "A Method of Flood Forecasting of Chaotic Radial Basis Function Neural Network," Proc of 2nd International Workshop on Intelligent Systems and Applications (ISA), Wuhan, China, 22-23 May, 2010 [7] J Zhang, Y Chen, Y Wang, "Chaotic Analysis of Seismic Time Series and Short-term Prediction with RBF Neural Networks," Proc of 3rd International Conference on Genetic and Evolutionary Computing, pp 506-509, 2009 [8] T Kuremoto, M Obayashi, S Kimura, K Kobayashi, "Times Seires Forecasting Using Restricted Boltzmann Machine," Communications in Computer and Information Science, 2012 H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 97 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM [9] T Kuremoto, M Obayashi, K Kobayashi, T Hirata, S Mabu, "Forecast Chaotic Time Series Data by DBNs," 7th International Congress on Image and Signal Processing, 2014 [10] Ta Ngoc Huy Nam, Duong Tuan Anh, "Chaotic time series prediction with deep belief networks: an empirical evaluation," Sci Tech Dev J- Engineering and Technology (VNU-HCM) 3(SI1), pp SI102-SI112, 2020 [11] M Madonno, T Gibbons, "Learning and modeling using LSTM recurrent Neural Networks," Proc of MICS 2018, 2018 [12] M Sangiorgio, F Dercole, "Robustness of LSTM neural networks for multistep forecasting of chaotic time series," Chaos, Solitons and Fratals, vol 139, p 110045, 2020 [13] J C Sprott, Chaos and Time-series Analysis, Oxford University Press Inc., 2003 [14] Z Liu, "Review Article Chaotic Time Series Analysis," Mathematical Problems in Engineering, vol 2010, pp 1-31, 2010 [15] H Kantz, T Schreiber, Nonlinear time series analysis, Cambridge University Press, 2004 [16] H Yazdani, "Prediction of chaotic time series using neural network," in Proceeding of the 10th WSEAS International Conference on NEURAL NETWORKS (NN’09), 2009 [17] J Eckmann, S O Kamphorst, D Ruelle and S Ciliberto, "Liapunov exponents from time series," Physical Review A, p 4971ậ4979, 1986 [18] Y.-C Lai and N Ye, "Recent Developments In Chaotic Time Series Analysis," International Journal of Bifurcation and Chaos, vol 13, pp 1383-1422, 2003 [19] J Eckmann and D Ruelle, "Ergodic theory of chaos and strange attractors," Reviews of Modern Physics, pp 617-656, 1985 [20] F Takens, "Detecting strange attractors in turbulence," in Dynamical Systems and Turbulence, Warwick 1980, London, Springer, pp 366-381, 1981 H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 98 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM [21] C G Schroer, T Sauer, E Ott and J A Yorke, "Predicting chaos most of the time from embeddings with self-intersections," Physical Review Letters, Vols 80, no 7, p 1410 ậ 1413, 1998 [22] M B Kennel, R Brown and H D I Abarbanel, "Determining embedding dimension for phase-space reconstruction using a geometrical construction," PHYSICAL REVIEW A, Vols 45, no 6, pp 3403-3411, 1992 [23] R Hegger and H Kantz, "Practical implementation of nonlinear time series methods:," Chaos: An Interdisciplinary Journal of Nonlinear Science 9.2, pp 413-435, 1999 [24] M B Kennel, R Brown and H D I Abarbanel, "Determining embedding dimension for phase-space reconstruction using a geometrical construction," PHYSICAL REVIEW A, Vols 45, no 6, pp 3403-3411, 1992 [25] S Hochreiter, "The Vanishing Gradient Problem During Learning Recurrent26," International Journal of Uncertainty, Fuzziness and KnowledgeBased-Systems6(02), p 107ậ116, 1998 [26] "Geeksforgeeks," [Online] Available: https://www.geeksforgeeks.org/lstmderivation-of-back-propagation-through-time/ [27] Nguyen Van Truc, Duong Tuan Anh, "Chaotic Time Series Prediction Using," Proc of 4th International Conference on Green Technology and Sustainable Development (GTSD2018), IEEE, November 23-24, Ho Chi Minh City University of Technology and Education, Vietnam, pp 753-758 [28] Nguy năV năTr c,ăắD báoăchu i th iăgianăcóătínhăh n lo n s d ng m ngăn ronăRBF,”ăLu năV năTh căs ,ăKhoaăkhoaăh căvƠăk ăthu tămáyătính,ăTr ngăđ i h c qu c gia TP H ChíăMinh, 2016 [29] U M Tukur and S M Shamsuddin, "Radial Basis Function Network Learning with Modified," TELKOMNIKA Indonesian Journal of Electrical Engineering, Vols 13, no 2, pp 369 - 378, 2015 H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 99 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM [30] "Trang Web c aă góiă ph n m m tseriesChaos," [Online] Available: https://CRAN.R-project.org/package=tseriesChaos [31] H Kim, R Eykholt, J Salas, "Nonlinear dynamics, delay times, cnad embedding windows," Physica D: Nonlinear Phenomena, Vols 127, no 1-2, pp 48-60, March, 1999 [32] F Cholett, Keras, [Online] Available: http://keras.io [33] K.He, X.Zhang, S.Ren, J.Sun, "Deep Residual Learning for Image Recognition," Computer Vision Foundation Open Access, 2015 [34] X Glorot, Y Bengio, "Understanding the difficulty of training deep feedforward neural networks," Proceeding of AISTATS, pp 249-256, 2010 [35] "Install R Package," [Online] Available: https://CRAN.R-project.org [36] T Ng c Huy Nam, "D báoăchu i th iăgianăcóătínhăh n lo n s d ng m ngăn ron h că sơuă DBN,"ăLu nă V nă Th că s ,ă Khoaă khoaă h că vƠă k ă thu tă máyă tính,ă Tr ngăđ i h c qu c gia TP H ChíăMinh,ă2018 H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 100 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM B NG Thu t ng ti ng Anh I CHI U THU T NG ANH ậ VI T Thu t ng ti ng Vi t Activation function HƠmăkíchăho t Long Short Term Memory M ngăn -ron h căsơuăb nh Vi t t t LSTM ng n ậ dƠi h n Deep Belief Network M ngăn -ron h căsơuăni m tin DBN Restricted Bolzmann Machine MáyăBolzmannăgi i h n Uniform Distribution High Level Feature Bias RBM Phơnăb chu n cătr ngă m c cao Bias Hidden Unit năv n Visible Unit năv nhìnăth y Weights Tr ng s Vanishing Gradient Suy gi măđ d c Exploding Gradient Bùngăn đ d c H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 b W Trang 101 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Artificial Neural Network M ngăn -ronănhơnăt o Attractor Reconstruction Xơyăd ng l iăkhôngăgiană ANN attractor Benchmark Problems BƠiătốnătiêuăchu n Mini-Batch Learning H cătheoăbóănh Batch Learning H cătheoăbó Classification Phơnăl p Chaos Theory Lýăthuy t h n lo n Chaotic Time Series Chu i th iăgianăcóătínhăh n lo n Delay Time Th i gian tr Dynamical System H đ ng l c Nonlinear Dynamical System H đ ng l c phi n False Nearest Neighbors Lơnăc n g n nh t gi Gradient Descent T iă uăgi măđ d c Optimization Contrastive Divergence Phơnăkìăt H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 ngăph n CD Trang 102 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Gradient d c Gradient Descent Gi măđ d c Global Minimum C c ti uătoƠnăc c HénonăMap Bi uăđ Hénon Least-Square Bìnhăph Learning By Epoch H c theo epoch Learning By Pattern H c theo m u Learning By Group Pattern H cătheoănhómăm u Learning Rate H s h c Local Minimum T iă uăc c b Measurable Function HƠmăkh đánhăgiá Mean Absolute Errors Sai s tăđ i trungăbình Mean Square Error Sai s bìnhăph Mean Absolute Percentage Sai s ph nătr mătuy tăđ i Error trungăbình Momentum Term H s quánătính H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 ngăt i thi u MAE ngătrungăbình MSE MAPE Trang 103 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Multi-Layer Perceptrons Perceptron đa t ng Multifractal Dimension Chi uăđaăphơnăhình Online Learning H c tr c n Oscillation Giaoăđ ng Overall Error L i t ng th Overfitting Quáăkh p Particle Swarm Optimization T iă uăhóaăb yăđƠn Pattern Set T pm u Phase Space Khôngăgianăpha Phase Space Reconstruction Xơyăd ng l iăkhơngăgianăpha Seasonal Tínhămùa Singular Value Phơnăgi iăgiáătr suy bi n MLP PSO PSR SVD Decomposition Radial Basis Function M ng RBF Network Time Series Chu i th i gian H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 104 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Training Algorithm Gi i thu t hu n luy n Trend Tínhăxuăh H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 ng Trang 105 D BỄO CHU I TH IăGIANăCịăTệNHăH N LO N D AăVĨOăM NG N -RON H CăSỂU LSTM Lụ L CH TRệCH NGANG H vƠătên:ăV năT n Vi n NgƠyăsinh:ă04/08/1983 N iăsinh:ăQu ng Ngưi a ch liênăl c: A13/398E Qu c l 50, pă1,ăxưăPhongăPhú,ăhuy năBìnhăChánh, Tp H ChíăMinh QUÁ TRỊNH ĨO T O Tr Th i gian ng đƠo t o Chuyên ngƠnh Trình đ đƠo t o 2007- 2010 Tr ng i h c Nôngă CôngăNgh Thôngă Lơm Tp H ChíăMinh 2019-2022 Tr ng i h căBáchă K s Tin Khoa H căMáyăTính Th c s Khoa Tp H ChíăMinh QUÁ TRỊNH CỌNG TÁC Th i gian 07/2010 - 04/2016 06/2016 ậ đ n n v cơng tác V trí CơngătyăC ph năcơngăngh LiênăHi p K s ăh th ngăvƠă Unit Corp m ng CôngătyăVi t Th ng Jean K s ăh th ngăvƠă m ng H VĨăTểN:ăV NăT N VI N ậ MSHV: 1970221 Trang 106 ... aăvƠoăm ng n -ron LSTM đ d báo? ?chu i th i? ?gian? ?có? ?tính? ?h n lo n.ăQătrìnhătáiă t o khơng? ?gian? ?phaătr c hu n luy n m ngăn -ron LSTM v i hy v ng s cho k t qu t tăh năcácămơăhìnhăd báo? ?khác Trongăqătrìnhăth... cho m Trong m tăkhơng? ?gian? ?m chi u, m tăkhơng? ?gian? ?con? ?có? ?chi u vƠ m tăkhơng? ?gian? ?conăkhác? ?có? ?chi u giao nhauătrongăkhơng? ?gian? ?con? ?có? ?chi uălƠ: (2.14) N u lƠăs ơm,ăthìăkhơng? ?có? ?s giaoănhauătrongăhaiăkhơng? ?gian? ?con... không? ?gian? ?pha đ d báo? ?chu i th i? ?gian? ?có? ?tính? ?h n lo n K t qu c aănghiênăc uănh ăv y s t oăc ăs choăng iădùng? ?có? ?th l a ch n m ngăn ? ?ron? ?h căsơuănƠoăphùăh p cho vi c d báo? ? lo i chu i th i? ?gian? ?có? ?tính? ?h