Chuyên đề chuyên ngành: Sử dụng mô hình ARIMA, Ramdom Forest và mạng nơ-ron nhân tạo để dự báo giá đồng Ethereum

Do đó, em lựa chọn phương pháp DL là trọng tâm của chuyên với mong muốn cung cấp một đánh giá khả năng dự báo chuỗi thời giancủa DL so sánh với các phương pháp truyền thống khác, cụ thé

Trang 1

TRUONG ĐẠI HỌC KINH TE QUOC DAN

KHOA TOAN KINH TE

BO MON TOÁN TAI CHÍNH

CHUYEN DE CHUYEN NGANH

TOAN TAI CHINH

DE TAI:

SỬ DUNG MO HÌNH ARIMA, RANDOM FOREST VA MẠNG

NO- RON NHAN TAO DE DU BAO GIA DONG ETHEREUM.

Ho va tén sinh vién : Ngô Thi Phương Duyên

Trang 2

CHUYÊN ĐỀ CHUYÊN NGÀNH - TOÁN KINH TẾ ©)

LỜI CẢM ƠN

Em xin gửi lời cảm ơn sâu sắc nhất tới toàn thé các thầy cô giảng viên TrườngĐại học Kinh tế Quốc dân nói chung và thầy cô khoa Toán Kinh Tế nói riêng đãluôn đồng hành, dìu dắt và hỗ trợ giúp đỡ va tạo môi trường học tập, hoan thiệnkiến thức nền tảng chuyên sâu ngành nghề cũng như phát triển bản thân cho chúng

em Bên cạnh đó, em muốn gửi lời cảm ơn sâu sắc tới gia đình và các anh chị cũngnhư những người bạn bè đã bên cạnh động viên, khuyến khích, giúp đỡ em trongsuốt quá trình em thực hiện chuyên đề tốt nghiệp

Đặc biệt, em muốn gửi lời cảm ơn chân thành và sâu sắc nhất nhất đến tới côThs Nguyễn Thị Liên — giảng viên hướng dẫn em hoàn thành chuyên đề tốt nghiệpchuyên ngành với đề tài “ Sứ dung mô hình ARIMA và mạng nơ-ron nhân tạo để

dự báo giá đồng Ethereum”

Do thời gian thực hiện và kiến thức chuyên môn của em còn hạn hẹp nênchuyên đề không tránh khỏi nhiều sai sót, mô hình vẫn chưa được hoàn thiện Emrất mong nhận được lời nhận xét, góp ý từ các thầy cô đề em có thê rút kinh nghiệm

và trau dồi thêm kiến thức về chuyên ngành

Em xin chân thành cảm ơn!

Sinh viên

Ngô Thị Phương Duyên

Trang 3

CHUYEN ĐỀ CHUYÊN NGANH - TOÁN KINH TE @)

MỤC LỤC

Contents

LOI CẢM ON -~-~ ~~~~=============zz========r=rr=z==erm=z====mmz===rm=r==ermmr 1

"0/00/9000 — ` 2

DANH MỤC TỪ VIET TÁ T -~-~~~~~~=============================mmmrzmz=z===ee 5 DANH MỤC HÌNH ẢNH -========================================r 6 DANH MỤC BẢNGG -~~~~ ===============r==zz=====eemmmr===meermmmmm=eeemeem 7

MỞ ĐẦU -~~-~~=================err===mz==eeeerrm=rz==eerermmr==ererrmmmmm==reeem 1

1 Lý do chon đề tài -= ~-============r=z====ermzz==mermmx=eeermmme 1

2 Mục tiêu nghiên cứu - 2

3 Đối tượng và phạm vi nghiên cứu: -~ ========================= 2

4 Phương pháp nghiên cứu - 2

5 Kết cau chuyên đề -~~ -=~~~================z====r=mz====mmmrm==ee 3 e:00/9) 1e “~- 4 CƠ SỞ LÝ THUYÉT VA TONG QUAN CÁC PHƯƠNG PHÁP NGHIÊN (M000 Tư 11.1, Ó 4 I CƠ SỞ LÝ THUY ÉTT -=-~-~¬~============z=======m==z======erm=mmz===emrm= 4 1.1.Cơ sở lý thuyết về dự báo chuỗi thời gian - 4

1.1.1 Khái niệm chuỗi thời gian - 4

1.12 Một số các đặc trưng của chuỗi thời gian - 5

1.1.3 Đánh giá sai số trong dự báo chuỗi thời gian - 8

1.1.4 Bài toán dự báo chuỗi thời gian trong kinh tế và kinh doanh - 9

II PHUONG PHÁP NGHIÊN CUU -=================================ee 9 2.1.Téng quan về các phương pháp dự bao - 9

2.2 Tổng quan về Machine Learning va Deep Learning - 13

2.2.1 Machine Learning - 13

2.2.2 Tổng quan về Deep Learning - 14

2.3 Co sở ly thuyét ve mang no-ron nhân tao - 15

Ngô Thi Phương Duyên - MSV: 11191354 — Toán Kinh tế 61

Trang 4

2.3.1 Mạng nơ-ron hồi quy RNN -~~~~~~~~~=~~~~==================~z 16

2.3.2 Mạng Long - Short Term Memory - 18

2.4 Mô hình ARIMA -~-===============r==e==rxemeemmememm=mm=m 23 2.4.1 Tinh dimg nnnnnnnnnnnnanẽnnana nan 23 2.4.2 Qua trinh tu hồi quy (AR), trung bình trượt (MA) và mô hình ARIMA 26

2.4.3 Mô hình hồi quy kết hợp trung hình trượt ARIMA (p,d,q) - 27

2.4.4 Phuong pháp Box-Jenkins (BJ) - 27

2.5 Mô hình Random Forest -+ 29

2.5.1 Thuật toán Decision Tree - 29

2.5.2 Mô hình Random Forest (RF) - 30

/60710/0)/022 7 NV Aggggggggggggggggggg 32 TONG QUAN VE TIEN MÃ HÓ A -~~~~~~~~~~¬~====================r 32 2.1T ống quan về tiền mã hoá (Cryptocurrency) - 32

2.2 ETHEREUM (ETH) - Đồng tiền chiếm vốn hóa cao thứ hai trên thị trường tiền mã hóa -= =========================e======emz==m=emm=r 34 2.3 Ứng dụng của Ethereum - 38

CHU ONG 3 7 Ợ NA 39 KET QUÁ NGHIÊN CUU -====================m=m==============r 39 3.1 Dữ liệu -====================r==r==r=erememmrmmrmmemmemmemm=mm=m 39 3.2 Phần mềm phân tích - 41

3.3 Xử lý dữ liệu - 42

3.3.1 Kiểm định tinh dừng của chuỗi thời gian: - 42

3.3.2 Xử lý dit liệu đầu vào cho mô hình LSTM - 44

3.4 Xây dựng mô hình - 46

3.4.1 Mạng LSTM - 46

3.4.2 Mô hình ARIMA -~ ~-~ ~-~~=~=~~=~~=~==~=~==~=~~=~==~=~~=~=r~===~==~=~=~~ 46 3.4.3 Random FOT€S{ -= =====~~~==~~=~~~=~~~=~~~==~~~=~==~=~~~==~~==~~=mr 47 3.5 Đánh giá và so sánh ba mô hình - 50 CHU ONG 4 -~~ ~~-~==~=====================r==rr=rr=rr=r===rr==rm==rm==em 53

Ngô Thi Phương Duyên - MSV: 11191354 — Toán Kinh tế 61

Trang 5

Trang 6

DANH MỤC TỪ VIẾT TẮT

Tên viết tắt Tên đầy đủ

ANN Artificial Neural Network: Mang nơron nhân tao

RNN Recursive Neutral Networks

DL Deep Learning: Hoc sau LSTM Long Short Term Memory

MSE Mean Squared Error: Sai số bình phương trung

binh

ETH Ethereum MAPE Mean Absolute Percentage Error MAE Mean absolute error

RMSE Root Mean Square Error

CNTN Công nghệ thông tin

Trang 7

DANH MỤC HÌNH ẢNH

Hình 1.1 - Ví dụ về chuỗi thời gian mô tả giá cô phiếu trong năm 2020 4

Hình 1.2 - Các thành phan của chuỗi thời gian (tính thời vụ) . - 6

Hình 1.3 - Các thành phan của chuỗi thời gian (tính xu thế) . - 6

Hình 1.4 - Các thành phan của chuỗi thời gian (tính chu kỳ -: 7

Hanh N00 i8: TA “ -‹ŒALAẠH,H 8

Hinh 2.1 — Mang RNN 1 = 17

Hình 2.2 — Bidirectional RNN cccccecccecceecscesssecsssscsssscessscessscessseesesscssseceessess 18 20000 %0) +dAH, 18

Hình 2.4 — Mạng LSTM 2- 2£ ©+£+E£+EEE2EEECEEEE21E22112112112221e 21 E1 crrk 19 Hình 2.5 — Tế bao trạng thái LSTM giống như một băng truyên 20

Hình 2.6 — Công trạng thái LSTM 2- 2 ©+¿©++++++EE++EEEzrxeerxeerxeerseee 21 Hình 2.7 — LSTM bước thứ nhất 2- 2© +++2E+++EEx++EE++etrxrerrxrerrrree 21 Hình 2.8 — LSTM bước thứ hai - 2-22 56 ©2++2EE+2EEESEEEEEEECEEEEerkrerkrerrrrrree 22 Hình 2.9 — LSTM bước thứ ba .2- 22 5+©2E+2EESEEESEEEEEEECEEEErkrerkrerrkrrree 22 Hình 2.10 — LSTM bước cuối cùng -2¿5¿++2E++2E+2Ex++Exeerxxerreerree 23 Hình 2.11 — Decision 'ÏÏr€€- << 2+2 33221332131 111 811 1 vn ng ng ng vec 29 Hinh 2.12 — Random Forest 0077 30

Hình 3.1 - Biéu đồ tong vốn hoá thị trường Tiền mã hoá (nguồn: INVESTING) 33

Hình 3.2— Biéu đồ thé hiện phan trăm vốn hóa của thị trường tiền mã hóa 34

Hình 3.3 — Biểu đồ giá của ETH theo VND và BTC 2-©5cc©csccc+¿ 35 Hình 3.4— Bảng xếp hạng các quốc gia chấp nhận giao dịch tiền mã hóa 37

Hình 4.1 — Đồ thị chuỗi giá của ETH -2- 2: ©5¿2++++++2zxtrxeerxesrxeersree 39 Hình 4.2 — Đồ thị chuỗi giá của ETH -¿- 2: 5¿22++2+2Ex2Exeerxxerrxerree 42 Hình 4.3 - Đồ thị ACF và PACE của lợi suất giá ETH -¿-s¿ 47 Hình 4.4 - Kết qua MAPE với từng mức biến trễ tương Ung 48 Hình 4.5 — Kết quả dự báo ba mô hình - 2-2 +2 ©++2x++£x++tx+zzxezrxd 50

Hình 4.6 - Mô tả Confusion MiatFIX - <2 E22 E21 E231 E£*3E£#sEczeerse 51

Ngô Thị Phương Duyên - MSV: 11191354 — Toán Kinh tế 61

Trang 8

CHUYEN ĐỀ CHUYÊN NGANH - TOÁN KINH TE

DANH MỤC BANG

Bảng 1 — Bảng thống kê mô tả lần lượt chuỗi giá ETH -:-5:

Bảng 2 - Các thư viện được sử dụng - - 5 cà + St nrrrrirrrrrke Bảng 3 - Ket quả phân tích mạng LSŠTÌM cccccccerieereerirerrree

Bang 4 - Kiêm định các mô hình ARIMA c-ccccceerieriririrree Bang 5 - Két quả mô hình Random FOT€St c5-5cccsextertertererreerreer

Bảng 6 — Bang thê hiện các tiêu chí đánh g1á - s5 555 5552 seevrsessses

Bảng 7 - Tính toán các chỉ số từ việc dự báo tăng giảm của ba mô hình

Ngô Thị Phương Duyên - MSV: 11191354 — Toán Kinh tế 61

Trang 9

CHUYÊN ĐỀ CHUYÊN NGÀNH - TOÁN KINH TẾ ©)

MO DAU

1 Ly do chon dé tai

Dự báo chuỗi thời gian trong tài chính có lẽ là sự lựa chọn hàng dau cho

các nhà nghiên cứu tải chính trong đó có cả học viện và ngành tài chính do các lĩnh

vực triển khai rộng rãi và tác động đáng ké của dự báo chuỗi thời gian Các nhànghiên cứu về Học máy (ML) đã tạo ra được nhiều mô hình khác nhau và một sốlượng lớn các nghiên cứu đã có thê xuất bản tương ứng Chính vì vậy, một số lượngđáng kể các cuộc điều tra bao gồm các nghiên cứu ML về dự báo chuỗi thời giantài chính Các mô hình Học sâu (DL) đã xuất hiện trong lĩnh vực này, DL đã cho

ra kết quả vượt trội hon khá đáng ké so với những đối tac ML truyền thống của nó.Mặc dù, ngày càng có nhiều sự quan tâm đến van dé phát triển các mô hình dự báochuỗi thời gian tài chính, tuy nhiên vẫn còn thiếu các tài liệu đánh giá chỉ tập trung

vào DL cho tài chính Do đó, em lựa chọn phương pháp DL là trọng tâm của

chuyên với mong muốn cung cấp một đánh giá khả năng dự báo chuỗi thời giancủa DL so sánh với các phương pháp truyền thống khác, cụ thé là mô hình ARIMA

và mô hình Random Forest, qua đó đánh giá chỉ số và đánh giá khả năng dự báocủa mô hình DL và hiệu quả của nó khi dự báo cụ thê vào đồng Ethereum

Ngoài ra, song hành với sự phát triển đó, hiện nay, với xu hướng phát triéntất yêu của công nghệ Blockchain, sự xuất hiện và phát triển của các loại tiền mãhoá (Cryptocurrencies) được coi là xu thé của tương lai Thị trường tiền mã hoángày càng phát triển với tốc độ nhanh chóng cùng với sự đa dạng hoá về loại tiền

mã hoá cũng như tăng trưởng mạnh về quy mô thị trường và quy mô các giao dịch

sử dụng tiền mã hoá, thúc day sự lan tod và phô biến của tiền mã hoá trên phạm vitoàn cầu Tuy nhiên, cần có thời gian dé minh chứng cho sự cần thiết dé phát triểncủa các loại tiền mã hóa

Tại Việt Nam, tuy hệ thong pháp ly không công nhận tiền mã hoá tương tựnhư tiền pháp định quốc gia và cam sử dụng tiền mã hoá trong các lĩnh vực thanhtoán, nhưng hiện tại chưa có quy định chính thức cắm giao dịch, đầu tư tiền mãhoá trong bat kì văn bản quy phạm pháp luật nào được ban hành Chính vì vậy, cáchoạt động giao dịch, đầu tư, đặc biệt là đầu cơ các loại tiền mã hoá tại Việt Namvẫn diễn ra hết sức sôi động thông qua các sàn giao dịch tiền mã hoá trong nước

và quốc tế, chúng thu hút sự quan tâm lớn của công chúng cũng như các nhà đầu

tư.

Trang 10

Vẫn đề gia tăng đầu tư tiền mã hoá tại Việt Nam trong bối cảnh còn nhiềuvấn dé hạn chế như hiểu biết của nhà đầu tư còn hạn chế, môi trường pháp lý củaViệt Nam không công nhận tính hợp pháp của tiền mã hoá, khiến cho kênh đầu tưtiền mã hoá tiềm 4n nhiều rủi ro cho nhà đầu tư Thực tế này hiện tại đòi hỏi cầnphải nghiên cứu và nhìn nhận khách quan, đúng đắn hơn về xu hướng phát triểntiền mã hoá trong tương lai, từ đó đưa ra các điều chỉnh, quyết sách kịp thời và hợp

lý từ phía các cơ quan chức năng, cơ quan quản lý thị trường đối với các giao dịch,hoạt động tiền mã hoá Và cũng thông qua đó giúp công chúng đầu tư được tiếpcận với một kênh đầu tư mới chính là tiền mã hóa Xong những người đầu tư vẫnđược phần nào bảo vệ bởi chính luật pháp, đặc biệt đó là trong vấn đề bảo vệ ngườitiêu dùng, giảm thiểu thiệt hại từ các rủi ro an ninh mạng, trộm cắp tài sản số (tiền

mã hoá) trên thị trường tiền mã hoá

Chính vì vậy em lựa chọn đề tài nghiên cứu: “Siw dung mô hình ARIMA,Ramdom Forest và mạng nơ-ron nhân tao dé du bao giá dong Ethereum” với mong

muốn đưa ra các khuyến nghị mà các nhà đầu tư Việt Nam có thể tham khảo dự

báo đầu tư và những phương pháp dự báo phù hợp cho đồng tiền nay dé có thê đưa

ra các quyết định đầu tư phù hợp và đúng đắn với từng thời điểm trong tương lai

2 Mục tiêu nghiên cứu

Chuyên dé tìm hiểu va ứng dụng mô hình Deep Learning cụ thé là mang

No — ron nhân tao so với các phương pháp truyền thống khác cụ thé là Arima,Random Forest dé dự báo chuỗi thời gian trong tài chính, từ đó tìm ra mô hình hiệuquả nhất và đưa ra các khuyến nghị mang tính chất tham khảo giúp nhà đầu tư cóquyết định đúng đắn hơn Mục tiêu cụ thé gồm:

- Tim hiểu về thị trường tiền mã hóa tại Việt Nam va thé giới

- Cac phương pháp sử dụng trong sự báo dòng tiền bao gồm: mang No - ron

nhân tao, Arima, Random Forest dé dự báo đơn chuỗi

- _ Thông qua các phương pháp đánh giá phù hợp với từng mô hình dự báo và

tìm ra mô hình phù hợp cho dự báo đồng tiền mã hóa tại Việt Nam

3 Đối tượng và phạm vi nghiên cứu:

Đối tượng nghiên cứu của chuyên đề là một chỉ số giá cuối cùng của đồngEthereum Dữ liệu nghiên cứu được lấy từ ngày 28/04/2018 tới ngày 28/04/2022

4 Phương pháp nghiên cứu

Ngô Thị Phương Duyên - MSV: TI191554- Toán Kinh tế 61

Trang 11

Chuyên đề sử dụng phương pháp định lượng, kết phương pháp Deeplearning Đồng thời kết hợp với phương pháp thu thập thông tin từ thị trường, ápdụng phương pháp Deep learning là Mạng Nơ- ron nhân tạo Từ đó, so sánh và đối

chiêu với kêt quả dự báo của các phương pháp truyén thông( cụ thê là: Arima,

Random Forest) trong phân tích với số liệu thu thập được dé tiến hành dự báo đơn

chuỗi với đôi tượng là chỉ sô gia của đông Ethereum.

5 Kết cấu chuyên đề

Chuyên đề chuyên ngành có kết cấu 04 chương như sau:

Chương 1: Cơ sở lý thuyết va tong quan nghiên cứu

Chương 2: Phương pháp nghiên cứu.

Chương 3: Tổng quan về tiền mã hóa

Chương 4: Kết quả nghiên cứu

Chương 5: Kết luận và đề xuất

Trang 12

CHƯƠNG 1

CƠ SỞ LY THUYET VA TONG QUAN CÁC PHƯƠNG PHAP

NGHIEN CUU

I CƠSỞ LÝ THUYET

1.1 Cơ sở lý thuyết về dự báo chuỗi thời gian

Với sự phát triển của công nghiệp hiện đại ngày nay, đã có rất nhiều ngànhcông nghiệp, nếu không muốn nói là tat cả đều dựa trên các dự báo dé đưa ra đượccác kế hoạch sản xuất hoặc các quyết định mang tính quan trọng Ví dụ, có thé dựbáo tốt về nhu cầu của từng mặt hàng cụ thê trong tương lai rõ ràng sẽ giúp doanh

nghiệp đưa ra các kế hoạch sản xuất, kế hoạch vận chuyền, kho bãi dễ dàng và

nhanh chóng hơn, từ đó có thể giảm thiểu lượng hàng hóa phải bỏ đi do quá hạn

sử dụng Do đó, các kết quả dự báo tốt đóng vai trò thiết yếu trong hầu hết trongcác lĩnh vực như hoạt động khoa học, công nghiệp, thương mại và cả kinh tế Muốnlàm được điều đó, thì các nhà quản trị hay các nhà hoạch định chiến lược sẽ sửdụng các thông tin trong quá khứ hay chuỗi thời gian dé đưa ra được các dự báo

trong tương lai.

Major U.S Airlines’ Stock Price Oscillations in 2020

Price Change as a Percentage of Adj Close Price on January 2nd & Major Events

UNITED & 22

authorizes Mor

COVID-19 v

Jun Jul Aug Sept Oct Nov Dec

Hình 1.1 - Ví du về chuỗi thời gian mô ta giá cỗ phiếu trong năm 2020

1.1.1 Khái niệm chuỗi thời gian

Ngô Thị Phương Duyên - MSV: 11191354 - Toán Kinh tế 61

Trang 13

Chuỗi thời gian là một tập hợp các quan sát được thực hiện tuần tự qua thời

gian Ví dụ như :

+ Doanh số bán 6 tô Y trong các tháng liên tiếp của cửa hàng X

+ Nhiệt độ tại Hà Nội vào buồi sáng của các ngày liên tiếp nhau

+ Tiêu thụ điện ở khu vực X trong khoảng thời gian hai tiếng liên tiếp

Một số các ứng dụng của dự báo chuỗi thời gian có thể ké đến như:

+ Dự báo doanh số

+ Kiểm soát số lượng hàng tồn kho

+ Lập các kế hoạch bán hàng, sản xuất và năng lực

+ Đánh giá và khuyến nghị các chiến lược kinh tế thay thé

+ Lập dự trù ngân sách

+ Quản ly các rủi ro tài chính

+ Dự báo mức nhiệt độ của thời tiết

1.1.2 Một số các đặc trưng của chuỗi thời gian

Chuỗi thời gian có 4 tính chất bao gồm: tính thời vụ (seasonal), tính xu

hướng (trend), tính chu kì (cyclical) và tính nhiễu (noise).

= Tính thời vụ được biểu thị qua sự biến động có chu kì thời gian nhất

định Tính thời vụ đặc biệt vô cùng quan trọng trong dự báo vì tại một

thời điểm dự báo nhất định, giá trị dự báo có thể cao hơn (hoặc thấphơn) hoặc bat thường Với các số liệu kinh tế thông thường, mỗi thời kìthường sẽ tính theo tháng, quý hoặc năm, nhưng với một số bộ số liệuđặc biệt, một thời kì có thể kéo dài tới vài năm

Trang 14

CHUYEN ĐỀ CHUYÊN NGANH - TOÁN KINH TE

Solar cycles have an average duration of about 11 years

Hình 1.2 - Các thành phan của chuỗi thời gian (tính thời vu)

" Tính xu hướng phản ánh xu hướng tăng (giảm) của chuỗi thời gian trong

cả quá trình.

E-Commerce Retail Sales in the United States

Millions of USD

Hình 1.3 - Các thành phần của chuỗi thời gian (tính xu thế)

=" Tính chu kì, cũng giống với tính thời vụ, nó cũng thé hiện sự biến động

theo chu kì nhưng độ dài của chu kì thường thay đổi, không thê biết

trước được.

Trang 15

CHUYÊN ĐỀ CHUYÊN NGÀNH - TOÁN KINH TẾ @)

Dow Jones Industrials % change in closing price from previous year

The great depression (1929-30)

The downturn

of 2002

( Economic The dot.com

depression 1907 Banker's Recession bubble

AM (1893-97) panic (1937-38) (2000-2001)

1920 1940 1960

Year

Hình 1.4 - Các thành phần của chuỗi thời gian (tinh chu kỳ

=_ Tính nhiễu thé hiện sự ngẫu nhiên sau khi đã bỏ qua tính thời vụ và tính

chu kì khỏi chuỗi thời gian Tính nhiễu là một thành phần không thể biếttrước được hay đo lường được, là tác động ngẫu nhiên của các yếu tốbiết hoặc chưa được biết

Một dạng đặc biệt của chuỗi thời gian là chuỗi dừng Chuỗi dừng là chuỗi

thời gian có trung bình, hiệp phương sai và hệ số tương qua không phụ thuộc vào

thời gian được gọi là chuỗi dừng Nói cách khác, một chuỗi thời gian có xu hướng

vận động xung quanh giá tri trung bình Vì lẽ đó, đề có thể dự báo được, chuỗi thờigian luôn được giả định rằng xu hướng dao động của dữ liệu trong quá khứ và hiệntại được bảo toàn cho đến cả các giai đoạn tương lai Theo Gujarati (2003), mộtchuỗi thời gian không dừng thì chúng ta chỉ có thé nghiên cứu hành vi của nó trong

khoảng thời gian đang xét mà thôi.

Nhiễu trăng là chuỗi dừng có trung bình bằng 0, phương sai đồng nhất vàkhông có tự tương quan chuỗi Khi dự báo chuỗi thời gian, nếu phần dư của môhình, phần chênh lệch giữa giá trị thực tế và giá trị dự báo, là một nhiễu trắng thì

mô hình đó có thé dùng dé dự báo được

Trang 16

ũ 71000 2000 3000 4000

Hình 1.5 — Nhiễu trắng

1.1.3 Đánh giá sai số trong dự báo chuỗi thời gian

Một trong những điều quan trọng của mô hình chuỗi thời gian là độ chính

xác của dự báo Độ chính xác càng cao thì khả năng dự báo của mô hình càng đáng

tin cậy Độ chính xác của các dự báo chỉ có thé được xác định bằng cách xem xét

mô hình hoạt động tốt như thé nao trên dữ liệu mới không được sử dụng trong khi

xây dựng mô hình dự báo.

Khi xây dựng một mô hình dự báo chuỗi thời gian, dữ liệu ban đầu thường

được tách thành hai phần, dữ liệu đào tạo và dữ liệu thử nghiệm, trong đó dữ liệu

dao tạo được sử dụng dé ước tính bat kỳ tham số nao của phương pháp dự báo và

dữ liệu thử nghiệm được sử dụng dé đánh giá độ chính xác của nó Bởi vì dữ liệuthử nghiệm không được sử dụng để xây dựng mô hình, nó sẽ cung cấp một dấuhiệu đáng tin cậy về khả năng dự báo của mô hình trên dữ liệu mới Thông thường,

2 phương pháp tuyệt đối và tương đối thường được sử dụng kết hợp khi đánh giá

độ chính xác.

Phương pháp đánh giá chỉ số tuyệt đối đo lường giá trị sai lệch với giá trị

theo giá trị của bộ dữ liệu Hai thước đo thường được sử dụng cảu phương pháp này là MAE (Mean absolute error) và RMSE (Root Mean Square Error).

Khi so sánh các phương pháp dự báo được áp dụng cho một chuỗi thời gian

Trang 17

hoặc một số chuỗi thời gian có cùng đơn vị, MAE rất phô biến vì nó dé hiểu và détính toán Phương pháp dự báo giảm thiểu MAE sẽ dẫn đến dự báo về giá trị trung

vị, trong khi giảm thiểu RMSE sẽ dẫn đến dự báo về giá trị trung bình Do đó,

RMSE cũng được sử dụng rộng rãi, mặc dù khó giải thích hơn.

Phương pháp đánh giá chỉ số tương đối đo lường giá trị phần trăm sai lệch

với giá tri theo giá tri của bộ dữ liệu Thước đo thường được sử dụng là MAPE

(Mean Absolute Percent Error).

1.1.4 Bài toán dự báo chuỗi thời gian trong kinh tế và kinh doanh

Chuỗi thời gian là một trong những kiểu dữ liệu phổ biến nhất mà các doanhnghiệp sử dụng trong cuộc sống hàng ngày Các công ty sử dụng nguồn thông tinnày để phát triển các chiến lược kinh doanh cũng như đề ra kế hoạch sản xuất.Ngày nay, Trí tuệ nhân tạo (AI) và dit liệu lớn (Big data) càng củng cố tam quantrọng của việc sử dụng chuỗi thời gian trong kinh tế và kinh doanh

Trong kinh tế, các chỉ số tổng sản phẩm quốc nội (GDP), tỷ giá hoái đối, ti

lệ thất nghiệp hay tỉ lệ lạm phát là vô cùng quan trọng đối với chính phủ Việc dựbáo các chỉ số kinh tế này có thé giúp đưa ra các chính sách phù hợp, hiệu quả giúpchính phủ điều tiết kinh tế

Trong kinh doanh, việc nam bắt được xu hướng thị trường, năng lực sản xuất

và nhu cầu thị trường là yếu tố sống còn với các doanh nghiệp Việc sử dụng cáckết quả dự báo sẽ giúp các doanh nghiệp giảm thiểu rủi ro, kip thời đưa ra cácchiến lược điều chỉnh phù hợp đem lại hiệu quả kinh tẾ cao

II PHƯƠNG PHÁP NGHIÊN CỨU

2.1 Tống quan về các phương pháp dự báo

Dự báo liên quan đến việc đưa ra các dự đoán về giá trị trong tương lai trên

cơ sở dữ liệu lịch sử và hiện tại Từ dữ liệu chuỗi thời gian, các nhà quản lí có được

cái nhìn tổng quan trong quá khứ và sử dụng phương pháp dự báo để đưa ra chiến

lược cho doanh nghiệp Phương pháp dự báo là một quy trình tính toán các dự báo

Trang 18

từ các giá trị hiện tai và quá khứ Do đó, nó có thé đơn giản là một quy tắc thuậttoán và không cần phụ thuộc vào mô hình xác suất cơ bản

Một trong những phương pháp dự báo chuỗi thời gian sớm nhất là phương

pháp dự báo của Charles C Holt (1957) va Peter R Winters (1960) Holt-Winters

(là một trong những kỹ thuật dự báo phổ biến nhất cho chuỗi thời gian dù nó đã cótuôi đời hàng thập kỷ nhưng vẫn được sử dụng phố biến trong nhiều ứng dụng, baogồm cả giám sát, nơi nó được sử dụng cho các mục đích như phát hiện bat thường

và lập kế hoạch Tiền thân của phương pháp Holt-Winters được gọi là phươngpháp làm mịn theo cấp số nhân đơn giản (Simple Exponential Smoothing - SES).Phương pháp này phù hợp dé dự báo dữ liệu không có xu hướng hoặc mùa vụ rõràng Holt (1957) đã mở rộng SES dé cho phép dự báo dữ liệu có xu hướng vàWinters (1960) phát triển thêm tính năng xử lí được dự liệu có yêu tố thời vụ Tuynhiên, phải đến tận năm 1985, phương pháp Exponential Smoothing (ES) mới nhậnđược công nhận và phát triển thông qua 2 bài báo Gadner (1985) và Syner (1985).Gadner đã cung cấp một đánh giá kỹ lưỡng và tổng hợp những công trình về ES

và mở rộng bằng phương pháp phân loại Pegels để giảm thiểu yếu tố xu hướng.Bài báo của ông tập hợp rất nhiều công trình hiện có, đã mô phỏng việc sử dụngcác phương pháp này và thúc đây một lượng đáng ké các nghiên cứu bồ sung.Trong khi đó, Snyder đã chỉ ra rằng SES có thê được coi là phát triển từ mô hìnhkhông gian trạng thái (State Space Model) State space model là mô hình bao gồmmột phương trình đo lường mô ta dit liệu được quan sát và một số phương trìnhtrạng thai mô tả cách các thành phần hoặc trạng thái không được quan sát (mức

độ, xu hướng, theo mùa) thay đồi theo thời gian Mặc dù thông tin chi tiết này hầunhư không được chú ý vào thời điểm đó, nhưng trong những năm gần đây, côngtrình của ông đã cung cấp cơ sở cho một lượng lớn nghiên cứu về các phương pháp

ES Hyndman và cộng sự (2002) và được mở rộng bởi Taylor (2003) đã đưa ra

cung cấp một phân loại hữu ích dé mô tả 15 phương pháp ES khác nhau mà nỗi

bật là SES, Holt’s linear method, Holt—Winters’ multiplicative method và Holt—

Winters’ additive method với các yếu tố xu hướng và mùa vu khác nhau trong từng

mô hình.

Yule (1927) đã đưa ra khái niệm ngẫu nhiên trong chuỗi thời gian bằng cáchmặc định rằng mọi chuỗi thời gian có thé được coi là hiện thực của một quá trìnhngẫu nhiên Dựa trên ý tưởng đơn giản này, một số phương pháp chuỗi thời gian

đã được phát triển ké từ đó Các công trình của Slutsky, Walker, Yaglom va Yule

10

Trang 19

lần đầu tiên hình thành khái niệm về mô hình tự hồi quy (AR) và trung bình trượt(MA) và được tông hợp lại thành mô hình ARMA và dạng tối ưu hơn là mô hìnhARIMA với I (Integrated) là yếu tố sai phân George Box va Gwilym Jenkins đãphô biến mô hình ARIMA (Trung bình động tích hợp tự động) trong sách giáokhoa của họ, phân tích chuỗi thời gian: Dự báo và kiểm soát (Time Series Analysis:Forecasting and Control, Box & Jenkins, 1970) Do nền tảng lý thuyết của mình,

mô hình ARIMA được giảng dạy rộng rãi trong trường đại học trên thế giới Nếucác giả định nhất định được đáp ứng, mô hình ARIMA mang lại dự báo tối ưu, mộtthuật ngữ về cơ bản có nghĩa là các lỗi, hay phan dư, từ mô hình không chứa thôngtin có thé cải thiện dự báo hay phan dư là nhiễu trắng (white noise) Tuy nhiên,điều này không ngụ ý rằng các mô hình ARIMA nhất thiết phải ưu việt hơn cáclựa chọn thay thế, đặc biệt nếu dữ liệu không phù hợp với các giả định cần thiết,

và dữ liệu kinh doanh thường không thỏa mãn điều kiện trên Với sự phô biến củamình, đã có rất nhiều mô hình biến thể của ARIMA được phát triển như mô hìnhARIMAX (thêm yếu tố ngoại sinh), SARIMA (thêm yếu tố thời vụ), ARMA-GARCH (thêm yếu tố rủi ro), Đặc biệt phải ké đến mô hình VAR (Vector

autoregression) và VECM (vector error correction model) khi đưa thêm các chuỗi

thời gian khác vào trong dự báo chứ không chỉ đơn thuần là 1 chuỗi

Sự phát triển của khoa học máy tính tạo điều kiện thuận lợi cho sự phát triển

của học máy (machine learning - ML) va học sâu (Deep Learning - DL) ML là

một tập hợp các kỹ thuật cô gắng cho phép máy tính nhận ra các mẫu Mục dichcủa ML là dé máy tính học cách hệ thống hoạt động dé nó có thể điền vào đữ liệu

bị thiếu, dự đoán đữ liệu hoặc phân loại dữ liệu ML có thể được thực hiện theonhiều cách khác nhau nhưng tất cả việc triển khai đều phải có một số phương phápdao tao ML có thé chia thành 3 loại thuật toán chính là học có giám sát (Supervised

Learning), học không giám sat (Unsupervised Learning), và học tăng cường

(Reinforcement Learning) Học có giám sat là thuật toán mà dữ liệu đầu vào đượcgan nhãn sẵn, có thé là dạng số liên tục (bài toán hồi quy) hoặc dang số đếm rờirạc (bài toán phân loại) Học không giám sát thì ngược lại, dữ liệu đầu vao không

có nhãn gan và thường được dùng dé tìm mối quan hệ trong dữ liệu đầu vào Họctăng cường là thuật toán dé giúp tối ưu quyết định trong bai toán cụ thé ML có 2thuật toán được sử dụng phô biến nhất trong dự báo chuỗi thời gian là máy vector

hỗ trợ (Support Vector Machine — SVM) và rừng ngẫu nhiên (Random Forest —

RF) Tính hiệu quả của hai phương pháp này đã được chứng minh qua các nghiên

11

Trang 20

cứu của Y Lin (2013) va M Vijh (2020) Ngoai ra phải kể đến sự phát triển của môhình ANN, tiền thân của các phương pháp Deep Learning sau này

Deep Learning (DL) là sự phát triển tiếp theo của ML, sử dụng các thuật toán

dé xử lý dữ liệu và bắt chước quy trình tư duy hoặc dé phát triển các tính năng trừutượng Deep Learning sử dụng các lớp thuật toán dé xử ly dit liệu, hiểu giọng nóicủa con người và nhận dạng trực quan các đối tượng Thông tin được chuyền quamỗi lớp (layer), với đầu ra (output) của lớp trước cung cấp đầu vao (input) cho lớptiếp theo Lớp đầu tiên trong mạng được gọi là lớp đầu vào (input layer), trong khilớp cuối cùng được gọi là lớp đầu ra (output layer) Tất cả các lớp giữa hai lớpđược gọi là các lớp an (hidden layer) Mỗi lớp thường là một thuật toán đơn giản,thống nhất chứa một loại hàm kích hoạt (activation function) DL được ứng dụng

rộng rãi trong thị giác máy tính, xử lý ngôn ngữ tự nhiên và nhận dạng âm thanh hình ảnh Sự thành công vượt bậc của học sâu như một kỹ thuật xử lý dữ liệu đã

-thu hút sự quan tâm của cộng đồng nghiên cứu đặc biệt với dữ liệu chuỗi thời gian.Một vài nghiên cứu về chuỗi thời gian sử dụng DL sớm nhất có thé ké đến nghiêncứu của CL Giles (2001) khi sử dụng mô hình mạng than kinh hồi quy (RecurrentNeural Network — RNN) Với sự gia tăng của Fintech trong những năm gan đây,việc sử dụng học sâu trong các dịch vụ tải chính và ngân hàng đã trở nên phô biến.Các nghiên cứu về lĩnh vực này có thé ké đến như Srushti (2008), Mehta (2008)

hay Kalaiselvi (2008) với việc áp dụng mô hình Long Short-Term Memmory, một

biến thể của mô hình RNN, trong lĩnh vực dự báo giá chứng khoán Tuy nhiên thờigian gần đây, khi khoa học máy tính và hệ thống cơ sở dit liệu phát triển, nhữngnghiên cứu về ứng dụng DL trong dự báo chuỗi thời gian, đặc biệt là mô hìnhLSTM tăng lên đáng kể Karevan (2020) ứng dụng mô hình LSTM trong dự báothời tiết hay Pathan (2020) cũng áp dụng mô hình LSTM dự báo số ca nhiễmCOVID-19 Cùng thời gian này, Vidal (2020) kết hợp LSTM với mô hình Mạngthần kinh chuyên đồi (Convolutional Neural Network — CNN), một mô hình đượcứng dụng rộng rãi trong công nghệ xử lý ảnh, với mô hình LSTM dé dự báo giáchứng khoán Y tưởng của nghiên cứu là kết hợp dữ liệu dạng lịch sử giá và đồ thịgiá dé đưa ra dự báo tốt nhất

Dự báo có nghĩa là dự đoán các sự kiện trong tương lai, thường dựa trên cơ

so của các báo cáo, dữ liệu trước đó Trong một thời gian dài, các mô hình thống

kê thường được sử dụng dé tiễn hành các dự đoán Vai trò của Học máy đã đượctông quát hóa, trong trường hợp khi một sản phâm hoặc cửa hàng mới được giới

12

Trang 21

thiệu, hiệu ứng nảy có thé được sử dụng dé đưa ra các dự báo bán hàng vì sự hạnchế của lịch sử dữ liệu cho một chuỗi thời gian cụ thé

Một số thuật toán của Học máy thường được ứng dụng trong các mô hình dựbáo hiện nay như: Hồi quy tuyến tính, Hồi quy Gradient Boosting, Hồi quy SupportVector, Hồi quy Rừng ngẫu nhiên Các thuật toán Học máy có thể giúp các nhàkinh doanh dễ dàng tìm ra kết quả tốt hơn so với các kỹ thuật phân tích truyềnthống của chuỗi thời gian Trong đó, thuật toán Random Forest hay còn gọi Rừngngẫu nhiên được coi là thuật toán thích hợp nhất dé áp dụng vào việc đánh giá xu

hướng và đưa ra các ước tính hoặc dự báo đơn chuỗi

2.2 Tong quan về Machine Learning và Deep Learning

2.2.1 Machine Learning

Thể giới đã trải qua bốn cuộc cách mạng công nghiệp (CMCN) lớn trong lịch

sử nhân loại Cuộc cách mạng công nghiệp lần thứ nhất bắt đầu vào năm 1784bằng cách sử dụng năng lượng nước và hơi nước dé cơ giới hóa sản xuất Đây làgiai đoạn quá độ từ nền sản xuất công nghiệp sang nền sản xuất cơ giới trên cơ sởkhoa học Cuộc cách mạng lần thứ hai diễn ra sau đó từ khoảng năm 1870 tạo ranhững dây chuyền sản xuất hàng loạt quy mô lớn với sự phát triển của ngành điện,vận tải, hóa học, sản xuất thép và đặc biệt là sản xuất và tiêu dùng Năm 1969, sự

ra đồi va lan tỏa của công nghệ thông tin (CNTT) đã nỗ ra cuộc cách mạng côngnghiệp lần thứ 3 Đặc trung của cuộc cách mạng này là sử dụng điện tử và CNTT

để tự động hóa sản xuất bây giờ, cuộc cách mạng công nghiệp lần thứ tư, hay gọi

là cách mạng 4.0 xuất phát từ năm 2013 Cuộc cách mạng 4.0 kết hợp công nghệ

và cơ sở sản xuất thông minh dé tạo ra sự hội tụ kỹ thuật số giữa công nghiệp, kinhdoanh, chức năng và quy trình bên trong Một trong những yếu tố cốt lõi của Kỹthuật số trong CMCN 4.0 là Trí tuệ nhân tạo (AD), hay cu thể hơn là Machine

Learning (ML)

ML hay Học máy là một lĩnh vực con của AI sử dụng các thuật toán cho phép

máy tính có thé hoc từ các dit liệu dé thực hiện các công việc thay vì được lập trình

cụ thé như truyền thống May tinh sẽ có khả năng tự học dé giải quyết bài toán nhờvào sự lập trình của con người Giống như con người, máy tính càng học nhiều sẽcàng “thông minh” và “thông thạo”, càng dễ dàng xử lý được nhiều công việc với

độ chính xác cao hơn.

13

Trang 22

Trên thực tế có rất nhiều ứng dụng của Học máy đóng góp một vai trò quantrọng trong lĩnh vực công nghệ Những lĩnh vực phô biến ma học máy đóng gópphải kê đến bài toán xử lý hình ảnh, phân tích thông tin từ hình ảnh dé thực hiệncác chức năng như gắn thẻ hình ảnh, nhận dạng ký tự Bài toán phân tích văn bản

từ các facebook posts, emails, lọc spam, khai thác thông tin hay phân tích ngữ nghĩa Khai phá dữ liệu là một ứng dụng quan trọng của Học máy Quá trình này

sẽ khám phá ra các thông tin có giá trị hoặc đưa ra các dự đoán từ dữ liệu Nhờ đó

phát hiện được những bat thường như phát hiện gian lận thẻ tin dụng, phát hiệncác quy luật hay dự đoán chuỗi thời gian giá chứng khoán, được áp dụng rất hiệuquả trong tải chính — kinh tế AI xuất hiện trên mọi lĩnh vực đời sống như xe tựhành của Google va Tesla, trợ lý ảo Siri của Apple hay hệ thống gợi ý sản phẩm

của Amazon, và vô vàn những ứng dụng khác của Học máy.

Những thuật toán Học máy phô biến như:

e Phân cụm K-means: Được đề xuất từ năm 1967 bởi James MacQueenvới ý tưởng là sử dụng trung tâm của các cụm để tính khoảng cách giữa đối tượng

và điểm trung tâm, với số cụm k được cho sẵn

e Máy Véc-tơ hỗ trợ (Support vector machines): được tìm ra và phát triển

bởi Vladimir N Vapnik va Corinna Cortes năm 1995 Thuật toán này được giám

sát dé phân loại hoặc giải quyết các van đề hồi quy

e Thuật toán hồi quy tuyến tính: Đây là một thuật toán quan trọng của Họcmáy, phân tích sự tác động của biến độc lập lên biến phục thuộc khác

e_ Mô hình xác suất: Mô hình cô gắng giải quyết bài toán bằng phân bồ xácsuất Thuật toán phô biến là phân loại Naive Bayers với dau ra là xác suất thé hiện

Ngoài ra còn có các thuật toán như Hồi quy Logistic, Random Forest,

K-NN, Neural Net, cũng đang được ứng dung va sử dụng rộng rãi.

2.2.2 Tổng quan về Deep Learning

14

Trang 23

Deep Learning là một phương pháp của ML sử dụng mạng lưới nơ-ron nhân

tạo với nhiều lớp tương tự như não bộ con người DL được lập trình đề đào tạomột AI có khả năng dự đoán được các đầu ra dựa vào một chuỗi các dữ liệu đầuvào Giống như con người học hỏi từ kinh nghiệm, một thuật toán DL có thé lap

di lap lai dé thực hiện một nhiệm vu, mỗi lần điều chỉnh sẽ giúp mô hình cải thiện

kết quả chính xác hơn Mạng nơ-ron nhân tạo có khả năng vượt trội trong việc đưa

ra dự đoán trên các đữ liệu phần lớn không có cấu trúc Ngày nay các nhà khoahọc đã nghiên cứu ra rất nhiều thuật toán cải tiễn giúp nâng cao khả năng tự họccủa máy như khả năng tính tonas song song tốc độ cao của GPU, sự ra đời của cáchàm kích hoạt hay nhiều kỹ thuật tối ưu giúp việc tính toán đạt kết quả chính xácnhất

Có rất nhiều ứng dụng quan trọng của DL như ứng dụng xe tự động, pháttriển các tính năng cảm biến xác định tuyến đường thuận tiện nhất cho di chuyền,

khả năng dịch giọng nói thành văn bản, tạo ra trợ lý ảo giúp ghi chú hay đặt lịch

hẹn, các tính năng hỗ trợ con người,

Một số mô hình DL phổ biến:

e_ Mô hình mạng nơ-ron tích chập (CNN): được phát triển đầu tiên tại Nhật

từ năm 1980 và được sử dụng rộng rãi cho đến nay Mô hình được sử dụng nhiềunhất cho các bài toán phân loại ảnh

e M6 hình mạng nơ-ron hồi quy (RNN): sử dụng bộ nhớ dé lưu lại nhữngthông tin trong quá khứ và thực hiện các tính toán lặp lại dé đưa ra dự đoán chínhxác nhất cho tương lai

e Mô hình bộ nhớ ngắn dài han (LSTM): là mô hình nâng cấp của RNNnhằm giải quyết van dé phục thuộc quá dai trong dữ liệu quá khứ

e Mô hình mạng GRU: gần giống với LSTM nhưng cải tiễn hơn vì có ítcông hơn, việc huấn luyện nhanh hơn và cần it dit liệu hơn giúp mô hình dé dàng

tính toán hơn.

2.3 Cơ sở lý thuyết về mạng nơ-ron nhân tạo

Bên cạnh các mô hình dự báo chuỗi thời gian kinh tế lượng, các kỹ thuật học

máy (machine learning) va quan trọng hon là học sâu (deep learning) đã đưa ra các

phương pháp tiếp cận mới dé dự đoán trong đó mối quan hệ giữa các biến được

mô hình hóa trong hệ thống phân cấp sâu và nhiều lớp Kỹ thuật học máy dựa vào

các thuật toán như Support Vector Machines hay Random Forests và học sâu dựa

15

Trang 24

vào các thuật toán như mạng nơ-ron hồi quy (Recurrent Neural Network RNN) và

bộ nhớ dai-ngan hạn (Long Short-Term Memory LSTM) đã thu hút được rất nhiều

sự chú ý trong những năm gần đây nhờ các ứng dụng của chúng trong nhiều ngànhhọc bao gồm cả lĩnh vực tai chính Học sâu có khả năng xác định cấu trúc và làm

việc với dữ liệu như phi tuyến tính và dự báo chuỗi thời gian phức tạp Đặc biệt,

Long-short Term Memory đã được sử dụng trong nhiều lĩnh vực như xử lý ngônngữ tự nhiên, nhận dạng chữ viết tay, nhận dạng giọng nói và đặc biệt là dự báochuỗi thời gian cũng như các ứng dụng cảu nó trong kinh tế và tài chính LSTM làmột dạng thiết kế đặc biệt của RNN được giới thiệu bởi Hochreiter & Schmidhuber(1997), và sau đó đã được cải tiến và phô biến bởi rất nhiều người trong ngành Đềhiểu cách hoạt động của LSTM, cần phải biết một mạng nơ-ron hoạt động như thế

nảo.

2.3.1 Mạng no-ron héi quy RNN

Trong mô hình mạng nơ-ron nhân tạo, đặc biệt là trong cấu trúc mạng truyền

thang (feedfoward) khi mà tín hiệu chỉ truyền một chiều từ đầu vào tới dau ra, dirliệu đầu vào thường được xem như độc lập và không có mối liên hệ với nhau Mô

hình này thường được áp dụng trong nhận dạng mẫu nhưng nó không phải mô hình

tối ưu và phù hợp với các bài toán dạng chuỗi như mô tả, hoàn thành câu, vìnhững dự đoán tiếp theo như từ tiếp theo phụ thuộc vào vị trí của nó trong câu vànhững từ dang trước nó Chính vì vậy, các nhà nghiên cứu đã phát triển ra mạngnơ-ron hôi quy Recurrent Neural Network RNN với ý tưởng là sử dụng một bộnhớ dé lưu lại thông tin từ những bước tính toán xử lý trước và dựa vào nó dé cóthé đưa ra dự đoán chính xác nhất cho bước dự đoán hiện tại

Mạng nơ-ron hồi quy là một mang nơ-ron chứa một vòng lặp bên trong nó.Mạng sẽ coi những dữ liệu đầu vào (input) là một chuỗi liên tục nối tiếp nhau theothứ tự thời gian Ứng dụng nổi bật nhất của mạng nơ-ron hồi quy là dich máy, mộtđoạn văn bản (text) có thể được coi là một chuỗi các từ vựng hoặc là một chuỗicác ký tự RNN sẽ thực hiện cùng một tác vụ cho tat cả các phần tử của một chuỗivới đầu ra phụ thuộc vào các phép tính trước đó

16

Trang 25

Mang nơ-ron hồi quy nhận một vecto đầu vào x va đưa ra vecto đầu ra y Dé

có thê lưu trữ được thông tin của các sự kiện trong quá khứ, mạng nơ-ron hồi quylưu trữ trong chính nó một vecto trạng thái ân h Vecto trạng thái này sẽ lưu giữnhững thông tin của những sự kiện đã được xử lý bằng cách cập nhật lại giá trị mỗikhi một sự kiện mới được xử lý Như ở hình trên, x, là input tại thời điểm t, S;, làtrạng thái an (hidden state) tại thời điểm t, được tính dựa trên các trạng thái antrước đó kết hợp với input của thời điểm hiện tai bằng công thức:

S, = tanh(U,, + W,_.)RNN chi sử dung một mạng nơ-ron duy nhất (thường là 1 lớp) dé tinh giá tri

dau ra của moi bước Dữ liệu đâu ra của bước này sau khi trở thành dau vao của bước sau đó sé được nhân với cùng một trọng so W O, là dau ra tại thời diém thứ

t, là một vecto chứa xác suât của toàn bộ các từ trong từ điện:

sẽ phải đi qua nhiều lớp tính toán Các nhà khoa học đã nghiên cứu vè phát triểnnhiều biến thé của RNN dé khắc phụ những hạn chế của mạng RNN giản đơn

- Mang nơ-ron hồi quy hai chiều (Bidirectional RNN): dựa trên ý tưởng

output tại t không chỉ phụ thuộc vào đầu vào trước đó mà còn phụ thuộc

17

Trang 26

cả vào các thành phần trong tương lai Nghĩa là mô hình sẽ tính toán dựatrên cả hai thành phần bên trái và bên phải của mạng

Mạng nơ-ron nhiều tầng (Deep RNN): giống như Bidirectional RNN, mạng cũng

tính toán output dua vào hai chiều nhưng mô hình này khác biệt hơn là sử dụng nhiều

lớp RNN hai chiều kết hợp với nhau tại một thời điểm.

2.3.2 Mang Long - Short Term Memory

2.3.2.1 Vấn dé phu thuộc dài

Chính vì ý tưởng đầu ra phụ thuộc vào các đầu vào trước đó và xử ly theothứ tự thời gian nên RNN không khả thi với các bộ dữ liệu lớn Việc tính toán đầu

ra theo thứ tự sẽ tốn rất nhiều thời gian dé lặp lại và ghi nhớ Giả sử khi mô hìnhhóa ngôn ngữ, nếu ta dự đoán từ cuối cùng “nhân tạo” của một câu ngắn như “dựbáo giá cô phiêu bằng mạng nơ-ron nhân tạo”, ta chỉ cần dựa vào những từ trước

đó thì hoàn toàn có thê đoán được từ tiếp theo vì khoảng cách đến thông tin liênquan ngắn va dé dé ghi nhớ Nhưng có rất nhiều trường hợp khó hơn như phải đoán

18

Trang 27

dựa vào ngữ cảnh, hay cần phải tìm những thông tin ở xa hơn dé xác định được từcần đoán là gì Điều này sẽ rất khó khăn và phức tạp vì RNN không biết cách kếtnối các thông tin lại với nhau, đặc biệt là những thông tin ở quá xa Chính vì vậymạng bộ nhớ dài-ngắn (Long — Short Term Memory) ra đời để khắc phục vấn đề

phụ thuộc dai của RNN giản đơn.

2.3.2.2 Phương thức hoạt động của LSTM

Mạng trí nhớ ngắn hạn định hướng dài hạn hay được viết tắt là LSTM là một

kiến trúc đặc biệt của mạng RNN có khả năng học được sự phụ thuộc trong dàihạn được giới thiệu bởi Hochreiter và Schmidhuber năm 1977 Trong nhiều bàitoán thì LSTM thé hiện tính phù hợp và tối ưu hơn mạng noron hồi quy thôngthường Chính vì vậy, nó ngày càng được ưa chuộng và sử dụng phô biến LSTM

là một RNN truyền thống nhưng được thiết kế thêm các hàm tính toán khác ở cáctrạng thái an Bộ nhớ của LSTM được gọi là tế bao (Cell) và nó được đánh giá nhưmột hộp đen, nhận đầu vào là trạng thái phía trước ht-1 và đầu vào hiện tại xt Bêntrong hộp đen này, nó sẽ tự quyết định thứ gì quan trọng cần ghi nhớ, thứ gì cầnloại bỏ Sau đó, chúng sẽ kết hợp với trạng thái phía trước, sự ghi nhớ hiện tại và

đâu vào hiện tại.

Các kí hiệu được sử dụng trong mạng LSTM là:

Ký hiệu Giải nghĩa

L—]

Neural Network

Layer

Các lớp ân của mạng nơ-ron LSTM

19

Trang 28

@ Toán tử Pointwise, biêu diễn các phép toán như cộng, nhân

Pointwise vector.

Operation

Vector chỉ dau vào và dau ra của một nút.

Vector Transfer

> ) Biêu thị phép nôi các toán hạng.

đi thông suốt mà không sợ bị thay đôi

eo lạ

Wg ; '

Hình 2.5 — Tế bào trạng thai LSTM giống như một băng truyền

LSTM có khả năng thêm hoặc bớt thông tin cho trạng thái tế bào, được quyđịnh và điều chỉnh bởi các cấu trúc gọi là công (gate) Các cổng này là nơi sang

lọc mọi thông tin đi qua nó Chúng được tạo bởi ham sigmoid và một phép nhân

pointwise Hàm kích hoạt Sigmoid có giá tri từ [0,1], mô tả độ lớn thông tin được

phép truyền qua tại mỗi lớp mạng Nếu đầu ra là 0 có nghĩa là không cho thông tin

đi qua và ngược lại nếu thu được giá trị là 1 thì có nghĩa là cho phép thông tin đi

20

Trang 29

qua Một LSTM có ba công như vậy dé bảo vệ và điều khiến trạng thái của tế bào

—‹-`—

Hình 2.6 - Công trạng thái LSTM

Bước đầu tiên của mô hình Long-short memory là quyết định xem thông tinnào được đi qua Quá trình này được quyết định bởi một lớp sigmoid gọi là “tầngcông quên” (forget gate) Đầu vào bao gồm h„_; và x; sẽ cho ra đầu ra là một giátrị trong khoảng [0,1] cho trang thái 6 C,_, Giá trị gần 0 tương ứng với thông tin

bị bỏ đi và giá trị gần 1 thé hiện toàn bộ thông tin được giữ lại

Hình 2.7 — LSTM bước thứ nhất

Sau bước lọc thông tin, ta cần quyết định xem thông tin mới nao cần lưu vàotrạng thái tế bào Đây là quá trình diễn ra trong công thứ 2 gọi là “tầng công vào”(input gate) Đầu tiên vẫn là tầng sigmoid quyết định thông tin nào được ghi lại và

tiếp theo sau là một tầng hàm Tanh tao ra một vecto mới cho giá tri mới C, được

21

Trang 30

thêm vao trong 6 trạng thai.

iy = 0 (Wj: [ht-1, 24] + 0;)

Ớ, =tanh(W@-[h¿T-i.#¿} + bơ)

Hình 2.8 —- LSTM bước thứ hai

Sau khi đã quyết định được thông tin nào sẽ giữ lại, thông tin mới nào được

cập nhật vào trạng thái tế bào, cần kết hợp với trạng thái tế bào cũ C t-1 thành trang

thái mới C, Dé thực hiện quá trình, ta nhân trạng thái cũ với ƒ, dé quên di những

thông tin quyết định quên trước đó Sau đó cộng thêm (i, * €,) dé cập nhật trang

thái mới cho tê bào.

ñị it rên Œịẹ= fi * Cr_1 + % Ct

Hình 2.9 —- LSTM bước thứ ba

Cuối cùng, ta cần quyết định đầu ra (output) là gì Thông tin đầu ra dựa trêntrạng thái tế bào đã xây dựng, nhưng vẫn sẽ được sảng lọc thêm lần nữa Đầu tiên,

van là tầng sigmoid đảm nhận công việc quyết định phan thông tin nào trong trạng

thái tế bào ta muốn xuất ra Sau đó ta sẽ đưa trạng thái tế bao qua ham Tanh dé

đưa giá trị về khoảng [-1,1] và nhân với đầu ra của cong Sigmoid dé giữ những

phần thông tin đầu ra ta muốn Đây chính là “tầng công ra” (output gate), công

cuối cùng trong mô hình LSTM

22

Trang 31

oO, =Ø(WV [he-1, 24] + bo)

Mô hình trung bình trượt, đồng liên kết, tự hồi quy ARIMA (p,d,q)

(Autogressive Integrated Moving Average) là phương pháp định lượng dựa trên

triết lý “hãy dé dữ liệu tự nói” dựa trên dữ liệu quá khứ phát hiện chiều hướng vận

động trong tương lai của các yếu tổ mà không sử dụng biến ngoại sinh độc lập

ARIMA không giả định bất kỳ một mô hình cụ thể, việc xác định mô hình là dựa

trên việc phân tích dữ liệu cụ thể từng trường hợp, vì thế ARIMA đôi khi còn

được gọi là mô hình “lý thuyết mới” vì nó không dự trên bất kỳ một lý thuyết kinh

tế nào Do đó, mô hình này có tính linh hoạt và tiết kiệm hơn hắn các phương pháp

khác, đồng thời tính hiệu quả của mô hình trong công tác dự báo đã được chứng

minh trong thực tế Vì vậy, mô hình ARIMA có một vị thé nhất định trong nghiên

cứu định lượng và ngày càng trở nên thông dụng hơn.

2.41 Tính dừng

Dữ liệu của bat kỳ chuỗi thời gian nao đều có thé được coi là được tạo ra từmột quá trình ngẫu nhiên và một tập hợp dữ liệu cụ thê, có thể được coi là một kết

quả (cá biệt) của quá trình ngẫu nhiên đó Hay nói các khác, có thể xem quá trình

ngẫu nhiên là tong thé và kết quả là một mẫu được của tông thé đó Tính dừng là

một tính chất của quá trình ngẫu nhiên được các nhà phân tích về chuỗi thời gian

đặc biệt quan tâm và xem xét kỹ lưỡng.

Một quá trình ngẫu nhiên Y, được coi là dừng nếu như trung bình và phươngsai của nó không thay đổi theo thời gian và giá trị đồng phương sai giữa hai thời đoạn chỉ

phụ thuộc vào khoảng cách hay độ trễ về thởi gian giữa hai thời đoạn nay chứ không phụ

thuộc vào thời điểm thực tế mà đồng phương sai được tính

23

Trang 32

Cụ thé:

- Trung bình: E (¥Y,) = y= const Ut

- Phuong sai: Var (Y,) = ø2 = const Lit

- Dé6ng phương sai: Cov (Y, , Y-4~) = E [ (Yt - u) (Yttk - p) ] = yk

Yt được coi là không dừng nếu nó vi phạm ít nhất một trong ba điều kiện trên

(Nguôn:Nguyễn Quang Dong, 2002, Kinh tế lượng-Chương trình nâng cao)

- Hau quả của chuỗi không dừng

Trong mô hình hồi quy cô điền, ta giả định rằng sai số ngẫu nhiên có kỳ vọngbằng 0, phương sai không thay đổi và chúng không tương quan với nhau Với dữliệu là các chuỗi không dừng, các giả thiết nay bi vi phạm, các kiểm định t, F mat

hiệu lực, ước lượng và dự báo không hiệu quả hay phương pháp OLS không áp

dụng cho các chuỗi không dừng.

Điển hình là hiện tượng hồi quy gia mạo: nếu mô hình tồn tại ít nhất một biến

độc lập có cùng xu thế với biến phụ thuộc, khi ước lượng mô hình ta có thé thuđược các hệ số có ý nghĩa thống kê và hệ số xác định R2 rất cao Tuy nhiên điềunày chỉ là giả mạo, R2 có thể là do hai biến này có cùng xu thế chứ không phải do

chúng tương quan chặt chẽ với nhau.

Thực tế cho thấy, hầu hết các chuỗi thời gian đều là chuỗi không dừng, kếthợp với những hậu quả trình bày trên đây cho thấy tầm quan trọng của việc xác

định một chuỗi thời gian có tính dừng hay không

— Cách kiểm định tính dừng của chuỗi thời gian

Tính dừng của chuỗi thời gian có thê nhận biết dựa trên đô thị của chuỗi thờigian, đồ thị của hàm tự tương quan mẫu hay kiểm định Dickey-Fuller

Dựa trên đồ thị chuỗi thời gian Y= f()Một cách trực quan chuỗi Yt có tính dừng nếu như đồ thị cho thấy trung bình

và phương sai của quá trình Yt không đổi theo thời gian

Phương pháp này cho ta cái nhìn trực quan, đánh giá ban đầu về tính dừng

của chuỗi thời gian Tuy nhiên, với những chuỗi thời gian có xu hướng không rõ

ràng, phương pháp này trở nên khó khăn và đôi khi không chính xác.

Dựa vào hàm tự tương quan mẫu ( SAC- Sample Auto Correllation)

Ngô Thi Phương Duyên - MSV: 11191354 - Toán Kinh tế 61

24

Trang 33

Chuỗi thời gian U; gọi là nhiễu trang nếu kỳ vọng bằng 0, phương sai không

đôi và hiệp phương sai băng 0.

Bước ngẫu nhiên :Nếu Y( = Y¡ + U; với U; là nhiễu trắng thì Y; được gọi là bước ngẫu nhiên

Ta có:

Y:=Yo+Ui1 Yo= Yi +U2 = Yo + Ui +U2

Nếu p = I thì Y là bước ngẫu nhiên và không dừng Do đó dé kiêm định tính

dừng của Y; ta kiêm định giả thiết:

Ho: p = 1 (chuỗi không dừng)

Hi: p #1 (chuỗi dừng)

Ở day ta không thê sử dung kiểm định t vì Y; có thé là chuỗi không dừng

Trong trường hợp này ta sử dụng tiêu chuẩn kiểm định Dickey — Fuller như sau:

Pp

FT g —

® SE(p) Phân phối theo quy luật DF

Nếu | zgqsl >l cal thì ta bác bỏ giả thiết Họ và kết luận chuỗi dừng.

25

Trang 34

Tiêu chuẩn DF cũng được áp dụng cho các mô hình sau:

AY, = YYti + U; U: ~ NO, 0°) (1)

AY, = Bi + TY ¡+ Ur U~ NO, or) (2)

AY, = Bi + Bo t+ làm +, U~ NO, or) (3)

Nếu U; tự tương quan, ta cải biên mô hình (3) thành mô hình:

— Biến đổi chuỗi không dừng thành chuỗi dừng

Xét bước ngẫu nhiên: Y= Y¿¡ + U/ với U là nhiễu trắng

Ta lay sai phân cấp I của Y; : D(Y: ) = Yt - Yt-1 = Ur Trong trường hợp nàyD(Y,) là chuỗi dừng vì U; là nhiễu trắng

Tổng quát, với mọi chuỗi thời gian nếu sai phân cấp I của Y chưa dừng tatiếp tục lấy sai phân cấp II, II Các nghiên cứu đã chứng minh luôn tồn tại mộtgiá trị d xác định để sai phân cấp d của Y: là chuỗi dừng Khi đó Y: được gọi làliên kết bậc d, ký hiệu là I(d)

Sai phân cấp d được lay như sau:

Sai phân cap I của Y: : D(Y( ) = Yt - Yr-1Sai phân cấp II: D(D(Y: ) ) =D? (Yi) = (Y:- Yr-1) - (Yt-1- Ye2)

Sai phân cấp d: D(D*!(Y)2.4.2 Quá trình tự hồi quy (AR), trung bình trượt (MA) và mô hình ARIMA

Mô hình tự hồi quy (Autoregressive) AR (p)Trong giá trị quá khứ và mô hình tự hồi quy, quá trình phụ thuộc vào tổng cótrọng số của các số hạng ngẫu nhiên hiện hành heo độ trễ

Yi = Oy + Py Yer +92 Y2 + + PpYep + O+E

Ngô Thi Phương Duyên - MSV: 11191354 - Toán Kinh tế 61

26

Trang 35

Mô hình trung bình trượt ( Moving Average) MA (q)

Trong mô hình trung bình trượt, quá trình được mô tả hoàn toàn bang tongcác giá trị quá khứ và số hạng ngẫu nhiên hiện hành theo độ trễ

Yt=@+e-Ô1et-1-Ô2£t-2 - - Ogét-g

Quá trình trung bình trượt kết hợp tự hồi quy ARMA (p,q)Trong thực tế, có nhiều khả năng Y có cả đặc điểm của AR và MA, khi đó ta

nói Y tuân theo qua trình trung bình trượt kết hợp tự hôi quy, ký hiệu ARMA (p,q).

Một quá trình ARMA (p,q) sẽ có p số hạng tự hồi quy và q số hạng trung bình

trượt như sau:

Yr=O+[o1Yer + + OpYt-p] + [Bime1 + + Bqbt-g] + et

Mô hình ARMA (p,q) cho thấy biến Y tại thời điểm t không chi phụ thuộcvào giá trị quá khứ của nó mà còn phụ thuộc vào sai số quá khứ

2.4.3 Mô hình hồi quy kết hợp trung hình trượt ARIMA (p,d,q)

Do mô hình Box-Jenkins chỉ mô tả chuỗi dừng hoặc những chuỗi đã sai phân

hóa, nên mô hình ARIMA (p.d.q) thé hiện những chuỗi dữ liệu không dừng, đã

được sai phân.

Nếu một chuỗi thời gian dừng ở sai phân bậc d, ta nói chuỗi liên kết bậc d,

ký hiệu I(d) Kết hợp với quá trình ARMA ta có được mô hình trình trung bìnhtrượt, đồng liên kết, tự hồi quy ARIMA (p,d,q) với p số hạng tự hồi quy và q sốhạng trung bình trượt, va cần lay sai phân bậc d dé chuỗi dừng Phương trình tong

quát như sau:

d d d

2.4.4 Phương pháp Box-Jenkins (BJ)

Mô hình ARIMA được George Box và Gwilym Jenkins công bố vào năm

1976 và tên của họ thường được dùng để gọi tên các quá trình ARIMA tổng quát,

áp dụng vào việc phân tích và dự báo các chuỗi thời gian Phương pháp Jenkins đưa ra phương pháp đề xác định mô trình này qua các bước:

Box-Bước 1 : Nhận dang mô hình

Nhận dạng mô hình ARIMA(p,d,q) là tìm các giá trị thích hợp của p, d, q.

Với d là sai phân của chuỗi thời gian khảo sát, p là bậc tự hồi quy và q là bậc trungbình trượt Việc xác định p, q sẽ phụ thuộc vào đồ thị SPACF = f(t) và SACF=f(t)

27

Trang 36

Với SACF là hàm tự tương quan mẫu và SPACF là ham tự tương quan mẫu riêng

phần ( Sample Part al Autocorrelation):

+ Chon giá trị của p nếu đồ thị SPACF có giá trị cao tại độ trễ 1,2, , p va

giảm nhiêu sau p và dạng hàm SACF giảm dân.

+ Chọn giá tri của q nếu đồ thị SACF có gia tri cao tại độ trễ 1,2 q và giảm

nhiều sau q và dang hàm SPACF giảm dan

ARIMẶd.q) Giảm dần Giảm dần

Bước 2 : Uốc lượng các thông số của mô hình ARIMĂp,d,q)

Các thông số o và 0 của mô hình ARIMA sẽ được xác định theo phương phápbình quân tối thiểu (OLS — Ordinary Least Square) sao cho:

Ye =) Œ,—/—8,X,)? > Min

i=l i=l

Bước 3 : Kiém tra chán đoán mô hình

Dựa vào các tiêu chí sau dé lựa chọn mô hình tốt :

Hệ số hồi quy có ý nghĩa thống kê

Phần dư của mô hình dự báo phải là một chuỗi ngẫu nhiên Chúng ta cầnkiểm tra phần dư có phải là một chuỗi ngẫu nhiên hay không bằng cách sử dụnggiản đồ tự tương quan

Tiêu chí AIC/SIC: Mô hình có giá tri AIC/SIC càng nhỏ thì mô hình càng phù hợp.

Sai số dự báo càng nhỏ càng tốt So sá giá trị dự báo với giá trị thực tế Nếu

mô hình có giá trị dự báo càng gần với g á trị thực tế thì đó là mô hình dự báo tốt

Hệ số xác định R7 càng lớn thì mô hình hồi quy đã xây dựng được xem là

càng phù hợp.

28

Định dạng
Số trang	73
Dung lượng	22,29 MB