Khóa luận tốt nghiệp Hệ thống thông tin: Ứng dụng mô hình học máy, học sâu và các biến thể cho việc dự đoán giá các đồng tiền mã hóa

Trong nghiên cứu này, quyết định sử dụng mô hình học sâu và tập trung nghiên cứu vào các biến thé để đưa ra các phương pháp cải tiến nhằm mục đích xử lý dự đoán dữ liệu của chuỗi thời gi

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN

KHOA HE THONG THONG TIN

LE THI AI NHI - 19521963

LE HUU THANG - 19522200

KHOA LUAN TOT NGHIEP

UNG DUNG CAC MO HINH HOC MAY, HOC SAU VA CAC

BIEN THE CHO VIỆC DU DOAN GIA CAC DONG TIEN MA

HOA

IMPLEMENTATION OF MACHINE LEARNING, DEEP

LEARNING AND VARIANCE MODELS FOR PREDICTING

PRICES OF CRYPTO CURRENCIES

KY SU HE THONG THONG TIN

GIANG VIEN HUONG DAN PGS TS NGUYEN ĐÌNH THUAN

ThS VU MINH SANG

TP HO CHÍ MINH, 2023

LOI CAM ON

Lời đầu tiên, chúng em xin được cảm ơn trường Dai học Công nghệ Thong tin

-Đại học Quốc gia Thành phó Hồ Chí Minh đã tạo điều kiện tốt nhất để chúng em có thé học tập và phát triển Trong quá trình học tập tại đây, chúng em đã gặp được rat nhiều những thầy cô, những người bạn, và những con người tuyệt vời, song song đó

là những cơ hội quý giá dé phát triển bản thân trong sự nghiệp lẫn cuộc sống Để hoàn hoàn thành khóa luận này, chúng em xin được gửi lời cảm ơn đặc biệt đến những

người sau đây.

Chúng em xin trân trọng gửi lời cảm ơn tới thầy PGS.TS Nguyễn Đình Thuân và Thầy ThS Vũ Minh Sang, những người đã hết lòng giúp đỡ chúng em trong con đường nghiên cứu lẫn học tập Thầy Thuân là một nguồn cảm hứng to lớn cho em có

thể tự tin và vượt qua vô số thử thách trên con đường học tập và nghiên cứu trong

suốt thời gian qua.

Tiếp theo, chúng em muốn dành lời cảm ơn đến những thay cô trong trường, đã

dạy dỗ và truyền đạt những kinh nghiệm, kiến thức quý báu trong suốt những năm học Bên cạnh đó, chúng em muốn gửi lời cảm ơn các thay cô trong khoa Hệ Thông

Thông Tin đã tạo nhiều cơ hội dé chúng em có thé phát triển Chúng em cũng muốn cảm ơn những anh chị và những người bạn đã luôn đồng hành cùng chúng em trong

suốt hành trình hoc dai học, đặc biệt là các bạn ở lớp HTTT2019, anh Nguyễn Minh

Nhựt và các bạn ở nhóm nghiên cứu FTISU.

Cuối cùng, chúng em muốn gửi lời cảm ơn đến bố mẹ, gia đình cùng những người

thân của chúng em, những người đã luôn đồng hành, tin tưởng, ủng hộ, và quan tâm

giúp đỡ chúng em trong những lúc khó khăn nhất Không có mọi người, chúng em đã không thé có được như ngày hôm nay.

Nhóm sinh viên thực hiện

MỤC LỤC

TOM TAT KHÓA LUẬN 2222:+-2222222222222222111312122222211111 2211111 re 1

Chương 1 MO ĐẦU 22 22222 2222+22922211122211112212112122711112271112221112 2.111 ce 2 1.1 Đặt vấn đề -222c2cc 222222222 T212 1.1111 re 2 1.2 Mute am ố ố.ẻ 3

1.3 Đối tượng và phạm vi nghiên cứu

1.3.1 Đối tượng nghiên cứu -::¿¿22222+v2++t222222EE 2121111 re 3

3.1 Giới thiệu về dự báo ccc ++ccccc2222Etttiikrrrrrriiiiiriiiiirrrree 9

3.1.1 Định nhà «ae Mass 220 Q9 ĐH HH HH gu ghưn 9

3.1.2 Các phương pháp dự báo ¿- ¿5+ + Scc2ttetrerrrererirerrrree 9 3.1.2.1 Phương pháp định tính - ¿55c 5++cSx‡tssterrrerkerrrrerrrrree 9

3.1.2.2 Phương pháp định lượng - 6xx s*sEsxevekrrerererrreree 9

3.1.2.3 Tiên đoán s2 vn Hee 9 3.1.2.4 Phương pháp ngoại SUY ¿- 55+ S*St tt 9

3.1.2.5 Phương pháp chuyên gia ¿ 5-55 Sttttrrrekerrrerree 10

3.1.2.6 Phương pháp mô phỏng, - - - + 5 + ££S‡Ev£ekexeterrkree 10

3.1.3 Tính chất của dự báo -cc2c¿++222EEEErvrttttEEEErrrrtrrrrtrrrrrrrrrer 10

3.1.4 Các ứng dụng của dự báo - c5: 5c 23tr 10

3.2 Giới thiệu về đối tượng dự báo ¿-222+++2222++teEEExerrrrrkrrrrrrrrvee 10

3.2.1 Đồng tiền Bitcoin (BTC) : 2222+2222222tS22SYEttEEEvrrrrrrrrrrrrrrrree 0 3.2.2.Đồng tiền Ethereum (ETH)

3.2.3 Đồng tiền Binance (BNB) sssscsssssssesssssssescssssscccssssssesssssesesssuccesssececsssees 1 3.2.4.So sánh các đông tiền mã hóa bao gồm Bitcoin, Ethereum, Binance 1

3.3 Lý thuyết về chuỗi thời gian 2¿©222+++222E+++tSEEESerrtrrkrrrrrrrrvee 1

3.3.1 Chuỗi thời gian „11

3.3.2 Các thành phần của chuỗi thời gian -+-©222vvscccee+rcrz 2

3.3.3 Cách hoạt động theo dự báo chuỗi thời gian

3.4 Các kỹ thuật và lý thuyẾ .-¿-2222+2222v+t22EEE E221 E2 rtrrkrrrrrrrrvee 4

3.4.1.Mô hình ARIMA -cc5cccc St tt che 4

3.4.1.1 Tinh dừng (Stationary Time series) -‹-‹-<++<5+5<+ 4

3.4.1.2 Lý thuyết về mô hình ARIMA ¿-c¿+22+z++cvvsccz+rr 4 3.4.1.3 Lựa chọn tham số ARIMA (p, d, q) - -c¿2+c++ccsssce+rr 6

3.4.1.4 Chỉ số AIC — Akaike Information Criteria -c-c- 7

3.4.2 Mô hình SARIMA cv trinh 7

3.4.3 Thuật toán Support Vector RÑegT€SSiOH - «¿+ + cs+cczxzxseercr+ 8

3.4.4.Mang Neural NGtWOTK cà tk SH HH Hước 9

3.4.5.Long Short - Term Memory - ¿5-55 5252 S+++++cxe+ezzxexsrerre 22

3.4.5.1 Giá trị đầu vào của mô hình (Input) cccccsssecccsssseecssssseecessseeseessseeeee 2

3.4.5.2 Sơ lược về mô hình Long Short — Term Memory 23

3.4.6 Bidirectional Long Short - Term MemOry -.- ¿+ 555 55+++s+£ 28 3.4.7 Convolutional Long Short — Term MemOrV - - - + 5-5-5 +s5<++ 30

3.4.8.Peephole Long Short — Term MeimOry -. ¿-¿- 5 25s 5++++++c+se++ 32

3.4.9.Encoder - Decoder Long Short — Term Memory -: - 33

3.4.10 Coupled Input and Forget Gate Long Short — Term Memory 34

3.4.11 Deep Long Short - Term Memory Network

3.4.12 Stateful Long Short - Term Memory ¿-¿- - 55+ ++++x+£exxr+ 38

3.4.13 Stacked Long Short - Term Memory

3.4.14 Multiplicative Long Short - Term Memoty -¿ ¿+ <5 55+5+5<£ 40

3.4.14.1 Sơ lược về Mang Recurrent Neural Network (RNN).

3.4.14.2 Multiplicative RNN (MRNN) c-ccccccecereeree Al 3.4.14.3 Multiplicative LSTM (mLSTM)

3.4.15 Convolutional Neural Network Long Short - Term Memory 43 3.4.15.1 Convolutional Neural Network (CNN) -.c-cccccccscs+ 43

3.4.15.2 Convolutional Neural Network LSTM - «<< <2 45

3.4.16 Hybrid Long Short - Term Memory - Convolutional Neural Network 46

3.4.17 Vanilla Long Short - Term Memory - - +5 +++c+x+c+x+xzxcxe 46

3.4.18 TimeDistributed Long Short - Term Memoty -: 48 3.4.18.1 TimeDistributed layer - 5-5 2 5++++c+xexsrerrtsesrerreree 48

3.4.18.2 TimeDistributed LSTM -5-5++cccsccrrererrrrerrreerrer 50 3.4.19 CNN — Bidirectional Long Short — Term Memory - ‹ 51

3.4.20 Convolutional - CNN — Long Short — Term Memory 52

Chương 4 THỰC NGHIỆM VA ĐÁNH GIIÁ 2¿-©222c+2222+zccccvscee 54

4.1.Framework cơ bản của bài toán và tiền xử lf ccccc-c22ccvscccccrrcrr 54

1:00 - 56

4.3 Quy trình chia dit liệu ¿-¿- 5+ 5521k E12 E2 E12 71212121 111gr rưn 57

4.4 Các chỉ số đánh giá ccccc tt 22tr 58

4.4.1.MSE HH 1.101 Hà 58

4.4.2.MAE cà HH H21 HH re 58

4.4.3.RMSE

4.4.4.MAPE S212 101.212 H112 rà 59

4.5 Két qua va danh gia.

4.5.1 Kết quả đánh giá trên từng mô hình dự báo của tap đữ liệu ngan 60 4.5.2 Kết quả mô hình đã cải tiến

4.5.3 Kết quả mô hình kết hợp trên cả tập dữ liệu thời gian dài và ngắn 69 4.5.3.1 Kết quả mô hình kết hợp CNN — LSTM và BiLSTM

4.5.3.2 Kết qua mô hình kết hợp CNN — LSTM và ConvLSTM 73 4.5.4 Kết quả mô hình chạy thực tẾ :¿¿222++222vv++eevvvvrrerrvsrrecrr 76 Chương 5 NỘI DUNG VÀ PHƯƠNG PHÁP -¿¿22222z2222+zerrcrvscee 80

5.1 Các giai đoạn Chin - ¿6 925222122392 21232111121 211101111 1.1 xe 80

5.1.1.Phrase 1 — Học mô hình dự báo - ¿5+ s++Sx+e£vsexsexererreeerrser 80

5.1.2 Phrase 2 — Quy trình xây dựng hệ thống API - -: - 82 5.1.3 Phrase 3 — Triển khai hệ thông API lên Server Cloud 87

5.1.4 Phrase 4 — Xây dung giao diện trang web va giao tiếp API 88 Chương 6 TONG KET VA HƯỚNG PHÁT TRIEN : 22525sc2 91 6.1 Kết quả đạt được cccccccsssessssssseessssssscsssssesscsssssessssssscesssisscessssssesssieceesssecseessees 91 6.2 Hạn chế - tt HH 92

6.3 Hướng phát triỂn -2 222 2222++2EE22121222211222711112272112 221112 EEiXe 92

DANH MỤC HÌNH

Hình 1.1 Mô hình kiến trúc đề tài 22tcccecvvttrtrrrriirrrrrrrririee 4 Hình 3.1 Biểu đồ thể hiện giá (USD) của Bitcoin theo thời gian - 12 Hình 3.2 Các thành phần của chuỗi thời gian trong Decomposition of time series

E— 13

Hình 3.3 Mô hình SARIMA ¿- ¿1S S112 1 HH HH Hư 17

Hình 3.4 Những nguyên tắc của mô hình Support Vector Regression (SVR) [37].19

Hình 3.5 Cấu trúc của một mang Neural Network [3] ¿-¿ cec+c+x+xsvcee 19

Hình 3.6 Mô hình mang Neural Network 3 layers [13] -+-+ = ex<ce+ 20 Hình 3.7 Mô hình mang Neural Network theo Supervised Learning [18] 21

Hình 3.8 Mô hình mang Neural Network theo Unsupervised Learning [18] 21

Hình 3.9 Mô hình mang Neural Network theo kiểu học tăng cường [18] 22 Hình 3.10 Quy trình đầu vào của mô hình

Hình 3.11 Sự lặp lại kiến trúc module trong mạng RNN chứa một tầng ân [40] 24

Hình 3.12 Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng an (3 sigmoid

va | tanh) tương tác [40] ¿-c- - tt St 24

Hình 3.13 Đường đi của 6 trang thái (Cell state) trong mạng LSTM [40] 25

Hình 3.14 Một cổng của ham sigmoid trong LSTM [40] .-: -: 25

Hình 3.15 Tầng công quên (forget gate layer) [40] -ccccczz22ccsss+ 26

Hình 3.16 Cập nhật giá trị cho ô trạng thái bằng cách kết hợp 2 kết quả từ tầng

cổng vào và tầng ân ham tanh [40] 2++++22++++222vv++tttvxvrestrxsrrrrr 26 Hình 3.17 Ô trạng thái mới [40] ¿-22++++222+++tSEES++rttrrrxrrrrrrrrrrrrrrrree 27 Hình 3.18 Điều chỉnh thông tin ở đầu ra thông qua hàm tanh [40] - 27

Hình 3.19 Mô hình LSTM [[ Ï] ¿ - 2-5552 £‡E‡Ex‡Esrkerrkerkererkerrkervee 28 Hình 3.20 Mô hình Bi-LSTM [38] ¿55c c2 29

Hình 3.21 Mô hình ConvLSTM [3 [] -. -c-c-c+c+ccsceeceevrerereereeece 3 Í

Hình 3.22 Mạng ConvLSTM - ¿52-52 22t SE 323 32 22121111111 xe 32

Hình 3.23 Mô hình Peephole LSTM [35] -. -5-55cccc+ccccvecsxerex 32 Hình 3.24 Mô hình Encoder — Decoder LSTM [45]

Hình 4.1 Quy trình tổng quát thực hiện dự đoán kết quả

Mô hình CIFG LSTM [33] - -22¿£©2222z2222+zceccvvvrerrxee 35

Mô hình Deep LSTM Network [46] -.- 5555 c+c+csxsveeeccsx.ee dO

Mô hình Stateful LSTM 22:©222+¿+22E+2++222EE2EtEEEEEvrrrrrrrrrrrrree 38

Sự biến đổi giữa một mô hình LSTM thành Stacked LSTM 39

Recurrent Neural Network có vòng lặp [7] - «-x-xeececexeee 4I

Recurrent Neural Network đơn giản hóa [23] -+-«c+<s< 41

Biểu đồ minh họa của Multiplicate LSTM [22] - - 43

Mô hình Convolutional Neural Network [16] - ¿+ =+s-++ss+ 44

Mô hình Convolutional Neural Network [34] -: + = -++ss+ 45

So dé cầu trúc từng lớp của Hybrid LSTM — CNN model [25] 46 Kiến trúc model Vanilla LSTM [4§] - : -¿525ce+ccssccerz 47

Các kiểu dữ liệu kết hợp [28] -222cccce522cvvvvccrerrrrrrvsee 50

Sơ đồ tổ chức của model TimeDistributed LSTM [28] „51

Sơ d6 mô hình kết hợp CNN-Bi-LSTM 52

Sơ dé cau trúc của mô hình kết hop Conv - CNN-LSTM 53

Hình 4.2 Các mô hình thực hiện thử nghiệm xây mô hình dự báo -56

Hình 4.3 Quy trình xử lý dữ liệu ¿5c 5++c+‡cccsxerxertrrerrrerrerrrrrree 58

Hình 4.4 Đồ hị kết quả dự đoán của mô hình ConvLSTM trên tập dữ liệu ngắn về

Hình 4.7 Dé thị kết quả dự đoán của mô hình Hybrid LSTM — CNN trên tập dữ

Tigu ngin v6 Bimance 07 ` 66 Hình 4.8 Đồ thị kết quả dự đoán của mô hình Hybrid LSTM — CNN trên tap dữ

liệu ngăn về Binance

Hình 4.9 Mô hình cải tiến của Hybrid LSTM — CNN model - - 67

Hình 4.10 Đồ thị dự báo của mô hình Hybrid LSTM-CNN trước cải tiến (trái) và sau cải tiến (phải) trên tập dữ liệu ngắn về Ethereum

Hình 4.11 Dé thị dự báo của mô hình Hybrid LSTM-CNN trước cải tiến (trái) và sau cải tiến (phải) trên tập dữ liệu ngắn về Bitcoin

Hình 4.12 Đồ thị dự đoán của mô hình Hybrid LSTM-CNN trước cải tiến (trái) và sau cải tiến (phải) trên tập dữ liệu ngắn về Binance -ccc ccceccrserrrxecrrrecerl 69

Hình 4.13 Đồ thị biểu diễn kết quả dự đoán mô hình CBiLSTM trên tập dữ liệu dài 2199100005 4 3 72

Hình 4.14 Đồ thị kết quả dự đoán mô hình CBiLSTM trên tập dữ liệu dài về

Hình 4.19 Đồ thị kết quả dự báo 7 ngày, 30 ngày của mô hình LSTM trên tập đữ

liệu BTC với time _ s(€D =7 - + tt THH HH HH HT HH HH ky 78

Hình 4.20 Đề thị kết quả dự báo 7 ngày, 30 ngày của mô hình ConvLSTM trên tập

dữ liệu BTC với time_step =7 ¿- + St k2 H11 10010101201 010101 uy 78

Hình 4.21 Đồ thị kết quả dự báo 7 ngày, 30 ngày của mô hình LSTM trên tap đữ

liệu BTC với time_step =Ì.4 ¿+ + + vn TH HH TT HH HH it 79

Hình 4.22 Đồ thị kết quả dự báo 7 ngày, 30 ngày của mô hình ConvLSTM trên tập

dữ liệu BTC với time_step =Ì4 - +5: 252232 E2 121912 2212121111111 xe 79

Hình 5.1 Trang web dùng để download đữ liệu Bitcoin, Ethereum và Binance 80

Hình 5.2 Đồ thị giá Bitcoin theo thời gian -ccccc:¿2222cvvvcrrrrrrrrrrrrercee 81

Hình 5.3 Quy trình thực hiện dự báo trên website ¿-¿-¿ + + +++c+<c<cccsee 81

Hình 5.4 Usecase hệ thống dự báo Bitcoin, Ethereum, Binance 82Hình 5.5 Thành phan dữ liệu của hệ thống 2 2¿+¿2++2+++£x+zzxzxezrez S6Hình 5.6 Thành phan dữ liệu của hệ thống - 2 2¿+¿+++2+++£x++zxzxesrxz 87Hình 5.7 Thanh phan dữ liệu của hệ thống -¿- 2¿+¿+++2+++zx++zxzxesrxz 88

Hình 5.8 API auto crawl data tai Controller - << << ss*+++++sesseceesss 88

Hình 5.9 API auto crawl data tại Controller -.e 5+ c< 13+ ++sevexssserrssse 88

Hình 5.10 Màn hình trang chủ website dự báo se seeeeeerske 89

Hình 5.11 Màn hình tổng quan dự báo giá Bitcoin, Ethereum, Binance 89

Hình 5.12 Man hình khi người dùng chọn mô hình dự báo - -‹+ + 90

Hình 5.13 Màn hình kết quả sau khi dự báo ¿ 2¿©+¿+++2x++zxzzxczxeerxe 90

DANH MỤC BANG

Bảng 2.1: Tổng hợp các nghiên cứu liên quan về giá tiền mã hĩa và mơ hình LSTM

"— 7

Bảng 3.1: Bang so sánh đồng Bitcoin, Ethereum và đồng Binance 11

Bang 4.1 : Bang mơ ta các thuộc tinh trong tập dữ liệu - - «+ + << 57

Bảng 4.2: Bảng kết quả dự báo của các mơ hình hồi quy trên 3 tập dữ liệu ngắn về 3 đồng tiền Bitcoin, Ethereum, Binance :- s5 +x2Et2EESEEEEEEEEEEEtzrxsrxerxerxeer 60

Bảng 4.3: Bảng kết quả các mơ hình trên tập dữ liệu ngắn về Bitcoin 62

Bang 4.4: Bảng kết quả các mơ hình trên tập dữ liệu ngắn về Ethereum 62 Bảng 4.5: Bảng kết quả các mơ hình trên tập dữ liệu ngắn về Binance 63 Bảng 4.6: Bảng so sánh kết qua cải tiến mơ hình Hybrid LSTM — CNN trên 3 tập dữ liệu ngắn đồng Bitcoin, Ethereum và Binance -¿22z++22++z++zzvscee 68 Bảng 4.7: Bảng kết quả mơ ba mơ hình trên tập dữ liệu ngắn về Bitcoin 70 Bảng 4.8: Bảng kết quả mơ ba mơ hình trên tập dữ liệu ngắn về Ethereum 70

Bang 4.9: Bảng kết qua mơ ba mơ hình trên tập dữ liệu ngắn về Binance 70

Bang 4.10: Bảng kết quả mơ ba mơ hình trên tập đữ liệu dài về Bitcoin 7I Bang 4.11: Bảng kết quả mơ ba mơ hình trên tập dữ liệu dài về Ethereum 71 Bảng 4.12: Bang kết quả mơ ba mơ hình trên tập dữ liệu dài về Binance

Bang 4.13: Bảng kết quả mơ hình kết hợp Conv-CNN-LSTM trên tập dé liệu ngắn

1910117 74 Bảng 4.14: Bảng kết quả mơ hình kết hợp Conv-CNN-LSTM trên tập dữ liệu ngắn

Về Bi(€ỌI 22-22222+22222222221121222111112711112271122.7.112 2.20111210111202 e 74

Bảng 4.15: Bảng kết quả mơ hình kết hợp Conv-CNN-LSTM trên tập dữ liệu ngắn

VO Bimance o scesssseessssessssecsssecssssecsssecssseccssvccsssecsssecsssvsssssscssusesssvecssvsssssessssecsssesssseesssee 74 Bảng 4.16: Bang so sánh kết quả thực nghiệm dự báo 1 ngày, 7 ngày và 30 ngày

của hai mơ hình LSTM và ConvLSTM trên tập dữ liệu về Bitcoin với time_step=7

Bang 4.17: Bang so sánh kết quả thực nghiệm dự báo 1 ngày, 7 ngày và 30 ngày

của hai mô hình LSTM và ConvLSTM trên tập dữ liệu về Bitcoin với time _step =

— 78

Bảng 5.1: Usecase trực quan hóa dự báO - - - 2 S1 ng ng trên 83

Bang 5.2 : Usecase xem kết qua dự báo ¿5 s+SE+EE+EE+EE£E£EEEerkerkerkererree 83

Bảng 5.4: Usecase xuất kết quả đánh giá - ¿2:22 ©5+22x+2Ext2EEtEEterxesrxerrecree 84

Bảng 5.5: Usecase dự báo glá - - k HHHnHHT HH HH kg 85

Bang 5.6: Usecase xem kết quả hiện taie c.ccccceccsscsscssessessessessesssssesssssessessessesseeseaes 85

Bảng 5.7: Bảng thuộc tính BI1tCOIT 4 5 2 3 91 93 vn ng ng ngư S6

Bảng 5.8: Bang hàm Bitcoin Class - 5 <1 1113911391113 111 1 re 87

DANH MỤC TỪ VIET TAT

STT Từ viết tắt Dịch sang tiếng Anh

6 CNN Convolutional Neural Network

7 CIFG Coupled Input and Forget Gate

13 mLSTM Multiplicative Long Short — Term Memory

14 mRNN Multiplicative Recurrent Neural Network

15 MSE Mean Squared Error

16 MAE Mean Absolute Error

17 RMSE Root Mean Square Error

18 SARIMA Seasonal Autoregressive Integrated Moving Average

19 SVR Support Vector Regression

TÓM TÁT KHÓA LUẬN

Trong những năm gần đây, tiền ảo đã trở thành một trong những chủ đề được quan tâm nhiễu nhất trong giới đầu tư va môi giới Một trong những lý do cho sự quan tâm đáng kê đến việc đầu tư vào một loại tiền ảo quan trọng như vậy là do

sự biến động về giá trị của nó theo thời gian là rất lớn Với mong muốn kiếm lợi

nhuận từ các giao dịch mua bán tiền ảo, nhiều người bỏ ra một số tiền lớn dé đầu

tư mua tiền ảo khi chúng đang ở mức giá thấp và bán ra khi chúng ở mức giá cao

để lời được một phần dư nào đó Tuy nhiên, nếu chưa có khả năng xác định các quy tắc hoặc phân tích trước những thay đổi nhanh chóng về giá trị của các loại

tiền ảo, họ sẽ không tránh được những tình huống rủi ro không may cũng như mat

đi cơ hội kiếm được lợi nhuận lớn do sự bat ồn về giá.

Vi thé trong nghiên cứu này, quyết định chon các đồng tiền điện tử Bitcoin,

Ethereum và Binance Coin là những đồng tiền ảo phổ biến nhất trên thị trường dé tiến hành thử nghiệm dự đoán giá trị trong tương lai Tổng quan, Bitcoin,

Ethereum và Binance Coin đều là những đồng tiền điện tử phổ biến và được sử

dụng rộng rãi trong cộng đồng tiền điện tử Tuy nhiên, mỗi đồng có tính năng và

mục đích sử dụng khác nhau, vì vậy người sử dụng cần phải tìm hiểu kỹ trước khi đầu tư vào bat kỳ đồng tiền điện tử nào.

Trong nghiên cứu này, quyết định sử dụng mô hình học sâu và tập trung nghiên

cứu vào các biến thé để đưa ra các phương pháp cải tiến nhằm mục đích xử lý dự đoán dữ liệu của chuỗi thời gian dài và phức tạp Cụ thể, đã xây dựng các mô hình

dự đoán dựa trên một trong những mô hình học sâu phô biến nhất và phát triển

mạnh mẽ nhất hiện nay chính là Long Short - Term Memory và các biến thể của

Long Short - Term Memory, sau đó sử dụng các phương pháp cải tiễn và kết hợp

các mô hình đề đánh giá kết quả dự báo trên các tập dữ liệu dài và dữ liệu ngắn Cuối cùng, thực hiện phân tích và đánh giá kết quả mô hình trên năm chỉ số hồi

qui cơ bản, tức là MAE, MAPE, MSE và RMSE.

Chương 1 MỞ ĐẦU

1.1 Đặt vấn đề

Ngày nay, sự quan trọng của bảo mật thông tin là không thể chối cãi Với sự

phát triển của công nghệ, các hoạt động kinh doanh, tài chính và giao tiếp của con người đã diễn ra chủ yếu trên Internet Điều này có nghĩa là thông tin của cá nhân và

tổ chức đang được truyền qua lại một cách liên tục trên mạng Vì vậy, bảo mật thông

tin trở thành một trong những vấn dé chính của xã hội hiện đại Trong đó, công nghệ Blockchain là công nghệ đang được coi là tiên tiến nhất trong lĩnh vực bảo mật thông tin và đảm bảo tính toàn vẹn dữ liệu Sự tin tưởng vào công nghệ này đã đưa đến sự

phát triển nhanh chóng của Cryptocurrencies, hay còn được gọi là tiền mã hóa Đặc

biệt là Bitcoin, Ethereum và Binance Coin đều có khối lượng giao dịch lớn trên các sàn giao dịch tiền điện tử hàng dau Bitcoin ! là đồng tiền điện tử đầu tiên được tạo

ra và được coi là "vàng kỹ thuật số" đang chiếm khoảng 40% tổng giá trị vốn hóa thị trường tiền điện tử và Ethereum và Binance Coin lần lượt chiếm khoảng 18% và 3%

trong thời gian gần đây Sự phổ biến này cùng với các tiềm năng tăng trưởng đã tạo

ra sự quan tâm lớn từ các cá nhân và doanh nghiệp sử dụng và đầu tư vào các tiền mã

hóa trở nên phổ biến trên các sàn giao dịch Tuy nhiên việc bat én về giá và các đặc trưng về tính năng của các loại tiền mã hóa dẫn đến việc cần chính xác trong việc dự

báo.

Do đó, việc phân tích xu hướng giá của hai loại đồng tiền mã hóa phổ biến nhất

hiện nay BTC, ETH và BNB để dự báo giá trị của chúng là vô cùng quan trọng Tuy nhiên, khi đưa ra khuyến nghị cho các hành động giao dịch trên hai loại tiền này, cần phải tính toán và đưa ra khuyến nghị một cách cần thận.

Vì vậy, việc nghiên cứu và thử nghiệm dé dự báo giá trị của Bitcoin, Ethereum

và Binance, cũng như đưa ra khuyến nghị cho các hành động giao dịch là rất cần thiết

và tất yếu Việc này sẽ giúp cho các nhà đầu tư và doanh nghiệp có được thông tin quan trong dé ra quyết định đầu tư và quản lý rủi ro hiệu quả.

1 https://coin98.net/bitcoin-btc-la-gi

Nghiên cứu về cách cách cải tiễn mô hình và kết hợp các mô hình dự báo.

Phân tích kết quả thực nghiệm để đưa ra khuyến nghị mua, bán hay giữ cho

người dùng.

Xây dựng website trực quan hóa kết quả dự báo các đồng tiền mã hóa dựa

trên các mô hình và thuật toán trên.

1.3 Đối tượng và phạm vi nghiên cứu

Nghiên cứu dữ liệu giá tiền mã hóa (BTC, ETH, BNB) từ năm 2018 đến nay

1.3.2 Pham vi nghiên cứu

Trong đề tài này, phạm vi nghiên cứu hướng đến:

Mô hình dự báo chuỗi thời gian: ARIMA, SARIMA

Mô hình dự báo hồi quy: SVR

Mô hình máy hoc: Mang Neural Network, LSTM và các biến thé của LSTMbao gồm Vanilla LSTM, Stacked LSTM, Bi-LSTM, CNN LSTM,

ConvLSTM, Multiplicative LSTM, Peephole LSTM, CIFG LSTM, Encoder

- Decoder LSTM, Deep LSTM Network, Time-Distributed LSTM, Stateful

LSTM, Hybrid LSTM-CNN model

Mô hình kết hop: CNN - BiLSTM dự báo trên cả thời gian ngắn và dai; Conv

—€CNN - LSTM dự báo trên tập thời gian ngắn

e Cải tiến mô hình có kết quả tốt nhất trong tập dữ liệu của các loại tiền mã

hóa.

e Sử dụng độ đo dé đánh giá mô hình dự báo: MAE, MAPE, MSE, RMSE

e Kiến thức xây dựng website: Java String Boot, Python, NextJS, các

framework và thư viện liên quan.

Crawl data from YahooFinance , Building single model

(Mathematica statistics, Machine learning, Deep learning)

\ A ~~ Trading with the 1 1

noha : world’s most popular 1o ị ype Algarlhm i a

PART 3: Building Client

Hình 1.1 Mô hình kiến trúc đề tài

Mô tả kiến trúc đề tài gồm 4 phrase cơ bản như sau:

e_ Triển khai Phrase 1: Thu thập thông tin dir liệu trong quá khứ hàng ngày

từ Website của các loại tiền mã hóa Sau đó xử lí dữ liệu và tạo một Dataset

mới với các thuộc tính hỗ trợ cho việc dự báo chuỗi thời gian.

se Triển khai Phrase 2: Học các mô hình dự báo SVR, ARIMA, SARIMA,

Neural Network, LSTM và các biến thể LSTM Sau đó chọn mô hình tốt nhất

dự báo tốt nhất dé cải tiễn và các mô hình kết hợp đưa ra kết quả dự báo tốt hơn Tất cả mô hình máy học được đưa vào PART 2 thư mục public Xây dựng các API clone dữ liệu từ Website Bitcoin, Ethereum và Binance về, Xây dựng các Controller, kiến trúc CSDL.

« Triển khai Phrase 3: Giai đoạn đưa API lên Cloud Server Linux, dùng cơ

chế CRON Schedule của hệ điều hành Linux cho các hoạt động định thời

chạy các mô hình máy học hoặc lấy di liệu từ Website Data Bitcoin, Ethereum va Binance Triển khai theo quy trình của Spring Boot dé tổ chức

xây dựng các mô hình dự báo.

¢ Trién khai Phrase 4: Xây dựng Website Client để người dùng có thé chọn

loại tiền mã hóa, thời gian dự báo, thuật toán sử dụng để xem giá trị dự báo

theo dạng nến hoặc dạng đồ thị và bảng đánh giá độ đo của các thuật toán.

của yp4p trong đó h là khoảng thời gian mong muốn dự đoán kết quả sắp tới khi đã

có sẵn bộ dữ liệu {,y;, ,yr } Do đó tương tự cũng sẽ có sin bộ dữ liệu

{yu2¿, r,yr+: } nên đã xây dung input là bộ ma trận sau:

gian của High, Open, Low, Close, H-L, SMA_7, SMA_14, SMA_21 sẽ được giải

thích cụ thể trong phần bộ dữ liệu để dự đoán kết quả với Output là giá trị dự đoán

cua

Yr+nti-Chương 2 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Dựa vào các đặc điểm, từ khóa liên quan về các thử nghiệm liên quan đến dự đoán, học máy, học sâu, v.v chúng tôi đã tìm kiếm các bài báo liên quan trong những

năm gan đây và dựa vào các bai báo đó dé thực hiện nghiên cứu này và thé hiện chi tiết qua Bảng 2.1 dưới đây.

Những thành tựu về trí tuệ nhân tạo trong những năm gần đây đã làm cho các nghiên cứu về dự báo giá tiền kỹ thuật số được cải thiện về độ chính xác và hiệu suất.

Có rất nhiều các nghiên cứu đã được thực hiện với việc áp dụng nhiều mô hình dự

báo khác nhau Trong đó, nghiên cứu của các tác giả Seabe P.L, Moutsinga C.R.B và

Pindza E đã thực hiện dự báo dựa trên mô hình LSTM, GRU và Bi-LSTM Kết quả của nghiên cứu đã chỉ ra rằng mô hình biến thé BiLSTM có khả năng dự báo tốt hơn

so với LSTM và GRU [41].

Ngoài ra, việc kết hợp các mô hình dự báo, đặc biệt là các biến thé của LSTM cũng giúp cho kết quả dự báo tối ưu hơn, điều này đã được chứng minh qua bài viết của tác giả Liquan Shan cùng các cộng sự Tác giả tiền hành nghiên cứu một mô hình

thuật toán kết hợp giữa BiDirectional LSTM va CNN dé nhằm mục đích dự đoán giá trị thiếu hụt nguồn nước dựa trên các yếu tố ảnh hưởng [32].

Hay nghiên cứu vào năm 2021 của nhóm tác giả Zhifang Liao, Peng Lan cùng

các cộng sự tiến hành đưa ra các phương pháp dự đoán xu hướng phát triển sự lây lan

của COVID-19 Nhóm tác giả đã nghiên cứu thực nghiệm trên mô hình cơ bản của

SIRVD, tuy nhiên kết quả không thể xử lý được trên bộ dữ liệu dài hạn Do đó nhóm tác giả đã đề xuất mô hình dự báo học sâu của mạng thần kinh tái phát và các biến

thé, cụ thé là Vanilla LSTM, Stacked LSTM, Bi-LSTM và GRU Kết quả đã cho thay rằng không chi cai thiện 50% dự đoán so với phương pháp thuần túy ma còn có thé

điều chỉnh dự báo được ngắn hạn và trung hạn cho kết quả tốt hơn [47].

Patel và cộng sự của mình đã đề xuất một phương pháp dự đoán tiền điện tử tập

trung vào tiền điện tử Litecoin và Monero Mô hình được đề xuất dựa trên hồi quy

kiến trúc mạng thần kinh sử dụng các lớp LSTM và GRU Dữ liệu trong nghiên cứu của họ chứa dữ liệu Litecoin hàng ngày từ ngày 24 thang 8 năm 2016 đến ngày 23

tháng 2 năm 2020 va dữ liệu Monero từ ngày 30 tháng 1 năm 2015 đến ngày 23 tháng

2 năm 2020 liên quan đến giá trung bình, giá mở cửa, giá đóng cửa giá, giá cao và thấp, cũng như khối lượng giao dịch Các thí nghiệm được báo cáo đã chứng minh rằng mô hình kết hợp được đề xuất hoạt động tốt hơn các mạng LSTM tốt hơn [36].

Một nghiên cứu khác vào năm 2019 của Sima Siami-Namini và các cộng sự của

mình đã thực hiện so sánh hiệu suất của hai loại Mạng thần kinh tái phát (RNN) - Bộ

nhớ ngắn dài hạn (LSTM) và LSTM hai chiều (BiLSTM) trong dự báo chuỗi thời gian Nghiên cứu mục đích điều tra xem liệu việc kết hợp các lớp đào tạo bồ sung vào kiến trúc của LSTM có cải thiện khả năng dự đoán hay không Các mô hình

BiLSTM sử dụng dữ liệu đầu vào đã cho hai lần dé đảo tao từ trái sang phải và từ

phải sang trái Kết quả cho ra mô hình dựa trên BiLSTM đưa ra dự đoán tốt hơn so

với mô hình dựa trên LSTM thường và mô hình ARIMA Tuy nhiên, các mô hình

BiLSTM đạt đến trạng thái cân bằng chậm hơn nhiều so với mô hình dựa trên LSTM

44].

Bang 2.1: Tổng hợp các nghiên cứu liên quan về gid tiền mã hóa và mô hình LSTM

Năm Tác giả Tên bài báo Mô hình sử dụng | Tập dữ liệu

2021 | Liquan Shan | — "9/WMofk$wH Bi-LSTM, CNN a

attention mechanism nguồn nước

for well log prediction Journal of

Chương 3 CƠ SỞ LÝ THUYET

3.1 Giới thiệu về dự báo

3.1.1 Dinh nghĩa

Dự báo là một dự đoán được đưa ra băng cách nghiên cứu dữ liệu lịch sử và khuôn

mẫu trong quá khứ [2] Các mô hình dự báo được sinh ra bắt cứ khi nào sử dung dtr

liệu dé huấn luyện một kỹ thuật mô hình hóa dự báo Có thé thay rang:

Mô hình = Dữ liệu + Kỹ thuật mô hình hóa dự báo

3.1.2 Cac phương pháp dự báo

¢ Mô hình kinh tế lượng phân tích các tập dữ liệu tài chính.

e Cách tiếp cận chỉ báo so sánh các điểm dữ liệu dé xác định mối quan hệ giữa

dit liệu dường như không liên quan.

3.1.2.3 Tiên đoán

Tiên đoán là hình thức phản ánh vượt trước thời gian về mặt hiện thực, đưa rakết quả nhận thức chủ quan của con người Có ba hình thức tiên đoán: tiên đoán phản

khoa học, kinh nghiệm và khoa học.

3.1.2.4 Phương pháp ngoại suy

Phương pháp ngoại suy là phương pháp sử dụng dữ liệu đã biết dé suy ra giátrị của dữ liệu chưa biết thông qua một mô hình toán học hoặc thống kê

3.1.2.5 Phương pháp chuyên gia

Phương pháp chuyên gia là phương pháp thu thập ý kiến của chuyên gia trongviệc nhận định, đánh giá một sản phẩm, sự kiện hay một van đề thực tiễn để có mộtcái nhìn khách quan hơn về một van dé

3.1.2.6 Phương pháp mô phỏng

Phương pháp mô phỏng là phương pháp thay cho việc nghiên cứu một đối tượng

cụ thể thì xây dựng mô hình hóa của đối tượng đó và tiến hành nghiên cứu

3.1.3 Tinh chất của dự báo

e Tính không chính xác của dự báo dù phương pháp sử dụng là gi thì luôn tồn

tại yêu tố không chắc chắn cho đến khi thực tế diễn ra

e Luôn có điểm mù trong các dự báo và không thể dự báo một cách chính xác

hoàn toàn điều gì sẽ xảy ra trong tương tương lai

e Các phương pháp dự báo thường rất hiếm dat mức độ hoàn hảo, vì vậy cần

phải có sai số cho phép

e Độ chính xác của dự báo giảm dần khi kéo dài thời gian dự báo

3.1.4 Cac ứng dụng của dự báo

© Du báo thời tiết

e Dự báo giá vàng, cô phiếu

e AirVisual Air Quality Forecast

e Kinh tế, chính trị, văn hóa, xã hội, du lich, giáo dục

3.2 Giới thiệu về đối tượng dự báo

3.2.1 Đồng tiền Bitcoin (BTC)

Bitcoin là một loại tiền tệ kỹ thuật 86 phi tập trung dựa trên công nghệ blockchain

và không phụ thuộc vào các bên trung gian Đồng Bitcoin được mã hóa dưới dạngmột mã nguồn mở dùng, giao dịch theo hình thức ngang hang peer-to-peer

10

(P2P) trong mọi hoạt động giao dịch Có tính bảo mật rat cao, VIỆC xuất hiện BTC và

thực hiện phân chia cho các thợ dao hoàn toàn tự động theo thuật toán [6].

3.2.2 Đồng tiền Ethereum (ETH)

Đồng tiền ảo Ethereum là Blockchain 2.0 và là đồng tiền điện tử đứng trong top 2

Nó cũng có một chuỗi Blockchain của riêng nó, khác hắn với công nghệ của đồng tiềnBitCoin Ethereum sinh ra là đề hỗ trợ lưu trữ được SmartContract vào Block [17]

3.2.3 Đồng tiền Binance (BNB)

Binance là token gốc của sàn giao dịch Binance — một trong những sàn giao dịchtiền điện tử lớn nhất thế giới [10] Trong tháng 5 năm 2020 BNB cũng đã trải qua vàituần liên tiếp trong màu xanh lá cây và gần đây đã vượt qua mức cao nhất mọi thờiđại ké từ thang 1 năm 2018

3.2.4 So sánh các đông tiền mã hóa bao gồm Bitcoin, Ethereum, Binance

Bang 3.1: Bảng so sánh dong Bitcoin, Ethereum va dong Binance

© ệ $

Concept Digital money Smart contracts Margin trading

Market cap ~ $1.2 trillion ~ $450 billion ~ 33 billion

Founder satoshi nakamoto | vitaik buterin and | Changpeng Zhao

(unknown) team

Release date | Jan 2009 July 2015 June 2017

Release Early mining Presale raised | Initial Coin

method $18M in bitcoin Offering (ICO)

3.3 Ly thuyết về chuỗi thời gian

3.3.1 Chuỗi thời gian

Chuỗi thời gian (time series) là một chuỗi các điểm dữ liệu xảy ra theo thứ tự liêntiếp trong một khoảng thời gian Một chuỗi thời gian sẽ theo dõi chuyển động của các

11

điểm dữ liệu đã chọn (chắng hạn như giá của chứng khoán) trong một khoảng thời

gian xác định.

3.3.2 Các thành phan của chuỗi thời gian

Một dữ liệu chuỗi thời gian thường được phân rã thành 4 thành phần con sau [20]:

¢ Xu hướng (trend): thành phan này chỉ ra xu hướng tông quan của dữ liệu theo

thời gian: lên hoặc xuống, tăng hoặc giảm Y theo thời gian X Đường xu thế cóthé là một đường cong hoặc đường thăng Thanh phan xu thé là thành phần

thường được xuất hiện nhất trong các thành phần

20

10

0 100 200 300 400 500

Hình 3.1 Biểu đô thé hiện giá (USD) cua Bitcoin theo thoi gian

se Mia vu (seasonality): là những biến động của hiện tượng có tính chat lặp đi

lặp lại trong từng thời gian nhất định của năm Khác với xu thế và biến độngchu kỳ, khi nghiên cứu biến động thời vụ phải nhìn vào quy luật lặp lại của hiện

tượng trong từng năm.

¢ Chu kì (cycle): phản ánh quy luật lặp lại của dãy số trong những khoảng thời

gian nhất định thường là vài năm Chu kỳ tác động lên dãy số thời gian thường

là chu kỳ kinh tế hay kinh doanh như chu kỳ suy thoái kinh tế, lạm phát hayvòng đời của sản phẩm Nghiên cứu biến động chu kỳ đòi hỏi dãy số thời gian

có độ dài trên một năm Thành phan này chỉ sự thay đổi của đại lượng X theochu kỳ Thành phần này khác thành phần mùa ở chỗ chu kỳ của đại lượng X kéo

12

dài hơn 1 năm Đề đánh giá thành phần này các giá trị của chuỗi thời gian được

quan sát hàng năm.

Yếu t6 bat thường (Irregular remainder): hay còn gọi là nhiễu trắng (white

noise) thành phần nhiễu còn lại sau khi trích xuất hết các thành pchi ra sự bat thường của các điểm dữ liệu Thành phan nay dùng

hân ở trên, nó

dé chỉ sự thayđổi bat thường của các giá trị trong chuỗi thời gian Sự thay đổi này không thé

dự đoán băng các sô liệu kinh nghiệm trong quá khứ, vê mặt ban

phần này không có tính chu kỳ

Hình 3.2 Các thành phan của chuối thời gian trong Decomposition of time series [25]

3.3.3 Cách hoạt động theo dự báo chuỗi thời gian

Trước tiên, thực hiện một số phân tích khảo sát dữ liệu dé chọn ra các thuật toán

dự báo phù hợp nhất rồi sau đó sử dụng các mô hình máy học dé đưa ra dự đoán Một

số mô hình dự báo phô biến sau đây [15]:

Mô hình phân rã phân tách hoặc chia nhỏ dữ liệu chuỗi thời gian thành ba thành

phần: xu hướng, thời vụ và phần nhiễu, không thuộc hai nhóm trên

Một phương pháp phân tích dữ liệu chuỗi thời gian khác là chia nhỏ dữ liệu

thành hai thành phần: dữ liệu dự đoán được và không dự đoán được.

13

© M6 hình dựa trên làm mịn dữ liệu là một kỹ thuật thống kê liên quan đến việc

loại bỏ đữ liệu ngoại lai hoặc điểm dữ liệu khác biệt nhiều so với phần còn lại

của tập dữ liệu.

e M6 hình dựa trên hồi quy là một mô hình dự báo sử dụng dữ liệu quan sát từ

các bước nhảy thời gian trước đó để xác định một mối quan hệ toán học giữa

hai điểm dữ liệu Sau đó mô hình này sử dụng mối quan hệ toán học đó dé ước

tính giá trị tương lai chưa xác định.

3.4 Các kỹ thuật và lý thuyết

3.41 Mô hình ARIMA

3.4.1.1 Tính dừng (Stationary Time series)

e Theo Gujarati (2003) một chuỗi thời gian là dừng khi giá trị trung bình,

phương sai, hiệp phương sai (tại các độ trễ khác nhau) giữ nguyên không đôicho dù chuỗi được xác định vào thời điểm nào đi nữa Chuỗi dừng có xuhướng trở về giá trị trung bình và những dao động quanh giá trị trung bình sẽ

là như nhau.

e Có nhiều phương pháp kiêm tra tính dừng của chuỗi thời gian: kiểm định

Dickey—Fuller (DF), kiểm định Phillip—Person (PP) và kiểm định Dickey vaFuller mở rộng (ADF), kiểm tra bang giản đồ tự tương quan

3.4.1.2 Ly thuyết về mô hình ARIMA

Mô hình sẽ biểu diễn phương trình hồi qui tuyến tinh đa biến (multiple linear

regression) của các biến đầu vào (còn gọi là biến phụ thuộc trong thống kê) là 2 thànhphần chính:

e Auto regression (AR) là thành phan tự hồi qui bao gồm tập hợp các độ trễ

của biến hiện tại Độ trễ bậc ø chính là giá trị lùi về quá khứ ø bước thời gian

của chuỗi Độ trễ dài hoặc ngắn trong quá trình AR phụ thuộc vào tham số

trễ p Cụ thé, quá trình AR(p) của chuỗi x, được biểu diễn như bên dưới:

AR(p) = Bo + O1X¢-1 + Ú;x¿_; ++ + ÔpX¿_p

14

e Moving average là quá trình dịch chuyền hoặc thay đổi giá trị trung bình của

chuỗi theo thời gian Do chuỗi được giả định là dừng nên quá trình thay đổitrung bình dường như là một chuỗi nhiễu trắng [14] Quá trình movingaverage sẽ tìm mối liên hệ về mặt tuyến tính giữa các phần tử ngẫu

nhiên , (stochastic term) Chuỗi này phải là một chuỗi nhiễu trắng thỏa mãncác tính chất:

E(e,) =0(1)ă€,) = ă2)

per, €y—s) =0,Vs <£(3)

Về (1) có nghĩa rằng kì vọng của chuỗi bằng 0 dé đảm bảo chuỗi dừng không

có sự thay đổi về trung bình theo thời gian Về (2) là phương sai của chuỗikhông đổị Do kì vọng và phương sai không đổi nên gọi phân phối của nhiễutrang là phân phối xác định (identical distribution) và được kí hiệu là

£¿ ~ WN(0, ø?) Nhiễu trắng là một thành phần ngẫu nhiên thé hiện cho yếu

tố không thé dự báo của model và không có tính qui luật Quá trình trungbình trượt được biêu diễn theo nhiễu trăng như sau:

4

MĂq)= w+ » OE ej

i=l

Quá trình này có thé được biểu diễn theo dịch chuyền trễ như sau:

MĂq) = ư(1+6¡B+-::+ 60,B!)e,

e Integrated là quá trình đồng tích hợp hoặc lấy sai phân Khi biến đổi sang

chuỗi dừng, các nhân tố ảnh hưởng thời gian được loại bỏ và chuỗi sẽ dễ dựbáo hơn Dé tạo thành chuỗi đừng, một phương pháp đơn giản nhất là sẽ laysai phân Bậc của sai phân dé tạo thành chuỗi dừng còn gọi là bậc của quátrình đồng tích hợp Quá trình sai phân bậc đ của chuỗi được thực hiện như

sau [14]:

Sai phân bậc 1: /(1) = Ă%¿) = x4 — X¢-1

Sai phân bậc 1: !(đ) = A#(x¿) = ĂẶ ĂŒ,)))

———ˆ—

d times

15

Thông thường chuỗi sẽ dừng sau quá trình đồng tích hợp I(0) hoặc I(1) Rất

ít chuỗi phải lấy tới sai phân bậc 2 Một số trường hợp sẽ cần biến đổi logarit

hoặc căn bậc 2 dé tạo thành chuỗi dừng Phương trình hồi qui ARIMA (p, d,

q) có thé được biểu diễn dưới dang:

Ax, = ÚIAx,_¡ + 0;Ä*x¿_; +: 0 ,Ax¿Tp + O,€p-1 + O2€¢-2 + + Og €t~q

trong đó Ax, là giá trị sai phân bậc d va é; là các chuỗi nhiễu trắng

Như vậy về tổng quát thì ARIMA là mô hình kết hợp của 2 quá trình tự hồiqui và trung bình trượt Dữ liệu trong quá khứ sẽ được sử dụng dé dự báo dữliệu trong tương lai Trước khi huấn luyện mô hình, cần chuyển hóa chuỗisang chuỗi dừng bằng cách lấy sai phân bậc 1 hoặc logarit Ngoài ra mô hìnhcũng cần tuân thủ điều kiện ngặt về sai số không có hiện tượng tự tương quan

và phần dư là nhiễu trăng

3.4.1.3 Lua chọn tham số ARIMA (p, d, q)

Tự tương quan (ACF - AutoCorrelation Function) là một khái niệm quan trong

trong chuỗi thời gian [14] Hầu hết các chuỗi thời gian sẽ có sự tương quan với giátrị trễ của nó và các giá trị càng gần nhau thì tương quan càng mạnh hoặc các giá trịcùng thuộc 1 chu kì của chuỗi thì sẽ có tương quan cao Hệ số tự tương quan được

viết tắt là ACF và thường dùng để tìm ra độ trễ của quá trình trung bình

trượt MV (q) dé xây dựng các mô hình như ARIMA, GARCH, ARIMAX và kiểm tra

yếu tố mùa vụ Hệ số tự tương quan bậc s được xác định như sau:

Co0(%;, Xt)

J 050%

giá tri p(s, t) do lường khả năng dự báo của biến x; nếu chi sử dụng biến x, Trong

p(s,t) =

trường hop 2 đại lượng có tương quan hoàn hảo tức p(s,t) = +1 có thể biểu

diễn x, = By + ¡x; Hệ số của B, sẽ anh hưởng lên chiều của hệ số tương quan

Theo đó p(s,t) = 1 khi B, > 0 và p(s,£) = —1 khi B, < 0.

16

3.4.1.4 Chỉ số AIC — Akaike Information Criteria

AIC là một công cụ ước tính lỗi dy báo va do đó đánh giá chất lượng tương đối

của các mô hình thống kê trên một tập hop dir liệu nhất định và cung cấp một

phương tiện để lựa chọn mô hình Vì vậy một sé thông tin sé bi mat do không thể

dự báo từ mô hình và mô hình mắt càng ít thông tin thì chất lượng của mô hình đó

càng cao Giả sử rằng có một mô hình thống kê tương ứng với một bộ dữ liệu sau:

AIC = 2k — 2In (L)

Gọi k là số lượng tham số ước tính trong mô hình Đặt Ê là giá trị tối đa của hàm

hợp lý (maximum likelihood function) của mô hình, giá trị của AIC càng nhỏ thì mô

theo phương pháp ARIMA [14].

Phần Autoregressive (AR), Integrated (I) va Moving Average (MA) của mô hìnhvẫn giữ nguyên như trong ARIMA Việc thêm tinh mùa vào làm tăng tinh ôn địnhcho mô hình SARIMA Mô hình này được biểu diễn như sau:

ARIMA (p, d,q) (P, D, Q)m

t †

Non-seasonal part Seasonal part of

of the model of the model

Hình 3.3 Mô hình SARIMA

trong đó m là số lần quan sát trong một năm Sử dụng ký hiệu chữ hoa cho các phan

có tính mùa vụ trong mô hình và ký hiệu chữ thường cho các phần không có tính mùa

vụ trong mô hình Tương tự như ARIMA, giá tri P, D, Q cho các phần có tính mùa vụ

của mô hình có thé được suy ra từ các biểu đồ ACF và PACE của dit liệu

17

3.4.3 Thuật toán Support Vector Regression

Mô hình Support Vector Regression (SVR) là mô hình với co chế hồi quy của môhình Support Vector Machine (SVM) - một thuật toán hoc máy có giám sát được đề

xuất lần đầu tiên bởi Vladimir N Vapnik và được sử dụng rộng rãi trong việc giảiquyết các bài toán phi tuyến tính [19] Thuật toán SVM bao gồm hai bước chính Đầu

tiên, dữ liệu đầu vào sẽ được ánh lên không gian nhiều chiều hơn sử dụng các kerneltrick, ở đó việc tìm kiếm siêu phang tối ưu được chứng minh là đơn giản hơn Sau

đó, thuật toán sẽ tìm kiếm siêu phẳng dé phân tách dữ liệu thông qua việc đánh giákhoảng cách từ các điểm dữ liệu ánh xạ đến siêu phăng này Với tập dữ liệu huấnluyện là {X;, Y,}/_1, trong đó / là số lượng điểm dit liệu, giả sử có một hàm f (x) tồntại miêu tả mối quan hệ phi tuyến giữa biến x; và y¡ như sau:

f(x) = (w.ø()) +b

Trong đó g(x) là hàm ánh xa đữ liệu đầu vào lên không gian đa chiều; w là vectơ

trọng số, và b là hệ số thiên lệch Như vậy, dé tìm ra siêu phẳng, cần phải tối đa hóa

được khoảng cách (margin) giữa các lớp dữ liệu với nhau theo w và b, như ở phương

Trong đó C > 0, được xác định bởi người lập trình, là hằng số điều chỉnh sự đánh

đôi giữa giá trị của hàm mục tiêu sự hy sinh; e; và 7 là các biến bù, xác định khoảngcách giới hạn cho phép từ biến dung sai c Ap dụng nhân tử Lagrange vào phươngtrình số (1), có:

ƒœ) = (&i— gj)KŒ,x) +b 4)

(=1

18

Trong đó a; và a; là các nhân tử Lagrange, K là hàm nhân (kernel function) Khai

triển dạng toàn phương của phương trình (3) như sau:

Hình 3.4 Những nguyên tắc của mô hình Support Vector Regression (SVR) [37]

3.4.4 Mang Neural Network

Neural Network là mang lưới Nơ-ron nhân tạo Day là chuỗi thuật toán nhằm tìm

kiếm quan hệ trong tập hợp dữ liệu hệ thống dựa theo cách thức hoạt động não bộ

con người [4].

Activation function

Input signals

Summing

junction

Hình 3.5 Cấu trúc của một mang Neural Network [3]

Các thành phân co ban của một nơron bao gôm:

19

Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệunày thường được đưa vào dưới dang một vector N chiều.

Tập các liên kết: Mỗi liên kết được thê hiện bởi một trọng số liên kết Trọng

số liên kết giữa tín hiệu vào thứ j với noron k thường được kí hiệu là wx;

Bộ tổng (Summing function): Thường dùng dé tính tổng của tích các đầu vàovới trọng số liên kết của nó

Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như

một thành phần của hàm truyền.

Hàm truyền (Transfer function): Hàm này dùng dé giới hạn phạm vi dau ra của

mỗi nơron Nhận đầu vào là kết quả của hàm tông và ngưỡng

Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một

dau ra.

Xét về mặt toán học, câu trúc của một noron k, được mô tả băng cặp biêu thức sau:

UR = ¬ WxjXj Và Vy = f (ux — bự)

Trong đó x1, x¿, , Xp là các tín hiệu vào; (W, Wz, , Weep la các trọng sô liên kêt

của noron thứ k; uy là hàm tông; b„ là một ngưỡng: f là hàm truyền và y, là tín hiệu

dau ra của noron Như vậy nơron nhân tạo nhận các tín hiệu đâu vào, xử lý (nhân các

tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm

truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền).

Hình 3.6 Mô hình mang Neural Network 3 layers [13]

Các loại mang Neural network:

20

- Hoc có giám sát (Supervised Learning): được cung cấp sẵn các lập mẫu

{(xị, vị), (X;, V2), , Xp» Yn) } trong đó x; là giá trị đầu vào (Input), y; là

Hình 3.7 Mô hình mang Neural Network theo Supervised Learning [18]

- Học không giám sat (Unsupervised Learning): không có thông tin phan

hoi nào từ môi trường (không có san label) Mang chỉ nhận dữ liệu đầu vào

tự tìm ra các quy tắc, đặc tính, sự tương quan có trong mẫu dé dua ra dữliệu đầu ra (Output)

UNSUPERVISED LEARNING

Hình 3.8 Mô hình mang Neural Network theo Unsupervised Learning [18]

- Hoc tăng cường (Reinforcement Learning): là sự tô hợp của cả hai mô

hình trên Với vector dau vào, quan sát vector dau ra do mạng tính được.

21

Hinh 3.9 M6 hinh mang Neural Network theo kiéu học tăng cường [18]

3.4.5 Long Short - Term Memory

3.4.5.1 Giá trị đầu vào của mô hình (Input)

Output (Time prediction)

+1

f ì

Quantile Forecasts {1, Vạ, , Ye}

4

Initial states LSTM Layer

(Filters, Kernel_size, Final ( Ls >| LSTM uni TU |

cee =.a=¬ me states

9 Features Input (Timestep = 7) 0000

Hình 3.10 Quy trình dau vào của mô hìnhCác quy trình và giá trị đầu vào của mô hình:

se Để chuẩn hóa giá trị từ tập dữ liệu thực nghiệm cho mô hình LSTM, chúng ta

có thê tuân theo các bước quy trình sau:

- Historical dataset với tap dữ liệu lich sử.

- Siding windows sử dụng cửa số trượt để tách dữ liệu thành các chuỗi con

có độ dài tương ứng với giá trị timestep của đầu vào

- Standard deviation tính độ lệch chuẩn của từng chuỗi con

- MinMaxScaler dé đưa các giá tri về khoảng [0, 1]

- Normalized Dataset: Tạo ra tập dữ liệu đã chuẩn hóa băng cách kết hợp

các chuôi con đã được chuân hóa.

22

s - Khi huấn luyện mô hình, chúng ta sẽ lấy số dòng dữ liệu đúng với giá trị

timestep và chạy qua tất cả các dòng dữ liệu chính là Input Data sau khi đã

được chuẩn hóa

¢ - Ngoài ra, với mỗi mô hình riêng biệt như LSTM, chúng ta cần nhập thông tin

như Filter, Kernel S1ze, Sequences, Activation và Time prediction.

e Sau khi mô hình hoàn thành quá trình xử lý và huấn luyện, kết quả đầu ra sẽ

là các giá trị dự báo trong tương lai, với số phần tử tương ứng với khoảng thời

gian dự báo yêu cầu

3.4.5.2 Sơ lược về mô hình Long Short — Term Memory

Đối voi bài toán với input là sequence/time series thường biết tới mô hình RNN.Tuy nhiên ở mô hình RNN lại xảy ra hiện tượng vanishing gradient Đối với các dữ

liệu dạng chuỗi, đặc biệt là time-series, RNN không học được từ các thông tin ở trước

đó xa do vanishing gradient Nhu vậy về lý thuyết là RNN có thé mang thông tin từcác layer trước đến các layer sau, nhưng thực tế là thông tin chỉ mang được qua một

sỐ lượng state nhất định, sau đó thì sẽ bị vanishing gradient, hay nói cách khác làmodel chỉ học được từ các state gần nó, điều này gọi là short term memory

Có một ví dụ về short term memory Bài toán là dự đoán từ tiếp theo trong đoạnvăn Đoạn đầu tiên “Mặt trời mọc ở hướng ”, máy học có thể chỉ sử dụng các từtrước trong câu đề đoán là đông Tuy nhiên, với đoạn, “Tôi là người Việt Nam Tôi

đang sống ở nước ngoài Tôi có thé nói trôi chảy tiếng ” thì rõ ràng là chi sử dụng

từ trong câu day hoặc câu trước là không thé dự đoán được từ cần điền là Việt Máyhọc cần các thông tin từ state ở trước đó rat xa, vì thế ta cần long term memory — điều

mà RNN không làm được dẫn đến Long Short - Term Memory (LSTM) ra đời

Một mạng RNN tiêu chuẩn sẽ có cấu trúc rat đơn giản chang hạn như đối với kiếntrúc một tang ân là hàm tanh như hình dưới [1 1, 40]:

23

&) @) _ & 4

Hình 3.11 Sự lặp lại kiến trúc module trong mạng RNN chứa một tang ẩn [40]

LSTM cũng có một chuỗi dang như thế nhưng phan kiến trúc lặp lại có cấu trúckhác biệt hơn Thay vì chỉ có một tang đơn, có tới 4 tang ẩn (3 sigmoid và 1 tanh)

tương tác với nhau theo một cấu trúc đặc biệt

đ) (h) @)

&) - ® & :

Hình 3.12 Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tang ẩn (3 sigmoid

và I tanh) tương tac [40]

Trong sở đồ tinh toán trên, mỗi một phép tinh sẽ triển khai trên một véc to Trong

đó hình tròn màu hồng biểu diễn một toán tử đối với véc tơ như phép cộng vectơ,phép nhân vô hướng các vectơ Màu vàng thể hiện hàm activation mà mạng nơ ron

sử dung dé học trong tang ấn, thông thường là các hàm phi tuyến sigmoid và tanh Ki

hiệu 2 đường thăng nhập vào thể hiện phép chập kết quả trong khi kí hiệu 2 đường

thăng rẽ nhánh thê hiện cho nội dung véc tơ trước đó được sao chép dé đi tới một

phần khác của mạng nơ ron

Ý tưởng chính của LSTM là thành phan 6 trạng thái (cell state) được thé hiện quađường chạy ngang qua đỉnh đồ thị như hình vẽ bên dưới:

24

Hình 3.13 Đường di cua 6 trạng thái (Cell state) trong mang LSTM [40]

Ô trạng thái là một dạng băng chuyền chạy thang xuyên suốt toàn bộ chuỗi với chimột vài tương tác tuyến tính nhỏ giúp cho thông tin có thể truyền dọc theo đồ thịmạng nơ ron ôn định

LSTM có khả năng xóa và thêm thông tin vào ô trạng thái và điều chỉnh các luồngthông tin này thông qua các cấu trúc gọi là công

Công là cơ chế đặc biệt dé điều chỉnh luồng thông tin đi qua Chúng được tổng

hợp bởi một tâng ấn của ham activation sigmoid và với một toán tử nhân như đô thi.

—

-Hình 3.14 Một cổng của hàm sigmoid trong LSTM [40]

Hàm sigmoid sẽ cho dau ra là một giá trị xác xuất nằm trong khoảng từ 0 đến 1,thể hiện rằng có bao nhiêu phần thông tin sẽ đi qua công Giá trị bằng 0 ngụ ý rằngkhông cho phép thông tin nào đi qua, giá trị bằng 1 sẽ cho toàn bộ thông tin đi qua.Một mạng LSTM sẽ có 3 công có kiến trúc dạng này dé bảo vệ và kiểm soát các 6

trạng thái.

Quy trình hoạt động của LSTM được diễn đạt như sau:

s* Bước đầu tiên trong LSTM sẽ quyết định xem thông tin nào chúng ta sẽ cho phép

đi qua ô trạng thái Nó được kiểm soát bởi hàm sigmoid trong một tầng gọi là

25

tang quên Đâu tiên nó nhận đâu vào là 2 giá tri h;_¡ va x; va trả vê một giá trị

năm trong khoảng 0 và 1 cho mỗi giá tri của 6 trạng thai Œ;_¡ Nêu giá tri băng 1

thé hiện “giữ toàn bộ thông tin’ và bằng 0 thé hiện “bỏ qua toàn bộ chung’

hịT— 1

Hình 3 I5 Tang cổng quên (forget gate layer) [40]

* ** Bước tiếp theo mô hình sẽ quyết định loại thông tin nào sẽ được lưu trữ trong 6

trạng thái Bước này bao gồm 2 phan Phần đầu tiên là một tang ân của hàmsigmoid được gọi là tầng công vào (input gate layer) quyết định giá trị bao nhiêu

sẽ được cập nhật Tiếp theo, tầng ấn ham tanh sẽ tạo ra một vectơ của một giá trịtrạng thái mới C, mà có thé được thêm vào trạng thái Tiếp theo kết hợp kết quacủa 2 tầng này dé tạo thành một cập nhật cho trạng thái

Ớ, = tanh(Wo-[he_-1,2:] + be)

Hình 3.16 Cập nhật giá trị cho 6 trạng thái bang cách kết hợp 2 kết quả từ tang

cổng vào và tang ẩn hàm tanh [40]

Đây là thời điểm để cập nhật một ô trạng thái cũ, C,_, sang một trạng thái mới C,.Những bước trước đó đã quyết định làm cái gì và tại bước này chỉ cần thực hiện nó

Nhân trang thái cũ với f, tương ứng với việc quên những thứ quyết định được phép

26

quên sớm Phan tử dé cử i, * C, là một giá trị mới được tính toán tương ứng với bao nhiêu được cập nhật vào mỗi giá trị trạng thái.

{ Ut tô C; = fi * Cr-1 + Ut * C;

Hình 3.17 Ô trạng thái mới [40]

* Cuối cùng cần quyết định xem đầu ra sẽ trả về bao nhiêu Kết quả ở đầu ra sẽ

dựa trên ô trạng thái, nhưng sẽ là một phiên bản được lọc Đầu tiên, chúng ta

chạy qua một tang sigmoid nơi quyết định phan nào của 6 trang thái sẽ ở dau ra.Sau đó, 6 trạng thái được đưa qua hàm tanh (đề chuyền giá trị về khoảng -1 và

1) và nhân nó với dau ra của một công sigmoid, do đó chỉ trả ra phan ma chúng

©« | o (Wo [he-1, 24] + bo)

o, * tanh (C;)

> ¬ I

Hình 3.18 Điều chỉnh thông tin ở đầu ra thông qua ham tanh [40]

Mô hình LSTM còn có thé được mô tả ngắn gọn như sau:

Ở state thứ t của mô hình LSTM:

- Output: c¿, h¿ trong đó gọi C là cell state, h là hidden state.

- Input: cy_1, h;_, x; Trong đó x; là input ở state thứ t của model c;_;, h;_; là

output của layer trước.

27