Khóa luận tốt nghiệp Hệ thống thông tin: Xây dựng ứng dụng dự đoán, phát hiện sự bất thường và gợi ý giao dịch chứng khoán trong tương lai thông qua sự kết hợp các mô hình học máy và mô hình học tăng cường

Trước tiên, nhóm tiến hành nghiên cứu, triển khai và kết hợp mô hình Long Short-Term Memory LSTM và Isolation Forest, dé phát hiện về các điểm bat thường về dữ liệu trong tương lai của c

ĐẠI HỌC QUỐC GIA TP HÒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

KHOA HỆ THÓNG THÔNG TIN

HO TUẦN TRUNG - 20522068

HO BAO AN - 20520876

KHOA LUAN TOT NGHIEP

XAY DUNG UNG DUNG DU DOAN, PHAT HIEN SU

BAT THUONG VA GOL Ý GIAO DICH CHUNG

KHOAN TRONG TUONG LAI THONG QUA SU KET

HOP CAC MÔ HÌNH HỌC MAY VÀ MO HÌNH HOC

TANG CUONG

BUILDING AN APPLICATION FOR STOCK MARKET PREDICTION, ANOMALY DETECTION, AND FUTURE

TRADING RECOMMENDATION THROUGH MACHINE

LEARNING AND REINFORCEMENT LEARNING

CU NHAN NGANH HE THONG THONG TIN

GIANG VIEN HUONG DAN PGS TS NGUYEN DINH THUAN THS NGUYEN THI KIM PHUNG

TP HO CHI MINH, 2024

LỜI CẢM ƠNLời đầu tiên, nhóm em xin gửi lời cảm ơn sâu sắc đến các Thầy Cô của Khoa Hệ thống

Thông tin - Trường Đại học Công nghệ Thông tin vì đã giảng dạy và trang bị cho chúng em

những kiến thức cơ bản và kỹ năng cần thiết làm nên tảng trong suốt quá trình thực hiện khoáluận tốt nghiệp

Đặc biệt, chúng em xin cảm ơn PGS TS Nguyễn Đình Thuân và ThS Nguyễn Thị KimPhụng đã trực tiếp hướng dẫn nhóm hoàn thành khoá luận Thầy và Cô đã cung cấp nhiều

kiến thức quý giá, chi dan nhóm em tận tình, chỉnh sửa và góp ý từng lỗi sai của nhóm Nhóm

cũng xin gửi lời cảm ơn đến Anh Nguyễn Minh Nhựt đã luôn đồng hành và luôn dành sự hỗtrợ tận tâm nhất cho nhóm em trong suốt thời gian qua

“Nguồn tri thức duy nhất là kinh nghiệm” Kinh nghiệm mà chúng em tích luỹ chưa

nhiều nên không tránh khỏi vẫn còn những sai sót và những điểm hạn chế trong đề tài Chúng

em rất mong nhận được sự góp ý từ Quý Thầy Cô đề nhóm hoàn thiện bản thân hơn, có thêmkinh nghiệm dé chuẩn bị tốt hành trang trong tương lai

Thành phó Hồ Chí Minh, thang 6 năm 2024

Nhóm sinh viên thực hiện

Hồ Tuấn Trung

Hồ Bao An

MỤC LỤC

CHƯƠNG 1: TONG QUAN DE TAL 5-° 5° 5 5° s° se se sessesessesesersesee 21

1.1 Ly do chọn đề tài :- 65s 2k2 2E EEEEE192171717111711111 1111111 re 21

1.2) Muc ti8u on 21

1.3 Đối tượng nghiên cứu eeeccececccccssessessessessessessessessessessessessessessessesstssessessesseesess 22

I Pham ¿0i 200 šs ồ.ồ®^ồ 22

1.5 Vina o0 bi) in 23

1.6 Ý nghĩa đề tài - + Ss St E1 1121151111111 111111111111 1111k 24

1.6.1 Y nghĩa khoa hoe -:- 2S SE+SE+EE#EE£EEEEEEEEEEEEEEEEEEEEEEEEEEEEEErkerkerkrree 24

1.6.2 Ý nghĩa thực tiễn - 2c ++2+e+EkS2 2 EEEE12E12711211271211 21111 1EcTxrryye 24

1.7 Môi trường hệ thống -2¿- 2¿©+£2Et2EE2EE2EE2E1221221221211 21121 tre 25CHƯƠNG 2: CƠ SỞ LÝ THUYẾTT << v+seeEvxseevevsseesvsesesre 26

2.1 Giới thiệu về trí tuệ nhân tạo, học máy, học sâu -: -: ¿¿s+ 26

"HN h0 26 2.1.2 HOC máy ch HH HH TT TH HH HH Hiệp 28

2.1.2.1 Kad nIỆm G2 St E11 vn HT TH nh HH gràp 28

2.1.2.2 Luông hoạt động của học MAY -. 2-2 + s++++£x+zxerxerxerxered 28

2.1.2.3 Phân lốỗi Sx ft số Link 30

2.1.3 HOC sâU LG G001 ng ng và 30

2.2 Dự đoán tương lai chuỗi thời gian bằng thuật toán LSTM - 32

2.2.1 Tổng quan về LSTM - 2 + ©£+E++EE+EEE£EE£EEEEEEEEEEEEEEEEEEErrkrrkrrrkrre 322.1.2 Kiến trúc thuật toán LSTM cccccc+vctrtEktrrrttrrrrtrtirrrrriirrriie 322.1.3 Ứng dụng thuật toán LSTM vào dit liệu chứng khoán 342.3 Thuật toán Isolation Forest phát hiện điểm bat thường - 5: 35

2.3.1 Kad MiG oo 35 2.3.2 Phurong phap timh 0 cece cccccesccsseesseeesecesceeeeeeeeceeeeeeeceseeseeeeeseeeeeeeeeenss 36 2.4 Học tăng CƯỜng - - cv TH TH HH vn 37

2.4.1 Evolution StTaf€BV S4 k1 TH HH nhiệt 37

2.4.1.1 Thuật toán tiến hoá Eas ccc:2cccccEEktrtrrkrrrrtrrrrrrrrrrrrrkk 372.4.1.2 Thuật toán tiễn hoá sâu DES -¿- - S6 k+EEE+EvEEEeEeEkeEerervererxee 372.4.1.3 Ứng dụng vào giao dịch chứng khoán -2- 2: 2¿©5++cx++csc+2 38

10

2.4.3 Các chiến lược đầu tư -+c++tEktrtrtrktrtrtrtirrrttrirrrrirrriirrrie 45

2.4.3.1 Chiến lược Dollar-Cost Averaging (DCA) -+ccsscs<xss 45

2.4.3.2 Chiến lược Accumulation and Distribution - 5 s+sszs+se¿ 462.4.3.3 Chiến lược Bulk Buying and Selling -2- 5 5e2szzxezzzzce+ 46CHUONG 3: KET HỢP THUẬT TOÁN VÀ THỰC NGHIỆM 47

3.1 Tổng quan - -:- tSE+Sk‡EEỀEEEEEEEEE E71 E71117171711111 1111111111111 xe 473.2 Kết hợp thuật toán LSTM và Isolation Forest -s-5c s+xezxezxerxerxez 48

3.2.1 Lý do kết hợp Alter usc l lAN, à.à 483.2.2 Phương thức kết hỢp :- 2 1 2E+SE+SE£EE£EEEEEEEEEEEEEEEEEErkerkrrkerkerkeee 483.2.3 Kết quả thực nghiệm - 2-2 2+©2++2E+SEEEEEEE2EEEEEEEEEEEEkrerkrerkrree 50

3.2.3.1 Thực nghiệm trên mã SÏT 2c 22+ E3 + EESEEseerseereesrre 51 3.2.3.2 Thực nghiệm trên mã TSLA 55+ +5**+<£+*eEseeesseeeeeers 53 3.3 Thử nghiệm học tăng cường với các chiến lược đầu tư -:-zs- 55

3.3.1 Chuẩn bi đữ liệu -.c¿ 2ccc222vt2EEEttrttEktrrttrtrrttttrrrrtrirrrrirrrik 553.3.2 Huấn luyện và thực nghiệm A geii( - 2-5 x+x+£E+£EeEEerxerxerxerxees 553.3.3 Kết quả thực nghiệm - + + ©E+Sk+EE£EE£EEEEEEEEEEEEEEEEEEEEErkrrkerkerkeee 56

3.3.3.1 Thực nghiệm trên mã FPT, - + ++ + £+xE#kE+sEEeeEseEeekseerrerkre 56 3.3.3.2 Thực nghiệm trên mã MWGG Q1 HH ng ng re, 62 3.3.3.3 Thực nghiệm trên mã PNJ - - Ăn 1S ng key 69

3.3.3.4 Thực nghiệm trên mã AC - 5- + +3 vtrrirrrrrrirrrrervee 74

3.3.3.5 Thực nghiệm trên mã BSÌ - c5 2+1 * + EEssesrersrerrrsre 75

3.4 Kết hợp thuật toán LSTM và học tăng cường - 5c sccscxccxecxez 76

3.4.3.2 Kết qua dự đốn của các Ag€ni :- 5c cccctccxeEkerkerkerkerrerrrrei 83

CHƯƠNG 4: THIET KE VÀ XÂY DUNG UNG DỤNG -« <e- 86

AL Tổng quan ứng dung oeceecceccecccccsscssessessessessessessessessessessessessessessessessessessesseeseesees 86

4.1.1 Giới thiệu Ứng dụng 0 eee eeeeeeeeeceeceeceeesecsecseeseeseesesseeseeseeseeaeeeseneenees 86

4.1.2 Kiến trúc phần mềm - - £ + + +E£EE£EE£EEEEEEEEEEEEEEEEEErEerkerkerkrred 86

4.1.2.1 Kiến trúc Clean ArchitecfUre -¿-sc+c++xx+zxt2rxerxrrreerxerkrerree 86

4.1.2.2 CQRS Design pattern cee eecceccesseceseceseeseneeeseeeseeceaeeeseeseaeceaeesseeeeas 87

Pin ngaaaả ƠỊỎ 884.1.3 Yêu cầu chức năng :- 2£ k+E£EE£EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEkerkerkrree 884.1.4 Yêu cầu phi chức năng - + + SEeEEEEEEEEEEEEEEEEEEEEEEEEEEErkrrkerkrree 884.2 Thiết kế các thành phần chức năng - ¿+ £+E£EE+£E££EeEEerEerkerkerrees 89

4.2.1 0 ẽa 89

4.2.2 Mơ tả danh sách tác han ce eeeececsecssceneeescestessessecsseeseeseesseesaeeseeeneees 89

4.2.3 Mơ tả danh sách Usecase n9 HH HH ng rkp 90

4.2.4 Đặc tả Usecase chính - - 2 3321312211312 1 1182111182111 8111 8x re 90

4.2.5 Lượt đồ cơ sở dữ liệu cv 934.3 Thiết kế các thành phần xử lý - + ++++++EE++E+EEeEEE+EEerkerrxerkerkerrkee 96

4.3.1 Activity DIaØTam - -s c1 191v Hàn 96 4.3.2 Sequence Dlagraim - - c1 TH Hưng ràt 98

4.4 Thành phan giao diện người dung - ¿- ¿5© +E££E££E££EEEerEerkerkerrered 102

4.4.12 Màn hình thông tin người Ùng - - + Sc + c** vs setveererreerrseree 107

CHUONG 5: KET QUA VÀ HƯỚNG PHAT TRIEN 5-s-s< s2 108

5.1 Kết quả dat Quoc cocccccccccccsccsscssessessessessessessessessessessessessesseesessessessessesseeseeseeseesees 108

5.1.1 Ve mặt nghiên cứu - ¿5£ +E+E£EE£EE£EEEEEEEEEEEEEEEEEEEEEEEErkrrkrkervee 1085.1.2 Về mặt ứng dụng - se +keSkeEESEEEEEEEEEEE 1111111111111 111 ty 108

ca ẽ 43 1095.3 Hướng phat triỂn - 2 sc©x+SE+EE£EE£EEEEEEEEEEEEEEEEEEEEEEE21111111 11c 110TÀI LIEU THAM KKHẢO << 5< 5< 5£ ££S£ E32 ESsEsEsEsessessessrssesee 112

13

DANH MỤC HÌNH

Hình 1: Mối quan hệ giữa AI, Machine và Deep learning -5: 5z 5+2 27

Hình 2: Luồng hoạt động của học MAY - 2 + + ++E++£x+EE+EEerxerxerxerxerxered 28 Hình 3: Kiến trúc thuật tốn LSTM [3] -ccccc¿c+ccc+xerrrrrrrterrrrrrrrrrrrrrrrree 32

Hình 4: Thuật tốn LSTM với dữ liệu chứng khốn - - 5555 s£++s++se++exs+ 34

Hình 5: Cơ lập điểm bất thường bằng thuật tốn Isolation FOrest - 35

Hình 6: Tim Anomaly Score 5 5 + kh xnHTHnHnHnHTHnn T g nh Th ngư nrưết 36 Hình 7: Thuật tốn Reinforcement learning model , -. s5 + + s+<*++sss+ee+eexs+ 41 Hình 8: Agent tương tác Với mơi tTƯỜN - + <1 119119 11 1E vn ket 42 Hình 9: Vịng lặp tìm PPỌICy - G1111 ng TH HH ng kh 43 Hình 10: Quy trình học tăng cường trong giao dịch chứng khốn 44

Hình 11: Tổng quan hệ thống 2: ©2£ 2 SE2EEÊEEEEE£2EE2EEEEEEEEEEEEEEEEEEErEkrrkrrrreee 41 Hình 12: Quy trình kết hợp thuật tốn LSTM va Isolation Forest . - 49

Hình 13: Thu thập dữ liệu dự báo từ thuật tốn LSÏM - - «+ <+ccssxses 49 Hình 14: Dua dữ liệu vào thuật tốn Isolation Forest - +2 << << ++++ssss+2 50 Hình 15: Thu thập các điểm dữ liệu bat thường trong tương lai 5-52 50 Hình 16: Điểm đữ liệu bat thường của mã STB 15/09/2023 — 03/10/2023 51

Hình 17: Kết quả thực tế của mã STB 15/09/2023 — 03/10/2023 -:- +: 51

Hình 18: Điểm dé liệu bat thường của mã STB 03/10/2023 — 16/10/2023 52

Hình 19: Kết quả thực tế của mã STB 03/10/2023 — 16/10/2023 . - 52

Hình 20: Điểm dữ liệu bat thường của mã STB 16/10/2023 — 31/10/2023 52

Hình 21: Kết quả thực tế của mã STB 16/10/2023 — 31/10/2023 - - 53

Hình 22: Điểm dữ liệu bat thường của mã TSLA 15/09/2023 — 03/10/2023 53

Hình 23: Kết quả thực tế của mã TSLA 15/09/2023 — 03/10/2023 - - 53

Hình 24: Điểm dữ liệu bat thường của mã TSLA 03/10/2023 — 16/10/2023 54

Hình 25: Điểm dữ liệu bat thường của mã TSLA 03/10/2023 — 16/10/2023 54

Hình 26: Điểm dit liệu bat thường của mã TSLA 16/10/2023 — 31/10/2023 54

Hình 27: Kết qua thực tế của mã TSLA 16/10/2023 — 31/10/2023 - 55

Hình 28: Lợi nhuận theo tiền nạp ban đầu của các chiến lược trên mã FPT 57 Hình 29: FPT - DCA - Tiền nạp ban đầu: 500,000 VND 2- 2c ccccscxcred 57 Hình 30: FPT - DCA - Tiền nạp ban đầu 1,000,000 VNĐ .c:+c-ccccscxe 58

14

FPT - DCA - Tiền nạp ban đầu 3,000,000 VNĐ -2- 5c cccxcrxcrei 58

FPT - AD - Tiền nạp ban đầu : 500,000 VNĐ -.2 2¿cc¿+cxcccxcce 59FPT - AD - Số tiền nap ban đầu 1,000,000 VND -2-csccccc+2 59FPT - AD - Số tiền nạp ban đầu 3,000,000 VND :- 5c ccccccce¿ 60FPT - AD - Số tiền nạp ban đầu 5,000,000 VND 2 5c sec 60FPT - BBS - Số tiền nạp ban đầu 500,000 VNĐ -2-ccccccccrecred 61

FPT - BBS - Số tiền nạp ban đầu 3,000,000 VND ccccccccccecsesesseeseeseeseeseene 61FPT - BSS -Số tiền nap ban đầu 5,000,000 VNĐ .¿ -¿©c5:- 62

FPT - BBS - Số tiền nạp ban đầu: 10,000,000 VND - 5c sccs¿ 62Lợi nhuận theo tiền nạp ban dau của các chiến lược trên mã MWG 63MWG - DCA - Số tiền nạp ban đầu: 500,000 VNĐ -¿©5¿ccccs¿ 64MWG - DCA - Số tiền nạp ban đầu 1,000,000 VNĐ -5cc5¿ 64MWG -DCA -Số tiền nạp ban đầu 3,000,000 VNĐ -¿ sec: 65MWG - AD -S6 tiền nap ban đầu 500,000 VNĐ ¿555cc ccccccree 65MWG - AD - Số tiền nạp ban đầu 1,000,000 VNĐ -¿ -: : 66MWG - AD - Số tiền nạp ban đầu 3,000,000 VNĐ -2 55+: 66MWG - AD - Số tiền nạp ban đầu 5,000,000 VNĐ ¿525 cccce¿ 67MWG - BBS - Số tiền nap ban đầu 500,000 VNĐ -¿-5¿©5z sec: 67MWG - BBS - Số tiền nạp ban đầu 1,000,000 VNĐ -5¿ se cs¿ 68MWG - BSS - Số tiền nạp ban đầu 3,000,000 VNĐ 2- 5c sec 68MWG - BBS - Số tiền nạp ban đầu: 5,000,000 VNĐ -c5ec: 69Lợi nhuận theo tiền nạp ban đầu của các chiến lược trên mã PNI 70PNJ - AD- Số tiền nạp ban đầu: 1,000,000 VND -cccccccccceei 70PNJ — AD - Số tiền nap ban đầu: 3,000,000 VNĐ 5¿ se sec: 71PNJ — AD - Số tiền nạp ban đầu: 500,000 VNĐ - 5-5 cccccccxees 71PNI - BBS - Số tiền nạp ban đầu: 1,000,000 VNĐ 5¿ 5c cccccee: 72PNI - BBS - Số tiền nạp ban đầu: 3,000,000 VNĐ 2-c5ccccccccee 72

PNI - BBS - Số tiền nạp ban đầu: 500,000 VNĐ ¿ -cccccccccce 73

PNI - DCA - Số tiền nạp ban đầu: 3,000,000 VNĐ -. -c5cc: 73PNJ — DCA - Số tiền nạp ban đầu: 5,000,000 VNĐ - ¿sec 74PNJ — DCA - Số tiền nạp ban đầu: 500,000 VNĐ -¿ 5c sec: 74

15

Lợi nhuận theo tiền nạp ban đầu của các chiến lược trên mã ACB 75

Lợi nhuận theo tiền nạp ban đầu của các chiến lược trên mã BSI 76

Mô hình LSTM dự đoán trên tập dữ liệu ACB -. -c+-<<<c<cce+ 78

Mô hình LSTM — Attention dự đoán trên tập dữ liệu ACB - 79

Mô hình LSTM — GRU dự đoán trên tập dữ liệu ACB - 79

Mô hình LSTM dự đoán trên tập dữ liệu MÁWG ĂcẰseeeekke 80

Mô hình LSTM- Attention dự đoán trên tập dữ liệu MWG 80

Mô hình LSTM-GRU dự đoán trên tập dữ liệu MWG 81

Mô hình LSTM dự đoán trên tập dữ liệu MWG cceceeeeekee 81

Mô hình LSTM-Attention dự đoán trên tập dữ liệu STB - 82

Mô hình LSTM-GRU dự đoán trên tập dữ liệu STB -‹- 83

Biểu đồ cột kết quả so sánh các mô hình LSTM - ¿2z 52s: 85Biểu đồ tròn phan trăm kết quả so sánh các mô hình LSTM 85

Hình mình hoa Clean ArchIf€CfUre - + 252 *****++*#vE+eeseeeeeeeeeeesee 86

Hình mình họa CQRS Design Paffern - «5 5 << ++ksseeseeeseeske 87

Kién tric Ung Sẽ 88

Sơ đồ Usecase ii See À tie es Posescssssessssssesssssssssssessssesesssseesess 89Lượt đồ cơ sở dữ liệu cccccccccccrtrtrhHrrreg 93

Activity Diagram quy trình gợi ý giao dịch chứng khoán - 96 Activity Diagram quy trình giao dịch chứng khoán -«++-«<>+ 97

Activity Diagram quy dự đoán chứng khoán - «+5 ++s<>+s<++x>+ 98

Sequence Diagram dự đoán chứng khoán -¿-s++s++s£+x+se+seeseexe 98 Sequence Diagram gợi ý giao dich chứng khoán «+5 «++s<+sx++ 99 Sequence Diagram giao dich mua chứng khoán «+ «<< «<2 100

Sequence Diagram giao dịch bán chứng khoán - -++-+++<<++s 101

Man hinh ÐoPìis0i1i10 1 - 102 Maan hinh Chink 102

Màn hình chi tiết chứng KHON c.cccscseesssssssesssssssesseessscssesssecssecesecsseceseeaes 103Màn hình báo giá và dữ liệu điểm bat thường trong tương lai 103Màn hình xem dự báo chỉ tiẾt -.- - c©s St+E‡EEEE+EEEEEEeEEEEeEeEerkererxrrree 104

Màn hình cài đặt bot trad1ng - - + s13 kEesreererrereerrsee 104

16

Hình 93: Màn hình xem bot trading đầu tưư - ¿5£ £+5£+s££££E£Eczxezxezxerrees 105

Hình 94: Màn hình xem ví tiỀn ¿- c £+ + E££E+E£EEEEE£EEEEEEEEEEEEEEEEEEEEerkerkerkeeg 105

Hình 95: Màn hình xem thông báO - - - - s13 19 23991 211191 9v ng ng rg 106

Hình 96: Màn hình xem lịch sử ví tiỀn - - + St x+E£Et+E#EEEE+EEEEEEeEEkeEervrkrrerxea 106Hình 97: Màn hình nạp rút vi tiỀn ¿- 2 + £+E£+E£E£+E££E£+E£EEEEEEErEerkerkerkeri 107

Hình 98: Màn hình thông tin người dùng 5 + +1 ESeEsesreeereeereree 107

17

DANH MỤC BANG

Bảng 1: Mã giả phương thức kết hợp LSTM va Isolation Forest - - 49

Bảng 2: So sánh kết dự báo và thực tế của STB 15/09/2023 — 03/10/2023 51

Bảng 3: So sánh kết dự báo và thực tế của STB 03/10/2023 — 16/10/2023 52

Bang 4: So sánh kết dự báo va thực tế cua STB 16//10/2023 — 31/10/2023 53

Bảng 5: So sánh kết dự báo và thực tế của TSLA 15/09/2023 — 03/10/2023 54

Bảng 6: So sánh kết dự báo và thực tế của TSLA 03/10/2023 — 16/10/2023 54

Bang 7: So sánh kết dự báo và thực tế của TSLA 16/10/2023 — 31/10/2023 55

Bang 8: Kết quả dau tu trong thời gian 18/05/2023 — 18/06/2024 trên mã FPT 56

Bảng 9: Kết quả đầu tư trong thời gian 18/05/2023 — 18/06/2024 trên mã MWG 63

Bang 10: Kết qua đầu tư trong thời gian 18/05/2023 — 18/06/2024 trên mã PNI 69

Bang 11: Kết qua đầu tư trong thời gian 18/05/2023 — 18/06/2024 trên mã ACB 75

Bang 13: Kết quả dau tư trong thời gian 18/05/2023 — 18/06/2024 trên mã BSI 76

Bang 14: Kết qua dự đoán tập test của các mô hình LSTM -. ¿5252 78 Bang 15: Kết quả đầu tư trong thời gian 17/11/2023 — 17/05/2024 trên mã ACB 83

Bang 16: Kết quả dau tư trong thời gian 17/11/2023 — 17/05/2024 trên mã MWG 84

Bảng 17: Kết quả đầu tư trong thời gian 17/11/2023 — 17/05/2024 trên mã STB 84 Bảng 18: Mô tả danh sách các tác nhân - c5 + E23 + ESEESsekseeerreeersexre 89 Bảng 19: Mô tả danh sách uS€ CS€ - 5 G1 1n ng ng kh 90 Bang 20: Đặc tả use case thực hiện giao dịch qua BO( . 55+ £+ssseeseessee 91 Bảng 21: Đặc ta use case thực hiện øØ1ao dỊCH - 5 35 + +Eseeeeersseeeeeere 91 Bang 22: Đặc ta use case xem thông tin dự đoán g1á + 55+ +++£+sx+sesseeserses 91 Bảng 23: Đặc ta use case dự đoán chứng khoán 0 eee eeeeseeseeeseeeeeceeeeseeeeeeeneeesnes 92 Bang 24: Thiết kế thành phan dữ liệu - 2-2 2© E+SE+EE+EE£EEeEEEEerEerxerxerxered 92

Bang 25: Bảng thuộc tinh User - 5 5 1131 910119911 0v 9v nh ng ng nh 94

Bảng 26: Bảng thuộc tính transaction - G5 1113211891113 1111111111 key 94 Bảng 27: Bảng thuộc bảng Wallet ee eescsseceseeceseeeseeescecseceseeesaecsaeeeseessaeeeneeesees 94 Bảng 28: Bảng thuộc bảng Wallet HISfOTY - SH SH HH ng key 95

Bảng 29: Bảng thuộc tính NOtIÍICAfIOT - G1111 11H ng ng kg 95

Bang 30: Bảng thuộc tính Stock HOÌC - 5 56 5 111131 <1 ESESEskkrskeserske 95 Bảng 31: Bảng thuộc tính Stock ÏnOT - G5 2c 2+ 3321189113 11 111111 11k rre 95

Bang 32: Bảng thuộc tính Stock DDafas . G5 +13 TH ng ng ướt 96

18

DANH MỤC TU VIET TAT

AD Accumulation and Distribution

AI Artificial Intelligence

BBS Bulk Buying and Selling

CQRS Command Query Responsibility Segregation

DCA Dollar-Cost Averaging

DQN Deep Q — Network

LSTM Long Short-Term Memory

RL Reinforcement Learning NLP Natural Language Processing

RNN Recurrent Neural Networks

UC Use Case

19

TOM TAT KHOA LUẬN

Đề tài cua nhóm tập trung vào việc xây dựng va phát triển một hệ thống hoàn

chỉnh dựa trên trí tuệ nhân tạo nhằm cung cấp các công cụ và giải pháp hỗ trợ đắc lực cho nhà đầu tư trong lĩnh vực chứng khoán Trước tiên, nhóm tiến hành nghiên cứu,

triển khai và kết hợp mô hình Long Short-Term Memory (LSTM) và Isolation Forest,

dé phát hiện về các điểm bat thường về dữ liệu trong tương lai của các mã chứng khoán.Điều này giúp nhà đầu tư có thé nhận biết và phản ứng kịp thời trước những biến động

không mong muốn trên thị trường, từ đó giảm thiểu rủi ro trong các quyết định đầu tư.

Một phần quan trọng khác của nghiên cứu là sử dụng mô hình học tăng cường(Reinforcement Learning) dé phát triển "Bot Trading" Mô hình này được huấn luyện

dé tự động đưa ra quyết định mua bán chứng khoán dựa trên dữ liệu và các chiến lược

đầu tư khác nhau được tích hợp để đảm bảo tính cá nhân hóa, từ đó người dùng có

những lựa chọn phù hợp theo cá nhân Ngoài ra nhóm đã nghiên cứu thực hiện kết hợpcác mô hình dự đoán LSTM và học tăng cường để cải thiện kết quả đầu tư và có khảnăng dự đoán trước các điểm mua bán trong tương lai Bot Trading không chỉ giúp tối

ưu hóa chiến lược đầu tư ma còn mang lại tính hiệu quả và tiện lợi cho nhà đầu tư, đặc

biệt là trong việc theo dõi và điều chỉnh các giao dịch một cách tự động và liên tục

Cuối cùng, dé nâng cao tính ứng dụng và tiện ich cho người dùng cuối, nhóm đã

phát triển và triển khai ứng dụng đi động Ứng dụng này không chỉ cung cấp thông tin

va dự đoán từ các mô hình một cách nhanh chóng va chính xác ma còn cho phép người

dùng có thể quản lý và điều chỉnh các quyết định đầu tư từ bất kỳ đâu, bất kỳ lúc nào.Điều này mang lại sự tiện lợi và linh hoạt, giúp nhà đầu tư có thê tối ưu hóa lợi nhuận

và giảm thiểu rủi ro một cách hiệu quả trên thị trường chứng khoán ngày càng phức tạp

và biến động

Đề tài này không chỉ đem lại những giải pháp hiệu quả trong dự đoán giá chứngkhoán, phát hiện bat thường và tự động hóa giao dịch mà còn mở ra những hướng phát

triển mới trong việc ứng dụng trí tuệ nhân tạo vào lĩnh vực tài chính, góp phần nâng cao

hiệu quả và chính xác trong quản lý đầu tư và giao dịch trên thị trường chứng khoán

20

CHƯƠNG 1: TONG QUAN DE TÀI

1.1 Lý do chọn đề tai

Hiện nay, đầu tư chứng khoán là một lĩnh vực rất tiềm năng với khả năng sinh lợi

nhuận cao, thu hút sự quan tâm của nhiều nhà đầu tư Thị trường chứng khoán ngày

càng phát triển và trở thành một kênh đầu tu hap dẫn không chỉ đối với các tổ chức tàichính mà còn đối với các nha đầu tư cá nhân Tuy nhiên, dé trở thành một nha đầu tưchứng khoán thành công, không chỉ cần có vốn mà còn đòi hỏi phải có sự hiểu biết sâurộng về thị trường, tài chính, và các yêu tố ảnh hưởng đến giá cô phiếu Quyết định đầu

tư cần dựa trên nhiều yếu tố phức tạp và thông tin cập nhật liên tục, từ những biến độngkinh tế, chính trị đến những tin tức doanh nghiệp, điều này làm cho việc đầu tư trở nên

cực kỳ khó khăn.

Đi kèm với tiềm năng phát triển của các mô hình máy học, học sâu, học tăng cường

có khả năng hỗ trợ đưa ra các quyết định giao dịch hỗ trợ người dùng Trong bài nghiên cứu [18] của David W Lu đã ứng dụng thành công Reinforcement Learning va LSTM

Neural Networks dé đạt được kết quả giao dich với phan thưởng cao trong khoảng thời

gian đài Trong dự án nghiên cứu [17] của Bram Bakker đề xuất phương pháp kết hợp

Reinforcement Learning và LSTM để cải tiến thuật toán Reinforcement Learning dégiải quyết các bài toán mang tính đài hạn và độ phức tạp lớn Nghiên cứu [14] đã chứngminh sự ưu việt của các thuật toán Deep Reinforcement Learning trong lĩnh vực đầu tưchứng khoán Trong khảo sát [10] của Thomas G Fischer đã tổng hợp 50 bài báo nghiêncứu về ứng dụng Reinforcement Learning trong lĩnh vực đầu tư tài chính và chứng

khoán trong thời gian hai thập kỷ qua chỉ ra sự phát triển, cải tiến nhanh chóng và tiềm

năng phát trién của Reinforcement Learning

Chính vì những lý do này, nhóm quyết định thực hiện đề tài Xây Dựng Hệ Thống

Dự Đoán Giá Chứng Khoán, Phát Hiện Điểm Bat Thường và Gợi Ý Giao Dịch Chứng

Khoán Thông Qua Trí Tuệ Nhân Tạo Mục tiêu của hệ thống này là hỗ trợ nhà đầu tư

trong việc ra quyết định một cách chính xác và hiệu quả hơn Hệ thống sẽ cung cấp các

dự đoán hữu ích về giá chứng khoán trong tương lai, giúp nhà đầu tư có thêm cơ sở đểđưa ra các quyết định đầu tư

chiến lược.

Nhóm kết hợp mô hình Long Short-Term Memory (LSTM) và Isolation Forest dé

dự đoán giá va phat hiện các điểm bat thường trong giá chứng khoán tương lai Mô hình

21

LSTM được sử dụng để phân tích các chuỗi thời gian phức tạp và dự đoán giá chứng khoán, trong khi Isolation Forest giúp phát hiện các điểm dữ liệu bất thường, cung cấp thông tin cảnh báo kip thời cho người dùng.

Ngoài ra, nhóm phát triển “Bot Trading” thông qua mô hình ReinforcementLearning Người dùng có thể cung cấp một khoảng tiền ảo và ra lệnh cho Bot tiến hànhđầu tư theo mã chứng khoán mong muốn trong một khoảng thời gian nhất định trong

tương lai Ứng dụng sẽ theo dõi và so sánh giá dự báo của Bot với giá chứng khoán thực

tế theo thời gian thực, cho phép người dùng quan sát kết quả lời hay lỗ của các giao

dịch Sự thành công của “Bot Trading” sẽ được đánh giá qua lợi nhuận ma Bot đạt được

sau khi thực hiện đầu tư trong khoảng thời gian nhất định

Với những tính năng này, ứng dụng di động của nhóm sẽ trở thành một công cụ

đắc lực, hỗ trợ nhà đầu tư tối ưu hóa quyết định đầu tư, nâng cao hiệu quả và giảm thiểu

rủi ro trong thị trường chứng khoán.

1.3 Đối tượng nghiên cứu

- Ung dụng mô hình Long Short-Term Memory (LSTM), Isolation Forest,

Reinforcement Learning vào lĩnh vực chứng khoán.`

- _ Hệ thống khuyến nghị hỗ trợ dự báo các điểm bat thường trong giao dịch chứng

khoán ở tương lai.

- _ Hệ thống khuyến nghị hỗ trợ đưa ra các gợi ý, tham khảo giao dịch cho nhà đầu tư

chứng khoán.

1.4 Phạm vi nghiên cứu

Ở phần nghiên cứu dự báo các điểm bất thường, nhóm tập trung vào hai mãchứng khoán tiêu biểu trên hai sàn giao dịch lớn Thứ nhất, nhóm sẽ nghiên cứu mã

TSLA cua Tesla, INC trên san giao dịch chứng khoán Hoa Ky (NASDAQ) Thứ hai,

nhóm sẽ nghiên cứu mã STB của Ngân hang TMCP Sài Gòn Thương Tín (SacomBank)

trên sàn giao dich HOSE (Sở Giao dịch Chứng khoán Thành phố Hồ Chí Minh) Dữ

liệu chứng khoán sẽ được thu thập từ năm 2014 đến nay dé đảm bảo độ dai và sự đầy

đủ của chuỗi dữ liệu.

Nhóm sẽ phát triển và áp dụng mô hình Long Short-Term Memory (LSTM) đề dự

đoán giá chứng khoán trong tương lai Mô hình LSTM đã chứng minh hiệu quả trong

việc xử lý và phân tích chuỗi thời gian dài và phức tạp Kết quả dự đoán sẽ được sosánh với giá thực tế dé đánh giá độ chênh lệch và hiệu quả của mô hình

Dựa trên các nghiên cứu và khảo sát về các mô hình phát hiện bất thường(Anomaly Detection), nhóm nhận thấy mô hình Isolation Forest cho kết quả rất tốt về

độ chính xác và hiệu suất Tuy nhiên, mô hình này chủ yếu phát hiện các điểm bất

thường từ dữ liệu quá khứ đến hiện tại Do đó, nhóm sẽ kết hợp mô hình LSTM với

22

Isolation Forest để không chỉ dự đoán giá chứng khoán mà còn phát hiện các điểm bất

thường trong đữ liệu tương lai.

Ngoài ra, nhóm nghiên cứu và ứng dụng mô hình Reinforcement Learning trong

giao dịch mua bán chứng khoán Mô hình này sẽ đưa ra đề xuất thời điểm mua hoặcbán tôi ưu trong tương lai Trên cơ sở các đề xuất này, nhóm sẽ xây dựng “Bot Trading”

để gợi ý người dùng về các thời điểm giao dịch tốt nhất Bot cũng có thể tự động đầu

tư dựa trên dữ liệu thực tế từ sàn giao dịch chứng khoán, giúp người dùng theo dõi và

so sánh kết quả thực tế với du đoán Độ đo hiệu quả của mô hình này sẽ là khoảng tiền

lời sau khi “Bot Trading” thực hiện đầu tư trong khoảng thời gian từ ba đến năm ngày

Tổng quát hơn, nghiên cứu này sẽ mang lại những giải pháp trong dự đoán giáchứng khoán, phát hiện bất thường và tối ưu hóa giao dịch thông qua việc ứng dụng các

mô hình học máy và trí tuệ nhân tạo Nhóm tin rằng những kết quả từ nghiên cứu này

sẽ hỗ trợ đáng ké cho các nhà đầu tư trong việc đưa ra các quyết định đầu tư hiệu quả

và chính xác.

1.5 Phương pháp nghiên cứu

Nhóm sẽ tiễn hành thu thập và xử lý đữ liệu của các mã chứng khoán trong vàngoài nước Quá trình này bao gồm việc tổng hợp dữ liệu từ các nguồn uy tín, làm sạch

và chuẩn hóa dit liệu dé đảm bảo tính nhất quán và độ chính xác

Bước đầu tiên là xây dung mô hình Long Short-Term Memory (LSTM) và khảo

sát, so sánh trong dự đoán chuỗi thời gian Mô hình LSTM được lựa chọn vì khả năng

xử lý các chuỗi dữ liệu dài hạn và phức tạp, giúp dự đoán giá chứng khoán với độ chính

xác cao.

Tiếp theo, nhóm sẽ nghiên cứu và phát triển mô hình Isolation Forest để phát hiện

sự bất thường trên dit liệu chuỗi thời gian Mô hình này sẽ giúp nhận diện các điểm dữliệu bất thường, cung cấp các cảnh báo kịp thời cho nhà đầu tư

Sau đó, nhóm sẽ kết hợp mô hình dự báo LSTM và Isolation Forest dé có thé dựbáo được sự bất thường của dữ liệu chứng khoán trong tương lai Sự kết hợp này nhằmtăng cường khả năng dự đoán và cảnh báo, giúp nhà đầu tư năm bắt thông tin quan trọng

một cách chính xác hơn.

Ngoài ra, nhóm sẽ nghiên cứu và xây dựng mô hình Reinforcement Learning trong

giao dịch chứng khoán Mô hình này sẽ được áp dung dé xác định thời điểm mua vàbán tối ưu, dựa trên các dữ liệu lịch sử và xu hướng thị trường

Từ mô hình Reinforcement Learning, nhóm sẽ phát triển "Bot Trading" Bot này

sẽ thực hiện các giao dịch tự động dựa trên các tín hiệu từ mô hình, giúp người dùng tối

ưu hóa lợi nhuận đầu tư mà không cần can thiệp thủ công

23

Kết quả nghiệm thu của các mô hình sẽ được đánh giá thông qua khoảng tiền lờisau một thời gian đầu tư Các độ đo này sẽ giúp xác định hiệu quả và độ chính xác của

các mô hình dự đoán và giao dịch.

Nhóm cũng sẽ nghiên cứu và thiết kế cơ sở dữ liệu phù hợp với đữ liệu chuỗi thờigian dé tối ưu hóa về tốc độ và trải nghiệm người dùng Cơ sở dữ liệu nay sẽ đảm baoviệc lưu trữ và truy xuất đữ liệu diễn ra một cách nhanh chóng và hiệu quả

Cuối cùng, hệ thống backend sẽ được thiết kế và ứng dụng sẽ được triển khai trên

nên tang di động Điều này nhằm mang lai sự tiện lợi và hiệu quả cho người dùng trongviệc theo dõi và đầu tư chứng khoán, giúp họ có thể đưa ra các quyết định chính xác và

mô hình Long Short-Term Memory (LSTM), Isolation Forest va Reinforcement Learning, dé tài hướng đến việc nghiên cứu và phat triển các công nghệ mới giúp cải thiện khả năng dự đoán và quản lý rủi ro trong giao dịch chứng khoán.

Mô hình LSTM được lựa chọn vì khả năng xử lý các chuỗi thời gian dài và phứctạp, từ đó cung cấp dự đoán về giá cô phiêu có độ chính xác cao Kết hợp với IsolationForest, dé tài còn tạo ra khả năng phát hiện các diém bat thường trong dữ liệu, giúp nhàđầu tư nhận biết và phản ứng kịp thời trước những biến động không mong muốn trên

thị trường.

Ngoài ra, việc áp dụng Reinforcement Learning trong giao dịch chứng khoán

không chỉ giúp tối ưu hóa chiến lược đầu tư mà còn mang lại những bước tiễn mới trongviệc tự động hóa các quy trình quản lý vốn và quản lý rủi ro Phát triển "Bot Trading"

là một minh chứng rõ ràng cho sự ứng dụng thực tế của công nghệ này, giúp nhà đầu tư

dễ dàng theo dõi và điều chỉnh các giao dịch một cách hiệu quả

1.6.2 Ý nghĩa thực tiễn

Hỗ trợ nhà đầu tư trong ra quyết định đầu tư: Cung cấp các công cụ và dự đoándựa trên trí tuệ nhân tạo giúp nhà đầu tư có thé đưa ra quyết định dau tư hiệu quả và

chính xác hơn, dựa trên các dữ liệu và mô hình phân tích.

Giảm thiểu rủi ro trong đầu tư chứng khoán: Phát hiện và cảnh báo sớm về cácđiểm bat thường trong dữ liệu chứng khoán giúp người dùng có thé đưa ra phan ứng kipthời và điều chỉnh chiến lược đầu tư, từ đó giảm thiểu rủi ro đầu tư

24

Tối ưu hóa lợi nhuận và chiến lược đầu tư: Sử dụng mô hình Reinforcement

Learning va Bot Trading dé tự động hóa quy trình giao dịch, giúp người dùng tối ưu

hóa lợi nhuận mà không cần theo dõi liên tục

Ứng dụng di động hữu ích: Xây dựng ứng dụng di động giúp người dùng tiếp cận

dễ dàng với các công cụ và thông tin từ mô hình dự đoán và giao dịch, tăng cường tính tiện dụng và hiệu quả trong quản lý đầu tư.

17 Môi trường hệ thống

- Ung dụng được xây dựng bằng công nghệ ASP.NET cho WEB API, sử dụng

Swift để xây dựng ứng dụng chạy trên nền tảng IOS

- _ Triển khai hệ thống gợi ý giao dịch va dự đoán bang Python

- _ Công cụ thiết kế Draw.Io

- - Môi trường Hosting: Azure Web Service.

- _ Công cụ quan ly source code: Github.

25

CHƯƠNG 2: CƠ SỞ LÝ THUYÉT

2.1 Giới thiệu về trí tuệ nhân tạo, học máy, học sâu

2.1.1 Trí tuệ nhân tạo

Trí tuệ nhân tao (Artificial Intelligence - AI) là một lĩnh vực công nghệ tiên tiễn,

nổi bật trong thời đại số hóa, mang đến những bước tiến vượt bậc trong nhiều lĩnh vực

từ y tế, giáo dục, kinh doanh cho đến giao thông va an ninh [1] AI không chi giúp máy

tính thực hiện các nhiệm vụ đơn giản mà còn có khả năng phân tích và xử lý các vấn đề phức tạp mà trước đây chỉ con người mới có thé làm được Học máy (Machine Learning), một nhánh quan trong của AI, cho phép máy tính học hoi từ dit liệu, cải thiện

hiệu suất và đưa ra quyết định mà không cần lập trình cụ thể Hơn nữa, với sự phát triển

của mạng nơ-ron nhân tao (Artificial Neural Networks) và học sâu (Deep Learning), AI

đã đạt được những thành tựu đáng kế trong việc nhận diện giọng nói, nhận điện khuôn

mặt, và thậm chí là sang tạo nghệ thuật.

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một ví dụ điển

hình về khả năng của AI trong việc hiểu và tương tác với ngôn ngữ con người, từ đó cải

thiện trải nghiệm người dùng qua các ứng dụng như trợ lý ảo, dịch máy, và phân tích

văn bản Trong lĩnh vực thị giác máy tính (Computer Vision), AI đã làm thay đổi cáchchúng ta xử lý và phân tích hình ảnh và video, ứng dụng từ nhận diện khuôn mặt đếngiám sát an ninh Hệ thống chuyên gia (Expert Systems) và robot học (Robotics) là

những lĩnh vực khác cho thấy tiềm năng to lớn của AI trong việc hỗ trợ và thay thế con người trong các nhiệm vụ chuyên môn và vận hành máy móc trong môi trường phức

tạp.

AI không chỉ mang lại lợi ích kinh tế mà còn giúp giải quyết nhiều vấn đề xã hội,

từ chăm sóc sức khỏe thông minh, phát hiện và điều trị bệnh sớm, đến cải thiện giáo

dục qua các hệ thống học tập cá nhân hóa [2] Tuy nhiên, cùng với những cơ hội lớn,

AI cũng đặt ra nhiều thách thức về đạo đức, bảo mật và quyền riêng tư Việc phát triển

va ứng dung AI đòi hỏi sự cân nhắc kỹ lưỡng dé đảm bảo rang công nghệ này được sử

dụng một cách trách nhiệm và có lợi cho toàn xã hội Trong tương lai, AI được kỳ vọng

sẽ tiếp tục đóng vai trò quan trọng trong việc định hình thế giới, mang đến những cảitiền không ngừng và những giải pháp đột phá cho các vấn đề toàn cau

26

2.1.1.2 Mối quan hệ giữa AI, Machine learning va Deep learning

MACHINE

DEEP LEARNING

1950's 1960's 1970's 1980's 1990's 2000's 2010's

Hình 1: Mối quan hệ giữa AI, Machine va Deep learning

Trí tuệ nhân tạo (AI), học máy (machine learning), và học sâu (deep learning) là

ba lĩnh vực công nghệ đang phát triển mạnh mẽ và có mối quan hệ mật thiết với nhau.Trí tuệ nhân tạo là khái niệm rộng, bao gồm mọi nỗ lực dé tạo ra máy móc có thé thực

hiện các nhiệm vụ thông minh mà thường đòi hỏi trí tuệ con người Học máy là một

nhánh cụ thể của AI, tập trung vào việc phát triển các thuật toán và mô hình dé máy

móc có thể tự học từ dữ liệu và cải thiện hiệu suất theo thời gian mà không cần lập trình

cụ thé cho từng tac vụ Trong khi đó, hoc sâu là một tap hop con của học máy, dựa trên

các mạng nơ-ron nhân tao với nhiều lớp dé mô phỏng cách hoạt động của não người.Học sâu đặc biệt mạnh mẽ trong việc xử lý dữ liệu phi cấu trúc như hình ảnh, âm thanh

và ngôn ngữ tự nhiên.

Mối quan hệ giữa ba lĩnh vực này có thé được hiểu như sau: AI là mục tiêu tổngquát, học máy là phương tiện dé đạt được mục tiêu này, và học sâu là công cụ mạnh mẽnhất trong học máy hiện nay Nhờ vào sự phát triển của các mô hình học sâu, khả năngcủa AI đã được nâng lên một tầm cao mới, với những ứng dụng vượt trội trong nhậndạng giọng nói, dịch ngôn ngữ, chân đoán y tế và thậm chí là sáng tạo nghệ thuật Tuynhiên, sự phức tạp của các mô hình học sâu cũng đặt ra những thách thức về tài nguyêntính toán và khả năng giải thích của các mô hình, đòi hỏi sự nghiên cứu và phát triểnliên tục để tận dụng tối đa tiềm năng của chúng

Tổng quan, AI, học máy và học sâu là ba cấp độ khác nhau trong quá trình phát triển

công nghệ thông minh, với học sâu là đỉnh cao hiện tại của học máy, mang lại những

đột phá quan trọng cho AI và mở ra nhiều cơ hội ứng dụng trong thực tế

27

2.1.2 Hoc máy

2.1.2.1 Khái niệm

Học máy (Machine Learning) là một trong những lĩnh vực nổi bật và cách mangnhất của trí tuệ nhân tạo (AI), mang đến những phương pháp và công cụ mạnh mẽ dégiải quyết các van đề phức tạp thông qua việc khai thác và học hỏi từ dữ liệu Đượcxem là cốt lõi của nhiều ứng dụng hiện đại, học máy giúp máy tính không chỉ tuân theocác quy tắc lập trình cứng nhắc mà còn tự cải thiện và phát triển khả năng phân tích, dự

đoán dựa trên kinh nghiệm.

Ứng dụng của học máy rất đa dạng và phong phú, từ nhận diện hình ảnh và giọng

nói, phân tích và dự báo tài chính, đến cá nhân hóa trải nghiệm người dùng trên các nền tảng trực tuyến Trong y tế, học máy đã giúp cải thiện chân đoán và điều trị bệnh thông

qua việc phân tích dữ liệu y tế lớn, phát hiện các mẫu bệnh lý và đề xuất phương ánđiều trị tối ưu Trong lĩnh vực kinh doanh, nó giúp tối ưu hóa chuỗi cung ứng, dự đoánnhu cầu thị trường, và nâng cao hiệu quả marketing qua việc phân tích hành vi kháchhàng Không chỉ dừng lại ở đó, học máy còn thúc đây sự phát triển của các hệ thống tựhành, từ xe tự lái đến các thiết bị thông minh trong nhà, mở ra một tương lai với nhữngtiễn bộ vượt bậc trong tự động hóa và trí tuệ nhân tạo Tuy nhiên, việc triển khai họcmáy cũng đặt ra nhiều thách thức về đạo đức và quyên riêng tư, yêu cầu các nhà phát

triển và quản lý cần có những biện pháp đảm bảo sự minh bạch, công bằng và bảo mật thông tin trong quá trình ứng dung công nghệ này.

2.1.2.2 Luong hoạt động của hoc máy

| Preprocessing data |

Building model

Testing |

Hình 2 Luéng hoạt động của hoc máy

- Thu thập dữ liệu (Data Collection)

¢ Mục dich: Thu thập dữ liệu cần thiết để xây dựng và huấn luyện mô hình

28

° Nguồn đữ liệu: Các nguồn có thé bao gồm cơ sở đữ liệu, API, tệp CSV, dữ

liệu thời gian thực Trong đề tài này các tệp đữ liệu về chứng khoán được

lay từ trang Investing.com Đối với API thu thập dit liệu được lấy từ trang

eolhd.com

e Chất lượng dữ liệu: Dam bảo rang dit liệu thu thập được đầy đủ, chính xác

và phù hợp với mục tiêu phân tích.

Chuẩn bị dữ liệu (Data Preparation)

e Làm sạch dữ liệu: Loại bỏ các bản sao và sửa các lỗi trong dữ liệu.

e Biến đổi dữ liệu: Chuyên đổi kiểu dữ liệu thành định dạng phù hợp cho

phân tích (chuân hóa, mã hóa các biến phân loại)

e Phan chia dữ liệu: Chia dữ liệu thành các tập huấn luyện, xác thực, và kiểm

tra dé đánh giá mô hình một cách công bằng

e Toàn bộ quá trình xử lý dữ liệu sẽ được thực hiện băng Python và các thư

viện liên quan như Pandas, Numpy

Lựa chọn mô hình (Model Selection)

e_ Chọn thuật toán: Dựa trên đặc điểm của vấn dé và dữ liệu, chọn các thuật

toán ML phù hợp (hồi quy tuyến tính, cây quyết định, mạng nơ-ron, v.v.)

e Thử nghiệm nhiều mô hình: Thử nghiệm nhiều mô hình khác nhau dé tìm

ra mô hình tối ưu nhất cho bài toán.

Huấn luyện mô hình (Model Training)

e Huấn luyện mô hình: Sử dung dt liệu huấn luyện dé day cho mô hình cách

nhận diện các mẫu và xu hướng.

e Điều chỉnh siêu tham số: Tinh chỉnh các siêu tham số của mô hình dé tối

ưu hóa hiệu suất

Đánh giá và triển khai mô hình (Model Evaluation and Deployment)

e Đánh giá mô hình: Sử dụng dữ liệu xác thực va kiểm tra để đánh giá hiệu

suất mô hình dựa trên các chỉ số đo lường (độ chính xác, độ nhạy, F1-score,

V.V.).

e_ Triển khai mô hình: Khi mô hình đạt được hiệu suất mong muốn, triển khai

mô hình vào môi trường sản xuất

e Giám sát và cải thiện: Liên tục giám sát hiệu suất của mô hình và cập nhật

mô hình với dữ liệu mới dé duy trì va cải thiện hiệu suất

29

2.1.2.3 Phan loại

- Học có giám sát

Học có giám sát (Supervised Learning) là một phương pháp Machine Learning

trong đó mô hình được huấn luyện bang cách sử dung dit liệu đã được gắn nhãn Mỗi

mẫu dữ liệu đi kèm với một nhãn hoặc đầu ra mục tiêu cụ thé, cho phép mô hình họccách dự đoán dau ra từ các đặc trưng của dữ liệu đầu vào Các ứng dụng phổ biến của

học có giám sát bao gồm phân loại và hồi quy Ví dụ, trong phân loại, mô hình có thểđược huấn luyện dé phan biệt email spam và không spam, hoặc nhận dang khuôn mặt

trong hình ảnh Trong hồi quy, mô hình có thể dự đoán giá nhà dựa trên các đặc trưng

như diện tích, số phòng, và vị trí Các thuật toán phô biến trong học có giám sát baogồm hồi quy tuyến tính, rừng ngẫu nhiên, máy vector hỗ trợ và mạng nơ-ron nhân tạo

- Học không giám sát

Học không giám sát (Unsupervised Learning) là một phương pháp Machine

Learning trong đó mô hình được huấn luyện bang cách sử dung dữ liệu không có nhãn

Mục tiêu của học không giám sát là tìm ra các cấu trúc ân hoặc mau từ dữ liệu Điều

này thường được sử dụng dé phan cum va giam chiều dit liệu Ví du, trong phân cụm,

mô hình có thể được sử dụng đề phân nhóm khách hàng dựa trên hành vi mua sắm của

họ, giúp các doanh nghiệp xác định các phân khúc thị trường khác nhau Trong giảm

chiều, mô hình có thể nén dữ liệu dé loại bỏ nhiễu và cải thiện hiệu suất của các thuật

toán khác Các thuật toán phô biến trong học không giám sát bao gồm K-means, phân

tích thành phần chính (PCA) và mạng nơ-ron tự mã hóa

- Học tang cường

Học tăng cường (Reinforcement Learning) là một phương pháp Machine Learning trong đó một tác nhân (agent) học cách thực hiện các hành động trong một môi trường

dé tối đa hóa phần thưởng tích lũy Thay vì sử dung dé liệu gan nhãn, học tăng cường

sử dụng phương pháp thử và sai, nhận phản hồi dưới dạng phần thưởng hoặc hình phạt.Điều này cho phép tác nhân học cách điều chỉnh hành vi để đạt được mục tiêu mongmuốn Ứng dụng của học tăng cường bao gồm các trò chơi, robot học và hệ thống

khuyến nghị Ví dụ, học tăng cường đã được sử dụng để phát triển AlphaGo, một

chương trình chơi cờ vây có thé đánh bại các kỳ thủ hàng đầu thế giới Các thuật toánphổ biến trong học tăng cường bao gồm Q-learning, chính sách gradient và mạng no-

ron sâu Q (DQN).

2.1.3 Hoc sâu

Học sâu (Deep Learning) là một lĩnh vực tiên tiến và đầy tiềm năng của học máy

(Machine Learning), đặc trưng bởi việc sử dụng các mạng nơ-ron nhân tạo sâu (Deep

Neural Networks) để xử lý và phân tích dit liệu phức tạp một cách tự động Mạng ron nhân tao sâu bao gồm nhiều tang (layers) của các nút (neurons), mỗi tang thực hiệncác phép biến đổi phi tuyến tính trên dữ liệu đầu vào dé trích xuất và học các đặc trưng

nơ-30

phức tạp từ dữ liệu Khả năng nay cho phép học sâu tự động học hỏi và cải thiện hiệu

suất mà không cần sự can thiệp chỉ tiết từ con người

Các mạng nơ-ron sâu như mạng nơ-ron tích chập (Convolutional Neural Networks

- CNN) và mạng nơ-ron hồi quy (Recurrent Neural Networks - RNN) đã mở ra nhữngkhả năng mới trong nhiều lĩnh vực CNN đặc biệt hiệu quả trong việc xử lý và phân tích

hình ảnh, video, với các ứng dụng bao gồm nhận diện khuôn mặt, phân loại đối tượng,

và chân đoán y tế qua hình ảnh RNN và mạng biến đổi (Transformer), mặt khác, đãlàm cách mạng hóa việc xử lý ngôn ngữ tự nhiên (NLP) và phân tích chuỗi thời gian,

với các ứng dụng như dịch máy, nhận diện giọng nói, và phân tích văn bản tự động.

Học sâu đã tạo ra những đột phá đáng ké trong nhiều lĩnh vực khác nhau Trong y

tế, nó được sử dụng dé phân tích dữ liệu y tế lớn, từ đó phát hiện sớm các bệnh lý, đề

xuất phương án điều trị cá nhân hóa, và hỗ trợ chân đoán thông qua các hệ thống trợ lý

y tế thông minh Trong giao thông, học sâu là nền tảng cho sự phát triển của các hệthống tự hành, bao gồm xe tự lái, robot tự hành, và các thiết bị thông minh trong nhà.Trong lĩnh vực kinh doanh, học sâu giúp tối ưu hóa chuỗi cung ứng, dự đoán nhu cầu

thị trường, và cải thiện hiệu quả marketing thông qua phân tích hành vi khách hàng và

đề xuất sản phẩm cá nhân hóa

Một ví dụ nồi bật của học sâu là hệ thống AlphaGo của DeepMind, đã đánh bainhà vô địch thế giới trong trò chơi cờ vây, một thành tựu được coi là cột mốc trong trí

tuệ nhân tạo AlphaGo sử dụng một loại mạng nơ-ron sâu đề học hỏi và dự đoán các

nước đi, kết hợp với học tăng cường (Reinforcement Learning) dé cải thiện chiến thuật

qua từng ván đấu Sự thành công của AlphaGo không chỉ minh họa sức mạnh của họcsâu mà còn mở ra nhiều ứng dụng tiềm năng trong các lĩnh vực khác

Mặc dù có nhiều lợi ích, học sâu cũng đặt ra nhiều thách thức Việc huấn luyện

các mô hình học sâu đòi hỏi lượng lớn dữ liệu và tài nguyên tính toán, làm tăng chi phí

và thời gian phát triển Hơn nữa, các mô hình học sâu thường được coi là "hộp đen" vìkhó hiéu và giải thích cách chúng đưa ra quyết định, điều này gây ra mối lo ngại về đạođức và minh bạch Các van đề về quyên riêng tư và bảo mật dit liệu cũng cần được quantâm khi triển khai các hệ thống học sâu

Dù còn nhiều thách thức, học sâu vẫn là một trong những công nghệ quan trọng

và có tiềm năng lớn nhất của thế kỷ 21 Nó không chỉ giúp giải quyết các vấn đề phức

tạp mà còn thúc đây sự đôi mới và cải tiến trong nhiều lĩnh vực khác nhau, từ khoa học,

kỹ thuật đến xã hội và kinh tế Với sự phát trién không ngừng, học sâu hứa hen sẽ tiếp tục mang lại những tiến bộ vượt bậc và thay đôi cách chúng ta sông và làm việc trong

tương lai.

31

2.2 Dự đoán tương lai chuỗi thời gian bằng thuật toán LSTM

2.2.1 Tổng quan về LSTM

Thuật toán LSTM (Long Short-Term Memory) là một biến thê tiên tiến của mangnơ-ron hồi quy (RNN) [4] được thiết kế dé giải quyết các van đề liên quan đến chuỗi

dir liệu có sự phụ thuộc dai hạn Khác với RNN truyền thống, LSTM có khả năng duy

trì và học các mối quan hệ dài hạn nhờ vào cấu trúc đặc biệt của nó, bao gồm các tế bào

bộ nhớ (memory cells) và ba cổng chính: công đầu vào (input gate), công quên (forgetgate), và công đầu ra (output gate) Các công này sử dụng các hàm kích hoạt sigmoid

va tanh dé điều chỉnh dong chảy của thông tin một cách hiệu quả, cho phép LSTM chonlọc thông tin cần nhớ và thông tin cần quên Do khả năng này, LSTM được ứng dụngrộng rãi trong nhiều lĩnh vực như xử lý ngôn ngữ tự nhiên (NLP), dịch máy, nhận dạnggiọng nói, dự báo chuỗi thời gian, và phân tích hành vi trong video Khả năng vượt trộicủa LSTM trong việc nắm bắt và xử lý các phụ thuộc dài hạn đã làm cho nó trở thành

một công cụ quan trọng trong các nghiên cứu và ứng dụng liên quan đến dữ liệu tuần

tự.

2.1.2 Kiến trúc thuật toán LSTM

Input Gate Output Gate

Hình 3 Kiến trúc thuật toán LSTM [3]

Kiến trúc mô hình LSTM (Long Short-Term Memory) được thiết kế dégiải quyết vấn đề vanishing gradient trong các mạng nơ-ron truyền thăng và

mạng nơ-ron hồi tiếp LSTM là một loại mạng nơ-ron hồi tiếp (RNN) đặc biệt

32

có thé học và duy trì thông tin trong thời gian dai Dưới đây là giải thích chỉ tiết

về các thành phần trong kiến trúc LSTM:

Cell State (Trang thái ô nhớ):

e Trạng thái ô nhớ chạy xuyên suốt qua chuỗi, chỉ bị thay đổi bằng các phép

toán tuyến tính và điểm qua các công

e - Nó là điểm khác biệt chính giữa LSTM và RNN truyền thống, giúp LSTM

có thê giữ được thông tin trong thời gian dài

Forget Gate (Công quên):

e Được thé hiện bằng phan màu đỏ trong hình

© Quyết định thông tin nào cần quên đi từ trạng thái ô nhớ Nó sử dụng một

lớp kích hoạt sigmoid để quyết định thông tin nào nên bị loại bỏ.

e Công thức:

"_ ft=o(U+xxttW/xht-i+bi)

= ft: Giá tri của công quên tại thời điểm t

" o: hàm kích hoạt sigmoid, chuyền gia tri đầu vào thành một gia tri

trong khoang (0, 1).

= Uf: ma tran trong sé ứng với đầu vào hiện tại xt

= Wf: ma trận trọng số ứng với trạng thái ân trước đó ht-1

= bf: vector độ chệch (bias vector).

= xt, đầu vao tại thời điểm t

= ht-1: trạng thái ấn tại thời điểm t-1

Input Gate (Công vào):

e Được thé hiện băng phần màu vàng trong hình

e_ Quyết định thông tin mới nào cần được lưu vao trang thai ô nhớ

e Công thức:

= {f=ø(Uix*xt+W/ixht—1+bÐit=o(Uixxt+Wixht—1+bI)

= it : giá trị của công đầu vào tại thời điểm t

= o: hàm kích hoạt sigmoid, chuyên gia tri đầu vào thành một giá

trị trong khoảng (0, 1).

= Ui: ma trận trọng số ứng với đầu vào hiện tại xt

= Wi: ma trận trong số ứng với trạng thái ân trước đó ht-1

" bi: vector độ chệch (bias vector).

= xt: đầu vào tại thời điểm t

= ht-1: trạng thái ân tại thời điểm t-1

Output Gate (Cong ra):

e Được thé hiện bang phan mau xanh trong hình

33

e Quyết định thông tin nào từ trạng thái ô nhớ cần được xuất ra.

e Cong thức:

=" o(=o(Uox*xt+Woxht—l+bo).

"ot: giá trị của công dau ra tại thời điểm t

= Uo ma trận trọng sỐ ứng với đầu vào hiện tại xt

= Wo: ma trận trọng số ứng với trạng thái ấn trước đó

= bo: vector độ chéch (bias vector).

= xt: đầu vào tai thời điểm t

= ht-1: trạng thái an tại thời điểm t-1

2.1.3 ve ue thuật toán LSTM vào dữ liệu chứng khoán

Hình 4 Thuật toán LSTM với đữ liệu chứng khoán

Quy trình sử dụng LSTM dé dự báo giá chứng khoán [8] bao gồm các bước chính như

Sau:

- Thu thập và chuẩn bi dữ liệu: Bat đầu bằng việc thu thập dir liệu giá chứng

khoán lịch sử từ các nguồn đáng tin cậy Sau đó, làm sạch dt liệu bằng cách xử

ly các giá trị thiếu, loại bỏ dé liệu ngoại lai và chuan hóa dữ liệu dé giúp LSTM

học tốt hơn [6]

- Tao tập dữ liệu huấn luyện và kiểm tra: Chia dữ liệu thành các tập con theo

chuỗi thời gian, ví dụ như sử dung 60 ngày trước đó dé dự đoán giá của ngày

34

mát và trình tối ưu hóa phù hợp.

Huấn luyện mô hình: Huấn luyện mô hình LSTM với dữ liệu huấn luyện đã

chuẩn bị, điều chỉnh các tham số như kích thước batch và số epochs đề tối ưu

hóa quá trình học [9].

Dự đoán và đánh giá mô hình: Sử dung mô hình đã huấn luyện dé dự đoán giátrên tập kiểm tra [15] So sánh giá trị dự đoán với giá trị thực tế và tính toán cácchỉ số đánh giá như RMSE (Root Mean Squared Error) [10] dé đánh giá hiệusuất của mô hình

Triển khai và theo dõi mô hình: Sau khi đánh giá mô hình, triển khai nó để dự

đoán giá chứng khoán trong thời gian thực Theo đõi hiệu suất của mô hình và

cập nhật nó với dữ liệu mới dé duy trì độ chính xác va hiệu qua của dự bao.

Thuật toán Isolation Forest phát hiện điểm bất thường

Hình 5 Cô lập điểm bat thường bằng thuật toán Isolation Forest

Trong mô hình Isolation Forest, quá trình phân chia liên tục các điểm dữ liệu được

biểu diễn dưới dạng cấu trúc cây (Isolation Tree) [7] Các điểm ngoại lệ có đường đi

35

ngắn hơn trong cây vì chúng dễ bị tách ra hơn so với các điểm bình thường Cây cách

ly được xây dựng thông qua quá trình phan chia dtr liệu lặp đi lặp lại.

any — 1) — 2t =P for t > 2

0 otherwise

: là kích thuốc mauh(x): là chiều cao của node x

Cy): là trung bình h(x) khi có ự,

Công thức tính điểm bat thường s cho node x là:

-~E(h(x))

s(x, W) =2 CW)

Với E(h(x)) là chiều cao trung bình của h(x) Ta có 3 trường hợp xảy ra:

Khi Eh(x)) — 0, s > 1 Khi Eh(x)) — tÙ, s — 0 Khi Eh(x)) > C(w), s > 0.5

Sau khi tinh được điểm bat thường s, ta biết được ty lệ điểm đó có phải là điểmbất thường hay không

Nếu s gần bằng 1, thì x có khả năng cao là một điểm bat thường

Nếu s nhỏ hơn 0.5, thì x có khả năng bình thường

Nếu tất cả các giá trị s đều gần bang 0.5, thì có thé giả định rằng không có điểmnào có khả năng cao là điểm bất thường

36

2.4 Học tăng cường

2.4.1 Evolution Strategy

2.4.1.1 Thuật toán tiến hoá EasThuật toán Tiến Hóa là các kỹ thuật tối ưu hóa dựa trên các nguyên lý của chọnlọc tự nhiên và di truyền [3] Chúng thường được sử dụng trong các tình huống mà cácphương pháp téi ưu hóa truyền thống thất bại, chang hạn như trong môi trường phứctạp, phi tuyến tính hoặc khó hiểu Các thành phần chính của EAs là:

Quần thé: Một tập hợp các giải pháp tiềm năng Trong trường hợp này, mỗi giải

pháp là một tập hợp các trọng số của mô hình mạng nơ-ron.

Chon lọc: Quá trình chọn các giải pháp tốt nhất từ quan thé hiện tại dựa trên hiệu

suất của chúng Các giải pháp có hiệu suất cao hơn có nhiều khả năng được chọn

để tạo ra thế hệ tiếp theo

Biến đổi: Giới thiệu các thay đổi cho các giải pháp đã chon thông qua các hoạt

động như đột biến và lai ghép Trong mã này, quá trình biến đổi được thực hiện

bằng cách thêm nhiễu Gaussian vào các trọng số của mô hình

Đánh giá: Đánh giá mức độ phù hợp của mỗi giải pháp Phần thưởng hoặc hiệu

suất của mỗi giải pháp được tính toán dựa trên khả năng tạo ra lợi nhuận từ giao

dịch chứng khoán.

- Lap lại: Lap lai quá trình chọn lọc, biến đổi và đánh giá dé tiến hóa các

giải pháp tốt hơn theo thời gian Mục tiêu là tối ưu hóa các trọng số của mô

hình mạng nơ-ron đê tôi đa hóa lợi nhuận đâu tư.

2.4.1.2 Thuật toán tiễn hoá sâu DESDES là một loại cụ thé của thuật toán tiễn hóa tập trung vào việc tiến hóa các trọng

sô của mạng nơ-ron Nó kêt hợp sức mạnh của mạng nơ-ron cho xâp xi ham với sự

mạnh mẽ của các chiên lược tiên hóa đê tôi ưu hóa Các bước liên quan đên DES là:

Khởi tạo: Bắt đầu với một quan thể các trọng số ngẫu nhiên Trong mã này, cáctrọng số của mô hình mạng nơ-ron được khởi tạo ngẫu nhiên

Nhiễu động: Tạo các biến thê của các trọng số bằng cách thêm nhiễu Gaussian

Quá trình này giúp khám phá không gian giải pháp một cách hiệu quả.

Đánh giá: Đánh giá hiệu suất (phần thưởng) của mỗi tập trọng số Phần thưởng

được tính dựa trên khả năng tạo ra lợi nhuận từ giao dịch chứng khoán.

Chon lọc: Tính trung bình có trọng số của các biến thé, trọng số theo hiệu suấtcủa chúng Các trọng số có hiệu suất cao hơn sẽ có ảnh hưởng lớn hơn đến quátrình tiến hóa

37

- _ Cập nhật: Điều chỉnh các trong số dựa trên trung bình có trọng số của các biến

thé Quá trình này giúp cải thiện hiệu suất của mô hình theo thời gian

2.4.1.3 Ứng dụng vào giao dịch chứng khoán

- _ Biểu diễn Trạng thái

Trạng thái trong giao dịch chứng khoán được biéu diễn bằng cách sử dung dit liệugiá lich sử Ý tưởng là sử dung một cửa số thời gian (window) dé lay một loạt các giá

cổ phiếu gần đây và tính toán các sự chênh lệch giữa chúng Vi dụ, nếu cửa số có kích

thước 30, chúng ta sẽ lay giá cô phiếu của 30 ngày trước đó và tính toán sự chênh lệch

giá giữa các ngày dé tạo thành một vector trạng thái Vector này sau đó sẽ được đưavào mô hình để dự đoán hành động tiếp theo

- _ Kiến trúc Mô hình

Một mô hình mạng nơ-ron đơn giản được sử dụng để dự đoán hành động

(mua/bán/giữ) dựa trên trang thái đầu vào Mô hình này bao gồm:

e_ Lớp đầu vào: Nhận dữ liệu trạng thái

e©_ Lớp ẩn: Xử lý dữ liệu và trích xuất các đặc trưng quan trọng

e Lớp đầu ra: Dua ra dự đoán về hành động tiếp theo và số lượng cô phiếu cần

mua hoặc bán.

- Ham Phần thưởng

Hàm phần thưởng đo lường hiệu suất của tác nhân giao dịch dựa trên tỷ lệ phầntrăm lợi nhuận đầu tư Phần thưởng được tính bằng cách so sánh số tiền đầu tư ban đầuvới số tiền sau khi thực hiện các giao dịch Mục tiêu là tối đa hóa phần thưởng, nghĩa

là tối đa hóa lợi nhuận từ các giao dịch

- Qua trình Huấn luyện

Tác nhân sử dụng Chiến lược Tiến hóa Sâu (DES) dé tối ưu hóa trọng số của mạng

nơ-ron Quá trình huấn luyện bao gồm:

e Tạo ra các biến thé trong số: Bằng cách thêm nhiễu ngẫu nhiên vào các trọng

sô hiện tại.

e Đánh giá các biến thé: Sử dụng hàm phan thưởng để tính toán hiệu suất của

vào và thực hiện các giao dịch tương ứng Quá trình này cho phép đánh giá hiệu suấtcủa tác nhân trong điều kiện thực tế.

- - Hình ảnh hóa

Hiệu suất giao dịch của tác nhân được hình ảnh hóa bằng đồ thị Đồ thị này hiểnthị giá đóng cửa thực tế của cô phiếu, cùng với các tín hiệu mua và bán do tác nhân dựđoán Ngoài ra, đồ thị còn cho thấy lợi nhuận đầu tư theo thời gian Việc hình ảnh hóagiúp đễ dàng đánh giá và so sánh hiệu suất của tác nhân trong việc tối đa hóa lợi nhuận

dau tư.

2.4.2 Reinforcement Learning

2.4.2.1 Khai niệm

Reinforcement Learning (RL) là một kỹ thuật của Machine Learning (ML) giúp

phần mềm học cách đưa ra quyết định dé đạt được kết quả tối ưu nhất Nó mô phỏngquá trình học qua thử và sai mà con người sử dụng dé đạt được mục tiêu của mình Cáchành động của phần mềm hướng tới mục tiêu sẽ được củng có, trong khi những hành

động không hướng tới mục tiêu sé bi bỏ qua.

Các thuật toán RL sử dụng mô hình thưởng va phạt khi xử lý dữ liệu [13] Chúng

học từ phản hồi của từng hành động và tự khám phá các con đường xử lý tốt nhất dé đạtđược kết quả cuối cùng Các thuật toán này cũng có khả năng chấp nhận phần thưởngtrì hoãn Chiến lược tốt nhất có thể yêu cầu bỏ qua các phần thưởng ngắn hạng, thử đưa

ra nhiều quyết định khác nhau bang cách quay lại các trước dé tôi ưu phần thưởng sau

cùng RL là một phương pháp mạnh mẽ đề giúp các hệ thống trí tuệ nhân tạo (AI) đạt

được kết quả tối ưu trong các môi trường chưa từng thấy trước đây

2.4.2.2 Đặc trưng

— Reinforcement Learning (RL) có ba lợi nỗi bật nhất

e Xuất sắc trong các môi trường phức tạp:

Các thuật toán RL có thể được sử dụng trong các môi trường phức tạp với nhiềuquy tắc và phụ thuộc.Trong một số môi trường con người phái cần có lượng kiến thức

lớn trong lĩnh vực mới có thể đưa ra một quyết định hiệu quả Thay vào đó, các thuật

toán RL thích ứng nhanh chóng với các môi trường thay đổi liên tục và tìm ra các chiếnlược mới dé tối ưu hóa kết quả

e Yêu cầu ít tương tác của con người hon

Trong các thuật toán ML truyền thống, con người phải gan nhãn các cặp dit liệu

dé định hướng cho thuật toán Khi sử dụng thuật toán RL, điều này không cần thiết.Thuật toán tự học hỏi Đồng thời, nó cung cấp các cơ chế đề tích hợp phản hồi của conngười, cho phép các hệ thống thích ứng với sở thích, kiến thức chuyên môn và điều

chỉnh của con người.

39

e Tôi ưu hóa cho các mục tiêu dài hạn

RL tập trung vào việc tối đa hóa phần thưởng dài hạn, điều này làm cho nó phùhợp với các kịch bản mà các hành động phần thưởng về sau Nó đặc biệt phù hợp chocác tình huống thực tế, nơi mà phản hồi không có sẵn ngay lập tức cho mỗi bước, vì nó

có thê học hỏi từ các phần thưởng bị trì hoãn

Quá trình hoc của các thuật toán Reinforcement Learning (RL) tương tự như qua trình học của động vật và con người trong lĩnh vực tâm lý học hành vi Vi dụ, một đứa

trẻ có thé nhận ra rằng chúng nhận được lời khen từ cha mẹ khi giúp đỡ anh chị emhoặc dọn dẹp, nhưng nhận được phản ứng tiêu cực khi ném đồ chơi hoặc la hét Dầndần, đứa trẻ học được sự kết hợp của các hoạt động nào mang lại phần thưởng cuối

cùng.

Thuật toán RL bắt chước quá trình học tương tự Nó thử các hoạt động khác nhau

dé học giá trị tiêu cực và tích cực liên quan, nhăm đạt được kết quả phần thưởng cuối

cùng.

— Trong Reinforcement Learning (RL), có một số khái niệm chính:

e Agent (Tác nhân): Đây là thuật toán ML (hoặc hệ thống tự động)

e Environment (Môi trường): Day là không gian vấn dé thích ứng với các

thuộc tính như biến só, giá trị biên, quy tắc và các hành động hợp lệ

e Action (Hành động): Đây là một bước ma tác nhân RL thực hiện dé điều

hướng môi trường.

e State (Trạng thái): Đây là tình trạng của môi trường tại một thời điểm nhất

định.

e Policy (Chính sách): Chính sách có nhiệm vụ giúp Agent đưa ra một hành

động cụ thê

e Reward (Phan thưởng): Đây là giá trị dương, âm, hoặc bằng không—nói

cách khác, là phần thưởng hoặc sự trừng phat—khi thực hiện một hành

động.

e©_ Cumulative Reward (Phần thưởng tích lũy): Day là tong của tat cả các

phần thưởng hoặc giá trị cuối cùng

2.4.2.3 Các thuật toán căn bản

— Thuật toán cơ bản trong Reinforcement Learning:

Reinforcement Learning (RL) dựa trên quá trình quyết định Markov (Markov

Decision Process - MDP), một mô hình toán học của quá trình ra quyết định sử dụngcác bước thời gian rời rac Ở mỗi bước, tác nhân thực hiện một hành động mới dẫn đến

40

trạng thái môi trường mới Tương tự, trạng thái hiện tại được gán cho chuỗi các hành

động trước đó.

Thông qua quá trình thử và sai khi di chuyển qua môi trường, tác nhân xây dựngmột tập hợp các quy tắc "nếu-thì" hoặc các chính sách Các chính sách này giúp nóquyết định hành động nào nên thực hiện tiếp theo dé tối ưu hóa phần thưởng tích lũy.Tác nhân cũng phải lựa chọn giữa việc khám phá thêm môi trường dé học các phanthưởng trạng thái-hành động mới hoặc chọn các hành động đã biết có phần thưởng cao

từ một trạng thái cho trước Đây được gọi là sự đánh đổi giữa khám phá và khai thác

- Đối với trạng thái ta có hai trường hợp dé biéu diễn dưới dang toán học:

e Trạng thái ở dạng ngắt quảng ví dụ như các nước đi của trò chơi caro,

tìm mê cung, hay giao dịch chứng khoán Đối với các trường hợp này

ta có thê mã hóa trạng thái dưới dạng dãy số tự nhiên 0,1,2 và dé dàng

lưu trữ chúng ở dạng mảng

e Trạng thái ở dạng liên tục ví dụ như hình ảnh, âm thanh theo thời gian

thực được thu từ các cảm biến từ các thiết bị IOT Đối với dạng này ta có

thê lưu chúng trong dạng vector.

- Đối với chính sách (Policy): chính sách giúp đưa ra một hành động cụ thể trong

một trạng thái cụ thể:

4I

def get action(s):

a = policy[s]

Co ba dang dé ta có thé biểu diễn một chính sách dưới dạng toán học:

e Chính sách dưới dạng một hàm cố định (function), đối với dang này thì

thì agent sẽ đưa ra duy nhất một hành động duy nhất trong tất cả trườnghợp và có một nhược điểm rat lớn là không phát sinh kinh nghiệm dé cải

tiền việc đưa ra hành động

e Chính sách dưới dang ánh xạ (mapping) có điều kiện và nhược điểm của

dạng này là không thê giải quyết các bài toán có lượng lớn trạng thái(state) hay không giới hạn về trạng thái Chúng ta sẽ gặp rắc rối khá lớn

trong việc lưu trữ hết các key để mapping

e Chính sách dưới dạng một phép toán xác xuất cho phép agent thực hiện

các hành động có định đồng thời giúp agent có xác xuất khám phá mộthành động mới để phát sinh kinh nghiệm.

Biểu diễn chủ thé Agent và môi trường Enviroment dưới dạng toán hoc:

e Tr(a |S) : Xác xuất Agent sử dụng chính sách m dé đưa ra hành động a

trong state S

e p(s”,r | s,a): xác xuất mà trạng thái s chuyên thành trạng thái s’ và nhận

được phần thưởng r khi thực hiện hành động a

Và mục tiêu của Agent là nhận được phần thưởng nhiều nhất có thé:

e G(t) = YR +0 =R(t+1)+R(t+ 2) + -::+ R(T)

42

Trong trường hợp phần thưởng là các giá trị bị giảm theo thời gian ta cóthể sử dụng thêm nhân tố giảm y đề tối ưu phần thương trong thời gian

dài

GQ) = Deyo ROD = RŒ+ 1) + yRŒ+ 2) +: +

y' *1R(T)

- Gia tri kì vọng: Khi ta chơi một trò chơi 100 lần thì mỗi lần ta đều có thé nhận

được một mốc phần thưởng khác nhau bởi vì môi trường của chúng ta có tínhlinh động liên tục bị thay đổi khi đưa ra mỗi hành động nên ta có công thức

để tính giá trị ki vọng cua mỗi trạng thái,

se V(s) = Lads, È,„ n(a IS) P(', r|s,a){r + yV(s')}

— 2 nhiệm vụ chính trong Reinforcement Learning:

e Nhiệm vụ dự đoán: Dựa vào chính sách đã cho sẵn tìm ra V(s)

e Nhiệm vụ kiểm soát: Tìm được chính sách tốt nhất khi đã có V(s)

—_ Một chính sách được xem là tốt nhất khi nó tối ưu được giá trị kỳ vọng trên

mọi trạng thái Ta có công thức

® T¡ > 1; nếu V„,(s) = V„.(s) VS ES

Dé tìm được chính sách tối ưu ta lặp lại vòng lặp cho tới khi V hội tụ

starting

Vu

Hinh 9 Vong lap tim Policy

2.4.2.4 Quy trình học tăng cường trong giao dịch chứng khoán

Quy trình học tăng cường (Reinforcement Learning) trong giao dịch cỗ phiếu

là một chuỗi các bước mà một agent thực hiện dé học cách đưa ra các quyết định giao

dịch tốt nhất nhằm tối đa hóa lợi nhuận tích lũy [11] Quy trình này bao gồm các

thành phần chính như agent, môi trường, trạng thái, hành động, phần thưởng và chính

sách [16] Dưới đây là một mô tả chỉ tiết về từng bước trong quy trình này [12]:

43

Next Sate

Hình 10: Quy trình học tăng cường trong giao dịch chứng khoán

- Observation (Quan sát Trạng thái)

e Mô tả: Agent quan sát trạng thái hiện tai của môi trường thị trường tai

chính.

e Chỉ tiết: Trạng thái có thé bao gồm nhiều thông tin như giá cô phiếu hiện

tại, lịch sử giá, khối lượng giao dịch, các chỉ số kỹ thuật (Moving

Average, RSI, MACD), tin tức thị trường, và các yếu tố kinh tế vĩ mô

e_ Mục tiêu: Thu thập dữ liệu đầu vào cần thiết dé đưa ra quyết định giao

dịch.

- Action Selection (Chọn Hành Động)

e Mô tả: Dựa trên chính sách hiện tại, agent chọn hành động sẽ thực hiện.

e Chi tiết: Chính sách là một mạng nơ-ron sâu, nhận trạng thái làm đầu

vào và xuất ra xác suất của các hành động có thể thực hiện (mua, bán,giữ) Agent có thé chọn hành động có xác suất cao nhất hoặc chọn ngẫunhiên dựa trên xác suất này (stochastic policy)

e Mục tiêu: Xác định hành động tối ưu dựa trên trạng thái hiện tại dé tối

đa hóa lợi nhuận trong dài hạn.

- Execute Action (Thực Hiện Hanh Động)

e M6 ta: Agent thực hiện hành động đã chon trong môi trường thi trường

tài chính.

e_ Chỉ tiết: Nếu agent quyét định mua, ban hoặc giữ cô phiếu, hành động

này sẽ ảnh hưởng đến trạng thái của danh mục đầu tư và có thê cả thị

trường (trong các trường hợp giao dịch lớn).

e Muc tiêu: Tương tac với môi trường thông qua hành động đã chon.

- Receive Reward (Nhận Phần Thưởng)

e M6 tả: Sau khi thực hiện hành động, agent nhận phan hồi từ môi trường

dưới dang phần thưởng

e Chi tiết: Phần thưởng thường được đo lường bằng lợi nhuận hoặc lỗ tài

44

chính từ giao dịch Ví dụ: nếu giá cổ phiếu tăng sau khi agent mua, phần

thưởng là lợi nhuận từ việc tăng giá.

Mục tiêu: Cung cap phản hồi dé agent biết hành động của mình có hiệu

quả hay không.

- Next State (Trạng Thai Tiép Theo)

Mô tả: Môi trường cập nhật và cung cấp trạng thai mới cho agent sau

khi hành động được thực hiện.

Chỉ tiết: Trạng thái mới phản ánh thay đôi trong môi trường do hànhđộng của agent và các yếu tổ thị trường khác Vi du: sau khi agent mua

cô phiếu, trạng thái mới có thể bao gồm giá cô phiếu sau giao dịch

Mục tiêu: Cập nhật thông tin về môi trường dé agent có thé đưa ra quyết

định mới.

- Update Policy (Cập Nhật Chính Sách)

Mô tả: Dựa trên phần thưởng nhận được, agent cập nhật chính sách củaminh dé cải thiện hiệu suất trong tương lai

Chỉ tiết: Quá trình này bao gồm việc điều chỉnh trọng số của mạng

nơ-ron sâu dựa trên thuật toán học tăng cường như Q-learning hoặc các

biến thể hiện đại như Deep Q-Network (DQN), Proximal Policy

Optimization (PPO) Muc tiéu la tối ưu hóa ham giá trị hoặc chính sách

dé tối đa hóa phần thưởng tích lũy

Mục tiêu: Học cách điều chỉnh hành động dé tối đa hóa lợi nhuận dai

hạn thông qua cải thiện chính sách.

2.4.3 Các chiến lược đầu tư

Trong nghiên cứu, nhóm đã triển khai ba chiến lược đầu tư dựa trên mô hình học

tăng cường từ Evolution strategy, nhăm tôi ưu hóa lợi nhuận và giảm thiêu rủi ro cho các nhà đâu tư Các chiên lược này được thiệt kê đê phù hợp với các câp độ châp nhận rủi ro khác nhau, từ an toàn đên mạo hiêm.

2.4.3.1 Chiến lược Dollar-Cost Averaging (DCA)

Đây là chiên lược mua vao từng diém và bán ra từng điêm - chiên lược có mức độ rủi ro thấp, thích hợp cho những nhà đầu tư ưu tiên sự an toàn Đây là chiến lược mànhà đầu tư định kỳ mua một số lượng cé định cổ phiếu hoặc các tài sản khác bất kê giá

cả như thế nào Khi bán ra cũng thực hiện theo cách từ từ, không bán hết toàn bộ cùngmột lúc Điều này sẽ giúp giảm thiểu rủi ro băng cách phân tán nguồn vốn và tối ưu hóa

lợi nhuận theo từng giai đoạn nhỏ.

45

2.4.3.2 Chiến lược Accumulation and Distribution

Chiến lược này có mức độ an toàn trung bình, phù hợp cho những nhà đầu tư chấp

nhận rủi ro ở mức độ vừa phải Nhà đầu tư sẽ mua vào từng điểm như ở chiến lược đầu

tiên, nhưng sẽ bán ra toàn bộ số lượng cô phiếu hoặc tài sản đang năm giữ một lần khiđạt đến mục tiêu lợi nhuận Nhà đầu tư sẽ tích lũy cô phiếu dan dan theo thời gian vàkhi đạt đến một mục tiêu nhất định hoặc khi điều kiện thị trường thuận lợi, họ sẽ bán ra

toàn bộ lượng cô phiếu đã tích lũy Chiến lược này giúp nhà đầu tư tận dụng cơ hội tănggiá mạnh và tối đa hóa lợi nhuận khi thị trường thuận lợi.

2.4.3.3 Chiến lược Bulk Buying and SellingChiến lược thứ ba là "mua vào khoảng lớn, bán ra khoảng lớn" Đây là chiến lược

có mức độ rủi ro cao, dành cho những nhà đầu tư thích mạo hiểm Trong chiến lược

này, nhà đầu tư sẽ sử dụng 50% số tiền dé mua vào một lượng lớn cô phiếu hoặc tài sản

và sau đó bán ra toàn bộ số điểm đang giữ khi đạt đến mục tiêu Chiến lược này tối ưu

hóa lợi nhuận nhanh chóng nhưng cũng đi kèm với mức độ rủi ro cao hơn, yêu cầu nhàđầu tư có khả năng chấp nhận sự biến động lớn của thị trường

Tất cả ba chiến lược trên đều được phát triển thông qua mô hình học tăng cường

từ machine learning, giúp tự động hóa quá trình ra quyết định và tối ưu hóa lợi nhuậndựa trên đữ liệu thị trường thực tế Mục tiêu của nghiên cứu là cung cấp các giải phápđầu tư linh hoạt và hiệu quả, giúp các nhà đầu tư lựa chọn chiến lược phù hợp với mức

độ chấp nhận rủi ro và mục tiêu lợi nhuận của mình Tuy nhiên, đây chỉ dừng lại ở mứctham khảo, quyết định của người dùng sẽ là quyết định cuối cùng và quan trọng nhất

46

CHƯƠNG 3: KÉT HỢP THUẬT TOÁN VÀ THỰC NGHIỆM

3.1 Tổng quan

Kiến trúc hệ thống sẽ gồm 3 phần chính: Phan đầu tiên kết hợp mô hình LSTM

với mô hình Isolation Forest dé đưa ra cá dự đoán điểm bat thường ở tương lai Phần

thứ 2 là xây dựng các Agent choi theo các chiến lược đầu tư khác nhau dé người dùng

có những lựa chọn mang tính cá nhân hóa Phần thứ 3 là tìm ra mô hình dự báo phù hợp

để cải thiện kết quả và gợi ý giao dịch trong tương lai

Use Isolation Forest Jradngi@piest Evaluating Agentsdataset

Predict Data [= Prediction data