Với su phát triển không ngừng của các nên tảng thị trường chứng khoán, việccó thé dự đoán trước giá thị trường chứng khoán một cách chính xác có thé ảnh hưởngrất nhiều tới quyết định mua
Trang 1——==> 4x coe
NGUYÊN VIỆT PHƯƠNG
HỆ DỰ ĐOÁN CHỈ SÓ VN-INDEX DỰA TRÊN MÔ HÌNH HỌC SÂU
LUẬN VĂN THẠC SĨ
NGÀNH CÔNG NGHỆ THÔNG TIN
Mã số: 8480201
TP HO CHÍ MINH - NĂM 2021
Trang 2LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN
Mã số: 8480201
NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS DƯƠNG MINH ĐỨC
Trang 3học sâu” chuyên ngành Công nghệ thông tin được hoàn thành tại Trường Đại học
Công nghệ thông tin Trong quá trình học tập, nghiên cứu, thực hiện, tác giả nhận
được rất nhiều sự giúp đỡ để hoàn thành luận văn
Đầu tiên, tác giả bày tỏ lòng biết ơn và xin gửi lời cảm ơn chân thành nhất đếnthầy TS Dương Minh Đức đã tận tình hướng dẫn, truyền đạt những tri thức khoahọc, kinh nghiệm trong suốt quá trình thực hiện luận văn thạc sĩ
Tác giả xin chân thành cảm ơn quý thay, cô giảng viên thuộc Bộ môn Khoahọc và Kỹ thuật thông tin, Bộ môn Khoa Phần Mềm và Phòng Đào tạo Sau Đại họcTrường Đại học Công nghệ thông tin đã tạo mọi điều kiện thuận lợi cho tác giả hoànthành tốt luận văn thạc sĩ
Tác giả xin chân thành cảm ơn gia đình và các anh chị đồng nghiệp đang côngtác tại Công ty cổ phần Dinh Dưỡng Nutifood đã hỗ trợ cho tác giả thực hiện luận
van này.
Với sự giúp đỡ và nổ lực của bản thân, luận văn đã hoàn thành và kết quả đạtđược đã đóng góp một phần nhỏ trong việc ứng dụng hệ dự đoán chỉ số VN-Index
Trong quá trình thực hiện luận văn, thời gian nghiên cứu và trình độ có giới hạn nên
không tránh khỏi những thiếu sót Tác giả rat mong nhận được sự nhận xét, góp ý quý
giá của quý thây, cô giảng viên và mọi người.
Xin chân thành cảm ơn!
Tp.HCM, ngày 15 tháng 06 năm 2021
Học viên
Nguyễn Việt Phương
Trang 4Luận văn thạc sĩ này là công trình nghiên cứu của cá nhân dưới sự hướng dẫncủa thầy TS Dương Minh Đức Các số liệu, nghiên cứu, trình bày, kết luận hoàntoàn trung thực và chưa từng được ai công bố trong công trình nào khác, ngoại trừcác tư liệu được trích dẫn trong tài liệu tham khảo.
Tôi xin hoàn toàn chịu trách nhiệm về lời cam đoan này
Học viên
Nguyễn Việt Phương
Trang 5Lời cảm ơn
Lời cam đoan
Danh mục các ký hiệu và chữ viết tắt
MỞ ĐẦU
Chương 1 TONG QUAN
1.1 Giới thiệu dé tài vera
1.2 Các nghiên cứu và hướng tiếp cận liên quan: 13
1.2.1 Tình hình nghiên cứu ngoài nước: -.13 1.2.2 Tình hình nghiên cứu trong nước aay
1.2.3 Ly do chon dé tai 24
1.2.4 Những thách thức -.24 1.3 Phạm vi và mục tiêu của luận văn 2d,
1.4 Cấu trúc báo cáo luận văn - 25Chương 2 CƠ SỞ LÝ THUET .262.1 Cơ sở lý thuyết 26
2.1.1 Công cụ công nghệ 26
2.1.2 Nền tảng công nghệ liên quan 7-27
2.1.3 Convolutional Neural Network (CNN) Ö„28 2.1.4 Mô hình mạng LSTM 34 2.2 Độ đo hiệu si 40
Chương 3 MÔ HÌNH DỰ BÁO CHỈ SO CHUNG KHOÁN DỰA VÀO KET HOP
LSTM-CNN we Al
3.1 Mô hình lựa chon
Trang 64.3 So sánh mô hình LSTM-CNN với ARIMA
Chương 5 KET LUẬN VÀ HƯỚNG PHÁT TRIÊN
Trang 7Chữ viết tắt Nội dung
CNN Convolutional Neural Network
SC-CNN Stock Chart — Convolutional Neural Network
RNN Recurrent Neural Network
LSTM Long Short-Term Memory Recurrent Neural Network
ST-LSTM Stock Time — Long Short-Term Memory Recurrent
Neural Network
SVC Support Vector Machine
FC Fully Connection
ARIMA AutoRegressive Integrated Moving Average
DNN Deep Neural Network
ANN Artificial Neural Network
RMSE Root Mean Squared Error
MAPE Mean Absolute Percent Error
RMAE Root Mean Absolute Error
Trang 8Bảng 1.2.1.1 So sánh phân tích hồi quy với mạng nơron
Bảng 1.2.1.2 Bảng so sánh 3 tiêu chí của 7 mô hình.
Bang 1.2.1.3: Kết quả so sánh LSTM với phương pháp dự đoán ngẫu nhiên 17Bảng 1.2.1.4: Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dit liệu CSI 300 Index và Niffty 50 Index .
Bảng 1.2.1.5: Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dữ liệu Hang Seng Index và Nikkei 225 Index.
Bảng 1.2.1.6: Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dữ liệu S&P 500 Index va DJIA Index
Bảng 1.2.2.1: Kết quả BGRU và các công trình khác
Bảng 1.2.2.2: Kết quả so sánh giá trị dự đoán
Bảng 1.2.3.1: Phép đo hiệu suất của 2 mô hình HANFIS và LSTM
Bang 3.2.1: Thông tin dữ liệu training, validation và testing .
Bang 3.3.1.1: Bảng tham số cho mô hình SC-CNN
Bảng 3.3.2.1: Tham số kiến trúc mô hình SC-CNN
Bảng 4.2.1.1: Bảng hiệu si
Bảng 4.2.2.1: Bảng hiệu suất 3 mô hình của chỉ số Thượng Hai
Bang 4.2.3.1: Bảng hiệu suất 3 Mô hình của chỉ số Vnindex
Trang 9Hình 1.2.1.1 Kết quả dự đoán mô hình ARIMA cho Nokia Stock Index
Hình 1.2.1.2: Kết qua dự đoán mô hình ARIMA cho Zenith Bank Index
Hình 1.2.2.1: Kết quả dự đoán của các mô hình LSTM, GRU và BGRU trên các cổphiếu riêng lẻ
Hình 1.2.2.2: Cùng một dữ liệu nhưng biêu diễn nhiêu hình ảnh khác nhau 21
Hình 1.2.2.3: Kết quả phù hợp của hình ảnh và câu
Hình 2.1.3.2: Công thức của hàm kích hoạt ReLu và đồ thị hàm SỐ
Hình 2.1.3.4: Mô hình CNN đầy đủ và chỉ tiết hoạt động của mô hình
Hình 2.1.4.1: Cau trúc một khối RNN
Hình 2.1.4.2: Chi tiết của cấu trúc một khói RNN
Hình 2.1.4.3: Cấu trúc một khối LSTM bao gồm 4 lớp 6Hình 2.1.4.4: Trạng thái khối (Cell State) của khối LSTM tai thời đi 37
‘éng quên (forget gate) của khối LSTM tại thời điểm 37
ông vào (Input gate) của khối LSTM 38
điêm t
Hình 2.1.4.8: Công ra (Output gate) của khôi LSTM ta
Hình 3.2.1.1: Độ dài cửa sô thời gian dự đoán và thời lượng dịch chuyên
Hình 3.2.1.2: Biéu đồ Candlebar tích hợp từ candlestick va bar
Hình 3.2.2.1: Độ dài cửa số của thời gian và thời lượng dự đoán
Hình 3.3.1.1: Kết quả của mô hình Resnet học sâu so với mô hình học sâu thông
thường
Hình 3.3.1.2: Câu trúc khôi bottleneck CNN
Hình 3.3.1.3: Cau trúc mô hình SC-CNN
Hình 3.3.2.1: Cau trúc khối LSTM
Trang 10Hình 4.2.1.1:
Hình 4.2.1.2:
Hình 4.2.1.3:
iểu đồ dự đoán SC-CNN so với giá thực tê
iéu dé dự đoán ST-LSTM so vớiiéu đồ dự đoán LSTM-CNN với giá thực tế Hình 4.2.1.4: Biếu đồ dự đoán 1000 điểm của 3 mô hình so với giá thực té Hình 4.2.1.5: Biểu đồ hiệu suất 3 mô hình chỉ số SPY500
Hình 4.2.2.1: Biều dé dự đoán so với giá thực tế Thượng Hải
Hình 4.2.3.1: Biều đồ hiệu suất 3 mô hình với giá thực tế VNIndex
Hình 4.2.3.2: LSTM-CNN so với giá thực tế VNIndex
Hình 4.3.1: LSTM-CNN va ARIMA dự đoán so với giá thực tế VNIndexHình 4.3.2: Biểu đồ so sánh hiệu suất giữa LSTM-CNN và ARIMA
Trang 11Với su phát triển không ngừng của các nên tảng thị trường chứng khoán, việc
có thé dự đoán trước giá thị trường chứng khoán một cách chính xác có thé ảnh hưởngrất nhiều tới quyết định mua bán cũng như quyết định được lợi nhuận mang lại vàlàm giảm rủi ro cho các nhà đầu tư khi muốn tiến hành các giao dịch chứng khoán.Tuy nhiên, trong công trình vào đầu thé kỷ 21, đã có các nhà nghiên cứu đề xuất rathuyết thị trường chứng minh rằng giá chứng khoán tại thời điểm t chỉ phụ thuộc vàocác giá trị chứng khoán trước thời điểm t, tức là các giá trị chứng khoán trong quá
khứ Cũng từ đó, các công trình dự đoán giá chứng khoán đã thực hiện thử nghiệm các mô hình trên các giá trị của chứng khoán.
Giá của thị trường chứng khoán bao gồm bốn giá trị: giá đóng cửa, giá mởcửa, giá tại thời điểm cao và giá trị tại thời điểm thấp Bốn giá trị này mang đặc tinhcủa chuỗi dữ liệu theo miền thời gian, thường là dữ liệu phi tuyến tính có thể có thêmcác thuộc tính An như: xu hướng của dữ liệu, sự biến đồi theo mùa Điều này trở thành
một vấn dé khó nhằn khi thực hiện dự đoán giá tri của thị trường chứng khoán
'Việc sử dụng các mô hình đơn giản cũng như hướng tiếp cận truyền thống, sử
dụng các mô hình ARIMA, SVM, không thé đạt được kết quả tối ưu khi sử dụng
trên dữ liệu chứng khoán cũng vì sự phức tạp của loại dữ liệu này Từ năm 2016, đã
có nhiều công trình sử dụng các mô hình mạng neural và cho kết quả tốt hơn các mô
hình truyền thống Cũng chính vì sự bùng nô của dit liệu, và việc có thê tim kiếm
nhiều dữ liệu trên mạng đã dẫn tới kết quả này Và kết quả là từ năm 2016 trở đi, các
mô hình mạng neural đã trở thành xu hướng nghiên cứu của các nhà nghiên cứu trong
việc sử dụng đề giải quyết vấn đề về dự đoán giá thị trường chứng khoán
Nhằm hướng tới mục tiêu giúp các người chơi cổ phiếu có thé thu được nhiềulợi nhuận hơn, luận văn của chúng tôi thực hiện nghiên cứu về vấn đề dự đoán giá trịtrường chứng khoán Đồng thời, chúng tôi chọn hướng tiếp cận sử dụng mạng nơ-
ron, là một hướng tiếp cận mới dé giải quyết vấn đề dự đoán giá thị trường chứng
khoán Mô hình mạng nơron là mô hình được xây dựng dựa trên cấu trúc thiết kế của
não bộ, được xây dựng bằng cách chồng nhiều lớp neural lên nhau, điều này làm cho
hàm dự đoán của mô hình mạng neural rat phức tap, cần nhiều dữ liệu dé có thé đạt
Trang 12convolutional, mô hình SC-CNN đã được xây dựng dựa trên kiến trúc ResNet, sử
dung bottleneck residual block và mô hình ST-LSTM, được xây dựng bằng cách
lệc kết hợp hai mô hình ST-LSTM và SC-CNNchồng các lớp LSTM lên với nhau Vi
được sử dụng nhờ vào joint learning nhằm cho mô hình kết hợp có thể học thêm các
thuộc tính dựa vào hai mô hình đơn lẻ.
Cũng vì thế, trong đề tài, chúng tôi thực hiện khảo sát các công trình dự đoángiá chứng khoán cũng như dự đoán các dữ liệu theo miền thời gian (time-series
forecasting) Từ đó, tôi sẽ chọn ra mô hình mà chúng tôi thấy tâm đắc và thực hiện
nghiên cứu mô hình đó Thêm vào đó, chúng tôi sẽ cải tiến mô hình đó đề có thé đạtđược một kết quả dự đoán chính xác hơn mô hình ban đầu, cũng như các mô hình
được so sánh khác.
Trang 13Chuong 1 TONG QUANNội dung chương | trình bay so lược về dé tài, bối cảnh hiện nay và làm rõ lý do chọn
đề tài này Từ đó, xác định mục tiêu cần đạt được khi thực hiện đề tài và phạm vi của
đề tài
1.1 Giới thiệu đề tài
Việc dự đoán giá cổ phiếu đã trở thành một vấn đề quan trọng trong lĩnh vựckinh tế, toán học cũng như lĩnh vực khoa học máy tính bởi vì giá trị của nó tạo ra ratlớn Tuy nhiên, việc dự báo giá trị chứng khoán không phải là chuyện dé dàng.Cowles [1] và đồng nghiệp đã cho thay rằng không có kỹ năng nào tổn tại dé có thé
dự đoán giá của thị trường chứng khoán Fama và đồng nghiệp [1] đã đưa ra mộtthuyết thị trường, tạm dịch là “Thuyết thị trường hiệu quả” (EMH - Efficient MarketHypothesis) cho rằng không ai có thể đánh bại thị trường cổ phiếu vì giá cô phiếu đã
được định sẵn một cách công bằng Trái ngược với thuyết này, nhiều nỗ lực đã được
thực hiện để dự đoán giá thị trường chứng khoán nhằm mục đích thu lợi nhuận bằngnhiều phương pháp khác nhau từ phân tích cơ bản, phân tích kỹ thuật:
Phân tích cơ bản (fundamental analysis) : Là việc phân tích một doanh nghiệp.
dựa trên báo cáo tài chính, ban điều hành, năng lực quản lý, ưu thế cạnh tranh, đôi
thủ và thị phần của công ty đó, để xem xét chất lượng của công ty cũng như việc phát
triển của công ty theo thời gian, nhờ đó tiên đoán các chuyền biến giá chứng khoán
và ra quyết định xem có nên dau tư vào cổ phiếu của công ty đó hay không
Phân tích kỹ thuật (technical analysis): Sử dụng các mô hình toán học (đồ thị,
biến đổi miền, xác suất thống kê, ) và dựa trên dữ liệu thu thập về thị trường trong.quá khứ và hiện tại để chỉ ra trạng thái của thị trường tại thời điểm xác định, thôngthường là nhận định xu hướng thị trường đang lên, xuống hay - dập dénh hoặc nhậnđịnh tương quan lực lượng giữa sự tăng và sự giảm giá Phân tích kỹ thuật không để
ý đến các chỉ số tài chính, tình hình phát triển hay các thông tin về thị trường, vềdoanh nghiệp mà chỉ chú trọng vào tập các dữ liệu về giá cả, khối lượng của cô
phiếu thu thập được tại các phiên giao dịch trong quá khứ
Điểm chung của hai phương pháp này là yêu cầu nhà đầu tư phải có kinhnghiệm và sự am hiểu sâu sắc về TTCK; ngoài ra, nhà đầu tư còn phải có trình độ
Trang 14phân tích TTCK thì mới có thé dự báo thành công được Vì thế điều này không phải
dễ dàng cho tat cả mọi người tham gia đầu tu chứng khoán
Tuy nhiên, các kỹ thuật này không thê phân tích chuyên sâu dữ liệu chứng khoán và do đó không hiệu quả trong việc dự đoán giá thị trường chứng khoán Vì
thế, các mô hình mạng neural (neural nets) đã được đề xuất cho vấn đề dự đoán giá
chứng khoán bởi vì các tính chất đặc biệt của mô hình Thứ nhất, mạng neural có thê
tìm ra mối quan hệ giữa đữ liệu đầu vào và đầu ra của hệ thống ngay cả khi mối quan
hệ này rất phức tạp vì mô hình xấp xi hàm tổng quát Thứ hai, mô hình mang neural
có khả năng tổng quát hóa vấn đề Nghĩa là, dự đoán dữ liệu chưa nhìn thấy bao giờdựa trên những dữ liệu đã biết, tính chất này rất phù hợp với bài toán dự báo
Hiện nay, với sự phát triên mạnh mẽ của khoa học máy tính, nhiều nghiên cứu
đã tập trung vào các kỹ thuật như trí tuệ nhân tạo, máy học (vector và mạng nơ-ron)
để xây dựng mô hình dự đoán chứng khoán dựa trên lịch sử giao dịch chứng khoáncũng như biến động của thị trường, các nhà nghiên cứu đã xây dựng rất nhiều môhình để dự đoán giá chứng khoán tiêu biêu như các mô hình Support Vector
Regression, Artifical Neural Network, Random Forest, C4.5, Convolutional Neural Network (CNN) va Recurrent Neural Network (RNN) đặc biệt là LSTM đưa ra các
dự đoán khá hữu ich cho các nhà đầu tư chứng khoán Tuy nhiên mỗi một mô hình
đều có những mặt hạn chế nhất định Do đó, ngày càng có nhiều nghiên cứu tập trung
để cải thiện độ chính xác và tin cậy của các mô hình là sự kết hợp đồng thời các mô
hình riêng lẻ nói trên dé dự đoán giá trị cổ phiếu
Có ba hướng nghiên cứu về dự đoán chứng khoán: dự đoán giá chứng khoán, dự đoán
xu hướng giá và dự đoán thời điểm mua bán chứng khoán
- Dự đoán giá chứng khoán: mục tiêu là dự đoán giá của một số ngày tiếp theo(ngắn hạn) Cái ta hướng đến là dự đoán vừa đúng về giá trị vừa đúng về xu hướng(tăng bao nhiêu, giảm bao nhiêu) > Đầu ra là giá dự đoán
- Dự đoán thời điểm mua bán chứng khoán : là bài toán dự đoán giá (đóng cửa) củangày hiện tại tăng đến mức tối đa hay giảm xuống mức tối thiểu hay chưa để đưa
ra quyết định mua bán trong tương lai
Dự đoán xu hướng giá chứng khoán: mục tiêu là dự đoán xu hướng xét trong
1 khoảng thời gian nào đó, mà thường là trung hạn và dài hạn Cái ta hướng tới là dự
Trang 15đoán đúng xu hướng (tăng hay giảm, không quan tâm là tăng bao nhiêu hay giảm bao
nhiêu.) > Đầu ra là một trong hai giá trị ứng với 2 trường hợp: xu hướng tăng, xu
hướng giảm (Ta cũng có thê đưa thêm trường hợp thứ 3: xu hướng không đôi)
1.2 Các nghiên cứu và hướng tiếp cận liên quan:
1.2.1 Tình hình nghiên cứu ngoài nước:
Dự báo giá cổ phiếu là mục tiêu theo đuổi hấp dẫn đối với các nhà đầu tư và
nhà nghiên cứu muốn đánh bại thị trường chứng khoán Tuy nhiên, việc dự báo giá
cổ phiếu gặp nhiều khó khăn Cowles [1] cho thấy rằng không có kỹ năng nao tn tại
để dự đoán thị trường chứng khoán Fama [2] thì đề xuất lý thuyết thị trường hiệuquả, trong đó nói rằng giá cổ phiếu đã phan ánh tắt cả thông tin mới liên quan đến cỗ
phiếu và ngụ ý rằng không ai có thé đánh bai thị trường vì giá cỗ phiếu đã được định
sẵn một cách công bằng Trái ngược với lý thuyết này, nhiều nỗ lực đã được thực
hiện để dự đoán giá cô phiếu nhằm thu được lợi nhuận bằng cách sử dụng các kỹthuật khác nhau vì xác định thời điểm thị trường mua hoặc bán cỗ phiếu ở một mứcgiá nhất định là một phần quan trọng của chiến lược giao dịch
Theo hướng tiếp cận kinh tế về thống kê, cho thấy rằng việc dự đoán lợi
nhuận cổ phiếu có ý nghĩa thống kê một phan có thể thực hiện được bằng cách sửdụng một mô hình với một số biến đã được xác định trước France [15] và cộng sự
đã đề xuất sử dụng mô hình phương sai thay đổi có điều kiện tự hồi quy tổng quát
(GARCH) dé dự đoán giá cô phiếu bằng cách sử dụng mối quan hệ giữa sự biến dong
của cỗ phiếu và lợi tức của nó Fama va French [16] đề xuất mô hình hai yếu tố sử
dụng quy mô và vốn chủ sở hữu trên thị trường, cả hai đều liên quan đến thông tin cơ
bản của công ty, dé dự đoán giá cô phiếu Jeantheau [17] gợi ý rằng trong điều kiện
tĩnh, mô hình phương sai thay đổi có điều kiện tự phục hdi có thể được áp dụng để
dự đoán giá cổ phiếu Ariyo và cộng sự [Stock Price Prediction Using the ARIMA
Model] đề xuất một mô hình dự đoán cho giá cổ phiếu bằng cách sử dụng mô hình
đường trung bình động tích hợp tự hồi quy Họ nhận thấy rằng mô hình này có tiềmnăng dự đoán giá cổ phiếu trong tương lai ngắn hạn trên Sở giao dich chứng khoán
New York và Sở giao dịch chứng khoán Nigeria.
Trang 16Figure 15: Graph of Actual Stock Price vs Predicted values of
Nokia Stock Index
Hình 1.2.1.1: Kết qua dự đoán mô hình ARIMA cho Nokia Stock Index
Hình trên thể hiện kết quả dự đoán của mô hình ARIMA cho dữ liệu chứng
khoán của Nokia Stock Index Trong hình 2, là thể hiện kết quả dự đoán của mô hình
ARIMA cho Zenith Bank Index.
Trang 1720 HHH HO Oo
N PP đề dd dể dể d
OR RR dđ đc để
tổ ry ry ở ` & oe s oe PP PPP WP oP al YY Soo đủ %
Yow Yow
PP vệ vẬ Peers
PPM es
Sample Period
se Actual Values Predicted Values
Figure 16: Graph of Actual Stock Price vs Predicted values of Zenith Bank
Stock Index
Hinh 1.2.1.2: Két qua dự đoán mô hình ARIMA cho Zenith Bank Index
Khi sử dung phương pháp thống kê dé suy ra các kết quả dựa trên nền tang
lý thuyết Tuy nhiên, các giả định được sử dụng trong các mô hình kinh tế thống kê
không nhất thiết phải tồn tại trong thế giới thực Ngược lại, mạng nơ-ron nhân tạo.(ANN) không bị giới hạn bởi những giả định này và có thể phát hiện các mối quan
hệ phi tuyến trong các đặc tính của dữ liệu Vì vậy, nhiều học giả đã nghiên cứu dựđoán giá cỗ phiếu dựa trên các mô hình này
Kimoto và cộng sự [12] đã đề xuất một hệ thống dự đoán dé dự báo cỗ phiếu
niêm yết trên Sở giao dịch chứng khoán Tokyo bằng cách sử dụng hệ thông ANN và
đạt được lợi nhuận tuyệt vời bằng cách sử dụng hệ thống dự đoán trong một bài tập
mô phỏng
Trang 18Bang 1.2.1.1: So sánh phân tích hồi quy với mang noron
¡_ Mối tương quan với dữ liệu day học
Phân tích hồi quy nhiều biến | 0.543
Mạng nơ ron | 0.991
Wang và cộng sự [13] đề xuất một mạng nơ-ron lan truyền ngược WDBP
“Wavelet De-noising-based Back Propagation” dựa trên wavelet làm giảm tín hiệu
để dự đoán Chỉ số thị trường chứng khoán Thượng Hải Quá trình khử nhiễu đượcthực hiện trên dữ liệu đầu vào dé loại bỏ nhiễu Mô hình này đạt được độ chính xáccao hơn so với mạng nơ-ron lan truyền ngược thông thường dựa trên các kiểm trathống kê như RMSE, MAPE và MAE
Bảng 1.2.1.2: Bảng so sánh 3 tiêu chí của 7 mô hình.
Độ lỗi BP BPI BP2 BP3 BP4 BPS BP6
MEA 9302404 16206 10384 13403 6759543, 10671 | 13777
RMSE I1743 20062 | 1412.7 19844 8475841, 13497 | 1619.1
MAPE | 0.2492 04364 | 02584 04831 | 0.1948 | 03056 | 04276
Đối với dữ liệu chuỗi thời gian, chẳng hạn như văn bản, tín hiệu, giá cổ phiếu,
v.v., bộ nhớ ngăn hạn dài (LSTM) ưu việt hơn dé học các mẫu thời gian trong mangno-ron sâu (DNN) LSTM khắc phục được vấn dé về độ dốc biến mat trong mạng nơ-
ron tuần hoàn (RNN) để tìm hiểu sự phụ thuộc dai han trong dữ liệu chuỗi thời gian
bằng cách sử dụng các ô nhớ và công Các nỗ lực đã được thực hiện dé dự báo giá cô
phiếu bằng cách sử dụng mạng này
Chen và cộng sự [3] đã sử dụng mô hình Long Short-Term Memory (LSTM)
để cố gắng dự đoán giá cổ phiếu của thị trường Trung Quốc (Shanghai và Shenzhen)
từ Yahoo Finance với bộ dữ liêu 7.767.102 của 3049 cổ phiếu từ 19/12/1990 đến09/2015 và kết quả nhận thấy rằng độ chính xác của dự đoán này cải thiện so vớiphương pháp dự đoán ngẫu nhiên từ 14,3% lên 27,2%
Trang 19Bảng 1.2.1.3: Kết qua so sánh LSTM với phương pháp dự đoán ngẫu nhiên
Low, Open, Volume), High,
Low, Open, Close, Volume
MS SSE Index (Close, High, 27.2%
Low, Open, Volume), High, Low, Open, Close, Volume
Nelson và cộng sự [14] đã sử dung LSTM để dự đoán xu hướng giá cổ phiếutrong tương lai bằng cách sử dụng các chỉ số phân tích kỹ thuật và giá cổ phiếu Kếtquả thử nghiệm cho thấy LSTM được đề xuất của họ chính xác hơn so với các môhình học máy khác, chẳng hạn như rừng ngẫu nhiên, perceptron nhiều lớp và mô hìnhgiả ngẫu nhiên.
Bao và cộng sự [9] đã đưa ra phương pháp tiếp cận sử dụng kết hop quy
trình ba giai đoạn (wavelet transforms (WT), Stacked autoencoders (SAEs) và
Long-short term memory (LSTM) đê dự đoán sáu chỉ số thị trường tương lai (CSI 300 Index
in A-share market from mainland China, Nifty 50 index representing India stock
market, Hang Seng index trading in Hong Kong market, Nikkei 225 index in Tokyo,
S&P500 index and DJIA index in New York stock exchange) Đầu tiên, ho sử dụngphép biến đổi WT dé giảm dữ liệu chuỗi thời gian có kích thước cao thành dữ liệu tín
hiệu có kích thước thấp Thứ hai, những dữ liệu này được tái tạo bằng cách sử dụng một tự động xếp chồng lên nhau (SAEs) Cuối cùng, họ sử dụng LSTM đề dự
đoán giá cổ phiếu Họ xác nhận rằng hiệu suất của mô hình WSAEs-LSTM được đề
xuất tốt hơn so với các mô hình khác, như RNN, LSTM và wavelet-LSTM về cả độchính xác dự đoán và hiệu suất sinh lời
Trang 20Bang 1.2.1 Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dữ liệu CSI 300 Index và Niffty 50 Index.
CSI 300 Index Niffty 50 Index Year Year! | Year2 | Year3 | Years] YearS | Year6 | Average | Year! |Year2 Year3 | Years | YearS | Year6 | Average
Panel A MAPE
WSAEs-LSTM [0.025] 0.014 |0.016 | 0.011 | 0.033 | 0.016| 0.019 | 0.024 {0.019 0.019 | 0.019 0.018] 0.017| 0.019
WSLSTM | 0.025] 0.029 | 0.021 | 0.020 0.038 0033 0.028 | 0.034 | 0.038 | 0.030 | 0.025 | 0.020 0.029| 0029 LSTM 006700770047 0036 0053 0055, 0.056 00430034 | 0.025 | 0.035 0027 0029, 0.034
RNN 0.062 | 0.087 | 0.052 0.060 0.059 0.075 | 0.066 0051 | 0.038 0.034 | 0.032 | 0.036 0.035 0.038
Panel B R
WSAEs-LSTM _ [0.861 0959 0955 09570975 0957 0944 | 0.878 |0.834 | 0.665 | 0.972 0774 0.924] 0.841
WSLSTM 08410801 | 0.919 0864 0.977 0803 0.868 | 0.803 | 0.533 | 0.312 09580722 0.844| 0.695 LSTM 0.440 | 0.273 0629 0742 0962.0656, 0.617 | 0.596 |0.601 0027|0904 0515 0772, 0.569
RNN 0.614 0.363 0.6700.343 0.943 0555, 0.581 0506 | 0.661 0.263 | 0.929 |0.278 0704 0557
Panel C Theil U
WSAEs-LSTM | 0.017 0.009 [0.011 [0.007 0.023 0.011 0.013 0.016) 0.013 | 0.013 | 0.013 | 0.012 | 0.012] 0013
WSLSTM 0.018 0019 0014 0.013 0.024 0.022, 0.018 0.023} 0.025 0.021 | 0.016 |0.014 0.018 0.019LSTM 0.042 0,049 0.030 0,024 0.081 0036, 0035 00300023 0.025 | 0.024 0.018 0020, 0.024RNN 0.044 | 0.053 | 0.037 0041 | 0.036 | 0.046 0043 | 0.034 |0.024 | 0.024] 0.021 | 0.026 0023, 0025
Trang 21Bang 1.2.1.5: Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dữ liệu Hang Seng Index và Nikkei 225 Index.
Hang Seng Index Nikkei 225 Index
Year Yearl | Year2 | Year3 | Year4 YearS | Year6 | Average | Year! | Year? | Year3 | Year4 | YearS | Year6 | Average
RNN 0.805 | 0.679 0.684 0.500 0.870 0.840, 0.730 | 0.694 | 0,652 0.963 | 0.575 | 0.893 0.846 0.766
Panel C Theil UWSAEs-LSTM 0011.0010 07 0.018 | 0.008 | 0011 |0.013 | 0.010 0.010 | 0.009 | 0.010 0.011 | 0.011
WSLSTM | 0.012 0017 0.011 0021 0013, 0014 0.021 0.017 | 0.021 | 0.015 |0.013 | 0.017) 0018
LSTM 0/015 | 0.017 0.016 | 0.013 0.014 0.015 0.015 | 0.022 0.022 0/020 | 0.018 0/018 0.018 0/020
RNN [0.022 0.026 0.018 0.021 0.020 0.020 0.021 0.026 0,025 0.023 | 0.021 |0.021 0021, 0023
Bang 1.2.1.6: Kết quả kết hợp 3 giai đoạn (WSAEs-LSTM) so với mô hình WLSTM,
LSTM và RNN trên bộ dữ liệu S&P 500 Index và DJIA Index.
S&P 500 Index DJIA Index
Year Yearl | Year2 | Year3 | Years | YearS | Year6 | Average | Year! | Year2 | Year3 | Year4 | YearS | Year6 | Average
: ~ Panel A MAPE
WSABS-LSTM | 0.012 | 0.014 | 0.010 0.008 0.011 | 0.010, 0.011 | 0.016 | 0.013 | 0.009 | 0.008 |0.008 0.010 0.011
WSLSTM 0.015 | 0.020 | 0.012 0.010 0.015 | 0.015 0.015 | 0.015 | 0.018 0.013 | 0.011 0.017 0.012| 0.014LSTM 0.021 | 0.018 | 0.013 | 0.012 0.017 0.022, 0.017 | 0.019 | 0.026 | 0.016 | 0.020 | 0.020 | 0.022) 0.020
RNN 0.017 | 0.019 0.013 0.019 0.020 0.019, 0.018 | 0.038 | 0.040 0.029 | 0.024 | 0.038 0.026 0.033
Panel B R WSAEs-LSTM 03944 | 0.944 | 0.984 | 0.973 0.880 0.953 0.946 | 0.922 | 0.928 0.984 | 0.952 | 0.953 03952 0.949
WSLSTM 0.917) 0.886 0971 0.957 0.772 0860, 0.894 | 0.915 | 0.871 0.963 0.911 0.817 0927| 0.901LSTM 0.873 0.905 | 0.968 | 0.953 0795 0.755 0.875 | 0.860 |0.791 | 0,948 | 0.751 |0.719 0786, 0.809RNN 0.899 | 0.909 | 0.966 | 0.867 0.618 0822, 0.847 | 0.684 | 0.579 | 0,871 | 0.669 | 0.256 0,699, 0.627
Panel C Theil U WSAEs-LSTM 0.009 0.010 | 0.006 0.005 0.008 | 0.006 0.007 | 0.010 | 0.009 0.006 | 0.005 | 0.005 0.006 0.007 WSLSTM 0.011 00140008 00070011 0.011 | 0.010 | 0.010 | 0.012 0.008 | 0.007 | 0.011 0.008 0.009 LSTM 0.014 | 0.012 0.009 0.007 0.0110.016, 0.011 | 0.013 |0.016 0.010 0.014 | 0.013 0.014 0.013
RNN 0/012 0.012 0.009 0.012 0.013 0.012 0.012 | 0.025 | 0,025 0.019 | 0.016 | 0.025 0.017 0.021
Trang 22Duc Duong [4] và cộng sự giới thiệu một mô hình dự báo mới phụ thuộc vào.
đơn vị đo lường định hướng hai chiều (BGRU) dựa trên hệ thống mô hình LSTM
Mô hình dự đoán đó dựa trên dữ liệu về tin tức tài chính trực tuyến và giá cổ phiếu
lich sử dé dự đoán biến động cổ phiếu trong tương lai Kết quả thử nghiệm cho thay
độ chính xác của mô hình của chúng tôi đạt gần 60% trong dự đoán chỉ số S&P 500
trong khi đó dự đoán cổ phiếu riêng lẻ là hon 65% (Google, Wal-mart, Boeing)
Bảng 1.2.2.1: Kết quả BGRU và các công trình khác
mô hình LSTM, GRU và BGRU trên các cô phiếu riêng lẻ
Dữ liệu chuỗi thời gian tài chính không chỉ có thể được sử dụng dưới dạng
dữ liệu số mà còn như dit liệu hình ảnh được chuyển đổi để dự đoán giá cỗ phiếu
Phương pháp này liên quan đến việc tìm kiếm các mẫu trong hình ảnh biểu đồ bang
cách sử dụng các chỉ báo kỹ thuật như đường trung bình động, dải Bollinger, bộ dao.
động ngẫu nhiên, v.v Các Deep Neural Network (DNN), đặc biệt là mạng no-ron
Trang 23tích tu (CNN), có thé tự học hoặc trích xuất các tính năng nay CNN đã nỗi bat với
các kỹ thuật học sâu trong lĩnh vực thị giác máy tính, phát hiện đối tượng, phân đoạn,
v.v Thông qua thách thức ImageNet, một trong những thách thức lớn nhất trong lĩnh
vực thị giác máy tính, nhiều mô hình, chẳng hạn như AlexNet [19] (Krizhevsky và
cộng sự, 2012), VGGNet [20] (Simonyan và Zisserman, 2014), GoogLeNet [21]
(Szegedy và cộng sự, 2015), và ResNet [22] (Anh và cộng sự, 2016), đã tự phân biệt
và vẫn được sử dụng thường xuyên Những nỗ lực gần đây đã có gắng áp dụng hình
ảnh biểu đồ chứng khoán cho CNN
Chen và cộng sự [18] không chỉ sử dụng CNN mà còn sử dụng các phương
pháp trực quan hóa dữ liệu, chẳng hạn như trường góc Gramian (Gramian Angular
Field (GAF)), ánh xạ trung bình động (Moving Average Mapping (MAM)) và ánh xa trung bình động kép (Double Moving Average Mapping (DMAM) — hinhxx, với mục
đích chuyển dữ liệu giá chứng khoán thành dữ liệu hình ảnh để loại bỏ nhiễu Họ chỉ
ra rằng mô hình được đề xuất chính xác hơn biểu đồ hình nến mà không áp dụng các
phương pháp trực quan hóa dữ liệu.
DMAM Candlestick
131108
Hình 1.2.2.2: Cùng một dữ liệu nhưng biểu diễn nhiều hình ảnh khác nhau
Trang 24Bang 1.2.2.2: Kết qua so sánh giá trị dự đoán
Year GAF MAM DMAM Candlestick
Các nghiên cứu đã xem xét việc cải thiện độ chính xác của việc dự đoán các
giá trị mục tiêu bằng cách kết hợp dữ liệu từ các loại dit liệu khác nhau hoặc các tàinguyên khác thay vì học từ một đại diện của dữ liệu Ba và cộng sự đề xuất một mạng
nơ-ron đa phương thức sâu sử dụng CNN và perceptron nhiều lớp để phân loại tập
dit liệu Họ đã sử dụng dữ liệu về chim và hoa của Caltech-USCD và các bài báo trênWikipedia tương ứng với dữ liệu hình ảnh, và họ trích xuất các tính năng của các bàibáo trong bách khoa toàn thư để b6 sung cho các tinh năng dé liệu hình ảnh dé dựđoán các lớp hình ảnh không nhìn thấy Kết quả thực nghiệm của nghiên cứu này chỉ
ra rằng mô hình đề xuất của họ có hiệu suất tốt hơn mô hình đơn lẻ
Ma và cộng sự [23] đã đề xuất mạng nơ-ron phức hợp đa phương thức
(m-CNN) để đối sánh hình ảnh và câu, bao gồm một CNN hình ảnh mã hóa nội dung
hình ảnh và một CNN đối sánh học cách đại diện chung của hình ảnh và câu CNNđối sánh sắp xép các từ thành các đoạn ngữ nghĩa khác nhau và tìm hiểu các mối quan
hệ giữa các phương thức giữa hình ảnh và các đoạn được bố cục ở các cấp độ khácnhau, do đó khai thác triệt để các mối quan hệ đối sánh giữa hình ảnh và câu Kết quảthử nghiệm trên cơ sở dữ liệu Flickr30K và Microsoft COCO về truy xuất hình ảnh
va câu hai chiều chứng minh hiệu qua của các mô hình m-CNN
Trang 25Ea THECNNGL —TECWNHE— TC eC
Three person sit at an outdoor table in front
ding paint like the uni bai bas aati bad
at in ait three Jack i 7 aa Fi
ding table outdoor a i as tal
len a jack three like in of paint the | ca = 7
table outdoor building front at an „ amas asl am =
TC three paint at a building of Like =
sn person front outdoor Jack union in sss La! aul 5 Hình 1.2.2.3: Kết quả phù hợp của hình ảnh và câu
1.2.2 Tình hình nghiên cứu trong nước
Tac giả Quang và Trang [4] sử dụng 2 mô hình dự báo chỉ số chứng khoán ViệtNam là mô hình hệ thống suy luận mờ dựa trên mạng thích ứng (ANEIS) và mô hình
bộ nhớ ngắn han dài (LSTM) thông qua các độ do chỉ số hiệu suất bao gồm RMSE,
MAPE, MAE và R là được sử dung để so sánh các mô hình Kết quả so sánh của hai
mô hình và nhận thấy rằng mô hình LSTM tốt hơn so với mô hình ANFIS trong việc
dự báo chỉ số chứng khoán của thị trường chứng khoán Việt Nam
Bang 1.2.3.1: Phép đo hiệu suất của 2 mô hình HANFIS và LSTM
Model RMSE - MAPE MAE R
HANFIS 12.5689 0.0102 7.9529 0.9978
LSTM 9.9566 0.0091 7.0809 0.9987
Tác giả Thắng và cộng sự [5] áp dụng mô hình tự hồi quy trung bình động(ARMA: Autoregressive moving average) để dự đoán thành phan thời gian ngẫunhiên ở một bước kế tiếp, phân tích hồi quy quá trình Gauss (GPR: Gaussian processregression) dé dự đoán thành phan thời gian xu thế Kết quả dự đoán các thành phầnriêng lẻ được tông hợp lại dé đưa ra kết quả dự đoán cuối cùng cho phương pháp kết
hợp GPR-ARMA.
Hai nghiên cứu trên nói riêng và các hướng nghiên cứu khác tại Việt Nam nói
chung chủ yếu tập trung dự báo giá theo các mô hình đơn lẻ hoặc kết hợp mô hình
tuyến tình và phương pháp phân tích Hiện tại, chưa tìm thấy nghiên cứu nào về kết
hợp cả 2 mô hình máy học sâu CNN và RNN Vì thế, đề tài nghiên cứu của mình sẽ
Trang 26có ý nghĩa thực tiễn cao và hỗ trợ được các nha dau tu ra quyết định giao dich chứng.
khoán với lợi nhuận đạt được cao nhất có thể và hạn chế được nhiều rủi ro nhất
với việc chỉ sử dụng các mô hình đơn lẻ Cụ thể, Điều này đã xảy ra trong một số
cuộc thi học máy, trong đó các giải pháp chiến thắng sử dụng các phương pháp kếthợp Trong Cuộc thi Netflix vào năm 2007, người chiến thắng đã sử dụng phươngpháp tổng hợp để triển khai thuật toán lọc cộng tác Một ví dụ khác là KDD 2009trong đó người chiến thắng cũng đã sử dụng các phương pháp tổng hợp các mô hình
đơn lẻ Ta cũng có thê tìm thấy những người chiến thắng đã sử dụng các phương pháp
này trong các cuộc thi CrowdFlower ở Kaggle Vì thế nên, chúng tôi đề xuất việc sửdụng mạng neural với thuộc tính kết hợp LSTM-CNN vào dự đoán giá thị trường
chứng khoán ở Việt Nam Ngoài ra, trong phần thực nghiệm, chúng tôi sẽ cho thấy
rằng, mô hình của chúng tôi tốt hơn những mô hình dự báo đã được sử dụng ở Việt
Nam Chính vì thế, chúng tôi tin chắc rằng công trình này sẽ giúp cho việc ra quyết
định của các người giao dịch tại Việt Nam được tốt hơn
1.2.4 Những thách thức
Mặc dù, cho tới thời điểm hiện tại, đã có nhiều kỹ thuật được sử dụng trongvan dé dự đoán giá cô phiếu của thị trường chứng khoán Tuy nhiên, xét về thị trường
Việt Nam, các công trình dự đoán giá chứng khoán sử dụng các mô hình mạng
nơ-ron không nhiều cũng như sử dụng các mô hình nơnơ-ron kết hợp
Ngoài ra, việc sử dụng các mô hình mạng no-ron, cần phải thu thập một lượnglớn dữ liệu để mô hình có thẻ học tốt cũng như tránh trường hợp mô hình bị quá khớp(overfit) với dữ liệu huấn luyện
Trang 271.3 Pham vi và mục tiêu của luận văn
Luận văn được thực hiện nhằm mục đích nghiên cứu các phương pháp dự
đoán giá thị trường chứng khoán nói riêng và dự đoán dữ liệu miền thời gian nói
chung Ngoài ra, có thể hiểu và cài đặt lại các mô hình mạng neural và hơn hết là cảitiến mô hình đề có thé thu được kết quả tốt hon dé có thé ứng dụng vào thực tiễn
1.4 Cấu trúc báo cáo luận văn
Luận văn nghiên cứu được chia thành 5 chương:
© Chương 3: Cơ sở lý thuyết.
Nội dung chính sẽ trình bày về lý thuyết để sử dụng cho mô hình dự
báo.
© Chương 3: Mô hình dự báo chỉ số chứng khoán dựa vào kết hợp
CNN-LSTM.
Trong chương này, chúng tôi sẽ trình bày về lý thuyết của mô hình
mà chúng tôi chọn, và phân tích về mô hình đó Thêm vào đó, chúngtôi sẽ đưa ra những dé xuất dé cải tiến mô hình dé có thé đạt đượckết quả chính xác hơn
e© Chuong 4: Cài đặt thử nghiệm — phân tích và đánh giá.
Chúng tôi sẽ thực hiện cài đặt mô hình chúng tôi chọn cùng với các
cải tiến, phân tích và đánh giá kết quả với các mô hình khác trong
chương này.
© Chương 5: Kết luận và hướng phát triển
Trong chương cuối cùng, chúng tôi sẽ kết luận về đề tài cũng nhưtiềm năng phát triển của đề tài này trong tương lai
Trang 28Chương 2 CƠ SỞ LÝ THUETTrong phần này, chúng tôi bàn luận về mô hình mà chúng tôi đã lựa chọn đã
được nói tới trong phần mô hình liên quan Cũng như lý do và ưu điểm của mô hình
này so với hiện trạng các công trình đã nghiên cứu.
2.1 Cơ sở lý thuyết
2.1.1 Công cụ công nghệ
Python là một loại ngôn ngữ lập trình hướng đối tượng bậc cao và mạnh mẽ
với mục đích lập trình rất đa năng và được ra đời vào năm 1991 bởi Guido Van
Rossum Ưu điểm dé đọc, dé học và dé nhớ, ngôn ngữ lập trình Python này được tao
ra với kiểu động, sử dụng cơ chế cấp phát bộ nhớ tự động, cấu trúc cấp dữ liệu vôcùng mạnh mẽ, cách tiếp cận khá đơn giản nhưng lại mang đến hiệu quả rất tốt đốivới việc lập trình đối tượng Vì vậy Python dần trở thành ngôn ngữ phổ biến, được
áp dụng rất nhiều mảng khác nhau trong ngành công nghệ thông tin như là:
- Lĩnh vực lập trình website: Ung dụng phô biến nhất của Python có thé dédàng tạo ra các web app với khả năng mở rộng thông qua framework và hệ thốngquản trị nội dung (CMS) đã được tích hợp sẵn trong Python Một số nền tảng phổbiến được viết bằng ngôn ngữ lập trình Python hiện nay dé tao web app như là Flask,
Django, Plone,
- Lĩnh vực khoa học tính toán: Nhiều thư viện trong Python được áp dungcho khoa học, tính toán các số liệu như là NumPy hay SciPy Ngoài ra, còn có một
số thư viện khác như là EarthPy dé áp dung cho khoa học trái đất, AstroPy áp dụng
cho thiên văn học,
- Python sử dụng trong việc tạo nguyên mẫu cho phần mềm: Mặc dù chậm
hơn so với một số ngôn ngữ khác như là Java hay C+ và bị giới hạn với những yêucầu bắt buộc Tuy nhiên, Python vẫn là sự lựa chọn hoàn hảo cho các lập trình viên
có thể tạo ra được nguyên mẫu của các phần mềm dùng thử
- Cuối cùng Python cũng được sử dụng dé day lập trình cho những người mới
và thường được áp dụng ở một số công ty, trường học đào tạo nhân lực về lập trình
công nghệ thông tin.
Trang 292.1.2 Nền táng công nghệ liên quanKhám phá ngôn ngữ lập trình Python, bạn sẽ phải bat ngờ với những tínhnăng vô cùng nỗi bật, giúp cho quá trình lập trình trở nên nhanh chóng, dễ dàng hơn
như là:
- Ngôn ngữ lập trình nhập môn rat đơn giản, dễ học với các cú pháp rõ rànghơn rất nhiều so với những loại ngôn ngữ khác như là C++, C#, Java, Đặc biệt,
Python sẽ giúp cho việc lập trình của bạn trở nên thú vị và tập trung vào những giải
pháp nhiều hơn chứ không phải những cú pháp
- Python hoàn toàn miễn phí và có mã nguồn mở, do đó, bạn có thể thoải mái,
tự do sử dụng, phân phối Python hay thậm chí còn có thể sử dụng cho mục đích
thương mại Và cũng bởi là mã nguồn mở nên bạn không chỉ sử dụng được các phần
mềm hay các chương trình trong Python mà còn có thé tự thay đổi các mã nguồn của
nó Python cũng không ngừng được cải thiện, nâng cấp hiện đại, phù hợp với từng
giai đoạn, thời kỳ.
- Ngôn ngữ lập trình Python cung cấp các chương trình có khả năng di chuyền
từ nền tảng này sang nền tảng khác một cách đơn giản, dễ dàng Điều đặc biệt là dù
đã di chuyển nhưng nó vẫn sẽ chạy bình thường mà không có bat kỳ thay đồi nao.Hơn nữa, các chương trình cũng chạy rất liền mạch trên hầu hết toàn bộ các nên tảng
như là Linux, Windows, MacOS.
- Python có tinh năng mở rộng và có thé nhúng Cụ thé đó là với một ứngdụng đòi hỏi sự phức tạp cao, ban vẫn có thé dé dang kết hợp các phần code với nhauthông qua C hay C++, các loại ngôn ngữ khác dé đưa vào code Python Việc này sẽgiúp cho các ứng dụng của bạn có những tính năng tốt và chất lượng hơn, có khả năngscripting mà một số loại ngôn ngữ lập trình khác không hề có
- Python mang đến tính năng thông dich cấp cao và bạn sẽ không còn phải lolắng về các nhiệm vụ khó khăn, phức tạp khác như là quản lý bộ nhớ hay dọn đẹp bớtnhững dữ liệu không cần thiết, không có nghĩa, Khi chạy code Python, các chương.trình sẽ tự động chuyển đổi code sang một ngôn ngữ máy tinh dé bạn có thé dé hiểuhơn, đồng thời không cần phải lo lắng về bat kỳ một hoạt động cấp thấp nào
- Một tính năng nữa khá nổi bật của Python đó chính là mang đến một thưviện tiêu chuẩn lớn để có thé giải quyết được những van dé nghiêm trọng, giúp quá
Trang 30trình của ban trở nên đơn giản, dé dàng hơn bởi ban sẽ không cần phải tự viết toàn bộcode Ví dụ như bạn cần phải thực hiện kết nối các cơ sở dit liệu MySQL trên Web
server thì có thể ngay lập tức nhập vào thư viện đó dé sử dụng mà không cần lo lắng
sẽ bị hỏng code.
- Tính năng cuối cùng của Python đó chính là mọi thứ đều hướng đối tượnghay còn được gọi là lập trình đối tượng Tính năng này sẽ giúp giải quyết được toàn
bộ những van đề phức tap theo cách trực quan nhất có thé Hơn nữa, với lập trình
hướng đối tượng, bạn có thể phân chia được những vấn đề phức tạp đó thành những
tập con nhỏ hơn theo phương pháp tạo ra các đối tượng khác
“Trích dẫn nguôn https://timviec365.vn/”
2.1.3 Convolutional Neural Network (CNN)
CNN là tên viết tắt của từ Convolutional Neural Network (hay còn gọi là
CNNs_mang nơ ron tích chập), một trong những mô hình Deep Learning vô cùng
tiên tiến cho phép bạn xây dựng các hệ thống thông minh với độ chính xác vô cùngcao Hiện nay, CNN được ứng dụng rất nhiều trong những bài toán nhận dạng đốitượng (object) trong ảnh và kiến thức cụ thé về CNN đã được lý giải như sau:
2.1.3.1 Convolutional
Đây là một loại cửa số dang trượt nằm trên một ma trận Những convolutionallayer sẽ có các parameter được học đề điều chỉnh và lấy ra những thông tin chính xácnhất mà không cần phải chọn feature
Convolution hay tích chập chính là nhân các phan tử trong ma trận Sliding
Window còn được gọi là kernel, filter hoặc feature detect và là loại ma trận có kích thước nhỏ.
2.1.3.2 Feature
Feature là đặc điểm, các CNN sẽ so sánh hình ảnh dựa theo từng mảnh và
những mảnh này được gọi là Feature Thay vì phải khớp các bức ảnh lại với nhau thì
CNN sẽ nhìn ra sự tương động khi tìm kiếm thô các Feature khớp với nhau bằng 2hình ảnh tốt hơn
Mỗi Feature được xem là một hình ảnh mini có nghĩa chúng là những mảng
2 chiều nhỏ Các Feature này đều tương ứng với các khía cạnh nào đó của hình ảnh
và chúng có thé khớp lại với nhau
Trang 312.1.3.3 Thành phần cơ bản của CNN
2.1.3.3.1 Convolution Layer
Đây là lớp quan trong nhất của CNN, lớp này có nhiệm vụ thực hiện mọi tính
toán Những yếu tố quan trọng của một convolutional layer là: stride, padding, filter
map, feature map.
- CNN sử dụng các filter dé áp dụng vào vùng của hình ảnh Những filter map
này được gọi là ma trận 3 chiều, mà bên trong nó là các con số và chúng là
parameter.
- Stride có nghĩa là khi bạn dịch chuyền filter map theo pixel dựa vào giá trị trừtrái sang phải Và su chuyển dich này chính là Stride
- Padding: Là các giá trị 0 được thêm vào với lớp input.
- Feature map: Nó thé hiện kết quả của mỗi lần filter map quét qua input Saumỗi lần quét sẽ xảy ra quá trình tính toán
Hình 2.1.3.1: Mô tả phép nhân convolution
2.1.3.3.2 Relu Layer Relu layer là hàm kích hoạt trong neural network va hàm này còn được gọi
là activation function Hàm kích hoạt có tác dụng mô phỏng các neuron có tỷ lệ truyền
Trang 32xung qua axon Trong activation function thì nó còn có hàm nghĩa là: Relu, Leaky,
Tanh, Sigmoid, Maxout,
Hiện nay, ham relu được dùng phổ biến và vô cùng thông dung Nó được sử
dụng nhiều cho các nhu cầu huấn luyện mạng neuron thì relu mang lại rất nhiều ưuđiểm nổi bật như: việc tính toán sẽ trở nên nhanh hơn
Quá trình sử dụng relu, chúng ta cần lưu ý đến vấn đề tùy chỉnh các learning
rate và theo dõi dead unit Những lớp relu layer đã được sử dụng sau khi filter map được tính ra và áp dụng hàm relu lên những giá trị của filter map.
Trang 33Hình 2.1.3.3: Vi dụ về hai loại pooling phổ biến: max pooling và average pooling.
2.1.3.3.4 Fully connected layer
Lớp này có nhiệm vụ đưa ra kết quả sau khi lớp convolutional layer và
pooling layer đã nhận được ảnh truyền Lúc này, ta thu được kết quả là model đã đọc
được thông tin của ảnh và đề liên kết chúng cũng như cho ra nhiều output hơn thì ta
sử dụng fully connected layer.
Ngoài ra, nếu như fully connected layer có được giữ liệu hình ảnh thì chúng
sẽ chuyên nó thành mục chưa được phân chia chat lượng Cái này khá giống với phiếu
bau rồi chúng sẽ đánh giá dé bầu chọn ra hình ảnh có chất lượng cao nhất
2.1.3.4 Cấu trúc CNN
Mang CNN là một trong những tập hợp của lớp Convolution bị chồng lênnhau cũng như sử dụng hàm nonlinear activation như ReLU va tanh dé kích hoạt
trọng số trong node Lớp này sau khi thông qua hàm thì sẽ được trọng số trong các
node Những lớp này sau khi đã thông qua hàm kích hoạt thì có thể tạo ra những
thông tin trừu tượng hơn cho những lớp tiếp theo
Trang 34Trong mô hình CNN có tinh bat biến và tích kết hợp Nếu như bạn có cùngmột đối tượng mà lại chiếu theo nhiều góc độ khác nhau thì độ chính xác có thẻ sẽ bị
ảnh hưởng.
Với chuyền dịch, quay và co giãn thi pooling layer sẽ được sử dụng dé giúplàm bat biến những tính chất này Vì vậy, CNN sẽ đưa ra kết quả có độ chính xác
tương ứng ở từng mô hình.
Trong đó, pooling layer sẽ cho bạn tính bất biến đối với phép dịch chuyền,
phép co đãn và phép quay Còn tính kết hợp cục bộ sẽ cho bạn thấy những cấp độ
biểu diễn, thông tin từ thấp đến mức độ cao với độ trừu tượng thông qua convolution
từ các filter.
Mô hình CNN có các layer liên kết được với nhau dựa vào cơ chế
convolution Những layer tiếp theo sẽ là kết quả từ những convolution từ layer trước
đó, vì thế mà bạn sẽ có các kết nối cục bộ phù hợp nhất Vậy, mỗi neuron ở lớp sinh
ra tiếp theo từ kết quả filter sẽ áp đặt lên vùng ảnh cục bộ của một neuron có trước
đó.
Trong khi huấn luyện mạng, CNN sẽ tự động học hỏi các giá trị thông qua
lớp filter dựa vào cách thức mà người dùng thực hiện.
Cấu trúc cơ bản của CNN thường bao gồm 3 phần chính là:
Local receptive field (trường cục bộ): Lớp này có nhiệm vụ tách lọc đữ liệu,
thông tin ảnh và lựa chọn các vùng ảnh có giá trị sử dụng cao nhất
Shared weights and bias (trọng số chia sẻ): Lớp này giúp làm giảm tối đalượng tham số có tác dụng chính của yếu tố này trong mạng CNN Trong mỗiconvolution sẽ có các feature map khác nhau và mỗi feature lại có khả năng giúp
đetect một vài feature trong ảnh.
Pooling layer (lớp tổng hợp): Pooling layer là lớp cuối cùng và có tác dụnglàm đơn giản các thông tin đầu ra Có nghĩa là, sau khi đã hoàn tat tính toán và quétqua các lớp thì đến pooling layer dé lược bớt các thông tin không cần thiết Từ đó,
cho ra kết quả theo như ý mà người dùng mong muốn
Trang 35Hình 2.1.3.4: Mô hình CNN day đủ và chỉ tiết hoạt động của mô hình.
1 tke
4443
Để lựa chọn được tham số phù hợp nhất cho CNN thì bạn cần lưu ý đến các
sô lượng: filter size, pooling size, sô convolution và việc train test.
2.1.3.5 Tham số cho cấu trúc CNN
Convolution layer: Nếu lớp này có số lượng nhiều thì chương trình chạy của
bạn lại càng được cải thiện Sử dụng các layer với số lượng lớn có thể dẫn đến tác
động được giảm một cách đáng kể Thường thi chỉ sau 3 đến 4 layer thôi là bạn sẽ đạtđược kết quả như mong muốn
Filter size: Thông thường, các filter size đều có kích thước là 3x3 hoặc 55.Pooling size: Với các hình ảnh thông thường thì bạn cần sử dụng kích thước2x2 Tuy nhiên, nếu đầu vào có hình ảnh lớn hơn thì bạn nên sử dụng 4x4
Train test: Cần thực hiện train test nhiều lần, như vậy thì mới cho ra được cácparameter tốt nhất
Thuật toán Convolutional neural network đem đến cho người dùng một môhình chất lượng Dù bản chất nó không phải là thuật toán quá đơn giản nhưng lại
Trang 36mang đến kết quả hài lòng Mặc dù vậy, đây là thuật toán khá khó hiéu và cần trảiqua tiếp xúc lâu dài thì người dùng mới có thể ứng dụng nó một cách chính xác nhất.
2.1.4 Mô hình mạng LSTM
Phần thứ hai của mô hình kết hợp này là mô hình LSTM hay Stock-TimeLSTM, mô hình này sử dụng dữ liệu theo chuỗi thời gian là giá chứng khoán đóngcửa theo ngày đề dự đoán giá chứng khoán trong tương lai
2.1.4.1 Khối LSTMMột mô hình mạng neural bình thường không thẻ tích hợp thông tin của một
dữ liệu chuỗi, cụ thé là, dữ liệu thông tin tại thời điểm t sẽ độc lập hoàn toàn với dữliệu thông tin tại các thời điểm trước đó
Đầu tiên, mô hình mạng neural hồi quy RNN (Recurrent Neural Network) đã
được đề xuất vào năm 1986 nhằm có thể nắm bắt được thông tin của một chuỗi dữ
liệu Mô hình mạng RNN được mô tả như trong hình bên dưới, trong đó, dữ liệu ở
thời điểm t sẽ được tính dựa trên dữ liệu ở các thời điểm trước đó
Tuy nhiên, một vấn đề gặp phải là mô hình RNN không thể nắm bắt được
thông tin chuỗi thời gian ở các thời điểm rất xa trước đó, vấn dé nay đã được chứng,
minh trong công trình Hochreiter (1991) [German] và Bengio, et al (1994) vào năm.
1991 và 1994, cũng từ đó, mô hình LSTM đã được đề xuất trong công trình[Hochreiter & Schmidhuber (1997)] vào năm 1997 và không mắc phải khuyết điểm
này, làm cho mô hình LSTM trở nên phổ biến và đạt được kết quả cao hơn so với mô
Trang 37hình RNN Ngoài ra, trong công trình này, đã đề cập tới mô hình LSTM có cấu tạo
tương ứng với não người.
Cũng như mô hình RNN, mô hình LSTM là một chuỗi kết nối các node với
nhau Đối với mô hình RNN, sẽ có các khối đơn giản kết nối với nhau dựa theo hàmkích hoạt là hàm tanh Hình bên dưới mô tả các khối RNN Trong hình này, ta có thểthấy rằng các khối được nối kết đơn giản với nhau thông qua một hàm kích hoạt làhàm tanh, việc sử dụng hàm tanh có thể làm giải quyết vấn đề về tiêu biến đạo hàm
giản chỉ có một hàm kích hoạt, một khối LSTM bao gồm nhiều hàm kích hoạt và mỗi
hàm kích hoạt đóng một vai trò khác nhau giúp một hình LSTM có thé nắm bắt thongtin từ những khối cách xa nhau cũng như có thể cho kết quả chính xác hơn một hình
RNN.
Trang 38Hình 2.1.4.3: Cấu trúc một khối LSTM bao gồm 4lớp
The repeating module in an LSTM contains four interacting
Mỗi khối LSTM, sẽ tồn tại một dữ liệu thông tin gọi là trạng thái khối (cell
state), thông tin trang thái khối ở thời điểm t la tat cả các thông tin dữ liệu từ các trang
thái trước đó Sau khi khối LSTM ở thời gian t được tính toán xong, trang thái khối
sẽ bao gồm thông tin của khối LSTM ở thời gian t và được đưa tới khối LSTM ở thờigiant + 1 đề xử lý Hình 2.1.4.2.1 mô tả cho cell state ở thời điểm t, cell state sẽ đượctính toán ở các thời điểm trước đó và đưa vào LSTM ở trạng thái t, sau khi khối LSTM
ở thời gian t tính toán xong, cell state sẽ được đưa lên khối LSTM ở thời gian t+ 1
có bao gồm thông tin ở trạng thái t
Trang 39Hình 2.1.4.4: Trạng thái khối (Cell State) của khối LSTM tại thời điểm t.
a Cấu trúc khối LSTM
Như đã nói ở trên, mô hình LSTM có cấu trúc giống như não người bởi vìcác công của mô hình LSTM nay Mô hình LSTM chia ra làm 3 cổng chính: cổngquên (forget gate), công vào (input gate) và công ra (output gate)
b Cổng quên (Forget Gate)
Forget Gate của một khối LSTM là công được xử lý đầu tiên của một khốiLSTM, giá trị của công này được tính toán từ giá trị của h_{t-1} và giá trị đầu vào
của x tại thời điểm t xt Bang việc sử dụng ham kích hoạt sigmoid, nếu kết quả của
gate này là 1 có nghĩa là sẽ lấy hết các thông tin từ cell trước đó, và ngược lại, nếu
kết quả của gate này 0 nghĩa là sẽ quên hoàn toàn các thông tin từ cell state trước đó
Hình dưới mô tả forget gate và thể hiện công thức của forget gate
Trang 40Hình 2.1.4.5: Cổng quên (forget gate) của khối LSTM tại thời điểm t.
# =ơ(Wr-[b~i,a¿] + by)
c Công vào (Input Gate)
Sau khi dữ liệu qua công quên, dữ liệu sẽ được xử lý tiếp theo trong cổng
vào Y nghĩa của công vào và đưa dit liệu vào trạng thái của khối (cell state) Tại công
vào, sẽ có hai thành phần được tính toán, một là trạng thái ứng cử của khối tại thời
điểm t(C^_9) hai là một giá trị sigmoid tượng trưng cho sự khuếch đại của giá tri ứng
cử này Công thức tinh của công vào và mô tả công vào được thể hiện trong hình
Hình 2.1.4.6: Công vào (Input gate) của khói LSTM
ig = 0 (W,-[he-1, 24] + bị)
C, = tanh(Wo-[ht-1, 24] + bơ)
Sau khi tinh toán xong giá trị của công quên và céng vào, các giá trị này sẽđược tông hợp cùng với trạng thái khối LSTM tại thời điểm trước đó để có thẻ tínhtoán được giá trị của trạng thái khối tại thời điểm t Hình dưới thể hiện sự tổng hợpcủa cell state tại thời điểm t-1 va các giá trị forget gate và input gate ở thời điểm t