Chuyên đề thực tập: Ứng dụng deep learning trong dự báo chuỗi thời gian

Chuyên đề thực tập - chuyên ngành Toán Kinh TếHình 28: Tạo ra dit liệu mới phù hợp đầu vào của LSTM với 60 biến trễ 44Hình 29: Tạo hàm chuấn hóa dữ liệu 45Hình 30: Tạo hàm chuẩn hóa ngượ

Với sự phát triên của công nghiệp hiện đại, rât nhiêu ngành công nghiệp, nêu không muốn nói là tất cả đều dựa trên các dựa các dự báo dé đưa ra kế hoạch sản xuất hoặc quyết định quan trọng Ví dụ, dự báo tốt về nhu cầu từng mặt hàng trong tương lai rõ ràng sẽ giúp doanh nghiệp lập kế hoạch sản xuất, kế hoạch vận chuyền, kho bãi dễ dang hơn và giảm thiểu lượng hàng phải bỏ đi do quá han sử dụng Do đó, kết quả dự báo tốt đóng vai trò thiết yếu trong nhiều lĩnh vực hoạt động khoa học, công nghiệp, thương mại và kinh tế Đề làm được điều đó, các nhà quản trị hay nhà hoạch định chiến lược thường sử dụng các thông tin trong quá khứ hay chuỗi thời gian để đưa ra dự báo trong tương lai.

Major U.S Airlines’ Stock Price Oscillations in 2020

Price Change as a Percentage of Adj Close Price on January 2nd & Major Events

1 allelfGnt | +2.07%| ie | Southwest | -14.68%| from COVID-19 top 200,000

Hình 1 :Minh hoa sự thay đối của chuối giá cô phiếu cổ phiếu của 9 hãng hang không của Mỹ

1.1.1 Khái niệm chuỗi thời gian

Chuỗi thời gian là một tập hợp các quan sát được thực hiện tuần tự qua thời gian Vi dụ (i) doanh số bán một sản phẩm cụ thé trong những tháng liên tiếp, (ii) nhiệt độ tại một địa điêm cụ thê vào buôi trưa của những ngày liên tiép và (iii) tiêu thụ điện ở một

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế khu vực cụ thê trong khoảng thời gian một giờ liên tiếp Một số ứng dụng của dự báo chuỗi thời gian có thé ké đến như:

Kiểm soát hàng tồn kho Lập kế hoạch sản xuất và năng lực Đánh giá các chiến lược kinh tế thay thế

Quản lý rủi ro tài chính

Dự báo nhiệt độ thời tiết

1.1.2 Một số đặc trưng của chuỗi thời gian

Chuỗi thời gian có 4 tính chất chính là tính thời vụ (seasonal), tính xu hướng (trend), tính chu kì (cyclical) và tính nhiễu (noise).

Tính thời vụ biêu thị qua sự biến động có chu kì thời gian nhất định Tính thời vụ đặc biệt quan trọng trong dự báo vì tại một thời điểm dự báo nhất định, giá trị dự báo có thé cao hơn (hoặc thấp hơn) bất thường Với số liệu kinh tế thông thường, mỗi một thời kì thường tính theo tháng, quý hoặc năm, nhưng với một vài số liệu đặc biệt, một thời kì có thê kéo dài tới vài năm.

Hình 2: Chuỗi thời gian có yếu t6 mùa vụ

Tính xu hướng phản ánh xu hướng tăng (giảm) của chuỗi thơi gian trong cả quá trình.

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế

E-Commerce Retail Sales in the United States

Hình 3: Chuỗi thời gian có yếu to xu thé

Tính chu kì, giống với tính thời vụ, cũng thé hiện sự biến động theo chu kì nhưng độ đài của chu kì thường thay đổi, không thể biết trước được.

Dow Jones Industrials % change in closing price from previous year

Economic The dot.com depression 1907 Banker's Recession bubble

Hình 4: Chuỗi thời gian có yếu to chu kì

Tính nhiễu thê hiện sự ngẫu nhiên sau khi đã bỏ qua tính thời vụ và tính chu kì khỏi chuỗi thời gian Tính nhiễu là một thành phần không thê biết trước được hay đo lường được, là tác động ngẫu nhiên của các yếu tô biết hoặc chưa được biết.

Một dạng đặc biệt của chuỗi thời gian là chuỗi dừng Chuỗi dừng là chuỗi thời gian có trung bình, hiệp phương sai và hệ số tương qua không phụ thuộc vào thời gian được gọi là chuỗi dừng Nói cách khác, một chuỗi thời gian có xu hướng vận động xung quanh giá tri trung bình Vì lẽ đó, dé có thé dự báo được, chuỗi thời gian luôn được giả định rằng xu hướng dao động của dữ liệu trong quá khứ và hiện tại được bảo toàn cho đến cả các giai đoạn tương lai Theo Gujarati (2003), một chuỗi thời gian không dừng thì chúng ta chỉ có thé nghiên cứu hành vi của nó trong khoảng thời gian đang xét ma thôi.

Nhiễu trắng là chuỗi dừng có trung bình bằng 0, phương sai đồng nhất và không có tự tương quan chuỗi Khi dự báo chuỗi thời gian, néu phan dư của mô hình, phan chênh lệch giữa giá trị thực tế và giá trị dự báo, là một nhiễu trăng thì mô hình đó có thể dùng dé dự báo được. ũ 1000 2000 3000 4000

Hinh 5: Hinh minh hoa nhiéu trang

1.1.3 Đánh giá sai số trong dự báo chuỗi thời gian

Một trong những điều quan trọng của mô hình chuỗi thời gian là độ chính xác của dự báo Độ chính xác càng cao thì khả năng dự báo của mô hình cảng đáng tin cậy. Độ chính xác của các dự báo chỉ có thé được xác định bằng cách xem xét mô hình hoạt động tốt như thế nào trên dữ liệu mới không được sử dụng trong khi xây dựng mô hình dự báo.

Khi xây dựng một mô hình dự báo chuỗi thời gian, đữ liệu ban đàu thường được tách thành hai phần, dt liệu dao tạo và dữ liệu thử nghiệm, trong đó dữ liệu dao tạo được sử dụng dé ước tính bất kỳ tham số nào của phương pháp dự báo và dữ liệu thử nghiệm được sử dụng dé đánh giá độ chính xác của nó Bởi vì dữ liệu thử nghiệm không được sử dụng để xây dựng mô hình, nó sẽ cung cấp một dấu hiệu đáng tin cậy về khả năng dự báo của mô hình trên đữ liệu mới Thông thường, 2 phương pháp tuyệt đối và tương đối thường được sử dụng kết hợp khi đánh giá độ chính xác.

Phương pháp đánh giá chỉ số tuyệt đối đo lường giá trị sai lệch với giá trị theo giá trị của bộ dữ liệu Hai thước đo thường được sử dụng cảu phương pháp này là MAE (Mean absolute error) và RMSE (Root Mean Square Error). n

Khi so sánh các phương pháp dự báo được áp dụng cho một chuỗi thời gian hoặc một số chuỗi thời gian có cùng đơn vị, MAE rất phô biến vì nó dễ hiểu và dễ tính toán.

Phương pháp dự báo giảm thiêu MAE sẽ dẫn đến dự báo về giá trị trung vị, trong khi giảm thiểu RMSE sẽ dẫn đến dự báo về giá trị trung bình Do đó, RMSE cũng được sử dụng rộng rãi, mặc dù khó giải thích hơn.

Phương pháp đánh giá chỉ số tương đối đo lường giá trị phần trăm sai lệch với giá trị theo giá trị của bộ dtr liệu Thước đo thường duoc sử dụng là MAPE (Mean

Vt Ưu điểm của phương pháp đánh gia chỉ số tương đối là không phụ thuộc vào don vị của bộ dữ liệu và có thé dùng để so sánh hiệu suất dự báo giữa các tập dữ liệu khác nhau.

1.1.4 Bài toán dự báo chuỗi thời gian trong kinh tế - kinh doanh

Dự báo liên quan đến việc đưa ra các dự đoán về giá trị trong tương lai trên cơ sở dir liệu lịch sử và hiện tại Từ dữ liệu chuỗi thời gian, các nhà quan lí có được cái11173943 — Vũ Nhật Quang 7

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế nhìn tổng quan trong quá khứ và sử dụng phương pháp dự báo dé đưa ra chiến lược cho doanh nghiệp Phương pháp dự báo là một quy trình tính toán các dự báo từ các giá tri hiện tại và quá khứ Do đó, nó có thể đơn giản là một quy tắc thuật toán và không cần phụ thuộc vào mô hình xác suât cơ bản.

Một trong những phương pháp dự báo chuỗi thời gian sớm nhất là phương pháp dự báo của Charles C Holt (1957) và Peter R Winters (1960) Holt-Winters (là một trong những kỹ thuật dự báo phổ biến nhất cho chuỗi thời gian dù nó đã có tuổi đời hàng thập kỷ nhưng vẫn được sử dụng phố biến trong nhiều ứng dung, bao gồm cả giám sát, nơi nó được sử dụng cho các mục đích như phát hiện bắt thường và lập kế hoạch.

Tiền thân của phương pháp Holt-Winters được gọi là phương pháp làm mịn theo cấp số nhân đơn giản (Simple Exponential Smoothing - SES) Phương pháp này phù hợp dé dự báo dữ liệu không có xu hướng hoặc mùa vụ rõ ràng Holt (1957) đã mở rộng SES dé cho phép dự báo dữ liệu có xu hướng và Winters (1960) phát triển thêm tinh năng xử lí được dự liệu có yếu tố thời vụ Tuy nhiên, phải đến tận năm 1985, phương pháp Exponential Smoothing (ES) mới nhận được công nhận và phát triển thông qua 2 bài báo Gadner (1985) và Syner (1985) Gadner đã cung cấp một đánh giá kỹ lưỡng và tổng hợp những công trình về ES và mở rộng bằng phương pháp phân loại Pegels để giảm thiểu yếu tổ xu hướng Bài báo của ông tập hop rất nhiều công trình hiện có, đã mô phỏng việc sử dụng các phương pháp này và thúc đây một lượng đáng kể các nghiên cứu bồ sung Trong khi đó, Snyder đã chỉ ra rang SES có thé được coi là phát triển từ mô hình không gian trạng thái (State Space Model) State space model là mô hình bao gồm một phương trình đo lường mô tả đữ liệu được quan sát và một số phương trình trạng thái mô tả cách các thành phần hoặc trạng thái không được quan sát (mức độ, xu hướng, theo mùa) thay đổi theo thời gian Mặc dù thông tin chi tiết này hầu như không được chú ý vào thời điểm đó, nhưng trong những năm gần đây, công trình của ông đã cung cấp cơ sở cho một lượng lớn nghiên cứu về các phương pháp ES Hyndman và cộng sự (2002) và được mở rộng bởi Taylor (2003) đã đưa ra cung cấp một phân loại hữu ich dé mô tả 15 phương pháp ES khác nhau mà nỗi bật là SES, Holt’s linear method,

Holt—Winters’ multiplicative method và Holt—Winters’ additive method với các yếu tô xu hướng và mua vu khác nhau trong từng mô hình.

Yule (1927) đã đưa ra khái niệm ngẫu nhiên trong chuỗi thời gian bằng cách mặc định rằng mọi chuỗi thời gian có thể được coi là hiện thực của một quá trình ngẫu nhiên.

Dựa trên ý tưởng đơn giản này, một số phương pháp chuỗi thời gian đã được phát triển kể từ đó Các công trình của Slutsky, Walker, Yaglom va Yule lần đầu tiên hình thành khái niệm về mô hình tự hồi quy (AR) và trung bình trượt (MA) và được tổng hợp lại

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế thành mô hình ARMA và dang tối ưu hơn là mô hình ARIMA với I (Integrated) là yếu tố sai phân George Box và Gwilym Jenkins đã phổ biến mô hình ARIMA (Trung bình động tích hợp tự động) trong sách giáo khoa của họ, phân tích chuỗi thời gian: Dự báo và kiểm soát (Time Series Analysis: Forecasting and Control, Box & Jenkins, 1970).

Do nền tảng lý thuyết của mình, mô hình ARIMA được giảng dạy rộng rãi trong trường đại học trên thế giới Nếu các giả định nhất định được đáp ứng, mô hình ARIMA mang lại dự báo tối ưu, một thuật ngữ về cơ bản có nghĩa là các lỗi, hay phần dư, từ mô hình không chứa thông tin có thể cải thiện dự báo hay phần dư là nhiễu trắng (white noise).

Tuy nhiên, điều này không ngụ ý rằng các mô hình ARIMA nhất thiết phải ưu việt hơn các lựa chọn thay thế, đặc biệt nếu đữ liệu không phù hợp với các giả định cần thiết, và dữ liệu kinh doanh thường không thỏa mãn điều kiện trên Với sự phổ biến của mình, đã có rất nhiều mô hình biến thể của ARIMA được phát triển như mô hình ARIMAX (thêm yếu tổ ngoại sinh), SARIMA (thêm yếu tố thời vu), ARMA-GARCH (thêm yếu tố rủi ro), Đặc biệt phải kế đến mô hình VAR (Vector autoregression) và VECM

(vector error correction model) khi đưa thêm các chuỗi thời gian khác vào trong dự báo chứ không chi đơn thuần là 1 chuỗi.

Sự phát triển của khoa học máy tính tạo điều kiện thuận lợi cho sự phát triển của học máy (machine learning - ML) và học sâu (Deep Learning - DL) ML là một tập hợp các kỹ thuật cô gắng cho phép máy tính nhận ra các mẫu Mục đích của ML là để máy tính học cách hệ thống hoạt động dé nó có thê điền vào dit liệu bị thiếu, dự đoán dữ liệu hoặc phân loại dữ liệu ML có thé được thực hiện theo nhiều cách khác nhau nhưng tất cả việc triển khai đều phải có một số phương pháp đào tạo ML có thể chia thành 3 loại thuật toán chính là học có giám sát (Supervised Learning), học không giám sat

(Unsupervised Learning), và học tăng cường (Reinforcement Learning) Học có giám sát là thuật toán mà đữ liệu đầu vào được gán nhãn sẵn, có thể là dạng số liên tục (bài toán hồi quy) hoặc dạng số đếm rời rạc (bài toán phân loại) Học không giám sát thì ngược lại, dữ liệu đầu vào không có nhãn gan và thường được dùng dé tìm mối quan hệ trong dữ liệu đầu vào Học tăng cường là thuật toán dé giúp tối ưu quyết định trong bài toán cụ thể ML có 2 thuật toán được sử dụng phô biến nhất trong dự báo chuỗi thời gian là máy vector hỗ trợ (Support Vector Machine — SVM) và rừng ngẫu nhiên

(Random Forest — RF) Tính hiệu quả của hai phương pháp này đã được chứng minh qua các nghiên cứu của Y Lin (2013) và M Vijh (2020) Ngoài ra phải kế đến sự phát triển của mô hình ANN, tiền thân của các phương pháp Deep Learning sau này.

Deep Learning (DL) là sự phát triển tiếp theo của ML, sử dụng các thuật toán để xử lý dữ liệu va bắt chước quy trình tư duy hoặc dé phát triển các tính năng trừu tượng.

Deep Learning sử dụng các lớp thuật toán dé xử lý dit liệu, hiểu giọng nói của con người và nhận dang trực quan các đối tượng Thông tin được chuyền qua mỗi lớp (layer), với đầu ra (output) của lớp trước cung cấp đầu vào (input) cho lớp tiếp theo Lớp đầu tiên trong mạng được gọi là lớp đầu vào (input layer), trong khi lớp cuối cùng được gọi là lớp đầu ra (output layer) Tat cả các lớp giữa hai lớp được gọi là các lớp an (hidden layer) Mỗi lớp thường là một thuật toán đơn giản, thống nhất chứa một loại hàm kích hoạt (activation function) DL được ứng dụng rộng rãi trong thị giác máy tính, xử lý ngôn ngữ tự nhiên và nhận dạng âm thanh - hình ảnh Sự thành công vượt bậc của học sâu như một kỹ thuật xử lý dữ liệu đã thu hút sự quan tâm của cộng đồng nghiên cứu đặc biệt với dữ liệu chuỗi thời gian Một vài nghiên cứu về chuỗi thời gian sử dụng DL sớm nhất có thé ké đến nghiên cứu của CL Giles (2001) khi sử dung mô hình mạng than kinh hồi quy (Recurrent Neural Network — RNN) Với sự gia tăng của Fintech trong những năm gần đây, việc sử dụng học sâu trong các dịch vụ tải chính và ngân hàng đã trở nên phổ biến Các nghiên cứu về lĩnh vực này có thể kê đến như Srushti (2008),

Mehta (2008) hay Kalaiselvi (2008) với việc áp dụng mô hình Long Short-Term

Memmory, một biến thê của mô hình RNN, trong lĩnh vực dự báo giá chứng khoán.

Tuy nhiên thời gian gần đây, khi khoa học máy tính và hệ thong cơ sở đữ liệu phat triển, những nghiên cứu về ứng dụng DL trong dự báo chuỗi thời gian, đặc biệt là mô hình LSTM tăng lên đáng ké Karevan (2020) ứng dụng mô hình LSTM trong dự báo thời tiết hay Pathan (2020) cũng áp dung mô hình LSTM dự báo số ca nhiễm COVID-19.

2.2.1 Các phương pháp dự báo chuỗi thời gian với Deep Learning

Dự báo chuỗi thời gian luôn là một lĩnh vực nghiên cứu quan trọng và được ứng dụng trong nhiều lĩnh vực vì nhiều loại đữ liệu được lưu trữ dưới dạng chuỗi thời gian.

Các lĩnh vực có thê kể đến như y học, dự báo thời tiết, sinh học, quản lý chuỗi cung ứng và dự báo giá cổ phiếu Đi kèm với đó là hàng loạt các mô hình được thiết kế để giải quyết các bài toán trên dé dự báo thời tiết, dự báo số ca nhiễm bệnh, dự báo giá cổ phiếu, chứng khoán Với sự sẵn có ngày càng tăng của đữ liệu và sức mạnh tính toán trong những năm gần đây, các mô hình dự báo chuỗi thời gian ứng dụng Deep Learning đã và đang chứng minh được độ hiệu quả của mình.

Trong khi các phương pháp Machine Learning truyền thống như mô hình Tự hồi quy (Autoregressive model — AR) thường được thực hiện theo cách thủ công và thường11173943 — Vũ Nhật Quang 15

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế yêu cầu kiến thức nhất định về lĩnh vực đó, các mô hình DL được huấn luyện thuần túy qua đữ liệu đầu vào Điều này đã được chứng minh qua việc Alphago — một sản phẩm của DL đã thắng kì thủ cờ vây thé giới Lee Sedol với tỉ số là 4-1 Vì sự đa dang của các bài toán liên quan đến chuỗi thời gian, nhiều mô hình DL đã được phát triển trong những năm gần đây dé có thê giải quyết các van dé đó Trong lĩnh vực tài chính và dự báo giá chứng khoán, một vài mô hình nôi bật có thê kê đên như: e Mô hình mang Noron hồi quy (Recurent Neural network - RNN): mô hình DL phô biển nhất và được ứng dụng nhiều nhất trong lĩnh vực dự báo chuỗi thời gian e_ Mô hình LSTM: một biến thé của mô hình RNN và được phát triển dé giải quyết van đề phụ thuộc ngắn (vanishing gradient)

2.2.2 Mô hình tự hồi quy (Recurent Neural Network - RNN) và vấn đề phụ thuộc ngắn

Input Values Input Layer Hidden Layer 1 Hidden Layer 2 Output Layer Output Values

Input Layer Hidden Layer 1 Hidden Layer 2 Output Layer

Hình 10 Mô phỏng cách hoạt động của mô hình RNN

Mô hình Recurent Neural network (RNN) là 1 dạng kiến trúc giống với mạng ANN và được xây dung dé xử lý thông tin đưới dạng chuỗi và chuỗi thời gian Chuỗi không chỉ giới hạn trong toán học là những con số, trong DL, chuỗi có thể là chuỗi từ ngữ, chuỗi giọng nói hay chuỗi hình ảnh trong video Với cách giải thích tự nhiên của dữ liệu chuỗi thời gian là chuỗi các đầu vào và mục tiêu, nhiều kiến trúc dựa trên RNN đã được phát triển cho các ứng dụng dự báo thời gian Chính vì dữ liệu đầu vào và mục tiêu đầu ra khác nhau nên kết cấu mạng RNN có thể chia làm 4 loại:

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế one †o one one to many many to one many to many many to many

† Ì | | rer i) Dữ GOGO ỦU ủủ ou ooo lớ

Hình 11: Cac mang RNN phổ biến

One to one: một đâu vào và cho ra một đâu ra One to many: cũng là một đâu vào nhưng đâu ra sẽ có nhiêu kêt quả đâu ra Many to one: bai toán có nhiêu dau vào và cho một dau ra

Many to many: bài toán có nhiêu dau vào và cho ra nhiêu dau ra

Ung dung của mạng RNN là vô cùng rộng lớn Có thé kế đến một vai bài toán tiêu biểu sử dụng mô hình RNN như: nhận diện hành động trong video, dự báo thời tiết, chuyên giọng nói sang văn ban

Trong thực tế, giỗng như trong Mạng thần kinh tiêu chuẩn, các nơ-ron được chia thành lớp đầu vào, lớp ân và lớp đầu ra Mỗi kết nối giữa các no-ron có một trọng lượng có thê huấn luyện được tương ứng.

Sự khác biệt là trong trường hợp này, mọi tế bào thần kinh được gán cho một bước thời gian h(t) cố định Các tế bào nơ-ron (TBNR) trong lớp an cũng được chuyên tiếp theo hướng phụ thuộc thời gian, điều đó có nghĩa là tất cả mọi tế bào trong số chúng chỉ được kết nối hoàn toàn với các TBNR trong lớp ẩn với cùng một bước thời gian được chỉ định và được kết nối với kết nối một chiều với moi NR được gán cho bước thời gian tiếp theo Các nơ-ron đầu vào và đầu ra chỉ được kết nối với các lớp ân có cùng bước thời gian được ấn định.

Vi dau ra của lớp ân của một bước thời gian là một phân của đâu vào của bước thời gian tiếp theo, nên việc kích hoạt các tế bào thần kinh được tính theo thứ tự thời

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế gian: tại bất kỳ bước thời gian nhất định nao, chỉ các tế bao thần kinh được gan cho bước thời gian đó mới tính kích hoạt của chúng.

Trọng số (Weight — w): Trong mô hình RNN, vectơ đầu vào tại thời điểm t được kết nối với các nơ-ron lớp ân của thời gian t bang ma trận trọng số U, các nơ-ron lớp an được kết nối với các nơ-ron của thời gian £ -1 và t + 1 bằng ma trận trọng số W, và các nơron lớp ân được kết nỗi với vecto đầu ra của thời gian t bằng một ma trận trọng số V; tất cả các ma trận trọng số đều không đổi cho mỗi bước thời gian. Đầu vào (input): Vecto x(t) là đầu vào của mang tại bước thời gian £.

Trang thái ấn (hidden state): Vecto h(t) là một trạng thái ân tại thời điểm £, và là một loại bộ nhớ của mạng; nó được tính toán dựa trên đầu vào hiện tại và trạng thái an của bước thời gian trước đó: hy = Opn (U * x, + W *h,_¡) Đầu ra (output): Vecto 7(t) là đầu ra của mang tại thời điểm t

Hàm kớch hoạt (activation function): o, và ỉy

Các hàm kích hoạt là hàm phi tuyến, được sử dụng vào đầu ra của lớp an và lam đầu vào cho các lớp sau đó Chức năng của nó là đưa yếu tố phi tuyến tính vào trong dau ra của một perceptron.

Ham kích hoạt o;, thường là hàm tanh: e~ —e- x x tanh(x) = ex peux

Ham tanh nhận bat ky giá trị thực nào làm giá trị đầu vào va đầu ra thuộc khoảng (—1,1) Giá trị đầu vào càng lớn thì giá trị đầu ra càng tiễn tới Ivà ngược lại Nếu giá trị trung bình của lớp ân xuất hiện gần 0 thì giá trị đầu ra sẽ tiễn tới 0, giúp giảm bớp áp lực tính toán cho các lớp phía sau.

Hàm kớch hoạt ứ„ thường là hàm sigmoid:

2.3.1 Giới thiệu mô hình LSTM

Mạng LSTM là biến thé được sử dụng phổ biến nhất của mô hình RNN Mạng LSTM lần đầu tiên được giới thiệu vào năm 1997 bởi Hochreiter và Schmidhuber và sau đó được phát triển dé giải quyết các bài toán khác nhau Có thé ké đến một vài mô hình LSTM phô biến như: e Vanilla LSTM: mô hình LSTM chỉ sử dụng một lớp an và một lớp đầu ra được sử dụng dé đưa ra dự đoán e CNNLSTM: Mô hình kết hợp giữa 1 mang CNN dé xử lý số liệu đầu vào dang ảnh và mô hình LSTM đề xử lý số liệu đầu vào dạng chuỗi dé dự báo chuỗi hình ảnh hoặc chuỗi số (vi dụ: CNN được sử dụng dé đọc biểu đồ giá và LSTM đọc số liệu giá và kết hợp lại dé đưa ra dự báo giá tốt nhất) e Encoder-Decoder LSTM: Một mạng LSTM mã hóa chuỗi đầu vào và một mạng

LSTM riêng biệt giải mã mã hóa thành chuỗi đầu ra (ví dụ: khai phá dữ liệu trong văn bản) e Bidirectional LSTM: Một mạng LSTM có thể học được từ dữ liệu tương lai và quá khứ e Generative LSTM: mạng LSTM học tốt mối quan hệ cấu trúc trong các chuỗi dau vào đê chúng có thê tự tao ra các chuôi mới

2.3.2 Cấu trúc mô hình LSTM

Do LSTM là một dạng đặc biệt của mô hình RNN, nó tuân theo quy luật lặp đi lặp lại các cell nhưng cấu trúc các cell trong LSTM thì khác với RNN.

Hình 13: Cấu trúc mạng RNN đơn giản thường sử dụng một hàm tanh

X Phép nhan element-wise multiplication

Bảng 1: Các thành phan trong mạng LSTM

Một mạng LSTM cơ bản sẽ được cau thành từ các thành phần:

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế forget gate cell state teat oe \ |

Ta x, input gate output gate

Hình 15: Các thành phần trong một mạng LSTM Cổng quên lãng (Forget gate):

Cổng dau vào (Input gate): ip =0(Xy*U¡ + hy * W; + b,) Cổng dau ra (Output gate):

Op = ỉ(%¿ * Uy +hy1* We + bạ) Tế bào trạng thái (Cell state): ốy = tanh (x, * U„ + hy_1 *W + bạ)

Ce = O(fe *€¿—+ + iy * Cy) f£.l, Ors Cp (0 < fer it, 0p, c¿ < 1) lần lượt là công quên lang, công đầu vào, cổng đầu ra và tế bào trạng thái với các hệ số chệch (bias) tương ứng là bự, bị,bạ, bạ.

W, U lần lượt là 2 ma trận có kích thước mxn và mxm giống với mô hình RNN.

Mạng LSTM hoạt động theo quy trình sau: Đầu tiên là công quên lãng Công này sẽ quyết định nên lay bao nhiên thông tin từ các cell state trước (gồm c¿_; và h¿_;) và state input x; Thông qua ham sigmoid, giá trị này sẽ nằm trong khoảng (0,1) Càng gan 0 thì càng lay ít và càng gần 1 thì càng lay nhiêu. fe = 0ứ, * Up + hị_Ă * Wy + bự)11173943 — Vũ Nhật Quang 22

Hình 16: Dữ liệu vào từ cổng quên lãng và được xử li với ham sigmoid

Tiếp theo đến cổng đầu vào Công đầu vào quyết định lượng thông tin lấy từ hidden layer trước h¿_; và state input x, Ngoài ra, thành phần ế, bang cách cũng được tính toán nhờ ham tanh lên 2 thành phần h,_, và x, để điều chỉnh mạng. ip = O(%, *U; + hy { *xW, + bj) ốy; = tanh (x, * U„ + hy_1 * W, + bạ)

Hình 17: Dữ liệu được xử lí ở công dau vào dé làm dau vào cho cell state và cổng dau ra

Sau đó, giái tri của cell state c, được tính toán với các giá tri từ cell state trước c¿_¡, công quên lãng ƒ, và công đầu vào i, công quên lãng quyết định xem lấy bao nhiêu thông tin từ cell state trước và công đầu vào cũng quyết định lấy bao nhiêu từ đầu vào x; và tang ân cua lớp trước h;_.

Hình 18: kết quả cổng cell state là tổng hợp của cổng dau vào và cổng quên lãng

Cuối cùng, công đầu ra o¿ quết định bao nhiêu thông tin ở cell state c, sẽ trở thành đầu ra của tầng an h¿ Ngoài ra, h, cũng được sử dụng dé tinh ra y;

Op = ỉ(%¿ * Uy + hị_Ă *x We + bạ) h, = 0, * tanh (c;) yy, =U*h,

Nhu vậy, vì 0 < f; < 1 nên LSTM van xảy ra hiện tượng vanishing gradient nhưng tác động sẽ ít hơn so với RNN Khi ƒ, + 1, có thể nói mô hình LSTM tránh được hiện tượng vanishing gradient.

2.4 Ưu điểm và nhược điểm của các mô hình dự báo với DL 2.4.1 Ưu điểm của các mô hình dự báo với DL e Các mô hình DL giúp xử ly các dạng dữ liệu khác nhau, không chỉ giới han ở dạng số như các phương pháp khác. e Các phương pháp DL có thé kết hợp với nhau, tạo ra những biến thé giúp giải quyết các bài toán phức tạp. e Phương pháp DL thường mang lại hiệu quả cao hơn khi dữ liệu đầu vào lớn

2.4.2 Nhược điềm của các mô hình dự báo với DL e Các mô hình DL thường đòi hỏi lượng dữ liệu rất lớn dé hoạt động tốt hơn các kỹ thuật khác. e Dé xây dựng các mô hình DL cũng đi kèm với cấu hình máy tinh sử dụng cao.

Bên cạnh đó, do dữ liệu lưu trữ cho việc huấn luyện mô hình lớn cũng đòi hỏi máy phải có bộ nhớ lớn, gây thêm chi phí. e So với các phương pháp khác, phương pháp DL khó dé tiếp cận và diễn giải, đồng thời yêu cầu mức độ hiéu biết nhất định về toán học va lập trình.

2.5 Một số phương pháp dự báo khác

2.5.1.2 Mô hình Decision Tree (DT)

Một trong những thuật toán ML đơn giản trong dự báo chuỗi thời gian là thuật toán cây quyết định Mặc dù được biến đến rộng rãi là một mô hình có khả năng phân loại tốt, mô hình DTcũng có thé được sử dụng trong bài toán hồi quy.

DT có 2 thành phan chính là các lá (Nodes) và các nhánh (Branches) Tại mỗi lá, một trong các đặc trưng của đữ liệu, hay các biến, được phân loại với một ngưỡng nhất định dé chia dữ liệu thành các tập nhỏ hơn.

Có 3 loại lá trong mô hình cây quyết định: e Lá rễ (root node): là lá ở trên đầu, thường là biến có khả năng phân chia dữ liệu tốt nhất e Lá trung (intermediate nodes): là những là ở giữa, các biến vẫn tiếp tục được chia nhỏ và chưa có kết quả dự báo e Lá ngọn (leave nodes): là những là cuối, chứa kết quả dự báo

Với bài toán hồi quy, hay biến phụ thuộc là biến định lượng liên tục, dit liệu được chia thành nhiều khoảng thay vì 2 khoảng như bài toán phân loại thông thường và các khoảng này được gán thành các biến định tính và phân chia sao cho sai số là bé nhất Giá trị dự báo là trung bình các giá trị ở cùng lá ngọn đó.

2.5.1.3 Mô hình Random Forest (RF)

Một khác trong những phương pháp dự báo chuỗi thời gian là mô hình Random

Forest — mô hình cải tiễn của mô hình cây quyết định Giống với mô hình cây quyết định, mô hình RE cũng có thê được sử dụng trong bài toán hôi quy Một trong những yếu điểm của thuật toán DTià dễ bị overfitting: thuật toán thê hiện khả năng dự báo tốt trên tập dtr liệu huấn luyện nhưng lại không thê hiện kha năng dự báo cao trên tập dtr liệu thử nghiệm Trong thuật toán RF, thay vì tạo 1 cây quyết định với tât các cá đặc tính của dữ liệu, hay biên, như thuật toán DT, ta tạo ra một sô lượng cây quyêt định đủ lớn với mỗi cây mang một hay nhiều đặc tính biến Kết qua dau ra là trung bình kết quả của các cây quyét định.

Hình 21 Minh họa thuật toán RF

Cac bước xây dựng mô hình RF

Bước 1: Tạo một tập dữ liệu bootstrapped cho mỗi DT

Khi xây dựng một cây quyết định riêng lẻ, ta sử dụng tập dữ liệu huấn luyện va tất cả các quan sát Điều này có thể khiến thuật toán DT điều chỉnh rất tốt với dữ liệu huấn luyện này, và khái quát hóa xấu cho các quan sát mới Dé giải quyết van dé này, ta giảm hiệu suất của cây quyết định được tạo ra với việc xây dựng một khu rừng ngẫu nhiên, với N cây quyết định Đây là nơi tính năng ngẫu nhiên đầu tiên xuất hiện Từng cây riêng lẻ được huấn luyện với mỗi bộ dữ liệu được lay ngẫu nhiên từ bộ dữ liệu ban đầu với mỗi quan sát có thể được lặp lại Phương pháp này được gọi là boostrapping.

Tree n 9 1 picked at Root Node

@ Data used to train tree n9 1 me

A BCD E FG Random features 3 Random features

1 | | ) picked at Node 1 picked at Node 2

Hình 22 Mô tả phương pháp boostrap

Bước 2: huấn luyện cây quyết định sử dụng bộ số liệu ngẫu nhiên vừa tạo với sua lựa chọn các biên là ngau nhiên Đề xây dựng một cây quyết định riêng lẻ, tại mỗi nút, ta đã đánh giá một số liệu nhất định (như chỉ số Gini hoặc chỉ số MSE) và chọn đặc tính hoặc biến của dit liệu dé đi vào nút đã thu nhỏ / tối đa hóa số liệu này Điều này rất hiệu quả khi chỉ đào tạo một cây quyết định, nhưng sẽ không thé hiện tinh phân loại tốt khi xây dung nhiều cây Bang cách chỉ huấn luyện cây với một số biến của dit liệu, ta tránh được khả năng có dự báo tốt, biến lan at các biến còn lại, và tạo ra nhiều cây không tương quan với nhau Sự đa dạng của cây càng lớn thì mô hình càng tốt.

Bước 3: lặp lại bước 1 và bước 2 cho đến khi đủ cây quyết định Ưu điểm của mô hình RF

- _ Một mô hình cho định chính xác tương đối cao

- Có thê xử lý với dữ liệu bị trống - Dit liệu đầu vào không bắt buộc phải ở dạng chuẩn hóa như những thuật toán

ML khác Nhược điêm của mô hình RF

- Do thuật toán RF xây dựng từ nhiều thuật toán DT, việc xây dựng thuật toán RF có thê mât nhiêu thời gian.

- Do là một thuật toán hộp den, mô hình RF không có khả năng diễn giải như mô hình DT

Tươc khi ML và DL được ứng dụng rộng rãi trong dự báo chuỗi thời gian, người ta thường sử dụng mô hình tự hôi quy AR(p), mo hình trung bình trượt MA(q) và sự kệt hợp của 2 mô hình trên, mô hình ARIMA (p, d, q)

2.5.2.1 Mô hình tự hồi quy AR(p)

Trong mô hình tự hồi quy, biến phụ thuộc được hồi quy bang cách sử dung kết hợp tuyên tính của các gia tri trong quá khứ của biên Mô hình tự hôi quy AR bậc p có dạng:

Ve = Ay + đ1Yy¿_—1 + đ2V‡_¿ Fi + ApyVt-p F Et

Yr-p là giá trị biến trễ tại thời điểm p et la nhiéu trang là hệ số ứng với biến trễ tại thời điểm p ấp

2.5.2.2 Mô hình trung bình trượt MA(q)

Thay vì sử dụng các giá trị trong quá khứ của biến dự báo trong một hồi quy, mô hình trung bình động sử dụng các lỗi dự báo trong quá khứ trong một mô hình giống như hồi quy Mô hình tự hồi quy MA bậc d có dang:

Erp là nhiễu trăng tại thời điểm p By — là hệ số ứng với biến trễ tại thời điểm p

ARIMA là sự kế hợp sai phân với hai mô hình tự hồi quy và mô hình trung bình trượt.

Vi = Ay + đ1V¡—1 + đ2y¿—; Ho + ApVi-p + €, + +fi€¿_+ + Ữ›€y—2

Vi la chudi sai phan p Số biến trễ trong quá khứ d Sai phân bậc d q Số sai ngẫu nhiên trong quá khứ

Hai tham số p và q được xác định bằng đồ thị PACF va ACF Tham số d thường có giá trị bang 0 hoặc 1.

Thông thường, các bước dự báo mô hình ARIMA tuân theo chu trình Box-Jenking gồm các bước :

Kiểm tra tinh đừng Tinh dừng là một yếu tố quan trọng trong dự bao chuỗi thời gian Trong chu trình Box — Jenkin, chuỗi thời gian chỉ có thé du báo được khi là chuỗi dừng Nếu chuỗi thời gian ban đầu là không dừng, có thé đưa chuỗi về dạng chuỗi dừng bằng cách lấy sai phân bậc nhât.

Khi chuỗi đầu vào là chuỗi dừng, ta sử dụng hàm tự tương quan mẫu (ACF) và ham tự tương quan một phan (PACF) dé xác định 2 tham số p và q của mô hình. Ước lượng mô hình ARIMA với 3 tham số p, d, q vừa tìm được

Kiểm tra phần dư của mô hình Nếu phần dư của mô hình là nhiễu trắng thì mô hình có thể được sử dụng đề dự báo ngoài mẫu, nếu phần dư không là nhiễu trắng thì chọn lại p, d, q. Ưu điểm của mô hình ARIMA

Mô hình ARIMA là một mô hình đơn giản và khá dé dé diễn giải Có khả năng dự báo chuỗi thời gian với bước ngắn rất tốt

Các cải bién của mô hình ARIMA có thé xử ly đữ liệu chuỗi thời gian có yếu tồ mùa vụ

Nhược điểm của mô hình ARMA

Mô hình ARIMA giả định chuỗi không phụ thuộc vào các yếu tố bên ngoài, một điều khó có thê đạt được với nhiều chuỗi thời gian trong kinh tế như GDP hay tỉ lệ lạm phát

Dự báo chứng khoán là một van dé quan trọng trong tài chính bởi vì nó hỗ trợ các nhà dau tư trong việc ra quyết định tài chính, nơi cổ phiếu của các công ty được mua bán Đây là một thành phần quan trọng của nền kinh tế vì nó cho phép các công ty tiếp cận vốn dé đổi lay một phần quyền sở hữu Các nhà đầu tư có thé dau cơ vào giá cổ phiếu, mua khi họ nghĩ rang giá đang tăng và bán khi họ nghĩ rằng giá dang đi xuống. Điều này sẽ có lợi cho các nhà đầu tư đưa ra dự đoán chính xác về giá cô phiếu Chuyên đề sử dụng 3 thuật toán là ARIMA, Random Forest và Long Short-Term Memmory để dự báo giá mở của của 2 mã cô phiêu MWG của Công ty cỗ phần Dau tư Thế giới Di động (HOSE) và SHB của Ngân hàng TMCP Sài Gòn - Hà Nội (HOSE) được thu thập trong ngày kế tiếp Giá dự đoán sau đó được sử dụng để so sánh khả năng dự báo của các mô hình dựa vào chỉ số đánh giá và đồ thị Chuyên đề sử dung 2 chỉ số đánh giá là

MAPE (Mean Absolute Percentage Error) và RMSE (Root Mean Squared Error).

MAPE là chi số phản ánh độ sai lệch trung bình theo phan trăm giữa giá trị dự đoán và giá trị thực tế MAPE là chỉ số được sử dụng phô biến nhất đề đánh giá độ chính xác của các mô hình dự báo chuỗi thời gian Chỉ số này càng thấp thì sai số du báo càng nhỏ hay mô hình càng tốt. n

Một chi số kém phổ biến hon so với MAPE nhưng khá hữu dung trong đánh giá kết quả dự báo là RMSE Tương tự như MAPE, chỉ số RMSE càng nhỏ thì tính dự báo chính xác của mô hình càng cao, tuy nhiên, chỉ số RMSE đo lường sai số tuyệt đối thay vì sai số tương đối như chỉ số MAPE.

Do bài toán đặt ra là so sánh khả năng dự báo của 3 mô hình với 2 bộ số liệu khác nhau nên việc chỉ sử dụng một chỉ số đánh giá duy nhất là không phù hợp Chỉ số RMSE được sử dụng dé so sánh khả năng dự báo giữa 3 mô hình trong cùng | bộ dit liệu và chỉ sô MAPE được sử dụng với cả 2 bộ sô liệu.

Dữ liệu về giá mở cửa 2 mã cô phiếu MWG của Công ty cô phần Đầu tư Thế giới DI động (HOSE) và SHB của Ngân hàng TMCP Sài Gòn - Hà Nội được thu thập tai trang https://www.cophieu68.vn từ ngày 30 — 05 — 2017 đến ngày 05 — 04 — 2021.

Dữ liệu ban đầu tổng hợp của mỗi cổ phiếu gồm 14 cột với 970 quan sát Sau khi sử dụng ngôn ngữ VBA trong Excel dé tổng hợp và định dang lại, dữ liệu mới gồm 3 cột với “Date” là ngày giao dịch, Open_mwg là giá mở cửa phiên giao dịch của cổ phiếu

“MWG?” và “Open_shb” là giá mở cửa phiên giao dịch của cô phiếu SHB. pts k

MN yy h Ạ PFs Nal fy

„Í V M Was XI ae, uM J \ oA} wW \, of yl, `.

Hình 23: Minh họa giá 2 mã cô phiếu MWG và SHB

Có thé thay giá cổ phiếu MWG biến động khá nhiều trong toàn khoảng thời gian quan sát còn giá cô phiêu SHB thì không biến động thời kì đầu và biến động nhiều vào thời kì sau, phù hợp với mục tiêu xem xét khả năng dự báo của 3 mô hình.

Chuyên đề xây dựng 3 mô hình dự báo là mô hình ARIMA, Random Forest và LSTM Trong đó mô hình ARIMA đại diện cho các phương pháp dự báo thống kê truyền thống, mô hình Random Forest thể hiện cho các phương pháp dự báo sử dụng ML, và mô hình LSTM - trong tâm của chuyên dé, thể hiện cho phương pháp dự báo chuỗi thời gian sử dụng DL.

3.2.2 Phần mềm và các thư viện

Chuyên đề xây dựng 3 mô hình dự báo với ngôn ngữ lập trình thống kê R với mô trường Rstudio (phiên bản 1.4) để thuận tiện cho việc lập trình và Phần mềm

Anaconda (phiên bản 1.10.0) có tích hợp ngôn ngữ lập trình Python (3.8.3) hỗ trợ các mô hình DL.

MASS dplyr lubridate quantmod Tiền xử lý đữ liệu readr readx] tidyr writex] ggplot2 Trực quan hóa đữ liệu timetk fable astsa Chạy mô hình chuỗi thời gian tseries keras Chay mô hình DL tensorflow randomForest Chạy mô hình Random Forest forecast Kiểm định kết quả dự báo chuỗi thời gian

Bảng 2: Các thư viện sử dung trong chuyên dé dung dé xây dựng mô hình.

Ngoại trừ 2 thư viện “keras” và “tensorflow” được hợp trong phần mềm Anaconda, các thư viện còn lại đều có thể tải trên trang chủ của R tại https://cran.r- project.org/.

Chuyên dé xây dựng 3 mô hình theo thứ tự LSTM, Random Forest va ARIMA với bộ dit liệu giá mở cửa của cô phiếu MWG trước và lặp lại tương tự với cô phiếu

Hình 24: Giá mở cửa mã cổ phiếu MWG trong khoảng thời gian từ 30-05-2017 đến

Bước 1: Xử lý dt liệu

Bằng kiêm định Dickey-Fuller, p value = 0.7013, ta có thé kết luận chuỗi ban đầu là chuỗi không dừng Ta sử dụng sai phân bậc nhất dé đưa chuỗi về dang chuỗi dùng.

Augmented Dickey-Fuller Test data: Serles

Dickey-Fuller = -1,7096, | Lag order = 9, p-value = 7,013 alternative hypothesis: stationary

Augmented Dickey-Fuller Test data: diff_Series

Dickey-Fuller = -9.5281, | Lag order = 9, p-value = 0.01 alternative hypothesis: stationary

Bang 3 Kiểm tra tinh dừng và lay sai phân chuỗi

Do LSTM là thuật toán học có giám sát (supervised learning), hay dữ liệu đầu vào là một biến phụ thuộc Y và vector biến độc lập X; Đề đạt được điều này, chuỗi được biến đồi thành 1 “data.frame” với cột đầu tiên là giá trị tại thời điểm £ và các biến sau lần lượt là các trễ của chuỗi tại thời điểm (t — k),k € (1,60), hay 60 biến trễ Với bài toán dự báo giá chứng khoán, giá trị k thường không vượt quá 60 vì giá tại thời điểm 2 tháng trước khó có thé anh hưởng nhiều đến giá hiện tại.

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế Đề có thể kiểm tra được tính chính xác của dự báo, dự liệu được chia thành 2 tập Giống như các mô hình RNN, đầu vào của mô hình LSTM có được chia lại tỉ lệ dé có lợi cho việc tính toán hơn do thuật toán giả định rằng dữ liệu đầu vao tuân theo phân phối chuẩn Dé dit liệu được chia tỉ lệ lại trong khoảng (-1,1), ta bình thường hóa dữ liệu (normalize data) về khoảng (0,1) bang phương pháp Min-Max Scaling và chuẩn hóa dữ liệu (standalize data). x _— XT (x)

Sau khi chuẩn hóa và tinh toán, kết qua dự báo cũng sé trong khoảng (-1,1) nên ta cân đưa lại vê giá tri tính toán lúc đâu. Đề có thé kiểm tra được độ chính xác của mô hình, dit liệu được chia thành 2 tập là tập huấn luyện ‘train’ dùng làm đầu vào mô hình (70% quan sát) và tập kiểm định

‘test’ để đánh giá kết quả dự báo.

Bước 2: Xây dựng mô hình

Mô hình LSTM được xây dựng với 5 tầng ân, Mean Squared Error (MSE) là hàm mat mát với thuật toán tôi ưu là Adaptive Monument Estimation (ADAM) với tốc độ học và tốc độ giảm dan qua từng lần cập nhật lần lượt là 0.02 và 1 x 107°, và chỉ số accuracy là metrics đê đánh giá hiệu suât của mô hình.

Bang 4.Xây dựng mô hình với 5 tang an, Mean Squared Error (MSE) là ham mắt mát với thuật toán tôi wu là Adaptive Monument Estimation (ADAM) với tốc độ hoc và tốc

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế độ giảm dan qua từng lan cập nhật lan lượt là 0.02 và 1x10/(-6), và chỉ số accuracy là metrics để

Vì mô hình RF cũng là một mô hình học có giám sát, dit liệu cũng được biến đồi giống như dư liệu đầu vào của mô hình LSTM Nhưng vì mô hình RF không có khả năng loại những quan sát quá khứ không quan trọng hoặc từ quá xa như LSTM, ta lựa chọn số biến trễ bằng cách thiết lập vòng lặp và đánh giá độ chính xác bằng MAPE với mỗi số biến trễ.

RF Mape plot with each number of lag a -=m

Hình 25: Kết quả MAPE với từng mức biến trễ tương ứng. Đồ thị cho thay với biến trễ bang 1, sai số dự báo của mô hình RF là bé nhất.

Ta xây dựng mô hình RF loại “hồi quy” và số cây là 100.

Call: randomForest(fomula = Series ~.,data = rf_train, importance = TRUE, ntree = 100, na.action = na.omit)

Type of random forest: Regression

Number of trees: 100 No of variables tried at each split: 1

Bảng 5 Kết quả mô hình RF với biến trễ là 1, dạng mô hình hồi quy và tham số " số cây” là 100

Mô hình ARIMA được xây dựng theo chu trình Box-Jenkin e Kiểm định tính dừng: tính dừng của chuỗi đã được kiêm định trong phần xây dựng mô hình LSTM Sau khi lấy sai phân bậc 1, chuỗi đã trở thành chuỗi dừng. e Xác định tham số p, q dựa vào ACF và PACF

Hình 26: Kết qua ACF và PACF của chuối, từ hình vẽ xác định được p = 1 và q = 1. q=l

Call: arima(x = data_arima$Open_mwg, order = c(1,1,1))

Sigma^2 estimated as 5.584: log likelihood = -1458.49, aic = 2922.98 Training set error measure

ME RMSE MAE MPE MAPE MASE ACFI

Bang 6 xây dung mô hình ARIMA(I,1,1) e Kiểm định phương sai có là nhiễu trắng:

Bang 7 kiểm định phan dư là nhiễu trang e Bằng kiêm định Ljung Box, phan dư của mô hình là nhiễu trắng nên mô hình phù hợp dé dự báo.

Tương tự với cô phiếu SHB, ta cũng xây dựng 3 mô hình LSTM, RF và ARIMA.

Kết quả dự báo cho 2 mã cổ phiếu là MWG va SHB được thé hiện trong bảng 3 và bảng 4 tương ứng Mỗi bang gồm 5 cột: cột 1 là ngày giao dịch, cột 2 là giá trị thực tế, cột 3, 4, 5 lần lượt là giá trị dy báo của 3 mô hình LSTM, ARIMA và RF.

Ngày giao Gia mở cửa Giá trị dự báo | Giá trị dự báo | Giá trị dự báo dịch thực tế LSTM ARIMA RF

Bang 8 Kết qua dự báo của 3 mô hình với mã cổ phiếu MWG.

Ngày giao Gia mở cửa Giá trị dự báo | Giá trị dự báo | Giá trị dự báo dịch thực tế LSTM ARIMA RF

Bang 9 Kết qua dự báo của 3 mô hình với mã cổ phiếu SHB. Đề trực quan hon, ta có đồ thị thể hiện kết qua dự báo với các mô hình cho mỗi loại cô phiếu với bước dự báo bang 1:

Hình 34: Đồ thị so sánh giá trị thực té của mã cổ phiếu MWG với giá trị dự bảo bằng mô hình LSTM.

Hình 35: Đồ thị so sánh giá trị thực tế của mã cổ phiếu MWG với giá trị dự báo bằng mô hình ARIMA.

Hình 36: Đồ thi so sánh gid trị thực té của mã cổ phiếu MWG với giả trị dự bảo bằng mô hình RF.

Hình 37: Đồ thị so sánh giá trị thực tế của mã cổ phiếu SHB với gid trị dự bao bằng mô hình LSTM.

Hình 38: Đồ thị so sánh gid trị thực tế của mã cổ phiếu SHB với gid trị dự bao bằng mô hình ARIMA.

Hình 39: Đồ thi so sánh giá trị thực tế của mã cổ phiếu SHB với giá trị dự bao bằng mô hình RF.

Ta cũng có bảng chỉ số RMSE và MAPE với từng mã cổ phiếu:

Thước đo LSTM ARIMA RE MAPE 1.93 1.68 2.90 RMSE 2.60 2.42 4,20

Bảng 10 Kết quả chỉ số MAPE và RMSE của 3 mô hình với mã cổ phiếu MWG

Thước đo LSTM ARIMA RF MAPE 3.16 2.93 22.5 RMSE 0.70 0.60 4.50

Bang 11 Kết quả chi số MAPE và RMSE của 3 mô hình với mã cổ phiếu MWG

Dựa vào bảng kết quả, với mã cổ phiếu MWG, sai số phan trăm tuyệt đối trung bình (MAPE) và trung bình độ lệch bình phương (RMSE) của mô hình LSTM lần lượt là 1.93% và 2.60 Kết quả được đọc tương tự với 2 mô hình ARIMA và RF cũng như mã cô phiếu SHB.

Kết quả cho thấy với cả 2 mã cô phiếu, kết quả dự báo của 2 mô hình LSTM và ARIMA là khá sát nhau và vượt trội so với mô hình RF Mô hình RF cho thất hạn chế khi trong việc dự báo có giá trị lớn hơn hoặc thấp hơn mức cực trị trong số liệu huấn

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế luyện, dẫn đến không thé dự báo được khi số liệu mới có giá trị chênh lệnh nhiều với dữ liệu ban đầu Điều đó thé hiện qua 2 chỉ số RMSE và MAPE của mô hình RF.

Dé có thé kiểm tra có sự khác biệt lớn giữa 2 chuỗi giá được dự báo bằng 2 mô hình LSTM và ARIMA hay không, ta chia chuỗi giá dự báo thành 12 khoảng, mỗi khoảng 30 quan sát và tính 2 giá trị MAPE và RMSE trên từng khoảng đó.

Bang 12 Kết quả chỉ số MAPE và RMSE của 2 mô hình LSTM va ARIMA với 12 khoảng thời gian với mã cô phiêu MWG, màu xanh thê hiện giá trị sai số lớn hon và màu do thê hiện gia trị sai số bé hon

Bang 13 Kết quả chỉ số MAPE và RMSE của 2 mô hình LSTM và ARIMA với 12 khoảng thời gian với mã cổ phiếu SHB màu xanh thể hiện giá trị sai số lớn hơn và màu đỏ thể hiện n gid trị sai số bé hơn

Có thé thấy với chuỗi mã cô phiếu MWG, một cô phiếu có sự ồn định, mô hình ARIMA thường cho ra sai số trung bình cũng như tuyệt đối bé hơn với mô hình LSTM. Ở chiều hướng ngược lại, với mã cổ phiếu SHB là một cô phiếu có độ dao động tương đối, chỉ số MAPE của 2 mô hình là tương đương nhau, không mô hình nao cho thấy sự vượt trội so với mô hình còn lại Đồng thời càng về cuối hay càng xa dữ liệu huấn luyện ban đâu, sai sô các mô hình càng tăng nhưng van ở trong phạm vi chap nhận được.

Qua các kết quả trên có thé thay mô hình LSTM cho ra kết quả chính xác khá cao và không bị anh hưởng nhiều bởi shock Chỉ số MAPE toàn chuỗi khá bé và với từng khoảng thời gian không vượt quá 5% cho thấy tính khả thi của mô hình LSTM trong dự báo chuỗi thời gian Tuy nhiên, mặc dù độ phức tạp cao, nhưng mô hình LSTM chưa thể hiện sự vượt trội trong dự báo chuỗi thời gian với bước dự báo ngắn so VỚI mô hình truyền thống ARIMA Khi dự báo, ta nên kết hợp thử nghiệm giữa các phương pháp thay vì chỉ sử dụng duy nhất mộ phương pháp.

Hướng nghiên cứu tiếp theo của chuyên đề trong tương lai là kết hợp mô hình LSTM với các mô hình DL khác dé cải thiện độ chính xác cũng như nghiên cứu thêm về các phương pháp dự báo chuỗi thời gian với DL.

Do thời gian thực hiện và kiến thức chuyên môn của em còn hạn hẹp nên bai chuyên đề không tránh khỏi nhiều sai sót, mô hình vẫn chưa được hoàn thiện Em rất mong nhận được lời nhận xét, góp ý từ các thầy cô dé em có thê rút kinh nghiệm và trau déi thêm kiến thức về chuỗi thời gian và dự báo chuỗi thời gian.

A Bảng kết quả kiểm định và dự báo

Augmented Dickey-Fuller Test data: Series Dickey-Fuller = -1.7096, Lag order = 9, p-value alternative hypothesis: stationary

Augmented Dickey-Fuller Test data: diffed Dickey-Fuller = -9.5281, Lag order = 9, p-value alternative hypothesis: stationary

Hình 27 Kiểm định tinh dừng

Lag(diffed, y diffed supervised = data frame(y,na omit(Lag(diffed, supervised

Chuyên đề thực tập - chuyên ngành Toán Kinh Tế scaled_train = std_train “(fr_max -fr_min) + fr_min scaled_test std_test “(fr max -fr_min) + fr_min list(scaled_train Ss vector (scaled_train), scaled_test = as.vector(scaled_test) ,scaler= c(min =mỉn(x), max = max(x))) )

Hình 29: Tao ham chuấn hóa dữ liệu inverter (scaled, scaler, feature_range min = scaleríL max = scaler (2 n = length(scaled) mins = feature_rang maxs - feature_rang inverted_dfs = numeric(n) ci 1:n){ scaled[i]- mins) /(maxs - mins) rawvalues = X “(max - min) + min inverted_dfs[i]

Tiêu đề	Ứng dụng Deep Learning trong dự báo chuỗi thời gian
Tác giả	Vũ Nhật Quang
Người hướng dẫn	PGS. TS Nguyễn Thị Minh
Trường học	Trường Đại học Kinh tế Quốc dân
Chuyên ngành	Toán Kinh tế
Thể loại	Chuyên đề thực tập
Năm xuất bản	2021
Thành phố	Hà Nội

Định dạng
Số trang	68
Dung lượng	23,02 MB