Chuyên đề thực tập: Ứng dụng mô hình long short-term memory trong dự báo chuỗi thời gian: trường hợp CPI

Các mạng neural hồi quy, còn được biết đến như là RNNs, là một lớp của mạngneural cho phép đầu ra được sử dụng như đầu vào trong khi có các trạng thái ânvới khả năng xử lí đầu vào với bấ

Trang 1

TRUONG ĐẠI HỌC KINH TE QUOC DÂN

KHOA TOÁN KINH TE

CHUYEN DE THUC TAP

Chuyén nganh: Toan Kinh Té

Trang 2

Chuyên dé thực tập chuyên ngành Toán Kinh tế

LOI CẢM ON

Em xin gửi lời cảm on sâu sắc nhất tới Ban giám hiệu Trường Đại học Kinh

Tế Quốc Dân cùng toàn thể các thây cô giáo chuyên ngành Toán Kinh Tế và khoaToán Kinh tế, những người đã giảng day tận tình, quan tâm, giúp đỡ, dong hành

và hỗ trợ em trong suốt thời gian học, giúp em có được những kiến thức quý báu,

là nên tảng giúp em dan hoàn thiện được ban thân mình trước khi bước ra ngoàicuộc sống sau này dé có thể vững bước trên đường đời

Đặc biệt, em xin gửi lời cảm ơn trân trọng nhất đến cô Nguyễn Thị Minh,

cô là người đã trực tiếp hướng dẫn nhiệt tình, giúp đỡ em trong quá trình hoànthành chuyên dé tốt nghiệp

Em xin chúc quý thay cô sức khỏe để tiếp tục cong hiến trong công việcgiảng dạy và sự nghiệp “trồng người” của mình

Chuyên đê này là kết quả của bản thân em sau quá trình học tập và nghiêncứu cùng sự giúp đỡ của các thầy cô Dù vậy, trong quá trình làm bài, do kiến thứccũng như kinh nghiệm của em còn hữu hạn nên em sẽ không thể tránh khỏi nhữngsai sót, kính mong nhận được những đóng góp quý báu của các thây cô để em cóthể bồ sung và hoàn thiện bản thân minh hơn

Em xin chân thành cảm ơn!

11183158- Nguyễn Hương Ly 2

Trang 3

MỤC LỤC

LOL CẢM ƠN 5 5c t2 212212112121212112112112111111211211211211 111112121 2DANH MỤC BANG BIEU 2: 2 525£2S£2E£‡E‡EEEEEEEEEEE2EE2EEEEEEerxrrrrrervee 5PHAN MỞ ĐẦU: GIỚI THIỆU DE TÀI - ¿2 2 2+5 +++£££E+£zE+zzxezsez 8

1 Tính cấp thiết của đề tai cccccccccscccsescsescscsesscsescssesestssssestssssesesssesseseas 8

2 Mục tiêu nghiÊn CỨU - c0 ng và 9

3 Phương pháp nghiên CỨU - G11 9 E9 vn 9

4 Đối tượng nghiên cứu, phạm vi nghiên cứu - - 2 s+s+<+c+sz£zs+ 105 Kết cấu đề tài c c2 22222 2111211212112111211121111222 re 10CHƯƠNG |: CƠ SỞ LÝ LUẬN VA TONG QUAN NGHIÊN CỨU 11

1.1 Co an 11

1.1.1 Chuỗi thời gian va dự báo chuỗi thời gian - 5 sec <s5s 11

1.1.2 Đánh giá chất lượng dự D40 c.cccceesccsesseseesescsesscsesscsesscsesseseeseseseese 11

1.1.3 CTP 5c 12c 221 2121 2121211111 0111111 2111111121111 re 13

1.2 Tổng quan tình hình nghiên cứu - - + 2+2 +££££+E+Ee£ezx+Eeezxzeers 15

1.2.1 Nghiên cứu ngoải nƯỚC - s1 rệt 15

1.2.2 Nghiên cứu trong TƯỚC - (G1181 1193111 9 11199 kg ky 17

Khoảng trống nghiên cứu - ¿52 SE SE£EEEEEE2EEEEEE2E21EE1212121 21211 17CHƯƠNG 2: MOT SO PHƯƠNG PHAP PHAN TÍCH VÀ DU BAO CHUOI

THOL GIAN 075 :1 19

2.1 Mô hình ARIMA (p, d, q) csccscssessssesssseesessesessesesuesesseseessstessstesesueseeseseeess 19

2.1.1 Các bước phát triển mô hình ARIMA -. -¿- ¿©55+25+55+55+2 19

2.2 Dự báo chuỗi thời gian sử dụng mạng nơ ron 55 c4 20

2.2.1 Mô hình mạng RÌNN SH ng ng và 21

2.2.2 Van đề phụ thuộc qua dải -¿- ¿+ x+S++2+2E++Ezxezxerxerserxzxee 24

2.3 Dự báo chuỗi thời gian sử dụng mạng Long short-term memory (LSTM)25

2.4 Dự báo kết hợp - :- St 2x E2121121511212112111211111111111111 111 cye 28CHƯƠNG 3: PHÂN TÍCH, THIẾT KÉ HỆ THÓNG DỰ BÁO CPI THEO THỜI

60:1 30

3.1 Số liệu 222k 2 1Ề21212212121211212111121121011111111112111111111 111 xe 303.2 Kết quả dự báo theo mô hình LSTM ¿2-5 + 2+E+£+£z£+zE+£z£szxez 303.2 Kết quả dự báo theo mô hình RNN - 2 2 + +cz+E+Ev£z£zxerersrxee 383.3 Kết quả dự báo theo mô hình ARIMA - ¿2+ 2 s+£cx+eczxczzrersee 40

Trang 4

3.5 Kết quả dự báo kết hợpp - ¿+ + x+sz+x+2x2EEE2E2121211121 11211121 re 523.6 Tổng kết so sánh - - 2E + SE2E9 9 2121921212111 2121211 1111111111111 53KET LUẬN VÀ KHUYEN NGHỊ 2 52 +SE+E£EE+E££E+E£EeErEerszrerxee 55TÀI LIEU THAM KHẢO - 2-5: 525292 SE£EE‡EEEE2EEEEEEEEEEE2EEE.21EE.errrrei 57

Tài liệu Tiếng VIiỆP - - ¿E21 E9 EE12121E11 212111212111 11 2111110111111 11 xe 57Tai lid Ting Amb 01187 .À 57

11183158- Nguyén Huong Ly 4

Trang 5

DANH MỤC BANG BIEU

Bang 8016-10 ìài: 0 32Bang 3.2: Bang so sánh kết quả dự báo kết hợp - 2-5 + cs+x+cezzszeses 53Bang 3.3: Chỉ số đánh giá mô hình dự bao v eeceeececeeceseesessesesseseseseesesseseeseseeees 53

Hình 1: Biéu đồ số liệu thực ccececccccsccscsessessssessesesseseesessesessssesssseessseessseeseseseeess 30Hình 2: Quy trình huấn luyện mạng LSTM - Sen 31

Hình 3: Minh họa thuật toán 1 cccccccccccccccececccececceeeceeeeeeeeeeeeeeeasaaaaeaseeseees 33

Hình 4: Biểu d6 CPL oi ccccccccsscscsscssesessessesessssessssessssuesessesessssessssesssseesesneseseseeess 33

Hình 5: Minh họa thuật toán 2 ccccccccccscsececcccccccceccceeseeeeeeeeeeeeeesuasasaenenseeess 34

Hình 6: : Minh họa thuật toán 3 - 1S S 1S S1 SE S11 ky 34 Hinh 48) //)141:83197.811)1;118197-1:175IAaaaẰ 35

Hình 8: Minh họa thuật toán 5 -.- - ĐSSSSSSS SH SS Sky 35 Hình 9: Minh họa thuật toán Ó 2c c2 1111111111111 1111111111111 1111 sz 35

Hình 10: Minh họa thuật toán 7 - - 231211111 xxx 36

Hình 11: Minh họa thuật toán 8 -.- CS SSSSSSS SE 36

Hình 12: Kết quả mô hình mạng LSTMa - 2 2 22 +£E+E££E+EzE+EzEecxez 37Hình 13: Kết quả thử nghiệm mô hình mạng LSTMb 2- 5 252: 37Hình 14: Kết quả dự báo RÌNN - ¿2E SE 1 EEEE215E521212121 212111111 xe 40Hình 15: Kết quả dự báo trung bình MA 2- 2 2252252 2xzxezxezzzszsees 4I1Hình 16: Kết quả dự báo trung bình MA - 2-5 2 +£++E£zE+Ezxerzeerxee 42

Hình 17: Phân rã CPI theo thang - - - - E132 1111391111 381111 rrv 43

Hình 18: Biểu đồ phân tích số liệu theo thời gian -.: : 252525522: 44Hình 19: Biểu đồ CPI va CPI khác biệt l 2-5 22 £x+E££x+Eezxerzxerxee 45Hình 20: Biểu đồ CPI loại bỏ xu hướng - - 2 2 + +S+E+E+E££zEeEerererrsrs 45Hình 21: Biểu đồ biến đổi Log của CPI -¿-¿- - 2 2 +E+E££E+E£EeEEzEeEererkrrers 46Hình 22: Biểu đồ biến đổi Log khác l - 2-2-2 5++£££++E££E+EzEeezrersee 46Hình 23: So đồ hệ số tự tương quan (ACF) và một phần (PACEF) 41Hình 24: Biểu đồ dự đoán theo ACF và PACE - ¿5c c+cccx+Ezxerrxersee 49Hình 25: Kết quả dự báo trước 1 bước ¿+ ++2++s++x++x+zxezxerszrezsees 51Hình 26: Kết quả dự báo 10 năm toi cececececccecccesscscsesscscseseesesesessescsesseseseeesesees 52

Sơ đồ 1: Sơ đồ mạng RINN 5-5: S3 E11 E1 1112111121211 11 111111111111 xe 22

Sơ đồ 2: Mạng RNN 2 chiều - ¿2-2 522222222E22E22EE2122121121121 21212121 e2 23

Sơ đồ 3: Mang Deep RNN 5: tt 232111 111111112121211110111 2111012 23

Sơ đồ 4: RNN phụ thuộc ngắn hạn -¿- ¿5255 5++2+2E+2E2EZEExerxerxsrrrree 24

Sơ đồ 5: RNN phụ thuộc dai hạn 2- 2-5252 2S2x‡Ex‡EE2EE2EzEerxerxerxerrrree 25

Sơ đồ 6: Mạng LSTM - ¿- SE+ESEE2EEEE2EE12E1215212171717171111 111.111 cre 26

Sơ d6 7: LSTM bước Ì ¿- +: 2 S£+E£SE+E£EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEErkrrkrrrree 26

Sơ đồ 8: LSTM Đước 2 ¿+52 Et2EEEEEEEE12112111212121712111211 111.111 27

Sơ đồ 9: LSTM bước 2 - ¿2-55 St+E92E2EEE2E212212121212121212121211 211.2 re 27

Trang 6

Sơ đồ 10: LSTM bước 4 -¿ ¿- ¿©5¿2E‡Sx‡E2EE2EE2E23215212212112112121 211.22 cxe2

Sơ đồ 11: Sơ đồ khối xây dựng quy trình dự báo bang mô hình ARIMA

11183158- Nguyễn Hương Ly

Trang 7

Chuyên đề thực tập chuyên ngành Toán Kinh tế

DANH MỤC TỪ VIẾT TẮT

AI Artificial Intelligence

AIC Akaike Information Criterion

ANN Artificial Neural Network

AR Auto Regression

ARIMA Autoregressive Intergrated Moving Average

CNN Convolutional Neural Network

CPI Consumer Price Index

GSO General Statistics Office

MA Moving Average

MAE Mean Absolute Error

MAPE Mean Absolute Percentage Error

ML Machine Learning

MLP Multi-layer Perceptron

MSE Mean Squared Erorr

LSTM Long Short-term Memory

LT Long Time

TTCK Thi trường chứng khoán

RMSE Root Mean Squared Erorr

RNN Recurrent Neural Network

ST Short Time

SVM Support Vector Machine

11183158- Nguyén Huong Ly

Trang 8

PHAN MỞ DAU: GIỚI THIEU DE TÀI

Mục tiêu của phần mở đầu là khái quát được đề tài chuyên đề mà em đã lựa chọn.Đầu tiên, em sẽ đi vao trình bày tính cấp thiết của đề tài được lựa chọn Sau đó sẽ

đi vào khái quát mục tiêu và giới hạn phạm vi, đối tượng trong chuyên đề Cuối

cùng sẽ xây dựng kêt câu của bài.

1 Tính cấp thiết của đề tài

Dự báo chuỗi thời gian (Time series forecasting) là bài toán quan trọng trong sản

xuất kinh doanh và điều hành chính sách Đây là một trong những bài toán đượcứng dụng nhiều trong kinh doanh, được sử dụng rộng rãi trong tài chính, quản lýchuỗi cung ứng và lập kế hoạch sản xuất và hàng tồn kho, và nó có lợi trong việcthiết lập cơ sở lý thuyết trong thống kê và lý thuyết hệ thống động Dễ dàng tìmthấy nhiều loại dữ liệu chuỗi thời gian trong y học, dự báo thời tiết, sinh học, quản

lý chuỗi cung ứng và dự báo giá cô phiếu, v.v.

Về truyền thống, dự báo chuỗi đơn biến có các phương pháp thông dụng nhưARIMA Tuy nhiên, với mức độ phức tạp ngày càng tăng của sản phẩm và sự biếnđộng của thị trường, các phương pháp dự báo truyền thống gặp khó khăn Bằngcách áp dụng các thuật toán học máy, các doanh nghiệp hiện có thể xử lý các tập

dữ liệu rất lớn một cách hiệu quả hơn bao giờ hết Kỹ thuật này xác định các mẫu

an trong dữ liệu, tăng tốc độ xử lý dữ liệu, phân tích nhiều dit liệu hơn, tạo ra hệthống mạnh mẽ và cung cấp các dự báo chính xác hơn so với các phương pháp dựbáo truyền thống

Các mạng neural hồi quy, còn được biết đến như là RNNs, là một lớp của mạngneural cho phép đầu ra được sử dụng như đầu vào trong khi có các trạng thái ânvới khả năng xử lí đầu vào với bất kì độ dài nào, kích cỡ mô hình không tăng theokích cỡ đầu vào, quá trình tính toán sử dụng các thông tin cũ và trọng số được chia

sẻ trong suốt thời gian Tuy nhiên, phương pháp vẫn có những hạn chế như: tínhtoán chậm, khó dé truy cập các thông tin từ một khoảng thời gian dài trước đây vàkhông thé xem xét bat kì đầu vào sau này nào cho trạng thái hiện tại

Với sự phát triển của dữ liệu cùng sức mạnh tính toán trong những năm gan đây,học sâu (deep learning) đã trở thành lựa chọn hang đầu dé xây dựng các mô hình

dự báo chuỗi thời gian Trong khi các mô hình Học máy truyền thống — chang hạn

Trang 9

như mô hình tự hồi quy (AR) hoặc Exponential smoothing (san bằng hàm mũ) thực

hiện quá trình chuyên đôi tập dữ liệu thô ban đầu thành tập các thuộc tính theo

cách thủ công và việc tối ưu hóa tham số cũng phải dựa trên chọn lọc các đặc trưng,thì mô hình Học sâu chỉ học các tính năng trực tiếp từ dữ liệu Nhờ đó, nó giúptăng tốc quá trình chuẩn bi dit liệu và có thé hoc các mẫu dữ liệu phức tạp hơn mộtcách đầy đủ

Ở Việt Nam, đã có khá nhiều nghiên cứu dự báo chuỗi thời gian, tuy nhiên sử dụngLSTM còn ít, và hơn nữa, các nghiên cứu ở Việt Nam chủ yếu sử dụng mô hìnhđơn dé dự báo Trong khi đó, mỗi phương pháp dự báo đều có những ưu khuyếtđiểm riêng, nên việc kết hợp kết quả dự báo của các mô hình có thể sẽ giúp cảithiện chất lượng dự báo Vì vậy em quyết định tiến hành thực hiện đề tài “ứngdụng ML trong dự báo chuỗi thời gian: trường hợp CPI” bằng cách kết hợp cácphương pháp và tin rằng đề tài này thật sự cần thiết đối với đối với sự phát triểnkinh tế Việt Nam Chuyên đề này được thực hiện nhăm mục đích xây dựng hệthống CPI tự động tông hợp từ các phương pháp dự báo khác nhau và từ đó hy

vọng đưa ra được kết quả dự báo chính xác hơn, nhằm phục vụ cho việc điều hành

chính sách của nhà nước cũng như kê hoạch tài chính của các công ty.

Từ khóa: Học sâu (deep learning), ML (Machine Learning), dự báo chuỗi thời

gian, CPI

2 Mục tiêu nghiên cứu

Mục tiêu của bài nghiên cứu này là xây dựng hệ thống CPI tự động tổng hop từcác phương pháp dự báo khác nhau từ đó có thể đưa ra kết quả dự báo chính xáchơn, nhằm phục vụ cho việc điều hành chính sách của nhà nước cũng như kế hoạch

tài chính của các công ty.

3 Phương pháp nghiên cứu

Trong quá trình nghiên cứu, chuyên đề đã kết hợp phương pháp dự báo bằngARIMA, RNN và LSTM Đầu tiên, sử dung ARIMA- phương pháp dự báo yếu tốnghiên cứu một cách độc lập (dự báo theo chuỗi thời gian) bằng các thuật toán sửdụng độ trễ sẽ đưa ra mô hình dự báo thích hợp Tiếp theo, dự báo bằng RNN, thựchiện cùng một tác vụ cho tất cả các phần tử của một chuỗi với đầu ra phụ thuộcvào cả các phép tính trước đó Cuối cùng, dự báo bằng LSTM, một kiến trúc mạngnơ-ron nhân tạo (RNN) có kết nối phản hồi thé hiện được sự ưu việt ở điểm có thénhớ được nhiều bước hơn mô hình RNN truyền thống

Phần mềm sử dụng: Ngôn ngữ lập trình Python

Trang 10

4 Đối tượng nghiên cứu, phạm vi nghiên cứu

Đối tượng nghiên cứu của đề tài là chỉ số giá tiêu dùng (CPI) tại Việt Nam Phạm

vi nghiên cứu ở đây là giai đoạn từ năm 2000 đến 2020 Số liệu được thu thập bởiTổng cục Thống kê Việt Nam (GSO)

5 Kết cau dé tài

Ngoài phân mở đâu giới thiệu vê đê tài nghiên cứu, chuyên đê gôm 3 chương Trong đó:

Chương 1 Cơ sở lý luận và tổng quan nghiên cứu

Chương này trình bày những khái niệm cơ bản về chuỗi thời gian, dự báo chuỗithời gian, chỉ số giá tiêu dùng, đồng thời chỉ ra một số nghiên cứu trong và ngoàinước có cùng đề tài dự báo

Chương 2: Một số phương pháp phân tích và dự báo chuỗi thời gian

Ở chương này, chuyên đề giới thiệu về một số phương pháp: dự báo bằng mô hình

ARIMA, dự báo chuỗi thời gian sử dụng mạng nơ ron và các thuật toán cơ bản

cùng cách hoạt động của mô hình Long Short-term Memory.

Chương 3 Phân tích, thiết kế hệ thống dự báo CPI theo thời gian

Chương nay trình bày các thuật toán để xây dựng hệ thống dự báo CPI theo thời

gian.

Cuôi cùng, đưa ra kêt luận và khuyên nghị nhăm phục vụ cho việc điêu hành

chính sách của nhà nước cũng như kê hoạch tài chính của các công ty.

Trang 11

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TONG QUAN NGHIÊN

CỨU

Trong chương 1, em sẽ tìm hiểu các khái niệm liên quan đến đề tài nghiên cứu va

lý thuyết được sử dụng trong chuyên đề Em đi vào trình bày tổng quan chuỗi thờigian và CPI bao gồm các phần nêu khái niệm, tầm quan trọng, công thức tính, cũngnhư cách tính Sau đó, chỉ ra một số nghiên cứu trong và ngoài nước có cùng đề

tài dự báo.

1.1 Cơ sở lý luận

1.1.1 Chuỗi thời gian và dự báo chuỗi thời gian

Chuỗi thời gian là một chuỗi các phép đo được thực hiện theo thời gian, thường

thu được ở các khoảng cách đều nhau, có thể là hàng ngày, hàng tháng, hàng quýhoặc hàng năm Phân tích chuỗi thời gian bao gồm các phương pháp dé phân tích

dữ liệu chuỗi thời gian dé trích xuất số liệu thống kê có ý nghĩa và các đặc điểmkhác của dit liệu Dự báo chuỗi thời gian là việc sử dụng một mô hình dé dự đoáncác giá tri trong tương lai dựa trên các giá tri được quan sát trước đó Nói cach

khác, chuỗi thời gian là một chuỗi các điểm dữ liệu được ghi lại tại các thời điểm

cụ thé.

Dự báo là qua trình đưa ra dự đoán về tương lai dựa trên dữ liệu quá khứ và hiệntại cùng với việc phân tích các xu hướng Dự báo liên quan đến việc lấy các môhình phù hợp với dữ liệu lịch sử và sử dụng chúng để dự đoán các quan sát trongtương lai.

Dự báo chuỗi thời gian thường bao gồm năm bước cơ bản:

Bước 1: Xác định đối tượng dự báo

Bước 2: Thu thập số liệu

Bước 3: Thiết lập mô hình

Bước 4: Ước lượng tham số

Bước 5: Đánh giá mô hình dự báo

1.1.2 Đánh giá chất lượng dự báo

Trong một mô hình bắt kỳ, chúng ta sử dụng nhiều chỉ số để đo lường hoặc nhữngkiểm định dé khang định rằng mô hình đang nghiên cứu được xem là tốt hay khôngtốt Có một số chỉ tiêu dùng trong đánh giá chất lượng dự báo của mô hình như

Trang 12

sau: Sai số phan trăm tuyệt đối trung bình (MAPE), sai số trung bình tuyệt đối(MAB), sai số bình phương trung bình (MSE), tiêu chí thông tin Akaike (AIC)

Sai số phần trăm tuyệt đối trung bình được sử dụng để so sánh hiệu quả của dự

báo Trong mô hình SARIMA, AIC- công cụ ước tính cũng đã được sử dụng.

1.1.2.1 Sai số phần trăm tuyệt đối trung bình (MAPE)

Là trung bình của các sai số phần trăm tuyệt đối của các dự báo Biện pháp nàycho thấy mức độ quan trọng của lỗi dự báo được so sánh với các giá trị của chuỗitrong điều kiện về tỷ lệ phần trăm MAPE càng nhỏ thì kết quả dự báo càng tốt.MAPE có thé được diễn đạt như sau:

1.1.2.2 Sai số trung bình tuyệt đối (MAE)

MAE là sai số trung bình tuyệt đối (Mean absolute error) MAE đo lường mức độ

trung bình của các lỗi trong một tập hợp các dự báo, mà không xem xét hướng của

chúng Đó là trung bình trên mẫu thử nghiệm về sự khác biệt tuyệt đối giữa dự báo

và quan sát thực tế, trong đó tất cả các khác biệt với trọng số bằng nhau

n n

MAE =

Với Y, là giá trị dự báo, Y; là giá trị thực tế

1.1.2.3 Sai số bình phương trung bình (MSE)

Trong thống kê, sai số bình phương trung bình (MSE) đo trung bình bình phương

của các lỗi, nghĩa là chênh lệch bình phương trung bình giữa các giá trị dự báo và

giá tri thực tế.

1 —

Y, là giá trị thực tế, Ÿ; là giá tri dự báo

1.1.2.4 Tiêu chí thông tin Akaike (AIC)

Một trong những tiêu chí thường được sử dụng đề lựa chọn mô hình đó là chỉ số

AIC (Akaike Information Criteria) Tiêu chí thông tin này là một công cụ ước tính

Trang 13

lỗi dự báo và do đó đánh giá chất lượng tương đối của các mô hình thống kê trênmột tập hợp dữ liệu nhất định Gia sử có một tập hợp các mô hình được xây dựng

trên cùng một bộ dữ liệu, AIC ước tính chất lượng của từng mô hình trong mối

liên quan đến từng mô hình khác Do đó, AIC cung cấp một phương tiện để lựa

chọn mô hình AIC được hình thành dựa trên lý thuyết thông tin (information

theory) Khi một mô hình thống kê được sử dụng để dự báo, kết quả sẽ gần nhưkhông bao giờ chính xác hoàn toàn Vì vậy một số thông tin sẽ bị mắt do khôngthể dự báo từ mô hình AIC ước tính lượng thông tin tương đối bị mất bởi một môhình nhất định: mô hình mắt càng ít thông tin thì chất lượng của mô hình đó càngcao Giả sử rằng chúng ta có một mô hình thống kê tương ứng với một bộ dữ liệu.Gọi k là số lượng tham số ước tính trong mô hình Đặt Íˆ là giá trị tối đa của hàm

hợp lý (maximum likelihood function) của mô hình Khi đó, giá tri AIC của mô

hình được tính như sau:

AIC = 2k — 2InÏ

Tóm lại rằng giá trị của AIC càng nhỏ thì mô hình của chúng ta càng phù hợp

1.1.3 CPI

1.1.3.1 Khái niệm

Chỉ số giá tiêu đùng (Consumer Price Index - CPI) là chỉ tiêu tương đối (tính bang

%) phản ánh xu hướng và mức độ biến động giá cả chung theo thời gian của các

loại hàng hoá và dịch vụ tiêu dùng hàng ngày của người dân Đây là chỉ tiêu được

sử dụng phô biến nhất dé đo lường mức giá và sự thay đôi của mức giá chính là

lạm phát hoặc giảm phát.

1.1.3.2 Tầm quan trọng của CPI

Chỉ số giá tiêu dùng (CPI) là một trong những chỉ số kinh tế quan trọng nhất déxác định đặc điểm của các quốc gia và là thường được coi là một thước do lạmphát chính thức Chỉ số CPI xem xét sự biến động giá hàng tháng của một nhómhàng hóa được xác định và dịch vụ trong một khu vực cụ thể, và nó là chìa khóatrong quy hoạch kinh tế và xã hội của một quốc gia nhất định, do đó dự báo CPI làrất quan trọng

CPI là một chỉ số kinh tế có ảnh hưởng trực tiếp tới sự phát triển của một nền kinh

tế Vì vậy việc tính toán và phân tích chỉ số CPI sẽ đem đến hiệu quả tích cựccho doanh nghiệp, nền kinh tế cũng như chính phủ Từ đó người tiêu dùng có sựchuẩn bị trước những thay đổi về mức giá bán lẻ hàng hóa tiêu dùng

Trang 14

Không chỉ thế, chỉ số CPI còn được đo lường và ứng dụng làm thước đo lạm phátcho các yếu tố khác trong nền kinh tế như doanh số bán lẻ, thu nhập hàng giờ haygiá trị đồng tiền

Khi chỉ số CPI tăng thì chính phủ cũng sẽ điều chỉnh mức lương cơ bản phù hợpvới mức chỉ cho hàng hóa tiêu dùng Khi CPI giảm đồng nghĩa với việc giá củagiỏ hàng hóa tiêu dùng tính theo CPI giảm, khi đó số tiền dành cho tiêu dùng hằngngày của người dân sẽ giảm Nếu mức thu nhập không thay đổi, thì việc giảm chiphí tiêu dùng sẽ giúp 6n định chi tiêu và góp phan nâng cao mức sống cho những

người có thu nhập kém.

1.1.3.3 Công thức tính CPI

CPI được hình thành từ các thông tin chi tiêu của hàng nghìn hộ gia đình trên toàn

quốc Thông tin được thu thập thông qua phỏng vấn và nhật ký chỉ tiêu của các đốitượng được lựa chọn dé nghiên cứu Đề tính toán CPI, người ta tính số bình quângia quyền theo công thức Laspeyres của giá cả của kỳ báo cáo (kỳ t) so với kỳ cơ

so, gôm các bước:

Bước 1: Cô định giỏ hàng hóa: Thông qua điều tra, người ta sẽ xác định lượnghàng hóa, dịch vụ tiêu biểu mà một người tiêu dùng điển hình mua

Bước 2: Xác định giá cả: Thống kê giá cả của mỗi mặt hàng trong giỏ hàng hóa tạimỗi thời điểm

Bước 3: Tính chi phí (bằng tiền) để mua giỏ hàng hóa bằng cách dùng số lượngnhân với giá cả của từng loại hàng hóa rồi cộng lại

Bước 4: Lựa chọn thời kỳ gốc để làm cơ sở so sánh rồi tính CPI băng công thức

sau:

CPI Chi phí dé mua giỏ hàng hóa thời kỳ t

` Chỉ phí để mua giỏ hàng hóa kỳ cơ sở

Thời kỳ gốc sẽ được thay đổi trong vòng 5 đến 7 năm tùy ở từng nước.

CPI được dùng để tính chỉ số lạm phát theo thời kỳ Ví dụ, tính chỉ số lạm phát

CPI năm 2001 so với năm 2000 theo công thức sau:

CPI nam 2001 — CPI năm 2000

Chỉ số lạm phát 2001 = 100 x =

CPI nam 2000

CPI năm gốc luôn bằng 1

Trang 15

1.1.3.4 Cách tính CPI

Hàng tháng Tổng cục Thống kê vẫn thường xuyên tính toán và công bố CPI đồngthời theo 3 gốc so sánh khác nhau là:

¢ CPI hàng tháng so với tháng trước

» CPI hàng tháng so với thang 12 năm trước

» CPI hàng thang so với cùng tháng (cùng ky) năm trước

Ba chỉ tiêu CPI hàng tháng được tính theo 3 gốc so sánh khác nhau ở trên đều có

ý nghĩa và phản ánh riêng về sự biến động của giá cả thị trường theo các góc độxem xét, đánh giá khác nhau và phục vụ cho các mục đích, yêu cầu nghiên cứu,phân tích kinh tế, xã hội khác nhau

Ở cách tính CPI hàng tháng so với tháng trước, ta lấy chỉ số giá của tháng này sovới tháng trước đó dé lay tỉ lệ tăng của từng tháng Sau đó cộng tat cả tỉ lệ ấy của

12 tháng thành con số tăng giá của cả năm Cách tính này thì dé nhận thấy nhữngbiến động của từng thời điểm và có thé nắm được chu kỳ của nó Tuy nhiên, con

số đó đôi khi bị lệ thuộc vào chính những biến động đó mà không phản ánh đúng

tình hình chung của cả năm hay cả giai đoạn.

Xưa nay chúng ta vẫn thường coi tốc độ tăng của CPI hàng tháng so với tháng 12năm trước là lạm phát, chăng hạn CPI tháng 6/2011 so với tháng 12/2010 là 103%

- tăng 3% thì con số 3% được coi là lạm phát trong 6 tháng đầu năm 2011 và tương

tự, CPI tháng 12/2011 so với tháng 12/2010 là 104,3% - tăng 4,3% thì con số 4,3%

cũng được coi là lạm phát của năm 2011.

CPI hàng tháng so với cùng tháng (cùng kỳ) năm trước: đem chỉ số của tháng này

so với chỉ số của tháng cùng kỳ năm trước Tỉ lệ chênh lệch chính là mức tăng giácủa mỗi tháng Cộng cả 12 mức tăng mỗi tháng đó lại sau đó chia cho 12 dé lay sốtrung bình Số đó tính là CPI cả năm Cách tính này loại bỏ được sự ảnh hưởngcủa những biến động ngắn hạn Và hiện đó là cách tính chung của nhiều quốc gia.Tính theo đó thì chúng ta có thể đo được nền kinh tế của mình với nước khác

1.2 Tổng quan tình hình nghiên cứu

1.2.1 Nghiên cứu ngoài nước

Volkan §.Ediger và SertacAkar (2007) đã sử dụng phương pháp ARIMA vàARIMA theo mùa (SARIMA) để ước tính nhu cầu năng lượng sơ cấp trong tươnglai của Thổ Nhĩ Kỳ từ năm 2005 đến năm 2020 Kết quả cho thay dự báo ARIMA

11183158- Nguyễn Hương Ly l5

Trang 16

về tông nhu câu năng lượng sơ câp có vẻ đáng tin cậy hơn tông hợp các dự báo

riêng lẻ.

Peng Chen, Hongyong Yuan, Xueming Shu (2008) sử dụng mô hình chuỗi thời

gian của ARIMA được sử dụng dé dự báo ngắn hạn về tội phạm tài sản cho mộtthành phố của Trung Quốc Với dữ liệu đã cho về tội phạm tài sản trong 50 tuần,

mô hình ARIMA được xác định và số lượng tội phạm trong 1 tuần tới được dựđoán Kết quả dự báo và phù hợp của mô hình được so sánh với SES và HES Nóchỉ ra răng mô hình ARIMA có độ chính xác phù hợp và dự báo cao hơn so vớilàm trơn theo cấp số nhân Công việc này sẽ giúp ích cho các đồn cảnh sát địaphương và chính quyền thành phó trong việc ra quyết định và tran áp tội phạm

Liu và cộng sự (2017) đã sử dụng RNN dé dự đoán sự biến động của cô phiếu vanhận thấy rằng độ chính xác của mô hình RNN tốt hơn so với các mô hình MLP

và SVM Tuy nhiên, RNN sẽ gặp vấn đề về sự biến mất gradient và bùng nỗ vớinhiều lần đệ quy Mạng nơ-ron LSTM đã được phát triển dé tăng cường hoạt động

của RNN trong các lĩnh vực trí tuệ nhân tạo Gao, Chai & Liu (2017) đã thu thập

dữ liệu giao dich lịch sử của Standard & Poor's 500 (S&P 500) từ thi trường chứng

khoán trong 20 ngày qua dưới dạng các biến đầu vào, chúng là giá mở cửa, giáđóng cửa, giá cao nhất, giá thấp nhất, giá điều chỉnh và khối lượng giao dịch Họ

đã xây dựng mô hình dé dự đoán thị trường chứng khoán sử dụng 4 phương phápkhác nhau, đó là đường trung bình động (MA), đường trung bình động hàm mũ(EMA), Máy vectơ hỗ trợ (SVM) và LSTM Từ bài kiểm tra kết quả chứng minhrằng LSTM có giá trị chính xác cao nhất so với các phương pháp khác bằng cáchđánh giá hiệu suất bằng Lỗi tuyệt đối trung bình (MAE), Lỗi bình phương trungbình gốc (RMSE), Tỷ lệ lỗi tuyệt đối trung bình (MSE) và Lỗi tỷ lệ phần trămtuyệt đối trung bình (MAPE)

S Zahara, Sugianto and M B Ilmiddaviq (2019) đã dự báo CPI hàng tháng dựa trên

phương pháp học sâu LSTM với đầu vào tham số là giá thực phẩm chủ yếu hàngngày ở Surabaya Tác giả áp dụng một số thuật toán tối ưu hóa dé thu được độchính xác tốt nhất trong phương pháp LSTM Kết quả cho thấy rằng Nadam(Ñesterov Adam) là thuật toán mới nhất đã chứng minh hiệu suất tốt nhất trong số

những thuật toán khác khi giá trị RMSE là 4.088.

Yu Hao Lee (2021) đã dự báo giá cô phiếu Nghiên cứu sử dụng mô hình LSTM

với dữ liệu chứng khoán của Google trong khoảng thời gian 10 năm (từ ngày 31

thang 8 năm 2010 đến ngày 1 tháng 9 năm 2020) từ Yahoo Finance API Kết quả

Trang 17

cho thấy nhìn chung, có vẻ như mô hình LSTM đã có thé dự đoán đáng kể chuyểnđộng giá cô phiếu nói chung thành công Việc loại bỏ xu hướng và yếu tổ mùa vụdường như đã giúp cho mô hình có khả năng dự đoán với độ chính xác tốt hơnnhiều Việc dự đoán gia nhập hay thoát khỏi thị trường dựa trên một ngưỡng thích

hợp có tiềm năng rất lớn dé đạt được kết quả tối ưu.

1.2.2 Nghiên cứu trong nước

Bài toán dự báo chuỗi thời gian cũng được nhiều nhà nghiên cứu Việt Nam quantâm chọn làm đê tài nghiên cứu và đã đưa ra kêt luận.

Hai tác giả Huỳnh Tấn Nguyên và Nguyễn Văn Lượng (2016) đã ứng dụng môhình ARIMA trong dự báo chỉ số giá tiêu dùng CPI ở Việt Nam trong quý 2 năm

2016 Số liệu được thu thập từ Tổng cục Thống kê Việt Nam giai đoạn tháng1/2010 đến tháng 03/2016 và được xử lý bằng phần mềm Eviews 6 Kết quả chothay mô hình ARIMA(2,1,1) cho kết quả dự báo CPI tốt Các nhà làm chính sách,các doanh nghiệp có thể sử dụng công cụ này cho công tác dự báo, hoạch định vàlập kế hoạch

Trong bài nghiên cứu “Ứng dụng Long Short- Term Memory trong dự đoán tàichính”, tác giả Trương Tan Phát và Phạm Nguyễn Hoàng Phúc (2020), sử dụng kỹthuật có tên Long Short- Term Memory là một kỹ thuật dùng dé tìm hiểu khả năng

dự đoán các bước chuyên biến của thị trường giao dịch tài chính Dữ liệu thửnghiệm được dùng trong bài được trích từ nguồn dữ liệu giao dịch của YahooFinance Dữ liệu bắt đầu từ ngày đầu tiên các công ty được cập nhật tên trên YahooFinance, kết thúc đồng loạt vào ngày 24/03/2020 Các kết qua dự đoán có hướngphát triển trùng với hướng phát triển của dữ liệu thật, nhưng số liệu dự đoán đaphần không khớp Ở bài nghiên cứu này, mô hình Long Short- Term Memory cho

khả năng dự báo trong thời gian ngắn có tính chính xác ở mức khá và có thể tin

tưởng Trong trường hợp dự đoán những dữ liệu về lâu dài thì thông tin dự đoán

chỉ mang tính chất tương đối Dựa vào mô hình dự đoán, ta có thé nắm được xu

thế của thị trường sẽ đi lên hoặc đi xuống, nhưng không thê nắm được tình hìnhthay đối của xu hướng thị trường

Khoảng trống nghiên cứu

Liên quan đến đề tài, trong nước cũng có nhiễu tác giả phân tích và dự báo chỉ sốgiá tiêu dùng (CPI) Tính đến thời điểm hiện tại, chủ yếu các tác giả sử dụng mô

hình ARIMA cho dự báo CPI, các nghiên cứu sử dung ML nói chung còn it, đặc

biệt là gan như chưa có nghiên cứu nào sử dụng LSTM và dự báo kết hợp Chính

Trang 18

vì vậy, em sử dụng một số phương pháp, trong đó quan tâm chính đến LSTM và

dự báo kết hợp cho chuyên dé tốt nghiệp của mình

Trang 19

CHƯƠNG 2: MỘT SÓ PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ

BAO CHUOI THỜI GIAN

Sau khi đã nắm bắt các khái niệm cơ bản và lý thuyết cơ Sở, trong chương 2, em

sẽ bắt tay vào giới thiệu về một số phương pháp: dự báo bằng mô hình ARIMA,

dự báo chuỗi thời gian sử dụng mạng nơ ron và các thuật toán cơ bản cùng cách

hoạt động của mô hình Long Short-term Memory.

Ye: quan sát dừng hiện tại

Yr—p Và ry_„: quan sát dừng và sai sô dự báo quá khứ

đọ, ứa, + Ap +, Bạ, , Bq : các hệ sô phân tích hôi quy

Ta có thể nói đây là một mô hình có được từ sự tổng hợp của 2 loại mô hình AR

và MA.

Mô hình ARIMA (p, d, q) mô tả chuỗi dừng hoặc những chuỗi đã sai phân hóa.

Do vậy mô hình ARIMA (p, d, q) thể hiện những chuỗi dữ liệu không dừng có sai

phân là d.

2.1.1 Các bước phát triển mô hình ARIMA

Phương pháp Box — Jenkins bao gồm các bước chung:

- _ Kiểm định tính dừng của chuỗi

» - Xác định p, q vả ước lượng mô hình

- Kiém định và đánh giá mô hình

° Du báo

Bước 1: Kiểm định tính dừng của chuỗi: Mô hình ARIMA chỉ được áp dụng đốivới chuỗi dừng Mô hình có thể trình bày theo dạng AR, MA hay ARMA Phươngpháp xác định mô hình thường được thực hiện qua nghiên cứu chiều hướng biếnđổi của hàm tự tương quan ACF hay hàm tự tương quan từng phần PACE

Trang 20

Với chuỗi ARIMA không dừng: cần phải được chuyền đôi thành chuỗi dừng trướckhi tính ước lượng tham số bình phương tối thiêu Việc chuyển đổi này được thựchiện băng cách tính sai phân giữa các giá trị quan sát dựa vào giả định các phầnkhác nhau của các chuỗi thời gian đều được xem xét tương tự, ngoại trừ các khácbiệt ở giá trị trung bình Nếu việc chuyền đổi này không thành công, sẽ áp dụngtiếp các kiểu chuyên đổi khác (chuyên đồi logarit chăng hạn)

Bước 2: Xác định p, q và ước lượng mô hình: Quan sát ACF và PACF mẫu Từ đó

xác định p, q, tính những ước lượng khởi đầu cho các tham số Qo, My, +, By,

By, ›, , Bg của mô hình dự định Sau đó xây dựng những ước lượng sau cùng

băng một quá trình lặp

Bước 3: Kiểm định và đánh giá mô hình: Sau khi các tham số của mô hình tôngquát đã xây dựng, ta kiểm tra mức độ chính xác và phù hợp của mô hình với dữliệu Chúng ta kiểm định phan dư (Y¿ - Ÿ;) và có ý nghĩa cũng như mối quan hệcác tham số Nếu bat cứ kiểm định nào không thỏa mãn, mô hình sẽ nhận dạng lạicác bước trên được thực hiện lại Sau đó, đánh giá mô hình thông qua thực hiện dự

báo trong mau và xem xét các sai sô dự báo.

Bước 4: Dự báo: Khi mô hình thích hợp với dữ liệu đã tìm được, ta sẽ thực hiện

dự báo tại thời điểm tiếp theo t Do đó, mô hình ARMA(p, q) có dang

Y; =o + GŒ1Ÿ‡—1 + 22960) + + AY tp + Ut + Buta

+ 5, Ut_2 + + 6, Ut-q

Phương pháp này không sử dung các yếu tố nhân quả như trong các dự báo dựatrên phân tích hồi quy, mà dựa trên việc nắm bắt xu thế, biéu hiện chu ky và cácđặc trưng mang tính hệ thống khác của dãy số thời gian

2.2 Dự báo chuỗi thời gian sử dụng mạng nơ ron

Thế giới đã trải qua bốn cuộc cách mạng công nghiệp Cuộc cách mạng côngnghiệp đầu tiên sử dung năng lượng nước và hơi nước dé cơ giới hóa sản xuất.Cuộc cách mạng lần hai diễn ra nhờ ứng dụng điện năng dé sản xuất hàng loạt.Cuộc cách mạng lần ba sử dụng điện tử và công nghệ thông tin dé tự động hóa sảnxuất Bây giờ, cuộc cách mạng Công nghiệp thứ tư đang diễn ra với sự nồi bật của

Trí tuệ nhân tạo.

Trí tuệ nhân tạo (mạng noron) mở ra một hướng mới đê giải các bài toán của hệ

thống điện (chân đoán sự có, phân tích ôn định tĩnh, phối hợp thuỷ và nhiệt nang )

Trang 21

và nhiều ngành nghề trong nhiều lĩnh vực khác nhau như: tài chính (mô hình hoáthị trường, lựa chọn đầu tư ), môi trường (quản lý tài nguyên, đánh giá rủi ro ),

viễn thông máy tính (phân tích tín hiệu, nhận dạng )

Mạng nơ-ron nhân tạo (ANN) đã được nghiên cứu rất rộng rãi trong nhiều lĩnh vựckhoa học dé ứng dụng vào thực tế và đã mang lại nhiều kết quả khả quan

Giả sử ta có chuỗi thời gian {x¿,x¿_¡, } tính đến thời điểm t, nhiệm vụ của chúng

ta là dự báo giá trỊ của x tại một thời điểm trong tương lai

xdbi.; = ƒ(Xt,Xt+1, '*' )

s: khoảng dự đoán (horizon of prediction) trong trường hợp s 1, nghĩa là ta chỉ

dự báo 1 giá tri tại tương lai, khi đó, bài toán rơi vào trường hợp tìm ra một hàm

xấp xỉ (function approximation) biểu diễn chuỗi thời gian, nói cách khác là dự

đoán giá trị tương lai từ các giá trị đã thu thập trước đó trong chuỗi thời gian.

Dé giải quyêt bài toán dự báo chuôi thời gian nói chung và sử dụng mạng nơron

nói riêng, cân thực hiện các bước tông quát sau:

° Chon mô hình tong quát: Với mỗi z¿; trong quá khứ, huấn luyện mô hình

với dau vào là các giá tri trước đó và dau ra mong muôn.

¢ Sau khi huân luyện mô hình, chạy mô hình với chuỗi {x¿,x¿_ạ, } đê thu

được giá trị dự đoán xdb;.„„

2.2.1 Mô hình mạng RNN

Một mạng no-ron gồm những thành phan sau:

Đầu vào — input layer

- Tang an — hidden layers

- Pau ra — output layer,

- Cac tham số trọng lượng tương ứng W, U và sai số b

- Ham kích hoạt cho tầng ân

Trong mạng nơ-ron truyền thống, giả định rằng tất cả các đầu vào và đầu ra là độclập với nhau Điều này gây khó khăn trong các bài toán dự đoán thực tế, ví dụ như

dự đoán từ tiếp theo của câu "Hãy gọi qua số điện" thì RNN có thê đoán ra từ tiếptheo là "thoại", điều này nơ-ron truyền thống không thể thực hiện được RRN rađời khắc phục nhược điểm này Mạng RNN là có một “bộ nhớ” ghi lại thông tin

Trang 22

về những gì đã được tính toán trong quá khứ cho đến nay nhưng chúng bị hạn chếchỉ nhớ những dữ liệu gần, khả năng nắm bắt thông tin ngắn hạn

Giải thích sơ lược qua RNN:

« x; là input đầu vào tại t

es; là trạng thái an tại t, được tính toán dựa trên cả các trạng thái an phia

trước và dau vào tai t: s; = ƒ(U x x¿ + W x s;_,) Hàm fy là hàm kích

hoạt

« 0; là output đầu ra tại t

Không giống như ANN truyền thống, ở mỗi lớp cần sử dụng một tham số khác,RNN chỉ sử dụng một bộ tham số (U, V, W) cho tất cả các bước Trên lý thuyết

thì đúng là RNN có khả năng nhớ được những tính toán (thông tin) ở trước nó,

nhưng mô hình RNN truyền thống không thê nhớ được những bước ở xa nên nhữngthành công của mô hình này chủ yếu đến từ một mô hình cải tiến khác là LSTM.Nguyên nhân của van dé này là do gradient được sử dụng dé cập nhật giá trị của

ma trận trọng số trong RNN và nó có giá trị nhỏ dần theo từng tầng khi thực hiệntruyền ngược (back propagation) dẫn đến độ dốc biến mat Khi độ dốc trở nên ratnhỏ (với giá trị gần bằng 0), giá trị của ma trận trọng số sẽ không được cập nhật

nữa và do đó, mạng nơ-ron sẽ ngừng học ở lớp này.

Mạng nơ-ron hồi quy hai chiều (Bidirectinal RNN): Đây là một kiến trúc mạng

biến thể của RNN Trong khi các RNN một chiều chỉ có thê được lấy từ các đầuvào trước đó dé đưa ra dự đoán về trạng thái hiện tại, các RNN hai chiều lây dữ

liệu trong tương lai đê cải thiện độ chính xác của nó Nêu chúng ta ví dụ vê “cảm

Trang 23

giác dưới thời tiết”, mô hình có thể dự đoán tốt hơn rằng từ thứ hai trong cụm từ

đó là “dưới” nếu nó biết rang từ cuối cùng trong chuỗi là “thời tiết”

Sơ đồ 2: Mạng RNN 2 chiêu

|

Mang nơ-ron nhiều tang (Deep RNN): Việc dao tao Deep RNN tương tự như trong

RNN nhưng có thêm các đơn vị an Nó mô tả một RNN sâu với các lớp an Mỗitrạng thái ân liên tục được chuyên cho cả bước thời gian tiếp theo của lớp hiện tại

và bước thời gian hiện tại của lớp tiếp theo Mô hình này sẽ cho chúng ta khả năngthực hiện các tính toán nâng cao nhưng yêu cầu đảo tạo phải đủ lớn

Long short-term memory network (LSTM): Mạng Bộ nhớ Ngắn hạn Dài (LSTM)

là một phần mở rộng của RNN để mở rộng bộ nhớ LSTM có cấu trúc giống nhưRNN và được sử dụng làm khối xây dựng cho các lớp của RNN LSTM chỉ định

"trọng số" dữ liệu giúp RNN có thể cho thông tin mới vào, quên thông tin hoặccho nó tầm quan trọng đủ đề tác động đến kết quả đầu ra LSTM cho phép RNNghi nhớ các đầu vào trong một khoảng thời gian dai Điều này là do LSTM chứa

Trang 24

thông tin trong bộ nhớ, giống như bộ nhớ của máy tính LSTM có thé đọc, ghi và

xóa thông tin khỏi bộ nhớ của nó.

2.2.2 Vẫn đề phụ thuộc quá dài

Ý tưởng ban đầu của RNN là liên kết thông tin trước đó đề hỗ trợ các quy

trình hiện tại Nhưng đôi khi, chỉ cần dựa vào một số thông tin gần nhất dé thực hiện nhiệm vụ hiện tại Ví dụ, trong mô hình hóa ngôn ngữ, ta có thé dự đoán từ

tiếp theo dựa trên các từ trước đó Nếu chúng ta dự đoán từ cuối cùng trong câu

"mây bay trên bầu trời", thì chúng ta không cần phải tìm kiếm quá nhiều từ trước

đó, chúng ta có thé đoán từ tiếp theo sẽ là "bầu trời" Trong trường hợp này, khoảngcách đến thông tin liên quan được rút ngắn, mạng RNN có thé tìm hiểu và sử dung

thông tin trong quá khứ.

Sơ đồ 4: RNN phụ thuộc ngắn hạn

Nhưng cũng có những trường hợp chúng ta cần thêm thông tin, đó là phụ thuộcvào ngữ cảnh Chăng hạn, khi dự đoán từ cuối cùng trong đoạn "Tôi sinh ra và lớnlên ở Việt Nam tôi có thé nói tiếng Việt trôi chảy" Từ thông tin mới nhất chothấy từ tiếp theo là tên của một ngôn ngữ, nhưng khi chúng ta muốn biết ngôn ngữ

cụ thé, chúng ta cần quay lại quá khứ xa hơn, dé tìm bối cảnh của Việt Nam Va

do đó, RNN có thể phải tìm thông tin liên quan và số điểm trở nên rất lớn Tuynhiên RNN lại không thê học cách kết nói thông tin lại với nhau

Trang 25

Về mặt lý thuyết, RNN hoàn toàn có khả năng xử lý "các phụ thuộc dài hạn", nghĩa

là thông tin hiện tại thu được là do chuỗi thông tin trước đó Trong thực tế, RNNdường như không có khả năng này Vấn đề này đã được đặt ra bởi Hochreiter

(1991) và và công sự đặt ra một thách thức cho mô hình RNN.

2.3 Dự báo chuỗi thời gian sử dụng mạng Long short-term memory (LSTM)

Một dang đặc biệt của RNN, được thiết kế dé tránh vấn đề phụ thuộc quá dài là

LSTM.

Mạng bộ nhớ dài - ngắn (Long Short Term Memory networks thường được gọi là

LSTM) là một dạng đặc biệt của mạng nơ-ron hồi quy (Recurrent Neural Network

gọi la RNN) LSTM được giới thiệu bởi Hochreiter & Schmidhuber vào năm(1997) được ứng dụng và phổ biến trên nhiều nghiên cứu khác nhau

LSTM là một trong những mạng thần kinh nhân tạo được sử dụng phổ biến trongphân tích dir liệu chuỗi thời gian (time-series) LSTM được thiết kế dé tránh đượcvấn đề phụ thuộc xa (long-term dependency) Việc nhớ thông tin trong suốt thờigian dai là đặc tính mặc định của chúng, chứ không cần phải dao tạo nó dé có thénhớ được Tức là ngay nội tại của nó đã có thé ghi nhớ được mà không cần bat kì

can thiệp nào.

Sự phát triển của mô hình dự báo sử dụng ngôn ngữ lập trình python và một số hỗ

trợ thư viện dành cho học sâu, đó là scikit-learning, keras, pandas, numpy,

mathplotlib và tensorflow làm phụ trợ.

LSTM là một trong những phát triển mới nhất của thuật toán RNN (RecurrentNeural Network) Trong khi một kiến trúc RNN đơn giản thông thường bao gồmmột mô-đun mạng lặp lại chứa một tan đơn giản cấu trúc chức năng lớp, mạngLSTM được mô tả như một số mô-đun chuỗi lặp đi lặp lại trong đó mỗi mô-đun

Trang 26

có một mô-đun con khác chứa các chức năng công sigmoid Chức năng công trongLSTM chủ yếu bao gồm 3 công cụ thé là công đầu vào, công quên và cong đầu ra

Số lượng công có thé được thay đổi tùy thuộc vào kiến trúc đã được sử dụng Chứcnăng sigmoid là một chức năng điều chỉnh lượng thông tin được thông qua

Thành phần LSTM gồm có một cell, với 3 tầng một input gate i, một output

gate o va một forget gate ƒ

Đầu vào là input trang thái t x,, trang thái ân (hidden state) của trạng thái t — 1

là h„_; và trạng thái 6 (cell state) của trạng thái £ — 1 là Œ¿_; và đầu ra là hiddenstate của trạng thái t là A; va cell state của trạng thái t là Œ¿ Khởi đầu với hạ =

0 và Cy = 0, các hàm được định nghĩa như sau:

Với W € R”X" UERTMTM b ERTM : các ma trận hệ sô và vector sai sô được học

trong quá trình training Với n là sô chiêu của x và m là sô chiêu của các vectơ

kích hoạt ø và tanh lân lượt là 2 hàm kích hoạt sigmoid va tanh sẽ được dùng

trong phần này

Tầng Forget gate sẽ quyết định chọn bao nhiêu thông tin bị bỏ quên từ trạng tháitrước Thông tin được lấy từ x; và h¿_¡ thông qua hàm kích hoạt ø trả về giátrị (0,1)

So đô 7: LSTM bước 1

Trang 27

Tiếp theo quyết định thông tin mới được lưu lại ở đầu vào trạng thái hiện tại TầngInput gate sẽ đưa thông tin state va hidden state của tang trước qua 2 hàm: sử dụnghàm kích hoạt ø trả về giá trị (0,1) để quyết định giá trị nào sẽ cập nhật và hàmkích hoạt tanh tạo vecto Œ¿ mới có giá trị (—1,1) để thêm vào trạng thái

Sơ đồ 8: LSTM bước 2

ip = đ(U; * xị + W; * h¿_¡ + Dj)

C, = tanh(U, * x, + We * hy + bạ)

Tiếp theo là cập nhật cell state mới C, từ các thông tin bị bỏ quên ở cell state

trước f, * Œ¿_; và thông tin mới được cập nhật ở đầu vào i, * C;

Sơ đồ 9: LSTM bước 3

al iy > Ce = ofr * Cra + í¿ * G)

11183158- Nguyén Huong Ly 27

Trang 28

Tang Output quyết định thông tin đầu ra của trạng thái hiện tai Tang Output gate

sẽ sử dụng hàm kích hoạt ø trả về giá trị (0,1) dé quyết định chọn bao nhiêu thôngtin trạng thái sẽ được xuất ra Trạng thái mới Œ; qua hàm tanh để trả về giátrị (—1,1) Kết hợp 2 giá trị dé trở thành output cho trạng thái ấn Kết quả đầu ra

đó (hidden state) và cả cell state sẽ được đưa vào bước tiếp theo

0, = OU * Xp + Wo * hyT—+ + bạ)

h, = tanh(Œ,) * 0;

Nhu vậy, với cach hoạt động như trên, LSTM là một bước tiễn lớn trong việc sửdụng RNN Ý tưởng của nó giúp cho tất cả các bước của RNN có thé truy vấnđược thông tin từ một tập thông tin lớn hơn Vì vậy, LSTM rat phù hop dé dự báo

mô hình chuỗi thời gian: trường hợp CPI.

có giảm hay không.

J S Armstrong (2001) đã so sánh 30 thực nghiệm, việc giảm sai số trước cho các

dự báo kết hợp có trọng số bằng nhau trung bình khoảng 12,5% và dao động từ 3đến 24% Trong điều kiện lý tưởng, các dự báo kết hợp đôi khi chính xác hơn các

phương pháp thành phần chính xác nhất.

Trang 29

Mặc dù khi dự báo có thé sử dụng các phương pháp khác nhau, nhưng tính chínhxác sẽ được nâng cao nếu các dự báo được kết hợp với nhau Một cách tiếp cậnkhả thi ở đây là dự báo kết hợp bằng cách tính trung bình các kết quả dự báo của

3 phương pháp: sử dụng mô hình ARIMA, RNN, LSTM Quy trình như vậy đã

được Blue Chip Economic Indicators sử dụng trong việc thu thập và tóm tắt kinh

tế vĩ mô dự báo Người ta cũng có thé sử dụng quy trình này dé nhận được dự báo

về các lĩnh vực chính như ô tô, nhà hàng hoặc du lịch hàng không

Tiêu đề	Ứng dụng mô hình long short-term memory trong dự báo chuỗi thời gian: trường hợp CPI
Tác giả	Nguyễn Hương Ly
Người hướng dẫn	PGS Nguyễn Thị Minh
Trường học	Trường Đại Học Kinh Tế Quốc Dân
Chuyên ngành	Toán Kinh Tế
Thể loại	Chuyên đề thực tập
Năm xuất bản	2021
Thành phố	Hà Nội

Định dạng
Số trang	58
Dung lượng	21,45 MB