Trong luận văn này, em đã sử dụng một số mạng phổ biến trong bài toán dự đoán chuỗi thời gian, bao gồm RNN, GRU và LSTM, sử dụng chung một bộ siêu tham số. Các siêu tham số của phương pháp học sâu được xác định phụ thuộc vào các trường dữ liệu đầu vào. Với bộ tổ hợp đầu vào tốt nhất, bộ siêu tham số bao gồm: Epoch = 10; hàm kích hoạt tuyến tính; hàm mất mát MAE, hàm tối ưu Adman, Số lượng nơron: 100; hệ số dropout = 0.2;
Mỗi mạng tuy có bộ tham số giống nhau, nhưng cách hoạt động lại có những điểm khác biết, được làm rõ trong các mục tiếp theo.
Mạng nơ-ron hồi quy (Recurrent Neural Network)
Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) [15] nhận các giá trị đầu vào của một chuỗi đầu vào lần lượt theo thời gian, tại mỗi thời điểm ta sẽ truyền vào phần tử mạng một giá trị đầu vào trong chuỗi giá trị đầu vào. Đồng thời đầu ra của các phần tử tầng ẩn trong mạng tại thời điểm
ngay trước đó cũng là đầu vào cho nơ ron tầng ẩn tại thời điểm hiện tại. Do đó, mạng RNN lưu được các giá trị thông tin từ nhiều bước, tối ưu cho việc xử lý các bài toán dạng chuỗi
Mạng nơ-ron LSTM
Mạng học sâu LSTM (Long Short-Term Memory networks) là một mạng neutal hồi quy thường được dùng trong các bài toán dự báo chuỗi thời gian, mạng LSTM [17] là một dạng mạng nơ-ron hồi quy RNN (Recurrent Neural Network) với trữ lượng bộ nhớ có thể thay đổi phụ thuộc theo thời gian, thường được sử dụng trong các bài toán xác định quan hệ giữa các thành phần của một chuỗi thời gian. Đối với mạng nơ-ron hồi quy, đầu ra tại một lớp không chỉ dựa vào đầu vào ở thời điểm hiện tại mà còn phụ thuộc vào đầu ra ở thời điểm trong quá khứ. (Gating Mechanism).
Để có thể lưu lại các thông tin từ trong quá khứ, mạng LSTM được trạng bị cổng vào (input), cổng quên (forget) và cổng ra (output). Cổng vào có nhiệm vụ chỉ định được số lượng đầu vào cập nhật cho trạng thái mới. Cổng quên giúp mô hình bỏ các lượng thông tin ở trạng thái trước. Cổng ra sẽ điều chỉnh lượng thông tin đi ra và truyền tới các nút mạng khác.
Mạng nơ-ron GRU
Mạng GRU có thể nói là tương đối giống với mạng LSTM [14]. Nếu như LSTM có xu hướng nhớ và quên một cách có chủ địch thì GRU sử dụng hai cổng thiết lập (reset) r và cổng cập nhật (update) z để lưu trữ lại một phần thông tin trong quá khứ. Cổng vào và cổng quên được tích hợp thành cổng cập nhật z, trong khi đó cổng r xử lý trực tiếp dữ liệu từ trạng thái ẩn phía trước. Các khác biệt này được chỉ rõ trong cấu trúc của các nút trong mạng, thể hiện qua sự khác nhau giữa cách mạng thực hiện tính toán, quyết định đến bộ tham số của mạng
Xử lý dữ liệu vecto chuỗi
Về mặt lý thuyết, GRU được ưu tiên do cơ chế hoạt động đơn giản, cần hồi quy ít tham số hơn, đồng thời dữ liệu đầu vào ít rằng buộc hơn. Ngược lại, LSTM sẽ được sử dụng và cho hiệu năng cao hơn với các tập dữ liệu đầy đủ.
Đối với các mô hình học sâu, một trong những công việc quan trọng là biến đổi dữ liệu ban đầu về dạng dữ liệu chuỗi thời gian, trong thực nghiệm này, em lựa chọn mốc mười tháng là đầu vào để dự đoán được một tháng tiếp theo trong tương lai. Quá trình biến đối thực chất là quá trình chuyển đổi chiều của bộ dữ liệu ban đầu, từ (A,b) thành (A-10,1,(10,b)).