Dự báo chuỗi thời gian hỗn loạn kết hợp mạng lstm, autoencoder và lý thuyết hỗn loạn

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HUY DỰ BÁO CHUỖI THỜI GIAN HỖN LOẠN KẾT HỢP MẠNG LSTM, AUTOENCODER VÀ LÝ THUYẾT HỖN LOẠN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 02 năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS TS Dương Tuấn Anh Cán chấm nhận xét : PGS TS Võ Thị Ngọc Châu Cán chấm nhận xét : TS Bùi Công Giao Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 08 tháng 02 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS Lê Hồng Trang - Chủ tịch hội đồng TS Nguyễn Thị Ái Thảo - Thư ký PGS TS Võ Thị Ngọc Châu – Phản biện TS Bùi Công Giao – Phản biện TS Nguyễn Thị Thanh Sang - Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Đức Huy MSHV: 2070010 Ngày, tháng, năm sinh: 23/06/1996 Nơi sinh: Vĩnh Long Chuyên ngành: Khoa học máy tính Mã số : 8480101 I TÊN ĐỀ TÀI: Dự báo chuỗi thời gian hỗn loạn dựa mạng LSTM, AutoEncoder lý thuyết hỗn loạn (Prediction of chaotic time series based on LSTM, AutoEncoder, and Chaos Theory) II NHIỆM VỤ VÀ NỘI DUNG : Nhiệm vụ : Nghiên cứu lý thuyết hỗn loạn áp dụng cho chuỗi thời gian hỗn loạn để đề xuất phương pháp dự báo dựa việc tái tạo không gian pha Huấn luyện mạng AutoEncoder để xây dựng rút trích đặc trưng từ liệu không gian pha Huấn luyện dự báo dựa mạng LSTM Nghiên cứu thực nghiệm tám liệu khác bao gồm liệu tổng hợp liệu thực tế Nội dung : Nghiên cứu lý thuyết hỗn loạn, áp dụng độ đo thông tin tương hỗ trung bình (Average Mutual Information) để xác định độ trễ, giải thuật lân cận gần giả (False Nearest Neighbor) để tìm số chiều nhúng hợp lý Tái tạo không gian pha từ chuỗi thời gian đơn biến ban đầu Cài đặt huấn luyện mạng AutoEncoder Dùng mã hóa lấy từ mạng AutoEncoder để rút trích đặt trưng Thực số kỹ thuật sinh đặt trưng, chuẩn hóa liệu chuẩn bị đầu vào cho dự báo Huấn luyện dự báo tám liệu khác So sánh phương pháp khác: mạng LSTM không dùng lý thuyết hỗn loạn, mạng LSTM dùng lý thuyết hỗn loạn, dùng mạng AutoEncoder lý thuyết hỗn loạn Thực nghiệm dùng mạng Bi-LSTM thay cho LSTM III NGÀY GIAO NHIỆM VỤ : 14/02/2022 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 10/12/2022 V CÁN BỘ HƯỚNG DẪN: PGS TS Dương Tuấn Anh Tp HCM, ngày 01 tháng 03 năm 2023 CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH PGS TS Dương Tuấn Anh TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH TĨM TẮT BÁO CÁO Lời cảm ơn Lời đầu tiên, xin gửi lời cảm ơn chân thành đến thầy PGS TS Dương Tuấn Anh, kiên nhẫn hướng dẫn giúp đỡ tơi xun suốt q trình thực luận văn tốt nghiệp Dù có nhiều khó khăn năm dịch bệnh Covid-19, hỗ trợ từ thầy, thầy góp ý phản biện liên tục giúp tơi có hội phát triển hồn thiện đề tài tốt Nếu khơng có dẫn từ thầy, khó lịng cơng trình thành hình Kế tiếp, tơi muốn dành lời cảm ơn đến gia đình, họ người bên cạnh, động viên để vững tin nghiên cứu Sự hy sinh thầm lặng, thời gian công sức để chuyên tâm vào công việc nghiên cứu Sau cùng, tơi xin kính chúc q Thầy Cô khoa Khoa Học Kĩ Thuật Máy Tính thật nhiều sức khỏe, ln giữ vững niềm tin để thực sứ mệnh cao cả, truyền đạt tri thức cho hệ mai sau Một lần nữa, xin chân thành cảm ơn Thành phố Hồ Chí Minh, ngày 27 tháng 03 năm 2022 Nguyễn Đức Huy i TÓM TẮT BÁO CÁO Tóm tắt Luận văn Dù nghiên cứu từ sớm, tại, dự báo chuỗi thời gian, đặc biệt chuỗi có tính chất hỗn loạn chưa cần thiết quan trọng, trải dài lĩnh vực tài chính, thời tiết, thiên văn, mơi trường Cách tiếp cận theo hướng phân tích chuỗi thời gian hệ thống hỗn loạn tất định vận dụng mạng nơ-rơn học sâu cho cải thiện, nhiên nhiều hạn chế Nghiên cứu vận dụng lý thuyết hỗn loạn giúp biểu diễn lại liệu đầu vào, hay gọi tái tạo khơng gian pha, từ áp dụng cách học không giám sát giám sát để cải thiện kết dự báo Ở trình học không giám sát, mạng AutoEncoder huấn luyện sử dụng mã hóa cơng cụ để rút trích đặc trưng ẩn tự động, sau qua dự báo cấu tạo từ lớp mạng Long-Short Term Memory (LSTM) Nghiên cứu thực nghiệm tám liệu mẫu khác bao gồm liệu tổng hợp liệu thực tế Dựa kết quả, phương pháp đề xuất cho cải thiện đáng kể so với cách tiếp cận học sâu trước ii TÓM TẮT BÁO CÁO Abstract Time-series forecasting, especially in a chaotic system, is a critical problem because of its application in ubiquitous real-world areas, namely finance, weather, astronomy, environment, etc There are many studies, but it is still challenging to reach a higher accuracy due to its chaotic characteristic which is very sensitive on the initial condition In this work, we propose an approach that takes advantage of chaos theory to represent data into phase space and combines Long Short-Terms Memory (LSTM) networks and autoencoder (AE) First of all, the process of phase-space reconstruction starts with determining appropriate time lag and embedding dimension by average mutual information and false nearest neighbors algorithm Autoencoder, which is constructed by LSTM units, takes responsibility for latent-feature extraction from unsupervised learning task and feeds into LSTM-based forecaster afterward The experimental results on eight datasets including both synthetic and real-world chaotic time series based on Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), and Mean Absolute Percentage Error (MAPE) reveal that our proposed method outperforms other methods using only AE, LSTM with or without chaos theory iii TÓM TẮT BÁO CÁO Lời cam đoan Tôi tên Nguyễn Đức Huy, học viên cao học khoa Khoa học Kỹ thuật trường Đại học Bách Khoa Tp.HCM, mã số học viên 2070010 Tôi xin cam đoan rằng, luận văn thạc sĩ "Dự báo chuỗi thời gian hỗn loạn kết hợp mạng LSTM, AutoEncoder lý thuyết hỗn loạn" kết tìm hiểu, nghiên cứu đọc lập thân Tôi xin cam đoan: Luận văn thực cho mục đích tìm hiểu nghiên cứu bậc cao học Các cơng trình, báo tham khảo để xây dựng nên luận văn trích dẫn, tham khảo Tất tài liệu trích dẫn có tính kế thừa từ tạp chí cơng trình nghiên cứu cơng bố Những công cụ, phần mềm thực cho luận văn phần mềm mã nguồn mở Hình ảnh số liệu trích dẫn nguồn tham khảo rõ ràng Kết nghiên cứu trình bày trung thực dựa số liệu thực tế chạy chương trình Thành phố Hồ Chí Minh, ngày 27 tháng 03 năm 2022 Nguyễn Đức Huy iv MỤC LỤC Mục lục Lời cảm ơn i Tóm tắt Luận văn ii Abstract iii Lời cam đoan iv Danh sách hình ảnh x Giới thiệu vấn đề 1.1 Giới thiệu vấn đề 1.2 Mục tiêu nghiên cứu 1.3 Các kết đạt 1.4 Cấu trúc luận văn 1 6 10 11 12 13 Mạng Long-Short Term Memory (LSTM) Mạng AutoEncoder 14 20 Cơ sở lý thuyết 2.1 Chuỗi thời gian có tính hỗn loạn 2.2 Tái tạo không gian pha 2.2.1 Xác định độ trễ τ 2.2.2 Xác định số chiều nhúng m 2.2.3 Số mũ Lyapunov 2.3 2.4 v MỤC LỤC 2.5 Một số độ đo đánh giá hiệu dự báo 22 Các cơng trình liên quan 3.1 Dự báo chuỗi thời gian hỗn loạn mạng Radial Basic Function (RBF) 3.2 Dự báo chuỗi thời gian hỗn loạn mạng học sâu Deep Belief Network (DBN) 3.3 Dự báo chuỗi thời gian hỗn loạn mạng LSTM 3.4 Dự báo chuỗi thời gian liệu tỉ giá ngoại tệ mạng LSTM kết hợp AutoEncoder 3.5 Kết luận 24 Phương pháp giải vấn đề 4.1 Tái tạo không gian pha tiền xử lý liệu 4.1.1 Tái tạo không gian pha 4.1.2 Tiền xử lý liệu 4.2 Rút trích đặc trưng mạng AutoEncoder 4.3 Huấn luyện dự báo chuỗi thời gian hỗn loạn 35 36 36 39 42 44 Hiện thực kết thực nghiệm 5.1 Giới thiệu liệu mơ hình so sánh 5.1.1 Giới thiệu liệu 5.1.2 Các mơ hình phương pháp thực nghiệm 5.2 Tái tạo không gian pha 5.3 Tiền xử lý liệu 5.4 Huấn luyện mạng AE rút trích đặc trưng 5.4.1 Huấn luyện mạng AE 5.5 5.6 5.7 5.4.2 Rút trích đặc trưng Huấn luyện dự báo Hiện thực mơ hình đối sánh Kết thực nghiệm đánh giá vi 24 27 29 32 34 47 48 48 53 53 57 63 63 67 68 71 74 CHƯƠNG HIỆN THỰC VÀ KẾT QUẢ THỰC NGHIỆM Hình 5.32: Kết dự báo liệu Rossler Hình 5.33: Kết dự báo liệu Hénon Map 78 CHƯƠNG HIỆN THỰC VÀ KẾT QUẢ THỰC NGHIỆM Hình 5.34: Kết dự báo liệu AUDUSD Hình 5.35: Kết dự báo liệu EURUSD 79 CHƯƠNG HIỆN THỰC VÀ KẾT QUẢ THỰC NGHIỆM Hình 5.36: Kết dự báo liệu Sunspots Hình 5.37: Kết dự báo liệu IBM 80 CHƯƠNG KẾT LUẬN Chương Kết luận Phần kết luận văn trình bày số kết đạt đuọc, ưu nhược điểm phương pháp dự báo đề xuất cho toán dự báo chuỗi thời gian có tính hỗn loạn Sau số hướng phát triển tương lai 6.1 Những kết đạt Trong nghiên cứu này, phương pháp đề xuất (AELSTM_C) vận dụng kết hợp mạng AutoEncoder, LSTM lý thuyết hỗn loạn mang lại kết đáng ghi nhận Phương pháp đề xuất đề xuất gồm bước tóm tắt nhau: Tái tạo không gian pha tiền xử lý liệu Huấn luyện mạng AutoEncoder rút trích đặc trưng mã hóa mạng AutoEncoder Ghép nối đặc trưng, sau huấn luyện dự báo Điểm mạnh phương pháp đề xuất kết hợp lý thuyết hỗn loạn, rút trích đặc trưng từ mạng AE (kiến trúc từ LSTM) mạng LSTM dùng để dự báo Ngoài ra, nghiên cứu thực nghiệm mạng Bi-LSTM, gọi AEBiLSTM_C 81 CHƯƠNG KẾT LUẬN Từ kết thực nghiệm thu chương 5, số kết luận quan trọng rút từ luận văn sau: • Phương pháp đề xuất cho hai biến thể AELSTM_C AEBiL- STM_C thu kết dự báo cải thiện đáng kể • Dữ liệu biến đổi, biễu diễn lại không gian pha áp dụng lý thuyết hỗn loạn cho kết tốt so với sử dụng liệu thô ban đầu • Kiến trúc mạng AE dựa LSTM dùng làm dự báo (AE_C) có cải thiện đơi chút so với mạng LSTM thơng thường • Việc sử dụng mã hóa từ AE để rút trích đặc trưng sau dùng để huấn luyện dự báo cho kết tốt Nói cách khác, phương pháp AELSTM_C AEBiLSTM_C cho kết tốt so với phương pháp đối sánh cịn lại • Trong số trường hợp, việc sử dụng thêm tầng mạng Bi-LSTM cho cải thiện kết dự báo Nhưng chưa thể kết luận phương pháp tốt • Sai số liệu tổng hợp giảm mạnh sử dụng phương pháp đề xuất liệu mang tính chất hỗn loạn cao Bảng 6.1 trình bày số ưu nhược điểm phương pháp dự báo đề xuất 6.2 Hướng phát triển Có thể thấy rằng, phương pháp dự báo đề xuất (AELSTM_C AEBiLSTM_C) cho cải thiện đáng kể độ đo sai số dự báo so với phương pháp dự báo khác Tuy nhiên, trình tối ưu kết 82 CHƯƠNG KẾT LUẬN Ưu điểm Nhược điểm Cải thiện đáng kể so với dùng Cần huấn luyện mô hình AE liệu thơ liệu có tính hỗn LSTM cho tồn q trình loạn Kết hợp học không giám sát Sử dụng điểm liệu xa học giám sát khứ chuỗi thời gian Chỉ cần sử dụng liệu Số chiều lớn sử dụng liệu đơn biến đa biến Bảng 6.1: Ưu nhược điểm phương pháp đề xuất cịn tiếp tục để đạt kết tốt Dưới số hướng nghiên cứu thực để cải thiện mơ hình • Tăng hiệu rút trích đặc trưng biến thể mạng AutoEn- coder mơ hình Encoder-Decoder khác • Sử dụng kỹ thuật tập trung (attention mechanism) [12], tập trung vào giá trị quan trọng, đặt biệt kiện mang tính chất “cánh bướm” • Thử nghiệm số cách, giải thuật chọn độ trễ τ số chiều nhúng m khác • Chọn độ trễ τ giá trị nhỏ độ đo tương hỗ thông tin giới hạn cho phép thay giá trị cực tiểu • Dựa vào tảng phương pháp này, mở rộng để giải toán dự báo nhiều bước(multi-step ahead forecasting) với chuỗi thời gian có tính hỗn loạn • Thử nghiệm liệu chuỗi thời gian đa biến 83 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC Danh mục cơng trình khoa học Hội nghị quốc tế: N D Huy and D T Anh, "Prediction of Chaotic Time Series based on LSTM, Autoencoder and Chaos Theory," International Conference on Context-Aware Systems and Applications, Vinh Long city, Vietnam, 2022 Hình 6.1: Chứng nhận tham dự hội nghị 84 TÀI LIỆU THAM KHẢO Tài liệu tham khảo [1] F Takens, “Detecting strange attractors in turbulence,” Dynamical Systems and Turbulence, vol 898, 1981, issn: 0899-7667 doi: https: //doi.org/10.1007/BFb0091924 [2] A M Fraser and H L Swinney, “Independent coordinates for strange attractors from mutual information,” Phys Rev A, vol 33, pp 1134– 1140, Feb 1986 doi: 10.1103/PhysRevA.33.1134 [3] N V Truc and D T Anh, “Chaotic time series prediction using radial basis function networks,” in 2018 4th International Conference on Green Technology and Sustainable Development (GTSD), Ho Chi Minh City University of Technology and Education, Vietnam: IEEE, Nov 2018, pp 753–758 doi: 10.1109/GTSD.2018.8595677 [4] E Chong, C Han, and F C Park, “Deep learning networks for stock market analysis and prediction: Methodology, data representations, and case studies,” Expert Systems with Applications, vol 83, pp 187– 205, 2017, issn: 0957-4174 doi: https://doi.org/10.1016/j.eswa 2017.04.030 [Online] Available: https://www.sciencedirect.com/ science/article/pii/S0957417417302750 [5] J Zheng, X Fu, and G Zhang, “Research on exchange rate forecasting based on deep belief network,” Neural Computing and Applications, vol 31, pp 1–10, Jan 2019 doi: 10.1007/s00521-017-3039-z 85 TÀI LIỆU THAM KHẢO [6] T N H Nam and D T Anh, “Chaotic time series prediction with deep belief networks: An empirical evaluation,” Science amp; Technology Development Journal - Engineering and Technology, vol 3, no SI1, pp SI102–SI112, Dec 2020 doi: https://doi.org/10.32508/stdjet v3iSI1.571 [7] S Hochreiter and J Schmidhuber, “Long Short-Term Memory,” Neural Computation, vol 9, no 8, pp 1735–1780, Nov 1997, issn: 0899-7667 doi: 10.1162/neco.1997.9.8.1735 [8] P R Vlachas, W Byeon, Z Y Wan, T P Sapsis, and P Koumoutsakos, “Data-driven forecasting of high-dimensional chaotic systems with long short-term memory networks,” Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, vol 474, no 2213, pp 20170844, 2018 doi: 10.1098/rspa.2017.0844 [9] Y Zhang, J S Zhu, and J F Zhang, “Short-term passenger flow forecasting based on phase space reconstruction and lstm,” in Proceedings of the 3rd International Conference on Electrical and Information Technologies for Rail Transportation (EITRT) 2017, Singapore: Springer Singapore, 2018, pp 679–688, isbn: 978-981-10-7986-3 [10] Y B Xu, J Zhang, Z Q Long, and M Y Lv, “Daily urban water demand forecasting based on chaotic theory and continuous deep belief neural network,” Neural Processing Letters, vol 50, Oct 2019 doi: 10.1007/s11063-018-9914-5 [11] M Sangiorgio and F Dercole, “Robustness of lstm neural networks for multi-step forecasting of chaotic time series,” Chaos, Solitons Fractals, vol 139, pp 110045, 2020, issn: 0960-0779 doi: https://doi.org/ 10.1016/j.chaos.2020.110045 [12] S Du, T Li, Y Yang, and S J Horng, “Multivariate time series forecasting via attention-based encoder-decoder framework,” Neuro Computing, vol 388, May 2020 doi: 10.1016/j.neucom.2019.12.118 86 TÀI LIỆU THAM KHẢO [13] T V Hoa, D T Anh, and D N Hieu, “Foreign exchange rate forecasting using autoencoder and lstm networks,” in Proceedings of International Conference on Intelligent Information Technology (ICIIT), Ho Chi Minh City, Vietnam, ACM, New York, NY, USA, Feb 2021, pp 22–28 [14] “Tradingview.” (Oct 23, 2022), [Online] Available: https : / / tradingview.com/chart [15] M B Kennel, R Brown, and H D I Abarbanel, “Determining embedding dimension for phase-space reconstruction using a geometrical construction,” Phys Rev A, vol 45, pp 3403–3411, Mar 1992 doi: 10.1103/PhysRevA.45.3403 [16] M T Rosenstein, J J Collins, and C J D Luca, “Reconstruction expansion as a geometry-based framework for choosing proper delay times,” PHYSICA D, vol 73, pp 82–98, 1994 [17] M Schuster and K K Paliwal, “Bidirectional recurrent neural networks,” IEEE Trans Signal Process., vol 45, pp 2673–2681, 1997 [18] T Kuremoto, M O K Kobayashi, T Hirata, and S Mabu, “Forecast chaotic time series data by dbns,” in 7th International Congress on Image and Signal Processing, Oct 2014 doi: 10.13140/2.1.1253 5362 [19] S Siami-Namini, N Tavakoli, and A S Namin, “A comparative analysis of forecasting financial time series using arima, lstm, and bilstm,” in IEEE BigData, Los Angeles, CA, USA, 2019 [20] C H Yang and H Y Shen, “Analysis and prediction of chaotic time series based on deep learning neural networks,” in 2020 International Conference on System Science and Engineering (ICSSE), Kagawa, Japan, Aug 2020, pp 1–9 doi: 10.1109/ICSSE50014.2020.9219302 87 TÀI LIỆU THAM KHẢO [21] N N Phien, D T Anh, and J Platos, “A comparison between deep belief network and lstm in chaotic time series forecasting,” in Proc of Int Conf on Machine Learning and Machine Intelligence (MLMI), HangZhou, China, Sep 2021, pp 157–163 [22] “Foreign exchange rate of eur/usd.” (Oct 23, 2022), [Online] Available: https://www.investing.com/currencies/aud-usd-historicaldata [23] “Foreign exchange rate of eur/usd.” (Oct 23, 2022), [Online] Available: https://www.investing.com/currencies/eur-usd-historicaldata [24] “Sunspots dataset.” (Oct 23, 2022), [Online] Available: https : / / wwwbis.sidc.be/silso/datafiles [25] “Ibm’s stock closed price.” (Oct 23, 2022), [Online] Available: https: //www.investing.com/equities/ibm-historical-data [26] “Nonlineartseries in r.” (), [Online] Available: https : / / cran r project.org/web/packages/nonlinearTseries/nonlinearTseries pdf [27] “Tserieschaos in r.” (Oct 23, 2022), [Online] Available: https://cran r-project.org/web/packages/tseriesChaos/tseriesChaos.pdf [28] F Cholett “Keras.” (Oct 23, 2022), [Online] Available: http : / / keras.io 88 Phụ lục 89 PHỤ LỤC Bảng đối chiếu thuật ngữ Anh Việt Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Time Series Chuỗi thời gian Chaotic Time Series Chuỗi thời gian có tính hỗn loạn Time Series Forecasting Dự báo chuỗi thời gian Univariate Time Series Chuỗi thời gian đơn biến Multivariate Time Series Chuỗi thời gian đa biến Artificial Neural Network Mạng nơ-ron nhân tạo Viết tắt ANN Deep Belief Network DBN Convolutional Neural Network Mạng nơ-ron tích chập CNN Recurrent Neural Network RNN Mạng nơ-ron hồi quy Long Short-Term Memory LSTM Cell State Trạng thái tế bào Forget Gate Cổng quên thông tin Input Gate Cổng nhập Output Gate Cổng xuất Vanishing Gradient Triệt tiêu gradient Exploding Gradient Bùng nổ gradient Chaos Theory Lý thuyết hỗn loạn 90 PHỤ LỤC Phase Space Không gian pha Phase Space Reconstruction Tái tạo không gian pha Time Delay Thời gian trễ τ Embedding Dimension Số chiều nhúng m Average Mutual Information Trung bình độ tương hỗ thơng tin AMI False Nearest Neighbour Lân cận gần giả FNN Mean Absolute Error Sai số tuyệt đối trung bình MAE Mean Square Error Sai số bình phương trung bình MSE Mean Absolute Percentage Error Sai số phần trăm tuyệt đối MAPE trung bình Multi-step Ahead Prediction Dự báo nhiều bước One-step Ahead Prediction Dự báo đơn bước Moving Average Trung bình di động Attention Mechanism Cơ chế tập trung Foreign Exchange Rate Tỉ giá ngoại tệ Learning Rate Hằng số học Early Stopping Dừng sớm Overfitting Quá khớp Backpropagation Lan truyền ngược Decoder Bộ giải mã Encoder Bộ mã hóa Latent Space Representation Biểu diễn không gian ẩn Radial Basis Function Hàm sở xuyên tâm 91 MA RBF PHỤ LỤC Lý Lịch Trích Ngang Họ Tên: Nguyễn Đức Huy Ngày tháng năm sinh: 23/06/1996 Nơi sinh: Vĩnh Long Địa liên hệ: 44/11 Trần Phú, phường 4, TP Vĩnh Long, tỉnh Vĩnh Long Quá Trình Đào Tạo Thời gian Trường đào tạo Chuyên ngành Trình độ 2014-2018 Đại học Bách Khoa Khoa học máy tính Tp Hồ Chí Minh Kỹ sư 2020-2022 Đại học Bách Khoa Khoa học máy tính Tp Hồ Chí Minh Thạc sĩ Q Trình Cơng Tác Thời gian Đơn vị cơng tác Vị trí 11/2018 - Nay Cơng ty cổ phần VNG Kỹ sư trí tuệ nhân tạo 92