Dự báo dữ liệu chuỗi thời gian có tính hỗn loạn dựa vào mạng nơ ron học sâu

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TẠ NGỌC HUY NAM DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 68.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH THÁNG NĂM 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS.TS Dương Tuấn Anh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Võ Thị Ngọc Châu (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Phạm Văn Chung (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 18 tháng năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) GS.TS Phan Thị Tươi TS Nguyễn Hồ Mẫn Rạng TS Lê Thanh Vân TS Võ Thị Ngọc Châu TS Phạm Văn Chung Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOAKH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Tạ Ngọc Huy Nam MSHV: 1670013 Ngày, tháng, năm sinh: 02/01/1993 Nơi sinh: Quảng Nam Ngành: Khoa học máy tính Mã số : 60.48.01.01 I TÊN ĐỀ TÀI: DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU II NHIỆM VỤ VÀ NỘI DUNG: Hiện thực mạng nơ-ron học sâu DBN (Deep Belief Network) so sánh kết độ xác dự báo với mạng nơ-ron RBF (Radius Basic Function) mạng nơ-ron RBF xây dựng lại không gian pha liệu tổng hợp liệu thực tế III NGÀY GIAO NHIỆM VỤ : 26/02/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 18/06/2018 V CÁN BỘ HƯỚNG DẪN : PGS.TS DƯƠNG TUẤN ANH Tp HCM, ngày 18 tháng năm 2018 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) TRƯỞNG KHOA KH & KTMT (Họ tên chữ ký) LỜI CẢM ƠN  Trước hết, xin đặc biệt gửi lời cảm ơn chân thành sâu sắc đến PGS.TS Dương Tuấn Anh, người trực tiếp hướng dẫn tơi q trình làm luận văn Thầy khơng hướng dẫn chu đáo, tận tình mà cịn cung cấp cho kiến thức, tài liệu hay lời khuyên quý giá suốt trình tơi học tập q trình tìm hiểu làm đề tài luận văn Đây nhân tố thiếu để tạo động lực cho tơi hồn thành đề tài Tơi xin gửi lời cảm ơn đến gia đình, bạn bè, bạn đồng nghiệp, bạn học viên khóa cao học chia sẻ kiến thức cho tôi, người sát cánh, động viên tạo điều kiện tốt để tơi học tập hồn tất luận văn tốt nghiệp Tơi chân thành biết ơn tận tình dạy dỗ giúp đỡ tất quý thầy cô khoa Khoa học Kỹ thuật Máy tính trường Đại học Bách khoa TP HCM Cuối cố gắng hồn thành tốt cho luận văn này, nhiên khó tránh khỏi thiếu sót tầm nhìn thân hạn hẹp, mong nhận góp ý q thầy bạn i TÓM TẮT LUẬN VĂN Trong thập niên gần mơ hình dự báo cho liệu chuỗi thời gian không ngừng phát triển cải tiến thường xuyên Trong có nhiều phương pháp nhằm giúp tối ưu giải thuật cho khả dự báo tốt Mạng nơ-ron nhân tạo nói chung, mạng nơ-ron RBF (Radial Basis Function), mạng nơ-ron học sâu DBN nói riêng nghiên cứu nhiều đề tài áp dụng vào mô hình dự báo thực tiễn liệu chuỗi thời gian nhờ vào khả xấp xỉ hàm phi tuyến Tuy nhiên, nhiều nghiên cứu cho thấy liệu chuỗi thời gian có tính hỗn loạn chất lượng dự báo mạng nơ-ron nhân tạo không cao, mạng nơron RBF cho thời gian huấn luyện nhanh chất lượng dự báo cao mạng ANN độ xác cịn thấp Trong luận văn này, xây dựng thực mô hình dự báo liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng nơ-ron DBN kết hợp với MLP Ý tưởng sử dụng mạng nơ-ron RBM để tận dụng khả rút trích đặc trưng từ liệu trước đưa vào mạng MLP để xấp xỉ hàm phi tuyến Quá trình tái cấu trúc liệu từ mạng RBM thực hỗ trợ tốt cho việc hiệu chỉnh thông số mạng nơron từ với hy vọng cho kết tốt mơ hình khác Trong q trình thực nghiệm việc huấn luyện mạng DBN kết hợp với MLP dự đoán với liệu từ phương trình lý thuyết liệu thực tế có đặc tính hỗn loạn, mơ hình cho thấy khả dự đốn tốt so với mơ mạng nơ-ron nhân tạo túy mơ hình mạng nơ-ron RBF mạng nơ ron RBF xây dựng lại khơng gian pha Các từ khóa: Mạng nơ-ron DBN, RBM, Giải thuật phần kì tương phản (CD), Lý thuyết hỗn loạn, Chuỗi thời gian có tính hỗn loạn, Dự báo liệu chuỗi thời gian ii ABSTRACT In recent decades, the forecast models for time series data have been continuously developed and improved Among them, there are many methods to optimize the algorithms as well as to enhance predictability Artificial neural network in general, RBF (Radial Basis Function) neural network, DBN (Deep Belief Network) in particular have been studied in a variety of domains and applied in several practical time series data due to their learning and nonlinear function approximation ability However, many studies show that the simple forecast models of neural network can not forecast well the chaotic time series data Although RBF traning time is faster and more accurate than ANN, RBF still has low accuracy when predicting for chaotic time series In this work, we study to use DBN neural network plus MLP for forecasting chaotic time series data The main idea of using DBN neural network is to exploit the ability of extracting features from input data of RBM and then the output of RBM is fed into latter layer MLP to approximate non-linearity function The process of reconstruction data of RBM support efficiently for fine-tuning parameter of the DBN model, which is a hope for better result in term of accuracy than other models Experimental results on several real and theoric datasets of chaotic time series reveal that DBN outperforms MLP neural network as well as RBF neural network and RBF with phase space reconstruction Keywords: DBN Neural Network, RBM, Contrastive Divergence Algorithm (CD), Chaos Theory, Chaotic Time Series, Time Series Prediction iii LỜI CAM ĐOAN Tôi xin cam đoan ngoại trừ kết tham khảo từ công trình khác ghi mục tham khảo luận văn, cơng việc trình bày luận văn chúng tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường đại học khác Hồ Chí Minh, ngày … tháng … năm…… Ký tên iv MỤC LỤC LỜI CÁM ƠN i TÓM TẮT LUẬN VĂN ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH ẢNH viii DANH MỤC BẢNG xii CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 CƠ SỞ HÌNH THÀNH ĐỀ TÀI 1.2 Ý NGHĨA ĐỀ TÀI 1.2.1 Ý nghĩa thực tiễn 1.2.2 Ý nghĩa khoa học 1.3 TÓM LƯỢC NHỮNG KẾT QUẢ ĐẠT ĐƯỢC 1.4 CẤU TRÚC BÁO CÁO CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 DỮ LIỆU CHUỖI THỜI GIAN 2.2 DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN 2.2.1 Tính hỗn loạn 2.2.2 Cách xác định tính hỗn loạn dựa vào số mũ Lyapunov 10 2.3 MÁY BOLTZMANN GIỚI HẠN VÀ MẠNG NƠ-RON HỌC SÂU DBN 14 2.3.1 Máy Boltzmann giới hạn RBM 14 2.3.2 Huấn luyện máy Boltzmann giới hạn RBM 15 2.3.3 Mạng nơ-ron học sâu DBN 17 CHƯƠNG CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 21 3.1 SỬ DỤNG ANN ĐỂ DỰ BÁO CHUỖI DỮ LIỆU THỜI GIAN CĨ TÍNH HỖN LOẠN ……………………………………………………………………………21 v 3.2 SỬ DỤNG MẠNG RBF ĐỂ DỰ BÁO CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN …………………………………………………………………………… 24 3.3 SỬ DỤNG MẠNG NƠ-RON HỌC SÂU DBN ĐỂ DỰ BÁO CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN 27 3.4 SỬ DỤNG MẠNG NƠ-RON HỌC SÂU DBN KẾT HỢP VỚI MẠNG MLP ĐỂ DỰ BÁO CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN 29 CHƯƠNG XÂY DỰNG MƠ HÌNH HUẤN LUYỆN VÀ DỰ BÁO DỰA VÀO MẠNG NƠ-RON HỌC SÂU DBN 33 4.1 GIẢI THUẬT PHÂN KÌ TƯƠNG PHẢN (CD) KẾT HỢP VỚI GIẢI THUẬT LAN TRUYỀN NGƯỢC BP 33 4.2 KỸ THUẬT KHỞI TẠO TRỌNG SỐ CHO MẠNG NƠ-RON HỌC SÂU DBN……………………………………………………………………………… 38 4.3 XÂY DỰNG MƠ HÌNH DỰ BÁO 43 4.3.1 Ý tưởng 43 4.3.2 Hiện thực 44 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 46 5.1 CÁCH THỨC THỰC NGHIỆM 46 5.2 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 48 5.2.1 Bộ liệu tạo phương trình Lorenz 48 5.2.2 Bộ liệu tạo phương trình Mackey-Glass 53 5.2.3 Bộ liệu tạo phương trình Rossler 59 5.2.4 Bộ liệu độ đo trung bình vệt đen mặt trời (bão mặt trời) hàng tháng từ tháng năm 1749 tới tháng năm 1977 65 5.2.5 Bộ liệu số giá tiêu dùng (CPI) tháng Tây Ban Nha từ tháng năm 1960 đến tháng năm 2005 69 5.2.6 Bộ liệu tỉ giá trung bình đô la Mỹ với Bảng Anh từ tháng năm 1981 đến tháng năm 2005 74 5.2.7 Bộ liệu giá (đóng cửa) hàng ngày cổ phiếu IBM từ tháng năm 1959 đến tháng năm 1960 79 5.3 NHẬN XÉT CHUNG 85 vi CHƯƠNG KẾT LUẬN 87 6.1 ĐÁNH GIÁ KẾT QUẢ 87 6.1.1 Những công việc làm 87 6.1.2 Những đúc kết mặt lý luận 88 6.1.3 Các mặt hạn chế 88 6.2 HƯỚNG PHÁT TRIỂN 89 TÀI LIỆU THAM KHẢO 90 vii DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU MAE 0.000112 3.63 1.94 MSE 0.000006 17.52 6.42 MAPE 0.35% 137.17% 51% Độ đo vệt MAE 0.0392 33.80 10.82 đen mặt MSE 0.0026 1843.37 150.61 trời MAPE 18.69% 72.27% 20.49% CPI Tây MAE 0.0047 2.13 1.84 Ban Nha MSE 0.000036 5.49 4.46 MAPE 0.52% 1.91% 1.66% Tỉ giá đô la MAE 0.0023 0.15 0.01 Mỹ với MSE 0.00018 0.00027 0.0003 Bảng Anh MAPE 4.87% 2.12% 1.59% Giá cổ MAE 0.03 14.35 5.49 phiếu IBM MSE 0.001608 257.647 41.46 MAPE 3.51% 2.79% 1.06% Roosler Nhận xét: Đối với tập liệu mơ hình DBN cần nhiều thời gian để huấn luyện hai mơ hình cịn lại cấu hình số epoch chạy cho lớp mạng RBM lớp mạng MLP lâu so với liệu khác Kết cho thấy MSE mạng DBN cao mô hình cịn lại, nhiên số MAPE lại thấp so với mạng RBF mạng RBF xây dựng lại khơng gian pha Việc dự đốn mạng DBN tập kiểm thử tốt 5.3 NHẬN XÉT CHUNG Thông qua kết thực nghiệm bảy (7) liệu nhận thấy mạng nơ-ron học sâu DBN cho độ xác vượt trội so với hai mơ hình RBF RBF xây dựng lại không gian pha đặc biệt liệu Lorenz, MackeyGlass, Rossler vệt đen mặt trời (Sun Spot) Điều cho thấy việc rút trích đặc HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 85 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU trưng từ lớp RBM trước qua lớp mạng MLP giúp ích nhiều việc dự báo Lớp RBM sau tái cấu trúc liệu đầu vào hiệu chỉnh trọng số (weights) cách khởi tạo ban đầu cho trọng số phần trọng số phía trước mạng DBN Riêng tập liệu vệt đen mặt trời (Sun Spot) việc sử dụng hai (2) lớp mạng RBM cho khả rút trích đặc trưng mức cao Về mặt sai số: mạng nơ-ron học sâu DBN cho kết mặt sai số tốt so với hai mơ hình cịn lại Đối với toàn bảy (7) tập liệu số MSE DBN cao so với RBF RBF xây dựng lại không gian pha Các số MAE MAPE DBN tốt hơn, riêng hai (2) liệu tỉ giá trung bình la Mỹ với Bảng Anh từ tháng năm 1981 đến tháng năm 2005 liệu giá (đóng cửa) hàng ngày cổ phiếu IBM từ tháng năm 1959 đến tháng năm 1960, số MAPE mơ hình DBN thấp Về mặt thời gian: Việc huấn luyện mạng DBN thời gian lâu so với hai mơ hình cịn lại Đây đánh đổi phải huấn luyện mạng nơ-ron có số lớp ẩn nhiều Khi huấn luyện mạng nơ-ron sâu đồng nghĩa số thông số (các trọng số weights bias) nhiều hơn, cần nhiều thời gian để hiệu chỉnh (fine tuning) Tuy vậy, thời gian để huấn luyện mạng DBN nhanh nằm khoảng thời gian chấp nhận Trong điều kiện thời gian luận văn, chưa thể chạy thật nhiều liệu thời gian có tính hỗn loạn để đưa thống kê cách tin cậy hiệu mạng DBN nên điều khẳng định có thẻ xem kết luận rút từ số thực nghiệm ban đầu HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 86 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU CHƯƠNG KẾT LUẬN Trong chương trình bày kết mà chúng tơi thực luận văn với hạn chế hướng phát triển đề tài 6.1 ĐÁNH GIÁ KẾT QUẢ 6.1.1 Những công việc làm Trong q trình thực đề tài, chúng tơi thực công việc sau đây: ▪ Nghiên cứu lý thuyết liệu chuỗi thời gian có tính hỗn loạn ▪ Nghiên cứu mạng nơ-ron học sâu DBN số thuật toán liên quan tới việc huấn luyện mạng nơ-ron DBN giải thuật phân kì tương phản CD để huấn luyện RBM, rút trích đặc trưng liệu phần khơng thể thiếu đề tài ▪ Tìm hiểu việc điều chỉnh tham số mạng nơ-ron học sâu DBN hệ số học cho mạng RBM, số lần lấy mẫu giải thuật CD, số lớp RBM ▪ Nghiên cứu framework Tensorflow để phục vụ cho việc xây dựng mơ hình dự báo ▪ Hiện thực hệ thống dự báo liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng nơ-ron học sâu DBN ▪ Kiểm tra độ xác mơ hình DBN bảy (7) liệu bao gồm ba (3) liệu tổng hợp (synthetic data) (từ phương trình tốn học) bốn (4) liệu thực tế (real data) đạt kết dự báo với độ xác cao so với mơ hình mạng nơ-ron RBF mạng nơ-ron RBF xây dựng lại không gian pha đa số liệu (5 liệu) HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 87 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU 6.1.2 Những đúc kết mặt lý luận Mạng nơ-ron RBF có thời gian chạy nhanh mơ hình mạng có đơn giản giải thuật huấn luyện mạng chưa tốt nên việc dự báo chưa đạt kết cao Mạng nơ-ron RBF kết hợp xây dựng lại không gian pha biến thể RBF, ứng dụng việc xây dựng lại không gian pha liệu trước đưa vào trình huấn luyện, mặc kết tốt RBF mơ hình ba lớp (một lớp đầu vào, lớp ẩn lớp đầu ra) đơn giản nên việc dự báo chưa thực xác Mạng nơ-ron học sâu DBN có mơ hình phức tạp kết hợp lớp mạng RBM lớp mạng MLP, giải thuật huấn luyện phân kì tương phản CD (là dạng đơn giản giải thuật lấy mẫu Gibbs) cho phép tìm điểm lấy mẫu với xác suất cao để tính kì vọng cho vector, phục vụ cho trình hiệu chỉnh trọng số mạng RBM Mạng MLP có khả xấp xỉ hàm phi tuyến tính cho phép học đặc tính liệu tốt Tuy có thời gian huấn luyện lâu hơn, nhìn chung mạng DBN cho thấy kết tốt so với mạng RBF mạng RBF xây dựng lại không gian pha Kết thực nghiệm từ bảy liệu chứng tỏ điều 6.1.3 Các mặt hạn chế Việc xác định thông số cấu hình cho mạng DBN khác tập liệu khác Việc tìm thơng số phù hợp cho mạng DBN hội tụ tập liệu cịn khó khăn Chính nhiều thời gian để thực điều chưa có kinh nghiệm việc điều chỉnh thông số để huấn luyện mạng nơ-ron học sâu nói chung Và lần điều chỉnh thơng số phải huấn luyện lại cho mạng để kiểm tra kết thơng số tương ứng với mơ Điều địi hỏi cần có giải thuật để tự động học thông số mạng ứng với liệu khác HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 88 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Ngồi ra, chúng tơi chưa có điều kiện chạy thực nghiệm thật nhiều liệu thời gian có tính hỗn loạn lĩnh vực khác để đưa kết luận đáng tin cậy chất lượng dự báo mơ hình mạng nơ-ron học sâu DBN 6.2 HƯỚNG PHÁT TRIỂN Đối với trình huấn luyện mạng, cải tiến việc xác định thông số mạng DBN thông qua giải thuật di truyền (GA), giải thuật tối ưu hóa bầy đàn (particle swarm optimization (PSO)), hay giải thuật Harmony Search cách tự động Các giải thuật tìm thơng số tốt để mạng DBN hội tụ nhanh với chất lượng dự báo cao Đối với chương trình, cần đóng gói lại thành chương trình có giao diện để giao tiếp với người sử dụng Có thể tích hợp mơ-đun trang web để người tải lên file liệu dạng chuỗi thời gian dạng text (.txt) file excel (.csv) để kiểm thử chất lượng dự báo mạng DBN nhiều liệu khác HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 89 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU TÀI LIỆU THAM KHẢO [1] H Inoue, Y Fukunaga and H Narihisa, "Efficient Hybrid Neural Network for Chaotic Time Series Prediction," Artificial Neural Networks — ICANN 2001, vol 2130, pp 712-718, 2001 [2] Z Shi, M Han and J Xi, "Exploring the neural state space learning from onedimension chaotic time series," in Networking, Sensing and Control, Liaoning, 2005 [3] Nguyễn Văn Trực, "Dự báo chuỗi thời gian có tính hỗn loạn sử dụng mạng nơron RBF," Luận Văn Thạc sĩ, Khoa khoa học kĩ thuật máy tính, Trường đại học quốc gia TP Hồ Chí Minh, 2016 [4] J C Sprott, Chaos and Time-series Analysis, Oxford University Press Inc., 2003 [5] Z Liu, "Review Article Chaotic Time Series Analysis," Mathematical Problems in Engineering, vol 2010, pp 1-31, 2010 [6] H Kantz and T Schreiber, Nonlinear time series analysis, Cambridge University Press, 2004 [7] H Yazdani, "Prediction of chaotic time series using neural network," in Proceeding of the 10th WSEAS International Conference on NEURAL NETWORKS (NN’09), 2009 [8] J Eckmann, S O Kamphorst, D Ruelle and S Ciliberto, "Liapunov exponents from time series," Physical Review A, p 4971–4979, 1986 [9] Y.-C LAI and N YE, "Recent Developments In Chaotic Time Series Analysis," International Journal of Bifurcation and Chaos, vol 13, pp 13831422, 2003 HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 90 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU [10] J Eckmann and D Ruelle, "Ergodic theory of chaos and strange attractors," Reviews of Modern Physics, pp 617-656, 1985 [11] Z Shudong, L Weiguang, N Jun, W Guangzhi and Z Lina, "Combined Method of Chaotic Theory and Neural Networks for Water Quality Prediction," Journal of Northeast Agricultural University, vol 17, no 1, pp 71-76, 2010 [12] L Ma and X Xu, "RBF Network-Based Chaotic Time Series Prediction and It’s Application in Foreign Exchange Market," in Proceedings of the Fist International Conference on Complexity Science Management, Wuhan, 2007 [13] M Verleysen and K Hlavackova, "Learning in RBF Networks," Proc of Int Conf on Neural Networks (ICNN), pp 199-204, 1996 [14] T Kuremoto, M Obayashi, S Kimura, K Kobayashi, "Times Seires Forecasting Using Restricted Boltzmann Machine," Communications in Computer and Information Science, 2012 [15] T Kuremoto, M Obayashi, K Kobayashi, T Hirata, S Mabu, "Forecast Chaotic Time Series Data by DBNs," 7th International Congress on Image and Signal Processing, 2014 [16] K.He, X.Zhang, S.Ren, J.Sun, "Deep Residual Learning for Image Recognition," Computer Vision Foundation Open Access, 2015 [17] X Glorot, Y Bengio, "Understanding the difficulty of training deep feedforward neural networks," Proceeding of AISTATS, pp 249-256, 2010 [18] S Pattanayak, Pro Deep Learning with Tensorflow, 2017 HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 91 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH – VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Activation function Hàm kích hoạt Deep Belief Network Mạng nơ-ron học sâu niềm tin DBN Restricted Bolzmann Machine Máy Bolzmann giới hạn Uniform Distribution Phân bố chuẩn High Level Feature Đặc trưng mức cao Bias Bias Hidden Unit Đơn vị ẩn Visible Unit Đơn vị nhìn thấy Weights Trọng số Vanishing Gradient Suy giảm độ dốc Exploding Gradient Bùng nổ độ dốc Artificial Neural Network Mạng nơ-ron nhân tạo HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 RBM b W ANN A-1 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Attractor Reconstruction Xây dựng lại không gian attractor Benchmark Problems Bài toán tiêu chuẩn Mini-Batch Learning Học theo bó nhỏ Batch Learning Học theo bó Classification Phân lớp Chaos Theory Lý thuyết hỗn loạn Chaotic Time Series Chuỗi thời gian có tính hỗn loạn Delay Time Thời gian trễ Dynamical System Hệ động lực Nonlinear Dynamical System Hệ động lực phi tuyến False Nearest Neighbors Lân cận giả Gradient Descent Tối ưu giảm độ dốc Optimization Contrastive Divergence Phân kì tương phản HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 CD A-2 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Gradient Độ dốc Gradient Descent Giảm độ dốc Global Minimum Cực tiểu toàn cục Dynamical System Hệ thống động lực Hénon Map Biểu đồ Hénon Least-Square Bình phương tối thiểu Learning By Epoch Học theo epoch Learning By Pattern Học theo mẫu Learning By Group Pattern Học theo nhóm mẫu Learning Rate Hệ số học Local Minimum Tối ưu cục Measurable Function Hàm khả đánh giá Mean Absolute Errors Trung bình tuyệt đối lỗi Mean Square Error Sai số bình phương trung bình MSE HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 MAE A-3 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Mean Absolute percentage Trung bình phần trăm tuyệt Error đối Momentum Term Hệ số quán tính Multi-Layer Perceptrons Perceptron nhiều tầng Multifractal Dimension Chiều đa phân hình Online Learning Học trực tuyến Oscillation Giao động Overall Error Lỗi tổng thể Overfitting Quá khớp Particle Swarm Optimization Tối ưu hóa bầy đàn Pattern Set Tập mẫu Phase Space Khơng gian pha Seasonal Tính mùa Singular Value Phân giải giá trị suy biến MAPE MLP PSO SVD Decomposition HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 A-4 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Radial Basis Function Mạng RBF Network Time Series Chuỗi thời gian Training Algorithm Giải thuật huấn luyện Trend Tính xu hướng HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 A-5 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LÝ LỊCH TRÍCH NGANG Họ tên: Tạ Ngọc Huy Nam Ngày sinh: 02/01/1993 Nơi sinh: Quảng nam Địa liên lạc: 67 Huỳnh Thiện Lộc, chung cư Khang Phú, Quận Tân Phú, TP Hồ Chí Minh HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 B DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU QUÁ TRÌNH ĐÀO TẠO Thời gian Trường đào tạo Chuyên ngành Trình độ đào tạo 2011-2016 2016-2018 Trường đại học Bách Khoa khoa học kĩ Khoa TP Hồ Chí Minh thuật máy tính Trường đại học Bách Khoa Học Máy Tính Cử nhân Thạc Sỹ Khoa TPHCM HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 C DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Q TRÌNH CƠNG TÁC Đơn vị cơng tác Thời gian 4/2016-4/2017 12/2017-6/2018 Vị trí Trường đại học bách khoa Tp Hồ Chí Trợ lý giảng dạy mơn Minh mạng máy tính Cơng ty khởi nghiệp Hiip Lập trình, nghiên cứu ứng dụng học máy HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 D ... ? ?dự báo chuỗi liệu thời gian có tính hỗn loạn dựa vào mạng nơ- ron học sâu? ?? HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 32 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ -RON. .. Trang DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ -RON HỌC SÂU Dữ liệu chuỗi thời gian có tính hỗn loạn: thuyết hỗn loạn (chaos theory) lĩnh vực nghiên cứu toán học ứng dụng vào. .. Trang 21 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CĨ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ -RON HỌC SÂU thiết lập kết hợp lý thuyết hỗn loạn mạng nơ- ron lan truyền ngược ứng dụng để dự báo chuỗi thời gian độ đục