Kết hợp mạng nơron và phương pháp thu giảm số chiều trong công tác dự báo dữ liệu chuỗi thời gian

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHAN THỊ BẢO TRÂN KẾT HỢP MẠNG NƠRON VÀ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU TRONG CÔNG TÁC DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 12 năm 2012 i CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – TP.HCM Cán hướng dẫn khoa học: PGS TS Dương Tuấn Anh Cán chấm nhận xét : TS Phạm Văn Chung Cán chấm nhận xét : TS Võ Thị Ngọc Châu Luận văn thạc sĩ đư ợc bảo vệ Trường Đại học Bách Khoa, ĐHQG TP HCM ngày 24 tháng 12 năm 2012 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS Vũ Thanh Nguyên (Chủ tịch) TS Phạm Văn Chung (Phản biện 1) TS Võ Thị Ngọc Châu (Phản biện 2) PGS TS Dương Tuấn Anh (Ủy viên) TS Bùi Hoài Thắng (Thư ký) Xác nhận Chủ tịch Hội đồng đánh giá luận văn Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ii ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VI ỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phan Thị Bảo Trân MSHV: 10070500 Ngày, tháng, năm sinh: 11-10-1978 Nơi sinh: TP.Hồ Chí Minh Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 I TÊN ĐỀ TÀI: Kết hợp mạng nơron phương pháp thu giảm số chiều công tác dự báo liệu chuỗi thời gian II NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu thử nghiệm khả kết hợp mạng nơron nhân tạo với phương pháp thu giảm số chiều PIP PAA nhằm so sánh đánh giá khả dự báo mạng nơron trường hợp có khơng có việc thu giảm số chiều tập liệu dùng để huấn luyện mạng nơron, công tác dự báo liệu chuỗi thời gian III NGÀY GIAO NHIỆM VỤ: 5-9-2012 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 3-12-2012 V CÁN BỘ HƯỚNG DẪN: PGS TS Dương Tuấn Anh Tp HCM, ngày 24 tháng 12 năm 2012 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA (Họ tên chữ ký) iii LỜI CẢM ƠN Chúng xin gửi lời cám ơn chân thành đến thầy Dương Tuấn Anh, thầy dành nhiều thời gian, tận tình hư ớng dẫn, truyền đạt kiến thức kinh nghiệm quý báu để chúng tơi hồn thành luận văn Chúng xin chân thành cám ơn quý thầy cô, quý công viên chức khoa Khoa học máy tính nói riêng trường đại học Bách Khoa TP.HCM nói chung tạo điều kiện thuận lợi để chúng tơi có mơi trường phát triển việc học tập nghiên cứu Mặc dù cố gắng nhiều trình thực luận văn, song với thời gian thực luận văn khả thân cịn hạn chế, chúng tơi khơng tránh khỏi nhiều thiếu sót phần thực luận văn Chúng tơi kính mong thơng cảm, giúp đỡ đóng góp ý kiến tất q thầy bạn để ngày tiến iv TÓM TẮT LUẬN VĂN THẠC SĨ Trong đề tài này, đ ề xuất thử nghiệm khả kết hợp mạng nơron nhân tạo với phương pháp thu giảm số chiều PIP PAA nhằm so sánh đánh giá khả dự báo mạng nơron trường hợp có khơng có việc thu giảm số chiều tập liệu dùng để huấn luyện mạng nơron, công tác dự báo liệu chuỗi thời gian Đồng thời, xây dựng chương trình, tính tốn, so sánh hiệu huấn luyện khả dự báo mạng nơron kết hợp phương pháp thu giảm số chiều với tập liệu khác nhiều hệ số thu giảm khác Kết thực nghiệm cho thấy, cách tổng quát, hiệu việc kết hợp mạng nơron với phương pháp thu giảm số chiều PIP PAA In this thesis, we have suggested and experimented ability of combination of artificial neural network model and dimensionality reduction method PIP or PAA in time series forecasting An application has been built up to compare the prediction accuracy of the neural network and training result in two abilities of combination As a conclusion, the experimental results show the effect of combination of neural network and PIP or PAA v LỜI CAM ĐOAN Tôi xin cam đoan, ngoại trừ kết tham khảo từ cơng trình khác nêu rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày tháng 12 năm 2012 Phan Thị Bảo Trân vi MỤC LỤC DANH MỤC TỪ VIẾT TẮT ix DANH MỤC HÌNH x DANH MỤC BẢNG xii CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 DỮ LIỆU CHUỖI THỜI GIAN 1.2 BÀI TOÁN DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN 1.3 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN BẰNG MƠ HÌNH MẠNG NƠRON NHÂN TẠO 1.4 MỘT SỐ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU TRÊN TẬP DỮ LIỆU HUẤN LUYỆN MẠNG NƠRON 1.5 MỤC TIÊU NGHIÊN CỨU 1.6 CÁC KẾT QUẢ ĐẠT ĐƯỢC 1.7 CẤU TRÚC LUẬN VĂN CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 MẠNG NƠRON NHÂN TẠO 2.1.1 Cấu trúc mạng nơron nhân tạo 2.1.2 Một đơn vị tính tốn mạng nơron 10 2.1.3 Mơ hình kết nối mạng nơron 12 2.1.4 Quá trình xử lý mạng nơron 13 2.1.5 Quá trình huấn luyện mạng nơron 13 2.1.6 Giải thuật lan truyền ngược 13 2.1.7 Giải thuật lan truyền ngược kết hợp momentum 14 2.1.8 Giải thuật Resilient Backpropagation (RPROP) 15 2.1.9 Ứng dụng mạng nơron vào việc dự báo liệu chuỗi thời gian 18 2.1.10 Đánh giá khả dự báo mạng 19 2.2 GIỚI THIỆU TỔNG QUÁT VỀ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU 20 2.3 PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU PAA 21 2.4 PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU DỰA VÀO ĐIỂM QUAN TRỌNG - PIP 23 2.4.1 Phương pháp thu giảm số chiều PIP-ED 26 vii 2.4.2 Phương pháp thu giảm số chiều PIP-PD 27 2.4.3 Phương pháp thu giảm số chiều PIP-VD 28 2.4.4 So sánh phương pháp thu giảm số chiều PIP 29 2.5 HỆ SỐ THU GIẢM 29 2.6 SO SÁNH HAI PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU PIP VÀ PAA 31 2.6.1 Theo tiêu chí khả phản ánh hình dạng tổng quát 32 2.6.2 Theo tiêu chí thời gian thu giảm liệu 33 CHƯƠNG KẾT HỢP MẠNG NƠRON NHÂN TẠO VỚI CÁC PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU 34 3.1 THÀNH PHẦN CỦA MẠNG NƠRON ĐƯỢC KẾT HỢP VỚI PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU 34 3.2 SO SÁNH HAI KHẢ NĂNG KẾT HỢP MẠNG NƠRON VỚI PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU 36 3.3 HỆ SỐ THU GIẢM 39 CHƯƠNG HIỆN THỰC VÀ THỬ NGHIỆM 40 4.1 SƠ ĐỒ CHƯƠNG TRÌNH 40 4.2 GIAO DIỆN VÀ CÁCH SỬ DỤNG 43 4.2.1 Nạp file liệu vào chương trình 43 4.2.2 Nhập thông số để huấn luyện chọn phương pháp thu giảm số chiều 45 4.2.3 Xuất lưu kết tính tốn 46 4.3 PHƯƠNG PHÁP THỰC NGHIỆM 48 4.3.1 Cấu hình mạng nơron 49 4.3.2 Các thông số trình huấn luyện mạng nơron 49 4.3.3 Hệ số thu giảm phương pháp thu giảm số chiều 50 4.3.4 Đánh giá hiệu huấn luyện khả dự báo mạng nơron trường hợp 50 4.4 DỮ LIỆU THỰC NGHIỆM 50 4.5 KẾT QUẢ THỰC NGHIỆM VÀ NHẬN XÉT 53 4.5.1 Kết thực nghiệm khả kết hợp thứ 55 4.5.2 Kết thực nghiệm khả kết hợp thứ hai 62 4.5.3 Nhận xét chung cho hai khả kết hợp 64 CHƯƠNG KẾT LUẬN 65 viii 5.1 TỔNG KẾT 65 5.2 VẤN ĐỀ TỒN TẠI VÀ HƯỚNG PHÁT TRIỂN 65 TÀI LIỆU THAM KHẢO 67 ix DANH MỤC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ ANN Artificial Neural Network (mạng thần kinh nhân tạo) DFT Discrete Fourier Transform DWT Discrete Wavelets Transform ED Euclidean distance PAA Piecewise Aggregate Approximation PD Perpendicular distance PIP Perceptually Important Points RMSE Root mean square error RPROP Resilient Backpropagation SVD Singular Value Decomposition SVM Support Virtual Machine VD Vertical distance Chương Hiện thực thử nghiệm 54  Sử dụng tập liệu khác kích thước lẫn kiểu (thành phần) liệu  Có kết hợp phương pháp thu giảm số chiều PIP-VD PAA hai trường hợp: thu giảm tập liệu chuỗi thời gian thu giảm chuỗi liệu (subsequence) dùng làm cửa sổ trượt trình huấn luyện mạng nơron  Hệ số thu giảm thử nghiệm bao gồm: 2, 5, 10, 20  Cuối cùng, so sánh khả dự báo mạng nơron trường hợp cụ thể thơng qua số RMSE q trình kiểm tra, đồng thời so sánh hệ số lỗi RMSE q trình huấn luyện mạng nơron Chúng tơi chia thành phần thử nghiệm rõ rệt tương ứng với khả kết hợp phương pháp thu giảm số chiều vào mạng nơron:  Phần tương ứng với khả kết hợp thứ nhất, thu giảm số chiều tập liệu, dùng tập kết thu giảm làm liệu huấn luyện mạng nơron theo giải thuật huấn luyện RPROP truyền thống  Phần dùng tập liệu ban đầu để huấn luyện mạng nơron, liệu dùng làm cửa sổ trượt để huấn luyện mạng kết thu giảm số chiều từ chuỗi liệu có kích thước lớn kích thước cửa sổ trượt Kết thực nghiệm trình bày dư ới dạng bảng so sánh Ví dụ bảng so sánh Bảng 4.2 so sánh tập liệu Treasury, hệ số thu giảm (không thu giảm) 2, hai trường hợp kết hợp phương pháp PIP PAA Để giúp việc đưa nhận xét sau có kết tính tốn gãy gọn tập trung vào ý chính, sau chúng tơi gọi tắt: Mạng nơron khơng có kết hợp phương pháp thu giảm ANN Mạng nơron có kết hợp phương pháp thu giảm PIP ANN-PIP Mạng nơron có kết hợp phương pháp thu giảm PAA ANN-PAA Chỉ số lỗi RMSE trình huấn luyện ANN RMSE-Train-ANN Chỉ số lỗi RMSE trình huấn luyện ANN-PIP RMSE-Train-ANN-PIP Chỉ số lỗi RMSE trình huấn luyện ANN-PAA RMSE-Train-ANNPAA  Khả dự báo ANN RMSE-Test-ANN  Khả dự báo ANN-PIP RMSE-Test-ANN-PIP       55 Chương Hiện thực thử nghiệm  Khả dự báo ANN-PAA RMSE-Test-ANN-PAA Các số RMSE cần so sánh đánh giá là: RMSE-Train-ANN-PIP, RMSE-Test-ANN-PIP, RMSE-Train-ANN-PAA, RMSE-Test-ANN-PAA Bảng 4.2 Ví dụ bảng so sánh RMSE nhiều trường hợp khác Tập liệu Hệ số thu giảm Treasury Treasury Không thu giảm ANN-PIP RMSE-Train- RMSE-TestANN-PIP ANN-PIP 102.362 157.246 0.163 0.078 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 102.362 108.741 0.163 0.126 Trong hàng, thông số RMSE in đậm RMSE tốt (giá trị RMSE nhỏ hơn) ANN-PIP ANN-PAA Trong hàng, ô RMSE tô đậm RMSE tốt hơn, so sánh thông số RMSE ANN-PIP với ANN, so sánh thông số RMSE ANN-PAA với ANN Trường hợp mạng nơron không kết hợp phương pháp thu giảm có hệ số thu giảm “không thu giảm” Trường hợp dùng để làm mốc để so sánh cho trường hợp có kết hợp phương pháp thu giảm cịn lại Hàng tương ứng hệ số thu giảm “không thu giảm” này, có chữ thẳng, hàng cịn lại cần so sánh với có chữ nghiêng 4.5.1 Kết q uả thực nghiệm khả kết h ợp thứ Bảng 4.3 kết thực nghiệm khả kết hợp thứ nhất, khả thu giảm số chiều tập liệu dùng để huấn luyện mạng nơron 56 Chương Hiện thực thử nghiệm Bảng 4.3 Kết RMSE khả kết hợp thứ nhất, với nhiều tập liệu khác ANN-PIP RMSE-TrainRMSE-TestANN-PIP ANN-PIP ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA Tập liệu Hệ số thu giảm Treasury Không thu giảm 10 102.362 157.246 241.041 335.683 0.163 0.078 0.209 0.205 102.362 108.741 227.056 316.002 0.163 0.126 0.079 0.020 Pay roll Không thu giảm 10 144.734 221.628 321.976 443.236 0.124 0.235 0.268 0.295 144.734 206.579 325.406 466.506 0.124 0.074 0.072 0.157 Sales Không thu giảm 10 203.953 166.277 251.728 355.467 0.110 0.184 0.279 0.256 203.953 112.136 31.210 14.156 0.110 0.090 0.167 0.230 VNINDEX Không thu giảm 10 20 2,444.885 154.574 103.717 127.545 171.588 0.068 0.058 0.080 0.145 0.193 2,444.885 880.850 85.630 86.031 106.280 0.068 0.042 0.071 0.146 0.153 ExchangeRates Không thu giảm 10 20 2,898.804 4,147.517 6,544.998 9,255.075 13,088.279 0.059 0.059 0.107 0.115 0.156 2,898.804 2,927.641 6,480.127 9,153.170 12,959.442 0.059 0.033 0.047 0.070 0.066 Memory Không thu giảm 10 20 2913.849 4226.180 6685.860 9455.502 13360.183 0.225 0.128 0.142 0.125 0.043 2913.849 1425.465 2262.667 3202.048 4524.856 0.225 0.154 0.100 0.164 0.150 57 Chương Hiện thực thử nghiệm Nhận xét phân tích kết tập Treasury Kết RMSE dùng tập liệu Treasury nêu Bảng 4.4 Bảng 4.4 Kết RMSE dùng tập liệu Treasury Tập liệu Hệ số thu giảm Treasury Không thu giảm 10 ANN-PIP RMSE-TrainRMSE-TestANN-PIP ANN-PIP 102.362 157.246 241.041 335.683 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 0.163 0.078 0.209 0.205 102.362 108.741 227.056 316.002 0.163 0.126 0.079 0.020 Ở trường hợp này, tập Treasury tập nhỏ, có 180 điểm liệu, biến thiên nhiều mức độ chi tiết RMSE-Train-ANN-PAA tỏ tốt RMSE-Train-ANN-PIP việc huấn luyện khả biểu diễn biến thiên chi tiết liệu PAA tốt PIP Kết giải thích tương tự giai đoạn kiểm tra mạng nơron (RMSE-Test-ANN-PAA đa số tốt RMSE-Test-ANN-PIP) So với ANN, ANN-PAA lại cho kết dự báo tốt (RMSE-Test-ANN-PAA nhỏ hơn) Điều tập Treasury tập có thành phần xu hướng nên PAA phản ánh hình dạng tổng quát liệu mà không cần nhiều điểm, tương ứng với hệ số thu giảm cao 10 Nhận xét chung trường hợp tập liệu nhỏ là: ANN-PAA huấn luyện dự báo tốt ANN-PIP ANN-PAA dự báo tốt ANN Nhận xét phân tích kết tập Payroll Kết RMSE dùng tập liệu Pay roll nêu Bảng 4.5 Bảng 4.5 Kết RMSE dùng tập liệu Pay roll Tập liệu Pay roll Hệ số ANN-PIP thu giảm RMSE-TrainANN-PIP Không thu giảm 10 144.734 221.628 321.976 443.236 ANN-PAA RMSE-TestANN-PIP 0.124 0.235 0.268 0.295 RMSE-TrainANN-PAA 144.734 206.579 325.406 466.506 RMSE-TestANN-PAA 0.124 0.074 0.072 0.157 58 Chương Hiện thực thử nghiệm Ở trường hợp này, tập Payroll tập tương đối nhỏ, có 207 điểm liệu, khơng biến thiên mức độ chi tiết biến thiên rõ nét mức độ tổng quát RMSE-Train-ANN-PIP tỏ tốt việc huấn luyện khả biểu diễn hình dạng tổng quát (biến thiên tổng quát) liệu PIP tốt PAA Kết giải thích tương t ự giai đoạn kiểm tra mạng nơron Ngoài ra, hệ số thu giảm cao (5 10), tương ứng với việc dùng điểm liệu để biểu diễn hình dạng tổng quát liệu, phương pháp PIP th ể ưu tổng qt hóa So với ANN, ANN-PAA lại cho kết dự báo tốt Điều tập Pay roll tập có thành phần xu hướng nên PAA phản ánh hình dạng tổng quát liệu mà không cần nhiều điểm Hơn nữa, số điểm liệu đi, thu giảm, tổng lỗi trình kiểm tra d ễ dàng nhỏ trường hợp khơng thu giảm Ngồi ra, hệ số thu giảm cao (hệ số 10) RMSE-Test-ANN-PAA q trình kiểm tra khơng cịn t ốt so với ANN Điều cho thấy, phải cân nhắc việc thu giảm, có nên thu giảm nhiều hay Nếu thu giảm nhiều quá, làm ý nghĩa liệu Nhận xét chung trường hợp này: ANN-PAA tốt ANN-PIP ANN-PAA có khả dự báo tốt ANN, hệ số thu giảm vừa phải Nhận xét phân tích kết tập Sales Kết RMSE dùng tập liệu Sales nêu Bảng 4.6 Bảng 4.6 Kết RMSE dùng tập liệu Sales Tập liệu Hệ số thu giảm Sales Không thu giảm 10 ANN-PIP RMSE-Train- RMSE-TestANN-PIP ANN-PIP 203.953 166.277 251.728 355.467 0.110 0.184 0.279 0.256 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 203.953 112.136 31.210 14.156 0.110 0.090 0.167 0.230 Ở trường hợp này, tập Sales tập nhỏ, có 301 điểm liệu, biến thiên phức tạp mức độ chi tiết 59 Chương Hiện thực thử nghiệm RMSE-Train-ANN-PAA tỏ tốt việc huấn luyện khả biểu diễn biến thiên chi tiết liệu phương pháp PAA tốt phương pháp PIP Kết giải thích tương tự giai đoạn kiểm tra mạng nơron (RMSE-Test-PAA tốt hơn) So với ANN, ANN- PAA lại cho kết RMSE trình huấn luyện kiểm tra tốt (RMSE-Train-ANN-PAA RMSE-Test-ANN-PAA tốt hơn) Điều có (1) phương pháp PAA giữ khả biểu diễn chi tiết biến thiên liệu (2) tập liệu huấn luyện mạng nơron kết hợp thu giảm nhỏ tập liệu huấn luyện mạng nơron không kết hợp thu giảm, nên tổng lỗi RMSE giai đoạn huấn luyện nhỏ Ngoài ra, hệ số thu giảm cao (hệ số 10) RMSE-Test-ANN-PAA trình kiểm tra khơng cịn tốt so với ANN Điều cho thấy, phải cân nhắc việc thu giảm Nếu thu giảm nhiều quá, kết sau thu giảm khơng phản ánh tốt hình dạng tổng quát của liệu ban đầu Nhận xét chung trường hợp này: ANN-PAA tốt ANN-PIP ANN-PAA có khả dự báo tốt ANN, hệ số thu giảm vừa phải Nhận xét phân tích kết tập VNINDEX Kết RMSE dùng tập liệu VNINDEX nêu Bảng 4.7 Bảng 4.7 Kết RMSE dùng tập liệu VNINDEX Tập liệu Hệ số thu giảm VNINDEX Không thu giảm 10 20 ANN-PIP RMSE-Train- RMSE-TestANN-PIP ANN-PIP 2,444.885 154.574 103.717 127.545 171.588 0.068 0.058 0.080 0.145 0.193 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 2,444.885 880.850 85.630 86.031 106.280 0.068 0.042 0.071 0.146 0.153 Ở trường hợp này, tập VNINDEX tập liệu lớn, có 2906 điểm liệu, biến thiên phức tạp mức độ chi tiết, không tuân theo quy luật phương diện tổng thể 60 Chương Hiện thực thử nghiệm RMSE-Train-ANN-PAA tỏ tốt việc huấn luyện khả biểu diễn biến thiên chi tiết liệu phương pháp PAA tốt phương pháp PIP Kết giải thích tương tự giai đoạn kiểm tra mạng nơron (RMSE-Test-PAA tốt hơn) So với ANN, ANN-PAA ANN-PIP cho kết RMSE trình huấn luyện tốt (RMSE-Train-ANN-PIP RMSE-Train-ANN-PAA tốt hơn) Điều (1) số điểm liệu ban đầu lớn, nên sau thu giảm, số lượng PIPs PAA tương đối nhiều, dẫn đến kết liệu thu giảm phương pháp PIP PAA phản ánh hình dạng tổng quát lẫn biến thiên chi tiết liệu ban đầu, (2) tập liệu huấn luyện ANN-PIP, ANN-PAA nhỏ tập liệu huấn luyện ANN, nên tổng lỗi RMSE giai đoạn huấn luyện nhỏ So với ANN, dựa vào kết RMSE giai đoạn kiểm tra, ta thấy khả dự báo hầu hết ANN-PIP ANN-PAA Điều do, thực tế, liệu VNINDEX biến thiên khôn lường, không theo quy luật nào, nên mạng nơron khó có khả dự báo tốt Nhận xét chung trường hợp tập liệu lớn biến thiên không theo quy luật này: ANN-PAA tốt ANN-PIP Cho dù ANN-PAA ANN-PIP có huấn luyện tốt ANN nữa, khả dự báo ANN-PAA ANN-PIP không được, liệu thực tế biến thiên bất định Nhận xét phân tích kết tập Exchange Rate Kết RMSE dùng tập liệu Exchange Rate nêu Bảng 4.8 Bảng 4.8 Kết RMSE dùng tập liệu Exchange Rate Tập liệu Hệ số thu giảm ExchangeRates Không thu giảm 10 20 ANN-PIP RMSE-Train- RMSE-TestANN-PIP ANN-PIP 2,898.804 4,147.517 6,544.998 9,255.075 13,088.279 0.059 0.059 0.107 0.115 0.156 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 2,898.804 2,927.641 6,480.127 9,153.170 12,959.442 0.059 0.033 0.047 0.070 0.066 61 Chương Hiện thực thử nghiệm Ở trường hợp này, tập Exchange Rate tập liệu lớn, có 4773 điểm liệu, biến thiên phức tạp mức độ chi tiết, không tuân theo quy luật phương diện tổng thể RMSE-Train-ANN-PAA tỏ tốt việc huấn luyện khả biểu diễn biến thiên chi tiết liệu phương pháp PAA tốt phương pháp PIP Kết giải thích tương tự giai đoạn kiểm tra mạng nơron (RMSE-Test-PAA tốt hơn) So với ANN, ANN-PAA cho thấy khả dự báo tốt hệ số thu giảm vừa phải (2 5) Điều do, hệ số thu giảm vừa phải, kết thu giảm chứa nhiều điểm liệu, nên cịn phản ánh hình dạng tổng quát lẫn mức độ biến thiên chi tiết liệu ban đầu Nhưng hệ số thu giảm cao hơn, tương đương với điểm liệu sau thu giảm hơn, phương pháp PAA khơng cịn đảm bảo phản ánh hình dạng tổng quát lẫn chi tiết liệu ban đầu, liệu ban đầu liệu biến thiên Nhận xét chung trường hợp tập liệu lớn biến thiên không theo quy luật này: ANN-PAA tốt ANN-PIP ANN-PAA có khả dự báo tốt ANN, hệ số thu giảm vừa phải Nhận xét phân tích kết tập Memory Kết RMSE dùng tập liệu Memory nêu Bảng 4.9 Bảng 4.9 Kết RMSE dùng tập liệu Memory Tập liệu Hệ số thu giảm Memory Không thu giảm 10 20 ANN-PIP RMSE-Train- RMSE-TestANN-PIP ANN-PIP 2913.849 4226.180 6685.860 9455.502 13360.183 0.226 0.128 0.142 0.125 0.043 ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA 2913.849 1425.465 2262.667 3202.048 4524.856 0.226 0.154 0.100 0.165 0.150 Ở trường hợp này, tập Memory tập liệu lớn, có 6210 điểm liệu, biến thiên phức tạp mức độ chi tiết, có thành phần bất thường phương diện tổng thể lẫn chi tiết Chương Hiện thực thử nghiệm 62 RMSE-Train-ANN-PAA tỏ tốt việc huấn luyện khả biểu diễn biến thiên chi tiết liệu phương pháp PAA tốt phương pháp PIP Nhưng kết giai đoạn kiểm tra mạng nơron ngược lại (RMSE-Test-ANN-PIP tốt hơn) So với ANN, ANN-PAA, ANN-PIP cho thấy khả dự báo tốt ANN hầu hết trường hợp Nhận xét chung trường hợp tập liệu lớn biến thiên bất thường: ANN-PAA ANN-PIP có khả dự báo tốt ANN NHẬN XÉT CHUNG Trong hầu hết trường hợp, ANN-PAA tỏ tốt ANN-PIP, có tốt q trình huấn luyện mạng nơron, có tốt khả dự báo mạng Kết tốt có nhờ khả phản ánh chi tiết liệu phương pháp PAA tốt hơn, điều khơng phủ nhận khả phản ánh tốt hình dạng tổng quát liệu phương pháp PIP Trong số trường hợp, phương pháp PAA giữ hình dạng tổng quát chuỗi liệu liệu ban đầu không biến thiên nhiều mức chi tiết, có tính xu hướng Điều dẫn đến hệ số lỗi trình huấn luyện khả dự báo ANN-PAA tốt ANN Ngoải ra, ANN-PAA tỏ không thua ANN, không muốn nói tốt hơn, với hệ số thu giảm số chiều vừa phải, phù hợp Ngoài ra, kết cho thấy số trường hợp, ANN-PAA dự báo cịn tốt ANN ANN-PIP đơi dự báo tốt ANN tần suất thấp ANN-PAA Chúng vừa qua thực nghiệm khả kết hợp thứ thấy kết hợp mạng nơron với phương pháp thu giảm PAA, PIP có ý nghĩa 4.5.2 Kết thực nghiệm khả kết hợp thứ hai Bảng 4.10 kết thực nghiệm khả kết hợp thứ hai, khả thu giảm số chiều tập liệu dùng làm cửa sổ trượt trình huấn luyện mạng nơron 63 Chương Hiện thực thử nghiệm Bảng 4.10 Kết RMSE khả kết hợp thứ hai, với nhiều tập liệu khác ANN-PIP RMSE-TrainRMSE-TestANN-PIP ANN-PIP ANN-PAA RMSE-Train- RMSE-TestANN-PAA ANN-PAA Tập liệu Hệ số thu giảm Deaths Không thu giảm 38.534 43.716 32.942 0.177 0.238 0.230 38.534 48.931 39.457 0.177 0.176 0.178 Treasury Không thu giảm 10 58.740 67.975 83.027 92.045 0.332 0.192 0.203 0.181 58.740 77.550 88.204 97.304 0.332 0.248 0.221 0.242 Pay roll Không thu giảm 10 894.781 109.117 861.119 119.981 0.233 0.352 0.594 0.594 894.781 129.753 111.567 137.055 0.233 0.213 0.250 0.241 Sales Không thu giảm 10 120.838 138.969 161.339 180.783 0.351 0.259 0.247 0.244 120.838 151.516 172.163 190.348 0.351 0.252 0.254 0.251 ExchangeRate Không thu giảm 10 20 216.161 252.091 314.733 366.053 411.015 0.208 0.439 0.223 0.227 0.226 216.161 271.005 329.214 378.577 422.207 0.208 0.433 0.433 0.431 0.430 VNINDEX Không thu giảm 10 20 107.911 147.299 181.503 210.303 235.592 0.190 0.205 0.181 0.180 0.180 107.911 16.244 19.409 22.126 245.416 0.190 0.418 0.438 0.430 0.434 Memory Không thu giảm 10 20 190.421 211.356 210.721 151.564 241.135 0.225 0.362 0.257 0.252 0.387 190.421 232.701 241.240 177.976 257.691 0.225 0.292 0.274 0.339 0.144 NHẬN XÉT CHUNG Qua số liệu thống kê Bảng 4.10 thấy có nhiều trường hợp, ANN-PIP hay ANN-PAA khơng làm giảm khả dự báo so với ANN Một số trường hợp ANNPIP ANN-PAA cịn tốt ANN Ngồi ra, cách kết hợp thứ hai này, có nhiều trường hợp, ANN-PIP có q trình huấn luyện tốt ANN-PAA Cách giải Chương Hiện thực thử nghiệm 64 thích cho tình tốt hay xấu hơn, với kết RMSE tốt hay xấu hơn, tương tự cách phân tích, giải thích phần nhận xét kết cách kết hợp thứ 4.5.3 Nhận xét chung cho hai khả kết hợp Dựa vào hai phần phân tích kết RMSE hai kết hợp bên trên, thấy, dù sử dụng cách kết hợp có nhiều trường hợp khả dự báo mạng nơron không bị suy giảm hay suy giảm không đáng kể, so với trường hợp mạng nơron có kết hợp với hai phương pháp thu giảm số chiều PIP PAA Ngoài ra, số trường hợp khác, khả dự báo mạng nơron có kết hợp thu giảm số chiều lại tỏ tốt mạng khơng có kết hợp Việc lựa chọn kết hợp mạng nơron với phương pháp thu giảm nào, kết hợp để có kết tối ưu cho toán dự báo chuỗi liệu thời gian câu hỏi tìm kiếm muôn thuở, không dừng người nghiên cứu khoa học Thật ra, hiệu mạng nơron hay khả dự báo mạng tùy thuộc nhiều yếu tố khác, vốn thuộc chất toán dùng mạng nơron công tác dự báo liệu chuỗi thời gian: lựa chọn cấu hình mạng nơron thông số giải thuật huấn luyện; nội dung (giá trị điểm liệu khứ) tập liệu huấn luyện ảnh hưởng đến khả dự báo mạng nơron Cho nên, kết so sánh bên có tính chất tổng quát dựa đa số kết có chủ yếu Giả sử, chọn cách kết hợp mạng nơron với phương pháp thu giảm số chiều, vấn đề cần quan tâm tổng thời gian tính tốn mạng Để tiết kiệm thời gian huấn luyện mạng nơron, thu giảm số chiều tập liệu huấn luyện, đồng thời, phải tốn thêm thời gian để thu giảm số chiều Trên phương diện thực tiễn ứng dụng, thời gian tính tốn cịn phụ thuộc yếu tố khách quan khác như: cấu hình máy xử lý, số lượng luồng xử lý, giải thuật cải tiến,… Vì vậy, yếu tố thời gian tính tốn vấn đề cần nghiên cứu thêm 65 Chương Kết luận CHƯƠNG KẾT LUẬN Trong chương này, chúng tơi tổng kết th ực luận văn, đóng góp đề tài, đồng thời nêu lên khả mở rộng đề tài tương lai 5.1 TỔNG KẾT Trong đề tài này, tiếp tục thực nghiên cứu việc kết hợp mơ hình mạng nơron nhân tạo với phương pháp khác nhằm tìm lời giải tối ưu cho toán dự báo liệu chuỗi thời gian Chúng thiết kế thử nghiệm việc kết hợp mạng nơron nhân tạo với hai phương pháp thu giảm số chiều PIP PAA nhằm so sánh đánh giá khả dự báo mạng nơron trường hợp có khơng có việc thu giảm số chiều tập liệu dùng để huấn luyện mạng nơron Ngồi ra, chúng tơi so sánh hai khả kết hợp khác mạng nơron phương pháp thu giảm số chiều Bằng cách xây dựng chương trình thực, tính tốn, so sánh hiệu huấn luyện khả dự báo mạng nơron kết hợp với thu giảm liệu nhiều tình khác nhau, dựa vào kết thực nghiệm, cách tổng quát, thấy hiệu việc kết hợp mạng nơron với phương pháp thu giảm số chiều PIP PAA 5.2 VẤN ĐỀ TỒN TẠI VÀ HƯỚ NG PHÁT TRIỂN Đề tài đề xuất thực nghiệm cách kết hợp mạng nơron với phương pháp thu giảm số chiều nhằm thu giảm kích thước tập liệu huấn luyện mạng nơron, tương đương với việc giảm thời gian tính tốn mạng, mà khơng làm giảm đáng kể khả huấn luyện dự báo mạng nơron Kết thực nghiệm chương cho thấy số khả kết hợp mạng nơron với phương pháp thu giảm PAA, PIP mà không làm giảm khả huấn luyện dự báo mạng nơron Tuy nhiên, đề tài nhiều điểm hạn chế, cần nghiên cứu thêm Chương Kết luận 66 Một vấn đề cần nghiên cứu thêm vấn đề đo đạc thời gian tính tốn việc kết hợp không kết hợp mạng nơron với phương pháp thu giảm số chiều Chúng ta tiết kiệm thời gian tính tốn mạng nơron tập liệu huấn luyện thu giảm, lại thời gian thu giảm tập liệu huấn luyện Vấn đề tổng thời gian tính tốn hai trường hợp Và, khả huấn luyện dự báo mạng nơron xấp xỉ nhau, trường hợp kết hợp với thu giảm số chiều có giúp tiết kiệm thời gian tính tốn chung mạng nơron hay khơng Trong tương lai, có điều kiện thuận lợi, chúng tơi tiếp tục nghiên cứu tổng thời gian tính tốn mạng nơron có kết hợp với phương pháp thu giảm số chiều 67 TÀI LIỆU THAM KHẢO [1] Tak-chung Fu et al Representing financial time series based on data point importance Engineering Applications of Artificial Intelligence 21 (2008) 277300 [2] Tak-chung Fu et al An Innovative Use of Historical Data for Neural Network Based Stock Prediction, 2006 [3] T Kolarik, G Rudorfer Time Series Forecasting Using Neural Networks ACM Sigapl Apl Quote Quad, vol 25, no 1, pages 86-94, 1994 [4] Eamonn Keogh et al Dimensionality Reduction for Fast Similarity Search in Large Time Series Databases, KAIS Long paper submitted 5/16/2000 [5] Riedmiller M and Braun H A direct adaptive method for faster backpropagation learning: The RPROP algorithm Proceedings of the IEEE International Conference on Neural Networks pages 586-591 1993 San Francisco [6] I Kaastra, M Boyd Designing A Neural Network For Forecasting Financial And Economic Time Series Neurocomputing, 10, pages 215-236, 1996 [7] J E Hanke, D W Wichenrn Business Forcasting Pearson Prentice Hall, ISBN 0-13-141290-6, 2005 [8] Dương Tuấn Anh Tổng quan tìm kiếm tương tự liệu chuỗi thời gian www.cse.hcmut.edu.vn/~dtanh/timeseries/similaritysearch.pdf, ngày 1-12-2012 [9] Gouqiang Zhang et al., Forecasting with artificial neural network: The state of the art International Journal of Forecasting 14 (1998) 35-62 [10] Nguyễn Xuân Hùng Luận văn đại học Sử dụng giải thuật di truyền tinh chỉnh cấu hình mạng nơron cho cơng tác dự báo liệu chuỗi thời gian Đại học Bách Khoa TP.HCM, 2011 PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Phan Thị Bảo Trân Ngày, tháng, năm sinh: 11-10-1978 Nơi sinh: TP.Hồ Chí Minh Địa liên lạc: 458/104 Ba Tháng Hai, P.12, Q.10, TP.Hồ Chí Minh Q TRÌNH ĐÀO TẠO (Bắt đầu từ đại học đến nay)  Tháng 9-1996 đến tháng -2001: sinh viên đại học, khoa Công Nghệ Thơng tin, trường đại học Bách Khoa TP.Hồ Chí Minh  Tháng 9-2010 đến nay: sinh viên cao học, khoa Khoa học máy tính, trường đại học Bách Khoa TP.Hồ Chí Minh Q TRÌNH CƠNG TÁC (Bắt đầu từ làm đến nay)  Tháng 9-2001 đến tháng 3-2008: làm việc phịng Cơng Nghệ Thơng Tin, cơng ty chuyển phát nhanh TNT  Tháng 4-2008 đến tháng 12-2009: làm việc phịng Cơng Nghệ Thơng Tin, ngân hàng HSBC ... với phương pháp thu giảm số chiều PIP phương pháp thu giảm PAA cho công tác dự báo liệu chuỗi thời gian Sự kết hợp với phương pháp thu giảm số chiều chủ yếu chỗ thu giảm số chiều liệu tập liệu. .. dụng mạng nơron vào việc dự báo liệu chuỗi thời gian 2.1.9 Ứng dụng mạng nơron vào việc dự báo liệu chuỗi thời gian Mạng nơron nhận liệu chuỗi thời gian làm thông số đầu vào tính tốn đầu kết dự báo. .. đến số phương pháp dùng để thu giảm số chiều tập liệu huấn luyện mạng nơron nhân tạo công tác dự báo liệu chuỗi thời gian 1.4 MỘT SỐ PHƯƠNG PHÁP THU GIẢM SỐ CHIỀU TRÊN TẬP DỮ LIỆU HUẤN LUYỆN MẠNG