Time series analysis with smoothed convolutional neural network

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CÔNG NGHỆ THÔNG TIN TIME-SERIES ANALYSIS WITH SMOOTHED CONVOLUTIONAL NEURAL NETWORK GVHD: TS NGUYỄN THÀNH SƠN SVTH : ĐOÀN TRẦN ĐĂNG KHOA LÊ THỊ KIM NGÂN S K L0 8 Tp Hồ Chí Minh, tháng 07/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠNG NGHỆ THƠNG TIN BỘ MƠN KỸ THUẬT DỮ LIỆU ĐOÀN TRẦN ĐĂNG KHOA – 19133028 LÊ THỊ KIM NGÂN – 19133038 Đề Tài: TIME-SERIES ANALYSIS WITH SMOOTHED CONVOLUTIONAL NEURAL NETWORK KHÓA LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS NGUYỄN THÀNH SƠN KHĨA 2019 – 2023 TP Hồ Chí Minh, tháng 07 năm 2023 ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THƠNG TIN ****** CỘNG HỊA XHCN VIỆT NAM Độc lập – Tự – Hạnh phúc ****** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Đoàn Trần Đăng Khoa MSSV 1: 19133028 Họ tên Sinh viên 2: Lê Thị Kim Ngân MSSV 2: 19133038 Chuyên ngành: Kỹ thuật liệu Tên đề tài: Time-series analysis with smoothed convolutional neural network Họ tên giáo viên hướng dẫn: TS Nguyễn Thành Sơn NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: TP Hồ Chí Minh, tháng 07 năm 2023 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN ****** CỘNG HÒA XHCN VIỆT NAM Độc lập – Tự – Hạnh phúc ****** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: Đoàn Trần Đăng Khoa MSSV 1: 19133028 Họ tên Sinh viên 2: Lê Thị Kim Ngân MSSV 2: 19133038 Chuyên ngành: Kỹ thuật liệu Tên đề tài: Time-series analysis with smoothed convolutional neural network Họ tên giáo viên phản biện: ThS Lê Thị Minh Châu NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: TP Hồ Chí Minh, tháng 07 năm 2023 Giáo viên phản biện (Ký & ghi rõ họ tên) LỜI CẢM ƠN Chúng em xin bày tỏ lòng biết ơn đến quý Thầy Cô theo dõi, hướng dẫn hỗ trợ suốt thời gian thực đề tài Đầu tiên, có mơi trường học tập chất lượng hiệu để chúng em có mơi trường tốt thời gian thực nghiên cứu đề tài, chúng em xin gửi lời cám ơn đến Ban giám hiệu trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Ngồi ra, chúng em xin gửi lời cảm ơn đến Ban chủ nhiệm khoa Công nghệ Thông tin Thầy Cô khoa Công nghệ Thông tin tận tâm dạy chúng em suốt năm tháng đại học vừa qua, để chúng em có sở kiến thức cần thiết để thực tốt đề tài suốt trình học tập làm việc trường Cuối cùng, chúng em xin gửi lời cảm ơn chân thành đến thầy Nguyễn Thành Sơn Giáo viên hướng dẫn Khóa luận tốt nghiệp – Khoa Công nghệ Thông tin – Chuyên ngành Kỹ thuật liệu – Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, quan tâm, hướng dẫn, góp ý tận tình dạy chúng em suốt thời gian thực nghiên cứu Đề tài chúng em khó lịng tránh khỏi hạn chế sai sót định, kính mong Thầy bỏ qua chúng em mong nhận đóng góp bảo thêm từ Thầy Cơ để chúng em rút kinh nghiệm sau Chúng em xin chân thành cảm ơn! Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Khoa : Công nghệ thông tin ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Họ tên SV thực 1: Đoàn Trần Đăng Khoa MSSV: 19133028 Họ tên SV thực 2: Lê Thị Kim Ngân MSSV: 19133038 Thời gian làm tiểu luận: Đến: 13/05/2023 Từ ngày 01/02/2023 Chuyên ngành: Kỹ Thuật Dữ Liệu Tên luận văn: Time-series analysis with smoothed Convolutional Neural Network Giáo viên hướng dẫn: TS Nguyễn Thành Sơn Nhiệm vụ luận văn: Lý thuyết: - Nghiên cứu phương pháp làm mịn hàm mũ phương pháp tối ưu alpha - Nghiên cứu kết hợp làm mịn chuỗi thời gian mơ hình CNN dùng dãy số lucas cho toán dự báo chuỗi thời gian Thực hành: - Sử dụng python để phục vụ cho đề tài dự báo chuỗi thời gian mơ hình CNN kết hợp làm mịn liệu dãy số lucas - Tiền xử lý liệu: sử dụng MinMaxScaler: lớp dùng để chuẩn hóa liệu khoảng giá trị cụ thể - Sử dụng thư viện cho mơ hình CNN: - Keras : Thư viện Keras cung cấp lớp (layers) mơ hình (models) cho Convolutional Neural Networks Cụ thể là: o keras.models cung cấp Sequential o keras.layers cung cấp Dense, RepeatVector, Flatten o keras.layers.convolutional cung cấp Conv1D MaxPooling1D o keras.optimizers cung cấp Adam - Sklearn: cung cấp hàm tính tốn để kiểm tra độ xác model MSE, RMSE Đề cương viết luận văn: PHẦN MỞ ĐẦU Tính cấp thiết đề tài: Mục tiêu đề tài Phương pháp nghiên cứu Đối tượng phạm vi nghiên cứu Kết dự kiến đạt PHẦN NỘI DUNG CHƯƠNG 1: TỔNG QUAN VỀ DỮ LIỆU CHUỖI THỜI GIAN 1.1 Dữ liệu chuỗi thời gian 1.2 Phân tích liệu chuỗi thời gian CHƯƠNG 2: CÁC PHƯƠNG PHÁP LÀM MỊN TRONG DỮ LIỆU CHUỖI THỜI GIAN 2.1 Phương pháp làm mịn hàm mũ (ES) 2.2 Phương pháp làm mịn trung bình trượt (MA) 2.3 Phương pháp làm mịn trung bình trượt lũy thừa (Double Exponential Smoothing) 2.4 Phương pháp làm mịn Triple Exponential Smoothing CHƯƠNG 3: CÁC MƠ HÌNH HỌC SÂU 3.1 Mơ hình MLP 3.2 Mơ hình LSTM 3.3 Mơ hình CNN 3.4 Mơ hình RNN 3.5 So sánh ưu điểm nhược điểm mơ hình 3.6 Ứng dụng CNN vào thực tế CHƯƠNG 4: CÀI ĐẶT MƠ HÌNH 4.1 Cài đặt Jupyter thư viện 4.2 Cài đặt làm mịn hàm mũ 4.3 Cài đặt mơ hình CNN 4.4 Cài đặt mơ hình CNN với lớp Lucas hidden layer 4.5 Cài đặt mơ hình CNN kết hợp làm mịn Lucas hidden layer CHƯƠNG 5: ĐÁNH GIÁ THỰC NGHIỆM 5.1 Môi trường thực nghiệm 5.2 Các tập liệu dùng thực nghiệm 5.3 Các tiêu chí đánh giá 5.4 Các trường hợp thực nghiệm 5.5 Kết thực nghiệm PHẦN KẾT LUẬN Kết đạt Thuận lợi Hạn chế Hướng phát triển PHỤ LỤC HƯỚNG DẪN THỰC THI CHƯƠNG TRÌNH TÀI LIỆU THAM KHẢO KẾ HOẠCH THỰC HIỆN STT Thời gian Công việc Ghi 01/02/2023- Nghiên cứu tìm hiểu mơ hình CNN 08/02/2023 Viết đề cương đề tài 08/02/2023- Nghiên cứu tìm hiểu phương pháp làm mịn 15/02/2023 liệu chuỗi thời gian, tìm hiểu dãy số lucas 15/02/2023- Thiết kế mơ hình CNN kết hợp làm mịn liệu, 22/02/2023 tiến hành dự đốn tìm tham số tốt 22/02/2023- Thiết kế mơ hình CNN kết hợp làm mịn liệu 08/03/2023 dãy số lucas 8/02/2023- Thực nghiệm để tìm mơ hình tốt so sánh 20/03/2023 với mơ hình khác 20/03/202315/04/2023 Thực nhiều tập liệu khác 16/04/2023- Điều chỉnh đánh giá kết mơ hình CNN 06/05/2023 kết hợp làm mịn liệu kết hợp dãy số lucas 06/05/202313/05/2023 Hoàn thành luận văn Ngày tháng năm 2023 Ý kiến giáo viên hướng dẫn Người viết đề cương Đoàn Trần Đăng Khoa Nguyễn Thành Sơn Lê Thị Kim Ngân MỤC LỤC PHẦN MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài Phương pháp nghiên cứu Đối tượng phạm vi nghiên cứu Kết dự kiến đạt CHƯƠNG :TỔNG QUAN VỀ DỮ LIỆU CHUỖI THỜI GIAN 1.1 DỮ LIỆU CHUỖI THỜI GIAN 1.1.1 Khái niệm chuỗi thời gian 1.1.2 Chuỗi dừng 1.1.3 Lịch sử phát triển chuỗi thời gian 1.1.4 Đặc điểm 1.1.5 Chuẩn hóa chuỗi thời gian 1.1.6 Phân rã chuỗi thời gian 1.1.7 Ứng dụng chuỗi thời gian 10 1.2 PHÂN TÍCH DỮ LIỆU CHUỖI THỜI GIAN 10 1.2.1 Dự báo liệu chuỗi thời gian 10 1.2.2 Tầm quan trọng dự báo liệu chuỗi thời gian 11 CHƯƠNG : CÁC PHƯƠNG PHÁP LÀM MỊN TRONG DỮ LIỆU CHUỖI THỜI GIAN 12 2.1 PHƯƠNG PHÁP LÀM MỊN HÀM MŨ (ES) 12 2.2 PHƯƠNG PHÁP LÀM MỊN TRUNG BÌNH TRƯỢT (MA) 14 2.3 PHƯƠNG PHÁP TRUNG BÌNH TRƯỢT LŨY THỪA (DOUBLE EXPONENTIAL SMOOTHING) 15 2.4 PHƯƠNG PHÁP LÀM MỊN TRIPLE EXPONENTIAL SMOOTHING 16 CHƯƠNG : CÁC MƠ HÌNH HỌC SÂU 18 3.1 MƠ HÌNH MLP 18 3.1.1 Tổng quan mơ hình MLP 18 3.1.2 Cách hoạt động MLP 18 3.2 MƠ HÌNH LSTM 19 3.2.1 Tổng quan mô hình LSTM 19 Bảng 5.5 Kết thực nghiệm tìm số lớp Fully connection dựa theo dãy số Lucas tỷ lệ 80:20 Số lớp Tập liệu MSE MAPE TIME Fully CNN- S-CNN- CNN- S-CNN- CNN- S-CNN- Connection Lucas Lucas Lucas Lucas Lucas Lucas 0.0047 0.0018 0.2123 0.1236 995.5 943.9 0.0008 0.0005 0.0315 0.0275 959.6 930.6 0.0047 0.0031 0.0766 0.0621 1359.1 1243.1 0.00272 0.00161 0.0637 0.04650 800.61 767.02 Daily_website_visitors (α = 0.55) CNA (α = 0.38) PEP (α = 0.43) AMD (α = 0.63) Bảng 5.6 Kết thực nghiệm tìm số lớp Fully connection dựa theo dãy số Lucas tỷ lệ 70:30 Số lớp Tập liệu MSE MAPE TIME Fully CNN- S-CNN- CNN- S-CNN- CNN- S-CNN- Connection Lucas Lucas Lucas Lucas Lucas Lucas 0.0037 0.0024 0.1469 0.1022 724.4 692.0 0.00152 0.00075 0.0435 0.03250 537.02 497.73 0.0243 0.0217 0.1751 0.1604 498.6 405.9 0.0230 0.0194 0.1559 0.1520 242.0 234.4 Daily_website_visitors (α = 0.55) CNA (α = 0.38) PEP (α = 0.43) AMD (α = 0.63) Nhận xét: Qua kết thực nghiệm bảng 5.5 5.6, nhận thấy mơ hình SCNN-Lucas ln cho hiệu suất cao tiêu chí (đánh giá theo độ xác mơ hình thời gian thực thi) trường hợp chia tỷ lệ tập liệu Từ cho thấy việc kết hợp làm mịn liệu giảm thời gian thực thi 63 5.5.4 Thực nghiệm với số lớp Fully connection dựa số lân cận số Lucas tốt vừa tìm thực nghiệm 5.5.3 Tiến hành thực nghiệm với tham số thực nghiệm 5.5.3 thay đổi số lớp Fully connection số lân cận với số Lucas tốt tìm thực nghiệm 5.5.3 Ta thu kết quả: Bảng 5.7 Kết thực nghiệm tìm số lớp Fully connection dựa theo số lân cận với số Lucas tỷ lệ 80:20 Số lớp Tập liệu MSE MAPE Fully CNN- S- CNN- S- CNN- S-CNN- Connection Lucas CNN- Lucas CNN- Lucas Lucas Lucas Daily_website_visitors (α = 0.55) CNA (α = 0.38) PEP (α = 0.43) AMD (α = 0.63) TIME Lucas 0.0048 0.0018 0.2724 0.1127 1123.4 873.8 0.0008 0.0007 0.0330 0.0329 1036.7 1022.7 0.0071 0.0108 0.0931 0.1199 1612.6 1509.6 0.0029 0.0028 0.0724 0.0726 870.3850 858.68 64 Bảng 5.8 Kết thực nghiệm tìm số lớp Fully connection dựa theo số lân cận với số Lucas tỷ lệ 70:30 Số lớp Tập liệu Daily_website_visitors (α = 0.55) CNA (α = 0.38) PEP (α = 0.43) AMD (α = 0.63) MSE MAPE TIME Fully CNN- S-CNN- CNN- S-CNN- CNN- S-CNN- Connection Lucas Lucas Lucas Lucas Lucas Lucas 0.0038 0.0034 0.1829 0.1410 773.6 707.8 0.0016 0.00152 0.0458 0.04596 617.1 580.3 0.0282 0.0303 0.1809 0.1967 304.4 285.3 0.043 0.044 0.224 0.220 298.0 323.6 Nhận xét: Qua kết thực nghiệm bảng 5.7, 5.8 kết thực nghiệm mục 5.5.3, cho thấy việc sử dụng số lucas cho lớp Fully connection layer cho hiệu suất cao 5.5.5 So sánh ảnh hưởng việc chia tập liệu với mơ hình Qua thực nghiệm trên, ta xem xét ảnh hưởng việc chia tỷ lệ tập liệu train/test việc lựa chọn tham số đầu vào tốt nhất, tăng khả dự đoán cho mơ hình Cả tập liệu có neural input 7, số neural output 1, số neural lớp Fully connected layer 101 Thực nghiệm theo hai trường hợp chia theo tỷ lệ 80% train, 20 % test 70% train 30% test để chọn tham số tốt cho mơ hình số lớp Convolution, Fillter, Kernel size, epoch, batch size Bảng 5.9 trình bày tham số tốt cho tập liệu( daily-website-visitors, CNA, PEP,AMD) với hai tỷ lệ chia tập liệu 80% train 20% test, 70% 30% test Ta kết quả: 65 Bảng 5.9 Tổng hợp tham số tập liệu theo tỉ lệ 80:20 70:30 Daily-website- CNA visitors Tỉ lệ PEP AMD 80:20 70:30 80:20 70:30 80:20 70:30 80:20 70:30 2 2 2 Fillter 128 128 32 32 256 256 32 32 Kernel size 3 Epoch 10000 9000 8000 10000 9000 11000 8000 11000 Batch size 16 16 16 8 64 Số lucas 7 4 4 Số lớp Convolution Nhận xét: Qua kết thực nghiệm bảng 5.9 tỷ lệ chia liệu train test khác tham số đầu vào khác nhau, nên với tỷ lệ khác mơ hình thay đổi Việc chia tập liệu ảnh hưởng tới giá trị tham số mơ hình 5.5.6 Thực nghiệm so sánh mơ hình CNN-Lucas, S-CNN-Lucas, LSTM Từ mơ hình tốt tập liệu tiến hành thực nghiệm để so sánh MSE, MAPE thời gian xử lý mơ hình CNN-Luacs, S-CNN-Lucas (alpha tối ưu ), LSTM (cài đặt mơ hình với tham số giống CNN) 5.5.6.1Trường hợp tập liệu chia theo tỷ lệ 80:20 Bảng 5.10 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu Daily-website-visitors tỷ lệ 80:20 MSE CNN-LUCAS S-CNN-LUCAS (α = 0.55) LSTM RMSE MAE MAPE Time (s) 0.00416 0.06447 0.05026 0.13462 1522.3 0.00228 0.03808 0.09452 1114.65 0.00428 0.06539 0.05079 0.13454 1979.4 0.0477 66 Bảng 5.11 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu CNA tỷ lệ 80:20 CNN-LUCAS S-CNN-LUCAS (α = 0.38) LSTM MSE RMSE MAE MAPE Time (s) 0.00373 0.0611 0.03813 0.0351 1038.57 0.0007 0.02638 0.01527 0.04378 0.00227 0.04761 0.02758 0.02057 996.6 4634.24 Bảng 5.12 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu PEP tỷ lệ 80:20 CNN-LUCAS S-CNN-LUCAS (α = 0.43) LSTM MSE RMSE 0.00543 0.0737 MAE MAPE Time (s) 0.05687 0.06169 2400.58 0.00447 0.06688 0.05432 0.05995 1775.03 0.00744 0.08626 0.06043 0.06571 2534.3 Bảng 5.13 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu AMD tỷ lệ 80:20 MSE CNN-LUCAS S-CNN-LUCAS (α = 0.63) LSTM RMSE MAE MAPE Time (s) 0.00127 0.03564 0.0326 0.08312 1275.503 0.00095 0.03081 0.02459 0.06593 878.512 0.00238 0.04881 0.04043 0.10144 2130.71 Nhận xét: Quan sát thực nghiệm bảng 5.10 tập liệu Daily-website-visitors (tỷ lệ liệu 80% train, 20% test) mơ hình CNN làm mịn (S-CNN (alpha=0.55) với lớp Fully connection layer số lucas cho kết MSE=0.00228, RMSE=0.0477 , MAE = 0.03808 MAPE = 0.09452 thấp với thời gian 1114.65s Mơ hình CNN làm mịn cho thời gian xử lý nhanh CNN không làm mịn Hiệu mơ hình S-CNN với lớp Fully connection layer số lucas cho hiệu suất tốt mơ hình CNNLucas LSTM Tương tự thực nghiệm bảng 5.11, 5.12, 5.13 cho kết tương tự hiệu suất mơ hình S-CNN-Lucas vượt trội mơ hình CNN-Lucas khơng làm mịn LSTM, thời gian xử lý mơ hình S-CNN-Lucas nhanh mơ hình CNN-Lucas Từ cho thấy giá trị alpha tối ưu giúp cải thiện tốc độ xử lý cho mơ hình, kết hợp 67 phương pháp làm mịn alpha tối ưu, mơ hình CNN dãy số lucas mang lại hiệu đáng kể 5.5.6.2Trường hợp tập liệu chia theo tỷ lệ 70:30 Bảng 5.14 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu Daily-website-visitors tỷ lệ 70:30 MSE CNN-LUCAS S-CNN-LUCAS (α = 0.55) LSTM RMSE MAE MAPE Time (s) 0.01952 0.13971 0.12346 0.23141 777.214 0.00582 0.07631 0.05841 0.18739 722.96 0.02637 0.16238 0.13908 1570.23 0.2668 Bảng 5.15 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu CNA tỷ lệ 70:30 CNN-LUCAS S-CNN-LUCAS (α = 0.38) LSTM MSE RMSE MAE MAPE Time (s) 0.0018 0.0425 0.0328 0.0473 664.3 0.00046 0.0215 0.0171 0.0236 635.004 0.04475 0.02622 0.0370 2842.38 0.002 Bảng 5.16 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu PEP tỷ lệ 70:30 CNN-LUCAS S-CNN-LUCAS (α = 0.43) LSTM MSE RMSE MAE MAPE Time (s) 0.0032 0.0569 0.0515 0.0599 2863.1 0.0029 0.0541 0.0402 0.0456 1893.3 0.00464 0.06815 0.0542 0.1856 3257.07 Bảng 5.17 Bảng so sánh CNN-Lucas, S-CNN-Lucas, LSTM tập liệu AMD tỷ lệ 70:30 MSE CNN-LUCAS S-CNN-LUCAS (α = 0.63) LSTM RMSE MAPE Time (s) 0.00207 0.04546 0.04147 0.09248 438.204 0.00134 0.03659 0.02986 0.07499 255.162 0.00345 0.05875 0.04719 0.10351 682.85 68 MAE Nhận xét: - Quan sát kết thực nghiệm bảng 5.14 tập liệu Daily-website-visitors (tỷ lệ liệu 70% train, 30% test) mơ hình CNN làm mịn (S-CNN (alpha=0.55) với lớp Fully connection layer số lucas cho kết MSE = 0.00582, RMSE = 0.07631, MAE = 0.05841 MAPE = 0.18739 thấp với thời gian thấp 722.96s Mơ hình CNN làm mịn cho thời gian xử lý nhanh CNN không làm mịn Hiệu mô hình S-CNN với lớp Fully connection layer số lucas cho hiệu suất tốt mơ hình CNN-Lucas LSTM Tương tự kết thực nghiệm bảng 5.15, 5.16 5.17 cho kết tương tự hiệu suất mơ hình S-CNN vượt trội mơ hình CNN không làm mịn LSTM, thời gian xử lý mơ hình S-CNN-Lucas nhanh mơ hình CNN-Lucas Từ cho thấy giá trị alpha tối ưu giúp cải thiện tốc độ xử lý cho mơ hình 5.5.7 Kết luận Dựa kết thực nghiệm, mô hình CNN có thể tối ưu hóa hiệu suất kết hợp với phương pháp Smooth tối ưu Alpha sử dụng dãy số Lucas làm số lớp Fully connected layer làm tăng đáng kể hiệu suất kết dự đốn thời gian từ có thể cho kết dự đoán tốt tiết kiệm nhiều thời gian 69 CHƯƠNG : PHẦN KẾT LUẬN KẾT QUẢ ĐẠT ĐƯỢC - Kết hợp mơ hình CNN với phương pháp làm mịn hàm mũ (alpha tối ưu) - Sử dụng giá trị dãy số lucas làm số lớp Fully connected layer, tăng hiệu xuất mơ hình đáng kể giảm thời gian xử lý mơ hình - Độ xác mơ hình S-CNN (CNN kết hợp với làm mịn hàm mũ giá trị dãy số lucas làm số lớp Fully connected layer) tốt mơ hình LSTM THUẬN LỢI Nhờ có hướng dẫn tận tình thầy Nguyễn Thành Sơn mà nhóm chúng em có thuận lợi đề tài: - Tiếp cận tài liệu, báo để tìm hiểu đề tài - Sự góp ý, hướng dẫn thầy Nguyễn Thành Sơn thầy cô Khoa Công Nghệ Thông Tin trường Đại học Sư Phạm Kỹ Thuật giúp đỡ nhóm thời gian thực đề tài HẠN CHẾ Do hạn chế thời gian, nhóm chưa đánh giá ảnh hưởng nhiều giá trị tham số đầu vào tới kết thực thi Chưa đánh giá mô hình tập liệu lớn hạn chế cấu hình máy HƯỚNG PHÁT TRIỂN Nhóm chúng em đề hướng phát triển đề tài sau: - Tìm hiểu sâu kỹ thuật làm mịn liệu cho liệu khác - Áp dụng kết hợp phương pháp làm mịn dãy Lucas vào mơ hình học máy nâng cao CNN-LSTM lai ghép để tăng hiệu mơ hình - Xây dựng giao diện người dùng để có thể dự báo tập liệu chuỗi thời gian 70 CHƯƠNG : PHỤ LỤC HƯỚNG DẪN THỰC THI CHƯƠNG TRÌNH Trong đề tài này, file code lưu trữ thư mục có đường dẫn “KLTN/THUCNGHIEM” Tại thư mục có folder tương ứng với tập liệu (dailywebsite-visitors, AMD, PEP, CNA), thư mục có folder (8_2, 7_3) tương ứng với tỷ lệ 80% train, 20 % test 70% train 30 % test, thư mục có thư mục Training Testing ứng với việc chọn tham số cho mơ hình thực nghiệm dự đốn Hình 7.1 Cấu trúc Folder Các bước thực nghiệm: - Bước 1: Mở jupyter no tebook mở thư mục KLTN/THUCNGHIEM” hình bên 71 - Bước chọn folder tương ứng với tập liệu (ví dụ chọn folder daily-websitevisitors) Trong folder chọn vào thư mục 8_2 sau vào thư mục Training (gồm file ảnh bên dưới): • Training_Convolution.ipynb: để tìm số lớp Convolution, Fillter, Kernel size tốt cho mơ hình • Training_Epoch.ipynb: để tìm epoch batch size tốt cho mơ hình • Training_CNN-LUCAS.ipynb: tìm giá trị lucas tốt cho mơ hình CNN với lớp Fully connected layer lucas • Training_SCNN-LUCAS ipynb : tìm giá trị lucas tốt cho mơ hình CNN làm mịn (S-CNN) với lớp Fully connected layer lucas • Training_CNN-normal.ipynb: dùng để so sánh giá trị lân cận với giá trị lucas tìm mơ hình CNN với lớp Fully connected layer lucas • Training_SCNN- normal.ipynb: dùng để so sánh giá trị lân cận với giá trị lucas tìm mơ hình CNN làm mịn (S-CNN) với lớp Fully connected layer lucas 72 - Bước 3: Thực thi chương trình • Tại Training_Epoch.ipynb nhập vào tham số Fillter, kernel size thay đổi số lớp Convolution Hình 7.2 Code tham số đầu vào lớp Convolution 73 • Sau nhập giá trị cho num_filters, kernel_sizes điều chỉnh số lớp Convolution chọn công cụ jupyter notebook “Cell” nhấn “Run all” để thực thi tìm số lớp Convolution, Fillter kernel size tốt cho mơ hình • Tại Training_Epoch.ipynb: nhập vào tham số epoch batch size, chọn công cụ jupyter notebook “Cell” nhấn “Run all” , để xác định giá trị tốt cho mơ hình, lặp lặp lại thao tác với giá trị khác Hình 7.3 Code chọn tham số epoch batch size • Tại file Training_CNN-LUCAS.ipynb Training_SCNN-LUCAS ipynb: nhập vị trí giá trị lucas number _hidden_layer để chọn giá trị lucas, sau chọn cơng cụ jupyter notebook “Cell” nhấn “Run all” để tìm giá trị lucas tốt cho mơ hình Hình 7.4 Code chọn giá trị lucas cho mơ hình 74 • Tại file code Training_CNN-normal.ipynb Training_SCNN- normal.ipynb: nhập vị trí giá trị number_hidden_layer dãy để chọn giá trị dãy number_list, sau chọn cơng cụ jupyter notebook “Cell” nhấn “Run all” để so sánh giá trị lân cận giá trị lucas có cho kết tốt cho mơ hình Hình 7.5 Code chọn giá trị lân cận với lucas cho mô hình - Bước 4: Sau hồn thành bước training tìm mơ hình tốt tiến hành vào Folder Testing để thực nghiệm • Trong file Test_CNN-LUCAS.ipynb, Test_SCNN-LUCAS ipynb file Test_LSTM.ipynb tập liệu chia tập train test chia riêng nên mô hình cài đặt sẳn mơ hình tốt cho tập liệu Vì chọn cơng cụ jupyter notebook “Cell” nhấn “Run all” ghi nhận lại kết Các tập liệu khác chạy tương tự 75 TÀI LIỆU THAM KHẢO [1] Nguyễn Thành Sơn, “Dự báo liệu chuỗi thời gian có tính xu hướng mùa sử dụng giải thuật k lân cận gần nhất”, 2015 [2] Aji Prasetya Wibawa, Agung Bella Putra Utama, Hakkun Elmunsyah, Utomo Pujianto, Felix Andika Dwiyanto and Leonel Hernandez, “Time-series analysis with smoothed Convolutional Neural Network”, Journal of Big Data, 2022 [3] Yuntao LI, “Federated Learning for Time Series Forecasting Using Hybrid Model”, 2019 [4] Rober B Cleveland, William S Cleveland, Jean E McRae, Irma Terpenning, “STL: A Seasonal-Trend Decomposition Procedure Based on Loess”, 1990 [5] Gujarati, “Econometrics by example”, chap 13: stationary & no stationary, 2011 [6] TS Ngô Ngọc Tri, ThS Huỳnh Võ Duyên Anh, “Nghiên cứu phát triển mơ hình dự báo liệu thời gian sử dụng phương pháp cửa sổ dịch chuyển máy học véc-tơ hỗ trợ tối ưu thuật tốn trí tuệ bầy đàn”, 2019 [7] Avijeet Biswal, “Recurrent Neural Network(RNN) Tutorial: Types, Examples, LSTM and More”, 2023 [8] Afshine Amidi & Shervine Amidi dịch Trần Tuấn Anh, Đàm Minh Tiến, Hung Nguyễn Nguyễn Trí Minh, “Mạng neural hồi quy cheatsheet” [9] Debasish Kalita, “A Brief Overview of Recurrent Neural Networks (RNN)”, 24/03/2022 [10] Ralf C Staudemeyer, Eric Rothstein Morris, “Understanding LSTM - a tutorial into Long Short-Term Memory Recurrent Neural Networks”, 09/2019 [11] Aurel Vlaicu, Elena Cuza, Nikos E Mastorakis, “ Multilayer perceptron and neural networks”, 07/2009 [12] The LazyProgrammer, “Deep Learning: Recurrent Neural Networks in Python” [13] Aji Prasetya Wibawa1, Agung Bella Putra Utama1, Hakkun Elmunsyah1, Utomo Pujianto1,Felix Andika Dwiyanto1 and Leonel Hernandez, “Time‑series analysis with smoothed Convolutional Neural Network”, 2022 [14] Adrian Rosebrock, “Convolutional Neural Networks (CNNs) and Layer Types”, 14/05/2021 [15] Chung Pham Van, “Kỹ thuật Dropout (Bỏ học) Deep Learning”, 23/05/2021 [16] Quản Thành Thơ, “Mạng nơ-ron nhân tạo: từ hồi quy đến học sâu”, 2021 [17] Nguyen Truong Long, “Mạng nơ-ron nhân tạo (Artificial Neural Network)”, 05/08/2019 76