Tìm Hiểu Mô Hình Ann Và Ứng Dụng Trong Bài Toán Dự Báo Chuỗi Thời Gian.pdf

Untitled Đề Tài KHÓA LUẬN TỐT NGHIỆP KỸ SƯ CNTT KHÓA 2016 2020 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN HỆ THỐNG THÔNG TIN TÌM HIỂU MÔ HÌNH ANN VÀ ỨNG DỤNG TRONG BÀI TOÁN[.]

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN HỆ THỐNG THÔNG TIN LÊ THỊ HỒNG NGA - 16110394 NGUYỄN NGỌC TRÚC LINH - 16110536 Đề Tài: TÌM HIỂU MƠ HÌNH ANN VÀ ỨNG DỤNG TRONG BÀI TỐN DỰ BÁO CHUỖI THỜI GIAN KHĨA LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS NGUYỄN THÀNH SƠN KHÓA 2016 - 2020 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN HỆ THỐNG THÔNG TIN LÊ THỊ HỒNG NGA - 16110394 NGUYỄN NGỌC TRÚC LINH - 16110536 Đề Tài: TÌM HIỂU MƠ HÌNH ANN VÀ ỨNG DỤNG TRONG BÀI TỐN DỰ BÁO CHUỖI THỜI GIAN KHĨA LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS NGUYỄN THÀNH SƠN KHÓA 2016 - 2020 LỜI CẢM ƠN Chúng tơi xin bày tỏ lịng biết ơn sâu sắc đến TS Nguyễn Thành Sơn, thầy hướng dẫn, bảo tận tình để chúng tơi hồn thành khóa luận tốt nghiệp Chúng tơi xin chân thành cảm ơn thầy, cô khoa Công nghệ thông tin – Trường Đại học Sư phạm Kỹ thuật TPHCM nói chung ngành Cơng nghệ thơng tin khoa nói riêng truyền thụ nhiều kiến thức, kỹ hỗ trợ suốt q trình học tập thực khóa luận vừa qua ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc lập - Tự - Hạnh phúc ******* ******* ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Họ tên Sinh viên 1: Lê Thị Hồng Nga MSSV 1: 16110394 Họ tên Sinh viên 2: Nguyễn Ngọc Trúc Linh MSSV 2: 16110536 Thời gian làm luận văn: Từ 30/3/2020 đến 28/7/2020 Chuyên ngành: Hệ thống thơng tin Tên đề tài: Tìm hiểu mơ hình ANN ứng dụng tốn dự báo chuỗi thời gian Giáo viên hướng dẫn: TS Nguyễn Thành Sơn Nhiệm vụ luận văn: Tìm hiểu mơ hình ANN Tìm hiểu mơ hình Deep learning Cài đặt hai mơ hình So sánh thực nghiệm hai mơ hình nhiều tập liệu KẾ HOẠCH THỰC HIỆN STT Thời gian 30/3/2020 Cơng việc - 13/4/2020 Tìm hiểu mơ hình Deep learning Tìm tập liệu để đánh giá 13/4/2020 Viết demo mơ hình ANN - 20/4/2020 20/4/2020 Sửa lại chức năng, thêm vào chọn số nơ-ron - 04/5/2020 lớp input, output, lớp ẩn 04/5/2020 Viết demo mơ hình Deep learning - 11/5/2020 Ghi 11/5/2020 Chỉnh sửa lại chức cho người dùng - 25/5/2020 quyền chọn hai mơ hình để dự báo 25/5/2020 Chỉnh sửa giao diện kết gồm có ba biểu - 01/6/2020 đồ mơ tả: tồn chuỗi liệu, chuỗi giá trị thực dùng để test chuỗi giá trị dự báo theo mơ hình 01/6/2020 Tính sai số hai mơ hình ANN Deep - 15/6/2020 learning Thêm thời gian thực thi 10 15/6/2020 Đánh giá thực nghiệm mơ hình qua - 29/6/2020 tập liệu 29/6/2020 Chỉnh sửa word hồnh chỉnh, chỉnh lỗi - 06/7/2020 tả, canh lề, size chữ 06/7/2020 Làm powerpoint - 24/7/2020 Tp Hồ Chí Minh, ngày Ý kiến giáo viên hướng dẫn (Ký ghi rõ họ tên) tháng Người viết đề cương năm 2020 MỤC LỤC Phần 1: MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục đích đề tài .1 1.3 Cách tiếp cận phương pháp nghiên cứu 1.4 Kết dự kiến đạt Phần 2: NỘI DUNG Chương BÀI TOÁN DỰ BÁO CHUỖI THỜI GIAN 1.1 TỔNG QUAN VỀ CHUỖI THỜI GIAN .2 1.2 KHÁI QUÁT VỀ DỰ BÁO 1.2.1 Định nghĩa dự báo 1.2.2 Xác định cần dự báo, mục tiêu kế hoạch 1.2.3 Dữ liệu phương pháp dự báo 1.3 CÁC BƯỚC CƠ BẢN TRONG MỘT NHIỆM VỤ DỰ BÁO 1.3.1 Xác định vấn đề .5 1.3.2 Thu thập thông tin 1.3.3 Phân tích sơ 1.3.4 Chọn lựa mơ hình phù hợp 1.3.5 Sử dụng đánh giá mơ hình dự báo Chương TỔNG QUAN VỀ ARTIFICIAL NEURAL NETWORK 2.1 GIỚI THIỆU VỀ ARTIFICIAL NEURAL NETWORK .7 2.2 PERCEPTRON 2.3 MULTI-LAYER PERCEPTRON 12 2.4 QUY TRÌNH DỰ BÁO CHUỖI THỜI GIAN SỬ DỤNG ANN 14 2.4.1 Thu thập liệu 14 2.4.2 Phân tích xử lý liệu 14 2.4.3 Xây dựng cấu trúc ANN 15 2.4.3.1 Số lượng nơ-ron lớp input 15 2.4.3.2 Số lượng lớp ẩn nơ – ron lớp ẩn 15 2.4.3.3 Số lượng nơ-ron output 16 2.4.4 Lựa chọn hàm kích hoạt 16 2.4.4.1 Sigmoid .16 2.4.4.2 Tanh 17 2.4.4.3 ReLU 18 2.4.5 Thiết lập liệu dùng để huấn luyện, kiểm tra 18 2.4.5.1 Vấn đề Overfiting Underfiting 19 2.4.5.2 Validation [8] 20 2.4.5.3 Cross-validation 21 2.4.6 Huấn luyện mạng ANN .22 2.4.6.1 Thuật toán lan truyền tiến [9] .22 2.4.6.2 Thuật toán lan truyền ngược [10] 23 2.4.6.3 Ví dụ thuật tốn Forward propagation Backpropagation [11] 24 2.4.7 Đánh giá mơ hình 28 Chương TỔNG QUAN VỀ DEEP LEARNING 30 3.1 GIỚI THIỆU VỀ DEEP LEARNING 30 3.2 LỊCH SỬ HÌNH THÀNH 32 3.3 YẾU TỐ LÀM NÊN SỰ THÀNH CÔNG CỦA DEEP LEARNING .35 Chương ĐÁNH GIÁ BẰNG THỰC NGHIỆM 36 4.1 MÔI TRƯỜNG THỰC NGHIỆM .36 4.2 CÁC TẬP DỮ LIỆU 36 4.2.1 Google stock 36 4.2.2 Gold prices 37 4.2.3 Temperature LA 38 4.2.4 Brent oil prices 39 4.3 CÁC TRƯỜNG HỢP THỰC NGHIỆM 41 4.4 ĐÁNH GIÁ THỰC NGHIỆM 42 4.4.1 Thực nghiệm với tập liệu Google stock 42 4.4.2 Thực nghiệm với tập liệu Gold price .45 4.4.3 Thực nghiệm với tập liệu Temperature LA 48 4.4.4 Thực nghiệm với tập liệu Brent oil prices 51 Phần 3: KẾT LUẬN 56 3.1 Kết đạt 56 3.2 Ưu điểm 56 3.3 Nhược điểm 56 3.4 Hướng phát triển 56 TÀI LIỆU THAM KHẢO .57 DANH MỤC HÌNH ẢNH Hình 1.1 Doanh số bán thuốc trị bệnh tiểu đường hàng tháng Úc [2] Hình 2.1 Cấu tạo nơ - ron sinh học [5] .9 Hình 2.2 Linear Threshold Unit 10 Hình 2.3 Mơ hình Perceptron 10 Hình 2.4 Vấn đề phân loại XOR MLP giải [4] 12 Hình 2.5 Multi-Layer Perceptron 13 Hình 2.6 Đồ thị hàm Sigmoid 17 Hình 2.7 Đồ thị hàm Tanh .17 Hình 2.8 Đồ thị hàm ReLU 18 Hình 2.9 Lựa chọn mơ hình dựa validation [8] 21 Hình 2.10 Cấu trúc ANN sử dụng cho ví dụ 25 Hình 3.1 Mối quan hệ AI, Machine Learning Deep Learning [13] 30 Hình 3.2 Lịch sử Deep Learning [15] 32 Hình 4.1 Biểu đồ biểu thị tập liệu Google stock 36 Hình 4.2 Biểu đồ biểu thị tập liệu Gold prices 37 Hình 4.3 Biểu đồ biểu thị tập liệu Temperature LA .38 Hình 4.4 Biểu đồ biểu thị tập liệu Brent oil prices 39 DANH MỤC BẢNG BIỂU Bảng 4.1 Bảng tóm tắt thơng tin tập liệu dùng thử nghiệm .40 Bảng 4.2 Kết thực nghiệm tập Google stock với số nơ-ron lớp ẩn thay đổi 42 Bảng 4.3 Kết thực nghiệm tập Google stock với số nơ-ron lớp input thay đổi .43 Bảng 4.4 Kết thực nghiệm tập Google stock với epoch thay đổi 43 Bảng 4.5 Kết thực nghiệm tập Google stock với số lớp ẩn thay đổi .44 Bảng 4.6 Kết thực nghiệm tập liệu Gold price với số nơ-ron lớp ẩn thay đổi .45 Bảng 4.7 Kết thực nghiệm tập liệu Gold prices với số nơ-ron lớp input thay đổi 46 Bảng 4.8 Kết thực nghiệm tập liệu Gold prices với epoch thay đổi 47 Bảng 4.9 Kết thực nghiệm tập liệu Gold prices với số lớp ẩn thay đổi .47 Bảng 4.10 Kết thực nghiệm tập liệu Temperature LA với số nơ-ron lớp ẩn thay đổi 48 Bảng 4.11 Kết thực nghiệm tập liệu Temperature LA với số nơ-ron lớp input thay đổi 49 Bảng 4.12 Kết thực nghiệm tập liệu Temperature LA với epoch thay đổi 50 Bảng 4.13 Kết thực nghiệm tập liệu Temperature LA với số lớp ẩn thay đổi .51 Bảng 4.14 Kết thực nghiệm tập liệu Brent oil prices với số nơ-ron lớp ẩn thay đổi 52 Bảng 4.15 Kết thực nghiệm tập liệu Brent oil prices với số nơ-ron lớp input thay đổi 52 Bảng 4.16 Kết thực nghiệm tập liệu Brent oil prices với epoch thay đổi 53 Bảng 4.17 Kết thực nghiệm tập liệu Brent oil prices với số lớp ẩn thay đổi .54 34.51 15.6483 21.0006 0.0207 10 35.68 11.2557 17.0963 0.0176 Dựa vào Bảng 4.5 nhận thấy sau cố định số nơ-ron lớp input 1, số nơ-ron lớp ẩn 10 epoch = 100 số lớp ẩn tốt 10 tập liệu Như tập liệu Google stock mơ hình Deep learning với số nơ-ron lớp input 1, số lớp ẩn 10, số nơ-ron cho lớp ẩn 8, epoch = 100 output giá trị đầu cho kết dự đoán tốt so với mơ hình ANN 4.4.2 Thực nghiệm với tập liệu Gold price Trường hợp 1: Đánh giá độ ảnh hưởng số nơ-ron lớp ẩn dự báo tập liệu Gold price cố định số nơ-ron lớp input 1, lớp ẩn, epoch = 100 output giá trị đầu Bảng 4.6 Kết thực nghiệm tập liệu Gold price với số nơ-ron lớp ẩn thay đổi Số nơ-ron Thời gian lớp ẩn thực thi (s) Độ xác MAE RMSE CV(RMSE) 39.69 20.3678 28.5175 0.0218 43.32 20.1472 28.1642 0.0215 41.85 20.1890 28.0408 0.0215 40.07 20.1999 28.0389 0.0215 37.71 20.1235 28.0748 0.0215 41.47 20.1248 28.1002 0.0215 41.43 20.1206 28.0862 0.0215 40.32 20.2136 28.0443 0.0215 45 40.15 20.2139 28.0431 0.0215 10 40.14 20.4894 28.6771 0.0219 Dựa theo Bảng 4.6 số nơ-ron lớp ẩn tốt tốt tập liệu Trường hợp 2: Đánh giá độ ảnh hưởng số nơ-ron lớp input dự báo tập liệu Gold prices cố định lớp ẩn, số nơ-ron lớp ẩn 7, epoch = 100 output giá trị đầu Bảng 4.7 kết chạy thực nghiệm tập liệu Gold prices sử dụng mơ hình ANN với số nơ-ron lớp input thay đổi theo giá trị {1, 2, 4, 8, 12} để xem xét thay đổi dự báo theo tuần, hai tuần, tháng, hai tháng, quý Bảng 4.7 Kết thực nghiệm tập liệu Gold prices với số nơ-ron lớp input thay đổi Số nơ-ron Thời gian lớp input thực thi (s) Độ xác MAE RMSE CV(RMSE) 39.24 20.1638 28.0406 0.0215 40.76 20.4333 28.1075 0.0215 35.06 26.2927 35.5759 0.0272 40.35 31.0491 41.2884 0.0316 12 39.45 32.8853 42.6027 0.0326 Dựa vào Bảng 4.7 thấy số nơ-ron lớp input dự báo tập liệu cho kết với sai số Trường hợp 3: Đánh giá độ ảnh hưởng epoch dự báo tập liệu Gold prices cố định số nơ-ron lớp input 1, lớp ẩn, số nơ-ron lớp ẩn output giá trị đầu 46 Bảng 4.8 Kết thực nghiệm tập liệu Gold prices với epoch thay đổi Epoch Độ xác Thời gian thực thi (s) MAE RMSE CV(RMSE) 10 5.80 30.8506 39.4761 0.0302 20 9.82 109.3705 114.0446 0.0872 30 13.36 20.5864 28.2827 0.0216 40 16.06 20.2227 28.3193 0.0217 50 19.58 20.1454 28.0425 0.0215 60 22.92 21.4027 28.9818 0.0222 70 27.83 21.4307 29.0070 0.0222 80 32.13 20.1638 28.2073 0.0216 90 36.19 20.8967 29.2201 0.0224 100 40.75 20.2556 28.0555 0.0215 Dựa vào kết Bảng 4.8 thấy epoch = 50 dự báo có sai số thấp MAE = 20.1454, RMSE = 28.0425, CV(RMSE) = 0.0215 Do tập liệu epoch tốt 50 Trường hợp 4: Đánh giá độ ảnh hưởng số lớp ẩn dự báo tập liệu Gold prices cố định số nơ-ron lớp input 1, số nơ-ron cho lớp ẩn 7, epoch = 50 output giá trị đầu ra, kết biểu thị Bảng 4.9 Bảng 4.9 Kết thực nghiệm tập liệu Gold prices với số lớp ẩn thay đổi Số lớp ẩn Độ xác Thời gian thực thi (s) 20.35 MAE RMSE CV(RMSE) 20.1172 28.0804 0.0215 47 20.67 21.5562 29.1176 0.0223 18.37 20.8553 28.5017 0.0218 23.30 22.1656 30.7128 0.0235 23.55 22.2427 30.7952 0.0236 24.45 20.7591 29.0322 0.0222 24.74 24.8953 33.5199 0.0256 24.93 20.7774 28.4458 0.0218 27.28 33.6427 40.4442 0.0309 10 26.76 21.6013 29.1616 0.0223 Dựa vào Bảng 4.9 thấy tập liệu số lớp ẩn tốt với sai số MAE = 20.1172, RMSE = 28.0804, CV(RMSE) = 0.0215 Như tập liệu Gold prices mơ hình ANN với số nơ-ron lớp input 1, số nơ-ron cho lớp ẩn 7, epoch = 50 output giá trị đầu cho kết dự đoán tốt so với mơ hình Deep learning 4.4.3 Thực nghiệm với tập liệu Temperature LA Trường hợp 1: Đánh giá độ ảnh hưởng số nơ-ron lớp ẩn dự báo tập liệu Temperature LA cố định số nơ-ron lớp input 1, lớp ẩn, epoch = 100 output giá trị đầu Bảng 4.10 Kết thực nghiệm tập liệu Temperature LA với số nơ-ron lớp ẩn thay đổi Số nơ-ron Thời gian lớp ẩn thực thi (s) Độ xác MAE RMSE CV(RMSE) 127.29 0.8748 1.4212 0.0049 278.96 0.9185 1.4926 0.0051 48 300.08 0.8888 1.4638 0.0050 314.14 1.0238 1.5827 0.0054 293.09 1.3466 1.6996 0.0058 330.94 0.8907 1.4220 0.0049 189.85 0.8639 1.4241 0.0049 108.95 0.9782 1.4468 0.0050 120.29 1.7215 2.0341 0.0070 10 113.99 0.9315 1.4301 0.0049 Dựa vào kết ghi nhận Bảng 4.10 số nơ-ron lớp ẩn tốt trường hợp Trường hợp 2: Đánh giá độ ảnh hưởng số nơ-ron lớp input dự báo tập liệu Temperature LA cố định lớp ẩn, số nơ-ron lớp ẩn 7, epoch = 100 output giá trị đầu Bảng 4.11 kết chạy thực nghiệm tập liệu Temperature LA sử dụng mơ hình ANN với số nơ-ron lớp input thay đổi theo giá trị {1, 6, 12, 24, 36} để xem xét thay đổi dự báo theo giờ, giờ, 12 giờ, ngày, ngày ngày Bảng 4.11 Kết thực nghiệm tập liệu Temperature LA với số nơ-ron lớp input thay đổi Số nơ-ron Thời gian lớp input thực thi (s) Độ xác MAE RMSE CV(RMSE) 104.64 1.3047 1.6665 0.0057 105.16 1.0184 1.5886 0.0055 12 117.71 2.1627 2.4434 0.0084 24 106.88 3.4566 3.7372 0.0128 49 36 106.92 3.4166 3.8046 0.0131 Theo kết ghi nhận Bảng 4.11 số nơ-ron lớp input tốt cho tập liệu Trường hợp 3: Đánh giá độ ảnh hưởng epoch dự báo tập liệu Temperature LA cố định số nơ-ron lớp input 6, lớp ẩn, số nơ-ron lớp ẩn output giá trị đầu Bảng 4.12 Kết thực nghiệm tập liệu Temperature LA với epoch thay đổi Epoch Độ xác Thời gian thực thi (s) MAE RMSE CV(RMSE) 10 11.41 2.7374 3.0297 0.0104 20 22.08 2.7282 2.9903 0.0103 30 32.12 2.0072 2.6438 0.0091 40 42.53 2.1064 2.6585 0.0091 50 52.47 3.3799 3.5775 0.0123 60 64.02 1.3074 1.8995 0.0065 70 121.42 1.4266 1.9095 0.0066 80 292.29 2.9155 3.3039 0.0113 90 261.87 2.7116 3.0328 0.0104 100 352.71 3.2998 3.6228 0.0124 Dựa vào Bảng 4.12 thấy epoch = 60 kết cho dự báo với sai số tập liệu Trường hợp 4: Đánh giá độ ảnh hưởng số lớp ẩn dự báo tập liệu Temperature LA cố định số nơ-ron lớp input 6, số nơ-ron cho lớp ẩn 7, epoch = 60 output giá trị đầu ra, kết biểu thị Bảng 4.13 50 Bảng 4.13 Kết thực nghiệm tập liệu Temperature LA với số lớp ẩn thay đổi Số lớp ẩn Độ xác Thời gian thực thi (s) MAE RMSE CV(RMSE) 105.51 1.3611 1.7298 0.0059 125.45 1.8290 2.3075 0.0079 124.27 2.9444 3.4049 0.0117 134.66 1.0971 1.6857 0.0058 136.61 1.0830 1.7237 0.0059 130.89 1.6200 2.0993 0.0072 131.38 2.4224 2.6882 0.0092 134.63 2.8132 3.2007 0.0110 137.34 7.6139 7.8932 0.0271 10 139.43 5.8418 6.0053 0.0206 Dựa vào Bảng 4.13 thấy với tập liệu mơ hình dự báo cho kết tốt với số lớp ẩn 5, với trường hợp lớp ẩn sai số dự báo thực nghiệm MAE = 1.0971, RMSE = 1.6857, CV(RMSE) = 0.0058 với trường hơp lớp ẩn sai số dự báo MAE = 1.0830, RMSE = 1.7237, CV(RMSE) = 0.0059 Như vậy, với tập liệu Temperature LA mơ hình Deep learning cho kết dự đốn có sai số mơ hình ANN 4.4.4 Thực nghiệm với tập liệu Brent oil prices Trường hợp 1: Đánh giá độ ảnh hưởng số nơ-ron lớp ẩn dự báo tập liệu Brent oil prices cố định số nơ-ron lớp input 1, lớp ẩn, epoch = 100 output giá trị đầu 51 Bảng 4.14 Kết thực nghiệm tập liệu Brent oil prices với số nơ-ron lớp ẩn thay đổi Số nơ-ron Thời gian lớp ẩn thực thi (s) Độ xác MAE RMSE CV(RMSE) 43.07 1.0092 1.3839 0.0177 42.26 1.0125 1.3941 0.0178 45.81 1.0472 1.4117 0.0180 47.70 1.0049 1.3859 0.0177 47.53 1.0134 1.3862 0.0177 46.90 1.0026 1.3827 0.0176 46.02 1.0061 1.3873 0.0177 48.45 1.1055 1.4653 0.0187 48.49 1.0047 1.3821 0.0176 10 47.78 1.0247 1.4065 0.0180 Dựa vào kết ghi nhận Bảng 4.14 số nơ-ron lớp ẩn tốt trường hợp Trường hợp 2: Đánh giá độ ảnh hưởng số nơ-ron lớp input dự báo tập liệu Brent oil prices cố định lớp ẩn, số nơ-ron lớp ẩn 6, epoch = 100 output giá trị đầu Bảng 4.15 Kết thực nghiệm tập liệu Brent oil prices với số nơ-ron lớp input thay đổi Số nơ-ron Thời gian lớp input thực thi (s) 49.29 Độ xác MAE RMSE CV(RMSE) 1.0037 1.3820 0.0176 52 48.22 1.3254 1.7265 0.0220 15 44.37 1.1985 1.6199 0.0207 30 49.04 5.8668 6.3850 0.0815 90 49.13 5.0362 5.5642 0.0710 Theo kết ghi nhận Bảng 4.15 số nơ-ron lớp input tốt cho tập liệu Trường hợp 3: Đánh giá độ ảnh hưởng epoch dự báo tập liệu Brent oil prices cố định số nơ-ron lớp input 1, lớp ẩn, số nơ-ron lớp ẩn output giá trị đầu Bảng 4.16 Kết thực nghiệm tập liệu Brent oil prices với epoch thay đổi Epoch Độ xác Thời gian thực thi (s) MAE RMSE CV(RMSE) 10 5.04 1.0300 1.3979 0.0178 20 9.09 1.0293 1.3973 0.0178 30 14.35 1.0551 1.4187 0.0181 40 18.32 1.0060 1.3825 0.0176 50 23.55 1.2084 1.5675 0.0200 60 26.98 1.0035 1.3820 0.0176 70 33.75 1.0180 1.3891 0.0177 80 36.84 1.0251 1.3942 0.0178 90 42.02 1.0283 1.3965 0.0178 100 45.24 1.0168 1.3884 0.0177 53 Dựa vào Bảng 4.16 thấy với epoch = 60 kết cho dự báo với sai số tập liệu Trường hợp 4: Đánh giá độ ảnh hưởng số lớp ẩn dự báo tập liệu Temperature LA cố định số nơ-ron lớp input 1, số nơ-ron cho lớp ẩn 6, epoch = 60 output giá trị đầu ra, kết biểu thị Bảng 4.17 Bảng 4.17 Kết thực nghiệm tập liệu Brent oil prices với số lớp ẩn thay đổi Số lớp ẩn Độ xác Thời gian thực thi (s) MAE RMSE CV(RMSE) 26.53 1.0146 1.3869 0.0177 28.10 1.0108 1.3924 0.0178 28.62 1.0963 1.4807 0.0189 29.52 1.0645 1.4480 0.0185 28.90 1.1879 1.5469 0.0197 31.39 1.0813 1.4426 0.0184 30.71 1.1359 1.4944 0.0191 32.28 1.0041 1.3820 0.0176 33.62 1.5497 1.9138 0.0244 10 32.58 1.0119 1.3853 0.0177 Dựa vào kết Bảng 4.17 thấy trường hợp mơ hình dự báo với lớp ẩn cho kết sai số thấp MAE = 1.0041, RMSE = 1.3820, CV(RMSE) = 0.0176 Như với tập liệu Brent oil prices mơ hình Deep learning với số nơ-ron lớp input 1, số lớp ẩn 8, số nơ-ron lớp ẩn epoch 60 mơ hình dự đốn tốt so với mơ hình ANN 54 Tóm lại, sau thực nghiệm trường hợp với tập liệu đề cập nhận thấy với tập liệu siêu tham số epoch, số nơ-ron lớp input, số nơ-ron lớp ẩn, số lớp ẩn ảnh hưởng đến kết dự báo Thông qua thực nghiệm nhận thấy tùy vào tập liệu mà mơ hình cho kết với sai số phần lớn với tập liệu mơ hình Deep learning cho kết dự báo tốt so với mơ hình ANN 55 Phần 3: KẾT LUẬN 3.1 Kết đạt - Hiểu quy trình tốn dự báo - Hiểu mơ hình ANN - Hiểu mơ hình Deep learning - Xây dựng demo để đánh giá hai mơ hình Deep learning ANN 3.2 Ưu điểm Hai mơ hình ANN Deep learning ứng dụng vào toán dự báo chuỗi thời gian thực tế dự báo giá cổ phiếu, sản lượng sản xuất bia, doanh số bán thuốc, nhiệt độ khu vực nhiên mức độ xác tương đối nhỏ cịn sai số nhiều So sánh độ xác mơ hình cho tập liệu khác Từ biết mơ hình phù hợp với tập liệu 3.3 Nhược điểm - Tài liệu nghiên cứu chủ yếu tiếng anh có nhiều từ ngữ chuyên ngành nên khó hiểu sâu vào nội dung đề tài - Tập liệu nhiều đa dạng, chưa thử nghiệm với tập liệu đa biến 3.4 Hướng phát triển Tiếp tục nghiên cứu sâu vào nội dung đề tài tìm hiểu, tìm hiểu thêm loại mơ hình khác Deep Learning CNN, DNN, RNN, Đồng thời cải thiện ứng dụng để dự báo có sai số đạt hiểu cao 56 TÀI LIỆU THAM KHẢO [1] J Brownlee, "What Is Time Series Forecasting?," Machine Learning Mastery, 12 2016 [Online] Available: https://machinelearningmastery.com/time-seriesforecasting/ [Accessed 28 2019] [2] Hyndman, R.J., & Athanasopoulos, G., "Forecasting: principles and practice," 2018 [Online] Available: https://otexts.com/fpp2/ [Accessed 29 2019] [3] Wikipedia contributors, "Artificial neural network," Wikipedia, [Online] Available: https://en.wikipedia.org/w/index.php?title=Artificial_neural_network&oldid=97 2940778 [Accessed 15 2019] [4] Aurélien Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow, 2017, pp 253-273 [5] Quasar Jarosz, "File:Neuron-no labels2.png," English Wikipedia, [Online] Available: https://commons.wikimedia.org/w/index.php?curid=7616130 [Accessed 15 2019] [6] Guoqiang Zhang, B Eddy Patuwo, Michael Y Hu, Forecasting with artificial neural networks: The state of the art, Elsevier, 1998 [7] "Vấn đề Overfitting & Underfitting Machine Learning," Trí tuệ nhân tạo, 2019 [Online] Available: https://trituenhantao.io/kien-thuc/van-de-overfittingunderfitting-trong-machine-learning/ [Accessed 24 10 2019] [8] "Bài 15: Overfitting," Machine Learning bản, 2017 [Online] Available: https://machinelearningcoban.com/2017/03/04/overfitting/ [Accessed 24 10 2019] 57 [9] Tạ Quốc Dũng, Lê Thế Hà, Phạm Duy Khang, "Ứng dụng mạng Neural nhân tạo (ANN) dự báo độ rỗng," Tạp chí dầu khí, 2019 [10] D T Trang, Ứng dụng mạng nơron nhân tạo dự báo số học sinh tuyển vào Trung tâm GDNNGDTX quận Đống Đa, 2017 [11] Matt Mazur, "A Step by Step Backpropagation Example," 2017 [Online] Available: https://mattmazur.com/2015/03/17/a-step-by-step-backpropagationexample/ [Accessed 15 11 2019] [12] Wikipedia contributors, "Chain rule," Wikipedia, [Online] Available: https://en.wikipedia.org/w/index.php?title=Chain_rule&oldid=950737064 [Accessed 15 11 2019] [13] M Copeland, "What’s the Difference Between Artificial Intelligence, Machine Learning and Deep Learning?," 29 2016 [Online] Available: https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligencemachine-learning-deep-learning-ai/ [Accessed 4 2020] [14] "Deep Learning gì? Tổng quan Deep learning," Nordic Coder, 30 12 2019 [Online] Available: https://nordiccoder.com/blog/deep-learning-la-gi/ [Accessed 2020] [15] "Bài 35: Lược sử Deep Learning," Machine Learning bản, 22 2018 [Online] Available: https://machinelearningcoban.com/2018/06/22/deeplearning/ [Accessed 2020 5] [16] Wikipedia contributors, "Root-mean-square deviation," Wikipedia, 17 2020 [Online] Available: https://en.wikipedia.org/w/index.php?title=Root-meansquare_deviation&oldid=941256353 [Accessed 10 2020] 58 S K L 0