Đang tải... (xem toàn văn)
(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian(Đồ án tốt nghiệp) Tìm hiểu mô hình hồi quy và ứng dụng trong dự báo dữ liệu chuổi thời gian
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN HỆ THỐNG THÔNG TIN Nguyễn Xuân Nguyên - 16110539 Trần Thị Nhựt - 16110410 Đề Tài: TÌM HIỂU MƠ HÌNH HỒI QUY VÀ ỨNG DỤNG TRONG DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN KHÓA LUẬN TỐT NGHIỆP KỸ SƯ CNTT GIÁO VIÊN HƯỚNG DẪN TS NGUYỄN THÀNH SƠN KHÓA 2016 - 2020 LỜI CẢM ƠN Trong suốt trình học tập, nghiên cứu đề tài “Tìm hiểu mơ hình hồi quy ứng dụng dự báo liệu chuỗi thời gian”, chúng em nhận giúp đỡ, bảo nhiệt tình thầy, cô giáo Khoa Công nghệ thông tin - Trường Đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh Với tình cảm chân thành, chúng em xin bày tỏ lịng biết ơn đối thầy giáo, giáo tham gia quản lý, giảng dạy giúp đỡ chúng em suốt trình học tập, nghiên cứu Chúng em xin bày tỏ biết ơn đặc biệt đến TS Nguyễn Thành Sơn - người trực tiếp hướng dẫn, giúp đỡ chúng em hoàn thành tốt luận văn Trong q trình học tập khóa luận chuyên ngành Hệ thống thông tin, chúng em nhận quan tâm, giúp đỡ, hướng dẫn tận tình, tâm huyết thầy Thầy giúp đỡ em tích lũy thêm nhiều kiến thức để có nhìn hồn thiện cho đề tài Do chưa có nhiều kinh nghiệm làm để tài hạn chế kiến thức, luận văn chắn khơng tránh khỏi thiếu sót Rất mong nhận nhận xét, ý kiến đóng góp, phê bình từ phía Thầy(cơ) để khóa luận chúng em hoàn thiện Chúng em xin chân thành cảm ơn ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Họ Tên SV thực 1: Nguyễn Xuân Nguyên Mã số SV: 16110539 Họ Tên SV thực 2: Trần Thị Nhựt Mã số SV: 16110410 Thời gian làm luận văn: từ: 30/03/2020 Đến: 30/07/2020 Chuyên ngành: Hệ thống thơng tin Tên luận văn: Tìm hiểu mơ hình hồi quy ứng dụng dự báo liệu chuỗi thời gian GV hướng dẫn: TS Nguyễn Thành Sơn Nhiệm Vụ Của Luận Văn: Hiểu tầm quan trọng Machine Learning Tìm hiểu mơ hình hồi quy Tìm hiểu mơ hình ANN Tìm hiểu mơ hình kết hợp hồi quy ANN Cài đặt mơ hình Thực nghiệp so sánh mơ hình nhiều tập liệu Đề cương luận văn: Phần 1: MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục đích đề tài 1.3 Cách tiếp cận phương pháp nghiên cứu 1.4 Kết đạt Phần 2: NỘI DUNG Chương 1: Tổng quan ứng dụng 1.1 Machine learning gì? 1.2 Forecasting gì? 1.3 Machine learing ứng dụng vào việc gì? 1.4 Các bước để tiến hành dự báo 1.5 Dữ liệu phương pháp dùng dự báo Chương 2: CÁC CÁCH THỂ HIỆN DỮ LIỆU DƯỚI DẠNG TIME SERIES 2.1 Các mơ típ xuất 2.2 Các cách thể liệu dạng time series Chương 3: CÁC CÔNG CỤ SỬ DỤNG CHO VIỆC DỰ ĐOÁN 3.1 Các phương pháp dự đoán đơn giản 3.2 Chuyển đổi điều chỉnh (Transformation and adjustment) 3.3 Biến đổi (Transformation) Chương 4: MÔ HÌNH HỒI QUY 4.1 Hồi quy đơn 4.2 Hồi quy bội 4.3 Mơ hình hồi quy theo thời gian Chương 5: MƠ HÌNH MẠNG NEURON NHÂN TẠO (ANN) 5.1 Lịch sử phát triển neuron nhân tạo 5.2 Neuron sinh vật 5.3 Mạng neuron nhân tạo Chương 6: MƠ HÌNH KẾT HỢP HỒI QUY VÀ MẠNG NEURON NHÂN TẠO 6.1 Giới thiệu mơ hình 6.2 Tính sai số tồn phương trung bình (MSE) trọng số ( ) CHƯƠNG 7: ĐÁNH GIÁ BẰNG THỰC NGHIỆM 7.1 Môi trường thực nghiệm 7.2 Các tập liệu dùng thực nghiệm 7.3 Các trường hợp thực nghiệm 7.4 Kết thực nghiệm Phần 3: KẾT LUẬN 3.1 Kết đạt 3.2 Đóng góp đề tài 3.3 Hạn chế 3.4 Hướng phát triển MỤC LỤC Phần 1: MỞ ĐẦU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI 1.2 MỤC ĐÍCH CỦA ĐỀ TÀI 1.3 CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU 1.3.1 Đối tượng nghiên cứu 1.3.2 Phạm vi nghiên cứu 1.4 KẾT QUẢ ĐẠT ĐƯỢC Phần 2: NỘI DUNG .3 Chương 1: TỔNG QUAN VÀ ỨNG DỤNG 1.1 MACHINE LEARNING LÀ GÌ? .3 1.2 FORECASTING LÀ GÌ? 1.3 MACHINE LEARING ĐƯỢC ỨNG DỤNG VÀO NHỮNG VIỆC GÌ? 1.4 CÁC BƯỚC CƠ BẢN ĐỂ TIẾN HÀNH TRONG MỘT DỰ BÁO 1.5 DỮ LIỆU VÀ PHƯƠNG PHÁP DÙNG TRONG DỰ BÁO Chương 2: CÁC CÁCH THỂ HIỆN DỮ LIỆU DƯỚI DẠNG TIME SERIES .6 2.1 CÁC MƠ TÍP CĨ THỂ XUẤT HIỆN 2.2 CÁC CÁCH THỂ HIỆN DỮ LIỆU DƯỚI DẠNG TIME SERIES Chương 3: CÁC CÔNG CỤ SỬ DỤNG CHO VIỆC DỰ ĐOÁN 10 3.1 CÁC PHƯƠNG PHÁP DỰ ĐOÁN ĐƠN GIẢN 10 3.2 CHUYỂN ĐỔI VÀ ĐIỀU CHỈNH (Transformation and Adjustment) 12 3.3 BIẾN ĐỔI (Transformation) 13 Chương 4: MƠ HÌNH HỒI QUY 16 4.1 HỒI QUY ĐƠN 16 4.2 HỒI QUY BỘI 35 4.3 MÔ HÌNH HỒI QUY THEO THỜI GIAN 51 Chương 5: MƠ HÌNH MẠNG NEURON NHÂN TẠO (ANN) .64 5.1 LỊCH SỬ PHÁT TRIỂN CỦA NEURON NHÂN TẠO .64 5.2 NEURON SINH VẬT 65 5.3 MẠNG NEURON NHÂN TẠO 66 Chương 6: MƠ HÌNH KẾT HỢP HỒI QUY VÀ MẠNG NEURON NHÂN TẠO 89 6.1 GIỚI THIỆU MƠ HÌNH 89 6.2 TÍNH SAI SỐ TỒN PHƯƠNG TRUNG BÌNH (MSE) trọng số ( ) 90 CHƯƠNG 7: ĐÁNH GIÁ BẰNG THỰC NGHIỆM 91 7.1 MÔI TRƯỜNG THỰC NGHIỆM 91 7.2 CÁC TẬP DỮ LIỆU DÙNG TRONG THỰC NGHIỆM .91 7.3 CÁC TRƯỜNG HỢP THỰC NGHIỆM 100 7.4 KẾT QUẢ THỰC NGHIỆM 101 Phần 3: KẾT LUẬN 112 3.1 KẾT QUẢ ĐẠT ĐƯỢC 112 3.2 ĐÓNG GÓP CỦA ĐỀ TÀI 112 3.3 HẠN CHẾ 112 3.4 HƯỚNG PHÁT TRIỂN 112 DANH MỤC TÀI LIỆU THAM KHẢO 113 KẾ HOẠCH THỰC HIỆN LUẬN VĂN 114 DANH MỤC HÌNH ẢNH Hình Biểu đồ lượng bia sản xuất hàng tháng Úc (1956-1990) Hình Biểu đồ dự đốn lượng bia sản xuất hàng tháng Úc .6 Hình Biểu đồ giá chứng khốn cơng ty IBM Hình Biểu đồ dự đoán lượng bia sản xuất hàng tháng Úc .7 Hình Biểu đồ tương quan lượng điện tiêu thụ so với nhiệt độ hàng ngày Hình Biểu đồ tương quan lượng điện tiêu thụ ngày so với trước ngày Hình Biểu đồ tương quan lượng điện tiêu thụ ngày so với ngày trước Hình Biểu đồ dự đoán sản lượng sản xuất bia Úc dùng phương pháp trung bình .10 Hình Biểu đồ dự đốn sản lượng sản xuất bia Úc dùng phương pháp Naïve .11 Hình 10 Biểu đồ dự đoán sản lượng sản xuất bia Úc dùng phương pháp Seasonal Naïve 11 Hình 11 Biểu đồ dự đoán sản lượng sản xuất bia Úc dùng phương pháp Drift 12 Hình 12 Biểu đồ dự đốn sản lượng sản xuất bia Úc trước Adjustment .13 Hình 13 Biểu đồ dự đốn sản lượng sản xuất bia Úc sau dùng Log Transformation 14 Hình 14 Biểu đồ dự đoán sản lượng sản xuất bia Úc trước dùng Log Transformation 15 Hình 15 Mơ hình hồi quy đơn 17 Hình 16 Hàm hồi quy mẫu phần dư 21 Hình 17 Hình 4.1.3.1.a 27 Hình 18 Hình 4.1.3.1.b 27 Hình 19 Mơ hình dự đốn ví dụ 4.3.1 54 Hình 20 Mơ hình dự báo ví dụ 4.3.2 63 Hình 21 Cấu trúc neuron sinh vật .65 Hình 30 Mạng truyền thẳng nhiều lớp .67 Hình 23 Cấu trúc neuron nhân tạo 69 Hình 24 Đồ thị biểu thị hàm tuyến tính 70 Hình 25 Đồ thị biểu thị hàm sigmoid 71 Hình 26 Đồ thị biểu thị hàm 72 Hình 27 Đồ thị biểu diễn hàm ReLU 73 Hình 28 Đồ thị biểu diễn hàm dấu sgn 73 Hình 29 Các dạng học tham số 74 Hình 31 Mơ hình chế hoạt động ANN 80 Hình 32 Mơ hình kết hợp hồi quy mạng neuron nhân tạo 89 Hình 33 Biểu đồ thể tập liệu Air quality data set 93 Hình 34 Biểu đồ biểu tập liệu Jena_climate_2009_2016 94 Hình 35 Biểu đồ biểu diễn tập liệu Appliance energy prediction .97 Hình 36 Biểu đồ biểu diễn tập liệu Occupancy Detection Data Set 98 DANH MỤC BẢNG Bảng Bảng số liệu 4.1.1.2 18 Bảng Bảng xử lí số liệu ví dụ 4.1.1.2 18 Bảng Bảng xử lí số liệu ví dụ 4.1.2.2 22 Bảng Bảng xử lí số liệu ví dụ 4.1.2.2 25 Bảng Xử lí số liệu ví dụ 4.1.3.2 29 Bảng Bảng số liệu 4.2.2.1 37 Bảng Bảng xử lí ví dụ 4.2.2.1 39 Bảng Xử lí số liệu ví dụ 4.2.3.1 46 Bảng Bảng số liệu ví dụ 4.3.1 52 Bảng 10 Bảng xử lý số liệu ví dụ 4.3.1 52 Bảng 11 Bảng xử lí số liệu 4.3.1 55 Bảng 12 giá trị đầu bảng số liệu ví dụ 4.3.1 59 Bảng 13 Bảng liệu tuyển sinh (1998-2017) 83 Bảng 14 Dữ liệu tuyển sinh từ năm 1988 đến 2017 Trung tâm .85 Bảng 15 Xử lí liệu tuyển sinh từ năm 1988 đến 2017 Trung tâm 86 Bảng 16 Bảng tóm tắt tập liệu 99 Bảng 17 Giá trị thực nghiệm tệp liệu Air quality mơ hình ANN với k thay đổi 102 Bảng 18 Giá trị thực nghiệm tệp liệu Air quality mơ hình ANN với epoch thay đổi 102 Bảng 19 Giá trị sai số tập liệu Air Quality cho mơ hình thực nghiệm .103 Bảng 20 Thời gian thực thi tập liệu Air Quality cho mơ hình thực nghiệm .103 Epoch=30 8.41 s 2.67 3.31 9.88 Epoch=40 12.33 s 2.89 3.53 10.53 Epoch=50 11.48 s 2.58 3.28 9.79 Epoch=60 13.68 s 2.76 3.36 10.02 Epoch=70 17.05 s 3.34 4.18 12.47 Epoch=80 18.96 s 2.94 3.61 10.77 Epoch=90 18.76 s 2.45 3.15 9.4 Epoch=100 21.81 s 2.13 2.74 8.18 Qua kết bảng 18 ta thấy giá trị epoch lớn thời gian thực thi lớn sai số MAE nhỏ Ta chọn epoch =100 để chạy thực nghiệm mơ hình kết hợp Chạy thực nghiệm mơ hình kết hợp với k=6 epoch =100 Bảng 19 Giá trị sai số tập liệu Air Quality cho mô hình thực nghiệm MAE RMSE Regression ANN Hybrid Regression 3.52 2.13 2.57 4.38 CV(RMSE) ANN Hybrid Regression ANN Hybrid 2.74 8.18 3.2 13.07 9.54 Bảng 20 Thời gian thực thi tập liệu Air Quality cho mơ hình thực nghiệm Mơ hình Thời gian thực thi Regression ANN Hybrid 1.83 s 21.81 s 21.95 s Nhận xét: Qua kết từ việc chạy thực nghiệm tập liệu cho mơ hình tệp liệu Air quality data set chạy cho kết tốt mô hình mạng neuron nhân tạo Nhưng lại tiêu tốn thời gian nhiều gấp 12 lần so với mơ hình hồi quy Mơ hình kết hợp cho 103 giá trị gần giống mơ hình mạng neuron nhân tạo, điều cho thấy mơ hình mạng neuron nhân tạo chiếm ưu mơ hình hồi quy mơ hình kết hợp 7.4.2 Thực nghiệm với tập liệu Jena_climate_2009_2016 Input bao gồm cột: Date Time(DD/MM/YYYY HH:MM:SS ), p (mbar), Tpot (K), Tdew (degC), rh (%), VPmax (mbar), VPact (mbar), VPdef (mbar), sh (g/kg), H2OC (mmol/mol), rho (g/m**3), wv (m/s), max wv (m/s),wd (deg) Output bao gồm cột: T (degC) Bảng 21 kết chạy thực nghiệm tập liệu Jena_climate_2009_2016 sử dụng mơ hình ANN với số neuron lớp ẩn từ k=1, 2, … , 10, epoch=10 Bảng 21 Giá trị thực nghiệm tệp liệu Jena_climate_2009_2016 mơ hình ANN với k thay đổi Thời gian thực MAE RMSE CV(RMSE) thi k=1 175.71 s 0.25 1.62 0.14 k=2 273.85 s 0.35 1.4 0.12 k=3 267.89 s 1.73 95.98 8.49 k=4 292.32 s 0.5 29.75 2.63 k=5 290.55 s 0.15 2.48 0.22 k=6 292.62 s 1.25 75.51 6.68 k=7 291.71 s 0.33 0.84 0.07 k=8 286.48 s 0.85 3.38 0.3 k=9 284.58 s 0.69 31.02 2.74 k=10 299.01 s 0.85 21.49 1.9 104 Theo kết chạy thực nghiệm với mơ hình ANN, ta thấy với k=5 giá trị MAE=0.15 thời gian thực thi 290.55 kết tốt giá trị k =1, 2, ,10 Bảng 22 kết chạy thực nghiệm tập liệu Air quality sử dụng mơ hình ANN với số neuron lớp ẩn k=5, epoch=10, 20, …, 100 Bảng 22 Giá trị chạy thực nghiệm tệp liệu Jena_climate_2009_2016 mơ hình ANN với epoch thay đổi Thời gian thực MAE RMSE CV(RMSE) thi Epoch=10 290.55 s 0.15 2.48 0.22 Epoch=20 231.07 s 0.41 20.63 1.83 Epoch=30 399.02 s 1.23 66.12 5.85 Epoch=40 459.02 s 0.2 11.29 Epoch=50 531.09 s 0.46 24.26 2.15 Epoch=60 567.89 s 1.28 80.04 7.08 Epoch=70 664.11 s 0.78 43.94 3.89 Epoch=80 1162.89 s 0.33 16.89 1.5 Epoch=90 1657.24 s 0.47 30.6 2.71 Epoch=100 1013.89s 1.71 104.09 9.21 Qua kết bảng 22 ta thấy giá trị epoch lớn thời gian thực thi lớn sai số MAE thay đổi liên tục Tuy nhiên với epoch =10 giá trị MAE=0.15 nhỏ Nên ta chọn epoch =10 để chạy thực nghiệm mơ hình kết hợp Chạy thực nghiệm mơ hình kết hợp với k=5, epoch = 10 105 Bảng 23 Giá trị sai số tập liệu Jena_climate_2009_2016 mô hình thực nghiệm MAE RMSE Regression ANN Hybrid Regression 0.01 0.15 0.01 0.06 CV(RMSE) ANN Hybrid Regression ANN Hybrid 2.48 0.22 0.01 0.01 Bảng 24 Thời gian thực thi tập liệu Jena_climate_2009_2016 mơ hình thực nghiệm Mơ hình Regression ANN Hybrid Thời gian thực thi 9.16 s 290.55 s 292.23 s Nhận xét: Qua kết từ việc chạy thực nghiệm tập liệu cho mơ hình tệp liệu Jena_climate_2009_2016 chạy cho kết tốt mơ hình hồi quy Với thời gian thực thi ngắn nhiều so với mô hình mạng neuron nhân tạo có 9.16 giây Và sai số MAE=0.01 giá trị sai số thấp Mơ hình mạng neuron nhân tạo cho sai số cao hai mơ hình cịn lại thời gian thực lớn Mơ hình kết hợp cho kết sai số giống với mơ hình hồi quy, điều cho thấy mơ hình kết hợp mơ hình hồi quy chiếm ưu 7.4.3 Thực nghiệm với tập liệu Appliances energy prediction (Dự đoán lượng gia dụng) Input bao gồm cột: Date, Appliances, Lights, T1, RH_1, T2, RH_2, T3, RH_3, T4, RH_4, T5, RH_5, T6, RH_6, T7, RH_7, T8, RH_8, T9, RH_9, Press_mm_hg, RH_out, Windspeed, Visibility, Tdewpoint, rv1, rv2 Output bao gồm cột: T_out Bảng 23 kết chạy thực nghiệm tập liệu Appliances energy prediction sử dụng mơ hình ANN với số neuron lớp ẩn từ k=1, 2, … , 10, epoch=10 106 Bảng 25 Giá trị thực nghiệm tệp liệu Appliances energy prediction mơ hình ANN với k thay đổi Thời gian thực MAE RMSE CV(RMSE) thi k=1 7.06 s 9.53 10.68 0.78 k=2 6.86 s 9.4 10.56 0.77 k=3 6.78 s 0.77 1.01 0.07 k=4 7s 0.79 1.23 0.09 k=5 7.3 s 1.62 0.15 k=6 6.39 s 1.44 1.73 0.13 k=7 6.45 s 0.81 1.16 0.08 k=8 7.87 s 0.78 1.03 0.08 k=9 6.62 s 1.11 1.41 0.1 k=10 6.65 s 0.76 1.08 0.08 Theo kết chạy thực nghiệm với mơ hình ANN, ta thấy với k=10 giá trị MAE=0.76 thời gian thực thi 6.65 kết tốt giá trị k =1, 2, ,10 Bảng 26 kết chạy thực nghiệm tập liệu Appliances energy prediction sử dụng mơ hình ANN với số neuron lớp ẩn k=10, epoch=10, 20, … , 100 Bảng 26 Giá trị thực nghiệm tệp liệu Appliances energy prediction mơ hình ANN với epoch thay đổi Thời gian thực MAE RMSE CV(RMSE) 0.76 1.08 0.08 thi Epoch=10 6.65 s 107 Epoch=20 27.73 s 0.75 1.28 0.09 Epoch=30 35.25 s 0.71 1.25 0.09 Epoch=40 43.35 s 0.68 1.26 0.09 Epoch=50 34.22 s 0.79 1.35 0.1 Epoch=60 72.62 s 0.75 1.16 0.08 Epoch=70 46.3 s 0.7 1.23 0.09 Epoch=80 87.12 s 0.78 1.19 0.09 Epoch=90 83.93 s 0.85 1.16 0.09 Epoch=100 79.03 s 0.86 1.35 0.1 Qua kết bảng 26 ta thấy giá trị epoch lớn thời gian thực thi lớn nhiên với epoch=40 giá trị sai số MAE=0.68 nhỏ Ta chọn epoch =40 để chạy thực nghiệm mơ hình kết hợp Chạy thực nghiệm mơ hình kết hợp với k=10, epoch=40 Bảng 27 Giá trị sai số tập liệu Appliances energy prediction mơ hình thực nghiệm MAE RMSE Regression ANN Hybrid Regression 0.59 0.68 0.63 1.05 CV(RMSE) ANN Hybrid Regression ANN Hybrid 1.26 0.09 0.94 0.08 0.07 Bảng 28 Thời gian thực thi tập liệu Appliances energy prediction mơ hình thực nghiệm Mơ hình Regression ANN Hybrid Thời gian thực thi 0.79 s 43.35 s 45.09 s 108 Nhận xét: Qua thực nghiệm chạy ba mơ hình, ta thấy tệp liệu Appliances energy prediction cho kết tốt mơ hình hồi quy Với sai số MAE=0.59 thời gian thực thi 0.79 Mơ hình kết hợp cho kết giống với mơ hình hồi quy, điều có nghĩa mơ hình hồi quy chiếm ưu so với mơ hình neuron nhân tạo mơ hình kết hợp 7.4.4 Thực nghiệm với tập liệu Occupancy Detection Data Set (Bộ liệu phát chiếm dụng) Input bao gồm cột: Date, Temperature, Humidity, Light, CO2, HumidityRatio Output bao gồm cột: Occupancy Bảng 26 kết chạy thực nghiệm tập liệu Occupancy Detection sử dụng mơ hình ANN với số neuron lớp ẩn từ k=1, 2, … , 10, epoch=10 Bảng 29 Giá trị thực nghiệm tệp liệu Occupancy Detection Data Set mơ hình ANN với k thay đổi Thời gian thực MAE RMSE CV(RMSE) thi k=1 3.78 s 0.27 0.52 1.92 k=2 4.16 s 0.31 0.58 2.12 k=3 4.3 s 0.31 0.56 2.06 k=4 4.65 s 0.04 0.09 0.33 k=5 3.75 s 0.25 0.3 1.1 k=6 3.68 s 0.18 0.57 2.1 k=7 3.63 s 0.12 0.17 0.64 k=8 3.82 s 0.16 0.24 0.88 k=9 4.14 s 0.47 0.61 2.24 109 k=10 3.6 s 0.4 0.54 Theo kết chạy thực nghiệm với mơ hình ANN, ta thấy với k=4 giá trị MAE=0.04 thời gian thực thi 3.24 kết tốt giá trị k =1, 2, , 10 Bảng 30 kết chạy thực nghiệm tập liệu Air quality sử dụng mơ hình ANN với số neuron lớp ẩn k=4, epoch=10, 20, … , 100 Bảng 30 Giá trị thực nghiệm tệp liệu Occupancy Detection Data Set mơ hình ANN với epoch thay đổi Thời gian thực MAE RMSE CV(RMSE) thi Epoch=10 4.65 s 0.04 0.09 0.33 Epoch=20 13.98 s 0.58 0.7 2.57 Epoch=30 13.46 s 0.07 0.17 0.64 Epoch=40 23.71 s 0.22 0.48 1.76 Epoch=50 29.67 s 0.13 0.14 0.51 Epoch=60 16.09 s 0.22 0.26 0.96 Epoch=70 18.77 s 0.08 0.12 0.44 Epoch=80 21.23 s 0.3 0.52 1.9 Epoch=90 27.96 s 0.33 0.66 2.41 Epoch=100 27.07 s 0.27 0.52 1.92 Qua kết bảng 30 ta thấy giá trị epoch lớn thời gian thực thi lớn sai số thay đổi Tuy nhiên với giá trị epoch = 10 cho kết MAE=0.4 nhỏ Ta chọn epoch =10 để chạy thực nghiệm mơ hình kết hợp Chạy thực nghiệm mơ hình kết hợp với k=4, epoch=10 110 Bảng 31 Giá trị sai số tập liệu Occupancy Detection mơ hình thực nghiệm MAE RMSE Regression ANN Hybrid Regression 0.14 0.04 0.14 0.21 CV(RMSE) ANN Hybrid Regression ANN Hybrid 0.09 0.33 0.21 0.77 0.77 Bảng 32 Thời gian thực thi tập liệu Occupancy Detection mơ hình thực nghiệm Mơ hình Regression ANN Hybrid Thời gian thực thi 1.18 s 4.65 s 7.99 s Nhận xét: Qua kết thực nghiệm ta thấy tập liệu Occupancy Detection Data Set cho kết xác mơ hình neuron nhân tạo với sai số MAE=0.04 thời gian thực thi 4.65 So thời gian chậm so với mơ hình hồi quy Mơ hình kết hợp cho kết giống với mơ hình hồi quy, cho thấy mơ hình hồi quy chiếm ưu mơ hình kết hợp 111 Phần 3: KẾT LUẬN 3.1 KẾT QUẢ ĐẠT ĐƯỢC - Hiểu tầm quan trọng Machine Learning - Hiểu mơ hình hồi quy đơn, hồi quy bội, mạng neuron nhân tạo - Hiểu phép lai mơ hình kết hợp hồi quy mạng neuron nhân tạo - Hiểu mơ hình hồi quy chuỗi thời gian - Tìm hiểu tốn áp dụng demo mơ hình 3.2 ĐĨNG GĨP CỦA ĐỀ TÀI Đóng góp vào dự báo vấn đề thời tiết, giá vật tư, sản lượng vật phẩm, nhu cầu sử dụng hàng hóa Mang tính chất thực tế cao, nhiên mức độ xác tương đối nhỏ sai số nhiều So sánh mức độ xác mơ hình cho tập liệu khác Từ biết mơ hình phù hợp với tập liệu 3.3 HẠN CHẾ - Tài liệu tiếng anh nhiều từ ngữ chuyên ngành khó hiểu sâu vào nội dung đề tài - Hạn chế ngôn ngữ, cách đọc hiểu nên chưa thể hiểu sâu - Tập liệu dataset nhiều, có nhiều tập khó xử lí liệu 3.4 HƯỚNG PHÁT TRIỂN Tiếp tục nghiên cứu sâu vào đề tài, nghiên cứu phương pháp cao Nâng cao mơ hình dự đốn Cải thiện App demo dự báo hiệu quả, cải thiện sai số 112 DANH MỤC TÀI LIỆU THAM KHẢO [1] R J H a G Athanasopoulos, Forecasting: Principles and Practice, Monash University, Autralia [2] T P C Huy, Bài giảng môn học kinh tế lượng, 2013 [3] N C Dũng, Kinh tế lượng với R, 2017 [4] T N V H V X N Nguyễn Thị Thanh Huyền, Phân tích dự báo kinh tế, Thái Nguyên, 2009 [5] C H T Biên dịch: Thục Đoan, Các phương pháp định lượng, 2011 [6] D T Trang, Ứng dụng mạng neuron nhân tạo dự báo số học sinh tuyển vào trung tâm GDNN-GDTX quận Đống Đa, 2017 [7] R J Schallkoff, Artificial Neural Networks, The McGraw – Hill Companies, 1997 [8] S.H., Artificial Neural Networks (ANNs) for flood forecasting at Dongola Sation, Alexandria Engineering Journal, 2014 [9] Jaime, V.R., Felipe, C., Pablo, V., Artificial Neural Networks applied to flow prediction:, Procedia Engineering 162, 2016 113 Tìm hiểu mơ hình ANN ẩn 114 04/05/2020 Sửa lại chức năng, thêm vào chọn 20/04/2020 số neuron input, output, số lớp 20/04/2020 13/04/2020 13/04/2020 NGÀY BC Viết demo mơ hình ANN 30/03/2020 NGÀY GIAO Tìm tập liệu để đánh giá Ví dụ mơ hình ANN CƠNG VIỆC STT Giáo viên hướng dẫn: TS Nguyễn Thành Sơn ĐÁNH GIÁ CỦA GV Tên luận văn: Tìm hiểu mơ hình hồi quy ứng dụng dự báo liệu chuỗi thời gian đến 30/07/2020 MSSV 2: 16110410 Họ tên sinh viên 2: Trần Thị Nhựt Thời gian: từ 30/03/2020 MSSV 1: 16110539 Họ tên sinh viên 1: Nguyễn Xuân Nguyên KẾ HOẠCH THỰC HIỆN LUẬN VĂN output, số lớp ẩn Thiếu chọn số neuron input, GÓP Ý CỦA GV hình qua tập liệu Đánh giá nghiệm mơ 15/06/2020 mơ hình kết hợp hồi quy, mạng neuron nhân tạo Tính cách sai số mơ hình 01/06/2020 ẩn số neuron input, output, số lớp Sửa lại chức năng, thêm vào chọn 25/05/2020 hồi quy mạng neuron nhân tạo Viết demo cho mơ hình kết hợp 11/05/2020 mạng neuron nhân tạo Tìm hiểu mơ hình kết hợp hồi quy 04/05/2020 115 06/07/2020 15/06/2020 01/06/2020 25/05/2020 11/05/2020 trang đánh giá mơ hình khác Lấy thơng số qua Chỉnh lại giao diện gọng gàng thực nghiệm trường hợp thực nghiệm, kết dùng thực nghiệm, thực nghiệm, tập liệu Bao gồm mục: Môi trường Tính thời gian thực thi Tách mơ hình riêng biệt output, số lớp ẩn Thiếu chọn số neuron input, 17/07/2020 116 30/07/2020 Thêm phần nhiệm vụ luận văn luận, sửa lỗi tả Chỉnh theo yêu cầu khóa CV(RMSE ) chữ Giải thích sử dụng tiêu chí đánh giá MAE, MSE, RMSE, 17/07/2020 chỉnh lỗi tả, canh lề, size Chỉnh sửa word hồnh chỉnh, 06/07/2020 10 Làm powerpoint ... - Tìm hiểu mơ hình ANN - Tìm hiểu mơ hình kết hợp hồi quy ANN - Chuỗi thời gian - Dự báo - Áp dụng hồi quy tuyến tính, mơ hình ANN, mơ hình kết hợp hồi quy ANN vào dự báo 1.3.2 Xây dựng ứng dụng. .. (ANN), tìm hiểu kết hợp mơ hình hồi quy ANN, tìm hiểu chuỗi thời gian, dự báo, ứng dụng vào dự báo chuỗi thời gian 1.2 MỤC ĐÍCH CỦA ĐỀ TÀI Nghiên cứu áp dụng mơ hình hồi quy, mơ hình ANN mơ hình. .. Luận Văn: Hiểu tầm quan trọng Machine Learning Tìm hiểu mơ hình hồi quy Tìm hiểu mơ hình ANN Tìm hiểu mơ hình kết hợp hồi quy ANN Cài đặt mơ hình Thực nghiệp so sánh mơ hình nhiều tập liệu Đề cương