Kết hợp mô hình Arima và Support vector machine để dự báo tại Công ty Dịch vụ Trực tuyến cộng đồng Việt

Bài viết trình bày về phương pháp dự báo dữ liệu chuỗi thời gian bằng cách kết hợp giữa mô hình ARIMA (Auto Regression Integrated Move Average) với Support Vector Machine (SVM), mạng Neural, giải thuật di. Các mô hình kết hợp này được đánh giá, so sánh với tập dữ liệu tại Công ty Dịch vụ Trực tuyến Cộng đồng Việt.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00030 KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CÔNG TY DỊCH VỤ TRỰC TUYẾN CỘNG ĐỒNG VIỆT Nguyễn Đình Thuận 1, Hồ Cơng Hồi2 , Trường Đại học Cơng nghệ Thơng tin, ĐHQG-TPHCM 1,2 thuannd@uit.edu.vn,hoconghoai@gmail.com TĨM TẮT: Các kết mơ hình chuỗi thời gian dự báo có nhiều ứng dụng quan trọng thực tế Vì vậy, năm gần đầy, nhiều tác giả nghiên cứu có nhiều kết dự báo vấn đề Nhiều mơ hình đề xuất để nâng cao tính xác hiệu dự báo mơ hình chuỗi thời gian Bài báo trình bày phương pháp dự báo liệu chuỗi thời gian cách kết hợp mơ hình ARIMA (Auto Regression Integrated Move Average) với Support Vector Machine (SVM), mạng Neural, giải thuật di Các mơ hình kết hợp đánh giá, so sánh với tập liệu Công ty Dịch vụ Trực tuyến Cộng đồng Việt Từ khóa: Time series, ARIMA, SVM, Neural Network I GIỚI THIỆU Chuỗi thời gian (time series) tập hợp điểm liệu (data points) hay điểm quan sát (observations) thu thập xếp theo thứ tự thời gian Trong Toán học chuỗi thời gian định nghĩa tập vector z(t), t = 0, 1, 2,…với t thời điểm thu thập liệu Biến z(t) xem biến ngẫu nhiên [1] Chuỗi thời gian thường chịu ảnh hưởng bị tác động từ yếu tố hay thành phần là: xu hướng (trend), chu kỳ (cyclical), mùa (seasonal) khác thường (irregular) [1] Dựa tác động thành phần mà có hai loại mơ hình sử dụng cho chuỗi thời gian, mơ hình nhân (Multiplicative model) mơ hình cộng (Additive model) - Mơ hình nhân: Y(t) = T(t) * S(t) * C(t) * I(t) - Mơ hình cộng: Y(t) = T(t) + S(t) + C(t) + I(t) Với Y(t) điểm liệu, T(t), S(t), C(t) I(t) thành phần xu hướng, mùa, chu kỳ, khác thường chuỗi thời gian Bài toán khai thác liệu dựa chuỗi thời gian nhiều tác giả quan tâm nghiên cứu Việc kết hợp nhiều phương pháp khai thác liệu có mang lại kết tích cực phương pháp khai thác liệu kết hợp phát huy phần ưu điểm khắc phục số hạn chế phương pháp khai thác liệu đơn lẻ Bài báo nghiên cứu mô hình dự báo liệu chuỗi thời gian, đặc biệt mơ hình ARIMA, thuật giải SVM, mạng Neural phương pháp kết hợp mơ hình ARIMA, SVM, mạng Neural dự báo liệu chuỗi thời gian II CÁC NGHIÊN CỨU LIÊN QUAN Trong năm gần nhiều mơ hình, phương pháp đề xuất để cải thiện kết quả, tăng độ xác cho dự báo liệu chuỗi thời gian nhìn chung mơ hình, phương pháp dự báo liệu chuỗi thời gian tập trung vào hướng nghiên cứu là: - Các mơ hình dự báo dựa mơ hình xác suất, thống kê mơ hình hồi quy (Auto Regression - AR) [2, 3], mơ hình trung bình động (Moving Average - MA) [2, 3], mơ hình tự hồi quy trung bình động (Auto Regression Move Average - ARMA), mơ hình tự hồi quy kết hợp với trung bình động (Auto Regression Integrated Move Average) [1, 2] Ngồi cịn mơ hình biến thể mơ hình để phù hợp với đặc điểm loại liệu mơ hình SARIMA (Seasonal Auto Regression Integrated Move Average) [1, 2, 3] - Hướng nghiên cứu thứ hai khai thác liệu hướng nghiên cứu tập trung vào mơ hình máy học (Machine Learning) mơ hình mạng neural (Neural Network) [4], thuật giải SVM (Support Vector Machine), thuật giải di truyền (Genetic Algorithm - GA) biến thể mơ hình SANN (Seasonal Artificial Neural Networks) [1] - Một hướng nghiên cứu khác có tảng dựa lý thuyết logic mờ Lotfi Zadeh, phương pháp dự báo chuỗi thời gian mờ [4, 5] - Trong nắm gần đây, hướng nghiên cứu kết hợp mơ hình dự báo liệu chuỗi thời gian nhiều nhà khoa học quan tâm nghiên cứu Tiêu biểu mơ hình kết hợp ARIMA mạng neural [6], hay kết hợp mô hình ARIMA với thuật giải SVM, mơ hình ARIMA mờ [7],… KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CÔNG TY DỊCH VỤ… 226 III CÁC PHƯƠNG PHÁP KẾT HỢP TRONG DỰ BÁO CHUỖI THỜI GIAN 3.1 Kết hợp ARIMA mạng Neural Cả mô hình ARIMA mơ hình mạng neural mơ hình phù hợp để dự báo liệu chuỗi thời gian Tuy nhiên mơ hình lại phù hợp với số dạng liệu đặc thù, mơ hình ARIMA phù hợp với dự báo liệu chuỗi thời gian dạng tuyến tính, cịn mơ hình mạng neural lại phù hợp với dự báo liệu chuỗi thời gian dạng phi tuyến tính Do mà mơ hình kết hợp ARIMA mạng neural giúp tăng độ xác dự báo thực tế Ý tưởng mơ hình dựa việc xem xét liệu chuỗi thời gian kết hợp hai thành phần tuyến tính phi tuyến tính hai thành phần ước lượng thơng qua liệu [6] Trong đó: yt giá trị chuỗi thời gian; Lt thành phần tuyến tính (linear component); Nt thành phần phu tuyến tính (nonlinear component) Để dự báo giá trị chuỗi thời gian, mơ hình kết hợp ARIMA mạng neural sử dụng mơ hình ARIMA để dự báo cho thành phần tuyến tính Mơ hình kết hợp ARIMA mạng neural thực hai bước để dự báo giá trị chuỗi thời gian + Bước 1: Dự báo thành phần tuyến tính chuỗi thời gian mơ hình ARIMA + Bước 2: Dự báo thành phần phi tuyến tính chuỗi thời gian mơ hình mạng neural 3.2 Mơ hình ARIMA mờ Đối với mơ hình ARIMA thường liệu chuỗi thời gian dùng để xây dựng mơ hình phải có tối thiểu 50 điểm liệu mơ hình ARIMA dự đốn tốt chuỗi thời gian có từ 100 điểm liệu trở lên [8] Tuy nhiên, thực tế có trường hợp môi trường không chắn liệu bị thay đổi liên tục dẫn đến tình phải dự báo với liệu khứ, ảnh hưởng đến kết dự báo mơ hình ARIMA, nhược điểm mơ hình ARIMA Chính mà mơ hình ARIMA mờ đề xuất để cải thiện kết dự báo trường hợp liệu ARIMA mờ (Fuzzy Auto Regression Integrated Move Average - FARIMA) phương pháp kết hợp mơ hình ARIMA mơ hình hồi quy mờ (fuzzy regression) Ý tưởng mơ hình ARIMA mờ thay sử dụng mơ hình ARIMA với tham số mơ giá trị số thực, mơ hình ARIMA ̃ mờ sử dụng hồi quy mờ để mờ hóa tham số mơ hình ARIMA thành tham số mờ ̃ ̃ ̃ ̃ ̃ , từ giảm yêu cầu số lượng điểm liệu chuỗi thời gian dùng để xây dựng mơ hình Mơ hình ARIMA mờ áp dụng dự báo liệu chuỗi thời gian thường thực qua giai đoạn sau [8]: + Giai đoạn 1: Xác định mô hình ARIMA(p, d, q) dựa liệu chuỗi thời gian Kết giai đoạn tham số mơ hình, giá trị nhiễu trắng at Kết giai đoạn phần liệu đầu vào giai đoạn + Giai đoạn 2: Mờ hóa tham số xác định mơ hình ARIMA mờ sau: ̃ 〈 〉 〈 〉 〈 〉 〈 〉 Trong đó: ; trung tâm số mờ; độ rộng xung quanh giá trị trung tâm số mờ Giai đoạn 3: Tối ưu hóa giá trị dự báo cách xóa giá trị nằm biên dự báo mơ hình ARIMA mờ Tổng kết, mơ hình FARIMA dùng để thay thể mơ hình ARIMA để dự báo giá trị chuỗi thời gian trường hợp liệu dùng để xây dựng mơ hình tương đối hạn chế Tuy nhiên, trường hợp có đầy đủ liệu để xây dựng mơ hình mơ hình ARIMA vượt trội mơ hình FARIMA kết dự báo chi phí để xây dựng mơ hình Vì mà trường hợp cụ thể cân nhắc để chọn mơ hình phù hợp cho toán dự báo liệu chuỗi thời gian Nguyễn Đình Thuận, Hồ Cơng Hồi 227 3.3 Mơ hình kết hợp ARIMA Support Vector Machine Giới thiệu Như trình bày phần I., chuỗi thời gian thực tế thường bị ảnh hưởng tác động nhiều yếu tố khác nhau, yếu tố thường phân chia làm hai nhóm dựa nguồn gốc xuất chúng Nhóm thứ nhóm yếu tố phát sinh từ “bên trong” chuỗi thời gian, nhóm yếu tố nhóm yếu tố thường xuyên chi phối thay đổi chuỗi thời gian Ví dụ chuỗi thời gian tốc độ dịng chảy sơng, yếu tố lượng mưa, độ dốc địa hình hay tốc độ gió yếu tố ảnh hưởng lên chuỗi thời gian Hay chuỗi thời gian giá cổ phiếu cơng ty, tình hình kinh doanh cơng ty, quy luật cung cầu yếu tố tác động lên giá cổ phiếu cơng ty Các yếu tố nhóm quy định đặc tính tuyến tính chuỗi thời gian Nhóm yếu tố thứ hai yếu tố “bên ngoài” ảnh hưởng lên chuỗi thời gian Đây yếu tố ngẫu nhiên, không thường xuyên ảnh hưởng lên chuỗi thời gian ảnh hưởng thường gây tác động lớn lên chuỗi thời gian Ví dụ chuỗi thời gian giá vàng giới thường bị ảnh hưởng lớn yếu tố ngẫu nhiên thiên tai, chiến tranh hay kiện trị Các yếu tố nhóm quy định đặc tính phi tuyến tính chuỗi thời gian Chính đặc tính tuyến tính phi tuyến tính chuỗi thời gian mà kết dự báo mơ hình riêng biệt đơi không mong đợi Lý mơ hình dự báo riêng biệt thường phù hợp để dự báo cho số thành phần chuỗi thời gian Ví dụ mơ hình ARIMA phù hợp để dự báo cho thành phần tuyến tính chuỗi thời gian, thành phần phi tuyến tính mơ hình ARIMA thường bỏ qua, khơng dự báo Ngược lại, mơ hình máy học SVM hay mạng neural lại thích hợp để dự báo cho thành phần phi tuyến tính chuỗi thời gian thành phần tuyến tính Vì mà việc cần thiết tìm cách kết hợp mơ hình dự báo riêng biệt lại với cho phát huy ưu điểm khắc phục nhược điểm mơ hình Mơ hình kết hợp ARIMA Support Vector Machine mô hình tiếp cận theo hướng Mơ hình sử dụng mơ hình ARIMA để dự báo cho thành phần tuyến tính chuỗi thời gian, đồng thời sử dụng phương pháp SVM ước lượng hồi quy để dự báo cho thành phần phi tuyến tính chuỗi thời gian Sau kết dự báo hai mơ hình kết hợp lại với kết dự báo sau Phương pháp Chuỗi thời gian bao gồm hai thành phần tuyến tính (linear) khơng tuyến tính (nonlinear) Do chuỗi thời gian mơ hình hóa sau: Trong đó: đại diện cho thành phần tuyến tính (Linear) chuỗi thời gian, đại diện cho thành phần phi tuyến tính (Nonlinear) chuỗi thời gian Cả hai thành phần ước lượng từ liệu Đầu tiên, mơ hình ARIMA sử dụng để ước lượng cho thành phần tuyến tính chuỗi thời gian Giả sử ̂ kết dự báo mơ hình ARIMA Khi thành phần cịn lại (residuals) chuỗi thời gian sau lấy kết thực tế trừ kết dự báo xác định sau: ̂ Thành phần cịn lại chứa thành phần phi tuyến tính chuỗi thời gian Do bước phương pháp SVM ước lượng hồi quy sử dụng để dự báo thành phần phi tuyến tính dựa Giả sử phương pháp SVM tìm hàm f tối ưu mơ hình hóa cho thành phần phi tuyến tính chuỗi thời gian Khi đó: Trong đó: giá trị lỗi ngẫu nhiên thời điểm t Sau cùng, kết dự báo mơ hình tổng hợp kết dự báo thành phần tuyến tính ̂ mơ hình ARIMA kết dự báo thành phần phi tuyến tính ̂ phương pháp SVM ước lượng hồi quy ̂ ̂ ̂ Dựa kết nghiên cứu thấy mơ hình kết hợp ARIMA Support Vector Machine cho kết dự báo tốt so với mơ hình riêng biệt Do sử dụng mơ hình kết hợp để dự báo giá trị chuỗi thời gian Từ ưu điểm kết dự báo mơ hình kết hợp ARIMA Support Vector Machine, báo cáo trình bày ứng dụng cụ thể mơ hình việc vào dự báo Công ty Dịch vụ Trực tuyến Cộng đồng Việt 228 KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CÔNG TY DỊCH VỤ… IV CÀI ĐẶT THỰC NGHIỆM VÀ ĐÁNH GIÁ Trong phần này, chúng tơi cài đặt thực nghiệm mơ hình tập liệu công ty hoạt động lĩnh vực trung gian toán tích hợp hệ thống cung cấp cho người dùng tiện ích tốn Cơng ty Dịch vụ Trực tuyến Cộng đồng Việt Với hình thức online người dùng tốn trực tuyến website tốn hóa đơn Cơng ty Dịch vụ Trực tuyến Cộng đồng Việt địa www.paybill.vn toán qua ứng dụng tốn hóa đơn download trực tiếp từ App Store Google Play Với hình thức offline người dùng tiện lợi cần chưa đến phút tốn xong hóa đơn siêu thị điện máy có liên kết với Công ty Dịch vụ Trực tuyến Cộng đồng Việt Nguyễn Kim, Thế giới Di động, Viễn Thông A, FPT Shop,… hay cửa hàng tiện lợi Circle K, Family Mart, Vinmart,…Ưu điểm hình thức tốn nhanh, gọn tiện lợi cửa hàng thường gần nhà khu đông dân cư, bên cạnh cửa hàng hoạt động 24/24 nên người dùng đến để tốn loại hóa đơn Số lượng giao dịch ngày chắn luôn biến động Do để phục vụ khách hàng tốt nâng cao chất lượng dịch vụ công ty việc cần thiết phải dự báo số lượng giao dịch ngày Một vấn đề dự báo số lượng giao dịch ngày Tập liệu để xây dựng mơ hình chia làm phần Phần thứ dùng để huấn luyện mơ hình chọn từ 01/07/2015 đến 31/12/2016 Phần thứ hai dùng để kiểm tra (test) mơ hình chọn từ 01/01/2017 đến 30/01/2017 Để đánh giá hiệu dự báo mơ hình kết hợp ARIMA Support Vector Machine, báo cáo trình bày kết dự báo mơ hình tự hồi quy, hình kết dự báo mơ hình tự hồi quy (AR), hình kết dự báo mơ hình ARIMA, hình kết dự báo mơ hình kết hợp ARIMA mạng neural, hình kết dự báo mơ hình kết hợp ARIMA thuật giải di truyền, hình kết dự báo mơ hình kết hợp ARIMA Support Vector Machine Hình Biểu đồ số lượng giao dịch theo ngày từ 01/07/2015 đến 15/01/2016 Hình Kết dự báo mơ hình tự hồi quy AR Nguyễn Đình Thuận, Hồ Cơng Hồi 229 Hình Kết dự báo mơ hình ARIMA Hình Kết dự báo mơ hình kết hợp ARIMA mạng Neural Hình Kết dự báo mơ hình kết hợp ARIMA thuật giải di truyền 230 KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CƠNG TY DỊCH VỤ… Hình Kết dự báo mơ hình kết hợp ARIMA SVM Bảng Kết dự báo mơ hình Mơ hình RMSE MAE MAPE AR 332.747 248.124 0.519 ARIMA 285.315 230.821 0.435 ARIMA + NN 273.224 208.541 0.427 ARIMA + GA 261.428 203.677 0.406 ARIMA + SVM 240.723 182.843 0.394 Chú thích: Các giá trị tính ngơn ngữ R V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Mô hình kết hợp ARIMA Support Vector Machine thể kết dự báo vượt trội so với mơ hình khác mơ hình tự hồi quy (AR) hay mơ hình ARIMA dự báo liệu chuỗi thời gian Phương pháp Support Vector Machine ước lượng hồi quy giúp tăng độ xác cho kết dự báo mơ hình ARIMA Lý giúp kết dự báo mơ hình kết hợp ARIMA Support Vector Machine vượt trội so với mơ hình khác chuỗi thời gian thực tế thường bao gồm hai thành phần tuyến tính phi tuyến tính Nếu mơ hình dự báo dự báo tốt cho hai thành phần kết dự báo thường khơng sát với liệu thực tế Trong hầu hết nghiên cứu hay ứng dụng mơ hình kết hợp ARIMA phương pháp máy học Support Vector Machine, mạng neural, thuật giải di truyền, người ta sử dụng mơ hình ARIMA để dự báo thành phần tuyến tính chuỗi thời gian trước sử dụng phương pháp máy học để dự báo thành phần phi tuyến tính cịn lại Chưa có nghiên cứu hay ứng dụng lĩnh vực thực ngược lại q trình Do hướng tiếp cận cho mơ hình kết hợp phương pháp dự báo liệu chuỗi thời gian thành phần phi tuyến tính chuỗi thời gian dự báo trước thành phần tuyến tính Bên cạnh đó, mơ hình kết hợp ARIMA phương pháp máy học, kết hợp phương pháp bên chưa thật sâu rộng, kết hợp dừng lại việc tổng hợp kết dự báo mơ hình đơn lẻ lại với kết dự báo cuối Chẳng hạn với mơ hình kết hợp ARIMA Support Vector Machine, kết hợp hai mơ hình ARIMA Support Vector Machine thể việc cộng hai kết dự báo hai mơ hình lại với để có kết dự báo cuối cùng, ngồi hai mơ hình khơng có liên kết với Do để kết dự báo chuỗi thời gian hiệu cần có kết hợp chặt chẽ mơ hình cho mơ hình hỗ trợ cho việc dự báo Chính mà vấn đề làm để kết hợp chặt chẽ phương pháp dự báo mơ hình kết hợp hướng phát triển để tài Nguyễn Đình Thuận, Hồ Cơng Hồi 231 VI TÀI LIỆU THAM KHẢO [1] Ratnadip Adhikari, R K Agrawal (2013) “An Introductory Study on Time Series Modeling and Forecasting” LAP Lambert Academic Publishing, Germany [2] Keith W Hipel, A Ian McLeod (1994) “Time Series Modelling of Water Resources and Environmental Systems” Amsterdam, Elsevier [3] Christoph Klose, Marion Pircher, Stephan Sharma for 406347/UK “Ökonometrische Prognose” in SS04 (2004) “Univariate Time Series Forecasting” University of Vienna Department of Economics [4] Qiang Song, Brad S Chissom (1993) “Fuzzy Time Series and Its Models” Fuzzy Sets and Systems, pp 269-277 [5] Nazirah Ramli, Siti Musleha Ab Mutalib, Daud Mohamad “Fuzzy time series forecasting model with natural partitioning length approach for predicting the unemployment rate under different degree of confidence” AIP, Conference Proceedings, Aug, 2017 [6] Mergani Khairalla, Xu-Ning, Nashat T AL-Jallad, “Hybrid Forecasting Scheme for Financial Time-Series Data using Neural Network and Statistical Methods” (IJACSA) International Journal of Advanced Computer Science and Applications, Vol 8, No 9, 2017 [7] Babu A S, Reddy S K, Exchange Rate Forecasting using ARIMA, Neural Network and Fuzzy Neuron, Journal of Stock & Forex Trading, Aug 2015 [8] Scribd (Accessed: 15 May 2017), https://www.scribd.com/document/252656326/Time-Series-Forecasting-byUsing-Wavelet-Kernel-SVM RESEARCH ON HYBRID ARIMA AND SUPPORT VECTOR MACHINE MODEL FOR FORECASTING AT VIETUNION ONLINE SERVICES CORPORATION Nguyen Dinh Thuan, Ho Cong Hoai ABSTRACT: The results of Time series modeling and forecasting has fundamental importance to various practical domains Thus a lot of active research work has been going on in this subject for several years Many models have been proposed in the literature for improving the accuracy and efficiency of time series modeling and forecasting This paper presents the hybrid model of time series forecast by combining the Auto-Regression Integrated Move (ARIMA) model with the Support Vector Machine (SVM), Neural Networks, Genetic Algorithms.These combined models are used for forecasting at Vietunion online services corporation  ... Support Vector Machine, báo cáo trình bày ứng dụng cụ thể mơ hình việc vào dự báo Công ty Dịch vụ Trực tuyến Cộng đồng Việt 228 KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CÔNG TY. .. Machine, báo cáo trình bày kết dự báo mơ hình tự hồi quy, hình kết dự báo mơ hình tự hồi quy (AR), hình kết dự báo mơ hình ARIMA, hình kết dự báo mơ hình kết hợp ARIMA mạng neural, hình kết dự. .. thuật giải di truyền 230 KẾT HỢP MƠ HÌNH ARIMA VÀ SUPPORT VECTOR MACHINE ĐỂ DỰ BÁO TẠI CƠNG TY DỊCH VỤ… Hình Kết dự báo mơ hình kết hợp ARIMA SVM Bảng Kết dự báo mơ hình Mơ hình RMSE MAE MAPE AR