Phát hiện tri thức theo mùa vụ từ cơ sở dữ liệu chuỗi thời gian luận văn ths công nghệ thông tin 1 01 10

PHÁT HIỆN TRI THỨC THEO MÙA VỤ TỪ CƠ SỞ DỮ LIỆU CHUỖI THỜI GIAN Học viên: Trần Văn Thái – K10T2 Người hướng dẫn: TS Đỗ Văn Thành Mục lục MỞ ĐẦU CHƢƠNG CHUỖI THỜI GIAN VÀ PHÂN TÍCH CHUỖI THỜI GIAN 1.1 Chuỗi thời gian dự báo chuỗi thời gian 1.1.1.Định nghĩa chuỗi thời gian 1.1.2.Dự báo chuỗi thời gian 1.2 Ứng dụng chuỗi thời gian 1.3 Đại lƣợng đặc trƣng chuỗi thời gian 1.4 Phân tích chuỗi thời gian 11 1.5 Các mơ hình chuỗi thời gian đơn giản 13 1.5.1 Nhiễu trắng 13 1.5.2.Mơ hình bƣớc ngẫu nhiên 13 1.5.3.Bƣớc ngẫu nhiên có bụi 14 1.6 Một số phƣơng pháp kiểm định thống kê 14 1.6.1.Kiểm định T 15 1.6.2.Kiểm định F 15 1.6.3.Kiểm định Q 16 1.6.4.Kiểm định Durbin-Watson 16 1.6.5.Kiểm định nghiệm đơn vị 18 1.6.6.Tiêu chuẩn thông tin Akaike (AIC), Schwarz (SIC) 19 1.7 Kết luận 20 CHƢƠNG MƠ HÌNH ARIMA THƢỜNG VÀ THEO MÙA VỤ .21 2.1 Mơ hình ARIMA thƣờng 21 2.1.1.Toán tử trễ 21 2.1.2.Chuỗi thời gian dừng 22 2.1.3.Q trình tuyến tính 26 2.1.4.Quá trình tự hồi qui - AR(p) 26 2.1.5.Quá trình trung bình trƣợt – MA(q) 31 2.1.6 Quá trình trung bình trƣợt tự hồi qui ARMA(p,q) 34 2.1.7.Mơ hình tích hợp trung bình trƣợt tự hồi qui ARIMA(p,d,q) 36 2.1.8.Qui trình xây dựng mơ hình ARIMA (p, d, q) 38 2.1.9.Nguyên tắc tằn tiện 48 2.2 Mơ hình ARIMA theo mùa vụ 48 2.2.1.Chuỗi mùa vụ 48 2.2.2.Biến đổi chuỗi mùa vụ thành chuỗi dừng 50 2.2.3.Mơ hình tích hợp trung bình trƣợt tự hồi qui theo mùa vụ ARIMA(p,d,q)x(P,D,Q)s 51 2.3 Kết luận 55 CHƢƠNG ỨNG DỤNG MƠ HÌNH ARIMA THEO MÙA VỤ 57 KẾT LUẬN 82 TÀI LIỆU THAM KHẢO 85 PHỤ LỤC 88 Danh sách hình vẽ Hình - Chuỗi thời gian số giá tiêu dùng Việt Nam đo theo tháng .6 Hình – Đồ thị chuỗi dừng số giá tiêu dùng Việt Nam .22 Hình - ACF/PACF chuỗi không dừng số giá tiêu dùng Việt Nam 23 Hình - Chuỗi số giá tiêu dùng Việt Nam sau sai phân bậc 24 Hình - Chuỗi số giá tiêu dùng Việt Nam sau sai phân bậc sai phân trễ mùa vụ bậc 25 Hình - Chuỗi biến đổi số giá tiêu dùng Việt Nam qua hàm biến đổi .25 Hình - Mơ hình lọc tuyến tính 26 Hình - Các bước xây dựng mơ hình ARIMA 38 Danh sách bảng biểu Bảng 1: Đặc trưng ACF PACF mơ hình tham số 35 Bảng từ viết tắt Từ cụm từ Hàm tự tƣơng quan Kiểm định DF Tiêu chuẩn thông tin AIC/SIC Sai số phần trăm tuyệt đối Tự hồi qui Tích hợp trung bình trƣợt tự hồi qui Trung bình trƣợt tự hồi qui Kiểm định DW Phân phối đồng độc lập Trung bình trƣợt Sai số tuyệt đối trung bình Sai số bình phƣơng trung bình Hàm tự tƣơng quan phần Tự hồi qui theo mùa vụ Tích hợp trung bình trƣợt tự hồi qui theo mùa vụ Trung bình trƣợt theo mùa vụ Tổng bình phƣơng sai số Nhiễu trắng -1- MỞ ĐẦU Nền kinh tế đại ngày dựa yếu tố thơng tin Điều làm biến đổi sâu sắc đến môi trƣờng kinh doanh, phƣơng thức quản lý kinh tế cách thức tổ chức hoạt động sản xuất kinh doanh Đặc biệt nƣớc ta trình chuyển đổi từ kinh tế tập trung quan liêu bao cấp sang xây dựng kinh tế thị trƣờng bối cảnh hội nhập cạnh tranh quốc tế gay gắt, hoạt động quản lý nhà nƣớc chuyển mạnh từ phƣơng thức quản lý theo mệnh lệnh sang sử dụng công cụ chế sách vai trị thơng tin, thông tin dự báo phục vụ phát triển kinh tế - xã hội trở lên cấp thiết quan trọng Vì thế, cách thức thu thập, phân tích sử dụng thông tin, liệu phục vụ cho q trình chịu biến đổi mạnh mẽ Hiện tại, với việc ứng dụng rộng rãi công nghệ thông tin, số luợng lớn thông tin liệu đƣợc thu thập nhiều cách thức khác môi trƣờng trực tuyến, thời gian thực…đã tạo khối lƣợng thông tin, liệu khổng lồ Trong liệu có yếu tố thời gian đƣợc kết hợp lại tùy theo đặc tính khoảng thời gian thích hợp tạo số lƣợng lớn chuỗi liệu khoảng thời gian nhƣ đƣợc gọi liệu chuỗi thời gian (series time data, gọi tắt chuỗi thời gian) Nhƣ biết, phần lớn liệu phản ánh hoạt động sản xuất kinh doanh doanh nghiệp, phản ánh tình hình phát triển kinh tế - xã hội quốc gia chuỗi thời gian phần lớn sở liệu kinh tế - xã hội sở liệu chuỗi thời gian (series time database) Việc phân tích nhằm phát tri thức từ sở liệu chuỗi thời gian thƣờng đƣợc dựa phƣơng pháp phân tích chuỗi thời gian đại thông qua sử dụng công cụ tin học nhƣ: EViews, SPSS, SAS (Statistical Analysis System)… Một đặc trƣng quan trọng chuỗi thời gian kinh tế - xã hội có tính mùa vụ, chẳng hạn giá số lƣợng bán mặt hàng ví dụ nhƣ máy điều hịa nhiệt, số giá tiêu dùng mặt hàng nói chung khác tháng năm, hay tình hình đầu tƣ nƣớc ngồi vào -2- Việt Nam, kim ngạch xuất Việt Nam tháng quý khác năm thƣờng khác nhau… Làm cách để phát đƣợc tri thức mới, dự báo đƣợc liệu tƣơng lai dựa liệu khứ sở liệu chuỗi thời gian có tính mùa vụ nhƣ Luận văn ”phát tri thức theo mùa vụ từ sở liệu chuỗi thời gian” góp phần làm rõ phƣơng pháp giải vấn đề đƣợc đặt Luận văn gồm chƣơng nội dung, phần mở đầu, phần kết luận, phần phụ lục tài liệu tham khảo Chương 1: Chuỗi thời gian phân tích chuỗi thời gian giới thiệu cách tóm tắt khái niệm chủ yếu liên quan đến chuỗi thời gian bƣớc tiến hành phân tích dự báo chuỗi thời gian, giới thiệu số mơ hình chuỗi thời gian đơn giản kiểm định thống kê sử dụng cho phân tích chuỗi thời gian dự báo liệu Chương 2: Mơ hình ARIMA thường theo mùa vụ trình bày mơ hình phân tích chuỗi thời gian điển hình để dự báo liệu cho trƣờng hợp liệu chuỗi thời gian có khơng có tính chất mùa vụ, tƣơng ứng mơ hình ARIMA theo mùa vụ mơ hình ARIMA thƣờng Chương Ứng dụng mơ hình ARIMA theo mùa vụ Mục đích chƣơng ứng dụng mơ hình ARIMA theo mùa vụ để dự báo số số kinh tế vĩ mô quan trọng phản ánh mức độ tăng trƣởng kinh tế Việt Nam nhƣ dự báo số giá tiêu dùng theo tháng (CPI), giá trị hàng hóa xuất theo tháng Dữ liệu đƣợc sử dụng để dự báo số liệu thực tế kinh tế Phần kết luận tổng kết công việc thực kết đạt đƣợc luận văn này, phần đề cập công việc hƣớng nghiên cứu tƣơng lai Tác giả luận văn xin gửi lời cảm ơn sâu sắc đến TS Đỗ Văn Thành, Trung tâm thông tin dự báo Kinh tế - Xã hội Quốc gia - Bộ kế hoạch đầu -3- tƣ, ngƣời hƣớng dẫn tận tình giúp đỡ tơi nhiều trình thực luận văn này, ngƣời mở cho cách tiếp cận công nghệ thông tin vào đời sống thực tế Xin bày tỏ lời cảm ơn tới thầy TS Hà Quang Thụy, GS-TSKH Phan Đình Diệu, PGS-TS Trịnh Nhật Tiến, PGS-TS Đoàn Văn Ban, TS Nguyễn Việt Hà, TS Hồng Xn Huấn, PGS-TS Nguyễn Văn Bình,TS Đinh Mạnh Tƣờng, ngƣời truyền cho tác giả nhiều kiến thức kinh nghiệm quý báu thời gian tác giả theo học cao học Trƣờng Đại học Công nghệ Cuối cùng, xin gửi lời cảm ơn chân thành đến cán thuộc Tổng cục Thống kê Việt Nam, ngƣời giúp đỡ nhiệt tình việc cung cấp số liệu đầy đủ, trung thực phục vụ cho luận văn xin gửi lời cám ơn tới tất ngƣời thân gia đình, bạn bè giúp đỡ trình học tập công tác Tác giả Trần Văn Thái -4- CHƢƠNG CHUỖI THỜI GIAN VÀ PHÂN TÍCH CHUỖI THỜI GIAN Để phân tích biến động, hành vi tƣợng qua thời gian, ngƣời ta thƣờng dùng phƣơng pháp phân tích chuỗi quan sát theo thời gian Trong phƣơng pháp thƣờng giả định giá trị quan sát khơng độc lập với nhau, ngƣợc lại phụ thuộc giá trị quan sát đặc điểm, sở cho việc xây dựng phƣơng pháp nghiên cứu dự báo chuỗi thời gian Phân tích chuỗi thời gian đƣợc chia làm hai loại: Phân tích mức độ theo thời gian phân tích mối liên hệ nguyên nhân – kết Phƣơng pháp dự báo phân tích mức độ theo thời gian liên quan đến việc dự báo giá trị tƣơng lai yếu tố đƣợc nghiên cứu dựa tƣơng quan với quan sát q khứ Trong phân tích mối liên hệ nhân liên quan đến việc xác định nhân tố khác ảnh hƣởng đến yếu tố muốn dự báo, nhƣ dùng phƣơng pháp phân tích hồi qui bội xem xét GDP phụ thuộc vào lƣợng đầu tƣ nƣớc, lƣợng đầu tƣ nƣớc ngoài, dân số… Trong luận văn này, tập trung chủ yếu vào phân tích mức độ theo thời gian đƣợc dựa giả định yếu tố ảnh hƣởng đến biến động tƣợng khứ tiếp tục tồn tƣơng lai Do mục tiêu phân tích chuỗi thời gian nhận yếu tố ảnh hƣởng này, phục vụ cho mục đích đƣa dự báo giá trị tƣơng lai chuỗi dựa vào để hỗ trợ việc đƣa định Trong chƣơng chủ yếu trình bày vấn đề liên quan đến chuỗi thời gian bao gồm khái niệm, dự báo cho chuỗi thời gian đại lƣợng đặc trƣng nó, tiếp trình bày mơ hình chuỗi thời gian đơn giản cuối đƣa số phƣơng pháp kiểm định thống kê cho mơ hình chuỗi thời gian -5- 1.1 Chuỗi thời gian dự báo chuỗi thời gian 1.1.1.Định nghĩa chuỗi thời gian Chuỗi liệu phụ thuộc thời gian đƣợc chia làm hai loại: Chuỗi liệu phụ thuộc thời gian đƣợc quan sát, đo đạc khoảng thời gian rời rạc: Các quan sát đƣợc thực thời điểm tách biệt, chúng thƣờng quan sát đƣợc đo mốc thời gian cách nhau, ví dụ chuỗi thời gian đƣợc đo theo tuần, quý, tháng, năm, … - Chuỗi liệu liên tục theo thời gian: Các quan sát đƣợc đo khoảng thời gian liên tục, ví dụ chuỗi liệu đo nhiệt độ ngày (nhiệt kế) Luận văn tập trung vào chuỗi liệu phụ thuộc thời gian đƣợc đo khoảng thời gian rời rạc cách nhau, gọi chuỗi thời gian (series time data) Nhƣ vậy: Chuỗi thời gian tập giá trị quan sát biến ngẫu nhiên, ký hiệu {zt}, t = 1, ,n số quan sát, đo đƣợc khoảng thời gian t nhƣ (hàng năm, quý, tháng, tuần, ngày…) đƣợc xếp theo thứ tự thời gian Ví dụ: - Chuỗi giá trị tổng sản phẩm quốc nội (GDP) đƣợc đo theo quý - Chuỗi giá trị đo lƣợng mƣa trung bình hàng năm - Chuỗi giá trị số thị trƣờng chứng khoán đo theo ngày Chuỗi giá trị đo sản lƣợng điện tiêu thụ Việt Nam đo theo tháng, quí nhiều năm Chuỗi giá trị số giá tiêu dùng Việt Nam theo tháng, quý năm -86- [10] Robert H Shumway (2003), A short course in applied time series analysis, Department of Statistics of the University of California [11] Kevin Michael Reagan (1984), An evaluation of ARIMA (BoxJenkins) Models for forecasting wastewater treatment process variables, University of California [12] Liz John (2004), Time series analysis, School of Engineering and Mathematics in Edith Cowan University [13] Hyunyoung Choi (2005), Time series analysis, Statistics and Applied Probability, University of California, Santa Barbara [14] Shashank Shekhar (2004), Recursive methods for forecasting short-term traffic flow using seasonal ARIMA time series model, North Carolina State University [15] Kadri Yỹrekl, Ahmet Kurunỗ (2004), Testing the residual of an ARIMA model on the ỗekerek stream, Ankara University [16] Philip Hans Franses, Dick Van Dijk (2001), The forecasting performance of various models for seasonality and nonlinearity for quarterly industrial production, Econometric Institute - Erasmus University Rotterdam [17] Stephane Hess (2002), A statistical analysis of the effects of safety cameras on traffic accident rates in Cambridge shire, University of Cambridge, Statistical Laboratory [18] Jens Dossé, Christophe Planas (1996), Pre-adjustment in seasonal adjustment modethod: a comparison of REGARIMA & TRAMO [19] Oğuz Atuk, Beyza Pınar Ural (2002), Seasonal adjustment in economic time series, Central Bank of The Republic of Turkey -87- [20] William Q.Meeker (2001), Applied time series, Iowa State University [21] Michele Manna & Romana Peronaci (2003), Seasonal adjustment, European Central Bank [22] Stephen A.Delurgio (1998), Forecasting principles and applications, Liberty University [23] Juan M.Rodriguez Poo (2003), Computer - Aided Introduction to Econometrics, Departamento de Economía, Universidad de Cantabria PHỤ LỤC P(t>2.086) Bảng 1: Bảng giá trị tα phân phối T = 0.025 P(t>1.725) = 0.05 P(|t|>1.725)= 0.10 α n 10 11 12 13 29 14 30 15 60 16 120 17 ∞ 18 19 20 21 22 23 24 25 26 27 28 19 1.3 18 1.3 16 1.3 15 1.3 14 1.3 13 1.3 11 1.3 10 1.2 96 1.2 89 1.2 82 0.005 0.000 0.010 0.072 0.207 0.412 0.676 0.989 1.344 1.735 2.156 2.603 3.074 3.565 4.075 4.601 5.142 5.697 6.265 6.844 7.434 8.034 8.643 9.260 7.529 9.886 8.085 10.520 8.649 11.160 9.222 11.808 9.803 12.461 10.391 13.121 10.986 13.787 11.588 20.707 17.917 27.991 24.674 35.534 31.738 43.275 39.036 51.172 46.520 59.196 54.156 67.328 61.918 75.550 69.790 83.852 77.756 109.142 102.113 152.241 143.842 Bảng 3: Bảng phân phối F P(Fd1,d2  c)  0.05 1 161.45 18.51 10.13 7.71 6.61 5.99 5.59 5.32 5.12 4.96 4.84 4.75 4.67 4.60 4.54 4.49 4.45 4.41 4.35 4.24 4.17 4.08 4.00 00 3.94 50 3.90 ∞ 3.84 Bảng 4: Giá trị DL DU thống kê Durbin-Watson với mức ý nghĩa 5% K=2 D L U 610 400 700 356 763 332 824 320 0 879 320 927 324 971 331 010 045 077 106 133 158 180 201 1 221 239 257 273 288 302 316 328 341 352 1 363 373 383 393 402 411 419 427 435 442 475 503 528 549 567 583 598 611 624 635 645 00 654 50 720 00 758 Bảng 5: Giá trị tới hạn cho kiểm định nghiệm đơn vị DF Khôn Cỡ mẫu Khôn 1% 50 75 100 125 120 ∞ ... CHƢƠNG CHUỖI THỜI GIAN VÀ PHÂN TÍCH CHUỖI THỜI GIAN 1. 1 Chuỗi thời gian dự báo chuỗi thời gian 1. 1 .1. Định nghĩa chuỗi thời gian 1. 1.2.Dự báo chuỗi thời gian 1. 2 Ứng dụng chuỗi. .. nhau… Làm cách để phát đƣợc tri thức mới, dự báo đƣợc liệu tƣơng lai dựa liệu khứ sở liệu chuỗi thời gian có tính mùa vụ nhƣ Luận văn ? ?phát tri thức theo mùa vụ từ sở liệu chuỗi thời gian? ?? góp phần... chuỗi thời gian 1. 3 Đại lƣợng đặc trƣng chuỗi thời gian 1. 4 Phân tích chuỗi thời gian 11 1. 5 Các mơ hình chuỗi thời gian đơn giản 13 1. 5 .1 Nhiễu trắng 13 1. 5.2.Mơ