Khai phá dữ liệu các phương pháp dự báo

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC ——————– * ——————— TIỂU LUẬN CUỐI KÌ MƠN KHAI PHÁ DỮ LIỆU CÁC PHƯƠNG PHÁP DỰ BÁO Giảng viên hướng dẫn: TS LÊ CHÍ NGỌC Mục Lục Lời mở đầu 1.Tổng quan Dự báo dựa định tính đánh giá (Qualitative & Judgmental Forecasting) 2.1.Historical Analogy (sự tương đồng khứ) 2.2 Phương pháp Delphi 2.3 Các số mục (Indicators and Indexes) Mơ hình dự báo thống kê .7 4.Mơ hình dự báo cho chuỗi thời gian ổn định 10 Mơ hình trung bình trượt .10 5.Các sai số Độ xác(Accuracy) dự báo 16 Mơ hình làm mịn theo cấp số mũ (Exponential Smoothing Models) 19 7.Các mơ hình dự báo cho chuỗi thời gian sử dụng xu hướng tuyến tính 22 8.Gấp đôi làm mịn theo cấp số mũ (double exponential smoothing) .22 9.Dự báo chuỗi thời gian với yếu tố mùa .26 9.1 Các mơ hình dự báo theo mùa dựa hồi quy .26 9.2 Dự báo Holt-Winters cho chuỗi thời gian theo mùa .28 9.3 Dự báo Holt-Winters cho chuỗi thời gian có yếu tố mùa khuynh 30 10.Lựa chọn mơ hình dự báo chuỗi thời gian phù hợp 32 11.Dự báo hồi quy với biến nhân (Causal Variables) 32 12.Các ứng dụng phân tích dự báo 34 Lời mở đầu Khoảng thập kỷ trở lại đây, lượng thông tin lưu trữ thiết bị điện tử (đĩa cứng, CD-ROM, băng từ, v.v.) khơng ngừng tăng lên Sự tích lũy liệu xảy với tốc độ bùng nổ Người ta ước đốn lượng thơng tin tồn cầu tăng gấp đơi sau khoảng hai năm theo số lượng kích cỡ sở liệu (CSDL) tăng lên cách nhanh chóng Nói cách hình ảnh “ngập” liệu lại “đói” tri thức Câu hỏi đặt liệu khai thác từ “núi” liệu tưởng chừng “bỏ đi” không ? Khai phá liệu (data mining) đời hướng giải hữu hiệu cho câu hỏi vừa đặt Data Mining công nghệ tri thức giúp khai thác thơng tin hữu ích từ kho liệu tích trữ suốt q trình hoạt động cơng ty, tổ chức Khai phá liệu (datamining) định nghĩa trình chắt lọc hay khai phá tri thức từ lượng lớn liệu Một ví dụ hay sử dụng là việc khai thác vàng từ đá cát, Dataming ví cơng việc "đãi cát tìm vàng" tập hợp lớn liệu cho trước Thuật ngữ Data mining ám việc tìm kiếm tập hợp nhỏ có giá trị từ số lượng lớn liệu thơ Có nhiều thuật ngữ dùng có nghĩa tương tự với từ Datamining Knowledge Mining (khai phá tri thức), knowledge extraction(chắt lọc tri thức), data/patern analysis(phân tích liệu/mẫu),…Nói cách cụ thể hơn, khai phá liệu tập hợp kỹ thuật sử dụng để tự động khai thác tìm mối quan hệ lẫn liệu tập hợp liệu khổng lồ phức tạp, đồng thời tìm mẫu tiềm ẩn tập liệu Trong báo cáo này, em xin trình bày số kỹ thuật để dự báo, báo cáo cịn gặp nhiều sai sót, em hi vọng thầy người đọc cho thêm ý kiến để hoàn thiện Em xin chân thành cảm ơn 1.Tổng quan - Hiện nay, nhà quản lý yêu cầu dự báo chất lượng kiện xảy tương lai để đưa định tốt Lấy ví dụ dự báo tỉ lệ lãi suất, giá loại hình lượng , hay số kinh tế cần thiết nhằm phục vụ cho kế hoạch tài tổ chức, doanh nghiệp Không vậy, dự báo kinh doanh hay dự báo hành vi tiêu dùng khách hàng thực cần thiết để nhà quản trị lên kế hoạch sản xuất nguồn nhân lực cần thiết cho kế hoạch đó.Chương đề cập đến số phương pháp kĩ thuật phổ biến để dự báo, bao gồm kĩ thuật định lượng định tính - Các nhà phân tích kinh doanh chọn vài số vơ vàn kỹ thuật dự báo để hỗ trợ cho trình định Lựa chọn phương thức phù hợp dựa đặc điểm vấn đề cần dự báo, ví dụ phạm vi thời gian biến số muốn dự báo, hay thơng tin có sẵn mà ta dựa vào Ba loại hình kĩ thuật dự báo chỉnh định tính đánh giá, thống kê mơ hình chuỗi thời gian hay phương pháp giải thích nguyên nhân.Trong chương này, ta dự dụng công cụ EXCEL , Xlminer hồi quy tuyến tính để thực phép dự báo Dự báo dựa định tính đánh giá (Qualitative & Judgmental Forecasting) - Kỹ thuật định tính đánh giá dựa kinh nghiệm có trực giác; hai thứ cần thiết ta khơng có liệu q khứ người định cần dự báo thứ xa tương lai Ví dụ , dự báo vi xử lý hệ xuất khả có phụ thuộc lớn vào quan điểm, tinh thơng cá nhân có hiểu biết liên quan đến công nghệ Một công dụng phương pháp dự báo kết hợp thơng tin khơng mang tính định lượng, ví dụ ảnh hưởng điều lệ phủ hay hành vi đối thủ cạnh tranh dự báo định lượng - Phương pháp đánh giá dựa nhiều yếu tố từ đơn giản ý kiến nhà quản trị, nhóm bồi thẩm đồn cách tiếp cận có cấu trúc tương đồng khứ(Historical Analogy) hay phương pháp Delphi 2.1.Historical Analogy (sự tương đồng khứ) - Một cách tiếp cận đánh giá dựa tương đồng khứ Cách dự báo dựa so sánh với tình xảy q khứ trước Ví dụ có sản phẩm mắt, người ta phân tích so sánh phản hồi khách hàng chiến dịch marketing cho sản phẩm tương tự mắt trước để ước lượng xem chiến dịch marketing tiêu tốn khoảng tiền Tất nhiên thay đổi theo thời gian hay yếu tố đặc biệt khác khơng xem xét cách đầy đủ cách tiếp cận Mặc dù vậy, hiểu biết tăng lên xuyên suốt trình phân tích kinh nghiệm q khứ Ví dụ : Dự đoán giá dầu Đầu năm 1998, giá dầu hoả lúc vào khoảng 22$ / thùng Mặc dù vậy, đến năm giá tụt xuống cịn 11$ / thùng Lý khu vực biển Caspian cung cấp sản lượng dầu nhiều dẫn đến dư thừa so với nhu cầu bình thường Trong khứ, gặp tình tương tự,lãnh đạo nước thuộc tổ chức OPEC gặp mặt hành động để đẩy giá dầu lên Do đó, từ tương đồng lịch sử, dự đốn giá dầu tăng Trên thực tế, nước thành viên OPEC gặp năm 1998 đồng ý cắt giảm sản xuất, không tin họ thực hợp tác hiệu quả, nên giá dầu tiếp tục giảm thời gian Sau đến năm 2000 giá dầu tăng mạnh, xong lại giảm vào cuối năm 2001 Sự tương đồng (analogies) thường cho dự báo tốt, ta cần cẩn thận để nhận tình khác Một tương đồng khác xung đột tồn cầu giá dầu, chiến tranh nổ ra, giá tăng, tương tự xảy khứ 2.2 Phương pháp Delphi - Phương pháp Delphi cách tiếp cận đánh giá phổ biến sử dụng nhóm bồi thẩm đồn mà danh tính người giữ bí mật, để trả lời câu hỏi liên tiếp Sau vòng trả lời câu hỏi, ý kiến bồi thẩm đoàn đảm bảo ẩn danh(không biết câu trả lời gì), sau ý kiến tập hợp lại đưa cho tất bồi thẩm đoàn đọc.Việc giúp củng cố đồng ý tác động đến người không đồng ý để họ xem xét thêm vài khía cạnh khác, yếu tố khác Đến vịng trả lời câu hỏi tiếp theo, bồi thẩm đoàn xem xét lại câu trả lời họ, trình lặp lặp lại thường thường đến vòng Phương pháp Delphi thúc đẩy việc trao đổi ý kiến bồi thẩm đoàn với mà khơng có chênh lệch, thường thường dẫn tới việc ý kiến tương tự Phương pháp cách tiếp cận để dự báo xu hướng tác động lâu dài 2.3 Các số mục (Indicators and Indexes) - Các số mục đóng vai trị quan trọng việc phát triển dự báo đánh giá Các số thước đo tin có ảnh hưởng tới hành vi biến mà ta muốn dự báo Bằng cách theo dõi thay đổi số này, ta kỳ vọng nắm hành vi tương lai biến để dự báo tốt Ví dụ : Chỉ số kinh tế Một biến quan trọng kinh tế quốc gia số Gros Domestic Product (GDP), thước đo giá trị tất loại hàng hoá dịch vụ sản xuất quốc gia Chỉ số có vài thiếu sót (ví dụ công việc không trả lương không đo lường, sản phẩm đầu bị thổi phồng chất lượng).Tuy nhiên, số GDP thực thước đo thực tế hữu ích để đánh giá độ hiệu kinh tế Giống hầu hết chuỗi thời gian, GDP tăng giảm chu kỳ Dự đoán xu hướng tương lai số GDP thường thực cách phân tích chuỗi số hàng đầu xem chúng có xu hướng tăng hay giảm khoảng thời gian định Khi số doanh nghiệp tăng lên, ta hi vọng GDP tăng lên tương lai - Các số thông thường kết hợp để tạo thành mục (Index) Ví dụ, nhà phân tích tài sử dụng số cơng nghiệp trung bình Dow Jones số để đánh giá hiệu suất thị trường chứng khốn Các mục khơng cung cấp dự báo đầy đủ, đưa tranh tốt hướng thay đổi nên đóng vai trò quan trọng dự báo đánh giá Mơ hình dự báo thống kê - Các mơ hình chuỗi thời gian có khả ứng dụng nhiều vấn đề dự báo ngắn hạn Chuỗi thời gian tập giá trị ghi lại khoảng thời gian cách đều, ví dụ doanh thu bán hàng hàng tuần gọi chuỗi thời gian Ta ký hiệu giá trị chuỗi thời gian khoảng thời gian T At , với t = 1,2,3,…T Mơ hình chuỗi thời gian giả định yếu tố ảnh hưởng đến doanh thu khứ gần tiếp tục tác động tương lai gần, đó, dự báo xây dựng cách ngoại suy liệu tương lai Chuỗi thời gian thường có thành phần sau : hành vi ngẫu nhiên(random behavior), khuynh (trends), mùa (season), chu kỳ(cyclical) Chuỗi thời gian khơng có khuynh, mùa, chu kỳ mà có random behavior gọi chuỗi ổn định Rất nhiều dự báo dựa phân tích liệu chuỗi thời gian & dự báo thường dựa giả định tương lai ngoại suy (extrapolation) khứ Khuynh xung hướng chuyển động theo chiều lên xuống chuỗi thời gian Ví dụ : Xác định khuynh chuỗi thời gian Hinh 9.1 cho thấy biểu đồ tổng mức tiêu thụ lượng.Chuỗi thời gian cho thấy xu hướng tăng Tuy nhiên, ta thấy mức tiêu thụ lượng tăng lên nhanh chóng tuyến tính năm 1960, sau chững lại lúc lại bắt đầu tăng với tốc độ chậm qua năm 1980 & 1990 Trong thập kỷ qua, thực thấy xu hướng giảm nhẹ Hình 9.1 - Chuỗi thời gian thể hiệu ứng có yếu tố mùa ngắn hạn (theo năm, tháng, tuần, chí ngày) hiệu ứng chu kỳ dài hạn, xu hướng phi tuyến tính Một hiệu ứng có yếu tố mùa hiệu ứng lặp lại theo khoảng thời gian cố định, thường năm, tháng, tuần ngày Lấy ví dụ cửa hàng tạp hố, mơ hình theo mùa ngắn hạn xảy tuần, với lượng khách hàng lớn vào cuối tuần; mơ hình theo mùa chứng minh xuyên suốt ngày với lượng khách hàng nhiều vào buổi sáng buổi chiều muộn Hình 9.2 cho thấy việc sử dụng khí đốt tự nhiên thay đổi theo mùa hộ xuyên suốt năm Hình 9.2 - Hiệu ứng chu kỳ biểu diễn tăng lên thụt giảm việc dụng khí đốt tự nhiên theo năm Hình 9.3 biểu diễn biểu đồ liệu Tỷ lệ quỹ Liên bang Hình 9.3 Ta thấy số chứng chu kỳ dài hạn chuỗi thời gian thúc đẩy yếu tố kinh tế, chẳng hạn thời kỳ lạm phát suy thoái.Kiểm tra trực quan mắt chuỗi thời gian để xác định yếu tố khuynh, mùa hay chu kỳ cách ngây thơ ngu xuẩn, cách tiếp cận không khoa học gây hậu tệ cho người quản trị định quan trọng Những hiệu ứng tinh vi(Subtle effects) tác động qua lại lẫn yếu tố mùa chu kỳ không rõ ràng từ phép ngoại suy liệu Thống kê phương pháp tốt để phân tích chuỗi thời gian.Trong số phương pháp sử dụng thống kê phương pháp phổ biến phương pháp Trung bình trượt (Moving Avarage), Làm mượt theo cấp số mũ (Exponential Smoothing), Phân tích hồi quy(Regression Analysis) Mơ hình trung bình trượt (MA) làm mượt theo cấp số mũ (ES) hoạt động tốt cho chuỗi thời gian khơng có yếu tố khuynh mùa.Đối với chuỗi thời gian có yếu tố khuynh mùa, phải sử dụng kỹ thuật khác chẳng hạn kết hợp mơ hình MA ES,…v.v 4.Mơ hình dự báo cho chuỗi thời gian ổn định - Hai cách tiếp cận đơn giản hữu ích khoảng thời gian ngắn yếu tố khuynh,mùa chu kỳ không đáng kể trung bình trượt (MA)và làm mượt theo cấp số mũ (ES) Mơ hình trung bình trượt - Phương pháp trung bình trượt phương pháp làm mượt dựa ý tưởng lấy trung bình dao động ngẫu nhiên chuỗi thời gian để xác định hướng mà chuỗi thời gian thay đổi Phương pháp trung bình trượt giả định quan sát tương lai tương tự khứ gần, nên hữu ích để đưa dự báo ngắn hạn Mặc dù phương pháp đơn giản, chứng minh hữu ích môi trường ổn định, chẳng hạn quản lý hàng tồn kho, cần phải phát triển dự báo cho số lượng lớn mặt hàng Cụ thể, dự báo trung bình trượt cho giai đoạn tính tốn dựa trung bình k quan sát gần Giá trị k lấy tùy ý, việc lựa chọn k ảnh hưởng đến độ ... kỳ khơng rõ ràng từ phép ngoại suy liệu Thống kê phương pháp tốt để phân tích chuỗi thời gian.Trong số phương pháp sử dụng thống kê phương pháp phổ biến phương pháp Trung bình trượt (Moving Avarage),... Một công dụng phương pháp dự báo kết hợp thơng tin khơng mang tính định lượng, ví dụ ảnh hưởng điều lệ phủ hay hành vi đối thủ cạnh tranh dự báo định lượng - Phương pháp đánh giá dựa nhiều yếu... Forecast nhập số lượng muốn dự báo tạo từ quy trình Hình 9.10 Dự báo hiển thị hàng 24 đến 40 với biểu đồ liệu dự báo (nếu khơng có khoảng khởi tạo khơng có dự báo tương ứng) Dự báo cho tuần 18 hiển