Nghiên cứu phương pháp khai phá dữ liệu và ứng dụng dự báo nguồn gỗ nguyên liệu cho sản xuất tại nhà máy giấy Bãi Bằng

0 ĐẠI HỌC THÁI NGUN TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN VÀ TRUYỀN THƠNG NGUYỄN ĐỨC CHÍ “ NGHIÊN CỨU PHƯƠNG PHÁP KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG DỰ BÁO NGUỒN GỖ NGUN LIỆU CHO SẢN XUẤT TẠI NHÀ MÁY GIẤY BÃI BẰNG” Chun ngành : Khoa học máy tính Mã số : 60 48 01 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS NGUYỄN THANH THỦY GS.TS Nguyễn Thanh Thủy Thái ngun, tháng 12/2013 Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 1 LỜI CAM ĐOAN Tơi xin cam đoan: Những nội dung trong luận văn này là do tơi thực hiện dưới sự hướng dẫn trực tiếp của thầy giáo Giáo sư, Tiến sĩ Nguyễn Thanh Thủy. Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tác giả, tên cơng trình, thời gian, địa điểm cơng bố. Mọi sao chép khơng hợp lệ, vi phạm quy chế đào tạo hay gian lận tơi xin hồn tồn chịu trách nhiệm./. Thái Ngun, tháng 12 năm 2013 Tác giả luận văn Nguyễn Đức Chí Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 2 LỜI CẢM ƠN Trước hết, tơi xin bày tỏ lòng biết ơn sâu sắc tới tập thể các Giáo sư, Tiến sĩ, giảng viên thuộc Viện Cơng nghệ Thơng tin – Viện Hàn lâm Khoa học và Cơng nghệ Việt Nam; Trường Đại học Cơng nghệ Thơng tin và Truyền thơng – Đại học Thái Ngun đã tận tình giảng dạy, truyền đạt kiến thức cho tơi trong suốt thời gian học tập vừa qua. Tơi xin bày tỏ lòng biết ơn tới GS.TS Nguyễn Thanh Thủy người đã tận tình hướng dẫn, chỉ bảo và chia sẻ những tài liệu rất hữu ích để tơi hồn thành luận văn. Xin chân thành cảm ơn lãnh đạo trường Đại học Cơng nghệ thơng tin và Truyền thơng – Đại học Thái Ngun đã tạo điều kiện giúp đỡ tơi về mọi mặt trong suốt thời gian học tập tại trường cũng như trong thời gian thực hiện luận văn. Tơi xin bày tỏ lòng biết ơn sâu sắc đến gia đình, người thân, bạn bè, đồng nghiệp những người ln động viên, khuyến khích và giúp đỡ để tơi có thể hồn thành tốt nội dung nghiên cứu./. Thái Ngun, tháng 12 năm 2013 Tác giả luận văn Nguyễn Đức Chí Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ i MỤC LỤC I. CHƯƠNG I: TỔNG QUAN VỀ DỰ BÁO DỮ LIỆU 3 1.1 Khái niệm về dự báo. 3 1.2 Một số đặc điểm của dự báo. 3 1.3 Các phương pháp dự báo. 4 1.3.1 Phương pháp dự báo định tính (phán đốn) 5 1.3.2 Phương pháp dự báo định lượng. 8 1.3.3 Quy trình dự báo. 11 1.4 Kết luận: 11 II. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU VÀ CÁC ỨNG DỤNG CHO 12 DỰ BÁO DỮ LIỆU 12 2.1. Khai phá dữ liệu: 12 2.1.1 Phát hiện tri thức và khai phá dữ liệu. 12 2.1.2 Q trình phát hiện tri thức từ cơ sở dữ liệu. 12 2.2. Các phương pháp dự báo dữ liệu: 14 2.2.1 Các phương pháp trực quan 14 2.3.1 Chuỗi thời gian thự c 19 2.3.2. Thành phần xu hướng dài hạn 20 2.3.3 Thành phần mùa 21 2.3.4. Thành phần chu kỳ 21 2.3.5. Thành phần bất thường 21 2.3.6 Khai phá tri thức trên cơ sở dữ liệu chuỗi thời gian. 21 2.4 Các ứng dụng cho dự báo dữ liệu: 22 III. CHƯƠNG 3: MƠ HÌNH ARIMA, PHẦM MỀM EVIEWS 24 3.1 Mơ hình ARIMA 24 3.1.1 Lập mơ hình AR, MA và ARIMA với dữ liệu chuỗi thời gian. 24 3.1.2 Xem xét tính dừng của chuỗi quan sát 27 3.1.3 Các bước lặp trong phương pháp luận Box-Jenkins (BJ) 28 3.2 Phần mềm Eviews 28 3.3 Áp dụng cho bài tốn dự báo gỗ ngun liệu 30 3.3.1 Dữ liệu cho dự báo 30 3.3.2 Mơ hình ARIMA cho dự báo ngun liệu gỗ 31 3.4 Các đánh giá sau dự báo 36 KẾT LUẬN 37 HƯỚNG NGHIÊN CỨU TIẾP THEO 39 DANH MỤC TÀI LIỆU THAM KHẢO 40 Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ ii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Các ký hiệu, chữ viết tắt Nội dung KPDL Khai phá dữ liệu CNTT Cơng nghệ thơng tin ARIMA Autoregresssive Intergrated Moving Avegage AR Autoregresssive MA Moving Avegage Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ iii DANH MỤC CÁC BẢNG Bảng Nội dung Trang 1.1 Một số phương pháp dự báo phổ biến 4 3.1 Các dữ liệu đầu vào cho dự báo 26 22 Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ iv DANH MỤC CÁC HÌNH (HÌNH VẼ, ẢNH CHỤP, ĐỒ THỊ…) Hình Nội dung Trang 2.1 Quy trình phát hiện tri thức từ cơ sở dữ liệu 9 2.2 Minh họa chuỗi thời gian 14 2.3 Đồ thị minh họa thành phần xu hướng dài hạn 16 3.1 Giao diện chương trình Eviews 25 3.2 Giao diện làm việc với workfile khởi tạo các biến 25 3.3 Giao diện nhập số liệu vào chương trình eviews 27 3.4 Tương quan lượng gỗ tự cấp và mua ngồi 28 3.5 3.6 Ước lượng ARIMA(1,0,1) với tucap và muangoai 29 3.7 Biểu đồ tương quan lượng giấy và bột giấy sản xuất được 29 3.8 So sánh lượng ngun liệu cho sản xuất và xuất khẩu 30 3.9 So sánh lượng giấy và bột giấy đã sản xuất 30 3.10 Ước lượng hồi quy lượng giấy và bột giấy đã sản xuất 31 Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 1 MỞ ĐẦU Tổng cơng ty giấy Việt Nam hiện nay là một trong những đơn vị lớn trong cả nước về sản xuất bột giấy và giấy. Đặc biệt sản phẩm giấy Bãi Bằng (sản xuất tại Nhà máy giấy Bãi Bằng) của Tổng cơng ty là thương hiệu nổi tiếng đã được người tiêu dùng trong nước biết đến từ lâu và tin dùng. Trong q trình phát triển và hoạt động, giấy Bãi Bằng đã nhiều lần nâng cấp thiết bị và mở rộng sản xuất. Năm 2003 đã đầu tư thành cơng Dự án mở rộng cơng ty giấy Bãi Bằng giai đoạn I, nâng cơng suất sản xuất bột giấy từ 48.000 tấn/năm lên 71.000 tấn/năm và cơng suất sản xuất giấy từ 50.000 tấn/năm lên 100.000 tấn/năm. Tiếp theo thành cơng của dự án đầu tư giai đoạn I, Tổng cơng ty giấy Việt Nam đã lập dự án đầu tư giai đoạn II - dây chuyền bột giấy tẩy trắng 250.000 tấn/năm, dự án giấy nhà máy giấy Thanh Hố - dây chuyền sản xuất giấy in/viết 100.000 tấn/năm, năm 2010 Tổng cơng ty đã đầu tư nâng cơng suất sản xuất giấy lên 120.000 tấn/năm, tiếp nhận dự án nhà máy bột giấy Phương Nam – tỉnh Long An và một số dự án khác. Tuy nhiên, trong đó có các dự án hoặc là đã dừng lại, hoặc là chưa thành cơng hay triển vọng sinh lời khi đưa vào sản xuất còn hạn chế. Ngun nhân là thiếu sự nghiên cứu, phân tích đầy đủ về thị trường đầu vào và đầu ra của các sản phẩm trong các dự án đầu tư, cũng như cơng nghệ phù hợp với điều kiện sản xuất ở Việt Nam. Trong khi Tổng cơng ty chưa thành cơng trong các dự án đầu tư ngành giấy thì Việt Nam lại đang được coi là nước thu hút đầu tư ngành giấy, trong đó các cơng ty giấy của Nhật Bản, Trung Quốc, Thái Lan… đã và đang đầu tư lớn vào Việt Nam. Các cơng ty trong nước cũng đang mở rộng sản xuất, xúc tiến đầu tư. Tổng cơng ty giấy Việt Nam đang đứng trước nguy cơ tụt hậu so với các cơng ty sản xuất giấy khác ngay tại Việt Nam. Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 2 Mặc dù nhiều dự án đầu tư đã và đang được tiến hành, hầu hết các cơng ty và các dự án giấy tại Việt Nam mới chỉ đầu tư và sản xuất được giấy in, giấy viết, một phần nhỏ giấy in báo, giấy vàng mã, giấy các tơng sóng ở quy mơ nhỏ, đa số khơng có xử lý mơi trường, chưa sản xuất được các loại giấy cao cấp như giấy bao bì tráng phủ, giấy kraft tẩy trắng hoặc khơng tẩy trắng, giấy làm lớp mặt thùng có lớp sóng,… Mặt khác, tuy các điều kiện về kinh tế và dân số của Việt Nam vẫn tăng trưởng đều đặn, sự phát triển của cơng nghệ thơng tin và các cơng nghệ mới đã làm cho nhu cầu giấy in báo tại Việt Nam giảm sút rõ rệt, nhu cầu giấy in/viết khơng còn tăng mạnh và chịu sự cạnh tranh khốc liệt từ giấy ngoại nhập, các loại sách điện tử, những lý do này làm cho các thị trường giấy in báo, giấy in/viết của Tổng cơng ty Giấy Việt Nam khơng còn là cơ hội đầu tư nữa. Trong điều kiện mơi trường kinh doanh như vậy, Tổng cơng ty giấy Việt Nam đã nhận thấy sự cần thiết và cơ hội đầu tư sản xuất sản phẩm giấy cao cấp khác để cạnh tranh. Cùng với việc nghiên cứu thị trường và cơng nghệ sản xuất giấy trước khi đi đến quyết định đầu tư cần phải nghiên cứu và dự báo rõ ràng nguồn ngun liệu cho việc sản xuất mang tính ổn định lâu dài. Việc tự lực được nguồn ngun liệu là quyết định được lợi thế cạnh tranh lớn trên thị trường. Mục đích bài luận văn là tìm hiểu một số phương pháp khai phá, phân tích dữ liệu từ các số liệu thực tế được tổng hợp và ứng dụng cho bài tốn dự báo nguồn ngun liệu cho sản xuất của nhà máy giấy Bãi Bằng – Tổng cơng ty Giấy Việt Nam. Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 3 NỘI DUNG I. CHƯƠNG I: TỔNG QUAN VỀ DỰ BÁO DỮ LIỆU 1.1 Khái niệm về dự báo. Dự báo là biện pháp lập luận khoa học tiên đốn những sự việc sẽ xảy ra trong tương lai, trên cơ sở phân tích, tổng hợp về các dữ liệu đã thu thập được. Khi tiến hành dự báo cần căn cứ vào việc thu thập, xử lý số liệu trong q khứ và hiện tại để xác định xu hướng vận động của các hiện tượng trong tương lai nhờ vào một số mơ hình tốn học (Định lượng). Tuy nhiên dự báo cũng có thể là một dự đốn chủ quan hoặc trực giác về tương lai (Định tính) và để dự báo định tính được chính xác hơn, cần phải loại trừ những tính chủ quan của người dự báo. Dù định nghĩa có sự khác biệt nào đó, nhưng đều thống nhất về cơ bản là dự báo bàn về tương lai, nói về tương lai. Dự báo trước hết là một thuộc tính khơng thể thiếu của tư duy của con người, con người ln ln nghĩ đến ngày mai, hướng về tương lai. Trong thời đại cơng nghệ thơng tin và tồn cầu hóa, dự báo lại đóng vai trò quan trọng hơn khi nhu cầu về thơng tin thị trường, tình hình phát triển tại thời điểm nào đó trong tương lai càng cao. Dự báo được sử dụng trong nhiều lĩnh vực khác nhau, mỗi lĩnh vực có một u cầu về dự báo riêng nên phương pháp dự báo được sử dụng cũng khác nhau. 1.2 Một số đặc điểm của dự báo. Tính khơng chính xác của dự báo: Dù phương pháp chúng ta sử dụng là gì thì ln tồn tại yếu tố khơng chắc chắn cho đến khi thực tế diễn ra. Ln có điểm mù trong các dự báo: Khơng phải cái gì cũng có thể dự báo được nếu chúng ta thiếu hiểu biết về vấn đề cần dự báo. Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ [...]... dự báo Bước 8 Áp dụng kết quả dự báo 1.4 Kết luận: Tìm hiểu cơ bản về khái niệm dự báo dữ liệu, một số đặc điểm của dự báo dữ liệu và một số phương pháp chính để dự báo Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 12 II CHƯƠNG 2: KHAI PHÁ DỮ LIỆU VÀ CÁC ỨNG DỤNG CHO DỰ BÁO DỮ LIỆU 2.1 Khai phá dữ liệu: Khai phá dữ liệu (KPDL) là lĩnh vực kết hợp nhiều biện pháp kỹ thuật với nhau và. .. series) Bảng 1.1: Một số phương pháp dự báo phổ biến Tuy nhiên, theo cách phân loại tại Việt Nam các phương pháp dự báo thường được chia thành 2 nhóm chính là phương pháp định tính và phương pháp định lượng Số hóa bởi Trung tâm Học liệu –ĐHTN http://www.lrc.tnu.edu.vn/ 5 1.3.1 Phương pháp dự báo định tính (phán đốn) Phương pháp này dựa trên cơ sở phân tích những yếu tố liên quan, và những ý kiến về các...4 Dự báo cung cấp kết quả đầu vào cho các nhà hoạch định chính sách trong việc đề xuất các chính sách phát triển: Chính sách mới sẽ ảnh hưởng đến tương lai, vì thế cũng sẽ ảnh hưởng đến độ chính xác của dự báo 1.3 Các phương pháp dự báo Hiện nay trên thế giới rất nhiều phương pháp dự báo được sử dụng, tuy nhiên có 9 phương pháp dự báo được áp dụng phổ biến là: STT Nội dung 1 Phương pháp tiên... rã và xây dựng phán đốn: Để có thể dự báo chính xác hơn có thể phân rã vấn đề cần dự báo thành nhiều dự báo thành phần Trên cơ sở dựa vào những dự báo thành phần để thu được dự báo tồn bộ cho vấn đề cần dự báo Bởi vì, dự báo một vấn đề gộp khó khăn hơn rất nhiều khi chúng ta phân rã vấn đề đó thành nhiều vấn để nhỏ để có thể đưa ra những phương pháp dự báo thích hợp cho từng vấn đề nhỏ Xây dựng phán... đến bài tốn quan tâm + Làm sạch dữ liệu (tiền xử lý) + Chuyển đổi dữ liệu về dạng phù hợp, thuận lợi cho việc khai phá + Trích xuất, chọn lựa ra các dữ liệu mẫu + Đánh giá mẫu + Sử dụng tri thức khai phá được Trong thực tế, thuật ngữ khai phá dữ liệu được sử dụng phổ biến hơn là khai phá tri thức trong cơ sở dữ liệu Tùy theo hướng ứng dụng mà người ta chia khai phá dữ liệu ra làm nhiều q trình trong... lường các giai đoạn theo từng chuỗi Phép ngoại suy: Phương pháp này dựa vào dữ liệu q khứ để dự báo như phương pháp san mũ hoặc phương pháp chuỗi thời gian Theo nghiên cứu của Makridakis và các cộng sự (1984), nếu dữ liệu chuỗi có dạng năm thì việc loại bỏ ảnh hưởng của yếu tổ mùa vụ sẽ thu được kết quả dự báo chính xác hơn Tuy nhiên, phương pháp dự báo này sẽ khơng đánh giá được yếu tố ảnh hưởng bên... (Genius forecasting) 2 Phương pháp ngoại suy xu hướng (Tren extrapolation) 3 Phương pháp chun gia (Consensus) 4 Phương pháp mơ phỏng (Mơ hình hóa - Simulation) 5 Phương pháp ma trận trác động qua lại (Cross-Impact matrix method) 6 Phương pháp kịch bản (Scenario) 7 Phương pháp cây quyết định (Decision trees) 8 Phương pháp dự báo tổng hợp/ luật kết hợp (Combining methods) 9 Phương pháp chuỗi thời gian... hợp thơng tin vào mơ hình hoặc những biến có thể có tự tương quan Phương pháp hệ thống chun gia: Phương pháp hệ thống chun gia được xây dựng dựa trên cấu trúc thi hành dự báo của một nhóm chun gia Theo nghiên cứu của Collopy, Adya và Armstrong (2001) chỉ ra rằng phương pháp hệ thống chun gia chính xác hơn phương pháp phán đốn độc đốn Tuy nhiên, phương pháp này phải chịu một mức chi phí cho các chun... trình dự báo Thơng thường trong các dự báo về kinh tế, quy trình dự báo được chia thành các bước sau Các bước này bắt đầu và kết thúc với sự trao đổi giữa người sử dụng và người làm dự báo Bước 1 Xác định mục tiêu dự báo Bước 2 Lựa chọn đối tượng cần dự báo Bước 3 Xác định khoảng thời gian dự báo Bước 4 Lựa chọn mơ hình dự báo Bước 5 Thu thập số liệu và tiến hành dự báo Bước 6 Phê chuẩn mơ hình dự báo. .. xử lý dữ liệu, trích xuất tri thức từ lượng lớn dữ liệu và là q trình tìm ra những thơng tin ẩn, hữu ích, chưa được biết trước từ dữ liệu 2.1.1 Phát hiện tri thức và khai phá dữ liệu Việc thu thập và lưu trữ các kho chứa dữ liệu khổng lồ dẫn tới một u cầu cấp thiết là cần có những kỹ thuật và cơng cụ mới để tự động chuyển đổi lượng dữ liệu khổng lồ thành các tri thức có ích Do vậy, khai phá dữ liệu . NGHỆ THƠNG TIN VÀ TRUYỀN THƠNG NGUYỄN ĐỨC CHÍ “ NGHIÊN CỨU PHƯƠNG PHÁP KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG DỰ BÁO NGUỒN GỖ NGUN LIỆU CHO SẢN XUẤT TẠI NHÀ MÁY GIẤY BÃI BẰNG” Chun. một số phương pháp khai phá, phân tích dữ liệu từ các số liệu thực tế được tổng hợp và ứng dụng cho bài tốn dự báo nguồn ngun liệu cho sản xuất của nhà máy giấy Bãi Bằng – Tổng cơng ty Giấy. Quy trình dự báo. 11 1.4 Kết luận: 11 II. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU VÀ CÁC ỨNG DỤNG CHO 12 DỰ BÁO DỮ LIỆU 12 2.1. Khai phá dữ liệu: 12 2.1.1 Phát hiện tri thức và khai phá dữ liệu. 12