Dự báo nhu cầu sản xuất dựa vào dữ liệu quá khứ

i ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHAN THẾ THÀNH DỰ BÁO NHU CẦU SẢN XUẤT DỰA VÀO DỮ LIỆU QUÁ KHỨ Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ Mã số: 60.34.04.05 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 10 năm 2020 ii CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học: PGS.TS PHẠM TRẦN VŨ Cán chấm nhận xét 1: PGS.TS NGUYỄN THANH HIÊN Cán chấm nhận xét 2: PGS.TS NGUYỄN ĐÌNH THUÂN Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 02 tháng 10 năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS TRẦN MINH QUANG - Chủ tịch TS PHAN TRỌNG NHÂN - Thư ký PGS.TS NGUYỄN THANH HIÊN - Phản biện PGS.TS NGUYỄN ĐÌNH THUÂN - Phản biện PGS.TS PHẠM TRẦN VŨ - Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG PGS.TS TRẦN MINH QUANG TRƯỞNG KHOA………… i ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHAN THẾ THÀNH MSHV: 1670928 Ngày, tháng, năm sinh: 31/12/1983 Nơi sinh: Quảng Nam Chuyên ngành: Hệ thống thông tin quản lý Mã số: 60.34.04.05 I TÊN ĐỀ TÀI: Dự báo nhu cầu sản xuất dựa vào liệu khứ II NHIỆM VỤ VÀ NỘI DUNG:  Tìm hiểu dự báo, chuỗi thời gian phương pháp mơ hình dự báo liệu chuỗi thời gian  Thu thập liệu bán hàng công ty dược phẩm từ 2014 đến 2020  Ứng dụng mơ hình dự báo tìm hiểu Python để dự báo liệu thu thập  Đánh giá kết quả, kiến nghị đề xuất có III NGÀY GIAO NHIỆM VỤ: 24/02/2020 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 21/06/2020 V CÁN BỘ HƯỚNG DẪN: PGS.TS PHẠM TRẦN VŨ Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) ii LỜI CẢM ƠN Lời xin chân thành cảm ơn thầy PGS TS Phạm Trần Vũ dành nhiều thời gian tâm huyết hướng dẫn, định hướng thời gian thực luận văn tốt nghiệp Tôi xin gửi lời cảm ơn đến quý thầy cô giảng dạy truyền đạt kiến thức hữu ích cho tơi suốt thời gian tham gia học tập trường Đại học Bách Khoa thành phố Hồ Chí Minh Tơi xin gửi lời cảm ơn đến quý công ty dược phẩm chia thông tin, nguồn lực giúp thực luận văn Cuối xin cám ơn đến gia đình bạn bè động viên giúp đỡ tơi trình thực luận văn iii TÓM TẮT LUẬN VĂN Ngày nay, dự báo nhu cầu sản xuất hữu ích cho nhà sản xuất xác định xác tỷ lệ cung ứng hàng hóa tối ưu nhất, từ xây dựng kế hoạch dự trữ hàng tồn kho kế hoạch mua vật liệu tương ứng để giữ mức sản xuất mức vừa đủ, cắt giảm chi phí Mục đích luận văn tìm hiểu phương pháp dự báo giúp xác định số lượng sản phẩn cần sản xuất tương lai Phương pháp dự báo luận văn phương pháp định lượng Luận văn thực nhằm mục đích tìm mơ hình dự báo liệu chuỗi thời gian tối ưu mơ hình SARIMA mơ hình LSTM Trong luận văn này, tác giả tìm hiểu sử dụng ngôn ngữ Python để bên cạnh việc nghiên cứu lý thuyết để tiến hành thực nghiệp vào liệu thu thập công ty sản xuất dược phẩm Đánh giá đưa kết luận từ nghiên cứu thực nghiệm mơ hình dự báo cho kết tối ưu Kết tư liệu tham khảo hữu hiệu cho đơn vị sản xuất lĩnh vực dược phẩm mở rộng cho việc phân tích dự báo liệu chuỗi thời gian iv ABSTRACT Nowadays, forecasting of production demand is very useful for manufacturers to accurately determine the ratio of the optimum supply of goods, thereby building inventory plans and purchasing materials of plans corresponding to keeping production at a sufficient level, to cut down the costs The purpose of the dissertation is to find out predictive methods to help the determination of the number of products to be produced in the future The predictive method in the dissertation is the quantitative method This dissertation aims to figure out the prediction model of the most optimal time series data of the SARIMA model and LSTM model In this dissertation, the author also learns and uses the Python language, in addition to studying theories to conduct applying to on collected data at the pharmaceutical manufacturing company Evaluate and make conclusions from experimental research on which predictive model gives the most optimal results This result will be a useful reference for manufacturers in the pharmaceutical sector and can be extended for the analysis and prediction of any time series data v LỜI CAM ĐOAN Tơi xin cam đoan tồn nội dung luận văn tự nghiên cứu thực Số liệu sử dụng luận văn đồng ý doanh nghiệp sở hữu tơi có cam kết khơng tiết lộ liệu chi tiết mã hóa thơng tin nhạy cảm để không ảnh hưởng đến kết kinh doanh doanh nghiệp sở hữu Ngồi tơi phép cơng bố số liệu tổng hợp mã hóa kết tổng hợp từ luận văn Nếu có chỗ khơng nên trên, tơi xin hồn tồn chịu trách nhiệm Người cam đoan Phan Thế Thành vi MỤC LỤC NHIỆM VỤ LUẬN VĂN THẠC SĨ i LỜI CẢM ƠN ii TÓM TẮT LUẬN VĂN iii ABSTRACT iv LỜI CAM ĐOAN v MỤC LỤC vi DANH MỤC HÌNH DANH MỤC BẢNG SỐ LIỆU CHƯƠNG GIỚI THIỆU ĐỀ TÀI Lý chọn đề tài .3 Ý nghĩa khoa học thực tiễn .3 Mục tiêu, đối tượng phạm vi nghiên cứu 4 Thu thập, tìm hiểu đánh giá liệu Giới hạn nghiên cứu đề tài CHƯƠNG CƠ SỞ LÝ THUYẾT VÀ CÁC CƠNG TRÌNH CĨ LIÊN QUAN Cơ sở lý thuyết 1.1 Dự báo nhu cầu sản xuất 1.2 Chuỗi thời gian (time series) 1.3 Các mơ hình dự báo chuỗi thời gian 1.3.1 Mơ hình hồi quy 1.3.2 Mơ hình tự hồi quy (AR) 1.3.3 Mơ hình trung bình trượt (MA) 1.3.4 Mơ hình ARIMA 10 1.3.5 Mơ hình SARIMA 10 vii 1.3.6 Phương pháp luận Box-Jenkins: 10 1.3.7 Phương pháp học máy mạng nơ-ron nhân tạo 11 Các cơng trình có liên quan đến đề tài 13 2.1 Ứng dụng mạng nơ-ron dự báo chuỗi thời gian 13 2.2 Dự báo chuỗi thời gian mờ dựa ngữ nghĩa 13 2.3 Sử dụng mơ hình máy học để dự báo doanh số bán hàng 14 2.4 Sử dụng máy học để dự báo thị trường chứng khoán 14 2.5 Sử dụng SVM để dự báo chuỗi thời gian tài 14 2.6 Ứng dụng kỹ thuật mạng nơ-ron nhân tạo để dự báo 15 2.7 Tổng hợp nhiều phương pháp dự báo 15 Kết luận 15 CHƯƠNG HIỆN TRẠNG, YÊU CẦU, GIẢI PHÁP THỰC HIỆN HỆ THỐNG 17 Hiện trạng hệ thống thông tin công ty dược 17 Yêu cầu hệ thống 17 Giải pháp thực dự báo 19 3.1 Trích xuất phân tích liệu 19 3.1.1 Trích xuất liệu 19 3.1.2 Phân tích liệu 20 3.2 Các thư viện Python quan trọng sử dụng đề tài 22 3.2.1 Statsmodels 22 3.2.2 Keras TensorFlow 22 3.2.3 Matplotlib 22 3.2.4 Pandas 22 3.3 Xây dựng mơ hình dự báo SARIMA Python 23 3.3.1 Chuẩn bị liệu đầu vào 23 3.3.2 Xác định mơ hình 24 3.3.3 Huấn luyện (training) mơ hình 25 3.3.4 Dự báo đánh giá sai số dự báo 25 viii 3.4 Xây dựng mô hình dự báo LSTM Python 25 3.4.1 Chuẩn bị liệu đầu vào 25 3.4.2 Tạo luấn luyện mơ hình 27 3.4.3 Tạo liệu kiểm tra 28 3.4.4 Dự báo đánh giá sai số 28 3.5 Phân tích dự báo theo nhóm thuốc 29 3.5.1 Trực quan hóa số liệu 29 3.5.2 Sử dụng mơ hình SARIMA 32 a Tìm mơ hình cho liệu nhóm da liễu 32 b Kết dự báo nhóm da liễu 33 b.1 Mơ hình 1: SARIMA ((p, d, q), (P, D, Q, s)) = (0, 0, 1), (0, 1, 2, 12) 33 b.2 Mơ hình 2: SARIMA ((p, d, q), (P, D, Q, m)) = (0, 0, 0), (0, 1, 2, 12) 35 3.5.3 Sử dụng mơ hình LSTM 37 3.6 Phân tích dự báo theo sản phẩm (thuốc) 39 3.6.1 Trực quan hóa 39 3.6.2 Sử dụng mô hình SARIMA 42 a Tìm mơ hình dự báo cho liệu sản phẩm thuốc 42 b Kết dự báo sản phẩm thuốc 43 3.6.3 Sử dụng mơ hình LSTM 45 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 47 Tổng kết kết dự báo 47 So sánh khác biệt mơ hình SARIMA LSTM 48 Kết luận 49 Hạn chế hướng nghiên cứu 50 TÀI LIỆU THAM KHẢO 52 PHỤ LỤC A: CODE PYTHON 55 A.1 Trực quan hóa liệu nhóm 55 A.2 Trực quan hóa số liệu sản phẩm thuốc 57 A.3 Dự báo theo nhóm thuốc – mơ hình SARIMA .58 53 [12] Jessica Lina, Eamonn Keogha, Stefano Lonardia, Jeffrey P Lankfordb, Donna M Nystromb, (2004), Visually Mining and Monitoring Massive Time Series, KDD ’04, August 22–25, 2004, Seattle, Washington, U.S.A [13] James H Stock, (2001), Time Series: Economic Forecasting, volume 23, pp 15721–15724, 2001, Elsevier Ltd [14] Yash Patel, (2018), Forecasting data by using Time series data mining in WEKA, DOI:10.13140/RG.2.2.20480.07681 [15] Anastasia Borovykh∗ Sander Bohte † Cornelis W Oosterlee, (2018), Conditional time series forecasting with convolutional neural networks, Cornell University [16] Ratnadip Adhikari, R K Agrawal, (2013), A combination of artificial neural network and random walk models for financial time series forecasting, Springer-Verlag London 2013 DOI:10.1007/s00521-0131386-y [17] Neelam Mishra, Hemant Kumar Soni, Sanjiv Sharma, A.K Upadhyay, (2017), A Comprehensive Survey of Data Mining Techniques on Time Series Data for Rainfall Prediction, J ICT Res Appl., Vol 11, No 2, 2017, p168-p184 [18] Jian Liu, Chunlin Liu, Lanping Zhang, Yi Xu, (2019), Research on sales information prediction system of e‑commerce enterprises based on time series model, Springer-Verlag GmbH Germany, part of Springer Nature 2019 [19] Teresa m Mccarthy, donna f Davis, susan l Golicic, john t Mentzer, (2006), The Evolution Of Sales Forecasting Management: A 20-Year Longitudinal Study Of Forecasting Practices, Wiley Interscience DOI: 10.1002/For.989 [20] Athar Khodabakhsh, Ismail Ari, Mustafa Bakır, Serhat Murat Alagoz, (2020), Forecasting Multivariate Time-Series Data Using LSTM and MiniBatches, Springer: Lecture Notes on Data Engineering and Communications Technologies Volume 45 [21] Jason Brownlee, (2017), Long Short-Term Memory Networks With Python: Develop Sequence Prediction Models with Deep Learning, Copyright 2017 Jason Brownlee [22] Pranjal Srivastava, “Essentials of Deep Learning : Introduction to Long Short Term Memory”, Internet: 54 https://www.analyticsvidhya.com/blog/2017/12/fundamentals-of-deeplearning-introduction-to-lstm, Sep 1, 2020 [23] Christopher Olah, “Understanding LSTM Networks”, Internet: http://colah.github.io/posts/2015-08-Understanding-LSTMs, Sep 1, 2020 [24] AlindGupta, “Long Short Term Memory Networks Explanation”, Internet: https://www.geeksforgeeks.org/long-short-term-memory-networksexplanation/?ref=lbp, Sep 1, 2020 [25] Jonathan E Taylor, “SARIMAXResults”, Internet: https://www.statsmodels.org/stable/generated/statsmodels.tsa.statespace.sar imax.SARIMAXResults.html, Sep 1, 2020 55 PHỤ LỤC A: CODE PYTHON A.1 Trực quan hóa liệu nhóm 56 57 A.2 Trực quan hóa số liệu sản phẩm thuốc 58 A.3 Dự báo theo nhóm thuốc – mơ hình SARIMA 59 A.4 Dự báo theo sản phẩm thuốc – Mơ hình SARIMA 60 A.5 Dự báo theo nhóm thuốc – Mơ hình LSTM 61 62 A.6 Dự báo theo sản phẩm thuốc – Mô hình LSTM 63 64 65 PHỤ LỤC B: CÁC THUỘC TÍNH CỦA LỚP SARIMAXRESULTS [25] Tên aic aicc arfreq arparams arroots bic bse cov_params_approx cov_params_oim cov_params_opg cov_params_robust cov_params_robust_appr ox cov_params_robust_oim fittedvalues hqic llf llf_obs loglikelihood_burn mae mafreq maparams maroots mse Mô tả (float) Akaike Information Criterion (float) Akaike Information Criterion with small sample correction (array) Frequency of the roots of the reduced form autoregressive lag polynomial (array) Autoregressive parameters actually estimated in the model (array) Roots of the reduced form autoregressive lag polynomial (float) Bayes Information Criterion The standard errors of the parameter estimates (array) The variance / covariance matrix (array) The variance / covariance matrix (array) The variance / covariance matrix (array) The QMLE variance / covariance matrix (array) The QMLE variance / covariance matrix (array) The QMLE variance / covariance matrix (array) The predicted values of the model (float) Hannan-Quinn Information Criterion (float) The value of the log-likelihood function evaluated at params (float) The value of the log-likelihood function evaluated at params (float) The number of observations during which the likelihood is not evaluated (float) Mean absolute error (array) Frequency of the roots of the reduced form moving average lag polynomial (array) Moving average parameters actually estimated in the model (array) Roots of the reduced form moving average lag polynomial (float) Mean squared error 66 pvalues resid seasonalarparams seasonalmaparams sse states tvalues use_t zvalues (array) The p-values associated with the z-statistics of the coefficients (array) The model residuals (array) Seasonal autoregressive parameters actually estimated in the model (array) Seasonal moving average parameters actually estimated in the model (float) Sum of squared errors Return the t-statistic for a given parameter estimate Flag indicating to use the Student’s distribution in inference (array) The z-statistics for the coefficients 67 PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: PHAN THẾ THÀNH Ngày, tháng, năm sinh: 31/12/1983 Nơi sinh: Quảng Nam Địa liên lạc: 14/20 Lê Văn Thọ, Q Gò Vấp, TP HCM QUÁ TRÌNH ĐÀO TẠO 09/2001 – 06/2006: kỹ sư Công Nghệ Thông Tin, Đại Học Bách Khoa Đà Nẵng 12/2016 – nay: cao học chuyên ngành Hệ Thống Thông tin Quản Lý – Trường Đại Học Bách Khoa – Đại Học Quốc Gia TP HCM Q TRÌNH CƠNG TÁC 2006-2010: chun viên lập trình Cơng ty Cổ phần Phần mềm Quản lý Doanh nghiệp (Fast Software Company) 2010-2015: chun viên lập trình Cơng ty Cổ phần Phần mềm Việt Phát 2015-2017: chuyên viên công nghệ thông Ngân hàng thương mại cổ phần Ngoại thương Việt Nam – Chi nhánh Tân Bình 2017-2018: chuyên viên lập trình Cơng ty Cổ phần Phần mềm Quản lý Doanh nghiệp 2018-nay: chun viên lập trình cơng ty TNHH Phần Mềm FPT (FPT Software) ... đào tạo nhân Dự báo dựa liệu khứ, phương pháp dự báo phổ biến nhất, lấy liệu khứ để đưa dự báo tương lai Tuy nhiên, phương pháp lại bỏ qua yếu tố bên trình sản xuất dựa số lượng nhu cầu kỳ trước... lý tơi chọn đề tài "Dự báo nhu cầu sản xuất dựa vào liệu khứ kết hợp với yếu tố bên ngồi có liên quan" Ý nghĩa khoa học thực tiễn Dự báo nhu cầu sản xuất giúp cho nhà sản xuất xác định xác tỷ lệ... 60.34.04.05 I TÊN ĐỀ TÀI: Dự báo nhu cầu sản xuất dựa vào liệu khứ II NHIỆM VỤ VÀ NỘI DUNG:  Tìm hiểu dự báo, chuỗi thời gian phương pháp mơ hình dự báo liệu chuỗi thời gian  Thu thập liệu bán hàng công