Để đạt được lợi thế cạnh tranh thương mại trong một môi trường kinh doanh thay đổi liên tục, dự báo nhu cầu là rất quan trọng cho một tổ chức để đưa ra quyết định đúng về sản xuất và quản lý hàng tồn kho. Mục tiêu của nghiên cứu này là để đề xuất một kỹ thuật dự báo được mô hình hóa bằng các phương pháp thông minh nhân tạo sử dụng các mạng nơron nhân tạo. Hiệu quả của phương pháp đề xuất cho vấn đề dự báo nhu cầu được đã chứng minh bằng cách sử dụng dữ liệu thực tế từ một công ty đang hoạt động trong công nghiệp van sản xuất tại Mumbai. Một phân tích so sánh các phương pháp đào tạo khác nhau của mạng lưới thần kinh được đưa sử dụng các kết quả thu được từ mô hình dự báo nhu cầu
Tên tập nhóm: Dự báo nhu cầu sử dụng mạng Nơ-ron nhân tạo dựa phương pháp học khác nhau: phân tích so sánh (Tên tiếng Anh) Demand forecasting Using Artificial Neural Network Based on Different Learning Methods: Comparative Analysis Các thành viên nhóm 1B • • • • 2.1 Dương Quang Châu (nhóm trưởng) Ngơ Đình Hải Nguyễn Viết Cường Hồ Nguyễn Thành Nhân Nội dung tóm tắt Ý tưởng Để đạt lợi cạnh tranh thương mại môi trường kinh doanh thay đổi liên tục, dự báo nhu cầu quan trọng cho tổ chức để đưa định sản xuất quản lý hàng tồn kho Mục tiêu nghiên cứu để đề xuất kỹ thuật dự báo mơ hình hóa phương pháp thơng minh nhân tạo sử dụng mạng nơron nhân tạo Hiệu phương pháp đề xuất cho vấn đề dự báo nhu cầu chứng minh cách sử dụng liệu thực tế từ công ty hoạt động cơng nghiệp van sản xuất Mumbai Một phân tích so sánh phương pháp đào tạo khác mạng lưới thần kinh đưa sử dụng kết thu từ mơ hình dự báo nhu cầu 2.2 Mơ hình Mơ hình Nơ-ron khơng tuyến tính ( Courtesy: Haykin, 1994.) Thành phần mạng ANN nơ-ron Mơ hình nơ-ron hình (Haykin, 1994) Biểu thức tốn học mơ tả phương trình (1) (2): uk = ∑ j =1 wkj x j (1) yk − φ (uk − θ k ) (2) p Trang Trong x1,x2, ,xp tín hiệu đầu vào; wk1,wk2, wkp trọng số tiếp hợp nơron k, uk kết hợp tuyến tính đầu với Ɵk biểu thị ngưỡng cho phép Φ phương trình kích hoạt; yk tín hiệu đầu nơ-ron (Haykin, 1994) 2.3 Ví dụ / Cài đặt / Mô No of nodes 10 12 14 15 16 17 18 20 22 24 26 Mean Square Error 0.7 0.71 0.59 0.28 0.25 0.22 0.2 0.04 0.13 0.07 0.07 0.01 0.004 0.06 0.15 Biểu đồ biểu diễn 0.34 Bảng Xác định số tối ưu Nơ-ron ● Chạy chương trình sử dụng hàm trainlm tối ưu số node ẩn lớp ẩn để thu kết huấn luyện hiệu suất phương sai tốt ● Với giá trị node ẩn đó, chạy chương trình với thuật toán học khác nhau, TRAINLM, TRAINGD, TRAINGDA ● Lập bảng cho liệu kiểm tra, số lượng thực kết dự báo Tìm phương sai tuyệt đối ● So sánh phương sai tuyệt đối tất phương pháp Sử dụng phương pháp TRAINLM, số nơ-ron tối ưu tính tốn Bảng Phương sai số nơ-ron khác xác định MSE < 20 nơ-ron Bằng cách sử dụng nhiều phương pháp kiểm thử lỗi, giá trị tốt lựa chọn sau: Số nơ-ron lớp ẩn = 20 Tốc độ học = 1.0 Động lượng = 0.8 Số epoch = 1000 2.4 Đanh giá / Ưu – Nhược điểm Nghiên cứu tìm hiểu hiệu dự báo nhu cầu chuỗi cung ứng với phương pháp mạng nơ-ron nhân tạo (ANN) xác định phương pháp tốt Nghiên cứu phát triển phương thức dự báo so sánh dựa ANN phương pháp khác Để minh họa cho hiệu Trang lý thuyết này, nghiên cứu thực cho công ty sản xuất van Kết đánh giá phương pháp TRAINLM hiệu so với phương pháp khác việc ước lượng dự báo Khả nâng cao độ xác dự báo có ưu điểm làm giảm chi phí tăng thỏa mãn khách hàng phân phối kịp thời Lý thuyết đề xuất xem công cụ hỗ trợ định thành công dự báo nhu cầu khách hàng Những nghiên cứu tương lai tìm hiểu loại mạng ANN khác việc đưa dự báo xác Nội dung dịch Phần tiếng Anh copy từ báo Phần dịch sang tiếng Việt I INTRODUCTION I GIỚI THIỆU Demand and sales forecasting is one of the most important functions of manufacturers, distributors, and trading firms Keeping demand and supply in balance, they reduce excess and shortage of inventories and improve profitability When the producer aims to fulfil the overestimated demand, excess production results in extra stock keeping which ties up excess inventory On the other hand, underestimated demand causes unfulfilled orders, lost sales foregone opportunities and reduce service levels Both scenarios lead to inefficient supply chain Thus, the accurate demand forecast is a real challenge for participant in supply chain.(A.A Syntetos et al.,2010) The ability to forecast the future based on past data is a key tool to support individual and organizational decision making In particular, the goal of Time Series Forecasting (TSF) is to predict the behavior of complex systems by looking only at past patterns of the same phenomenon.( J.H Friedman et al.,1991) Forecasting is an integral part of supply chain management Traditional forecasting methods suffer from serious limitations which affect the forecasting accuracy Artificial neural network (ANN) algorithms have been found to be useful techniques for demand forecasting due to their bility to accommodate non- linear data, to capture subtle functional relationships among empirical data, even where the underlying relationships are unknown or hard to describe (P.C Chang et al.,2006 ), (R Fildes et al.,2008) Demand analysis for a valve manufacturing industry which typically represents an make to order industry has been carried out using neural network based on different training methods and a comparative study has been presented Section presents a critical view of past work on forecasting studies in SC and the use of ANN in demand Nhu cầu dự báo doanh số bán hàng chức quan trọng nhà sản xuất, nhà phân phối, công ty kinh doanh Giữ cung cầu cân bằng, chúng làm giảm dư thừa thiếu hụt hàng tồn kho nâng cao lợi nhuận Khi nhà sản xuất nhằm đáp ứng nhu cầu, kết sản xuất dư thừa đánh giá cao phụ giữ cổ phiếu mà quan hệ hàng tồn kho dư thừa Mặt khác, đánh giá nhu cầu thấp gây đơn đặt hàng chưa thực hiện, bỏ qua hội bán hàng làm giảm mức dịch vụ Cả hai tình dẫn đến chuỗi cung ứng hiệu Như vậy, dự báo nhu cầu xác thách thức thật cho người tham gia chuỗi cung ứng (AA Syntetos et al., 2010) Khả dự báo tương lai dựa liệu khứ công cụ quan trọng để hỗ trợ việc định cá nhân tổ chức Cụ thể, mục tiêu chuỗi thời gian dự báo (TSF) để dự đoán hành vi hệ thống phức tạp cách nhìn vào khn mẫu khứ tượng (JH Friedman et al., 1991) dự báo phần quản lý chuỗi cung ứng Phương pháp dự báo truyền thống bị hạn chế nghiêm trọng làm ảnh hưởng đến độ xác dự báo Mạng nơron nhân tạo (ANN) thuật tốn tìm thấy kỹ thuật hữu ích cho nhu cầu dự báo khả họ để chứa liệu phi tuyến, để nắm bắt mối quan hệ chức tinh tế liệu thực nghiệm, kể trường hợp mối quan hệ khơng biết khó tả (PC Chang et al., 2006), (R Fildes et al., 2008) Phân tích nhu cầu cho ngành cơng nghiệp sản xuất van mà thường đại diện cho việc đặt hàng công nghiệp thực cách sử dụng mạng nơron dựa phương pháp đào tạo khác nghiên cứu so sánh trình bày Phần trình bày quan điểm quan trọng làm việc trước nghiên cứu dự báo SC việc sử Trang forecasting Section describes the techniques used in the proposed methodology A real-world case study from a valve manufacturing company is presented in Section Section gives the results of the neural techniques and empirical evaluations Section concludes this paper by giving important extensions and future directions of work II LITERATURE Qualitative method, time series method, and causal method are important forecasting techniques Qualitative methods are based on the opinion of subject matter expert and are therefore subjective Time series methods forecast the future demand based on historical data Causal methods are based on the assumption that demand forecasting is based on certain factors and explore the correlation between these factors Demand forecasting has attracted the attention of many research works Many prior studies have been based on the prediction of customer demand based on time series models such as moving-average, exponential smoothing, and the Box-Jenkins method, and casual models, such as regression and econometric models There is an extensive body of literature on sales forecasting in industries such as textiles and clothing fashion ( Y.Fan et al., 2011), (Z.L Sun et al.,2008) ,books (K Tanaka et al., 2010), and electronics (P.C Chang et al.,2013) However, very few studies center on demand forecasting in industrial valve sector which is characterized by the combination of standard products manufactures and make to order industries Lee, Padmanabhan, and Whang (1997) studied bullwhip effect which is due to the demand variability amplification along a SC from retailers to distributors Chen, Ryan, and Simchi-Levi (2000) analyzed the effect of exponential smoothing forecast by the retailer on the bullwhip effect Zhao, Xie, and Leung (2002) investigated the impact of forecasting models on SC performance via a computer simulation model Dejonckheere et al.,(2003) demonstrated the importance of selecting proper forecasting techniques as it has been shown that the use of moving average, naive forecasting or demand signal processing will induce the bullwhip effect Autoregressive linear forecasting, on the other hand, has been shown to diminish bullwhip effects, while outperforming naive and exponential smoothing methods (Chandra and Grabis, 2005) Although the quantitative methods mentioned above perform well, they suffer from some limitations First, dụng ANN dự báo nhu cầu Phần mô tả kỹ thuật sử dụng phương pháp đề xuất Một nghiên cứu tình thực tế từ cơng ty sản xuất van trình bày phần Phần cho kết kỹ thuật nơron đánh giá thực nghiệm Phần kết thúc viết cách cho phần mở rộng quan trọng định hướng tương lai công việc II TÀI LIỆU Phương pháp định tính, phương pháp chuỗi thời gian, phương pháp nhân kỹ thuật dự báo quan trọng Phương pháp định tính dựa vào ý kiến chuyên gia vấn đề chủ quan Phương pháp chuỗi thời gian dự báo tương lai nhu cầu dựa liệu lịch sử Phương pháp nhân dựa giả định nhu cầu dự báo dựa vào yếu tố định khám phá mối tương quan yếu tố Nhu cầu dự báo lĩnh vực thu hút nhiều nghiên cứu Phần lớn nghiên cứu dựa dự đoán nhu cầu khách hàng dựa mơ hình chuỗi thời gian số bình quân di động, làm hàm mũ, phương pháp Jenkins, phương pháp thông thường khác, mơ hình hồi quy, mơ hình tốn kinh tế Dự báo bán hàng phát triển mạnh ngành công nghiệp may mặc, thời trang ( Y.Fan et al., 2011), (Z.L Sun et al.,2008), sách (K Tanaka et al., 2010) thiết bị điện tử (P.C Chang et al.,2013) Tuy nhiên, có nghiên cứu dự báo lĩnh vực công nghiệp van, đặc trưng kết hợp sản phẩm tiêu chuẩn với sản phẩm ngành khác Lee, Padmanabhan, Whang (1997) nghiên cứu hiệu ứng bullwhip, dựa nhu cầu phân phối rộng rãi từ bán lẻ đến phân phối Chen, Ryan, Simchi-Levi (2000) phân tích hiệu ứng dự đốn theo phương pháp san hàm mũ nhà bán lẻ hiệu ứng bullwhip Zhao, Xie, Leung (2002) tìm hiểu ảnh hưởng mơ hình dự đốn thơng qua mơ máy vi tính Dejonckheere et al.,(2003) tầm quan trọng việc chọn lựa phương pháp thích hợp có ảnh hưởng đến hiệu ứng bullwhip Mặc dù phương pháp định lượng thực tốt, nhiên chúng có số giới hạn định Thứ Trang lack of expertise might cause a mis-specification of the functional form linking the independent and dependent variables together, resulting in a poor regression (Tugba Efedil et al., 2008) Secondly an accurate prediction can be guaranteed only if large amount of data is available Thirdly, non-linear patterns are difficult to capture Finally, outliers can bias the estimation of the model parameters The use of neural networks in demand forecasting overcomes many of these limitations Neural networks have been mathematically demonstrated to be universal approximaters of functions(Garetti&Taisch, 1999) Al-Saba et al (1999) & Beccali, et al (2004), refer to the use of ANNs to forecast short or long term demands for electric load Law (2000) studied the ANN demand forecasting application in tourism industry Aburto and Weber (2007) presented a hybrid intelligent system combining autoregressive integrated moving average models and NN for demand forecasting in SCM and developed an inventory management system for a Chilean supermarket Chiu and Lin (2004) demonstrated how collaborative agents and ANN could work in tandem to enable collaborative SC planning with a computational framework for mapping the supply, production and delivery resources to the customer orders Kuo and Xue (1998) used ANNs to forecast sales for a beverage company Their results showed that the forecasting ability of ANNs is indeed better than that of ARIMA specifications Chang and Wang (2006) applied a fuzzy BPN to forecast sales for the Taiwanese printed circuit board industry Although there are many papers regarding the artificial NN applications, very few studies center around application of different learning techniques and optimization of network architecture III PROPOSED METHODOLOGY A Demand forecasting Traditional time series demand forecasting models are Naive Forecast, Average, Moving Average Trend and Multiple Linear Regression The naive forecast which uses the latest value of the variable of interest as a best guess for the future value is one of the simplest forecasting methods and is often used as a baseline method against which the performance of other methods is compared The moving average forecast is calculated as the average of a defined number of previous periods Trend-based forecasting is based on a simple regression model that takes time as an independent variable and tries to forecast demand as a function of time The multiple linear regression model tries to predict the nhất, dạng phương trình liên kết biến độc lập biến phụ thuộc khơng xác, dẫn đến kết hồi quy thấp (Tugba Efedil et al., 2008) Thứ hai, dự đốn xác có lượng lớn liệu để xử lý Thứ ba, dạng phi tuyến tính khó dự đốn Cuối cùng, giá trị ngoại lệ làm ảnh hưởng đến tham số mơ hình Việc sử dụng mạng nơron dự báo nhu cầu giải nhược điểm Mạng nơron chứng minh xấp xỉ tiêu chuẩn (Garetti&Taisch, 1999) Al-Saba et al (1999) & Beccali, et al (2004), sử dụng ANN để dự báo nhu cầu tải điện Law (2000) nghiên cứu ANN ứng dụng du lịch lữ hành Aburto and Weber (2007) giới thiệu hệ thống lai kết hợp mơ hình tự hồi quy kết hợp số bình quân di động với phương pháp mạng nơ-ron Sau đó, ơng phát triển hệ thống quản lý hàng tồn kho cho siêu thị Chile Chiu and Lin (2004) chứng minh kết hợp nhân viên ANN dựa tảng điện toán việc cung cấp, sản xuất phân phối đến khách hàng Kuo and Xue (1998) sử dụng ANN để dự đoán giá bán công ty bia Kết cho thấy khả ANN tốt so với phương pháp trước Chang and Wang (2006) áp dụng phương pháp BPN để đoán giá bán bo mạch Mặc dù có nhiều nghiên cứu liên quan đến ứng dụng mạng nơron nhân tạo, có nghiên cứu liên quan đến ứng dụng kỹ thuật khác tối ưu kiến trúc mạng III ĐỀ XUẤT PHƯƠNG PHÁP A Dự báo nhu cầu Các mơ hình dự đốn nhu cầu chuỗi thời gian dự đốn tự nhiên, bình qn, bình qn động, hồi quy đa tuyến tính Phương pháp dự đốn tự nhiên sử dụng giá trị cuối biến lợi nhuận giá trị dự đoán tốt cho giá trị tương lai; phương pháp phương pháp đơn giản sử dụng phương pháp sở để so sánh hiệu suất với phương pháp khác Phương pháp bình qn động tính tốn dựa trung bình số định nghĩa chu kỳ trước Phương pháp dự báo xu hướng dựa mơ hình hồi quy đơn giản, sử dụng thời gian biến độc lập thành lập phương trình dự báo hàm theo thời gian Phương pháp hồi quy đa tuyến tính đốn thay đổi nhu cầu dựa thay đổi khứ Trang change in demand using a number of past changes in demand observations as independent variables B Neural Network Neural Networks (NNs) are flexible non-linear data driven models that have attractive properties for forecasting Statistical methods are only efficient for data having seasonal or trend patterns, while artificial neural techniques can accommodate the data influenced by the special case, like promotion or extreme crisis demand fluctuation (Nikolaos Kourentzes , 2013) Artificial intelligence forecasting techniques have been receiving much attention lately in order to solve problems that are hardly solved by the use of traditional methods ANNs have the ability to learn like humans, by accumulating knowledge through repetitive learning activities Animal brain’s cognitive learning process is simulated in ANNs ANNs are proved to be efficient in modeling complex and poorly understood problems for which sufficient data are collected (Dhar & Stein, 1997) ANN is a technology that has been mainly used for prediction, clustering, classification, and alerting of abnormal patterns (Haykin, 1994) The capability of learning examples is probably the most important property of neural networks in applications and can be used to train network with the records of past response of a complex system (Wei, Zhang & Li, 1997) trình quan sát nhu cầu biến độc lập Fig.1 Non-Linear model of Neuron ( Courtesy: Haykin, 1994.) The basic element in an ANN is a neuron The model of a neuron is depicted in Fig (Haykin, 1994) In mathematical terms, a neuron k can be described as in Eqs (1) and (2): Hình 1: Mơ hình Nơ-ron khơng tuyến tính ( Courtesy: Haykin, 1994.) Thành phần mạng ANN nơ-ron Mơ hình nơ-ron hình (Haykin, 1994) Biểu thức tốn học mơ tả phương trình (1) (2): uk = ∑ j =1 wkj x j {1} yk − φ (uk − θ k ) {2} p where x1,x2, ,xp are the input signals; wk1,wk2, wkp are the synaptic weights of neuron k, and, u k is the linear combiner output while Ɵk denotes the threshold B Mạng nơ-ron Mạng noron mơ hình điều khiển liệu linh hoạt, có nhiều tính chất hấp dẫn cho dự báo Các phương pháp thống kê hiệu liệu có tính chất xu hướng hay chu kỳ, kỹ thuật mạng nơ-ron nhân tạo thu thập liệu trường hợp đặc biệt, khuyến giai đoạn khủng hoảng (Nikolaos Kourentzes , 2013) Hiện nay, kỹ thuật dự báo nhận quan tâm lớn việc giải vấn đề mà khó giải phương pháp truyền thống ANN có khả tự học người, cách thu thập liệu thông qua hoạt động lặp lặp lại Q trình nhận thức động vật mơ ANN ANN chứng minh hiệu việc mơ hình vấn đề phức tạp khó hiểu thu thập đầy đủ liệu (Dhar & Stein, 1997) ANN công nghệ sử dụng cho dự báo, khoanh vùng, phân loại cảnh báo cấu trúc bất thường (Haykin, 1994) Khả tự học đặc tính quan trọng mạng nơ-ron sử dụng để huấn luyện mạng cách sử dụng liệu từ trước uk = ∑ j =1 wkj x j {1} yk − φ (uk − θ k ) {2} p Trong x1,x2, ,xp tín hiệu đầu vào; w k1,wk2, wkp trọng số tiếp hợp nơ-ron k, u k kết hợp tuyến tính đầu với Ɵk biểu thị ngưỡng cho phép Φ Trang Furthermore, is the activation function; and yk is the output signal of the neuron (Haykin, 1994) Of the different types of neural networks, most commonly used is the feed-forward error backpropagation type neural nets In these networks, the individual elements neurons are organized into layers in such a way that output signals from the neurons of a given layer are passed to all of the neurons of the next layer Thus, the flow of neural activations goes in one direction only, layer-by-layer The smallest number of layers is two, namely the input and output layers More layers, called hidden layers, could be added between the input and the output layer to increase the computational power of the neural nets Provided with sufficient number of hidden units, a neural network could act as a ‘universal approximator.( Real Carbonneau et al 2006) Neural networks are tuned to fulfill a required mapping of inputs to the outputs using training algorithms The common training algorithm for the feed-forward nets is called ‘error back-propagation’(Rumelhart et al., 1986) The learning method can be divided into two categories, namely, unsupervised learning and supervised learning Error back propagation method is supervised learning model where the error between the expected output and the calculated output is computed and minimized by adjusting the weights between two connection layers starting backwards from the output layer to input layer The correct number of hidden units is dependent on the selected learning algorithm A greater quantity of hidden layers enables a NN model to improve its closeness-offit, while a smaller quantity improves its smoothness or extrapolation capabilities (Choy et al., 2003) It was concluded that the number of hidden neurons is best determined by trial and error method According to some literature studies, the number of hidden layer nodes can be up to 2n + (where n is the number of nodes in the input layer), or 50% of the quantity of input and output nodes (Lenard, Alam, & Madey, 1995; Patuwo, Hu, & Hung, 1993; Piramuthu, Shaw, & Gentry, 1994) C Back Propagation Training Algorithms: MATLAB tool box is used for neural network implementation for functional approximation for demand forecasting Different back propagation algorithms in use in MATLAB ANN tool box are: - Batch Gradient Descent (traingd) - Variable Learning Rate (traingda, traingdx) - Conjugate Gradient Algorithms ( traincgf, traincgp, phương trình kích hoạt; yk tín hiệu đầu nơ-ron (Haykin, 1994) Trong số loại khác mạng nơron, thường sử dụng loại cấp phát lỗi lan truyền ngược lưới nơ-ron Trong mạng này, thành phần nơ-ron phân chia thành lớp, đó, tín hiệu đầu nơ-ron lớp đưa vào nơ-ron lớp Do đó, luồng kích hoạt nơ-ron theo chiều qua lớp Số lớp nhỏ 2, gọi lớp đầu vào lớp đầu Các lớp thêm vào lớp đầu vào lớp đầu ra, gọi lớp ẩn Với số lượng lớp ẩn hợp lý, cơng suất tính tốn mạng nơ-ron tăng lên, lúc mày mạng xem xấp xỉ tiêu chuẩn (Real Carbonneau et al 2006) Mạng nơ-ron điều chỉnh để đáp ứng ánh xạ từ đầu vào đến đầu cách sử dụng thuật toán huấn luyện Thuật toán huấn luyện phổ biến cho lưới tiếp thuận gọi thuật toán lỗi back-propagation (Rumelhart et al., 1986) Thuật toán lỗi back-propagation loại mơ hình học có giám sát, lỗi kết mong muốn kết tính tốn đầu tính tốn tối thiểu cách thêm vào trọng số hai lớp liền kề, bắt đầu ngược từ đầu đến đầu vào Số lượng lớp ẩn phụ thuộc vào cách chọn thuật tốn Số lượng lớn cho phép mơ mạng nơ-ron nâng cao tính xác Số lượng nhỏ làm tăng tính trơn khả ngoại suy (Choy et al., 2003) Có thể kết luận số lượng nơ-ron ẩn xác định phương pháp thử lỗi thích hợp Theo số nghiên cứu lý thuyết, số lượng nút ẩn lên đến 2n+1 (với n số lớp đầu vào), 50% số lượng nút đầu vào đầu (Lenard, Alam, & Madey, 1995; Patuwo, Hu, & Hung, 1993; Piramuthu, Shaw, & Gentry, 1994) C Thuật toán huấn luyện lan truyền ngược Công cụ Matlab sử dụng vận hành mạng nơ-ron với chức xấp xỉ dự báo nhu cầu Có nhiều thuật tốn lan truyền ngược sử dụng công cụ MATLAB ANN như: - Batch Gradient Descent (traingd) - Variable Learning Rate (traingda, traingdx) - Conjugate Gradient Algorithms ( traincgf, traincgp, Trang traincgb, trainscg) - Levenberg-Marquardt (trainlm) 1) Batch Gradient Descent (Traingd) : The batch steepest descent training function is traingd The weights and biases are updated in the direction of the negative gradient of the performance function There are seven training parameters associated with traingd: epochs, show, goal, time, min_grad, max_fail, and lr The learning rate lr is multiplied times the negative of the gradient to determine the changes to the weights and biases 2) Variable Learning Rate (Traingda): With standard steepest descent, the learning rate is held constant throughout training The performance of the algorithm is very sensitive to the proper setting of the learning rate If the learning rate is set too high, the algorithm may oscillate and become unstable If the learning rate is too small, the algorithm will take too long to converge It is not practical to determine the optimal setting for the learning rate before training, and, in fact, the optimal learning rate changes during the training process, as the algorithm moves across the performance surface The performance of the steepest descent algorithm can be improved if the learning rate is adjusted during the training process An adaptive learning rate will attempt to keep the learning step size as large as possible while keeping learning stable The learning rate is made responsive to the complexity of the local error surface (Mathworks, 2000) 3) Conjugate Gradient Algorithms (Traincgf) : The basic back propagation algorithm adjusts the weights in the steepest descent direction (negative of the gradient) This is the direction in which the performance function is decreasing more rapidly It turns out that, although the function decreases more rapidly along the negative of the gradient, this does not necessarily produce the fastest convergence In the conjugate gradient algorithms a search is performed along conjugate directions, which produces generally faster convergence than steepest descent directions Depending on the search functions we have different training algorithms like traincgf, traincgp, traincgb, trainscg (Mathworks, 2000) 4) Levenberg-Marquardt Algorithm (trainlm): Like the quasi-Newton methods, the Levenberg-Marquardt algorithm was designed to approach second-order training speed without having to compute the Hessian matrix When the performance function has the form of a sum of squares (as is typical in training feed forward networks), then the Hessian matrix can be approximated traincgb, trainscg) - Levenberg-Marquardt (trainlm) 1) Batch Gradient Descent (Traingd) : Sử dụng khối hàm traingd Trọng số phân cực cập nhật hướng gradient âm hàm hiệu suất Có tham số liên quan đến hàm traingd: epochs, show, goal, time, min_grad, max_fail, lr Tốc độ học lr nhân với số lần số âm gradient để xác định thay đổi trọng số phân cực 2) Variable Learning Rate (Traingda): Với giảm nhanh tiêu chuẩn, tốc độ học số tồn q trình Hiệu suất thuật toán nhạy cảm với điều chỉnh liên qua đến tốc độ học Nếu tốc độ học đặt q cao, thuật tốn khơng ổn định Nếu tốc độ học nhỏ, thuật toán nhiều thời gian để hội tụ Thông thường, tốc độ học tối ưu thay đổi trình thực đáp ứng theo thuật toán Hiệu suất thuật toán thuật tốn giảm nhanh nâng cao tốc độ học điều chỉnh trình thực thuật tốn Tốc độ học thích nghi cho phép kích thước khoảng giá trị độ lớn vừa tối đa cho phép giữ ổn định Tốc độ học đáp ứng cho độ phức tạp bề mặt lỗi nội (Mathworks, 2000) 3) Conjugate Gradient Algorithms (Traincgf): Thuật toán back propagation thêm trọng số vào hướng độ giảm nhanh (âm gradient) Đây hướng mà hiệu suất hàm giảm nhanh Điều có nghĩa là, hàm giảm nhanh với độ âm gradient, khơng có nghĩa cần phải hội tụ nhanh Trong thuật tốn liên hợp gradient, q trình tìm kiếm thực dọc theo hướng liên hợp, tạo hội tụ nhanh so với phương pháp hướng giảm nhanh Phụ thuộc vào hàm tìm kiếm, ta có thuật toán khác traincgf, traincgp, traincgb, trainscg (Mathworks, 2000) 4) Levenberg-Marquardt Algorithm (trainlm): Cũng phương pháp giả Newton, thuật toán Levenberg-Marquardt thiết kế để tiếp cận tốc độ huấn luyện bậc hai mà không cần phải tính tốn ma trận Hessian Nếu hàm hiệu suất có dạng tổng bình phương (điển hình mạng tiếp thuận), ma trận Hessian xấp xỉ là: H = JTJ Trang as H = JT J and the gradient can be computed as G = JTe where is J the Jacobian matrix that contains first derivatives of the network errors with respect to the weights and biases, and e is a vector of network errors The Jacobian matrix can be computed through a standard back propagation technique that is much less complex than computing the Hessian matrix The Levenberg-Marquardt algorithm uses this approximation to the Hessian matrix in the following Newton-like update Xk+1=Xk - [ JTJ+μI]-1 JTe This algorithm appears to be the fastest method for training moderate-sized Feed forward neural networks (up to several hundred weights) It also has a very efficient MATLAB implementation, since the solution of the matrix equation is a built-in function, so its attributes become even more pronounced in a MATLAB setting (Mathworks, 2000) IV EMPIRICAL EVALUATION The real time data for the inventory management of an existing valve manufacturing company will be used to validate the concepts on the demand forecasting A Data set and forecasting variable The company under study is a pioneer in the Indian valve industry and has developed innovative and high quality products for various applications The company produces more than fifty types of valve assemblies of different valve types, gate valve, ball valve, globe valve, check valve etc Among this wide product range, one of fast moving items is earmarked for the demand forecasting analysis 10’’X 150 class gate valve –GTV 101 series is selected for study Past historical bimonthly sales data from 2001 till 2012 for these product category is compiled This group of 72 data items will form the time series for forecasting the demand for these types of valves This data will be divided into parts, one for training the ANN and other for testing and validation gradient tính G = JTe TABLE1 Bảng liệu (Xem file phụ lục biểu đồ) MATLAB ANN tool box is used for neural network implementation for functional approximation of demand forecasting Input for the neural network demand forecasting model: Previous bimonthly sale 2Nnd previous bimonthly sale ( sales of last 3rd and Bộ công cụ MATLAB ANN sử dụng cho triển khai mạng nơ-ron cho chức xấp xỉ dự báo nhu cầu Trong J ma trận Jacobi chứa đạo hàm thứ lỗi mạng tương ứng với trọng số phân cực, e véc tơ lỗi mạng Ma trận Jacobi tính tốn thơng qua kỹ thuật back propagation tiêu chuẩn, phức tạp tính tốn ma trận Hessian Thuật toán Levenberg-Marquardt sử dụng xấp xỉ với ma trận Hessian cập nhật Newton sau Xk+1=Xk - [ JTJ+μI]-1 JTe Thuật toán xem phương pháp nhanh mạng nơ-ron tiếp thuận kích thước vừa phải (khoảng vài tram trọng số) Phương pháp thực tốt MATLAB, phương trình ma trận hàm có sẵn MATLAB, với tham số khai báo sẵn IV ĐÁNH GIÁ THỰC NGHIỆM Dữ liệu thời gian thực quản lý hàng tồn kho công ty sản xuất van sử dụng để đánh giá khái niệm dự báo nhu cầu A Dữ liệu biến dự báo Công ty sử dụng nghiên cứu công ty tiên phong sản xuất van Ấn Độ, phát triển nhiều sản phẩm sáng tạo chất lượng cao cho nhiều ứng dụng, Công ty sản xuất 50 loại van loại, lắp đặt loại van khác nhau, van cổng, van bóng, van cầu, van kiểm tra, etc Trong số loại sản phẩm đó, van cổng loại 10’’X 150 – sê-ri GTV 101 chọn làm sản phẩm nghiên cứu Dữ liệu bán hàng tháng hai lần từ 2001 đến 2012 tổng hợp Nhóm gồm 72 liệu tạo nên chuỗi thời gian để dự đoán nhu cầu cho loại van Dữ liệu chia làm hai phần, phần sử dụng cho huấn luyện ANN, phần lại sử dụng cho kiểm thử Dữ liệu đầu vào cho mạng nơ-ron dự báo nhu cầu: Doanh số bán hàng hai tháng trước Doanh số bán hàng hai tháng trước (tháng thứ ba Trang 4th month) Moving average of last bimonthly sales Moving average of last bimonthly sale Output of neural network is the forecasted demand for the next bimonthly sale Mfile programs are written for demand forecasting using ANN MLP model using different training methods thứ trước) Bình quân động doanh số bán hàng hai tháng trước Bình quân động doanh số bán hàng ba hai tháng trước Đầu mạng nơ-ron dự báo nhu cầu doanh số bán hàng cho hai tháng Chương trình Mfile viết cho dự báo nhu cầu sử dụng mơ hình ANN MPL sử dụng phương pháp huấn luyện khác TABLE2 Bảng liệu (Xem file phụ lục biểu đồ) Fig Identification of optimum no of neurons Hình (Xem file phụ lục biểu đồ) C Procedure for demand forecasting calculation: ● Run the program using the training method trainlm and optimize the number of nodes in the hidden layer where we will achieve the training goal or very good mean square error performance ● For this number of hidden nodes , run the program using different learning algorithms like TRAINLM, TRAINGD, TRAINGDA ● Tabulate the test data , that is the actual quantity and forecasted test data result Find the mean absolute error ● Compare the \mean absolute percentage error from all the above training methods Using TRAINLM method, optimum number of neurons is computed Table lists Mean Square Error for different number of neurons and it is identified that the MSE is minimum for 20 nuerons By means of many trial and error experiments ,the proper parameters are chosen as following: Number of neurons in hidden layer = 20 Learning rate = 1.0 Momentum = 0.8 Number of epochs=1000 C Q trình tính tốn dự báo nhu cầu ● Chạy chương trình sử dụng hàm trainlm tối ưu số node ẩn lớp ẩn để thu kết huấn luyện hiệu suất phương sai tốt TABLE 3,4,5,6,7 Bảng Hình so sánh 3,4,5,6,7 (Xem file phụ lục biểu đồ) V RESULTS AND VALIDATION The network is trained using different training methods Table to table No tabulate the test result using the training methods TRAINLM, TRAINGD, TRAINGDA & TRAINCGF These results are graphically represented in Fig to Fig Average absolute error of each training method is listed in table which compares the predictive accuracy of the different ANN training models Fig is a bar chart representation of Mean absolute error Overall, the performance of TRAINLM training method has been significantly better than that of other training methods V KẾT QUẢ VÀ ĐÁNH GIÁ Mạng huấn luyện với nhiều phương pháp khác Bảng bảng kết kiểm tra sử dụng phương pháp TRAINLM, TRAINGD, TRAINGDA & TRAINCGF Những phương pháp biểu diễn đồ thị hình hình Các giá trị trung bình tuyệt đối phương pháp bảng để so sánh độ xác dự đốn mơ hình huấn luyện ANN khác Hình đồ thị biểu diễn phương sai Nhìn chung, hiệu suất phương pháp TRAINLM tốt so với phương pháp khác ● Với giá trị node ẩn đó, chạy chương trình với thuật tốn học khác nhau, TRAINLM, TRAINGD, TRAINGDA ● Lập bảng cho liệu kiểm tra, số lượng thực kết dự báo Tìm phương sai tuyệt đối ● So sánh phương sai tuyệt đối tất phương pháp Sử dụng phương pháp TRAINLM, số nơ-ron tối ưu tính tốn Bảng Phương sai số nơ-ron khác xác định MSE < 20 nơ-ron Bằng cách sử dụng nhiều phương pháp kiểm thử lỗi, giá trị tốt lựa chọn sau: Số nơ-ron lớp ẩn = 20 Tốc độ học = 1.0 Động lượng = 0.8 Số epoch = 1000 Trang 10 VI CONCLUSION The objective of this research was to study the effectiveness of forecasting the demand signals in the supply chain with ANN method and identify the best training method This study has developed a comparative forecasting mechanism based on ANN and different training methods To demonstrate the effectiveness of the proposed methodology, demand forecasting issue was investigated on a valve manufacturing company as a real-world case study Evaluation results indicate that TrainLM method performs more effectively than other training methods in estimation of the more reliable forecasts for our case The ability to increase forecasting accuracy will result in lower costs and higher customer satisfaction because of more on-time deliveries The proposed methodology can be considered as a successful decision support tool in forecasting customer demands Future research can explore the possibility of using other ANN types like radial basis neural networks to make a similar approach and better the accuracy of prediction VI KẾT LUẬN Mục đích nghiên cứu tìm hiểu hiệu dự báo nhu cầu chuỗi cung ứng với phương pháp ANN xác định phương pháp tốt Nghiên cứu phát triển phương thức dự báo so sánh dựa ANN phương pháp khác Để minh họa cho hiệu lý thuyết này, nghiên cứu thực cho công ty sản xuất van Kết đánh giá phương pháp TRAINLM hiệu so với phương pháp khác việc ước lượng dự báo Khả nâng cao độ xác dự báo có ưu điểm làm giảm chi phí tăng thỏa mãn khách hàng phân phối kịp thời Lý thuyết đề xuất xem công cụ hỗ trợ định thành công dự báo nhu cầu khách hàng Những nghiên cứu tương lai tìm hiểu loại mạng ANN khác việc đưa dự báo xác Trang 11