quy tuyến tính truyền thống
Chúng tôi sử dụng các kết quả từ việc xây dựng mô hình Hồi quy tuyến tính truyền thống như là một tập dữ liệu đầu vào cho mô hình Mạng thần kinh nhân tạo với ý tưởng xem mô hình Hồi quy tuyến tính như là một sự hỗ trợ đối với mô hình Mạng thần kinh nhân tạo. Ý tưởng này xuất phát từ mong muốn giảm khối lượng công việc lựa chọn biến cho mô hình Mạng thần kinh, vì nếu không thì việc xây dựng mô hình
Mạng thần kinh nhân tạo sẽ đòi hỏi lượng công việc rất lớn bao gồm tìm kiếm các mạng thần kinh thích hợp và tìm kiếm các biến phù hợp. Theo kết quả từ mô hình Hồi quy tuyến tính thì 6 biến giải thích tốt nhất với cùng mẫu thời gian (từ quý 2/2001 đến quý 4/2009) bao gồm lãi suất liên ngân hàng 3 tháng trễ 2 quý (VNIBOR3Mt-2), vốn đầu tư từ ngân sách nhà nước quý hiện hành (VDTNNt), lượng điện sản xuất trễ 1 quý (LĐt-1), giá trị nhập khẩu trễ 1 quý (NKt-1), giá trị xuất khẩu trễ 2 quý (XKt-2), và tốc độ tăng trưởng GDP quý trước quý hiện hành (GDPt-1) sẽ được tái sử dụng để xây dựng mô hình Mạng thần kinh nhân tạo và chuỗi dữ liệu từ quý 1/2010 đến quý 4/2010 cũng được làm dữ liệu ngoài mẫu cho việc kiểm tra dự báo.
Các thông số được sử dụng để huấn luyện Mạng thần kinh được thể hiện ở bảng sau:
Bảng 3.4: Các thông số huấn luyện
CÁC THÔNG SỐ HUẤN LUYỆN
Tên thông số Các lựa chọn
Mạng thần kinh sử dụng Mạng thần kinh truyền thẳng đa lớp
(Multilayer Perceptron)
Số lƣợng nơ-ron đầu vào (Input PEs) 6
Số lƣợng nơ-ron đầu ra (Output PEs) 1
Số lƣợng lớp ẩn (Hidden Layers) 1 Số lƣợng nơ-ron ẩn 4 Hàm truyền sử dụng (Transfer Function) TanhAxon, SigmoidAxon, LinearTanhAxon, LinearSigmoidAxon Tỷ lệ học (Learning rate) 0,5 đến 0,8 Động lƣợng (Momentum) 0,6 đến 0,9
Cách huấn luyện On-Line; Batch
Sau nhiều lần thử và sai, chúng tôi tìm ra mô hình tốt nhất với MSE của dữ liệu kiểm tra nhỏ nhất (MSE = 0,032516882). Mô hình Mạng thần kinh tốt nhất trong bài nghiên cứu này với các biến biến đầu vào được lấy từ mô hình hồi quy tuyến tính là mô hình Mạng thần kinh truyền thẳng đa lớp có: 6 nơ-ron đầu vào, 4 nơ-ron lớp ẩn, 1 nơ-ron lớp đầu ra, hàm truyền cho nơ-ron lớp ẩn là hàm TanhAxon với tỷ lệ học là 0,7; hàm truyền cho nơ-ron lớp đầu ra là hàm LinearTanhAxon với tỷ lệ học là 0,7 và động lượng là 0,6; và cách huấn luyện là huấn luyện từng dòng.
Hình 3.4: Mô hình Mạng thần kinh nhân tạo tốt nhất với sự hỗ trợ từ mô hình Hồi quy tuyến tính truyền thống cho dự báo tốc độ tăng trƣởng GDP Việt Nam
Hình 3.5: Đồ thị thể hiện giá trị MSE của quá trình huấn luyện mô hình Mạng thần kinh nhân tạo với sự hỗ trợ từ mô hình Hồi quy tuyến tính truyền thống
Hình trên cho thấy trong quá trình huấn luyện mô hình: MSE của dữ liệu huấn luyện liên tục giảm và đạt giá trị nhỏ nhất sau 515 vòng lặp (MSE = 0,021796074) trong khi MSE của dữ liệu phê duyệt đạt giá trị thấp nhất sau 367 vòng lặp (MSE = 0,104824595) và sau đó tăng dần. Để khắc phục tình trạng khít quá mức của mô hình, thủ tục ngừng đúng lúc được áp dụng và Mạng thần kinh sẽ cho ra mô hình với MSE thấp nhất của dữ liệu phê duyệt sau 367 vòng lặp. Như vậy, chúng ta thu được kết quả trọng số tốt nhất sau 367 vòng lặp.
Hình 3.6: Các trọng số ƣớc lƣợng của mô hình Mạng thần kinh dựa trên kết quả của Mô hình truyền thống
Đầu tiên, với 6 giá trị đầu vào được chuẩn hóa với biên trên và biên dưới được mặc định trong mô hình là (-0,9; 0,9), và hàm truyền của lớp ẩn là hàm TanhAxon, giá trị đầu vào của 4 nơ-ron ở lớp ẩn được tính toán theo công thức sau:
Giá trị đầu vào của lớp ẩn
Giá trị đầu ra của lớp ẩn
Tương tự cho các giá trị OUTPUT(H2)t, OUTPUT(H3)t, OUTPUT(H4)t. Các giá trị đầu ra này ở lớp ẩn sẽ làm giá trị đầu vào cho nơ-ron lớp đầu ra, chúng ta có:
Với hàm truyền ở lớp đầu ra là hàm LinearTanhAxon, chúng ta có kết quả đầu ra:
{
Sau đó, giá trị OUTPUT(GDP)t được chuẩn hóa trở lại theo công thức mà chúng tôi đã trình bày ở phần huấn luyện mô hình với biên trên và biên dưới được mặc định trong mô hình là (-0,9; 0,9), ta thu được kết quả đầu ra của mô hình.
Chƣơng 4
KẾT QUẢ DỰ BÁO VÀ KẾT LUẬN
So sánh kết quả dự báo tốc độ tăng trƣởng GDP Việt Nam của các mô hình Hồi quy tuyến tính, mô hình Mạng thần kinh độc lập và mô hình Mạng thần kinh dựa trên kết quả của mô hình Hồi quy tuyến tính
Kết luận
Trong chương cuối này, bài nghiên cứu đã thực hiện so sánh các kết quả dự báo tốc độ tăng trưởng GDP Việt Nam của các mô hình Hồi quy tuyến tính, mô hình Mạng thần kinh nhân tạo độc lập và mô hình Mạng thần kinh nhân tạo dựa trên kết quả mô hình Hồi quy tuyến tính đã được xây dựng trong chương 3 thông qua các chỉ tiêu so sánh như MSE, RMSE, MAE và hệ số Theil’U. Kết quả so sánh cho thấy các mô hình Mạng thần kinh nhân tạo tỏ ra vượt trội hơn so với mô hình Hồi quy tuyến tính truyền thống. Trong đó, mô hình Mạng thần kinh nhân tạo dựa trên kết quả mô hình Hồi quy tuyến tính có kết quả dự báo trong và ngoài mẫu tốt hơn cả mô hình Mạng thần kinh nhân tạo độc lập.
4.1. So sánh kết quả dự báo tốc độ tăng trƣởng GDP Việt Nam của các mô hình
Sử dụng các chỉ tiêu so sánh hiệu quả dự báo như MSE, RMSE, MAE và hệ số Theil’U đã được trình bày ở phần quy trình chạy mô hình để thực hiện so sánh hoạt động dự báo ngoài mẫu của ba mô hình: mô hình Hồi quy tuyến tính (HQTT), mô hình Mạng thần kinh độc lập (ANN), và mô hình Mạng thần kinh dựa trên kết quả của mô hình Hồi quy tuyến tính (ANN & HQTT), chúng ta có kết quả sau:
Bảng 4.1: So sánh dự báo trong mẫu và dự báo ngoài mẫu DỰ BÁO TRONG MẪU
(Q2/2001 - Q4/2009)
ANN HQTT ANN & HQTT
MSE 0,528237562 0,270750257 0,37014983
RMSE 0,726799534 0,520336676 0,6083994
MAE 0,443371719 0,421169112 0,472323894
THEIL'U 0,700800362 0,501723122 0,586635654
DỰ BÁO NGOÀI MẪU (Q1/2010 - Q4/2010)
ANN HQTT ANN & HQTT
MSE 0,0468039 1,864305112 0,032516882
RMSE 0,216342089 1,365395588 0,180324381
MAE 0,196050121 1,177984555 0,14245877
THEIL'U 0,185313953 1,16956832 0,154461963
Từ bảng trên, ta thấy rằng các chỉ số đánh giá hiệu quả của mô hình dự báo MSE, RMSE, MAE, hệ số Theil’U của 2 mô hình Mạng thần kinh độc lập và mô hình Mạng thần kinh có sự hỗ trợ của mô hình Hồi quy tuyến tính cho phần dự báo trong mẫu có giá trị cao hơn so với các chỉ số hiệu quả dự báo của mô hình Hồi quy tuyến tính. Điều này có nghĩa là 2 mô hình Mạng thần kinh ở trên cho kết quả dự báo trong mẫu không tốt bằng mô hình Hồi quy tuyến tính. Tuy nhiên, cả 2 mô hình Mạng thần kinh này đều cho kết quả dự báo ngoài mẫu hiệu quả hơn hẳn mô hình Hồi quy tuyến tính. Chúng ta có thể nói rằng khả năng tổng quát hóa của 2 mô hình Mạng thần kinh tốt hơn so với mô hình Hồi quy tuyến tính; hay nói cách khác, các mô hình Mạng thần kinh đã được xây dựng trong bài nghiên cứu này cho kết quả dự báo tốc độ tăng trưởng GDP Việt Nam tốt hơn mô hỉnh Hồi quy tuyến tính.
Hình 4.1: Đồ thị dự báo trong mẫu
Hình 4.2: Đồ thị dự báo ngoài mẫu
Nếu so sánh riêng lẻ giữa mô hình Mạng thần kinh nhân tạo độc lập và mô hình Mạng thần kinh nhân tạo được dựa trên kết quả mô hình Hồi quy tuyến tính thì có thể thấy mô hình Mạng thần kinh dựa trên kết quả mô hình Hồi quy tuyến tính cho kết quả dự
báo tốt hơn cho cả dự báo trong mẫu lẫn ngoài mẫu. Như vậy, việc sử dụng mô hình Mạng thần kinh nhân tạo dựa trên kết quả mô hình Hồi quy tuyến tính không những cho kết quả dự báo tốt hơn mà còn giúp giảm bớt khối lượng công việc, tiết kiệm thời gian trong việc xây dựng mô hình dự báo tốc độ tăng trưởng GDP Việt Nam.
Hình 4.3: Đồ thị dự báo trong mẫu của mô hình ANN
Hình 4.5: Đồ thị dự báo ngoài mẫu của mô hình ANN
4.2 Kết luận
Qua quá trình thực nghiệm xây dựng các mô hình dự báo tốc độ tăng trưởng GDP Việt Nam, bài nghiên cứu rút ra một số kết luận như sau:
Các biến số kinh tế thường có các mối quan hệ phi tuyến mà mô hình Hồi quy tuyến tính có thể sẽ không thể bao hàm được. Vì vậy, nhờ sự đa dạng trong hàm truyền cũng như khả năng học hỏi của mô hình Mạng thần kinh mà nó đã đưa ra các kết quả dự báo tốt hơn. Mặc dù, các dữ liệu dùng trong mô hình Mạng thần kinh của bài nghiên cứu này đã không được trải qua quá trình tiền xử lý nhưng kết quả dự báo vẫn đảm bảo chất lượng khá tốt.
Bên cạnh các ưu điểm thì việc xây dựng mô hình Mạng thần kinh nhân tạo rõ ràng mất rất nhiều thời gian và nguồn lực cho cả hai mục tiêu vừa tìm kiếm cấu trúc mạng dự báo tốt vừa tìm kiếm các biến số phù hợp cho mô hình. Tuy nhiên, theo kết quả thực nghiệm cho thấy với việc linh hoạt sử dụng các kết quả từ mô hình Hồi quy tuyến tính cho quá trình xây dựng mô hình Mạng thần kinh vừa có thể giảm khối lượng công việc một cách đáng kể, vừa có thể tạo ra một mô hình dự báo tốt. Như vậy, chúng ta có thể xem mô hình Hồi quy tuyến tính và mô hình Mạng thần kinh nhân tạo như là hai mô hình khả năng bổ sung cho nhau rất tốt.
PHẦN KẾT LUẬN
Mô hình Mạng thần kinh nhân tạo là một mô hình cho kết quả xử lý thông tin và dự báo rất tốt, áp dụng rộng rãi trong nhiều lĩnh vực, trong đó có lĩnh vực kinh tế. Tuy nhiên hiện nay, mô hình này vẫn chưa được kiểm chứng và phổ biến ở Việt Nam cho công tác dự báo các biến số kinh tế. Bằng quá trình nghiên cứu kết hợp thực nghiệm, bài nghiên cứu đã cung cấp một nền tảng lý thuyết cho việc tìm hiểu mô hình Mạng thần kinh nhân tạo; đồng thời, tiến hành kiểm chứng khả năng dự báo của mô hình này so với mô hình Hồi quy tuyến tính, cũng như hướng đến một mô hình Mạng thần kinh nhân tạo dựa trên sự hỗ trợ của mô hình Hồi quy tuyến tính để dự báo tốc độ tăng trưởng GDP ở Việt Nam. Mô hình Mạng thần kinh nhân tạo đa lớp với thuật toán truyền ngược, một trong những mô hình phổ biến của mô hình Mạng thần kinh đã được bài nghiên cứu lựa chọn để thực nghiệm. Kết quả cho thấy mô hình Mạng thần kinh cho kết quả dự báo tốt hơn mô hình Hồi quy tuyến tính, và đặc biệt là mô hình Mạng thần kinh nhân tạo dựa trên kết quả của mô hình Hồi quy tuyến tính đã cho kết quả dự báo tốt nhất trong bài nghiên cứu này.
Cũng cần phải lưu ý rằng, những hạn chế về tập dữ liệu cho quá trình dự báo là một yếu tố khách quan, mang tính thực tế hiện nay ở Việt Nam. Điều này đã gây không ít khó khăn cho quá trình xây dựng mô hình dự báo tốc độ tăng trưởng GDP nói riêng và các biến số kinh tế nói chung ở Việt Nam. Vì vậy, độ chính xác từ các mô hình dự báo có thể chỉ ở mức chấp nhận được và cần phải thường xuyên kiểm tra lại.
Cuối cùng, bài nghiên cứu cho rằng để áp dụng mô hình Mạng thần kinh nhân tạo như là một mô hình hỗ trợ đắc lực cho công tác dự báo ở Việt Nam thì cần thiết phải tăng cường quá trình thực nghiệm, so sánh với các mô hình kinh tế lượng khác cho việc dự báo các biến kinh tế. Từ đó, chúng ta sẽ có cái nhìn tổng quan và đánh giá chính xác hơn năng lực dự báo cũng như khả năng phổ biến của mô hình này trong tương lai ở Việt Nam. Đồng thời, đề xuất các giải pháp khắc phục những hạn chế còn tồn tại ở mô hình, góp phần đưa mô hình Mạng thần kinh nhân tạo trở thành một sự lựa chọn tốt, hiệu quả khi xây dựng các mô hình dự báo. Và đây sẽ là hướng nghiên cứu mở rộng của đề tài trong tương lai.
PHỤ LỤC 1
KẾT QUẢ ƢỚC LƢỢNG VÀ KIỂM ĐỊNH TRONG MÔ HÌNH HỒI QUY TUYẾN TÍNH
Hình A.1: Kết quả kiểm định phân phối chuẩn của phần dƣ
Bảng A.1: Kết quả hồi quy tăng trƣởng GDP theo các nhân tố tác động Biến độc lập Hệ số hồi quy Sai số thống
kê Thống kê t P - Value
C 2,83006 1,25857 2,248632 0,0326 VNIBOR3Mt-2 -0,173891 0,065644 -2,649000 0,0131** VĐTNNt 0,016149 0,004716 3,424517 0,0019*** LĐt-1 0,073402 0,017077 4,298412 0,0002*** NKt-1 -0,019866 0,007954 -2,497529 0,0187** XKt-2 -0,014667 0,00684 -2,144100 0,0409** GDPt-1 0,767097 0,119095 6,441030 0*** ***, ** lần lượt là mức ý nghĩa 1%, 5%
Bảng A.2: Các chỉ số thống kê
R-squared 0,832359 Mean dependent var 7,0159
Adjusted R-squared 0,796436 S.D. dependent var 1,2894
S.E. of regression 0,581754 Akaike info criterion 1,9313
Sum squared resid 9,476259 Schwarz criterion 2,2424
Log likelihood -26,798080 F-statistic 23,171
Durbin-Watson stat 1,870304 Prob(F-statistic) 0
Bảng A.3: Kết quả kiểm định phƣơng sai thay đổi Breusch-Godfrey Serial Correlation LM Test:
F-Statistic 0,100658 Probability 0,753482
Obs*R-squared 0,129998 Probability 0,718434
Bảng A.4: Kết quả kiểm định tự tƣơng quan với độ trễ là 1 White Heteroskedasticity Test:
F-Statistic 0,861434 Probability 0,643035
Obs*R-squared 26,90316 Probability 0,469029
Bảng A.5: Kết quả kiểm định tự tƣơng quan với độ trễ là 4 Breusch-Godfrey Serial Correlation LM Test:
F-Statistic 0,198517 Probability 0,936693
Bảng A.6: Kết quả kiểm đinh đa cộng tuyến
Biến phụ thuộc F P-Value R2 VIF
VNIBOR3Mt-2 5,777824 0,000809 0,499042 1,996175 VĐTNNt 1,571722 0,199293 0,21321 1,270987 LĐt-1 5,334063 0,001351 0,479076 1,919666 NKt-1 5,47266 0,001149 0,485481 1,943563 XKt-2 1,958013 0,115091 0,252386 1,337589 GDPt-1 7,775025 0,000097 0,572745 2,340523
Bảng A.7: Kiểm định bỏ sót biến Ramsey RESET Test:
F-Statistic 0,370853 Probability 0,693737
PHỤ LỤC 2
KẾT QUẢ DỰ BÁO CỦA CÁC MÔ HÌNH
DỰ BÁO TRONG MẪU (Q2/2001 - Q4/2009) % GDP mục tiêu ANN HQTT NN & HQTT Q2/2001 6,59474417 6,83178342 6,21026943 6,605600649 Q3/2001 6,786217837 8,09504509 7,434701804 6,907369323 Q4/2001 6,551018981 6,91853674 5,698805732 6,164947994 Q1/2002 6,296923933 6,19337594 6,11410508 6,379618667 Q2/2002 6,328591487 7,00516051 7,422285561 6,803187815 Q3/2002 6,983462606 7,13580042 7,170366149 6,871774483 Q4/2002 6,980884815 7,0464883 7,199128047 7,316621746 Q1/2003 6,630242562 6,24454099 5,374694992 6,575035468 Q2/2003 6,531112105 6,44449067 5,487943055 6,259271616 Q3/2003 7,435034958 7,22831068 8,767490051 7,80000116 Q4/2003 7,718024544 7,77530619 7,153477856 7,27887275 Q1/2004 7,06697672 6,62655535 6,046379851 6,749166748 Q2/2004 7,132683154 7,49415949 7,706471127 6,840198907 Q3/2004 7,600886799 7,39372018 8,353300521 7,699276037 Q4/2004 7,949776304 7,87124339 8,556494507 8,556075824 Q1/2005 7,614352532 7,1540279 6,567761547 7,179703968 Q2/2005 7,453721744 7,61344247 8,068578294 7,734386737 Q3/2005 8,453934892 8,4488758 9,241150352 8,856910893 Q4/2005 7,722061146 8,78984142 9,241150352 8,705639071 Q1/2006 6,859094176 7,48174762 7,239199184 7,092106331 Q2/2006 7,702520456 6,84629378 6,786083638 7,15643991 Q3/2006 8,729717714 7,61843295 9,241150352 8,413488494 Q4/2006 8,605059674 8,03551284 8,851108846 8,533489423
Q1/2007 7,679103304 7,8555529 7,490376952 7,379688747 Q2/2007 7,661031078 6,90072105 7,77656382 7,685394292 Q3/2007 8,934956606 8,66360398 9,241150352 8,369654957 Q4/2007 8,612783134 7,96031429 9,069316582 9,026234414 Q1/2008 7,25685776 7,25367329 6,625774024 7,251324922 Q2/2008 5,652333049 6,60516815 5,499009962 5,657754439 Q3/2008 6,245281926 6,61045149 6,594015491 6,271597475 Q4/2008 5,209127599 6,00787432 4,942831597 5,157747535 Q1/2009 5,620032708 3,06677223 4,942831597 3,075473499 Q2/2009 6,584777383 3,87239471 4,942831597 4,329800445 Q3/2009 6,738173364 5,07277101 5,057850512 5,053770237 Q4/2009 7,414912178 7,39573465 7,9227285 7,820099231
DỰ BÁO NGOÀI MẪU (Q1/2010 - Q4/2010) % GDP mục tiêu ANN HQTT NN & HQTT Q1/2010 5,51674037 3,60174027 6,082738973 5,764309118 Q2/2010 6,324781803 7,50449988 5,942752212 6,097514309 Q3/2010 7,180184696 6,29686366 7,183827829 7,140441001 Q4/2010 7,24688094 6,67845393 7,030516692 6,977260394
PHỤ LỤC 3