Chương 3 PHƯƠNG PHÁP ĐỀ XUẤT
4.2. Kết quả thực nghiệm và đánh giá
4.2.2. Dự báo của thuật toán phân rã
Tiếp theo, các mơ hình phân rã được trình bày trong phần 4.2.1, luận văn trình bày kết quả dự báo của các mơ hình trên dựa theo sai số RMSE của tập huấn luyện và tập dự báo theo Bảng 4.4 và Bảng 4.5 ở dưới.
Để thuận lợi cho việc đánh giá kết quả, luận văn biểu diễn hai bảng số liệu trên đây dưới dạng biểu đồ: Biểu đồ thứ nhất Hình 4.4 và Hình 4.5 biểu diễn sai số (RMSE) huấn luyện và dự báo cho chuỗi dữ liệu 1, 2, 4, 6 và chuỗi dữ liệu 3, 5 cùng với các thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM so sánh với ba thuật toán cơ sở; Biểu đồ thứ hai Hình 4.6 và Hình 4.7 biểu diễn sai số RMSE huấn luyện và dự báo cho chuỗi dữ liệu 1, 2, 4, 6 và chuỗi dữ liệu 3, 5 cùng với các thuật toán X12-SVM, X12-RVM so sánh với ba thuật toán cơ sở.
Series 1 Series 2 Series 3
Huấn
luyện Kiểm tra
Huấn
luyện Kiểm tra
Huấn
luyện Kiểm tra
X-12-ARIMA 2.27 1.22 1.82 4.17 9.12 23.77 STL 2.34 2.37 2.54 3.77 17.15 40.75 ETS 2.72 3.62 3.21 3.81 17.23 23.43 SVM 7.75 10.88 8.28 9.36 31.62 175.30 S-SVM 1.08 9.80 2.41 5.73 11.40 155.25 STL-SVM 2.44 3.82 2.28 4.45 15.44 140.69 X12-SVM 1.29 9.68 1.79 2.93 9.43 146.13 RVM 11.52 32.08 13.91 8.34 40.21 163.44 S-RVM 2.43 27.51 10.53 5.19 13.57 141.95 STL-RVM 2.45 18.00 2.82 9.75 18.38 71.44 X12-RVM 1.83 13.55 3.45 2.71 12.46 40.00
Series 4 Series 5 Series 6 Huấn
luyện Kiểm tra
Huấn
luyện Kiểm tra
Huấn
luyện Kiểm tra
X-12-ARIMA 0.92 1.28 4.77 6.20 0.40 2.69 STL 1.38 3.58 10.14 6.40 0.88 2.28 ETS 1.55 2.31 8.12 6.62 0.77 2.22 SVM 1.95 8.88 8.74 58.27 1.78 4.90 S-SVM 1.00 8.20 4.30 54.93 0.66 3.75 STL-SVM 1.14 7.21 8.19 44.99 0.91 4.11 X12-SVM 0.96 8.38 4.72 52.15 0.53 5.55 RVM 2.86 12.73 22.64 32.65 1.73 6.48 S-RVM 1.12 11.16 8.11 18.52 0.60 6.11 STL-RVM 1.46 7.75 10.72 15.53 0.90 3.85 X12-RVM 1.18 6.69 6.18 6.84 0.53 2.07
Bảng 4.5. Sai số (RMSE) huấn luyện và sai số (RMSE) dự báo 3 dữ liệu sau
- Thuật toán SVM/RVM: Sai số huấn luyện có bộ 4 và 6 xấp xỉ trên so với các thuật toán cơ sở, SVM có thêm bộ 5; các bộ cịn lại thì sai số huấn luyện cao hơn đường max. Sai số dự báo, chỉ có bộ dữ liệu 6 là xấp xỉ trên so với thuật toán cơ sở (đường max là 2.69 đối với SVM 4.90 và RVM 6.48), các bộ cịn lại thì ở trên xa đường max của (ví dụ như bộ dữ liệu 3 đường max là 40.75 đối với SVM là 175.30, với RVM là 163.44).
- Thuật toán S-SVM/S-RVM: Sai số huấn luyện và dự báo cải thiện tốt hơn so với thuật tốn SVM/RVM. Ví dụ bộ dữ liệu 2 kết quả dự báo khá tốt, sai số huấn luyện S-SVM là 2.41 nhỏ hơn SVM là 8.28 (dưới đường max là 2.54), sai số dự báo S-SVM là 5.73 nhỏ hơn SVM là 9.36 (xấp xỉ trên đường max là 4.17). Trong khi đó với bộ dữ liệu 3 thì kết quả chưa tốt, sai số huấn luyện S-SVM là 11.40 nhỏ hơn SVM là 31.62 (trên đường max là 17.23), sai số dự báo S-SVM là 155.25 nhỏ hơn SVM là 175.30 (trên
Hình 4.4. Biểu đồ sai số huấn luyện và dự báo bộ dữ liệu 1, 2, 4 của các thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM
- Thuật toán STL-SVM/STL-RVM: Sai số huấn luyện tốt (Hình 4.4 và Hình 4.5) xấp xỉ sai số của thuật toán cơ sở. Sai số dự báo bộ dữ liệu 1, 2 STL-SVM 3.82, 4.45 đều xấp xỉ đường max và tốt hơn STL-RVM là 18.00, 9.75; ngược lại bộ dữ liệu 3, 5 STL-SVM 140.69, 44.99 xấu hơn STL-RVM là 71.44, 15.53 (đường max là 40.75, 6.62); Hai bộ 4, 6 thì STL-SVM và STL-RVM xấp xỉ nhau đều trên đường max.
- Thuật toán X12-SVM/X12-RVM:
Sai số huấn luyện, hai thuật toán này rất tốt xấp xỉ các thuật tốn cơ sở thậm chí tốt hơn như bộ dữ liệu 1 sai số đường min là 2.17 lớn hơn X12-SVM là 1.29 và X12-RVM là 1.83; bộ dữ liệu 4 thì hai thuật tốn X12-SVM là 0.96, X12-RVM là 1.18 xấp xỉ đường min là 0.92.
Sai số dự báo, Hình 4.6 và Hình 4.7 ta thấy thuật toán X12-RVM tốt hơn X12-SVM, so sánh với sai số của thuật tốn cơ sở thì có hai bộ dữ liệu 1, 4
đều ở trên xa so với đường max, bốn bộ dữ liệu cịn lại thì thuật tốn X12- RVM đều xấp xỉ sai số của các thuật tốn cơ sở thậm chí thấp hơn đường min, như bộ dữ liệu 6 thì X12-RVM có sai số 2.07 thấp hơn đường min là 2.22; bộ dữ liệu 3, 5 thì xấp xỉ với các thuật tốn cơ sở. Đặc biệt, bộ dữ liệu 2 thì sai số X12-SVM/X12-RVM là 2.93 và 2.71 đều nằm dưới đường min là 3.77 (Hình 4.6).
Hình 4.5. Biểu đồ sai số huấn luyện và dự báo bộ dữ liệu 3 và 5 của thuật tốn SVM/RVM, S-SVM/RVM, STL-SVM/RVM
Hình 4.6. Biểu đồ sai số huấn luyện và dự báo bộ dữ liệu 1, 2, 4 của hai thuật toán X12-SVM và X12-RVM
Hình 4.7. Biểu đồ sai số huấn luyện và dự báo bộ dữ liệu 3 và 5 của hai thuật toán X12-SVM và X12-RVM
Nhận xét: Kết quả dự báo so với ba thuật toán cơ sở trên 06 bộ dữ liệu thực nghiệm,
Đối với thuật toán RVM/SVM: Kết quả dự báo khơng tốt, lý do mơ hình phân khơng tốt như đã nhận xét ở mục 4.2.1.
Đối với thuật toán S-RVM/S-SVM: Kết quả dự báo cải thiện hơn so với RVM/SVM, giả thiết thuật toán này đã học tiếp thành phần sai số của RVM/SVM 1.
Đối với thuật toán X12-RVM/X12-SVM: Kết quả dự báo của X12-RVM cải thiện đáng kể so với S-RVM đã có 4/6 bộ dữ liệu hội tụ về sai số thuật tốn cơ sở (thậm chí có bộ dữ liệu tốt hơn min của thuật toán cơ sở), giả thiết thuật toán này đã điều chỉnh các ngoại lệ của dữ liệu 1; Còn X12-SVM kết quả so với S-SVM thì cải thiện được nhiều (thậm chí có bộ dữ liệu còn xấu hơn S-SVM) nên kết quả của X12-SVM có 5/6 bộ dữ liệu chưa hội tụ về kết quả các thuật toán cơ sở.
Đối với thuật toán STL-RVM/STL-SVM: Kết quả dự báo tốt hơn RVM/SVM và S-RVM/S-SVM (do thuật toán này sử dụng kết quả đã tách mùa của thuật toán STL) nhưng vẫn chưa hội tụ về các kết quả của các thuật toán cơ sở, giả thiết là dữ liệu khơng phù hợp với giả thiết của trung bình di động; chỉ có STL-SVM có 2/6 bộ dữ liệu hội tụ được về đường max của các thuật toán cơ sở, giả thiết dữ liệu phù hợp với mơ hình SVM 1.