CHƯƠNG 3 KẾT QUẢ THỬ NGHIỆM VÀ ĐÁNH GIÁ
3.4. Xây dựng qui trình dự báo nghiệp vụ và đánh giá kết quả thử nghiệm
3.4.2. Kết quả đánh giá thử nghiệm nghiệp vụ từ năm 2011 đến 2013
Tương tự như các đánh giá cho chuỗi số liệu 2008-2010, các bảng 3.25 đến 3.27 đưa ra kết quả tính tốn các chỉ số ME, MAE và RMSE của dự báo T2m hạn 24h từ Raw và phương pháp NGR_EM dựa trên chuỗi số liệu thử nghiệm nghiệp vụ trong các năm 2011, 2012 và 2013. Từ bảng 3.25 cĩ thể thấy dự báo T2m từ NGR_EM cĩ giá trị ME tương đối nhỏ và gần 0. Tại các khu vực TB và VB, sai số ME của NGR_EM nhỏ hơn rất nhiều so với Raw. Kết quả này dẫn đến sai số MAE và RMSE của NGR_EM nhỏ hơn Raw tại tất cả các khu vực nghiên cứu và năm thử nghiệm (xem bảng 3.26 và 3.27).
Hay nĩi cách khác, chất lượng dự báo TBTH cho T2m từ Raw đã được cải thiện đáng kể khi áp dụng phương pháp hiệu chỉnh NGR_EM. Sự cải thiện lớn nhất được tìm thấy tại các khu vực TB và VB. Bên cạnh đĩ, kết quả đánh giá cho thấy sai số dự báo T2m của NGR_EM đều nằm trong phạm vi sai số cho phép (nhỏ hơn 20C). Các kết quả tương tự cũng được tìm thấy cho các hạn dự báo 48h và 72h (xem phụ lục 6).
Bảng 3.25: Chỉ số ME (0C) cho dự báo TBTH của T2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM -0.13 -0.04 0.33 -0.06 -0.18 -0.23 0.03 -0.03 0.11 Raw -1.05 -0.66 0.12 0.38 0.37 0.57 -0.45 -0.43 0.12 2012 NGR_EM -0.01 0.08 0.14 -0.02 -0.05 -0.05 0.02 0.09 0.2 Raw -1.48 -1.07 -0.12 0.18 0.0 0.15 -0.42 -0.35 0.03 2013 NGR_EM -0.12 -0.05 0.15 0.07 -0.05 -0.09 0.03 0.03 0.06 Raw -1.35 -0.96 0.12 0.12 0.06 0.26 -0.29 -0.27 0.08
Bảng 3.26: Chỉ số MAE (0C) cho dự báo TBTH của T2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 0.89 0.97 1.1 0.94 0.84 0.88 0.72 0.67 0.81 Raw 1.99 1.71 1.3 1.04 1.12 1.19 0.92 1.11 0.81 2012 NGR_EM 0.88 0.9 0.99 1.03 0.86 0.79 0.68 0.69 0.74 Raw 2.3 1.94 1.37 1.2 1.27 1.07 0.9 1.09 0.82 2013 NGR_EM 1.12 1.07 1.16 1.05 0.96 0.88 0.75 0.78 0.7 Raw 2.18 1.86 1.43 1.15 1.28 1.12 0.91 1.04 0.82
Bảng 3.27: Chỉ số RMSE (0C) cho dự báo TBTH của T2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 1.15 1.24 1.41 1.19 1.1 1.16 0.93 0.86 1.03 Raw 2.46 2.14 1.66 1.29 1.41 1.53 1.16 1.43 1.04 2012 NGR_EM 1.22 1.17 1.28 1.32 1.13 1.04 0.91 0.93 0.97 Raw 2.83 2.45 1.8 1.52 1.66 1.38 1.16 1.43 1.06 2013 NGR_EM 1.51 1.43 1.53 1.36 1.26 1.16 0.99 1.05 0.92 Raw 2.75 2.39 1.88 1.48 1.66 1.41 1.16 1.36 1.05
Chuyển sang yếu tố Td2m, các kết quả đánh giá trong các bảng 3.28 đến 3.30 cho thấy phương pháp NGR_EM tiếp tục phát huy hiệu quả trong việc nâng cao chất lượng dự báo TBTH cho Td2m so với Raw. Sai số ME đã giảm đáng kể về giá trị và cĩ xu hướng tiến tới khơng, đặc biệt là tại các khu vực từ BTB trở ra. Từ bảng 3.28 cĩ thể thấy xu thế dự báo Td2m thiên thấp của Raw đã được khử đáng kể khi áp dụng phương pháp NGR_EM. Do đĩ, sai số MAE và RMSE của NGR_EM nhỏ hơn nhiều so với Raw tại tất cả các khu vực nghiên cứu và năm dự báo (bảng 3.29 và 3.30). Các khu vực TB, VB, ĐB và BTB cĩ sự cải thiện lớn trong chất lượng dự báo TBTH khi áp dụng phương pháp NGR_EM. Trong 3 năm thử nghiệm, sự cải thiện chất lượng dự báo TBTH lớn nhất được tìm thấy trong năm 2013. Bên cạnh việc giảm sai số dự báo, việc áp dụng phương pháp NGR_EM cịn làm giảm sai số bất thường do các chỉ số MAE và RMSE khơng cĩ nhiều khác biệt về mặt giá trị. Nếu so sánh với tiêu chuẩn chất lượng nghiệp vụ, rõ ràng chất lượng dự báo của NGR_EM trong 3 năm thử nghiệm đều đáp ứng được yêu cầu. Xem xét kết quả đánh giá cho các hạn dự báo 48h và 72h (phụ lục 6) cũng cho các nhận
Bảng 3.28: Chỉ số ME (0C) cho dự báo TBTH của Td2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM -0.2 -0.3 -0.24 -0.29 -0.31 -0.12 -0.06 0.0 0.12 Raw -1.18 -1.4 -0.77 -1.04 -1.35 -0.86 -0.5 0.19 -0.75 2012 NGR_EM 0.86 0.92 0.92 1.14 0.95 0.8 0.75 0.61 0.66 Raw 2.22 2.29 1.56 1.8 1.92 1.48 1.06 1.05 1.29 2013 NGR_EM 0.01 0.01 0.11 0.1 0.13 0.03 0.08 -0.01 0.1 Raw -1.65 -1.95 -1.14 -1.7 -1.73 -0.98 -0.67 0.2 -1.02
Bảng 3.29: Chỉ số MAE (0C) cho dự báo TBTH của Td2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 0.78 1.01 0.92 1.02 0.91 0.84 0.72 0.64 0.68 Raw 1.97 2.1 1.42 1.45 1.74 1.52 0.98 1.07 1.19 2012 NGR_EM 0.86 0.92 0.92 1.14 0.95 0.8 0.75 0.61 0.66 Raw 2.22 2.29 1.56 1.8 1.92 1.48 1.06 1.05 1.29 2013 NGR_EM 1.15 1.19 1.17 1.26 1.12 0.89 0.72 0.73 0.69 Raw 2.39 2.54 1.88 2.05 2.03 1.39 1.05 1.01 1.32
Bảng 3.30: Chỉ số RMSE (0C) cho dự báo TBTH của Td2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 1.02 1.27 1.2 1.26 1.17 1.11 0.93 0.85 0.88 Raw 2.42 2.63 1.95 1.91 2.11 1.86 1.23 1.41 1.58 2012 NGR_EM 1.24 1.26 1.26 1.54 1.34 1.05 1.02 0.82 0.86 Raw 2.73 2.86 2.17 2.35 2.38 1.85 1.37 1.36 1.69 2013 NGR_EM 1.55 1.6 1.58 1.64 1.47 1.18 0.97 1.01 0.91 Raw 3.0 3.26 2.62 2.79 2.64 1.75 1.34 1.34 1.75
Các bảng 3.31 - 3.33 đưa ra kết quả tính tốn các chỉ số ME, MAE và RMSE của dự báo Tmax hạn 24h từ Raw và phương pháp NGR_EM dựa trên chuỗi số liệu thử nghiệm nghiệp vụ trong các năm 2011, 2012 và 2013. Từ bảng 3.31 cĩ thể thấy dự báo Tmax từ Raw cĩ xu hướng thiên âm tại hầu hết các khu vực ngoại trừ khu vực ĐBBB trong đĩ chỉ số ME cĩ giá trị lớn tại các khu vực TB, VB, ĐB, TTB, NTB và TN. Tuy nhiên, sau khi áp dụng NRG_EM, sai số ME đã giảm đáng kể, đặc biệt tại các khu vực TB, NTB và TN. Xem xét các chỉ số MAE và RMSE cĩ thể thấy dự báo Tmax từ Raw cĩ sai số rất lớn tại hầu hết các khu vực nghiên cứu. Mặc dù việc áp dụng NGR_EM đã làm giảm đáng kể sai số dự báo Tmax tại tất cả các khu vực nghiên cứu và hạn dự báo, nhưng trên thực tế chất lượng dự báo Tmax từ phương pháp NGR_EM chỉ đáp ứng được yêu cầu nghiệp vụ tại các khu vực NTB, TN và NB (xem bảng 3.32 và 3.33). Các khu vực cịn lại sai số MAE và RMSE trong dự báo Tmax của NGR_EM đều lớn hơn 20C. Các kết quả này tương đối phù hợp với các đánh giá nhận được dựa trên bộ số liệu 2008-2010. Kết quả này một lần nữa cho thấy hạn chế của các phương pháp thống kê trong việc dự báo các yếu tố cực trị và địi hỏi phải cần tiếp tục đầu tư nghiên cứu cải tiến và hồn thiện.
Bảng 3.31: Chỉ số ME (0C) cho dự báo TBTH của Tmax hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM -0.33 -0.54 -0.15 -0.38 -0.35 -0.18 -0.04 -0.09 -0.01 Raw -2.55 -1.35 -1.46 0.44 -1.12 -2.27 -2.85 -2.36 -1.51 2012 NGR_EM 0.31 0.26 0.33 0.34 0.43 0.43 0.26 0.24 0.2 Raw -2.59 -1.84 -1.33 0.3 -1.05 -2.33 -2.8 -2.08 -1.47 2013 NGR_EM 0.14 0.14 0.16 0.1 0.09 0.12 0.13 0.11 0.16
Bảng 3.32: Chỉ số MAE (0C) cho dự báo TBTH của Tmax hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 1.87 1.87 1.75 1.88 1.9 1.49 1.05 1.23 0.96 Raw 3.87 3.33 2.77 2.13 2.63 3.02 2.93 2.67 1.93 2012 NGR_EM 2.0 1.93 1.83 1.85 1.91 1.57 1.03 1.12 0.89 Raw 3.92 3.54 2.8 2.21 2.63 2.94 2.92 2.43 1.93 2013 NGR_EM 2.13 2.05 1.99 2.0 2.13 1.58 1.05 1.31 1.04 Raw 3.8 3.39 2.79 2.01 2.56 2.64 2.76 2.51 1.91
Bảng 3.33: Chỉ số RMSE (0C) cho dự báo TBTH của Tmax hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 2.41 2.38 2.33 2.42 2.51 1.98 1.37 1.54 1.22 Raw 4.56 4.08 3.35 2.69 3.23 3.5 3.32 3.16 2.31 2012 NGR_EM 2.61 2.54 2.42 2.46 2.49 2.16 1.4 1.49 1.25 Raw 4.61 4.26 3.39 2.88 3.26 3.42 3.27 2.91 2.33 2013 NGR_EM 2.77 2.66 2.61 2.63 2.78 2.1 1.43 1.74 1.45 Raw 4.49 4.14 3.39 2.61 3.22 3.09 3.14 3 2.3
Đối với yếu tố Tmin, kết quả đánh giá dựa trên chỉ số ME cho thấy dự báo Tmin từ Raw cĩ sai số hệ thống khơng rõ ràng. So với các yếu tố T2m, Td2m và Tmax, dự báo Tmin từ Raw cĩ trị số ME tương đối nhỏ (bảng 3.34). Chính đặc trưng sai số này đã hạn chế tính hiệu quả của phương pháp NGR_EM. Mặc dù kết quả đánh giá sai số MAE và RMSE cho thấy sai số dự báo Tmin từ NGR_EM nhỏ hơn so với Raw tại tất cả các khu vực nhưng sự cải thiện là khơng nhiều (bảng 3.35 và 3.36). Mặc dù vậy, chất lượng dự báo
Tmin từ NGR_EM vẫn đáp ứng được tiêu chí nghiệp vụ tại tất cả các khu vực nghiên cứu. Các kết quả tương tự cũng được tìm thấy cho các hạn dự báo 48h và 72h (xem phụ lục 6). Nguyên nhân dẫn đến kết quả này cĩ thể do xu thế sai số hệ thống trong dự báo Tmin từ SREPS cĩ khuynh hướng khơng rõ và biên độ sai số nhỏ. Dẫn đến, phương pháp NGR_EM khơng phát huy được hiệu quả, thậm chí cịn làm sai số lớn hơn so với dự báo từ Raw. Việc khơng phân mùa cho tập số liệu phụ thuộc cũng là một nguyên nhân dẫn đến kết quả khơng tốt này do Tmin cĩ sự biến động mạnh theo mùa.
Bảng 3.34: Chỉ số ME (0C) cho dự báo TBTH của Tmin hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM -0.19 -0.15 0.04 -0.18 -0.16 -0.15 -0.01 -0.01 0.05 Raw -0.43 -0.12 0.56 0.74 0.5 0.73 0.25 0.09 1.05 2012 NGR_EM 0.29 0.34 0.37 0.3 0.32 0.06 0.07 0.04 0.14 Raw -0.52 -0.26 0.66 0.91 0.57 0.68 0.31 0.29 1.02 2013 NGR_EM -0.04 0.1 0.25 0.21 0.04 -0.03 0.0 -0.01 0.03 Raw -0.35 -0.08 1.01 0.99 0.61 0.7 0.4 0.26 1.01
Bảng 3.35: Chỉ số MAE (0C) cho dự báo TBTH của Tmin hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 0.99 1.16 1.26 1.27 1.06 0.95 0.8 0.67 0.88 Raw 1.93 1.81 1.56 1.46 1.43 1.38 0.97 1.15 1.26 2012 NGR_EM 1.05 1.09 1.14 1.27 1.16 0.88 0.82 0.73 0.83 Raw 2.13 1.92 1.67 1.59 1.59 1.29 0.96 1.2 1.24 2013 NGR_EM 1.32 1.3 1.42 1.45 1.24 0.99 0.85 0.88 0.82 Raw 2.04 1.87 1.88 1.63 1.56 1.34 1.02 1.2 1.24
Bảng 3.36: Chỉ số RMSE (0C) cho dự báo TBTH của Tmin hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 1.28 1.47 1.64 1.65 1.38 1.25 1.03 0.86 1.13 Raw 2.43 2.3 2.04 1.93 1.85 1.77 1.25 1.44 1.57 2012 NGR_EM 1.47 1.52 1.62 1.68 1.63 1.22 1.05 0.97 1.06 Raw 2.66 2.45 2.26 2.19 2.11 1.67 1.25 1.5 1.57 2013 NGR_EM 1.72 1.69 1.91 1.87 1.65 1.35 1.13 1.19 1.09 Raw 2.56 2.38 2.45 2.15 2.04 1.75 1.34 1.53 1.58
Tiếp theo, chúng ta xem xét kỹ năng dự báo xác suất các yếu tố T2m, Td2m, Tmax và Tmin của phương pháp NGR_EM trong điều kiện nghiệp vụ dựa trên 3 năm thử nghiệm nghiệp vụ 2011-2013. Các bảng 3.37 đến 3.40 lần lượt đưa ra kết quả tính tốn chỉ số CRPS cho hạn dự báo 24h đối với dự báo T2m, Td2m, Tmax và Tmin từ phương pháp NGR_EM và Raw. Do chỉ số CRPS cho biết kỹ năng dự báo xác suất tổng thể nên các kết quả đánh giá dựa trên biểu đồ hạng, độ phủ và độ rộng 90.48% sẽ khơng được trình bày ở đây. Từ các bảng này nhận thấy chất lượng dự báo xác suất cho 4 yếu tố nĩi trên từ Raw đã được cải thiện đáng kể khi áp dụng NGR_EM. Chỉ số CRPS của NGR_EM nhỏ hơn nhiều so với Raw và cĩ xu hướng tiếp cận tới giá trị 0. Các khu vực từ BTB trở ra cho thấy sự cải thiện lớn nhất trong chất lượng dự báo xác suất. Kết quả đánh giá này cho thấy dự báo xác suất hạn 24h cho T2m, Td2m, Tmax và Tmin từ phương pháp NGR_EM cĩ độ tin cậy cao hơn, độ tán phù hợp hơn và độ nhọn tốt hơn so với Raw. Trong số 4 yếu tố được dự báo, chất lượng dự báo xác suất cho Td2m và Tmax được cải thiện nhiều nhất. Trong 3 năm thử nghiệm nghiệp vụ, hiệu quả lớn nhất được tìm thấy trong năm 2013. Xem xét các kết quả đánh giá cho hạn dự báo 48h và 72h (phụ lục 6) cũng cho nhận định tương tự.
Bảng 3.37: Chỉ số CRPS cho dự báo xác suất T2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 0.64 0.7 0.8 0.69 0.61 0.64 0.53 0.48 0.59 Raw 1.65 1.38 1.02 0.77 0.85 0.92 0.72 0.89 0.62 2012 NGR_EM 0.64 0.65 0.71 0.73 0.62 0.58 0.5 0.5 0.54 Raw 1.94 1.58 1.08 0.9 0.97 0.82 0.71 0.88 0.63 2013 NGR_EM 0.79 0.79 0.85 0.77 0.7 0.64 0.56 0.57 0.52 Raw 1.82 1.52 1.13 0.86 0.99 0.87 0.72 0.82 0.63
Bảng 3.38: Chỉ số CRPS cho dự báo xác suất Td2m hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 0.56 0.71 0.66 0.73 0.65 0.6 0.52 0.47 0.49 Raw 1.55 1.64 1.06 1.07 1.3 1.13 0.71 0.82 0.89 2012 NGR_EM 0.64 0.68 0.67 0.83 0.71 0.58 0.55 0.45 0.48 Raw 1.78 1.83 1.21 1.36 1.47 1.11 0.78 0.81 0.95 2013 NGR_EM 0.84 0.88 0.86 0.92 0.82 0.65 0.53 0.54 0.51 Raw 1.91 2.06 1.43 1.53 1.53 1.05 0.78 0.77 0.97
Bảng 3.39: Chỉ số CRPS cho dự báo xác suất Tmax hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB 2011 NGR_EM 1.34 1.37 1.3 1.38 1.4 1.08 0.77 0.89 0.71 Raw 3.38 2.82 2.29 1.62 2.12 2.54 2.54 2.13 1.51 2012 NGR_EM 1.49 1.43 1.34 1.35 1.42 1.18 0.76 0.83 0.66 Raw 3.37 3 2.32 1.74 2.16 2.48 2.52 1.89 1.52 2013 NGR_EM 1.58 1.53 1.5 1.49 1.57 1.16 0.8 0.98 0.79 Raw 3.3 2.92 2.37 1.62 2.12 2.19 2.45 1.99 1.5
Bảng 3.40: Chỉ số CRPS cho dự báo xác suất Tmin hạn dự báo 24h từ NGR_EM và Raw trong các năm thử nghiệm nghiệp vụ 2011-2013
Năm Phương pháp
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB