CHƯƠNG 3 KẾT QUẢ THỬ NGHIỆM VÀ ĐÁNH GIÁ
3.3. Đánh giá khả năng cải thiện chất lượng dự báo xác suất
Trong phần 3.2 ở trên, các kết quả đánh giá đã cho thấy chất lượng dự báo TBTH của các yếu tố T2m, Td2m, Tmax và Tmin từ các phương pháp EMOS được thử nghiệm đã cải thiện được so với Raw. Phần dưới đây sẽ khảo sát kỹ năng dự báo xác suất của các phương pháp này và so sánh với kỹ năng dự báo xác suất từ Raw dựa trên các chỉ số đánh giá CRPS, biểu đồ hạng, 90.48% độ phủ và độ rộng. Do các phương pháp EMLR, EMES và EMMV chỉ tác động đến TBTH mà khơng tiến hành hiệu chỉnh các dự báo thành phần nên dự báo xác suất được tạo ra từ các phương pháp này tương tự như Raw. Do đĩ, trong các phần dưới đây chỉ đưa ra kết quả đánh giá của 7 phương pháp EMOS gồm: BCMA, BCLR, BCES, BCKF, NGR_ER, NGR_EP và NGR_EM và cĩ so sánh với Raw. Tương tự như trong đánh giá
chất lượng dự báo TBTH, các kết quả đánh giá chất lượng dự báo xác suất sẽ trình bày cho từng yếu tố nhiệt độ và điểm sương bề mặt được nghiên cứu.
3.3.1. Yếu tố nhiệt độ khơng khí
Trước hết, chúng ta xem xét đặc trưng độ tin cậy của các dự báo xác suất được tạo ra từ các phương pháp EMOS. Bảng 3.13 đưa ra kết quả tính tốn chỉ số CRPS của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố T2m với hạn dự báo 24h tại 9 khu vực nghiên cứu. Từ bảng 3.13 cĩ thể thấy trong số 7 phương pháp EMOS được thử nghiệm, phương pháp NGR_EP, NGR_EM, BCMA và BCES cho các kết quả dự báo xác suất cĩ độ tin cậy cao hơn các phương pháp cịn lại và khơng cĩ nhiều khác biệt. Các phương pháp NGR_ER và BCKF khơng đem lại nhiều sự cải thiện trong chất lượng dự báo xác suất, thậm chí cịn làm giảm độ tin cậy của dự báo xác suất so với Raw.
Bảng 3.13: Kết quả tính tốn chỉ số đánh giá CRPS của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố T2m với hạn dự báo 24h (các giá trị
bơi đậm ngụ ý khơng đem lại sự cải thiện trong chất lượng dự báo)
Phương pháp EMOS
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB BCMA 0.73 0.74 0.81 0.69 0.63 0.62 0.54 0.52 0.54 BCLR 0.82 0.82 0.88 0.76 0.68 0.65 0.6 0.59 0.61 BCES 0.72 0.73 0.78 0.67 0.61 0.59 0.51 0.49 0.51 BCKF 0.87 0.93 1.0 0.89 0.76 0.68 0.63 0.62 0.63 NGR_ER 1.09 1.16 1.23 1.1 0.97 0.94 0.79 0.8 0.83 NGR_EP 0.69 0.73 0.76 0.66 0.62 0.59 0.53 0.52 0.52 NGR_EM 0.71 0.73 0.77 0.66 0.61 0.57 0.51 0.51 0.5 Raw 1.55 1.28 0.98 0.76 0.77 0.72 0.69 0.67 0.61
Chất lượng dự báo xác suất của 7 phương pháp EMOS tại các khu vực từ BTB trở vào thường cao hơn so với các vùng ở phía Bắc. Mức độ cải thiện độ tin cậy của dự báo xác suất của T2m từ các phương pháp EMOS được thể hiện rõ nhất tại các khu vực Việt Bắc và Tây Bắc và ít nhất tại các khu vực Đồng bằng Bắc Bộ và Nam Bộ. Kết quả này cũng tương đồng khi xem xét kỹ năng dự báo TBTH như trình bày ở trên. Trong nhĩm các phương pháp EMOS liên quan đến hiệu chỉnh sai số hệ thống, các phương pháp BCMA và BCES cho kết quả dự báo xác suất tốt hơn hai phương pháp cịn lại trong nhĩm. Các kết quả đánh giá cho dự báo xác suất của T2m tại các hạn dự báo 48h và 72h cũng cho các nhận định tương tự (xem phụ lục 2).
Để khẳng định thêm về những nhận định nĩi trên và xem xét thêm khía cạnh độ tán tổ hợp thơng qua biểu đồ hạng. Do khối lượng kết quả là rất lớn, nên ở đây tác giả chỉ lựa chọn khu vực Tây Bắc để minh họa các kết quả nhận được. Hình 3.5 đưa ra các biểu đồ hạng của hệ tổ hợp Raw cùng 7 phương pháp EMOS đối với dự báo T2m hạn 24h trên khu vực Tây Bắc. Từ hình 3.5 cĩ thể thấy biểu đồ hạng của Raw cĩ dạng hình chữ L ngược chứng tỏ dự báo từ Raw cĩ xu hướng thấp hơn so với thực tế. Kết quả này hồn tồn phù hợp với kết quả đánh giá dựa trên giản đồ tụ điểm (hình 3.1).
Từ hình 3.5 dễ dàng nhận thấy biểu đồ hạng của T2m đã cĩ sự thay đổi về hình dáng trong đĩ các phương pháp BCMA, BCES, NGR_EM và NGR_EP cĩ biểu đồ hạng dạng gần phẳng. Điều này chứng tỏ độ tin cậy của dự báo xác suất từ các phương pháp này đã được tăng lên và độ tán của EF đã phù hợp với thực tế hơn so với Raw. Trong khi đĩ, các phương pháp NGR_ER và BCKF, BCLR lại cho biểu đồ hạng cĩ dạng hình chữ U đặc trưng. Hay nĩi cách khác, độ tán EF từ các phương pháp này là quá nhỏ so với thực tế (các dự báo quá gần nhau), dẫn đến phần lớn quan trắc rơi ra ngồi khoảng dự báo mặc dù xu thế dự báo thiên thấp đã được loại bỏ.
Raw BCMA BCES
BCLR BCKF NGR_ER
NGR_EP NGR_EM
Hình 3.5: Biểu đồ hạng của Raw cùng 7 phương pháp EMOS đối với dự báo T2m hạn 24h trên khu vực Tây Bắc
Các kết quả nhận định dựa trên biểu đồ hạng cho dự báo xác suất T2m hạn 24h tại khu vực Tây Bắc ở trên cũng được tìm thấy cho các hạn dự báo 48h và 72h. Khi xem xét các khu vực khác dựa trên biểu đồ hạng, các kết quả gần tương tự cũng được tìm thấy. Cụ thể, các phương pháp EMOS đem lại hiệu quả nhất trong việc cải tiến độ tán tổ hợp của dự báo T2m là NGR_EM, BCMA, BCES và NGR_EP. Các khu vực cho thấy sự cải thiện rõ rệt nhất là VB, TB, ĐB và TN. Các khu vực Đồng bằng Bắc Bộ và Nam Bộ thường khơng cho thấy nhiều sự cải thiện trong độ tán tổ hợp.
Bảng 3.14: Kết quả tính tốn chỉ số độ phủ 90.48% của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố T2m với hạn dự báo 24h
Phương pháp EMOS
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB BCMA 0.72 0.71 0.65 0.74 0.76 0.7 0.69 0.73 0.69 BCLR 0.52 0.51 0.52 0.55 0.6 0.56 0.47 0.47 0.44 BCES 0.72 0.71 0.66 0.74 0.76 0.72 0.7 0.73 0.7 BCKF 0.72 0.69 0.67 0.69 0.75 0.84 0.91 0.90 0.92 NGR_ER 0.43 0.43 0.45 0.45 0.44 0.45 0.46 0.45 0.45 NGR_EP 0.75 0.76 0.78 0.79 0.77 0.78 0.77 0.76 0.79 NGR_EM 0.83 0.84 0.85 0.85 0.84 0.85 0.85 0.85 0.87 Raw 0.44 0.62 0.65 0.79 0.77 0.74 0.69 0.7 0.75
Để định lượng hĩa những điều biểu đồ hạng đưa ra, chỉ số đánh giá độ phủ 90.48% được tính tốn và đưa ra trong bảng 3.14 ở trên. Như đã trình bày trong phần phương pháp đánh giá, những giá trị nhỏ hơn 90.48% cho biết dự báo từ HTTH cĩ độ tán nhỏ hơn với thực tế và ngược lại. Từ bảng 3.14 cĩ thể thấy dự báo tổ hợp từ Raw cĩ độ tán nhỏ và hầu hết các phương pháp EMOS cũng cho độ tán nhỏ. Tuy nhiên, độ tán tổ hợp của một số phương pháp EMOS đã được tăng lên so với độ tán tổ hợp của Raw. Mức độ cải thiện độ tán phụ thuộc vào từng phương pháp và khu vực nghiên cứu. Các phương pháp cho thấy độ tán được cải thiện nhiều nhất là NGR_EP, NGR_EM, BCMA và BCES trong đĩ phương pháp NGR_EM là tốt nhất. Trong khi hai phương pháp NGR_ER và BCLR hầu như khơng đem lại bất kỳ sự cải thiện nào ngoại trừ cho khu vực Tây Bắc.
Theo khu vực nghiên cứu, các khu vực Tây Bắc, Việt Bắc và Đơng Bắc cho thấy cĩ sự cải thiện lớn nhất trong độ tán tổ hợp so với Raw. Trong khi đĩ, tại các khu vực ĐBBB, BTB, TTB và NB chỉ cĩ rất ít các phương pháp
90.48% cho các hạn dự báo 48h và 72h cũng cho các nhận định tương tự như hạn dự báo 24h nhưng mức độ cải thiện lớn hơn một chút. Như vậy, rõ ràng việc áp dụng các phương pháp EMOS đã đem lại hiệu quả nhất định trong việc cải tiến được độ tán tổ hợp so với hệ tổ hợp Raw.
Bảng 3.15: Kết quả tính tốn chỉ số độ rộng 90.48% của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố T2m với hạn dự báo 24h
Phương pháp EMOS
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB BCMA 2.74 2.85 2.66 2.99 2.79 2.3 1.92 2.05 1.95 BCLR 1.93 1.98 2.08 2.02 1.98 1.67 1.18 1.18 1.08 BCES 2.66 2.75 2.56 2.85 2.69 2.21 1.86 1.94 1.88 BCKF 3.75 3.58 3.58 3.66 3.72 4.35 5.11 5.01 5.38 NGR_ER 1.69 1.82 2.02 1.84 1.57 1.62 1.42 1.37 1.46 NGR_EP 2.64 2.88 3.15 2.79 2.43 2.46 2.13 2.09 2.21 NGR_EM 3.3 3.51 3.06 3.42 3.02 2.81 2.36 2.44 2.41 Raw 3.38 3.68 3.16 3.52 3.38 2.88 2.43 2.51 2.57
Cuối cùng, chúng ta khảo sát đặc trưng độ nhọn của dự báo xác suất thơng qua chỉ số độ rộng 90.48% như đưa ra trong bảng 3.15 ở trên. Từ bảng này cĩ thể thấy hầu hết các phương pháp EMOS đều cho giá trị độ rộng 90.48% nhỏ hơn so với Raw ngoại trừ phương pháp BCKF. Các phương pháp cho thấy sự giảm mạnh trong giá trị độ rộng 90.48% lại chính là các phương pháp NGR_ER và BCLR - hai phương pháp khơng cho sự cải thiện về độ tin cậy và độ tán. Kết quả này hồn tồn phù hợp với các nhận định ở trên, đặc biệt là khi xem xét giá trị độ phủ 90.48%. Cụ thể, hai phương pháp này cho độ tán quá nhỏ so với các phương pháp EMOS khác và với Raw. Chính độ tán nhỏ này dẫn đến các giá trị dự báo cao nhất và thấp nhất trong 20 dự báo thành phần cĩ biên độ nhỏ, dẫn đến độ rộng 90.48% sẽ nhỏ.
Như vậy, cĩ thể thấy hầu hết các phương pháp EMOS được thử nghiệm đã cho thấy sự cải thiện trong độ nhọn của hàm phân bố xác suất với mức độ cải thiện thay đổi theo từng phương pháp và khu vực nghiên cứu. Mức độ cải thiện lớn nhất vẫn tiếp tục được tìm thấy tại các khu vực TB, VB và ĐB. Các nhận định này cũng được tìm thấy khi xem xét chỉ số độ rộng 90.48% cho các hạn dự báo 48h và 72h (xem phụ lục 2).
3.3.2. Yếu tố nhiệt độ điểm sương
Từ bảng 3.16 cĩ thể thấy hầu hết các phương pháp EMOS cho dự báo Td2m cĩ chỉ số CRPS nhỏ hơn so với Raw tại hầu hết các khu vực nghiên cứu ngoại trừ phương pháp NGR_ER cho các khu vực từ TTB đến NB. Hay nĩi cách khác, dự báo xác suất từ hầu hết các phương pháp EMOS cĩ độ tin cậy cao hơn so với Raw.
Bảng 3.16: Kết quả tính tốn chỉ số đánh giá CRPS của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố Td2m với hạn dự báo 24h
Phương pháp EMOS
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB BCMA 0.92 1.1 1.04 1.18 1.0 0.59 0.55 0.47 0.54 BCLR 0.83 0.88 0.87 0.97 0.85 0.63 0.6 0.57 0.56 BCES 0.88 1.04 0.99 1.11 0.95 0.57 0.51 0.46 0.51 BCKF 0.87 0.97 1.13 1.14 0.95 0.66 0.62 0.6 0.62 NGR_ER 1.2 1.33 1.28 1.36 1.2 0.86 0.82 0.81 0.84 NGR_EP 0.75 0.81 0.79 0.85 0.77 0.56 0.51 0.51 0.51 NGR_EM 0.74 0.78 0.79 0.86 0.76 0.54 0.5 0.47 0.49 Raw 1.98 2.12 1.52 1.72 1.56 0.78 0.66 0.68 0.71
Nếu so sánh giữa các phương pháp EMOS, từ bảng này cĩ thể nhận thấy độ tin cậy của dự báo xác suất được cải thiện nhiều nhất khi áp dụng các phương pháp NGR_EM và NGR_EP. Ngược lại, phương pháp NGR_ER cho
thấy sự cải thiện ít tại các khu vực từ TB đến BTB và khơng cải thiện từ TTB đến NB. Theo các khu vực nghiên cứu, sự cải thiện độ tin cậy của dự báo xác suất tại các khu vực từ TB đến ĐBBB là lớn hơn nhiều so với khu vực cịn lại. Các kết quả tương tự cũng được tìm thấy cho các hạn dự báo 48 và 72h (xem phụ lục 3). Để minh họa tính hiệu quả của các phương pháp EMOS trong việc nâng cao độ tán tổ hợp của hệ tổ hợp Raw cho dự báo xác suất Td2m, khu vực Tây Bắc và hạn dự báo 24h được lựa chọn (xem hình 3.6).
Raw BCMA BCES
BCLR BCKF NGR_ER
NGR_EP NGR_EM
Hình 3.6: Biểu đồ hạng của Raw cùng 7 phương pháp EMOS đối với dự báo Td2m hạn 24h trên khu vực Tây Bắc
Từ hình 3.6 cĩ thể thấy sau khi áp dụng các phương pháp EMOS, xu hướng dự báo thiên thấp Td2m của Raw đã gần như bị triệt tiêu. Cụ thể, biểu đồ hạng của các phương pháp BCMA, BCES, BCKF, NGR_EM và NGR_EP đã cĩ dạng gần phẳng. Điều này chứng tỏ độ tin cậy của dự báo xác suất từ các phương pháp này đã được tăng lên và độ tán của DBTH đã phù hợp hơn so với Raw. Trong khi đĩ, các phương pháp NGR_ER và BCLR lại cho biểu đồ hạng cĩ dạng hình chữ U đặc trưng. Hay nĩi cách khác, độ tán tổ hợp từ các phương pháp này là quá nhỏ so với thực tế. Các kết quả này hồn tồn trùng khớp với các nhận định khi xem xét các biểu đồ hạng cho yếu tố T2m tại khu vực Tây Bắc (hình 3.5). Đối với các hạn dự báo 48h và 72h cho Td2m, các kết quả tương tự cũng được tìm thấy như hạn 24h.
Mở rộng ra xem xét độ tán tổ hợp trong dự báo Td2m từ các phương pháp EMOS cho các khu vực nghiên cứu khác và cho các hạn dự báo cao hơn, tác giả nhận được các nhận định tương tự như cho khu vực Tây Bắc. Cụ thể, tất cả các phương pháp EMOS được thử nghiệm đều cho thấy sự cải thiện trong độ tán tổ hợp so với Raw, qua đĩ nâng cao được độ tin cậy của dự báo xác suất yếu tố Td2m. Các phương pháp cho thấy sự cải thiện tốt nhất trong độ tán tổ hợp là NGR_EM và NGR_EP, tiếp đến là BCMA, BCES và BCKF. Trong khi đĩ, các phương pháp NGR_ER và BCLR mặc dù cho thấy sự cải thiện độ tán nhưng lại đưa đến độ tán quá nhỏ so với thực tế, dẫn đến biểu đồ hạng thường cĩ dạng chữ U đặc trưng. Theo khu vực, các khu vực TB, VB, ĐB cĩ sự cải thiện lớn về độ tán tổ hợp của dự báo Td2m so với các khu vực cịn lại khi áp dụng các phương pháp EMOS.
Các nhận định về sự cải thiện độ tán tổ hợp trong dự báo Td2m thơng qua các biểu đồ hạng ở trên cĩ thể được tiếp tục kiểm chứng khi ta xem xét chỉ số độ phủ 90.48% như trong bảng 3.17 dưới đây. Từ bảng 3.17 cĩ thể thấy ngoại trừ các phương pháp NGR_ER và BCLR khơng cho thấy sự cải thiện về
độ phủ 90.48%, các phương pháp EMOS cịn lại đều cho thấy sự tăng của chỉ số này so với Raw tại tất cả các khu vực nghiên cứu. Trong đĩ, các phương pháp NGR_EM, NGR_EP, BCMA, BCES cho thấy sự cải thiện lớn trong chỉ số độ phủ 90.48% với biên độ tăng trong khoảng 25-42%.
Bảng 3.17: Kết quả tính tốn chỉ số độ phủ 90.48% của dự báo xác suất từ Raw và 7 phương pháp EMOS cho yếu tố Td2m với hạn dự báo 24h
Phương pháp EMOS
Khu vực nghiên cứu
TB VB ĐB ĐBBB BTB TTB NTB TN NB BCMA 0.8 0.75 0.78 0.78 0.78 0.84 0.83 0.81 0.75 BCLR 0.53 0.5 0.55 0.47 0.49 0.45 0.42 0.48 0.42 BCES 0.81 0.77 0.78 0.78 0.79 0.85 0.84 0.81 0.78 BCKF 0.76 0.71 0.67 0.68 0.71 0.87 0.91 0.92 0.93 NGR_ER 0.4 0.4 0.42 0.43 0.42 0.46 0.45 0.44 0.44 NGR_EP 0.73 0.75 0.75 0.77 0.75 0.79 0.79 0.76 0.77 NGR_EM 0.81 0.82 0.82 0.83 0.82 0.85 0.85 0.86 0.86 Raw 0.42 0.44 0.66 0.63 0.58 0.75 0.81 0.74 0.76
Đối với độ rộng 90.48%, từ bảng 3.18 cĩ thể thấy tất cả các phương pháp cho thấy độ rộng đã được cải thiện so với Raw trong đĩ các phương pháp NGR_ER và BCLR cho thấy sự cải thiện lớn nhất do các phương pháp này cho độ tán tổ hợp nhỏ hơn nhiều so với các phương pháp EMOS cịn lại. Kết quả này tương tự các kết quả nhận được khi xem xét cho yếu tố T2m. Các