Đánh giá chất lƣợng dự báo thời tiết nói chung là phƣơng pháp thẩm tra đánh giá và xác định định lƣợng mức độ chính xác của mô hình hoặc mức độ sai khác giữa các sản phẩm dự báo của mô hình với những kết quả quan trắc thực tế nhằm chỉ ra những ƣu điểm, nhƣợc điểm của mô hình, giúp cho các chuyên gia nghiên cứu tìm kiếm các giải pháp cải tiến, phát triển, nâng cao chất lƣợng dự báo của mô hình.
Trong luâ ̣n văn này, mục đích để đánh giá dự báo là:
- Kiểm tra chất lƣợng dự báo củ a mô ̣t số mô hình số tri ̣ khu vƣ̣c – dự báo chính xác đến đâu và sẽ đƣợc cải tiến ra sao.
- So sánh chất lƣợng dự báo 24h, 48h và 72h của các mô hình đó – đến mức độ nào thì một mô hình dự báo đƣợc cho là dự báo tốt hơn so với những mô hình dự báo khác và bằng cách nào mà mô hình dự báo đó đem lại kết quả tốt hơn nhƣ vậy . - So sánh chất lƣợng dự báo của các mô hình với cƣờng độ mƣa khác nhau (mƣa vừa, mƣa to và mƣa rất to).
- Đƣa ra đƣợc những khuyến cáo cho dự báo viên nên ƣu tiên mô hình nào tại 1 khu vực nhất định.
Với mu ̣c đích đán h giá nhƣ vâ ̣y , tôi sƣ̉ du ̣ng các phƣơng pháp sau đây để đánh giá dƣ̣ báo:
2.3.1. Phương pháp đánh giá định lượng:
Lƣợng mƣa đo đƣợc ta ̣i các tra ̣m cho ta trƣờng số liê ̣u mƣa . Sau khi sản phẩm dự báo mƣa của các mô hình từ nút lƣới đƣợc nội suy về trạm , ta thu đƣợc trƣờng mƣa dự báo . Trong trƣờng hợp này, ta hoàn toàn có thể đánh giá chất lƣợng dự báo mƣa của các mô hình b ằng những công thức định lƣợng khi dùng các chỉ số ME, RMSE, MAE.
2.3.2. Phương pháp đánh giá theo ngưỡng mưa
Để đánh giá một cách hệ thống và toàn diện viê ̣c dƣ̣ báo mƣa của các mô hình, sau khi đánh giá về lƣợng, ta tiến hành phân chia lƣợng mƣa dự báo và thực tế ra thành các cấp. Sau đó ta tiếp tu ̣c phân chúng ra thành tƣ̀ng că ̣p 2 cấp mô ̣t với mu ̣c đích đánh giá ngƣỡng mƣa . Để đánh giá ngƣỡng mƣa cho các mô hình , chúng ta có thể sƣ̉ du ̣ng các chỉ số nhƣ BIAS, POD, FAR, ETS...
CHƢƠNG 3. KẾT QUẢ ĐÁNH GIÁ KỸ NĂNG DỰ BÁO MƢA LỚN CỦA MÔ HÌNH HRM-gfs, WRFARW-gfs VÀ WRFNMM-gfs CHO KHU VỰC MIỀN TRUNG VÀ TÂY NGUYÊN
3.1. Kết quả đánh giá các đợt mƣa lớn từ năm 2008 đến năm 2010 cho khu vực miền Trung và Tây Nguyên
Trƣớc khi phân tích chi tiết các sai số của trƣờng mƣa , giá trị lƣợng mƣa trung bình ngày của cả chuỗi số liệu đánh giá đƣợc biểu diễn để có cái nhìn tổng quan nhất về sự phân bố của lƣợng mƣa theo thời gian và theo không gian.
Hình 3.1 Dự báo trong 3 ngày lượng mưa trung bình củ a các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 bằng mô hình HRM
Hình 3.2 Dự báo trong 3 ngày lượng mưa trung bình củ a các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 bằng mô hình WRFARW
Hình 3.1, hình 3.2 và hình 3.3 là giá trị lƣợng mƣa tích lũy 24h tính trung bình cả chuỗi số liệu của mô hình HRM , WRFARW, WRFNMM với ha ̣n dƣ̣ báo 24h, 48h, 72h và lƣơ ̣ng mƣa quan trắc đƣơ ̣c ta ̣i cá c tra ̣m (OBS). Tƣ̀ các hình trên ta thấy mô hình HRM cho kết quả dƣ̣ báo ta ̣i các vi ̣ trí tƣơng đối chính xác cho cả khu vƣ̣c miền Trung và Tây Nguyên , mô hình WRFARW t uy không dƣ̣ báo tốt cho cả miền Trung và Tây Nguyên nhƣng trên khu vƣ̣c tƣ̀ Thanh Hóa đến Quảng Tri ̣ lại cho kết quả dƣ̣ báo là tốt nhất trong cả 3 mô hình, mô hình WRFNMM cho kết quả
dƣ̣ báo lƣợng mƣa nhỏ hơn so với quan trắc . Cả 3 mô hình đều cho kết quả chất lƣơ ̣ng dƣ̣ báo giảm dần theo ha ̣n dƣ̣ báo 24h, 48h và 72h.
Hình 3.3 Dự báo trong 3 ngày lượng mưa trung bình của các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 bằng mô hình WRFNMM
Hình 3.4 biểu diễn kết quả các điểm số ME, MAE, RMSE (mm/ngày) và hệ số tƣơng quan của lƣợng mƣa lớn n ăm 2008 đến 2010 cho khu vƣ̣c miền Trung và Tây Nguyên với ha ̣n dƣ̣ báo 24h, 48h và 72h.
Tƣ̀ hình vẽ ta thấy ME của mô hình HRM và WRFARW cho kết quả dƣơng với cả 3 hạn dự báo (2 mô hình này dƣ̣ báo thiên cao lƣợng mƣa ). Hạn dự báo càng lớn thì 2 mô hình này dƣ̣ báo càng chính xác hơn do chúng có xu hƣớng dự báo
vƣơ ̣t so với quan trắc . Riêng với mô hình WRFNMM cho kết quả âm với cả 3 hạn dƣ̣ báo chƣ́ng tỏ mô hình thƣ ờng dự báo thiên thấp lƣợng mƣa và hạn dự báo nhỏ chính xác hơn so với các hạn dự báo lớn . Mô hình HRM cho kết quả ME thấp nhất trong cả 3 hạn dự báo so với 2 mô hình còn la ̣i chứng tỏ mô hình HRM dƣ̣ báo chính xác nhất trong 3 mô hình.
Đối với MAE và RMSE cả 3 mô hình đều cho kết quả với hạn dự báo càng dài thì cho sai số càng nhiều.
Hình 3.4 Các điểm số ME, MAE, RMSE và hê ̣ số tương quan của các đợt mưa lớn khu vực miền Trung và Tây N guyên năm 2008 đến 2010 với hạn dự báo 24h, 48h, 72h.
Hệ số tƣơng quan cho biết mức độ phù hợp giữa lƣơ ̣ng mƣa dự báo và lƣợng mƣa quan trắc , tƣ̀ hình vẽ ta thấy hê ̣ số tƣơng quan của lƣợng mƣa với ha ̣n dƣ̣ báo 24h và 48h đa ̣t khoảng tƣ̀ 0.35 đến 0.45 khá cao đối với một yếu tố có sự biến động tƣơng đối lớn nhƣ lƣợng mƣa, hê ̣ số tƣơng quan giảm dần khi ha ̣n dƣ̣ báo tăng (hạn dƣ̣ báo càng dài thì sai số của mô hình càng lớn ). Mô hình HRM cho hê ̣ số tƣơng quan tốt nhất xong đến mô hình WRFARW và cuối cùng là mô hình WRFNMM .
Nhƣ vâ ̣y, xét chung cho toàn chuỗi số liệu mô hình HRM cho dƣ̣ báo tốt nhất so với 2 mô hình còn la ̣i và hạn dự báo càng dài thì sai số dự báo của các mô hình càng lớn, rất phù hợp với hình 3.1, 3.2 và 3.3.
Để đánh giá khả năng dự báo của ba mô hình đối với biến mƣa, một trong những yếu tố khí tƣợng khó dự báo nhất, bên cạnh các điểm số đánh giá thống kê truyền thống, một số điểm số khác thƣờng đƣợc dùng trong đánh giá biến bất liên tục cũng đƣợc sử dụng đó là FBI (BIAS), POD, FAR và ETS.
Hình 3.5 Chỉ số BIAS của các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 với hạn dự báo 24h, 48h, 72h
Chỉ số BIAS giúp ta đánh giá tỷ số giữa vùng dự báo và vùng quan trắc. Trên hình 3.5 ta thấy, với cƣờng đô ̣ mƣa tƣ̀ 16-50mm mô hình HRM cho kết quả vùng dƣ̣ báo tốt nhất với cả 3 hạn dự báo so với 2 mô hình còn la ̣i, chỉ số BIAS của mô hình HRM xấp xỉ bằng 1. Mô hình WRFAW cho kết quả vùng dƣ̣ bá o lớn hơn vùng quan trắc trong cả 3 hạn dự báo, chỉ số BIAS của mô hình WRFAW xấp xỉ bằng 1.4 còn mô hình WRFNMM cho kết quả vùng dƣ̣ báo nhỏ hơn vùng quan trắc , chỉ số BIAS của mô hình WRFNMM xấp xỉ bằng 0.8. Tuy nhiên, với cƣờng đô ̣ mƣa trên 50mm trong cả 3 hạn dự báo chỉ số BIAS của mô hình HRM la ̣i nằm trong khoảng 0.55- 0.75.
Với cƣờng đô ̣ mƣa 50-100mm, mô hình WRFARW cho kết quả vùng dƣ̣ báo tốt nhất v ới cả 3 hạn dự báo so với 2 mô hình còn la ̣i , chỉ số BIAS của mô hình WRFARW trong khoảng 0.99-1.2. Mô hình HRM và mô hình WRFNMM cho kết quả vùng dự báo nhỏ hơn nhiều so với vùng quan trắc (cả 3 hạn dự báo ), chỉ số BIAS củ a mô hình HRM trong khoảng 0.6-0.7 và chỉ số BIAS của mô hình WRFNMM xấp xỉ 0.4.
Với cƣờng đô ̣ mƣa ≥ 100mm, chỉ số BIAS của 3 mô hình với các ha ̣n dƣ̣ báo rất thấp đă ̣c biê ̣t là mô hình WRFNMM cho chỉ số BIAS xấp xỉ 0.2 chƣ́ ng tỏ với cƣờng đô ̣ mƣa rất to các mô hình cho kết quả vùng dƣ̣ báo nhỏ hơn nhiều so với vùng quan trắc.
Hình 3.6 Chỉ số POD của các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 với hạn dự báo 24h, 48h, 72h
POD đƣợc hiểu là xác suất xuất hiện hiện tƣợng, bằng tỷ số giữa số lần trùng khớp giữa mô hình và quan trắc khi hiện tƣợng có xuất hiện.
Trong cả 3 hạn dự báo, mô hình WRFWARW đều cho giá trị POD lớn hơn so với mô hình HRM và WRFNMM trong dự báo cƣờng độ mƣa 16-50mm và 50- 100mm nhƣng vớ i cƣờng đô ̣ mƣa ≥ 100mm thì mô hình HRM la ̣i cho giá tri ̣ POD lớn nhất cho thấy ở ngƣỡng mƣa rất to xác suất phát hiện đúng hiện tƣợng của mô
hình HRM là tốt nhất . Mô hình HRM luôn cho giá tri ̣ POD lớn hơn so với mô hình WRFNMM trong cả 3 hạn dự báo với cả 3 cƣờng đô ̣ mƣa.
Cả 3 mô hình đều cho giá tri ̣ POD giảm dần khi hạn dự báo tăng lên chƣ́ng tỏ cả 3 mô hình đều dƣ̣ báo chính xác ha ̣n dƣ̣ báo 24h nhất và dƣ̣ báo 48h chính xác hơn so với dƣ̣ báo 72h.
Hình 3.7 Chỉ số FAR của các đợt mưa lớn khu vực miền Trung và Tây Nguyên năm 2008 đến 2010 với hạn dự báo 24h, 48h, 72h
FAR cho biết tỷ lệ mô phỏng dự báo khống của mô hình. Tƣ̀ hình 3.7 ta thấy giá trị FAR của các mô hình với hạn dự báo 24h là nhỏ nhất chƣ́ng tỏ các mô hình với ha ̣n dƣ̣ báo 24h cho kết quả vùng dƣ̣ báo tốt nhất so với 2 hạn dự báo 48h và 72h.
Với cƣờng đô ̣ mƣa 50-100mm, mô hình WRFARW đều có giá trị FAR lớn hơn so với mô hình WRF NMM trong cả 3 hạn dự báo. Trong khi đó với cƣờng đô ̣ mƣa 16-50mm, giá trị FAR của mô hình HRM và mô hình WRFNMM lại khá tƣơng đồng với nhau.
Với cƣờng đô ̣ mƣa ≥ 100mm, chỉ số FAR của 3 mô hình với các hạn dự báo 24h và 48h rất thấp đă ̣c biê ̣t là mô hình WRFNMM cho chỉ số FAR khoảng 0.5 chƣ́ng tỏ với cƣờng đô ̣ mƣa rất to tỷ lệ mô phỏng dự báo khống của mô hình là nhỏ.
Kết luâ ̣n: với ha ̣n dƣ̣ báo càng lớn thì sai của mô hình càng cao về cả lƣợng và diện, tƣ̀ các kết quả trên ta chỉ nhâ ̣n xét đƣợc mô hình HRM dƣ̣ báo tốt hơn với 2 mô hình còn la ̣i trên cả khu vƣ̣c miền Trung và Tây N guyên. Để đánh giá đƣợc kết quả tốt hơn phần tiếp theo tôi tiến h ành đánh giá 3 mô hình theo tƣ̀ng khu vƣ̣c nhỏ (Bắc Trung Bộ, Trung Trung Bô ̣, Nam Trung Bô ̣ và Tây Nguyên ) với ha ̣n dƣ̣ báo 24h để có cái nhìn chính xác tại khu vực nào mô hình cho kết quả tốt nhất với từng cƣờng đô ̣ mƣa trong nhƣ̃ng năm 2008-2010.
Hình 3.8 Các chỉ số ME, MAE, RMSE và hê ̣ số tương quan của các đợt mưa lớn
cho từng khu vực năm 2008 đến 2010
Tƣ̀ hình 3.8 ta thấy, mô hình HRM dƣ̣ báo cho khu vƣ̣c Bắc Trung Bô ̣ , mô hình WRFARW dƣ̣ báo cho khu vƣ̣c Bắc Trung Bô ̣ và Trung Trung Bô ̣ cho kết quả ME lớ n và dƣơng chƣ́ng tỏ dƣ̣ báo vƣ ợt so với quan trắc là nhiều . Mô hình
WRFNMM ta ̣i khu vƣ̣c Nam Trung Bô ̣ và Tây Nguyên cho kết quả ME lớn và âm chƣ́ng tỏ mô hình dƣ̣ báo hu ̣ t so với quan trắc là nhiều , mô hình này ở hầu hết các khu vƣ̣c đều cho ME<0. Giá trị ME của các mô hình tại 4 khu vƣ̣c lúc âm lúc dƣơng ngoại trừ năm trƣờng hợp trên thì các mô hình dƣ̣ báo tƣơng đối tốt ta ̣i các khu vƣ̣c.
Với MAE và RMSE cả 3 mô hình cho kết quả nhỏ nhất tại khu vực Trung Trung Bô ̣ và lớn nhất tại Bắc Trung Bộ. Ba mô hình đều cho kết quả tƣơng đối bằng nhau ta ̣i mô ̣t khu vƣ̣c.
Hê ̣ số tƣơng quan ta ̣i các khu vƣ̣c không ảnh hƣởng nhiề u tới mô hình. Cả ba mô hình đều cho hê ̣ số tƣơng quan lớn nhất đa ̣t khoảng 0.5 tại khu vực Nam Trung Bô ̣, khu vƣ̣c Tây Nguyên cũng có kết quả tốt với hê ̣ số tƣơng quan là 0.45, với yếu tố dƣ̣ báo không liên tu ̣c và có sƣ̣ biến động nhƣ lƣợng mƣa thì kết quả trên là tƣơng đối tốt, tại khu vực Bắc Trung Bộ và Trung Bộ kết quả là kém nhất với hệ số tƣơng quan 0.3. 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) B IA S (B T B ) HRM -GFS WRFARW-GFS WRFNM M -GFS 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) P O D ( B T B ) HRM -GFS WRFARW-GFS WRFNM M -GFS 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) F A R ( B T B ) HRM -GFS WRFARW-GFS WRFNM M -GFS
Hình 3.9 Các chỉ số BIAS , POD, FAR khu vực Bắc Trung Bộ năm 2008 đến 2010
Tƣ̀ hình 3.9 ta thấy, mô hình HRM dƣ̣ báo vùng mƣa tốt hơn 2 mô hình còn lại với các cƣờng độ mƣa ngoại trừ cƣờng độ 16-30mm/24h thì mô hình WRFNMM
lại dự báo vùng mƣa tốt hơn ở khu vực Bắc Trung Bộ . Với chỉ số POD ta ̣i khu vƣ̣c Bắc Trung Bô ̣ với cƣờng đô ̣ mƣa 16-30mm/24 và trên 100mm/24h mô hình HRM cho kết quả tốt hơn 2 mô hình còn lại, tại cƣờng độ mƣa từ 30-100mm/24h mô hình WRFARW cho kết quả tốt nhất trong 3 mô hình, nguyên nhân do mô hình này dƣ̣ báo vùng mƣa lớn hơn quan trắc nhiều nên chỉ số POD cũng đƣợc tăng lên . Chỉ số FAR cho biết tỷ lệ mô phỏng dự báo khống của mô hình với cƣờng đô ̣ tăng tƣ̀ 16 đến 100mm/24h thì mô hình cho kết quả tăng dần tuy nhiên ta ̣i cƣờng đô ̣ trên
100mm/24h cả 3 mô hình cho kết quả thấp hơn so với các cƣờng đô ̣ thấp nguyên nhân do số ngày mƣa trên 100mm/24h it hơn nhiều so với các ngày mƣa có cƣờng đô ̣ nhỏ. Kết quả đánh giá ta ̣i khu vƣ̣c Bắc Trung Bô ̣ cho thấy mô hình WRFNMM dƣ̣ báo tốt với cƣờng đô ̣ mƣa tƣ̀ 16-30mm/24h so với 2 mô hình còn la ̣i , với cƣờng đô ̣ tƣ̀ 30-50mm/24h và trên 100mm/24h mô hình HRM dƣ̣ báo tốt nhất trong 3 mô hình. Mô hình WRFARW dƣ̣ báo tốt nhất trong 3 mô hình với cƣờng đô ̣ mƣa tƣ̀ 50- 100mm/24h. 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) B IA S ( TTB ) HRM -GFS WRFARW-GFS WRFNM M -GFS 0 0.05 0.1 0.15 0.2 0.25 0.3 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) P O D ( T T B ) HRM -GFS WRFARW-GFS WRFNM M -GFS 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Từ 16 đến 30 Từ 30 đến 50 Từ 50 đến 70 Từ 70 đến 100 Trên 100 Cƣờng độ mƣa (mm/24h) F A R ( T T B ) HRM -GFS WRFARW-GFS WRFNM M -GFS
Hình 3.10 Các chỉ số BIAS , POD, FAR khu vực Trung Trung Bộ năm 2008 đến 2010
Tại khu vực Trung Trung Bộ chỉ số BIAS của mô hình HRM cho kết quả