Việt Nam
Thử nghiệm đánh giá chất lƣợng dự báo mƣa bằng phƣơng pháp fuzzy cho khu vực Bắc Bộ Việt Nam. Tác giả thử nghiệm phƣơng pháp fuzzy cho 2 hình thế mƣa khác nhau: mƣa do bão và mƣa do không khí lạnh. Thời gian thử nghiệm cho đánh giá dự báo mƣa do bão gây ra là ngày 06/7/2007 (ngày đang có bão đổ bộ vào miền bắc Việt Nam) và mƣa do không khí lạnh gây ra là ngày 23/12/2007. Các số liệu này đƣợc trích từ tập số liệu đã thu thập đƣợc nhƣ đã nói ở những phần trên (Số liệu dự báo của mô hình HRM).
Miền đánh giá: Khu vực Bắc Bộ: 19.50
N - 27.1250N; 97.1250E - 117.1250E (HRM1: 65 trạm đƣợc nội suy về lƣới mô hình)
3.3.2.1. Thử nghiệm đánh giá cho dự báo mưa do bão gây ra
a b
Hình 3.23. Vùng mưa thám sát (trái) và vùng mưa dự báo mưa tích lũy 24h (phải) (mm/ngày) ngày 6/7/2007
Hình 3.23 biểu diễn sự sai khác giữa vùng mƣa thám sát (Hình 3.23a) và dự báo (Hình 3.23b) ngày 6/7/2007. Hình vẽ cho thấy, cƣờng độ mƣa dự báo nhỏ hơn so với thám sát, vùng mƣa của mô hình HRM lệch lên phía Bắc so với thám sát.
Hình 3.24 biểu diễn kết quả đánh giá fuzzy của một số phƣơng pháp tiêu biểu cho dự báo mƣa khu vực bắc bộ Việt Nam với hình thế mƣa do bão gây ra, trục hoành là ngƣỡng cƣờng độ mƣa, trục tung là quy mô không gian. Kích thƣớc cửa sổ đƣợc chọn là 65 ô lƣới (tƣơng ứng với 910km). Các điểm số là hàm của kích thƣớc cửa sổ và phụ thuộc vào ngƣỡng cƣờng độ mƣa (từ 0.1 – 150mm/ngày).
Hình3.24. Kết quả đánh giá bằng phương pháp fuzzy cho dự báo mưa 24 giờ ngày 06/7/2007
Phƣơng pháp nâng quy mô (upscaling) cho giá trị ETS lớn nhất ở ngƣỡng cƣờng độ mƣa nhỏ (dƣới 5mm/ngày) và quy mô không gian lớn (ETS =0.46 tại quy mô 462km) (Hình 3.23a). Ở những ngƣỡng cƣờng độ mƣa cao hơn (trên 5mm/ngày), ETS cho giá trị nhỏ (hoặc không xác định đƣợc (không có kỹ năng) – những ô màu trắng). Điều này là do ở phạm vi rộng hơn mức độ phù hợp giữa dự báo và thám sát giảm đi ở các mức độ mƣa khác nhau.
Ở hình tiếp theo hình 3.24.b và hình 3.24c là kết quả tính chỉ số ETS bằng phƣơng pháp độ bao phủ tối thiểu (minimum coverage). Trong trƣờng hợp này, phƣơng pháp không có kỹ năng với những cƣờng độ mƣa trên 50mm/ngày, nên từ ngƣỡng cƣờng độ này ETS có giá trị bằng 0 (những ô màu xanh dƣơng) hoặc không xác định đƣợc (những ô màu trắng) ở tất cả các quy mô không gian từ nhỏ đến lớn. Trong Hình 3.24 (anywhere in window), ta thấy ETS có giá trị cao nhất ở quy mô không gian lớn (0.58) ở ngƣỡng cƣờng độ mƣa 30mm/ngày. Ở những quy mô không gian nhỏ hơn, ETS cho giá trị nhỏ hơn. Điều này là do ở một quy mô rộng lớn thì điều kiện dự báo xảy ra ít nhất một sự kiện so với thám sát dễ đƣợc đáp ứng hơn so với phạm vi quy mô nhỏ. Một trƣờng hợp khác của phƣơng pháp độ phủ tối thiểu, độ phủ trên 50% (≥50 coverage) gần giống với trƣờng hợp nâng quy mô (upscaling) trong Hình 3.24a, giá trị ETS lớn nhất ở các ngƣỡng cƣờng độ mƣa nhỏ (dƣới 5mm/ngày), nhƣng ở quy mô không gian nhỏ (hình 3.24c). Ở ngƣỡng cƣờng độ mƣa lớn, quy mô không gian lớn hơn, ETS có giá trị bằng 0 hoặc không xác định đƣợc. Điều này cho thấy ở quy mô không gian rộng lớn hơn điều kiện mức độ phù hợp giữa dự báo và thám sát phải trên 50% là khó thực hiện đƣợc hơn ở các quy mô không gian nhỏ ở tất cả các ngƣỡng cƣờng độ mƣa (đặc biệt là những ngƣỡng mƣa lớn).
Hai trƣờng hợp tiếp theo Hình 3.24d và Hình 3.24e là phƣơng pháp fuzzy lôgic và xác suất đồng thời (một dạng của phƣơng pháp fuzzy lôgic). Hai phƣơng pháp này đều cho ETS bằng 0 hoặc không xác định đƣợc giá trị ở các ngƣỡng mƣa trên 30mm/ngày. Trong khi đó, ở ngƣỡng mƣa dƣới 30mm/ ngày, fuzzy lôgic (Hình 3.24d) cho giá trị ETS hơn ở quy mô lớn và ngƣỡng cƣờng độ mƣa nhỏ (ETS cho giá trị cao hơn ở cả một vùng dƣới 5mm/ngày với quy mô trên 126km), còn xác suất đồng thời (Hình 3.24e) thì cho giá trị ETS lớn ở ngƣỡng cƣờng độ mƣa rất nhỏ (dƣới 5mm/ngày) với quy mô không gian nhỏ (ETS lớn nhất 0.18 ở quy mô nhỏ hơn 42km).
(Multi-event contingency table), tiêu chuẩn cho một dự báo tốt trong trƣờng hợp này là dự báo đúng đƣợc ít nhất một sự kiện gần đúng với thám sát. Trong phƣơng pháp này ETS lớn hơn ở quy mô nhỏ với cƣờng độ mƣa thấp (ETS lớn nhất bằng 0.18 ở ngƣỡng dƣới 5mm/ngày với quy mô 14km). Ở các ngƣỡng mƣa trên 50mm/ngày và dƣới 100 mm/ngày ETS có giá trị bằng 0, ở ngƣỡng trên 100 mm/ ngày giá trị ETS là không xác định.
Điểm kỹ năng phần tử (FSS) (Hình 3.24g) xác định mức độ phù hợp giữa các dự báo và các hiện tƣợng quan trắc đƣợc trong vùng lân cận, cấu trúc giống nhƣ điểm kỹ năng đối với các dự báo không chồng chéo lên nhau. Giá trị điểm số FSS tăng lên cùng với độ tăng của ngƣỡng không gian khi dự báo gần đúng với thám sát, và đối với trƣờng hợp này, FSS đạt giá trị lớn nhất tại ngƣỡng cƣờng độ mƣa thấp, nơi dự báo có độ lệch nhỏ nhất.
Khi dự báo cho các điểm trong chính ô lƣới chứ không phải là khu vực lân cận, các kỹ năng lớn nhất trong việc phát hiện các sự kiện và không phải là sự kiện xảy ra ở quy mô trung bình và cƣờng độ trung bình (Hình 3.24.h). Trƣờng hợp này điểm số BSS có giá trị tuyệt đối lớn nhất ở quy mô nhỏ và ngƣỡng cƣờng độ mƣa thấp. Ngƣợc lại ở các quy mô lớn và ngƣỡng cƣờng độ mƣa cao, điểm số BSS cho giá trị rất thấp.
Hình 3.24i cho thấy tỷ lệ chính xác của phƣơng pháp thực nghiệm hoàn hảo (Practically perfect hindcast). Trƣờng hợp này ETS cho giá trị lớn ở quy mô không gian lớn và ngƣỡng cƣờng độ mƣa nhỏ (dƣới 5mm/ngày).
Tiếp theo là phƣơng pháp sai số bình phƣơng có điều kiện (CSRR) RPS (Hình 3.24j) cơ bản kiểm tra xác suất dự báo cƣờng độ mƣa phù hợp nhƣ thế nào so với giá trị thám sát. Phƣơng pháp này độc lập với ngƣỡng cƣờng độ mƣa, đƣợc biểu diễn dƣới dạng đƣờng cong. Đƣờng CSRR có xu hƣớng giảm dần theo mức tăng quy mô, tức là ở quy mô lớn hơn mô hình dự báo tốt hơn (vì CSRR gần giống nhƣ độ lệch chuẩn của xác suất). Ở quy mô lớn hơn nữa đƣờng CSRR lại có xu hƣớng tăng lên, ở quy mô quá lớn này, dự báo xác suất dự báo không còn sắc nét và điểm số bắt đầu trở nên kém hơn.
Vùng liên đới RMSE tính giá trị sai số bình phƣơng trung bình, các đƣờng biểu diễn trong Hình 3.24k cho thấy đƣờng liên đới RMSE giảm dần theo mức tăng quy mô. Điều này cũng phù hợp với xu hƣớng điểm FSS trong Hình 3.24g, điểm số đƣợc cải thiện khi tăng quy mô đồng nghĩa với việc sự phân bố mƣa dự
báo và thám sát trở nên phù hợp hơn.
3.3.2.2. Thử nghiệm đánh giá cho dự báo mưa do không khí lạnh gây ra
Hình 3.25 biểu diễn sự sai khác giữa vùng mƣa thám sát và dự báo ngày 23/12/2007, mƣa thám sát (Hình 3.25a), vùng mƣa dự báo (Hình 3.25b). Hình vẽ cho thấy vị trí mƣa dự báo lệch hẳn về phía nam so với thám sát (và vùng mƣa dự báo cũng nhỏ hơn rất nhiều so với vùng mƣa thám sát), cƣờng độ mƣa dự báo nhỏ hơn rất nhiều so với thám sát.
Hình 3.25. Vùng mưa thám sát (trái) và vùng mưa dự báo 24h (phải) (mm/ngày) ngày 23/12/2007 (không khí lạnh)
Hình 3.26 biểu diễn kết quả phƣơng pháp đánh giá fuzzy của một số phƣơng pháp cho dự báo mƣa khu vực bắc bộ Việt Nam với hình thế mƣa do không khí lạnh gây ra, trục hoành là ngƣỡng cƣờng độ mƣa, trục tung là quy mô không gian. Kích thƣớc cửa sổ đƣợc chọn là 65 ô lƣới (tƣơng ứng với 910km). Các điểm số là hàm của kích thƣớc cửa sổ và phụ thuộc vào ngƣỡng cƣờng độ mƣa (từ 0.1 – 150mm/ngày).
Phƣơng pháp nâng quy mô (upscaling) cho giá trị ETS lớn nhất ở ngƣỡng cƣờng độ mƣa nhỏ (dƣới 5mm/ngày) và quy mô không gian lớn (ETS =0.49 tại quy mô 462km) (hình 3.26.a), những ngƣỡng cƣờng độ mƣa cao hơn (trên 5mm/ngày), ETS cho giá trị nhỏ (hoặc không xác định đƣợc (không có kỹ năng) – những ô màu trắng). Điều này là do ở phạm vi rộng hơn mức độ phù hợp giữa dự báo và thám sát giảm đi.
Ở hình tiếp theo hình 3.26b và hình 3.26c là kết quả tính chỉ số ETS bằng phƣơng pháp độ phủ tổi thiểu (minimum coverage). Trong trƣờng hợp này, phƣơng pháp không có kỹ năng với những cƣờng độ mƣa trên 20mm/ngày, trên ngƣỡng cƣờng độ này ETS có giá trị bằng 0 (các ô màu xanh dƣơng) hoặc xác định đƣợc (những ô màu trắng). Trong hình 3.26b (anywhere in window), ta
thấy ETS có giá trị cao nhất ở quy mô không gian trung bình (0.42) ở ngƣỡng cƣờng độ mƣa nhỏ dƣới 5 mm/ngày. Điều này là do ở một quy mô rộng lớn thì điều kiện dự báo xảy ra ít nhất một sự kiện so với thám sát dễ đƣợc đáp ứng hơn so với phạm vi quy mô nhỏ. Một trƣờng hợp khác của phƣơng pháp độ phủ tối thiểu, độ phủ trên 50% (≥50 coverage), giá trị ETS lớn nhất ở các ngƣỡng cƣờng độ mƣa nhỏ (dƣới 5mm/ngày) với quy mô không gian trung bình (hình 3.26c). Ở ngƣỡng cƣờng độ mƣa lớn, quy mô không gian lớn hơn, ETS có giá trị bằng 0 hoặc không xác định đƣợc. Điều này cho thấy ở quy mô không gian rộng lớn hơn mức độ phù hợp giữa dự báo và thám sát phải trên 50% là ít khả quan hơn ở các quy mô không gian nhỏ ở tất cả các ngƣỡng cƣờng độ mƣa (đặc biệt là những ngƣỡng mƣa lớn).
Hình 3.26. Kết quả đánh giá bằng phương pháp fuzzy cho hạn dự báo mưa tích lũy 24 giờ ngày 23/12/2007
Hai trƣờng hợp tiếp theo Hình 3.26d và hình 3.26e là phƣơng pháp fuzzy lôgic và xác suất đồng thời (một dạng của phƣơng pháp fuzzy lôgic). Hai phƣơng pháp này đều cho ETS bằng 0 (những ô màu xanh dƣơng) hoặc không xác định đƣợc (những ô màu trắng) giá trị ETS ở các ngƣỡng mƣa trên 20mm/ngày. Trong khi đó, ở ngƣỡng mƣa dƣới 20mm/ ngày, fuzzy lôgic (Hình 2.26d) cho giá trị ETS hơn hơn ở quy mô lớn và quy mô trung bình với ngƣỡng cƣờng độ mƣa nhỏ, còn xác suất đồng thời (hình 3.26e) thì cho giá trị ETS lớn ở ngƣỡng cƣờng độ mƣa rất nhỏ (dƣới 5mm/ngày) với quy mô không gian nhỏ (ETS lớn nhất 0.27 ở quy mô nhỏ hơn 126km).
Hình tiếp theo (Hình 3.26f) biểu diễn phƣơng pháp liên hợp các sự kiện (Multi-event contingency table), ETS lớn hơn ở quy mô nhỏ với cƣờng độ mƣa thấp (ETS lớn nhất bằng 0.28 ở ngƣỡng dƣới 5mm/ngày với quy mô 14km). Ở các ngƣỡng mƣa trên 20mm/ngày giá trị ETS là không xác định đƣợc.
Điểm kỹ năng phần tử (FSS) (hình 3.26g), giá trị điểm số FSS cao ở quy mô không gian lớn ở tất cả các ngƣỡng mƣa nhƣng cao nhất là ở ngƣỡng mƣa thấp (dƣới 5mm/ngày). Điều này là do vị trí vùng mƣa dự báo lệch về phía nam quá nhiều so với vị trí vùng mƣa thám sát, mặt khác dự báo lại chỉ cho kết quả mƣa ở ngƣỡng thấp.
Khi dự báo cho các điểm trong chính ô lƣới chứ không phải là khu vực lân cận, các kỹ năng lớn nhất trong việc phát hiện các sự kiện và không phải là sự kiện xảy ra ở quy mô trung bình và cƣờng độ mƣa thấp (hình 3.24.h). Trƣờng hợp này điểm số BSS có giá trị tuyệt đối lớn nhất ở quy mô nhỏ và ngƣỡng cƣờng độ mƣa thấp.
Hình 3.26.i cho thấy tỷ lệ chính xác của phƣơng pháp thực nghiệm hoàn hảo (Practically perfect hindcast). Trƣờng hợp này ETS cho giá trị lớn ở quy mô không gian lớn và ngƣỡng cƣờng độ mƣa nhỏ dƣới 5mm/ngày (ETS lớn nhất bằng 0.54). Ở ngƣỡng mƣa vừa (16-20mm/ngày) ETS có giá trị bằng 0, và ở ngƣỡng trên 20mm/ngày ETS không xác định.
Tiếp theo là phƣơng pháp sai số bình phƣơng có điều kiện (CSRR) RPS (hình 3.26j), phƣơng pháp này độc lập với ngƣỡng cƣờng độ mƣa, đƣợc biểu diễn dƣới dạng đƣờng cong. Đƣờng CSRR có xu hƣớng giảm dần theo mức tăng quy mô, tức là ở quy mô lớn hơn mô hình dự báo tốt hơn (vì CSRR gần giống nhƣ độ lệch chuẩn của xác suất). Ở quy mô lớn hơn nữa đƣờng CSRR lại có xu
hƣớng tăng lên, ở quy mô quá lớn này, dự báo xác suất không còn sắc nét và điểm số bắt đầu trở nên kém hơn.
Vùng liên đới RMSE tính giá trị sai số bình phƣơng trung bình, các đƣờng biểu diễn trong hình 3.26k cho thấy đƣờng liên đới RMSE giảm mạnh theo mức tăng quy mô. Điều này cũng phù hợp với xu hƣớng điểm FSS trong hình 3.26g, điểm số đƣợc cải thiện khi tăng quy mô đồng nghĩa với việc sự phân bố mƣa dự báo và thám sát trở nên phù hợp hơn.
KẾT LUẬN
Vì không có một điểm số đánh giá nào chứa đầy đủ thông tin cũng nhƣ ý nghĩa ƣu việt do đó cần phải kết hợp tính toán nhiều điểm số nhằm đánh giá đƣợc một cách toàn diện và khách quan trong phân tích kết quả.
Sau khi chọn phân tích kết hợp các điểm số đánh giá trên có chú trọng đến tính hệ thống và tính ngẫu nhiên của sai số, tác giả đã rút ra một số kết luận sau:
* Đối với nhiệt độ:
Mô hình HRM cho nhiệt độ dự báo thấp hơn so với quan trắc khoảng 20
C (dự báo thiên thấp). Trong khi đó mô hình MM5 cho nhiệt độ dự báo cao hơn quan trắc khoảng dƣới 0.50C (dự báo thiên cao). Sai số nhiệt độ trong mùa đông thƣờng lớn hơn so với mùa hè. Kết quả đánh giá chung cho toàn chuỗi số liệu của HRM cho thấy sai số lớn nhất thƣờng ở khu vực Bắc Bộ và nhỏ nhất là ở khu vực Trung Bộ, MM5 cho sai số lớn ở khu vực Nam Bộ.
Tuy rằng mô hình MM5 cho giá trị độ lệch trung bình nhiệt độ nhỏ hơn so với mô hình HRM nhƣng độ ổn định không cao (Có lúc dự báo cho giá trị nhiệt độ thấp hơn so với thám sát thiên thấp, có lúc lại cho dự báo thiên cao). Và hệ số tƣơng quan cũng thấp hơn so với mô hình HRM. Mô hình HRM luôn cho giá trị nhiệt độ dự báo thấp hơn so với giá trị thám sát (ME luôn âm), kết hợp với giá trị MAE chênh lệch không nhiều so với ME. Điều này khiến cho việc hiệu chỉnh mô hình HRM sẽ dễ dàng hơn so với mô hình MM5.
Kết quả đánh giá nhiệt độ của đề tài này cho khu vực Bắc Bộ Việt Nam hoàn toàn phù hợp với kết quả đề tài luận văn thạc sỹ: “Đánh giá sản phẩm mô hình dự báo số HRM trƣờng nhiệt độ mùa đông ở Bắc Bộ Việt Nam” của tác giả Vũ Anh Tuấn (2004).
* Đối với mƣa:
HRM cho dự báo mƣa mùa hè kém chính xác hơn trong mùa đông (ME mùa đông dƣới 1mm/ngày, trong khi mùa hè tới gần 7mm/ngày tại khu vực Bắc Bộ). Sai số lớn nhất thƣờng ở khu vực Bắc Bộ và nhỏ nhất ở khu vực Trung Bộ. Trƣờng hợp chuỗi số liệu ngắn (HRM2) thƣờng cho sai số nhỏ hơn.
Mô hình MM5 cho dự báo lƣợng mƣa thiên thấp. MM5 cho dự báo lƣợng mƣa thấp hơn so với thực tế ở khu vực Bắc Bộ và Trung Bộ, cũng nhƣ khu vực Việt Nam. Chỉ riêng khu vực Nam Bộ cho lƣợng mƣa cao hơn, trong đó sai số
lớn nhất ở khu vực Bắc Bộ. Điều này cho thấy đối với dự báo lƣợng mƣa, mô hình phi thủy tĩnh MM5 mô tả tốt hơn các quá trình khí quyển ở vùng vĩ độ thấp.
Nhƣ vậy, xét chung cho toàn chuỗi số liệu ta thấy mô hình HRM cho dự báo lƣợng mƣa thiên cao, còn mô hình MM5 dự báo mƣa thiên thấp. Cả hai mô hình đều cho các giá trị độ lệch trung bình giữa dự báo và quan trắc lúc âm lúc dƣơng (lúc dự báo thấp hơn thám sát, lúc lại dự báo cao hơn thám sát). Hệ số tƣơng quan của HRM ổn định hơn trong các mùa so với MM5.
Kết hợp giữa các chỉ số có thể thấy mô hình HRM có tính ổn định và mức độ tin cậy cao hơn so với mô hình MM5.
Ở cả hai mô hình, dự báo mƣa ở các ngƣỡng mƣa thấp cho kết quả chính xác (độ tin cậy cao hơn) so với các ngƣỡng mƣa lớn.
* Đánh giá dự báo mƣa bằng phƣơng pháp fuzzy:
Ƣu điểm lớn nhất của phƣơng pháp đánh giá kết quả dự báo mƣa mô hình HRM là có thể dễ dàng nhận thấy bằng trực giác ở những quy mô không gian nào và ở ngƣỡng mƣa nào mô hình cho dự báo tốt hơn.