Để làm sáng tỏ phƣơng pháp đánh giá fuzzy, trƣớc khi áp dụng đánh giá cho khu vực Việt Nam, tác giả đã thử nghiệm với chuỗi số liệu mẫu đánh giá dự báo mƣa gây ra bởi một cơn bão tại xứ Wales nƣớc Anh. Số liệu thám sát lấy từ số liệu rađa, số liệu dự báo với độ phân giải tinh 5km, hạn dự báo 3 giờ của mô hình dự báo quy mô vừa (Golding 2000). Miền tính gồm 256x256 ô lƣới tại trung tâm của vùng mƣa.
Hình 3.21 cho thấy sự sai khác giữa vùng mƣa thám sát và dự báo lúc 15h UTC ngày 29 tháng 5 năm 1999. Hình vẽ cho thấy vùng mƣa dự báo có cƣờng độ nhỏ hơn và mở rộng hơn so với vùng mƣa thám sát. Vị trí tâm mƣa dự báo lệch về phía tây so với vùng mƣa thám sát.
Hình 3.22 biểu diễn kết quả của các phƣơng pháp đánh giá fuzzy đã nêu tại bảng 1.1. Trục hoành là ngƣỡng cƣờng độ mƣa, trục tung là quy mô không gian. Kích thƣớc cửa sổ đƣợc chọn là 65 ô lƣới (tƣơng ứng với 325km). Các điểm số là hàm của quy mô không gian và cƣờng độ mƣa (từ 0.1 – 50mm/h). Ngoài ra các kết quả có thể đƣợc vẽ dƣới dạng các đƣờng cong, ở mỗi ngƣỡng mƣa đƣờng cong này là hàm của quy mô không gian, và ngƣợc lại. Trƣờng hợp kết quả tính CSRR và vùng liên đới RMSE chỉ là hàm của không gian (kích thƣớc cửa sổ) vì nó độc lập với ngƣỡng mƣa.
100 km
Hình 3.21. Vùng mưa thám sát (trái) và vùng mưa dự báo 3h (phải) (mm/h) lúc 15h UTC ngày 29/5/1999
Phƣơng pháp nâng quy mô (upscaling) cho giá trị ETS lớn nhất ở ngƣỡng cƣờng độ mƣa nhỏ và quy mô không gian lớn (Hình 3.22.a), còn ở những vị trí ngƣỡng cƣờng độ mƣa lớn, khoảng cách không gian lớn những điểm số này cho giá trị nhỏ hoặc không xác định (mô hình không có kỹ năng). Điều này có thể là do vùng mƣa trải rộng ra ở những khoảng cách xa nhƣng chỉ cho cƣờng độ mƣa thấp. Ở những ngƣỡng cƣờng độ mƣa lớn, quy mô không gian lớn, mức độ phù hợp giữa thám sát và dự báo giảm đi, hoặc không xác định (mô hình không có kỹ năng).
Ở hai hình tiếp theo Hình 3.22b và Hình 3.22c là hai dạng biến thể của phƣơng pháp tiêu chuẩn phủ tối thiểu (minimum coverage criterion). Trƣờng hợp đầu tiên (Hình 3.22b), ấn định có ít nhất một sự kiện xảy ra trong hộp lƣới, trên hình cho thấy mô hình không tính đƣợc lƣợng mƣa ở ngƣỡng cƣờng độ mƣa 50mm/giờ, nên ở ngƣỡng cƣờng độ này ETS có giá trị bằng 0 ở tất cả các quy mô không gian khác nhau, ETS có giá trị cao nhất ở quy mô không gian lớn ở bất cứ khoảng cƣờng độ mƣa nào dƣới 50mm/giờ, điều này là do khi bán kính mở rộng ra, việc tìm thấy ít nhất một sự kiện xảy ra đáp ứng tiêu chí của phƣơng pháp trong khu vực ấy sẽ dễ dàng hơn. ETS cho giá trị cao nhất (0.61) ở ngƣỡng cƣờng độ mƣa 20mm/giờ và quy mô không gian là 325km. Ở những quy mô không gian nhỏ hơn, tỉ lệ báo động sai ETS cho giá trị nhỏ hơn.
Trƣờng hợp tiếp theo (Hình 3.22c), đòi hỏi phải sự kiện xảy ra trong hộp lƣới phải trên 50% (≥50 coverage). Gần giống với trƣờng hợp nâng quy mô (upscaling), giá trị ETS lớn nhất ở các ngƣỡng quy mô cƣờng độ mƣa thấp, nhƣng ở quy mô không gian nhỏ hơn (24÷45km) (Hình 3.22c). Ở ngƣỡng cƣờng độ mƣa lớn, quy mô không gian rộng hơn, ETS có giá trị bằng 0 (các ô màu xanh dƣơng), mô hình dự báo không có kỹ năng (các ô trắng).
Cả phƣơng pháp fuzzy lôgic (Hình 3.22d) và dạng khác của nó phƣơng pháp xác suất đồng thời (Hình 3.22e - joint probability) đều xác định các hiện tƣợng xảy ra trong vùng lân cận nhƣ xác suất của chính chúng trong hộp lƣới, nhƣng khác nhau ở cách tính dự báo đúng trong bảng liên hợp. Phƣơng pháp fuzzy logic cải thiện hiệu suất khi tăng quy mô không gian ở hầu hết các ngƣỡng mƣa khi độ tin cậy của các dự báo không chính xác giảm nhanh so với các dự báo chính xác (Hình 3.22.d).
Hình 3.22. Kết quả đánh giá bằng phương pháp fuzzy cho hạn dự báo 03 giờ ngày 29/5/1999
Khi bảng liên hợp các yếu tố dựa trên xác suất đồng thời, khác với fuzzy lôgic, trƣờng hợp này giá trị ETS xấu đi khi quy mô không gian tăng (Hình 3.22e). Điều này là do xác suất đồng thời của dự báo có và không có hiện tƣợng xảy ra so với thám sát giảm đi khi các trƣờng trở nên không đồng nhất và P
nhận các giá trị trung bình. Mức độ phù hợp giữa dự báo và thám sát ở mỗi ngƣỡng cƣờng độ mƣa với quy mô không gian trên 5km sẽ cho một giá trị ETS cao nhất (ví dụ, ngƣỡng mƣa 20km/giờ, ETS lớn nhất ở khoảng cách 45km).
Điểm số Hanssen và Kuipers đƣợc biểu diễn trƣờng hợp bảng liên hợp các sự kiện (Multi-event contingency table). Tiêu chuẩn cho một dự báo tốt trong trƣờng hợp này là dự báo đúng đƣợc ít nhất một sự kiện gần với thám sát. Trƣờng hợp này tƣơng tự nhƣ trƣờng hợp tiêu chuẩn phủ thứ nhất (Hình 3.22b -
Anywhere in window), trừ trƣờng hợp các sự kiện quan trắc ở vị trí trung tâm của vùng lân cận. Các giá trị lớn nhất của chỉ số HK nằm ở quy mô trung bình và ngƣỡng mƣa cao (Hình 3.22f). Hình 3.21 cho thấy mƣa dự báo thấp hơn trong khoảng vài km so với tâm mƣa thám sát, nhƣng khi mở rộng không gian ra ngoài thì dễ dàng tìm thấy có ít nhất một khoảng nào đó có cƣờng độ mƣa dự báo gần đúng với thám sát.
Phƣơng pháp quy mô - cƣờng độ cho thấy vùng có điểm số lớn nhất không phụ thuộc vào ngƣỡng mƣa (Hình 3.22.g). Cấu trúc giống nhƣ một điểm kỹ năng đối với việc sắp xếp ngẫu nhiên trong cửa sổ thám sát, các điểm số có giá trị cực trị xảy ra tại các ngƣỡng mƣa lớn. Kết quả thu đƣợc từ phƣơng pháp này biến thiên nhiều nhất so với các phƣơng pháp khác bởi vì các không gian cửa sổ đƣợc lấy từng trƣờng hợp riêng lẻ chứ không lấy liên tiếp các cửa sổ với các kích thƣớc khác nhau.
Điểm kỹ năng phần tử (FSS) (Hình 3.22h) đo mức độ phù hợp giữa xác suất xuất hiện sự kiện dự báo và các hiện tƣợng quan trắc trong vùng lân cận, cấu trúc giống nhƣ điểm kỹ năng đặc trƣng cho các dự báo không chồng chéo lên nhau. Giá trị điểm số FSS tăng lên cùng với độ tăng của ngƣỡng không gian khi dự báo gần đúng với thám sát, và đối với trƣờng hợp này, FSS đạt giá trị lớn nhất tại ngƣỡng cƣờng độ mƣa trung bình, nơi dự báo có độ lệch nhỏ nhất so với thám sát.
Các phƣơng pháp tiếp cận thực tế so sánh xác suất của các sự kiện bên trong cửa sổ dự báo với các hiện tƣợng xảy ra ở trung tâm cửa sổ quan trắc, sử dụng số điểm kỹ năng Brier đánh giá sai số bình phƣơng trung bình với chuẩn khí hậu. Các kỹ năng lớn nhất về các ngƣỡng mƣa trung bình đến lớn và quy mô không gian vừa phải (Hình 3.22i).
Hình 3.22j cho thấy tỷ lệ chính xác của phƣơng pháp thực nghiệm hoàn hảo (Practically perfect hindcast), ETSy/ETSx. Trƣờng hợp này ETS cho giá trị lớn ở quy mô không gian lớn và ngƣỡng cƣờng độ mƣa thấp (0,1-0,2mm/giờ). Thấy rõ lƣợng mƣa trung bình phía tây xứ Wales đƣợc dự báo không tốt đối với ngƣỡng mƣa trung bình.
Hai phƣơng pháp tiếp theo xác định các điểm số một cách trực tiếp độc lập với cƣờng độ mƣa, không phải xác định sự xuất hiện hay xác suất của các sự kiện. Căn bậc hai có điều kiện của RPS (CSRR) cơ bản kiểm tra xác suất dự báo
cƣờng độ mƣa phù hợp nhƣ thế nào so với giá trị thám sát. Khi quy mô tăng quy mô RPS giảm (Hình 3.22k), khi tiếp tục tăng quy mô lớn hơn nữa dự báo không còn đƣợc sắc nét nữa và điểm số bắt đầu trở nên kém hơn (RPS tăng lên).
Vùng liên đới RMSE tính giá trị sai số bình phƣơng trung bình của cƣờng độ đƣợc sắp xếp trong không gian cửa sổ. Các đồ thị Hình 3.22l cho thấy trung bình của các giá trị RMSE khu vực liên đới đến tất cả các cửa sổ trong miền tính. Phù hợp với FSS trong Hình 3.22h, điểm số đƣợc cải thiện khi tăng kích thƣớc cửa sổ đồng nghĩa với việc sự phân bố cƣờng độ trong vùng lân cận dự báo và thám sát trở nên phù hợp hơn.
Điểm mấu chốt của phƣơng pháp đánh giá fuzzy là đƣa ra đƣợc thông tin dự báo ở quy mô và cƣờng độ nào là có kỹ năng, đƣa ra đƣợc quyết định đúng đắn về tính hữu ích của mô hình cho ngƣời sử dụng,
Việc có một mức độ phù hợp tốt giữa dự báo và thám sát ở quy mô thô là hết sức quan trọng, điều này chỉ xảy trong trƣờng hợp mƣa nhỏ (Hình 3.22a).
Nếu không kết hợp các giá trị trung bình khu vực, đòi hỏi dự báo có chứa một giá trị phù hợp trong vùng lân cận của các giá trị quan sát, thì nhiều khả năng là mức độ sai số sẽ tăng lên. Trong thực tế, khi các kỹ năng nhƣ là một minh chứng cho độ giảm các báo động sai (false alarms) và dự báo xót (miss) để dự báo đƣợc tốt hơn đối với ngƣỡng cƣờng độ mƣa lớn nhất (Hình 3.22b, hình 3.22e). Nếu mức độ bao phủ trên 50% là cần thiết cho một sự kiện thì chỉ phù hợp đối với lƣợng mƣa nhỏ hơn (Hình 3.22c).
Khi sự kiện đƣợc phép cả một phần "có" và một phần "không", fuzzy lôgic cho thấy dự báo chính xác hơn ở quy mô lớn nhất (Hình 3.22d). Ngƣợc lại, phƣơng pháp xác suất chung cho thấy quy mô lớn hơn ít chính xác và trong thực tế, dự báo chính xác nhất ở quy mô lớn nhất và cƣờng độ mƣa nhẹ nhất (Hình 3.22e).
Nếu đặc trƣng chính xác cho phần mƣa là quan trọng nhất, thì kỹ năng lớn nhất xảy ra ngẫu nhiên ở quy mô không gian lớn và ngƣỡng cƣờng độ mƣa cao (nơi không dự báo và không quan trắc đƣợc nhƣng sai số ngẫu nhiên lại nhỏ) (Hình 3.22g). Chúng ta có thể làm giảm các quy mô không gian và cƣờng độ khi chúng không đặc trƣng tại những vùng quy mô không gian và cƣờng độ không có mƣa (xem Hình 3.22a) trong khi các mô hình dự báo mƣa tốt nhất ở quy mô lớn và lƣợng mƣa nhỏ trong khi dự báo kém chính xác nhất xảy ra tại quy mô
không gian nhỏ và cƣờng độ mƣa cao. Nếu dự báo hữu ích đòi hỏi rằng các tần số dự báo tƣơng tự nhƣ tần số quan sát, dự báo là tốt nhất ở quy mô lớn và cƣờng độ mƣa trung bình (Hình 3.22h). Khi dự báo cho các địa điểm cụ thể chứ không phải là khu vực lân cận, các kỹ năng tốt nhất trong việc phát hiện các sự kiện và không phải là sự kiện xảy ra ở quy mô không gian trung bình và cƣờng độ trung bình (Hình 3.22i). Dự báo gần nhất sẽ đƣợc cấp bởi một dự báo có kỹ năng tốt ở các quy mô trung bình và ngƣỡng mƣa nhỏ (Hình 3.22j). Cuối cùng, khi phân bố cƣờng độ thám sát là quan trọng, cả hai phƣơng pháp sai phƣơng có điều kiện CSRR và phƣơng pháp vùng liên đới RMSE đều cho kỹ năng tốt ở ngƣỡng mƣa trung bình với quy mô lớn (Hình. 3.22k và Hình 3.22l).
