Những dự báo có độ phân giải cao của các mơ hình số trị có thể khá chính xác và cung cấp cho dự báo viên những thông tin rất hữu ích. Tuy nhiên, khi đánh giá sử dụng các phƣơng pháp truyền thống chúng lại thƣờng có kết quả khơng tốt bởi vì rất khó khăn trong việc dự báo trùng khớp hồn tồn với quan trắc ở độ phân giải cao. Đánh giá “fuzzy” tiến tới trùng khớp bằng cách làm giảm yêu cầu về mức độ chính xác giữa dự báo và quan trắc. Mấu chốt của cách tiếp cận fuzzy là việc sử dụng một cửa sổ không gian (spatial window) hoặc vùng lân cận các điểm dự báo và/hoặc quan trắc. Việc xử lý số liệu trong cửa sổ có thể bao gồm trung bình (nâng qui mơ) hoặc ngƣỡng phụ thuộc vào phƣơng pháp fuzzy đặc biệt đƣợc sử dụng và mơ hình giải quyết ẩn nó liên quan tới việc làm thế nào để có một dự báo tốt. Kích thƣớc của vùng lân cận có thể đƣợc thay đổi để cung cấp các kết quả đánh giá ở nhiều kích thƣớc, do đó cho phép ngƣời sử dụng xác định tại kích thƣớc nào thì dự báo có kỹ năng tốt.
Phƣơng pháp đánh giá fuzzy cho phép vùng dự báo có thể khơng thật trùng khớp với vùng thám sát. Mức chênh lệch cho phép đƣợc xác định bởi một vùng lân cận địa phƣơng. Sự khác nhau giữa phƣơng pháp đánh giá truyền thống và phƣơng pháp đánh giá fuzzy đƣợc thể hiện trong Hình 1.5.
Khơng phải dễ dàng chỉ ngay ra đƣợc kích thƣớc vùng lân cận thích hợp. Nó cịn phụ thuộc vào khoảng cách giữa các ô lƣới, độ phân giải thời gian, và trạng thái thời tiết, vì vậy một giá trị đơn lẻ có thể khơng thích hợp cho tất cả các loại dự báo cũng nhƣ các miền tính.
Phƣơng pháp đánh giá fuzzy giải quyết đƣợc điều này bằng cách thay đổi kích thƣớc của miền lân cận, bởi vậy nó đem lại các thơng tin cho chất lƣợng dự báo nhƣ là một hàm của quy mô.
a. Quan trắc b. Dự báo
(Đánh giá truyền thống)
c. Dự báo (Đánh giá fuzzy)
Hình 1.5. a. Miền quan trắc; b. Đánh giá truyền thống (phải tương thích cả về khơng gian và thời gian giữa dự báo và quan trắc); c. Đánh giá bằng phương pháp fuzzy
Một số phƣơng pháp đánh giá fuzzy giả định rằng các ô lƣới lân cận của vùng quan trắc cũng đƣợc mở rộng tƣơng ứng nhƣ vùng dự báo. Đây là một trong những cách thể hiện sự không chắc chắn trong quan trắc. Trƣờng hợp này đƣợc thể hiện trong hình 1.6, đƣợc gọi là vùng quan trắc – vùng dự báo.
a. Quan trắc (Đánh giá fuzzy)
b. Dự báo (Đánh giá fuzzy)
Hình 1.6. Cửa sổ quan trắc và dự báo của phương pháp đánh giá fuzzy
Để mô tả kỹ phƣơng pháp đánh giá fuzzy, một số các ký hiệu đƣợc thiết lập nhƣ sau:
Gọi X là giá trị quan trắc trong một ô lƣới, Y là giá trị dự báo trong ô lƣới tƣơng ứng. sbiểu thị giá trị các ô lƣới xung quanh điểm lƣới đang xét, trong đó s là quy mô lƣới. ( ) biểu thị giá trị trung bình tồn miền tính.
Ix cho biết sự kiện quan trắc đƣợc trong hộp lƣới (có xảy ra = 1, khơng xảy ra = 0), và Iy cho biết sự kiện dự báo đƣợc trong hộp lƣới tƣơng ứng. Ix svà
s y
I biểu thị các sự kiện quan trắc và dự báo trong vùng lân cận các hộp lƣới đang xét. Việc quyết định sử dụng phƣơng pháp nào để xác định sự kiện trong vùng lân cận I s phụ thuộc vào từng phƣơng pháp đánh giá fuzzy đang đƣợc sử dụng, nhƣ chúng ta sẽ xét đến dƣới đây. Một số phƣơng pháp đòi hỏi I s phải đƣợc tách riêng, ví dụ nhƣ 0 hoặc 1, trong khi đó các phƣơng pháp khác cho phép sử dụng các giá trị trung gian.
Ký hiệu Px slà thành phần của hộp lƣới tại vùng lân cận quan trắc và
s y
n y s y n x s x I n P I n P 1 , 1
trong đó n là số ơ lƣới trong vùng dự báo.
Bằng cách so sánh dự báo với các sự kiện quan trắc ta có thể tính đƣợc sai số quy mô phụ thuộc E s dựa trên một so sánh các giá trị trong ô lƣới X svà
s
Y trong vùng lân cận.
Phƣơng pháp đánh giá fuzzy khá đơn giản: Chọn một tập hợp các quy mô với các chỉ số: s = 1, 2, …., S và ngƣỡng cƣờng độ sự kiện với các chỉ số k = 1, 2, ..., K, thơng qua đó để tính tốn các kết quả đánh giá fuzzy.
a. Đối với mỗi quy mô s: Với mỗi điểm thám sát, thu thập các ô lƣới dự báo trong cửa sổ quy mô s xung quanh điểm thám sát đó. Nếu trƣờng hợp là “vùng thám sát – vùng dự báo” thì cũng thu thập những thám sát tƣơng ứng trong cửa sổ tƣơng ứng.
b. Đối với mỗi ngƣỡng cƣờng độ k quy mơ tính tốn ( Ix s, Iy s, Px s,
s y
P , E s)k phụ thuộc vào việc lựa chọn các biến của mơ hình (đƣợc đề cập dƣới đây).
c. Đối với mỗi ngƣỡng cƣờng độ k có một điểm số đại diện cho toàn miền.
Mỗi phƣơng pháp đánh giá fuzzy cho kết quả là một ma trận (k x s) các điểm số đánh giá đối với các điểm số thay đổi tùy thuộc vào quy mô (s) và cƣờng độ (k).
Bằng cách kiểm tra việc thực hiện dự báo theo cách này có thể quyết định đƣợc sự kết hợp quy mô, cƣờng độ tại dự báo với độ phân giải cao hữu ích. Kết quả đánh giá fuzzy có thể đƣợc tập hợp theo dự báo tháng, dự báo mùa, hoặc các hiện tƣợng thời tiết tƣơng tự để tìm ra quy luật có tính hệ thống.
a. Các phương pháp đánh giá fuzzy đặc trưng
Tất cả các phƣơng pháp đều sử dụng một trong hai loại đã đƣợc đề cập đến ở trên là: “một điểm quan trắc – một vùng dự báo”, và “một vùng quan trắc – một vùng dự báo”. Tùy vào từng nhu cầu cụ thể về thông tin chất lƣợng dự báo mà ngƣời dùng có thể lựa chọn phƣơng pháp phù hợp.
a. Nâng quy mô (Upscaling):
Là một trong những phƣơng pháp đánh giá đơn giản và xuất hiện sớm nhất. Các giá trị dự báo và quan trắc đƣợc lấy trung bình theo các quy mơ tăng dần và đƣợc đem so sánh bằng cách sử dụng các điểm số truyền thống. Mơ hình đƣa ra một dự báo có chất lƣợng thì tƣơng thích với quan trắc khi lấy trung bình trong các quy mơ lƣới thô. Yates và Cộng sự (CS) (2006) sử dụng cả các biến liên tục và các biến pha để đánh giá dự báo nâng quy mô, trong khi Zepeda-Arce và CS(2000) và Weygandt cùng CS (2004) đánh giá dự báo mƣa bằng cách sử dụng các điểm số truyền thống. Trong trƣờng hợp này quy tắc để tính tốn các hiện tƣợng trong vùng lân cận là:
Nguong Y 1 Nguong Y 0 I s s s y
Tƣơng tự đối với Ix s.
b. Độ phủ tối thiểu (Minimum coverage)
Damrath (2004) giả định rằng trong các vùng lân cận sự kiện quan trắc và dự báo khơng có độ nhọn, tức là các hiện tƣợng có thể xảy ra ở bất cứ đâu trong vùng lân cận đó, với xác suất tƣơng ứng là Px s và Py s. Ông đã thử nghiệm với hai mơ hình cơ bản. Đầu tiên, thiết lập một độ phủ tiêu chuẩn tối thiểu, dự báo tốt nếu nhƣ các hiện tƣợng đƣợc dự báo vƣợt quá một xác suất phủ tối thiểu của vùng dự báo đã chọn, hiện tƣợng xảy ra trong vùng lân cận đƣợc xác định nhƣ sau: e s e s s P P 1 P P 0 I
Trong đó Pe là giá trị nhỏ nhất trong vùng lân cận, giá trị đó phải nằm trong các hộp lƣới của cả dự báo và quan trắc. Yêu cầu đặt ra là hiện tƣợng phải xảy ra ít nhất một lần trong vùng lân cận đó. Một số ứng dụng địi hỏi các hiện tƣởng phải xảy ra trong nửa vùng lân cận trƣớc khi thiết lập I s= 1. Các điểm số dự báo xác suất thƣờng dùng là xác suất phát hiện POD, tỉ lệ báo động sai FAR, điểm cảnh báo ETS đƣợc tính cho các hiện tƣợng xảy ra trong vùng lân cận.
Phƣơng pháp lôgic đƣợc Damrath (2004) xác định các hiện tƣợng xảy ra trong vùng lân cận nhƣ xác suất của chính các thành phần trong hộp lƣới:
s
s P
I
s
I nằm trong khoảng từ 0 đến 1. Một dự báo có thể chính xác hoặc không cũng giống nhƣ trƣờng hợp quan trắc. Khả năng này đƣợc gọi là “có độ tin cậy”.
Phƣơng pháp này có thể chỉ ra dự báo chuẩn và dự báo sai cùng một lúc. Thích hợp cho các mơ hình có dự báo chính xác nhiều hơn dự báo sai. Nguyên tắc của phƣơng pháp này đƣợc đƣa ra bởi Zimmerman (2001), các yếu tố trong bảng tổng hợp đƣợc xác định bởi trọng số nhỏ nhất hỗ trợ cho các nguyên tắc đối với dự báo đúng, dự báo khống, tỉ lệ báo động sai, và khả năng loại trừ đúng. Nhƣợc điểm của phƣơng pháp này là các yếu tố trong bảng khó có thể thể lên đến 1 đƣợc. Quan trắc s x P 1- Px s Dự báo y s P Min( Px s, Py s) Min(1- Px s, Py s) 1- Py s Min( Px s,1- Py s) Min(1- Px s,1- Py s)
Vì vậy, Ebert (2002) đã cải tiến phƣơng pháp này bằng cách dùng các xác suất đồng thời để xác định các yếu tố trong bảng:
Quan trắc s x P 1- Px s Dự báo s y P Px s Py s (1- Px s) Py s 1- Py s Px s(1- Py s) (1- Px s)(1- Py s)
Các điểm số trong bảng này đƣợc tính từ các yếu tố trong bảng phía trên
d. Bảng liên hợp các sự kiện (Multi-event contingency table)
Atger (2001) đã đƣa ra một bảng liên hợp các sự kiện để ƣớc lƣợng sự phù hợp giữa dự báo và quan trắc cho nhiều ngƣỡng đã định. Bảng liên hợp truyền thống 2x2 chỉ sử dụng cho một sự kiện đơn lẻ, các giá trị của biến không vƣợt quá một ngƣỡng nhất định. Bảng này khơng những có thể mở rộng các ngƣỡng cƣờng độ mà cịn có thể tăng kích thƣớc, ví dụ nhƣ kích thƣớc về khơng
gian, thời gian. Bất kỳ một thành phần lân cận nào Iy scũng có thể đƣợc xác định theo nguyên tắc. e s e s s y P P P P I 1 0
Với Pe=1/n, tức là bắt buộc phải có ít nhật một sự kiện xảy ra trong hộp lƣới dự báo, tƣơng ứng với sự kiện quan trắc đƣợc ở tâm của cửa sổ quan trắc. “Một dự báo tốt là dự báo có ít nhất một sự kiện gần với sự kiện quan trắc đƣợc”. Điều này cho thấy sai số dự báo là chấp nhận đƣợc.
e. Cường độ - quy mô (Intensity-scale)
Phƣơng pháp này đƣợc đề xuất bởi Casati (2004), quy mô phụ thuộc vào hiệu sai số, Iy - Ix, sử dụng mảng hai chiều. Hiệu sai số Iy Ix stại mỗi quy mơ có thể coi nhƣ là tổng sai số trung bình tại quy mơ lớn nhất và thay đổi tùy vào tính chất đặc trƣng của quy mơ đó. Các giá trị bình phƣơng trung bình đƣợc tính theo miền và phụ thuộc vào điểm kỹ năng (ss) có tính đến dự báo ngẫu nhiên khơng có kỹ năng. Trƣờng hợp này một dự báo tốt là dự báo đúng nhiều hơn là quan trắc sắp xếp ngẫu nhiên. Phƣơng pháp này không giống với các phƣơng pháp khác, phƣơng pháp này sử dụng cửa sổ rời rạc hơn là các cửa sổ động, chính vì vậy phƣơng pháp này đƣợc thực hiện khá nhanh.
f. Điểm kỹ năng phần tử (Fractions skill score - FBS).
Phƣơng pháp này đƣợc phát triển bởi Roberts (2005), so sánh trực tiếp các phần tử trong sự kiện trong các cửa sổ bao quanh vùng quan trắc và dự báo. Nguyên tắc cơ bản của mơ hình là một dự báo tốt khi tần suất các sự kiện dự báo gần trùng với tần suất các sự kiện quan trắc. Thay vì suy luận từ các tần suất xuất hiện sự kiện các vùng lân cận, chúng đƣợc sử dụng trực tiếp để so sánh các điểm số Brier, nhƣ sau:
N s x s y P P N 2 ) ( 1 FBS
Trong đó N là số các ơ lƣới trong cửa sổ. FBS là một trong những trƣờng hợp (bằng một nửa) của điểm số Brier nhƣng giá trị quan trắc lúc này chỉ nhận giá trị từ 0 đến 1. Kết quả có thể đƣợc biểu diễn nhƣ là một điểm số kỹ năng các phần tử
N N s x s y P P N 2 2 1 FBS 1 FSS
Số hạng thứ hai trong mẫu số là khả năng dự báo kém nhất để khơng có sự chồng chéo giữa dự báo và quan trắc. FSS nhận giá trị trong khoảng từ 0 đến 1, giá trị tối ƣu bằng 1. Nếu độ lệch dự báo là Py s b Px s thì FSS tiến dần tới 2b/(b2-1) khi quy mơ tăng lên.
g. Phương pháp tiếp cận thực tế (Pragmatic approach)
Phƣơng pháp này sử dụng các dự báo trƣớc trong một vùng lân cận các điểm quan trắc. Thay vì đánh giá xác suất dự báo trong các ơ lân cận dựa trên các quan trắc, trong miền lân cận đƣợc chọn để đánh giá dựa trên các giá trị quan trắc ở trung tâm hộp lƣới. Phƣơng pháp này sử dụng điểm Brier (BS) và điểm kỹ năng Brier (BSS) để đánh giá các dự báo thành công. Quyết định tới mơ hình: Một dự báo tốt là dự báo có khả năng cao phát hiện sự kiện có xảy ra hay không. Để xác định mức độ phát triển của dự báo thực tiễn nó đƣợc đem so sánh với đầu ra của mơ hình, BSS đƣợc đối chiếu với đầu ra của mơ hình mà có xác suất bằng 0 hoặc 1 tại điểm quan trắc. Để áp dụng, thay vì tính tốn BSS với lƣu ý đến khí hậu tiêu biểu trong tồn miền quan trắc.
N x x N x s y I P N I P N 2 2 ) ( 1 ) ( 1 1 BSS
h. Phương pháp thực nghiệm hoàn hảo (Practically perfect hindcast)
Brooks (1998) đã phát triển một phƣơng pháp đánh giá fuzzy để giải quyết vấn đề đánh giá các sự kiện hiếm. Rất khó khăn nếu khơng nói là khơng thể để đạt đƣợc một dự báo hồn hảo cho các sự kiện hiếm hoi, do đó, điểm số nhƣ số điểm cảnh báo (TS) thƣờng có giá trị rất thấp. Mục đích đƣa ra các điểm số đánh giá trong trƣờng hợp này là so sánh nó với số điểm đạt đƣợc bằng một "thực nghiệm hồn hảo", đó là dự báo khơng gian đã đƣợc xác định bởi một kiến thức dự báo hoàn hảo của dự báo viên về các quan trắc trƣớc đó .
Nếu quan trắc trên một mạng lƣới có độ phân giải cao (ví dụ, dữ liệu radar) thì xác suất Px scó thể đƣợc ƣớc lƣợng từ quan trắc trong các vị trí lân cận. Đối với mỗi quy mô nhất định, các ngƣỡng xác suất đƣợc xác định nhƣ sau:
thresh s thresh s s P P P P I 1 0
Ngƣỡng xác suất đƣợc đƣa ra là giá trị điểm cảnh báo TS lớn nhất trên toàn miền khi Ix s đƣợc đánh giá dựa trên việc xác định Ix tƣơng ứng đƣợc định nghĩa là vùng mƣa sát thực. Sử dụng ngƣỡng dự báo xác suất Iy sđƣợc tính và đánh giá với Ix tƣơng ứng.
i. Căn bậc hai có điều kiện của RPS (Conditional square root of RPS)
Germann và Zawadzki (2004) áp dụng phƣơng pháp một điểm quan trắc – một vùng dự báo để đánh giá lƣợng mƣa. Tần suất xuất hiện của các giá trị dự báo giáng thủy tăng theo hàm lôga thời gian, đƣợc dùng để phân cấp các điểm số xác suất (RPS). Căn bậc hai của nó có thể đƣợc hiểu nhƣ là độ lệch chuẩn của xác suất. Thông thƣờng mƣa quan trắc đƣợc dùng để đánh giá kết quả để so sánh với các sự kiện khác của dự báo. Điểm số này là căn bậc hai của RPS (ký hiệu là CSRR) 0 CSRR x P RPS
Trong trƣờng hợp này, dự báo rất hữu ích nếu nó có một xác suất cao phù hợp với giá trị quan sát.
j. Vùng liên đới RMSE (Area related RMSE)
Rezacova et al. (2006) đề xuất, cách tiếp cận của phƣơng pháp này là so sánh các giá trị dự báo lƣới phân giải cao và quan trắc trong vùng lân cận để đƣa ra sai số quy mô phụ thuộc vào quan trắc E s. Dự báo tốt là dự báo có độ phân