Theo Simon và cộng sự (2003) [34], việc đánh giá các dự báo xác suất là rất phức tạp. Thông thường, các nghiên cứu đánh giá sử dụng mối quan hệ giữa một chuỗi giá trị dự báo và một chuỗi các giá trị quan trắc tương ứng [40]. Còn theo Buizza và Palmer (1998) [10], định lượng cơ bản nhất sử dụng để đánh giá hệ thống dự báo tổ hợp là kỹ năng dự báo trung bình tổ hợp. Mà kỹ năng dự báo trung bình tổ hợp có thể dựa vào các chỉ số thống kê, ví dụ như sai số trung bình tuyệt đối (MAE). MAE là thước đo sai số dự báo của các biến khí quyển liên tục, và Wilks sử dụng MAE để kiểm định các dự báo nhiệt độ ở Hoa Kỳ [39]. Ngoài ra, Eric P.
Grimit và Clifford F. Mass (2006) [18] cho rằng một trong những cách để xác định khả năng thực hiện của hệ thống dự báo tổ hợp là mối quan hệ giữa độ tán tổ hợp và độ chính xác của dự báo. Mối quan hệ này thường đặc trưng bởi tương quan tuyến
16
tính giữa sai số dự báo và độ tán tổ hợp. Còn tác giả Kiều và cộng sự (2013) [23] lại đánh giá khả năng thực hiện của hệ thống dự báo tổ hợp dựa theo tỷ số giữa độ tán tổ hợp và sai số trung bình tuyệt đối (ký hiệu tỷ số là η). Nếu η>1 tương ứng với hệ thống tổ hợp dự báo hiệu quả (đây là trường hợp lý tưởng được mong đợi ở tất cả các hệ thống dự báo tổ hợp), ngược lại nếu η<1, tương ứng với hệ thống tổ hợp dự báo chưa hiệu quả. Cách đánh giá hệ thống tổ hợp của tác giả Kiều và cộng sự (2013) [23], phù hợp với cách xác định “tổ hợp tốt” và “tổ hợp xấu” của Kalnay và cộng sự (2006) [45]. Vì theo Kalnay, một “tổ hợp tốt” là một tổ hợp bao phủ được giá trị thật hoặc giá trị thật chính là một thành phần tổ hợp. Trong trường hợp này giá trị trung bình gần với giá trị thật hơn so với kết quả của dự báo tất định (η>1) (hình 1.3) và độ tán tổ hợp chính là sai số dự báo. Còn một “tổ hợp xấu” là một tổ hợp được tạo ra do sự lựa chọn nhiễu ban đầu kém hoặc/và do sự thiếu chính xác của mô hình, nên các dự báo không thể xác định được giá trị thật, và các giá trị dự báo gần nhau hơn so với giá trị thật hay nói một cách khác “tổ hợp xấu” là độ tán tổ hợp không phủ được giá trị thật. Vì vậy trong luận văn này, tác giả sử dụng sai số trung bình tuyệt đối và tỷ số giữa độ tán tổ hợp và sai số trung bình tuyệt đối để đánh giá khả năng dự báo quỹ đạo và cường độ bão của hệ thống WRF-LETKF.
Các phương pháp đánh giá được giới thiệu dưới đây.
Hình 2.4. Sơ đồ các thành phần của một “tổ hợp dự báo tốt” (hình trái) và ” tổ hợp dự báo xấu” (hình phải) trong hệ thống dự báo tổ hợp
(nguồn Kalnay và cộng sự 2006 [45])
17 2.5.1 Phương pháp đánh giá dựa vào MAE
Theo Wilks (1995) [39], sai số trung bình tuyệt đối (MAE) được sử dụng để đánh giá các dự báo của biến khí quyển liên tục. Do vậy, MAE được áp dụng như một chỉ số để đánh giá sai số cường độ bão (áp suất mực biển cực tiểu tại tâm - PMIN và tốc độ gió cực đại gần tâm - VMAX). Với MAE - sai số trung bình tuyệt đối được tính bằng công thức sau:
𝑀𝐴𝐸 = 1
𝑛 𝑛𝑖=1 𝑦𝑖 − 𝑂𝑖 (2.1)
Trong đó, MAE là sai số trung bình tuyệt đối; 𝑦𝑖là giá trị dự báo; 𝑂𝑖 là giá trị quan trắc; n là độ dài chuỗi số liệu.
2.5.2 Phương pháp đánh giá dựa vào tỷ số giữa độ tán tổ hợp và sai số tuyệt đối.
Như đã đề cập ở phần đầu, phương pháp đánh giá hệ thống tổ hợp dựa trên tỷ số giữa độ tán tổ hợp và sai số trung bình tuyệt đối của tác giả Kiều và cộng sự (2013) [23] là phù hợp với cách xác định “tổ hợp tốt” và “tổ hợp xấu” của tác giả Kalnay và cộng sự (2006) [45]. Do vậy, tác giả sẽ dùng chỉ tiêu này để đánh giá khả năng dự báo quỹ đạo và cường độ bão hạn 5 ngày của hệ thống WRF-LETKF.
Trong phần 2.1 đã giới thiệu về sai số trung bình tuyệt đối, trong phần này tác giả sẽ giới thiệu về độ tán tổ hợp.
Theo Theo Simon C. Scherrer và cộng sự (2003) [34], không có một định nghĩa chính xác nào về độ tán tổ hợp. Trên thực tế nhiều tác giả đã đưa ra các định nghĩa khác nhau về độ tán tổ hợp [12][27][33][32], nhưng một định nghĩa dễ hiểu nhất về độ tán tổ hợp chính là độ lệch chuẩn so với dự báo trung bình tổ hợp. Ngoài ra, tác giả Kiều và cộng sự (2013) [23], cũng định nghĩa độ tán tổ hợp là độ lệch chuẩn so với trung bình tổ hợp. Vì vậy, trong luận văn này tác giả cũng xác định độ tán tổ hợp theo cách xác định của Kiều và cộng sự (2013) [23].
Với độ lệch chuẩn là căn bậc 2 của phương sai, mà phương sai là đại lượng đặc trưng cho sự phân tán, tản mạn của của các đại lượng ngẫu nhiên quanh kỳ vọng toán học. Độ lệch chuẩn xác định theo biểu thức sau [40]:
Độ 𝑡á𝑛 = 𝑅𝑀𝑆𝐸 = 1
𝑛 𝑛𝑖=1(𝑦𝑖 − 𝑦 )2 (2.2)
18
Trong đó, RMSE là độ lệch căn quân phương trung bình – độ lệch chuẩn; 𝑦𝑖là giá trị của các thành phần tổ hợp ở các hạn dự báo cụ thể; 𝑦 là giá trị trung bình tổ hợp;
n là số thành phần tổ hợp.
Do đó, nếu ta giả thiết η là tỷ số giữa độ tán tổ hợp và sai số tuyệt đối, khi đó ta có biểu thức:
𝜂 =𝑅𝑀𝑆𝐸
𝐴𝐸 (2.3) Với 𝐴𝐸 = 𝑦 − 𝑂 , O là giá trị quan trắc.
Nếu η>1, hệ thống dự báo tổ hợp hiệu quả, tương ứng với độ tán tổ hợp phủ được “giá trị thật”. Đây là trường hợp mong đợi của tất cả các hệ thống dự báo tổ hợp.
Nếu η<1, hệ thống dự báo tổ hợp kém hiệu quả, ứng với độ tán tổ hợp không phủ được “giá trị thật”. Trường hợp này xảy ra ở hầu hết các hệ thống dự báo tổ hợp.
Còn các định nghĩa khác về độ tán có thể xem trong [17] [32][39][ 37].
Như vậy, khi so sánh tính hiệu quả cả 2 hệ thống tổ hợp, chúng ta có thể tính 2 tỷ số η (η1 và η2). Khi đó:
Nếu η1 > η2, thì hệ thống dự báo tổ hợp 1 hiệu quả hơn hệ thống dự báo tổ hợp 2; Ngược lại, hệ thống dự báo tổ hợp 1 kém hiệu quả hơn hệ thống dự báo tổ hợp 2.
Trong luận văn, tác giả áp dụng tỷ số η để đánh giá khả năng dự báo cường độ (PMIN và VMAX) và quỹ đạo bão của hệ thống dự báo tổ hợp WRF-LETKF.
Trong đó sai số quỹ đạo được tính theo công thức (2.4):
𝑃𝐸 = 𝑅𝑒 ∗ arccos[sin 𝛼1 ∗ sin 𝛼2 + cos 𝛼1 ∗ cos 𝛼2 ∗ cos 𝛽1 − 𝛽2 ] (2.4) Trong đó, Re là bán kính trái đất có giá trị 6378.16 km; α1, α2 là vĩ độ của tâm bão thực tế và tâm bão do mô hình dự báo (đơn vị radian); β1, β2 là kinh độ của tâm bão thực tế và tâm bão do mô hình dự báo (đơn vị radian).
Và giá trị trung bình sai số khoảng cách MPE được tính như sau:
𝑀𝑃𝐸𝑗 = 𝑃𝐸𝑖,𝑗
𝑛 𝑖=1
𝑛 (2.5)
19
Trong đó, PE là sai số khảng cách của từng trường hợp dự báo; n là số trường hợp thử nghiệm; j là hạn dự báo.
Chuỗi số liệu được sử dụng để đánh giá trong luận văn là 9 trường hợp dự báo cơn bão Megi hạn 5 ngày tại các thời điểm bắt đầu dự báo khác nhau với hệ thống WRF-LETKF đồng hóa số liệu vệ tinh và số liệu hỗn hợp (cao không+vệ tinh).
Ngoài ra, trong thử nghiệm khảo sát số thành phần tổ hợp, tác giả sử dụng sai số căn quân phương năng lượng trung bình thể tích để đánh giá tính hiệu quả của hệ thống dự báo tổ hợp với số thành phần tổ hợp biến đổi từ 10 đến 50 thành phần, nhằm xác định số thành phần tổ hợp tối ưu nhất. Chỉ số này được giới thiệu chi tiết trong phần dưới đây
2.5.3 Phương pháp đánh giá dựa vào sai số căn quân phương năng lượng trung bình thể tích.
Để có thể đánh giá một cách toàn diện về tính hiệu quả của hệ thống tổ hợp WRF-LETKF với số thành phần tổ hợp khác nhau, tác giả sử dụng sai số căn quân phương năng lượng trung bình thể tích (volume-averaged energy root mean squared errors-EME), công thức 2.6 [23]:
2 /
)1
2(
1 TT
T V C V U U
EME p (2.6) Trong đó chữ cái U’, V’ ký hiệu sự chênh lệch giữa giá trị thực và giá trị dự báo ở cùng thời điểm (U, V thành phần gió vĩ hướng và gió kinh hướng, T là nhiệt độ), Cp là nhiệt dung đẳng áp, 𝑇 = 273 𝐾 là nhiệt độ trung bình, và trung bình trên toàn miền lưới.
20 Chương 3