Do chưa có đầy đủ các nguồn số liệu phân tích hoặc tái phân tích trên lưới của miền dự báo nên để tiến hành đánh giá trong luận văn này sẽ so sánh trực tiếp sản phẩm của mô hình sau khi đã nội suy về mạng lưới trạm khí tượng trên lãnh thổ Việt Nam với số liệu quan trắc synop tương ứng tại trạm.
Số liệu quan trắc được sử dụng là bộ số liệu hàng ngày từ 172 trạm của các yếu tố: nhiệt độ trung bình ngày (T2m), nhiệt độ cực đại ngày (Tx), nhiệt độ cực tiểu ngày (Tm) và lượng mưa ngày (R24).
Ngưỡng quan trắc Ngưỡng
37
Hai khía cạnh được quan tâm xem xét khi đánh giá ở đây là hạn dự báo (Lead time) và thời điểm được dự báo (Target month) hay đích dự báo. Do đó khi lập các tập mẫu, tất cả các lần dự báo trong một tháng được gộp lại với nhau nhằm làm tăng dung lượng mẫu. Mặc dù vậy dung lượng mẫu vẫn chưa đủ lớn vì mới chỉ có chưa đầy một năm làm dự báo và mỗi tháng chỉ có tối đa 4-5 lần dự báo. Bởi vậy, toàn bộ số liệu của tất cả các trạm cũng đã được gộp lại. Nói cách khác, việc đánh giá ở đây mới chỉ dừng lại ở mức độ xem xét tính hợp lý của kết quả dự báo, chưa thể nói về độ chính xác của dự báo vì việc “trộn lẫn” đó có thể sẽ gây ra sự bất đồng nhất lớn trong tập mẫu.
Một vấn đề khác, trong dự báo hạn mùa, đơn vị thời gian dự báo (time window) tối thiểu là một tháng thay vì hàng ngày hoặc hàng giờ như trong dự báo thời tiết. Nghĩa là giá trị dự báo chỉ có ý nghĩa phản ánh “điều kiện thời tiết” trong tháng được dự báo chứ không thể chỉ rõ hiện tượng sẽ xảy ra vào ngày nào cụ thể. Việc so sánh giá trị dự báo với giá trị quan trắc theo đơn vị ngày vì vậy chưa thực sự hợp lý, nhất là các đặc trưng phản ánh sai số hệ thống, sai số quân phương hay hệ số tương quan. Tuy nhiên cũng vì lý do dung lượng mẫu bé nên trong luận văn này vẫn phải sử dụng cách xem xét đó với mục đích đánh giá sơ bộ. Ngoài ra, để hợp lý hơn, ở đây đã sử dụng thêm hai đặc trưng khác là phân bố tần suất không điều kiện một chiều và hai chiều.
Từ đó, tập mẫu được sử dụng để đánh giá cho một tháng (target) nào đó sẽ là: 1) Là số ngày trong tháng đầu tiên được dự báo.
2) Số giá trị cho một tháng sử dụng thêm hai đặc trưng khác là phân bố tần suất và phân bố đồng thời. Ở đây, số liệu quan trắc được lặp lại cho mỗi lần dự báo do đó luôn luôn có sự tương ứng mỗi giá trị dự báo sẽ có một giá trị quan trắc. Dung lượng mẫu sẽ là:
N = 172 x Nday x Nfcs
Với Nday là số ngày của tháng đích (target), Nfcs là số lần chạy dự báo có thể có (ít nhất 1 lần, nhiều nhất 5 lần).
Các đặc trưng thống kê được sử dụng trong đánh giá gồm: 1) Sai số trung bình hay sai số hệ thống ME (Mean Error)
) ( 1 1 i N i i O F N ME
38
Chỉ số ME biểu thị sai số trung bình của mô hình so với quan trắc, nó cho biết thiên hướng sai số của mô hình nhưng không phản ánh độ lớn của sai số. ME dương có nghĩa là giá trị của mô hình có xu hướng cao hơn quan trắc, ME âm thì mô hình thấp hơn quan trắc. Mô hình được xem là ”hoàn hảo” (không thiên lệch về một phía nào cả) nếu ME=0. Miền giá trị của ME biến thiên từ - đến +.
2) Sai số quân phương RMSE (Root Mean Square Error)
N i i i O F N RMSE 1 2 1
RMSE là căn bậc hai của MSE và là thước đo của biên độ sai số nhưng không cho biết thiên hướng của sai số, và còn được gọi là sai số bậc hai. Khi sai số biến động càng mạnh thì RMSE càng lớn. Đặc biệt RMSE rất nhạy cảm với những giá trị sai số lớn. Do đó, nếu RMSE càng gần MAE sai số mô hình càng ổn định và có thể thực hiện việc hiệu chỉnh sản phẩm mô hình. Giữa RMSE và MAE tồn tại bất đẳng thức MAERMSE. Dấu “=” xảy ra khi và chỉ khi mô hình hoàn toàn không có sai số, khi đó RMSE = MAE = 0.
3) Hệ số tương quanCOR (Correlation Coefficient)
COR= Fi-F ( )(Oi-O) i=1 N å Fi -F ( )2 i=1 N å (Oi -O)2 i=1 N å 4) Phân bố tần suất một chiều
P1(fj, fk) = P(fj≤ F <fk) P1(oj, ok) = P(oj ≤ O<ok) 5) Phân bố tần suất hai chiều
39
Trong các công thức trên đây, Fi và Oi tương ứng là giá trị mô hình và giá trị quan trắc của một biến nào đó,i=1,2,…, N, vớiN là dung lượng mẫu.
40
Chương 3
KẾT QUẢ VÀ NHẬN XÉT
3.1 Kết quả nhiệt độ trung bình tháng a) Nhiệt độ trung bình tháng