CHƯƠNG 2 PHƯƠNG PHÁP VÀ TẬP SỐ LIỆU NGHIÊN CỨU
2.3. Đối tượng và phương pháp đánh giá
2.3.1 Đối tượng đánh giá.
Để có thể đánh giá được chất lượng dự báo mưa lớn của hệ thống SREPS, trong nghiên cứu này tôi sử dụng đại lượng mưa tích lũy 24h - R24 (được tính từ
19h tối của hơm trước đến 19 giờ tối của hơm sau - tương tự như lượng mưa tích lũy 24h được phát báo trong các mã điện synop). Do sử dụng đại lượng R24, nên trong nghiên cứu này tôi sử dụng khái niệm ngày mưa lớn diện rộng được tính theo “Qui định tạm thời về tổng kết các hiện tượng thời tiết nguy hiểm hàng năm” của Trung tâm Dự báo Khí tượng Thủy văn quốc gia. Cụ thể, một ngày thỏa mãn điều kiện mưa lớn diện rộng nếu có từ 1/2 số trạm trong khu vực nghiên cứu có lượng
mưa R24 lớn hơn 16mm/24h. Ngoài ra, để xem xét chi tiết hơn theo cường độ mưa,
trong phần đánh giá dự báo pha, tôi sử dụng thêm 2 cấp độ mưa lớn là mưa to (51mm/24h ≤ R24 ≤ 100mm/24h) và mưa rất to (R24 > 100mm/24h).
Do sử dụng lượng mưa tích lũy 24h được tính từ 19h tối của hôm trước đến 19 giờ tối của hôm sau, nên để đơn giản trong việc xử lý số liệu dự báo từ hệ thống SREPS, tôi sử dụng số liệu dựbáo mưa của SREPS bắt đầu từ phiên dự báo 12UTC (19 giờ Việt Nam) thay vì sử dụng các dự báo bắt đầu từ 00UTC. Mặt khác, đại
lượng R24 được sử dụng đểđánh giá, nên trong các phần đánh giá dưới đây kết quả
tính tốn các chỉ số đánh giá cho hạn dự báo 24h, 48h và 72h cần được hiểu tương ứng là đánh giá dự báo lượng mưa tích lũy 24h từ 00-24h (dự báo lượng mưa ngày
thứ đầu tiên), 24h-48h (dự báo lượng mưa ngày thứ hai) và 48-72h (dự báo lượng
mưa ngày thứ ba). Khái niệm lượng mưa tích lũy tổng cộng theo hạn dự báo khơng
được sử dụng trong nghiên cứu này.
Do khơng có số liệu mưa quan trắc trên lưới như độ phân giải của hệ thống SREPS, nên việc đánh giá chất lượng dự báo mưa lớn của hệ thống SREPS được thực hiện tại các điểm trạm quan trắc. Do đó, cần thiết phải nội suy số liệu mưa dự
báo từlưới mơ hình vềđiểm trạm. Trong nghiên cứu này, tôi sử dụng phương pháp
nội suy điểm gần nhất để đưa dữ liệu dự báo mưa trên lưới vềđiểm trạm quan trắc
đểđảm bảo hạn chế tối đa các sai sốdo phương pháp nội suy gây nên, do đại lượng
mưa có tính cục bộ cao. Hình 2.2. dưới đây đưa ra sơ đồ minh họa phương pháp nội
suy điểm gần nhất. Theo phương pháp này, từ vị trí của điểm cần nội suy, thuật tốn sẽ tính tốn khoảng cách của điểm nút lưới gần nhất và sử dụng giá trị tại nút lưới
này để gán cho điểm nội suy. Ngoài ra, để hạn chế việc lựa chọn sai điểm nút lưới trên biển (do tất cả các trạm đều ở trên đất liền), bản đồ mặt nạđất biển của các mơ hình trong hệ thống SREPS được sử dụng để đảm bảo chỉ những điểm nút lưới trên
Hình 2.2. Sơ đồ minh họa phương pháp nội suy điểm gần nhất
Để chỉ ra được chất lượng dự báo mưa lớn của SREPS theo cả góc độ định
lượng và pha mưa, tơi sử dụng 2 nhóm chỉ số đánh giá gồm các đánh giá dự báo
định lượng (như ME, MAE, RMSE, hệ sốtương quan - HSTQ) và các chỉ số đánh
giá dự báo pha (FBI, POD, FAR).
2.3.2 Phương pháp đánh giá dự báo mưa. 2.3.2.1 Đánh giá dự báo định lượng
Khi ta đo mưa ởcác điểm đo thì lượng mưa đo được là các số thực dương và
ta có số liệu trường. Sau khi sản phẩm dựbáo mưa từnút lưới được nội suy về trạm,
ta cũng có trường mưa dự báo. Tuy trường mưa không liên tục như trường áp và nhiệt, song lượng mưa tương ứng với từng điểm quan trắc thì vẫn được xem là liên tục. Trong trường hợp này ta hồn tồn có thểđánh giá chất lượng dựbáo mưa bằng những công thức định lượng xác định mối quan hệ giữa mưa quan trắc thực tế và
mưa dự báo của mơ hình.
Các chỉ sốđánh giá với biến liên tục:
Trong các công thức dưới đây, Fi và Oi tương ứng là giá trị của mơ hình và giá trị quan trắc của một biến nào đó ( nhiệt độ, lượng mưa…), i = 1, 2, ….N; N là
dung lượng mẫu.
ME = 1
𝑁𝑁∑𝑁𝑁 (𝐹𝐹𝑖𝑖 − 𝑂𝑂𝑖𝑖)
𝑖𝑖=1 (2.5)
Giá trị của ME nằm trong khoảng (-∞, +∞). ME cho biết xu hướng lệch trung bình của giá trị dự báo so với giá trị quan trắc nhưng không phản ánh được độ lớn của sai số. ME dương cho biết giá trị dựbáo vượt quá giá trị quan trắc và ngược lại. Mơ hình được xem là hồn hảo nếu ME = 0.
b, Sai số tuyệt đối trung bình MAE:
MAE = 1
𝑁𝑁∑𝑁𝑁 |𝐹𝐹𝑖𝑖 − 𝑂𝑂𝑖𝑖|
𝑖𝑖=1 (2.6)
Giá trị MAE nằm trong khoảng (0,+∞). MAE biểu thị độ lớn trung bình của sai sốmơ hình nhưng khơng nói lên xu hướng lệch của giá trị dự báo và quan trắc. Khi MAE = 0, giá trị của mơ hình hồn tồn trùng khớp với giá trị quan trắc, mơ
hình được xem là lý tưởng. Thơng thường người ta sử dụng đồng thời MAE và ME
đểđánh giá độ tin cậy. Chẳng hạn MAE khác biệt hẳn với ME thì việc hiệu chỉnh là hết sức mạo hiểm. Trong trường hợp ngược lại khi MAE và ME tương đối sát với nhau thì có thểdùng ME để hiệu chỉnh sản phẩm dự báo một cách đáng tin cậy.
c, Sai số bình phương trung bình MSE
MSE = 1
𝑁𝑁 ∑𝑁𝑁 (𝐹𝐹𝑖𝑖 − 𝑂𝑂𝑖𝑖)2
𝑖𝑖=1 (2.7)
MSE là trung bình của tổng bình phương cuả hiệu giữa các giá trị mơ hình và quan trắc, phản ánh mức độdao động của sai số. Mơ hình là lý tưởng nếu MSE = 0.
d, Sai số bình phương trung bình quân phương RMSE
RMSE = �𝑁𝑁1 ∑𝑁𝑁 (𝐹𝐹𝑖𝑖− 𝑂𝑂𝑖𝑖)2
𝑖𝑖=1 (2.8)
Sai số bình phương trung bình là một trong những đại lượng cơ bản và
thường được sử dụng phổ biến cho việc đánh giá kết quả của mơ hình dự báo số trị. Người ta thường hay sử dụng đại lượng sai sốbình phương trung bình quân phương
(RMSE) biểu thị độ lớn trung bình của sai số. RMSE rất nhạy với những giá trị sai số lớn. Do đó nếu RMSE càng gần MAE sai số mơ hình càng ổn định và có thể thực
hiện việc hiệu chỉnh sản phẩm mơ hình. Giống như MAE, RMSE không chỉ ra độ
lệch giữa giá trị dự báo và giá trị quan trắc. Giá trị của RMSE nằm trong khoảng
(0,+ ∞). Khi so sánh MAE và RMSE ta thấy: RMSE ≥ MAE. Còn RMSE = MAE
khi và chỉ khi tất cả các sai sốcó độ lớn như nhau: RMSE = MAE = 0.
e, Hệ số tương quan r
Hệ số tương quan cho phép đánh giá mối quan hệ tuyến tính giữa tập giá trị
dự báo và tập giá trị quan trắc. Giá trị của nó biến thiên trong khoảng -1 đến 1, giá trị hoàn hảo bằng 1. Giá trị tuyệt đối của hệ sốtương quan càng lớn thì mối quan hệ
tuyến tính giữa hai biến càng chặt chẽ. Hệ sốtương quan dương phản ánh mối quan hệ cùng chiều (đồng biến), hệ số tương quan âm biểu thị mối quan hệ ngược chiều (nghịch biến) giữa dự báo và quan trắc.
2.3.2.2 Đánh giá dự báo pha
Trường hợp đơn giản nhất của các biến phân hạng là biến nhị phân (chỉ có hai giá trị) ví dụ mưa có xuất hiện hay khơng. Trong trường hợp này người ta
thường sử dụng bảng phân loại như mô tả trong bảng 2.3 trong đó N = A+B+C+D
là dung lượng mẫu. Bảng 2.3 chỉ ra các tần suất dự báo và quan trắc có hay khơng. Có tất cả bốn cách kết hợp giữa dự báo (có hoặc khơng) và quan trắc (có hoặc khơng), ta gọi đó là phân bố chung.
Phân bố chung bao gồm:
- Tỷ lệ dựbáo trúng (hit): đối tượng được dự báo là xảy ra và thực tếđã xảy ra. - Dựbáo sai (miss): đối tượng được dự báo là không xảy ra nhưng thực tế lại xảy ra.
- Báo động sai (false alarms): đối tượng được dự báo là xảy ra nhưng thực tế
không xảy ra.
- Dựbáo đúng “yếu” (correct negative): đối tượng được dự báo là không xảy ra và thực tế khơng xảy ra.
Một dự báo hồn hảo sẽ chỉ cho ta “dựbáo trúng” và “đúng yếu” không cho
“báo động sai” và dự báo sai”
Bảng 2.3 Bảng tổng hợp đánh giá dự báo nhị phân
Dự báo Quan trắc
Có Khơng Có A – dựbáo đúng B – báo động sai Không C – dự báo sai D – đúng “yếu”
Một số chỉ sốđánh giá dựa trên thống kê từ bảng 2.1 bao gồm:
a, Chỉ số FBI (hay BS):Đánh giá tỷ số giữa vùng dự báo và vùng thám sát
FBI =𝐴𝐴+𝐵𝐵
𝐴𝐴+𝐶𝐶 (2.9)
FBI < 1: vùng dự báo nhỏhơn vùng thám sát.
FBI >1: vùng dự báo lớn hơn vùng thám sát
FBI=1: vùng dự báo trùng với vùng thám sát (giá trịlý tưởng)
FBI là tỉ lệ giữa số lần có xảy ra hiện tượng theo mơ hình và theo quan trắc. Giá trị FBI biến đổi trong khoảng từ0 đến +∞. FBI càng nhỏhơn 1 mơ hình cho kết quả càng sai sót nhiều; FBI càng lớn hơn 1 mơ hình cho kết quả càng sai khống nhiều. Giá trị lý tưởng là FBI = 1. Đại lượng FBI chỉ cho biết mức độ phù hợp giữa mơ hình và quan trắc về tần số xuất hiện nhưng khơng phản ánh độ chính xác của mơ hình.
b, Xác suất phát hiện (POD)
POD = 𝐴𝐴
𝐴𝐴+𝐶𝐶 (2.10)
POD được hiểu là xác suất xuất hiện hiện tượng, bằng tỷ số giữa số lần trùng khớp giữa mơ hình và quan trắc khi hiện tượng có xuất hiện (A) và tổng số lần xuất hiện hiện tượng trong thực tế. POD cho biết khả năng thành cơng của mơ hình, có giá trị trong khoảng từ 0 đến 1, lý tưởng là POD = 1 (mơ hình được xem là hồn
hảo). POD càng gần 1 thì độ chính xác của mơ hình càng cao. POD rất nhạy đối với “dự báo trúng”, không nhạy đối với “báo động sai”.
c, Chỉ số FAR (tỷ lệ phát hiện sai) FAR = 𝐵𝐵
𝐴𝐴+𝐵𝐵 (2.11)
FAR cho biết tỷ lệ mô phỏng/dự báo khống của mơ hình (mơ hình cho kết quảcó nhưng thực tế hiện tượng không xảy ra). Giá trị của FAR biến đổi từ0 đến 1. FAR = 0 khi B = 0, tức là tỷ lệ khống của mơ hình bằng 0. Giá trị của FAR càng gần 0 thì mơ hình càng tốt (tối ưu). Ngược lại, FAR càng tiệm cận tới 1 (tương đương với A tiến gần tới 0) thì mơ hình càng kém.
Các chỉ sốđánh giá được tính tốn chủ yếu bằng công cụExel để so sánh dự
báo của các thành phần trong hệ thống SREPS và các phương pháp tổ hợp với nhau, cụ thểđược trình bày trong chương 3.