đánh giá sai số hệ thống dự báo ma của mô hình hrm cho khu vực đông bắc bộ

Luận văn này tập trung vào việc đánh giá sai số hệ thống dự báo mưa của mô hình HRM theo không gian và thời gian kết hợp với một số hình thế thời tiết chính gây mưa, mưa vừa và mưa lớn c

ĐạI HọC QUốC GIA Hà NộI TRƯờNG ĐạI HọC KHOA HọC Tự NHIÊN

đánh giá sai số hệ thống dự báo mưa của

§¹I HäC QUèC GIA Hµ NéI TR¦êNG §¹I HäC KHOA HäC Tù NHI£N

MỤC LỤC

MỞ ĐẦU

CHƯƠNG 1 KHÁI QUÁT VỀ MÔ HÌNH HRM VÀ VẤN ĐỀ ĐÁNH GIÁ CHẤT

LƯỢNG DỰ BÁO THỜI TIẾT 1

1.1 Giới thiệu tóm tắt mô hình HRM (High resolution regional model) ở Trung tâm dự báo KTTV Trung Ương 1

1.1.1 Khái quát về mô hình HRM 1

1.1.2 Chạy mô hình HRM với các số liệu ban đầu và số liệu biên từ ba mô hình toàn cầu khác nhau 2

1.2 Khái quát về bài toán đánh giá chất lượng dự báo thời tiết 5

1.2.1 Mục đích và ý nghĩa của đánh giá dự báo 6

1.2.2 Mô hình đánh giá chung cho các yếu tố dự báo thời tiết 7

1.2.3 Các yếu tố dự báo 11

1.2.4 Các điểm số dùng trong đánh giá 12

1.3 Mô hình đánh giá sản phẩm dự báo số trị 14

1.4 Các đặc trưng đánh giá 17

1.4.1 Độ chính xác 17

1.4.2 Kỹ năng dự báo 18

1.4.3 Độ tin cậy 18

1.4.4 Độ phân giải 18

1.4.5 Độ biến động 19

1.5 Các phương pháp đánh giá sản phẩm dự báo số 19

1.5.1 Những nguyên nhân sai số dự báo bằng mô hình số 19

1.5.2 Một số định nghĩa 20

1.5.3 Phương pháp đánh giá với biến liên tục 22

1.5.4 Phương pháp đánh giá với dự báo pha 28

CHƯƠNG 2 SỐ LIỆU VÀ PHƯƠNG PHÁP ĐÁNH GIÁ DỰ BÁO BÁO MƯA

MÔ HÌNH HRM .34

2.1 Số liệu 34

2.1.1 Số liệu mưa quan trắc và thực tế 34

2.1.2 Số liệu mưa dự báo của mô hình HRM 37

2.2 Phương pháp đánh giá dự báo mưa của mô hình HRM 38

2.2.1 Đánh giá khi xem mưa là biến liên tục 38

2.2.2 Đánh giá mưa khi phân lượng mưa ra đa cấp rời rạc 38

2.2.3 Đánh giá mưa khi phân lượng mưa ra 2 cấp một 41

2.3 Căn cứ phân loại hình thế synốp chính gây mưa khu vực Đông Bắc Bộ 43

2.3.1 Cơ sở phân loại hình thế synốp và các tác nhân gây mưa khu vực Đông Bắc Bộ 43

2.3.2 Đặc trưng và mô phỏng các loại hình thế thời tiết gây mưa ở khu vực Đông Bắc Bộ 47

2.4 Thống kê về các ngày có mưa lớn diện rộng và các hình thế gây ra mưa lớn diện rộng trong ba năm 2005, 2006 và 2007 ở khu vực Đông Bắc Bộ 61

CHƯƠNG 3 KẾT QUẢ TÍNH TOÁN VÀ PHÂN TÍCH DỰ BÁO MƯA MÔ HÌNH HRM 65

3.1 Các kết quả tính toán 65

3.2 Phân tích chất lượng sản phẩm dự báo 65

3.2.1 Phân tích sai số hệ thống Bias 66

3.2.2 Về những chỉ tiêu thống kê khác 76

KẾT LUẬN

TÀI LIỆU THAM KHẢO

LỜI CẢM ƠN

Trước hết, tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Văn Tuyên -

người đã tận tình chỉ bảo và hướng dẫn tôi hoàn thành luận văn này

Tôi xin cảm ơn các Thầy cô và các cán bộ trong khoa Khí tượng - Thủy văn -

Hải dương học đã cung cấp cho tôi những kiến thức chuyên môn quý giá, giúp đỡ và

tạo điều kiện thuận lợi về cơ sở vật chất trong suốt thời gian tôi học tập và thực hành ở

Khoa

Tôi xin cảm ơn các cán bộ phòng Dự báo Khí tượng Hạn ngắn, các cán bộ

phòng Nghiên cứu ứng dụng (Trung tâm dự báo Khí tượng Thủy văn Trung Ương), đặc

biệt là Thạc sĩ Vũ Anh Tuấn và Thạc sĩ Võ Văn Hòa đã tạo điều kiện, trao đổi chuyên

môn cũng như có những ý kiến quý báu giúp tôi hoàn thiện luận văn này

Tôi cũng xin cảm ơn Phòng sau đại học, Trường Đại học Khoa học Tự nhiên đã

tạo điều kiện cho tôi có thời gian hoàn thành luận văn

Cuối cùng, tôi xin gửi lời cảm ơn chân thành tới gia đình, người thân và bạn bè,

những người đã luôn ở bên cạnh cổ vũ, động viên và tạo mọi điều kiện tốt nhất cho tôi

trong suốt thời gian học tập tại trường

Trần Quang Năng

MỞ ĐẦU

Mô hình HRM (High resolution Regional model) đã được tiến hành chạy nghiệp

vụ từ năm 2001 tại Trung tâm Dự báo Khí tượng Thủy văn Trung ương và các sản phẩm của nó đã ngày càng trở nên quan trọng trong công tác dự báo nghiệp vụ hàng ngày Tuy nhiên, hiện nay việc đánh giá khả năng dự báo của mô hình HRM vẫn còn hạn chế Các dự báo viên vẫn thường xem xét sản phẩm dự báo số của mô hình theo kinh nghiệm nên vẫn chưa có hiểu biết một cách hệ thống và đầy đủ về khả năng dự báo của mô hình, đặc biệt là trong từng hình thế thời tiết cụ thể Do đó việc sử dụng sản phẩm của mô hình HRM còn chưa đem lại hiệu quả cao

Mưa vừa là yếu tố khí tượng vừa là hiện tượng thời tiết được liệt vào hàng các hiện tượng thời tiết khó dự báo nhất Không những chỉ khó dự báo mà việc đánh giá dự báo mưa cũng là một việc hết sức khó khăn và phức tạp Trước hết khó khăn nằm ngay trong bản chất trường yếu tố mưa là trường bất liên tục và không cố định cả theo thời gian lẫn không gian; nhiều đặc trưng thống kê có tính quy luật ở những yếu tố khí tượng khác, nhưng lại không có ở số liệu mưa, làm cho việc xử lý số liệu mưa cũng rất phức tạp Xong dự báo mưa lại có vai trò đặc biệt quan trọng trong phục vụ dự báo, nhất là phục vụ phòng chống thiên tai Vì vậy đó là vấn đề quan trọng cần thiết phải nghiên cứu Vì vậy, dự báo mưa và đánh giá dự báo mưa là vấn đề quan trọng cần thiết phải nghiên cứu

Luận văn này tập trung vào việc đánh giá sai số hệ thống dự báo mưa của mô hình HRM theo không gian và thời gian kết hợp với một số hình thế thời tiết chính gây mưa, mưa vừa và mưa lớn cho khu vực Đông Bắc Bộ

Bố cục luận văn gồm các phần:

Chương 1: Khái quát về mô hình HRM và vấn đề đánh giá chất lượng dự báo thời tiết

Chương 2: Số liệu và phương pháp đánh giá dự báo mưa mô hình HRM

Chương 3: Kết quả tính toán và phân tích dự báo mưa mô hình HRM

KẾT LUẬN

TÀI LIỆU THAM KHẢO

CHƯƠNG 1 KHÁI QUÁT VỀ MÔ HÌNH HRM VÀ VẤN ĐỀ ĐÁNH GIÁ

CHẤT LƯỢNG DỰ BÁO THỜI TIẾT

Chương 1 sẽ xem xét tổng quan về mô hình HRM (High resolution regional model) đang được chạy nghiệp vụ ở Trung tâm dự báo KTTV Trung Ương (NCHMF)

và vấn đề đánh giá chất lượng dự báo thời tiết nói chung cùng những phương pháp, điểm số nói riêng trong việc đánh giá các sản phẩm của mô hình dự báo thời tiết số 1.1 Giới thiệu tóm tắt mô hình HRM (High resolution regional model) ở Trung tâm dự báo KTTV Trung Ương

1.1.1 Khái quát về mô hình HRM

Mô hình khu vực độ phân giải cao HRM ban đầu được phát triển bởi Cơ quan Khí tượng Quốc gia Đức (DWD – Deutcher WetterDienst) và được đưa vào sử dụng nghiệp

vụ ở Trung tâm dự báo Khí tượng Thủy văn Trung Ương từ tháng 5 năm 2002, dự báo cho hai miền chính trong thời hạn 72 giờ Miền lớn xác định trong khoảng từ 50S –

350N, 800E – 1300E, 161x201 điểm lưới với độ phân giải ngang là 0.250 (28 km), 20 mực thẳng đứng và bước thời gian tích phân là 120s (HRM28) Miền nhỏ hơn xác định trong khoảng 7.1250N – 27.1250N, 97.250E – 117.250E, 161x161 điểm lưới với độ phân giải ngang là 0.125 (14 km), 31 mực thẳng đứng, bước thời gian tích phân là 90s (HRM14); cả hai miền này đều sử dụng số liệu ban đầu và số liệu biên lấy từ mô hình toàn cầu GME (DWD) 3 giờ một thông qua mạng internet Trước ngày 27 tháng 9 năm

2004, độ phân giải ngang và thẳng đứng của GME theo thứ tự là 60 km và 31 mực Hiện tại, độ phân giải ngang của GME đã tăng lên thành 40 km và độ phân giải thẳng đứng đã là 40 mực Mực thấp nhất của GME là 10m

Mô hình HRM được cung cấp bởi DWD với mã nguồn mở đã trở thành mô hình đầu tiên chạy dự báo nghiệp vụ tại Trung tâm Khí tượng Thủy văn Quốc gia Việt Nam Các sản phẩm của mô hình HRM rất đa dạng và trở thành nguồn tham khảo tốt cho các

dự báo viên trong nghiệp vụ dự báo hàng ngày Ngoài ra, sản phẩm của nó còn dùng làm đầu vào, điều kiện ban đầu cho các mô hình khác như: Sóng, nước dâng trong bão,

mô hình thủy văn

Tuy nhiên, sau một thời gian chạy nghiệp vụ, các nhà mô hình Việt Nam đã nhận

ra rằng vẫn còn tồn tại rất nhiều hạn chế trong mô hình HRM, đặc biệt là trong việc thu

số liệu đầu vào từ mô hình toàn cầu GME Những hạn chế này đã được chỉ ra trong các trường ban đầu của GME, sơ đồ đồng hóa số liệu sử dụng trong GME và các sơ đồ tham số hóa vật lý bên trong HRM:

Những tham số bề mặt trong các trường ban đầu của GME không phải thu được

từ quan trắc mà là sản phẩm đầu ra của GME được tích phân từ năm 1994 với số liệu ban đầu thu được từ trung bình khí hậu

Các trường độ ẩm: Trường độ ẩm cung cấp bởi GME trong nhiều trường hợp không chính xác, đặc biệt là trong các mùa bão Các vị trí của của áp thấp nhiệt đới và bão nhiệt đới thường được xác định sai trong số liệu ban đầu của GME Điều này xảy

ra là do các số liệu đó thu được từ vệ tinh (Vệ tinh địa cực hay vệ tinh địa tĩnh) và không được cập nhật liên tục trong suốt quá trình đồng hóa số liệu

Sơ đồ đồng hóa số liệu trong GME: Nội suy tối ưu ba chiều (3D-OI)

Sơ đồ tham số hóa vật lý trong HRM: Sơ đồ mưa quy mô lưới được tính toán theo công thức mô phỏng thu được từ quan trắc mây ngoại nhiệt đớ1

1.1.2 Chạy mô hình HRM với các số liệu ban đầu và số liệu biên từ ba mô hình toàn cầu khác nhau

Để sử dụng các mô hình toàn cầu GME, GSM, GFS như là số liệu ban đầu và số liệu biên cho mô hình HRM đòi hỏi phải có những phân tích cụ thể, cẩn thận về các số liệu quan trắc, các sơ đồ phân tích và các kĩ thuật ban đầu hóa

Có một vài sự khác nhau giữa các đặc trưng chính của GME và GSM Giữa các số liệu đầu vào của mô hình GSM, các trường ẩm hay các số liệu về ẩm trên đại dương được tính toán từ ảnh các vệ tinh địa tĩnh (GMS-5 và MTSAT-1R) Những thông tin này thu được từ vệ tinh không có nhiều giá trị cho tất cả những khu vực trên đại dương nơi mà các quan trắc truyền thống như SYNOP, TEMP còn thưa thớt Liên quan đến sơ

đồ phân tích khách quan, mô hình GSM có sơ đồ đồng hóa số liệu 4 chiều 4D-VAR trong các mực của mô hình, trong khi mô hình GME sử dụng sơ đồ nội suy tối ưu truyền thống và không phức tạp bằng 4D-VAR, nhưng có quá nhiều quan trắc bị “là trơn” Địa hình bề mặt cũng đóng một vai trò quan trọng trong một số mô hình sự báo thời tiết số (NWP) Tuy nhiên, cả mô hình GSM và GME đều cùng sử dụng bộ số liệu GTOPO30 từ USGS (NWP-hệ thống của DWD 2002)

1.1.2.1 Số liệu cần cho HRM

HRM cần 3 nhóm số liệu:

Nhóm 1: Các trường cố định: fis, gz0, fr_land, soiltyp, Plcov

Nhóm 2: Các trường mực đơn lẻ: ps, t_snow, t_s, t_g, t_m, t_cl, w_snow, w_i, w_gl, w_g2, w_g3, w_cl, qv_s

và bề mặt) với độ phân giải thô 1.250x1.250 Từ khi JMA cung cấp thêm 5 trường khí tượng: Nhiệt độ, Nhiệt độ điểm sương, thành phần gió (u,v), khí áp trung bình mực nước biển và địa thế vị ở 16 mực khí áp Vì vậy, HRM được chạy với bộ số liệu đầu vào từ cả GME và GSM: các tham số bề mặt được lấy từ GME, trong khi các tham số

đa mực khác được lấy từ GSM

1.1.2.3 Số liệu cung cấp bởi JMA

Số liệu ở mực cao không có: mây ở dạng nước (qc), mây ở dạng băng (qi), địa hình bề mặt và các tham số khác

Độ phân giải ngang: 1.25x1.250 Miền bao phủ: 60 – 1600E, 200S – 600N

(T-Td), T: 2m (Nhiệt độ và nhiệt độ điểm sương tại độ cao 2m)

U, V : 10 m (thành phần gió tại độ cao 10m)

MSLP : Áp suất mực biển trung bình

Vì số liệu của GSM không đủ để chạy mô hình HRM nên Trung tâm dự báo Khí tượng Thủy văn Trung Ương đã cải tiến và sử dụng cả bộ số liệu của mô hình GME và GSM:

Số liệu GSM: MSLP, U, V, T, (T – Td) tại bề mặt và 16 mực áp suất, địa thế vị tại mực 300 hPa

Số liệu GME: Các tham số mặt đất (địa hình, độ thô bề mặt, tham số đất, đất bao phủ, núi…), mây dạng nước (qc), mây dạng băng (qi) tại 31 mực mô hình

1.1.2.4 Số liệu cung cấp bởi GFS (NCEP)

Số liệu GFS được phân bố miễn phí tại server của NCEP tgftp.nws.noaa.gov

+ Miền bao phủ: 360 x 180 điểm lưới, độ phân giải ngang là 10x10

+ Các tham s b m t, các tr ng c nh, các tham s a m c (26 m c):

- Các tham số đa mực: T, U, V, QV, QC tại 10, 20, 30, 50, 70, 100,

150, 200, 250, 300, 350, 400, 450, 550, 650, 700, 750, 800, 850, 900,

925, 950, 975, 1000 hPa

- Thời hạn dự báo: 00 đến 384 giờ

Trên đây là tổng quan về mô hình khu vực độ phân giải cao HRM đang chạy nghiệp vụ tại Trung tâm Dự báo Khí tượng Thủy văn Trung Ương Hiện nay mô hình này vẫn tiếp tục được cải tiến

1.2 Khái quát về bài toán đánh giá chất lượng dự báo thời tiết

Đánh giá là sự tính toán ước lượng mối quan hệ giữa tập số liệu dự báo và giá trị quan trắc Hoạt động đánh giá chỉ có ích khi ta đưa ra được những kết luận cuối cùng đối với sản phẩm đang được đánh giá Những giải pháp này có thể hoặc là sẽ sinh ra các thay đổi trong các sản phẩm hoặc các phương pháp dự báo hoặc là giải quyết chúng một cách thỏa đáng Để đánh giá thì kết quả dự báo phải được trình bày một cách đầy

đủ và khách quan Trong khi đó thì quan trắc lại được thừa nhận là sự mô tả chính xác những gì có trong thực tế Một vài phương pháp đánh giá đòi hỏi giả thiết rằng quan trắc tại một điểm cũng có thể đại diện cho hiện tượng thời tiết xảy ra trong một vùng

1.2.1 Mục đích và ý nghĩa của đánh giá dự báo

Mục đích của phương pháp đánh giá phải được thiết lập trước khi hệ thống đánh giá được xác lập vì mục đích đánh giá có quan hệ mật thiết đến việc thiết lập hệ thống

bị như máy tính điện tử, hay quyết định khi nào và có nên thay đổi sản phẩm dự báo bằng một sản phẩm khác hay một vài cách giải quyết khác Điều này cũng phụ thuộc vào sự phát triển của cộng đồng và sự phát triển của các trang thiết bị sử dụng trong dịch vụ thời tiết Các câu hỏi đặt ra cho việc đánh giá với những mục đích mang tính hành chính là: “Liệu độ chính xác của bản dự báo sẽ được cải tiến?” hoặc “Các dự báo khách quan về nhiệt độ tốt hơn so với dự báo chủ quan hay không?” Đánh giá hành chính được sử dụng để kiểm tra thường xuyên chất lượng tổng thể các bản dự báo và theo dõi những thay đổi về chất lượng của chúng qua từng giai đoạn

b Mục đích khoa học

Mục đích khoa học của đánh giá chất lượng dự báo dùng để nhận biết chi tiết những điểm mạnh và điểm yếu của một sản phẩm dự báo và từ đó có những hành động tích cực nhằm cải thiện kết quả dự báo Mặt khác, đánh giá khoa học cũng cung cấp trực tiếp các thông tin cho hướng nghiên cứu và phát triển phương pháp dự báo

c Mục đích kinh tế

Theo Brier và Allen (1951), mục đích kinh tế của đánh giá chất lượng dự báo đóng một vai trò hết sức quan trọng, nó giúp đánh giá được lợi ích của việc dự báo đúng, từ đó đưa ra được những quyết sách hợp lý trong các hoạt động có liên quan và

để thỏa mãn những yêu cầu từ người sử dụng sản phẩm dự báo cuối cùng Ví dụ, khi có một bản tin dự báo thời tiết chính xác sẽ giúp ích cho việc bảo vệ người dân trước các thảm hiện tượng thời tiết nguy hiểm như bão hay lũ lụt hoặc cũng có thể giúp ích rất nhiều trong các hoạt động sản xuất nông nghiệp…

Vì mục đích kinh tế là vấn đề phức tạp nên trong tiểu mục sau đã bỏ qua không xem xét

1.2.2 Mô hình đánh giá chung cho các yếu tố dự báo thời tiết

Phân loại ngoại bộ

Phân loại nội bộ

Biến pha Biến

Biến pha Biến

liên tục Biến pha

Biến liên tục

Bảng liên hợp Đồ thị điểm

Bảng độ tin cậy

Điểm Brier RPS

Điểm kỹ năng Brier

Sai số trung bình tuyệt đối

Sai số bình phương trung bình

Độ giảm phương sai

Hệ số Phân tán

Độ lệch

Hình 1.1 Sơ đồ chung cho đánh giá các yếu tố thời tiết

Theo tác giả Henry R Stanski và các cộng sự (1989), việc đánh giá tổng quát (chung) cho các yếu tố dự báo thời tiết được minh họa trên hình 1.1, đồng thời cũng tóm tắt các kiểu quyết định được đưa ra trước khi một phương pháp đánh giá chuyên dụng được chọn lựa Đây chỉ là một mô hình đánh giá chung nhất và dĩ nhiên vẫn có thể tồn tại nhiều mô hình tương tự khác Tuy nhiên, mô hình này cho ta một bức tranh nhất quán về mối quan hệ các đặc trưng của phép đánh giá các đại lượng đo và các giải pháp khác nhau để có thể đem lại lựa chọn thích hợp

Tất cả các phương pháp đánh giá đều được bắt đầu từ việc tập hợp các tập số liệu quan trắc và dự báo (hình bình hành ở trên) Khi công việc trên đó hoàn thành thì bước tiếp theo là việc xử lý số liệu Việc này phụ thuộc vào các cách giải quyết khác nhau (dạng hình thoi trong sơ đồ), tức là phụ thuộc vào mục đích đánh giá, đánh giá hành chính hoặc đánh giá khoa học

Một khi mục đích đánh giá đó được thiết lập, một tập mẫu có thể được phân loại

để đáp ứng mục đích đã định sẵn Phân loại nghĩa là tách các phần tử trong tập mẫu thành hai hay nhiều nhóm theo một nguyên tắc lựa chọn, sau đó, thực hiện đánh giá cho từng nhóm riêng biệt “Phân loại ngoại bộ ” nghĩa là đánh giá theo nguyên tắc lựa chọn một cách độc lập các yếu tố cần đánh giá Dạng phổ biến của phân loại ngoại bộ chính là dạng cho phép xác định những biến đổi trong đánh giá theo thời gian (ngày hoặc theo mùa) Ví dụ, ở Việt Nam dự báo giáng thủy vào mùa đông chính xác hơn vào mùa hè, do vào mùa hè, giáng thủy sinh ra do đối lưu rất khó dự báo Vì vậy phải chia tập số liệu ra để đánh giá riêng cho từng mùa Phân loại ngoại bộ có thể được tiến hành ở bất cứ thời điểm nào trong quá trình, kể cả trước khi sử dụng đánh giá theo các chỉ số thống kê và việc phân loại này hoặc là theo mục đích hành chính, hoặc là theo mục đích khoa học

Xuất phát từ các câu hỏi đặt ra đối với đánh giá khoa học ta thấy rằng, cần có một nhu cầu phân loại cao hơn đối với tập mẫu Ví dụ, nếu ta quan tâm đến dự báo cực trị thì tập mẫu sẽ phải được phân nhóm để tách các giá trị đó từ chuỗi các sự kiện

không phải là cực trị Kiểu phân nhóm này được gọi là “phân loại nội bộ” bởi vì nguyên tắc phân loại được quyết định bởi mục đích đánh giá và sử dụng chính yếu tố đang được đánh giá Có hai cách để thực hiện phân loại nội bộ, và hình 1.1 cho thấy kiểu đánh giá cho mỗi cách này hơi khác nhau

Phân loại theo quan trắc nghĩa là phân loại theo giá trị của các yếu tố khí tượng được quan trắc Sau đó, các đại lượng đánh giá có thể được tính toán cho từng nhóm giá trị quan trắc và giá trị thống kê được tạo thành này gọi là giá trị có điều kiện đối với quan trắc Một ví dụ cho phân bố có điều kiện của dự báo là một giá trị đặc biệt hay một ngưỡng của các giá trị quan trắc

Phân loại theo dự báo nghĩa là phân loại theo giá trị của các yếu tố khí tượng được dự báo Và cũng tương tự như trên, các con số thống kê được tính toán theo cách phân loại này được gọi là điều kiện dự báo

Việc lựa chọn kiểu phân loại phụ thuộc vào yêu cầu đánh giá Và nhiều khi sẽ cần phải sử dụng cả hai cách phân loại trên để đưa ra một câu trả lời hoàn chỉnh Hơn nữa, như đã thấy trên sơ đồ, những đại lượng đánh giá khác nhau (hình ô van bên dưới) đặc trưng cho một kiểu phân nhóm khác và đưa ra nhiều thông tin khác nhau về sản phẩm

Ngược lại, trong đánh giá hành chính, người ta ít quan tâm chi tiết đến việc biểu diễn những biến theo các giá trị khác nhau trong dự báo Quả thực, các câu hỏi đặt ra đều mang tính chung chung và chỉ cần một câu trả lời tóm tắt nào đó Vì vậy, phân loại nội bộ có thể vẫn được thực hiện nhưng nó hiếm khi được dùng đến Tuy nhiên, ưu điểm lớn của đánh giá hành chính là biểu diễn chất lượng sản phẩm chỉ bằng vài con số hoặc là việc so sánh hay hướng nhận dạng được thực hiện dễ dàng hơn Ta có thể thấy được, bản chất tóm tắt tổng kết của đánh giá hành chính qua mối liên hệ với các luật cho điểm tổng kết được chỉ ra ở hình 1.1

Đôi khi việc cố gắng tổng kết tất cả các thông tin về chất lượng sản phẩm vào một điểm số để cung cấp cho ban quản lý là một việc hết sức khó khăn Việc tóm tắt

thông tin đánh giá vào một con số gây ra một áp lực lớn cho việc thiết kế hệ thống đánh giá để chắc chắn rằng:

A Điểm số được lựa chọn là đáng tin cậy theo yêu cầu

B Các sự kiện cấu thành đều được xem xét công bằng như nhau trong các điểm

số

Hạn chế chung của bản tổng kết đánh giá này là tất cả các sự kiện đó đều được xem xét công bằng như nhau trong quá trình trung bình hóa Điều này được thực hiện cho thuận tiện (việc tính toán sẽ đơn giản hơn khi sử dụng đại lượng trung bình) nhưng cũng vì thế rất khó có thể tìm ra được trọng số phản ánh các sự kiện thành phần quan trọng cho mục đích nào đó mà không có bất kỳ trở ngại nào đối với các thuộc tính mong muốn khác của đánh giá Vấn đề chưa được giải quyết là làm thế nào để đưa ra trọng số của các sự kiện thành phần trong đánh giá tổng hợp

Trước đây, người ta đặt ra yêu cầu quá cao đối với các điểm số đánh giá Vì thế các dự báo viên đã biểu hiện sự thất vọng khi cố gắng sử dụng các điểm số này để trả lời các vấn đề khoa học Bản chất của việc đánh giá tổng kết đó hạn chế việc sử dụng chúng trong mục đích khoa học do thiếu sự phân loại đánh giá bằng những điều kiện cho trước Ví dụ, điểm số tổng kết không thể nói có thể mưa dự báo tốt như thế nào trong các trường hợp ngưỡng thấp mà chỉ có thể nói mưa được dự báo tốt như thế nào một cách chung chung Không thể nói, dưới điều kiện nào mô hình phần tử hữu hạn khu vực RFE (Regional Finite Element model) tốt hơn mô hình phổ, chỉ có thể nói rằng mô hình RFE tốt hơn hoặc xấu hơn một chút so với mô hình phổ

1.2.3 Các yếu tố dự báo

Sau khi giải quyết xong những vấn đề về phân nhóm và những yêu cầu của một

mô hình đánh giá đưa ra, chúng ta cần lựa chọn một phương pháp thích hợp để đáp ứng các yêu cầu đó Dựa theo mục đích đánh giá người ta chia ra thành hai dạng dự báo là:

dự báo các đại lượng liên tục và dự báo pha Yếu tố dự báo liên tục là các yếu tố được

dự báo tại một giá trị riêng biệt hoặc là trong một khoảng giá trị Trong số các yếu tố

thời tiết thì chỉ nhiệt độ và gió là hay được dự báo theo cách này Ví dụ, “Nhiệt độ thấp nhất đêm nay là gần -10oC”, hoặc “Gió tây có tốc độ 15 km/h, giật 25 km/h” Yếu tố

dự báo pha là các yếu tố dự báo có thể xảy ra hoặc không xảy ra Ví dụ như khi ta xét

sự xuất hiện của giáng thủy (có hai trường hợp xảy ra là mưa hoặc không mưa), hoặc dạng của giáng thủy (thường có ba dạng là băng, tuyết và nước (mưa))

Một vài yếu tố có thể được dự báo pha hoặc là dự báo liên tục, việc lựa chọn chủ yếu phụ thuộc vào yêu cầu của người sử dụng trong quá trình dự báo Nếu dự báo yêu cầu chi tiết hơn thì dự báo viên sẽ phải dự báo lượng giáng thủy theo đơn vị mm (loại trừ trường hợp giáng thủy lớn quá mức dự tính), giáng thủy có xuất hiện hay không và dự báo đầy đủ lượng giáng thủy có thể xảy ra Hệ thống đánh giá phản hồi lại cho yêu cầu sử dụng theo đóng cách này Một dự báo mà cho kết quả biến thiên liên tục thì phải được đánh giá theo pha bởi vì tất cả những thông tin đó đều cần thiết cho người sử dụng.Ví dụ về tầng mây, người ta có thể dự báo được độ cao tối thiểu là 100 feet, nhưng đa phần tầng mây được đánh giá theo các lớp mà vai trò của chúng là vô cùng quan trọng đối với hàng không

Dự báo xác suất được xem như dự báo theo pha tổng quát Trong đó, mỗi pha được gán bằng một xác suất xảy ra và tổng tất cả xác suất phải bằng một Dự báo pha

là một dự báo xác suất thu hẹp, ở đây xác suất chỉ có hai trường hợp xảy ra là 0% ,100% và hiển nhiên là một trong hai trường hợp ấy chắc chắn sẽ xảy ra

1.2.4 Các điểm số dùng trong đánh giá

Các điểm số dùng trong đánh giá được minh họa theo từng cặp ở phía dưới hình 1.1 cho ta thấy được mối quan hệ giữa chúng Ví dụ, bảng liên hợp và đồ thị điểm là hoàn toàn tương tự nhau, chúng cung cấp các dạng thông tin như nhau, bảng liên hợp xuất phát từ yếu tố dự báo pha cùng đồ thị điểm xuất phát từ biến dự báo liên tục Điểm tổng kết luôn được phân loại theo cách này: Điểm Brier và điểm RP đều đo chính xác các đặc tính của khả năng xảy ra hay biến pha, chúng tương tự sai số bình phương trung bình của dự báo theo biến liên tục Chú ý rằng dự báo pha không tương tự như sai số trung bình tuyệt đố1 Có hai loại đại lượng đo được phân loại tương ứng theo dự

báo và quan trắc là “Bảng độ tin cậy” và “Nguyên lý phát hiện tín hiệu” Trong khi đó bảng liên hợp và đồ thị điểm lại tổng quát hơn, nó cho phép phân loại theo một trong hai cách hoặc theo cả hai cách Nguyên lý phát hiện tín hiệu là một ý tưởng mới mẻ và hiện nay chưa được sử dụng rộng rãi

Các điểm số liệt kê trên hình 1.1 và được trình bày trong chương 2 gồm 3 loại,

đó là: Các điểm số tuyến tính, các điểm số toàn phương (bậc hai) và điểm số kỹ năng Điểm số toàn phương đưa ra trọng lượng của sai số theo bình phương của chúng trong khi đó điểm số tuyến tính cho sai số có giá trị bậc nhất Vì vậy điểm số toàn phương thường đưa ra trọng số sai số lớn hơn là điểm số tuyến tính và điểm số này rất phù hợp trong các trường hợp sai số lớn thực sự nghiêm trọng hơn sai số nhỏ

Điểm số kỹ năng được xây dựng để đánh giá mối quan hệ giữa dự báo và một giá trị chuẩn nào đó Giá trị chuẩn được chọn lựa để mô tả một dự báo không kỹ năng

Ba tiêu chuẩn được sử dụng để so sánh là: sự may rủi (ngẫu nhiên), quán tính và khí hậu Tính ngẫu nhiên mô tả sự phỏng đoán thuần túy và không yêu cầu hiểu biết tri thức, quán tính là một dự báo xác định và yêu cầu các hiểu biết về điều kiện thời tiết, còn tính khí hậu là một dự báo trạng thái thời tiết diễn ra trong khoảng thời gian dài và cần phải có sự hiểu biết về tiến trình lịch sử của thời tiết Điểm số kỹ năng được biểu diễn trong công thức sau:

STPS

STSCSS





Trong đó SC là điểm có được từ dự báo, ST là điểm đạt được từ dự báo chuẩn

và PS là điểm từ dự báo hoàn hảo Điểm số kỹ năng có thể được hình thành từ việc sử dụng bất kỳ một trong các điểm số Điểm số kỹ năng phổ biến nhất dựa trên nền tảng của điểm Brier (điểm kỹ năng Brier), điểm RP (điểm kỹ năng RP), các giá trị của bảng ngẫu nhiên (điểm Heidke) và sai số trung bình tuyệt đối Tiêu chuẩn thường được sử dụng nhất là tính khí hậu, còn điểm Heidke lại thường xuyên được kết hợp với tính

ngẫu nhiên Không có điểm kỹ năng cơ bản nào là quan trọng hơn, chúng bình đẳng như nhau và đều biểu hiện đặc tính của kỹ năng

1.3 Mô hình đánh giá sản phẩm dự báo số trị

Hình 1.2 mô tả một nguyên tắc chung cho việc đánh giá sản phẩm dự báo số trị

và nó cũng phù hợp với nguyên tắc đánh giá các yếu tố khí tượng đó được trình bày ở hình 1.1 Việc đánh giá được bắt đầu với một bộ số liệu bao gồm cả số liệu dự báo và

số liệu quan trắc và bộ số liệu này phải được thể hiện, sắp xếp đối xứng với nhau cả theo không gian và thời gian Theo quy mô không gian, số liệu quan trắc có thể sẽ được phân tích về lưới của các số liệu dự báo hoặc là số liệu dự báo có thể được nội suy theo không gian về các trạm quan trắc (điểm quan trắc) Tuy nhiên, cách thứ nhất ít được làm thường xuyên hơn vì có những chỉ trích cho rằng khi số liệu quan trắc được nội suy về điểm lưới thì nó đã không còn mang tính khách quan vốn có của nó như trước khi nội suy nữa Những chỉ trích này đã trở nên đặc biệt quan trọng đối với việc đánh giá nếu việc phân tích là một trường sản phẩm thử nghiệm của mô hình và có thể được kiểm tra lại Trong trường hợp đó, sẽ có một độ lệch nào đó trong những kết quả của mô hình Do đó, điều quan trọng trong đánh giá mô hình là phải luôn luôn ghi nhớ thủ tục kiểm tra lại số liệu quan trắc khi đánh giá kết quả

Để đánh giá một sản phẩm mô hình số có hiệu quả, yêu cầu đặt ra là những vấn

đề quyết định cần phải giải quyết phải được làm cho mục đích đánh giá trước khi một

hệ thống đánh giá được thiết lập “Đánh giá hành chính” trả lời câu hỏi về xu hướng trong kỹ năng và độ chính xác của mô hình và nó thường được sử dụng để so sánh độ chính xác của hai mô hình khác nhau Tương tự như đánh giá các yếu tố thời tiết cho những mục đích hành chính, có một khuynh hướng nhằm giảm bớt những kết quả có các giá trị số nhỏ thông qua việc sử dụng các điểm số chung

“Đánh giá khoa học” bao gồm các câu hỏi trả lời về sự thay đổi theo không gian

và thời gian trong sự biểu diễn của mô hình để cung cấp thông tin có thể phản hồi lại cho các nhà phát triển mô hình cải tiến thêm mô hình hay cho các dự báo viên để thay đổi xu hướng dự báo Một ví dụ đơn giản là việc đánh giá các đặc trưng như khu vực

áp suất thấp hay fronts Bộ số liệu đánh giá phải được sắp xếp cẩn thận theo các đặc trưng đó, và điều này có thể được thực hiện theo một trong hai hướng đó là theo cơ sở của các đặc trưng quan trắc hay theo cơ sở của các đặc trưng dự báo

Các tập số liệu dùnng để

đánh giá

Mục đích khoa học

Quản lý hành chính

Phân loại ngoại bộ

Phân loại theo không

gian

Đánh giá chủ quan

SS tuyệt đối trung bình

SS bình phương TB

Điểm kỹ năng

Hệ số phân tán Đánh giá khách quan

Hình 1.2 Sơ đồ chung cho đánh giá mô hình dự báo thời tiết số (NWP)

Phân loại theo không gian có thể được làm vì mục đích quản lý hành chính hoặc

vì mục đích khoa học Phân loại theo không gian được tiến hành theo mục đích hành chính để thấy được sự khác biệt trong độ chính xác trên các vùng của mô hình tương ứng với các vùng quản lý hành chính của đất nước Khi phân loại theo không gian được tiến hành theo mục đích khoa học, các khu vực có quy mô dưới lưới được ưu tiên lựa chọn để phản ánh các chế độ khí hậu khác nhau như các khu vực có địa hình đồi núi, các vùng núi khuất gió, bờ biển, …

“Phân loại ngoại bộ” ở đây có ý nghĩa là phân chia bộ số liệu đánh giá theo mùa hoặc theo thời gian chạy mô hình hoặc theo các quy luật chọn lựa khác độc lập với các tham số đang được đánh giá Phân loại theo mùa là cách sử dụng phổ biến để phát hiện

sự khác nhau trong biểu hiện giữa các mùa

1.4 Các đặc trưng đánh giá

Một quan điểm cuối cùng về phép đánh giá là: “Một đánh giá đơn lẻ sẽ không thể cho ta biết được thông tin đầy đủ về chất lượng của sản phẩm” Tất cả đều cung cấp thông tin về một hoặc một số đặc tính (thuộc tính) của sản phẩm dự báo Do đó một hệ thống đánh giá sẽ phải bao gồm cả việc tính toán các đại lượng được chọn khác nhau

để mô tả các thuộc tính thích hợp phục vụ cho mục đích đánh giá Các thuật ngữ liên quan tới các điểm số đánh giá đều được liệt kê dưới đây

1.4.1 Độ chính xác

Độ chính xác là thuật ngữ chung chỉ ra mức độ chính xác, phù hợp giữa thời tiết

dự báo và thời tiết thực được thể hiện qua các quan trắc Sự khác nhau giữa một giá trị quan trắc và một giá trị dự báo được gọi là sai số Sự khác nhau này càng nhỏ, sai số sẽ càng nhỏ và độ chính xác sẽ càng cao Cái khó là ở chỗ phải hiểu được ý nghĩa của mức độ chính xác, nghĩa là ranh giới hay giới hạn có thể chấp nhận được Sự tranh luận

về độ chính xác diễn ra ở nhiều mức độ khác nhau: một mặt có thể nói nó là độ chính xác trung bình, mặt khác lại cho rằng nó là độ chính xác với từng điều kiện hoặc độ

chính xác riêng cho từng ngày, quả thực độ chính xác sẽ càng cao khi thời tiết tốt (nghĩa là dự báo dễ)

Đôi khi độ chính xác cũng được biểu hiện thông qua các thuộc tính khác của dự báo như độ tin cậy, độ phân giải hay độ không chắc chắn

1.4.2 Kỹ năng dự báo

Kỹ năng hay độ chính xác tương đối được định nghĩa như độ chính xác của một

dự báo tương đối so với độ chính xác của một sản phẩm dự báo chuẩn Theo tiêu chuẩn chung, các dự báo chuẩn như chuẩn khí hậu, dự báo quán tính, dự báo ngẫu nhiên được coi là không có kỹ năng ý nghĩa của điểm kỹ năng là ở chỗ, chúng sẽ cho ta thấy sự khác biệt về độ chính xác giữa các dự báo khác nhau

1.4.3 Độ tin cậy

Độ tin cậy tương đương với độ lệch và là giá trị tuyệt đối trung bình cho phép giữa tập giá trị dự báo và giá trị quan trắc của một yếu tố khí tượng Thông thường độ tin cậy được cải tiến nhờ Bias Nhưng sau khi cải tiến làm độ tin cậy của các dự báo tương đương tăng lên thì chính Bias lại sẽ bị khử đi

Đối với các biến liên tục (ví dụ: nhiệt độ), độ tin cậy có thể được biểu diễn bằng khả năng dự báo nhiệt độ tối đa trong khoảng cộng trừ 3oC Độ tin cậy cho các dự báo xác suất theo pha (hay khả năng dự báo có thể xảy ra) được định lượng trong một mức tin cậy nào đấy, ví dụ: khả năng dự báo mưa là 70% tương đương tần số quan sát được

là 90% Như vậy, dự báo này có sai số là 20%

1.4.4 Độ phân giải

Độ phân giải là khả năng mà dự báo có thể phân chia hoặc phân tích một tập mẫu thành các phần nhỏ với phân bố tần suất khác nhau Độ phân giải liên quan đến độ lệch chuẩn hay phương sai của chuỗi số liệu quan trắc được phân nhóm theo dự báo

Độ phân giải cũng phụ thuộc vào kinh nghiệm và trình độ của chính người làm dự báo

Có thể lấy một số ví dụ minh họa cho khái niệm này Nếu phân bố của nhiệt độ dự báo

là -10oC, khác hẳn so với phân bố nhiệt độ quan trắc -5oC thì hệ thống dự báo nhiệt độ

đó được xem là có độ phân giải Dự báo xác suất sẽ được coi là có độ phân giải nếu tần suất quan trắc được của sự kiện dự báo là 20%, khác biệt so với của dự báo 70% Trong các mô hình dự báo số trị, độ phân giải thường được ngầm hiểu theo không gian

Ví dụ, nếu quan trắc độ cao địa thế vị trung bình của khu vực được dự báo cho thấy H

là thấp, khác hẳn so với khu vực được dự báo có H cao thì mô hình có độ phân giả1

Ví dụ minh họa dưới đây cho thấy ảnh hưởng qua lại giữa độ tin cậy và độ phân giải:

1 Độ tin cậy thấp và độ phân giải thấp: ví dụ như dự báo không có kỹ năng và

dự báo kém chính xác

2 Độ tin cậy cao và độ phân giải thấp: ví dụ như dự báo khí hậu

3 Độ tin cậy thấp và độ phân giải cao: ví dụ minh họa cho đặc tính này là dự báo phần trăm xác suất (POP)

4 Độ tin cậy cao và độ phân giải cao: Đây là một mô hình lý tưởng và dự báo ngắn hạn chính là một ví dụ

1.4.5 Độ biến động

Là sự dao động của các giá trị quan trắc trong tập mẫu đánh giá và không phụ thuộc vào giá trị dự báo Đối với các biến được dự báo theo pha thì độ biến động là 1 nếu sự kiện xảy ra và 0 nếu sự kiện không xảy ra Đại lượng này liên quan đến độ “khó khăn” của dự báo Độ biến động càng lớn có nghĩa là sẽ có những dao động lớn với nhiều tần số khác nhau trong yếu tố dự báo đang được đánh giá và dĩ nhiên việc dự báo

sẽ khó khăn hơn Độ biến động của từng tập số liệu sẽ rất khác nhau và do đó, việc so sánh giữa các con số đánh giá thống kê của tập số liệu là hết sức mạo hiểm vì chúng thường rất nhạy với độ biến động

1.5 Các phương pháp đánh giá sản phẩm dự báo số

1.5.1 Những nguyên nhân sai số dự báo bằng mô hình số

Mô hình dự báo thời tiết số cho ra kết quả các sản phẩm dự báo từ việc phân tích các phương trình mô tả những quá trình vật lý xảy ra trong khí quyển bằng máy tính Những kết quả này không phải là một dự báo hoàn hảo bởi nó không thể mô tả hết được những thay đổi trong khí quyển Những nguyên nhân gây ra sai số dự báo của mô hình dự báo số trị bao gồm:

 Những hiểu biết của chúng ta về các công thức toán học và vật lý còn chưa đầy

 Vẫn còn tồn tại các sai số trong quá trình hoàn tất tính toán

1.5.2 Một số định nghĩa

1.5.2.1 Một sô thuật ngữ tổng quát

Sai số: Là độ chênh lệch giữa các biến dự báo và quan trắc tại một điểm lưới

nào đó Sai số của biến X tại điểm i, j là:

, ,

f j

i

X Sum

1 , 1

(1.2)

Trong đó N, M là số điểm lưới theo phương x và y (phương ngang) trong miền

dự báo mà ta quan tâm, khi mà chúng ta chỉ để ý một phần của toàn bộ miền lưới tính toán, sẽ thấy rằng 1 ≤ N ≤ I và 1 ≤ M ≤ J với I, J là tổng số điểm lưới theo phương x và

y

Trung bình: Các biến số khi được tính trung bình theo một vài hướng sẽ được

đính kèm theo dấu ngoặc là các chỉ số dưới để chỉ ra hướng được lấy trung bình

Ví dụ: X x,y,t là trung bình của X theo không gian (theo x và y) và theo thời gian (t) Trung bình theo thời gian đơn giản chỉ là trung bình số liệu tính theo các khoảng thời gian bằng nhau Muốn tính trung bình theo không gian chúng ta phải sử dụng trọng số wi,j, là tỷ số diện tích của miền bao quanh điểm lưới với diện tích toàn bộ vùng đang quan tâm tương ứng trên bề mặt thực của trái đất Ví dụ về trung bình tính theo phương ngang của X:

j

j j

,

, ,

sin1

sin1

j i

j j

W





1.5.2.2 Sự mô tả trong không gian của các biến trong mô hình số

(a) Theo phương ngang

Điểm lưới: Các biến của mô hình được dự báo tại một chuỗi các điểm lưới trên toàn bộ

khu vực dự báo mà ta quan tâm Các điểm lưới được đánh số xác định 1 ≤ i ≤ I theo hướng x và 1 ≤ j ≤ J theo phương y Thông thường, phương x chạy từ tây sang đông và

hướng y chạy từ nam lên bắc, mặc dù trong các mô hình, hướng x và y có thể được thay đổi lẫn nhau từ sự định hướng ban đầu bởi một hàm của vĩ độ

Phổ: Các biến được biểu diễn bởi một chuỗi khai triển trong đó các hệ số được nhân

với một hàm toán học cho trước, trong đó các hàm phổ biến nhất là hàm điều hòa cầu Đây là những hàm của vĩ độ và kinh độ và có thể được tính tại các điểm lưới ngang Sự phụ thuộc theo vĩ độ chủ yếu theo đa thức Lagrange bậc n và l, trong khi sự phụ thuộc theo kinh độ lại chủ yếu theo hàm cosin bậc l

1.5.2.3 Thuật ngữ áp dụng trong không gian

Vĩ hướng: Một hướng song song với vĩ độ Đông là dương và Tây là âm

Kinh hướng: Một hướng song song với kinh độ Bắc là dương, Nam là âm

1.5.2.4 Thuật ngữ áp dụng trong thời gian

Sai số hệ thống: Là trung bình sai số theo thời gian

t j f j

1.5.3 Phương pháp đánh giá đối với biến liên tục

1.5.3.1 Phương pháp biểu đồ tụ điểm

Phương pháp đồ thị được xem là công cụ đánh giá đơn giản nhất Phương pháp này thường được dùng để đánh giá các biến liên tục như nhiệt độ và gió Thông thường

nó bao gồm tất cả các giá trị quan trắc và dự báo được chấm lên cùng một đồ thị Trục tung và trục hoành có cùng một tỷ lệ

Trong mỗi đồ thị còn có đường thẳng hồi quy và đường 45 o Đường 45o thường được vẽ ra để cho việc đánh giá trên đồ thị được thuận tiện hơn Nếu dự báo là hoàn hảo thì đường thẳng hồi quy sẽ trùng khít với đường 45o Vị trí tương đối giữa hai đường này biểu thị độ tin cậy Khi chất lượng dự báo giảm thì đường thẳng hồi quy sai lệch so với đường 45 o Và trong một trường hợp lý tưởng nào đó những điểm nằm trên cùng một đường thẳng 45o thì cho kết quả giá trị dự báo bằng giá trị quan trắc

1.5.3.2 Các chỉ số đánh giá

Để đánh giá sản phẩm dự báo của mô hình số người ta có thể dựa vào số liệu phân tích tương ứng (TH1) hoặc sử dụng số liệu quan trắc thực tế (TH2) Dưới đây là một số chỉ số đánh giá dành cho biến liên tục với hai trường hợp đã nêu Một số ký hiệu sử dụng trong công thức:

Fi: giá trị dự báo thứ i

Ai: giá trị phân tích tương ứng

Oi: giá trị quan trắc tương ứng

Pi: giá trị chuẩn tương ứng (chuẩn quán tính, chuẩn khí hậu hoặc chuẩn

ngẫu nhiên)

N: tổng số thành phần dự báo

i

 : vĩ độ của thành phần dự báo thứ i

Bảng 1 1: Một số chỉ số đánh giá dành cho biến liên tục

Chỉ số ĐG dựa vào SL phân tích ĐG dựa vào SL quan trắc

i

N 1 i

i i icos

cosAF





N 1 i

i

i OFN

i

N 1 i

i i icos

cosAF

i

i O F N

i

N 1 i

i 2 i icos

cosAF

i

i O F N

RMSE

1

21

i

N 1 i

i 2 i icos

cosAF





N 1 i

2 i

i OFN

i 2 i N

1 i

i 2 i

i i

N 1 i i

cosAAcos

FF

cosAAFFR

2 i N

1 i

2 i

i N

1 i i

OOF

F

OOFFR

i 2 i N

1 i

i 2 i

N 1 i

i i

i

cosaa.cosff

cosaaffAC

2 i N

1 i

2 i

N 1 i

i i

oof

f

ooffAC

(1.18)

Với: fi = Fi - Pi (dị thường dự báo)

ai = Ai - Pi (dị thường phân tích)

oi = Oi - Pi (dị thường quan trắc)

f , a , o: giá trị trung bình của N thành phần dị thường dự báo, dị thường phân

tích, dị thường quan trắc

F,A,O: giá trị trung bình của N thành phần dự báo, phân tích và quan trắc

1.5.3.3 Phân tích ý nghĩa của các chỉ số

Ta sẽ phân tích ý nghĩa của từng chỉ số đã cho trong bảng 1.1 Để tiện cho việc nhận xét, các điểm số đánh giá sẽ được tính cho trường hợp đánh giá sử dụng số liệu quan trắc, trường hợp còn lại cũng tương tự như vậy

a Độ lệch hay sai số trung bình (Mean Error)

Sai số trung bình được tính bởi công thức 1.7, 1.8 Giá trị của ME nằm trong khoảng (-∞, +∞) ME cho biết xu hướng lệch trung bình của giá trị dự báo so với giá trị quan trắc, nhưng không phản ánh độ lớn của sai số ME dương cho biết giá trị dự báo vượt quá giá trị quan trắc và ngược lại

ME có thể được biểu diễn khi lấy giá trị trung bình của dự báo trừ đi giá trị trung bình của quan trắc Ví dụ, trong TH2 thì ME được tính như sau:

1 i

N

1FN

1OF

MAE được tính bởi công thức 1.9, 1.10 Giá trị MAE nằm trong khoảng (0,+

∞) MAE biểu thị độ lớn trung bình của sai số nhưng không nói lên xu hướng lệch của giá trị dự báo và quan trắc Thông thường thì MAE được sử dụng cùng với ME để đánh giá độ tin cậy Chẳng hạn, nếu MAE của sản phẩm khác biệt hẳn so với ME thì việc hiệu chỉnh đó của chúng ta là hết sức mạo hiểm Trong trường hợp ngược lại, khi mà MAE và ME tương đối “sát” với nhau thì chúng ta có thể dùng ME để hiệu chỉnh sản phẩm dự báo một cách đáng tin cậy

c Sai số bình phương trung bình (Mean square error) và sai số bình phương trung bình quân phương (Root mean square error)

Sai số bình phương trung bình (công thức tính 1.11, 1.12) là một trong những đại lượng cơ bản và thường được sử dụng phổ biến cho việc đánh giá kết quả của mô hình dự báo số trị

Người ta thường hay sử dụng đại lượng sai số bình phương trung bình quân phương (RMSE), đơn giản là căn bậc hai của MAE RMSE được xác định bởi công thức 1.13, 1.14 RMSE biểu thị độ lớn trung bình của sai số

Cả MAE và RMSE chỉ bằng không khi và chỉ khi giá trị quan trắc và giá trị dự báo bằng nhau tại mọi điểm trong không gian Điều này khó có thể xảy ra trong thực tế

và thông thường chúng đều dương Những bàn luận khác về ứng dụng của RMSE trong đánh giá dự báo sẽ được chỉ rõ trong mục tiếp theo vì RMSE thường được sử dụng rộng rãi cùng tương quan dị thường Tương quan dị thường là một đại lượng xác định sai số pha trong dự báo số trị

Giá trị của RMSE nằm trong khoảng (0,+ ∞) Giống như MAE, RMSE không chỉ ra độ lệch giữa giá trị dự báo và giá trị quan trắc Khi đem so sánh MAE và RMSE

ta thấy: RMSE ≥ MAE Còn RMSE = MAE khi và chỉ khi tất cả các sai số có độ lớn như nhau

d Hệ số tương quan (Correlation coefficient) và tương quan dị thường

Hệ số tương quan (R) cho phép đánh giá mối quan hệ tuyến tính giữa tập giá trị

dự báo và tập giá trị quan trắc Hệ số tương quan được xác định bởi công thức 1.15, 1.16 Giá trị của nó biến thiên trong khoảng -1 đến 1, giá trị hoàn hảo bằng 1 Hệ số tương quan dương phản ánh mối quan hệ cùng chiều (đồng biến), ngược lại, hệ số tương quan âm biểu thị mối quan hệ ngược chiều (nghịch biến) giữa dự báo và quan trắc

RMSE là một đại lượng đặc trưng cho biên độ sai số của mô hình Cùng với nó trong những năm gần đây người ta sử dụng đại lượng tương quan để xác định mức độ lệch pha không gian giữa hai tập số liệu Trong khí tượng, hai tập số liệu đó có thể là

số liệu dự báo và số liệu quan trắc hoặc là hai tập số liệu của hai mô hình khác nhau Đối với dạng thứ hai, người ta thường lấy một mô hình làm chuẩn và kết quả dự báo của nó được xem là số liệu “thực”

Tương quan thường được xét giữa những thành phần “dị thường” Đó là hiệu chênh lệch giữa giá trị tức thời ở mỗi điểm lưới trừ đi giá trị trung bình khí hậu của biến được xét Vì thế người ta gọi là tương quan dị thường (AC) AC được tính như trong công thức 1.17, 1.18 Trong đó, Pi là giá trị dự báo chuẩn tương ứng với thành phần dự báo thứ 1 Giá trị chuẩn ở đây có thể là một trong 3 chuẩn: chuẩn quán tính, chuẩn ngẫu nhiên và chuẩn khí hậu

Tùy theo mục đích sử dụng, người ta chia ra hai loại AC khác nhau Dạng thứ nhất được sử dụng khá phổ biến trong trường hợp cần so sánh giữa kết quả dự báo của

mô hình với số liệu quan trắc của khí quyển thực, tức là nghiên cứu về sai số dự báo của mô hình Dạng thứ hai, AC được sử dụng như một thông số để so sánh trong các cuộc thử nghiệm của mô hình Khi đó, thay bằng việc sử dụng số liệu quan trắc, một

mô hình thích hợp sẽ được xem là thực và được đem ra đối chiếu với những mô hình thử nghiệm khác Sẽ có 3 khả năng xảy ra :

 Một là so sánh kết quả của hai phiên bản khác nhau của cùng một mô hình mà trong đó chúng khác nhau ở những mặt vật lý: Cấu trúc mô hình, độ phân giải hay cách tham số hóa các quá trình vật lý xảy ra trong đó

 Hai là, so sánh kết quả của mô hình khi sử dụng những điều kiện biên khác nhau Cả hai dạng thử nghiệm so sánh này thường được làm khi cần phải cải tiến chất lượng của mô hình

 Ba là, so sánh một kết quả thực nào đó với phiên bản sử dụng điều kiện ban đầu khác nhau của một mô hình Ví dụ minh họa cho trường hợp này là dạng thử nghiệm OSSE (Observation System Simulation Experiments), trong đó một số

mô phỏng sẽ được ban đầu hóa bởi mạng lưới quan trắc tồn tại thực còn các mô phỏng khác được ban đầu hóa bằng những mạng lưới quan trắc được thiết kế trước hoặc chỉ được giả định Tính khách quan trong tất cả ba dạng thử nghiệm trên sẽ chỉ ra một mô hình phân tích chính xác nhất, khác hẳn với những mô hình khác

AC lớn nhất (bằng 1) khi dị thường khí hậu của mô hình và dị thường “thực” cùng pha Giá trị AC càng nhỏ khi chúng càng lệch pha nhau và nhỏ nhất (bằng -1) khi

các dị thường này ngược pha nhau

Điểm AC thường hữu ích trong việc giải thích kỹ năng của mô hình bị giảm sút khi thời gian dự báo tăng lên cũng như sự biến thiên kỹ năng mô hình qua các năm

1.5.4 Phương pháp đánh giá đối với dự báo pha

Đối với dự báo pha hay dự báo xác suất, khi tiến hành đánh giá người ta thường

sử dụng bảng tổng hợp đánh giá Bảng tổng hợp đánh giá được thiết lập dựa trên nguyên tắc sau:

1 Tại các ô giao nhau giữa pha dự báo và pha quan trắc là số lần hiện tượng thời tiết xảy ra trong hai pha dự báo và quan trắc

2 Việc chia phải đảm bảo sao cho xác suất tổng các pha phải bằng 1

Ta sẽ có bảng liên hợp đa pha như sau :

Bảng 1.2 Bảng liên hợp dự báo - thực tế

Phương pháp phân đôi dự báo được phát biểu như sau: khi sự kiện nào đó xảy ra

ta gọi trường hợp này là “có”, khi sự kiện nào đó không xảy ra ta gọi trường hợp này là

“không” Nhân tố dự báo mưa và sương mù là những ví dụ điển hình về dự báo có/không Cũng có thể đặt ra một ngưỡng nào đó để khi dự báo cũng sẽ có 2 trường hợp xảy ra là có và không, ví dụ như dự báo gió với tốc độ lớn hơn 10m/s

Để đánh giá dự báo bằng phương pháp này chúng ta bắt đầu bằng bảng liên hợp, bảng chỉ ra các tần suất dự báo và quan trắc có và không Có tất cả bốn cách kết hợp giữa dự báo (có hoặc không) và quan trắc (có hoặc không), ta gọi đó là phân bố chung Phân bố chung bao gồm:

- Tỷ lệ dự báo trúng (hit): đối tượng được dự báo là xảy ra và thực tế đã xảy ra

- Dự báo sai (miss): đối tượng được dự báo là không xảy ra nhưng thực tế lại xảy

Có N11-Thành công N12-Thất bại Dự báo có Không N21-Báo động sai N22-Đúng yếu Dự báo không

Dự báo

Bảng liên hợp là một công cụ có rất hữu ích để từ đó ta có các dạng sai số khác nhau Một dự báo hoàn hảo sẽ chỉ cho ta “dự báo trúng” và “đúng yếu”; không cho

“báo động sai” và “dự báo sai”

Dao động của con số thống kê được tính toán từ các yếu tố trong bảng liên hợp

để mô tả mặt nào đó của dự báo Chúng ta sẽ minh họa các con số thống kê này bằng các ví dụ Giả thiết, trong một năm, số ngày mưa theo dự báo và quan trắc được cho trong bảng liên hợp dưới đây:

Bảng 1.4: Phân bố mưa dựa vào bảng tổng hợp đánh giá

1.5.4.1 Phần trăm đúng (Percent correct - PC)

Điểm số PC được tính bằng tỷ số giữa tổng số lần dự báo đúng trên tổng số lần

dự báo

so với tổng số trường hợp dự báo

1.5.4.2 Tỷ lệ báo sai (False alarm ratio)

Điểm số FAR được tính bằng tỷ số giữa số trường hợp dự báo có nhưng trên thực tế lại không xảy ra so với tổng số trường hợp dự báo có

21 11

21

N N

N FAR

1.5.4.3 Xác suất phát hiện hiện tượng (Probability of Detection of Event)

Điểm số POD được tính bằng tỷ số giữa “thành công” với tổng số lần quan trắc thấy xuất hiện sự kiện Điều đó có nghĩa là dự báo đúng bao nhiêu phần trăm so với thực tế

21 11

11NN

NPOD



Giá trị POD nằm trong khoảng 0 ≤ POD ≤ 1 Trong trường hợp POD = 1 thì mô hình dự báo là hoàn hảo

Ta lưu ý một điều rằng, điểm số POD rất nhạy đối với “dự báo trúng”, không nhạy đối với “báo động sai” Có thể giả định tăng thêm dự báo “có” để làm tăng tỷ lệ

dự báo đúng, và dĩ nhiên tỷ lệ dự báo sai sẽ thấp đi Điểm số này thường được dùng kết hợp với điểm số FAR

282

BE có giá trị biến thiên từ 0 đến ∞ Dự báo là hoàn hảo khi điểm số BE bằng 1

Thông thường hệ thống dự báo có xu hướng dự báo thấp (BE<1) hoặc dự báo vượt quá (BE>1) Độ lệch không xác định mức độ tương quan giữa dự báo và quan trắc, nó chỉ xác định dựa trên mối tương quan về mặt tần suất

Ví dụ về điểm số này, BE =(82+38)/(82+23) , nghĩa là dự báo mưa có xảy ra lớn hơn so với thực tế

1.5.4.5 Điểm số báo hiệu (Threat Score)

Điểm số TS là tỷ số giữa “dự báo trúng” với miền giao bởi dự báo “có” và quan trắc “có” Điểm số được tính bởi công thức sau:

21 12 11

11

N N N

N TS

Ví dụ với số liệu lấy từ bảng 3.2 ta có: 0.57

382382

một nửa trường hợp mưa (dự báo và/hoặc quan trắc) được dự báo chính xác

Như vậy, chương 1 đã khái quát lên những nội dung chủ yếu trong các bài toán đánh giá nói chung cũng như những bài đoán đánh giá cho các sản phẩm của mô hình

dự báo thời tiết số nói riêng Trên cơ sở những lý thuyết đó, chương hai sẽ đề cập đến các vấn đề về số liệu và đánh giá dự báo mưa cho mô hình số HRM một cách chi tiết