Đánh giá kết quả - Tổ hợp kết quả dự báo toàn cầu- 123docz.net

CHƯƠNG III: KẾT QUẢ VÀ THẢO LUẬN

3.3. Tổ hợp kết quả dự báo toàn cầu của các trung tâm quốc tế

3.3.2. Đánh giá kết quả

Kết quả đánh giá sai số dự báo với ba phương pháp tổ hợp thống kê:

a. Kết quả thử nghiệm với 15 thành phần của CMA:

Sai số khoảng cách đánh giá trên chuỗi số liệu phụ thuộc:

Bảng 3.11. Sai số khoảng cách dự báo tổ hợp 15 thành phần của CMA (số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km)

PP trung bình đg

PP sử dụng phương sai của sai

số

PP siêu tổ hợp

24h 158.58 155.8 98.44

48h 238.78 235.38 151.41

72h 333.45 331.34 226.42

96h 446.15 434.77 281.64

120h 621.76 606.77 383.77

Hình 3.3. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 15 tp CMA ( số liệu phụ thuộc)

Nhận xét: Phân tích kết quả sai số khoảng cách ở chuỗi số liệu phụ thuộc (Bảng 3.11 và Hình 3.3) cho thấy, ở các hạn dự báo 24h, 48h, 72h, 96h, 120h sai số khoảng cách trong trường hợp tổ hợp dự báo sử dụng phương pháp trung bình đơn giản và phương pháp dùng phương sai của sai số sai số khoảng cách là gần như

nhau và tương đối cao, chẳng hạn ở hạn dự báo 120h sai số khoảng cách là khoảng 621km (trung bình đơn giản) và khoảng 606 km (phương sai của sai số). Tuy nhiên kết quả ở tổ hợp dự báo bằng phương pháp siêu tổ hợp sai số nhỏ hơn rất nhiều so với hai trường hợp trên, sai số khoảng cách ở 120h chỉ có khoảng 383 km. Như vậy, kết quả trên cho thấy phương pháp siêu tổ hợp mang lại kết quả khả quan nhất trong cả ba phương pháp tổ hợp.

Sai số khoảng cách đánh giá trên chuỗi số liệu độc lập:

Bảng 3.12. Sai số khoảng cách dự báo tổ hợp 15 thành phần của CMA (số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương

sai của sai số PP siêu tổ hợp

24h 179.49 180.55 150.03

48h 330.58 330.53 265.3

72h 492.52 487.38 511.68

96h 641.15 624.99 602.11

120h 782.95 768.66 732.13

Hình 3.4. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 15 tp CMA ( số liệu độc lập)

Nhận xét: Phân tích kết quả sai số khoảng cách ở chuỗi số liệu độc lập ( Bảng 3.12 và Hình 3.4) lúc này sai số ở cả 3 phương pháp gần như nhau và sai số khá cao ví dụ ở hạn 24h sai số khoảng từ 150 km đến 179 km; hạn 120h sai số khoảng 732 km đến 783km. Tuy nhiên sai số ở phương pháp siêu tổ hợp vẫn là thấp nhất, điều này cho thấy một lần nữa khẳng định phương pháp siêu tổ hợp (phương pháp hồi quy có lọc) là phương pháp tổ hợp khả quan nhất.

b. Kết quả thử nghiệm với 5 thành phần của CMA:

Sai số khoảng cách đánh giá trên chuỗi số liệu phụ thuộc:

Bảng 3.13. Sai số khoảng cách dự báo tổ hợp 5 thành phần của CMA (số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương

sai của sai số PP siêu tổ hợp

24h 152.9 154.7 104.68

48h 232.9 227.95 161.8

72h 329.7 319.84 236.63

96h 470.1 421.19 331.77

120h 598.4 584.97 443.86

Hình 3.5. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 5 tp CMA ( số liệu phụ thuộc)

Nhận xét: Phân tích kết quả sai số khoảng cách trên mẫu phụ thuộc (Bảng 3.13 và Hình 3.5) : với tất cả các hạn dự báo ta thấy sai số khoảng cách của phương pháp tổ hợp hồi quy tuyến tính đa biến đều nhỏ hơn sai số của cả hai phương pháp tổ hợp theo trọng số theo phương sai của sai số và lấy trung bình đơn giản; khi hạn dự báo tăng lên thì sai số của phương pháp lấy trung bình đơn giản tăng nhiều hơn phương pháp siêu tổ hơ ̣p . Như vậy khi tổ hợp kết quả dự báo phương pháp siêu tổ

hơ ̣p mang lại kết quả tốt hơn đặc biệt đối với các hạn dự báo dài như 96h và 120h, ví dụ ở đây dự báo 120h có sai số khoảng cách là khoảng 443 km.

Sai số khoảng cách đánh giá trên chuỗi số liệu độc lập:

Bảng 3.14. Sai số khoảng cách dự báo tổ hợp 5 thành phần CMA (số liệu độc lập)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương sai

của sai số PP siêu tổ hơ ̣p

24h 169.6 172.19 129.56

48h 349.5 385.15 324.91

72h 442.8 446.25 448.48

96h 533.6 540.21 502.73

120h 599.1 587.91 535.51

Hình 3.6. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 5 tp CMA ( số liệu độc lập)

Nhận xét: Từ bảng so sánh (Bảng 3.14 ) và biểu đồ (Hình 3.6) kết quả sai số khoảng cách trên mẫu độc lập tương tự kết quả trên mẫu phụ thuộc giữa ba phương pháp tìm hệ số của tổ hợp ta thấy đối với mẫu số liệu nào thì phương pháp siêu tổ hơ ̣p cũng cho sai số khoảng cách (ở tất cả các hạn dự báo) thấp nhất. Kết quả này chứng tỏ rằng khi tổ hợp bằng phương pháp siêu tổ hơ ̣p ta có thể tìm được các hệ số phù hợp cho các thành phần tham gia tổ hợp dựa vào tương quan của các nhân tố dự báo với nhau và tương quan của các nhân tố dự báo với yếu tố dự báo.

c. Kết quả thử nghiệm với 1 thành phần của CMA và thành phần của ECMWF

Sai số khoảng cách đánh giá trên chuỗi số liệu phụ thuộc:

Bảng 3.15. Sai số khoảng cách dự báo tổ hợp 1 thành phần của CMA và thành phần ECMWF (số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương sai

của sai số PP siêu tổ hợp

24h 106.62 91.49 77.53

48h 171.02 156.2 135.11

72h 226.41 194.98 188.9

96h 305.2 289.69 269.32

120h 409.95 396.27 384.66

Hình 3.7. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 1 tp CMA và thành phần ECMWF ( số liệu phụ thuộc)

Nhận xét: Phân tích sai số khoảng cách khi tổ hợp một thành phần dự báo từ hai trung tâm trên mẫu số liệu phụ thuộc (Bảng 3.15, Hình 3.7), kết quả sai số không còn cao như các trường hợp tổ hợp trước: ở hạn 24h sai số cho 3 phương pháp tổ hợp là từ 77km đến hơn 100km; đến hạn 48h từ 135km đến 171km; đến hạn 72h từ 188km đến 226km; đến hạn 96h từ 269km đến 305km; 120h từ 384km đến hơn 400km. Đồng thời sai số của cả 3 phương pháp tổ hợp cũng không chênh lệch nhau nhiều và sắp xếp theo thứ tự tăng dần về sai số thì phương pháp siêu tổ hợp luôn đứng đầu còn phương pháp trung bình đơn giản xếp cuối cùng, ở giữa là phương pháp dùng phương sai của sai số.

Sai số khoảng cách đánh giá trên chuỗi số liệu độc lập:

Bảng 3.16. Sai số khoảng cách dự báo tổ hợp 1 thành phần của CMA và thành phần ECMWF (số liệu độc lập)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương

sai của sai số PP siêu tổ hợp

24h 135.14 123.42 121.74

48h 219.52 209.46 207.48

72h 322.09 345.02 319.68

96h 398.14 412.67 453.63

120h 511.67 517.43 485.9

Hình 3.8. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 1 tp CMA và thành phần ECMWF ( số liệu độc lập)

Nhận xét: Phân tích sai số khoảng cách khi tổ hợp một thành phần dự báo từ hai trung tâm trên mẫu số liệu độc lập (Bảng 3.16, Hình 3.8) kết quả cho thấy sai số cao hơn so với mẫu phụ thuộc. Cũng như ở Mẫu phụ thuộc, Phương pháp siêu tổ

hơ ̣p cho sai số khoảng cách thấp nhất ở các hạn dự báo 24h, 48h, 72h và 120h tuy nhiên ở hạn dự báo 96h sai số khoảng các của tổ hợp dự báo theo phương pháp này lại lớn nhất và sai số của phương pháp trung bình đơn giản lại cho kết quả sai số nhỏ nhất.

d. Kết quả thử nghiệm với 15 thành phần của CMA và thành phần của ECMWF

Sai số khoảng cách đánh giá trên chuỗi số liệu phụ thuộc:

Bảng 3.17. Sai số khoảng cách dự báo tổ hợp 15 thành phần của CMA và thành phần ECMWF (số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương sai

của sai số PP siêu tổ hợp

24h 112.17 125.32 60.75

48h 163.27 163.69 101.73

72h 242.29 238.35 165.22

96h 345.55 321.23 219.68

120h 463.76 451.72 239.73

Hình 3.9. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 15 tp CMA và thành phần ECMWF ( số liệu phụ thuộc)

Sai số khoảng cách đánh giá trên chuỗi số liệu độc lập:

Bảng 3.18. Sai số khoảng cách dự báo tổ hợp 15 thành phần của CMA và thành phần ECMWF (số liệu độc lập)

Hạn dự báo

Sai số khoảng cách (km)

PP trung bình đg

PP sử dụng phương sai của sai

số

PP siêu tổ hợp

24h 150.21 143.38 137.16

48h 285.13 225.52 285.56

72h 389.88 371.84 369.21

96h 565.02 521.77 498.63

120h 706.65 656.76 650.32

Hình 3.10. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 15 tp CMA và thành phần ECMWF ( số liệu độc lập)

Nhận xét: Phân tích các kết quả sai số khoảng cách khi tổ hợp 15 thành phần dự báo của CMA và thành phần của ECMWF trên mẫu số liệu phụ thuộc (Hình 3.9) cho thấy sai số khoảng cách của phương pháp siêu tổ hơ ̣p nhỏ đi rõ rệt, ở hạn 24h chỉ có hơn 60km; 48h: hơn 100km; 72h: hơn 160km; 96h: hơn 210km;

120h: chỉ có hơn 230km. các sai số này rất nhỏ so với hai phương pháp còn lại. tuy nhiên khi đánh giá trên tập mẫu độc lập (Hình 3.10) thì sai số khoảng cách của phương pháp siêu tổ hơ ̣p lại tăng lên rất cao gần bằng với sai số của phương pháp dùng phương sai của sai số ở các hạn dự báo, và ở hạn 120h lên đến 650km hơn hẳn 420 km so với sai số của hạn dự báo này ở mẫu phụ thuộc. Điều này chứng tỏ phương trình dự báo tổ hợp 15 thành phần của CMA và 1 thành phần của ECMWF chưa mang lại kết quả tốt ở mẫu độc lập, đã có các kết quả cho sai số tương đối cao.

e. Kết quả thử nghiệm với 5 thành phần của CMA và thành phần của ECMWF.

Sai số khoảng cách đánh giá trên chuỗi số liệu phụ thuộc:

Bảng 3.19. Sai số khoảng cách dự báo tổ hợp 6 thành phần của 2 trung tâm ( Số liệu phụ thuộc)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương

sai của sai số PP siêu tổ hợp

24h 138.29 107.31 71.81

48h 207.22 160.76 130.49

72h 286.91 221.95 187

96h 421.04 306.69 263.52

120h 451.8 385.52 312.58

Hình 3.11. Biểu đồ sai số khoảng cách (km) dự báo tổ hợp 6 thành phần của 2 trung tâm (số liệu phụ thuộc)

Nhận xét: Đồ thị (Hình 3.11) trên đây thể hiện rất rõ sự chênh lệch về kết quả sai số dự báo khi tổ hợp các kết quả dự báo bằng ba phương pháp khác nhau.

Cụ thể, trong khi sai số khoảng cách của phương pháp siêu tổ hợp ở hạn 72h chỉ có khoảng 187km thì phương pháp dùng phương sai của sai số lên đến 221km, còn phương pháp lấy trung bình đơn giản lên đến hơn 286km, mỗi phương pháp chênh lệch nhau khoảng 50km; 120h cũng chênh lệch nhau khoảng 60km. Như vậy

phương pháp siêu tổ hơ ̣p là phương pháp tối ưu luôn cho sai số nhỏ nhất như vậy đây là phương pháp nên lựa chọn.

Các giá trị sai số: ở hạn 24h là 71.81km; 48h- 130.49km; 72h- 187km; 6h- 283.52km; 120h- 312.58km đã chỉ ra rằng khi tổ hợp các kết quả dụ báo của cả hai trung tâm bằng phương pháp hồi quy chúng ta sẽ có được một dự báo khá tốt, tương đương với kết quả của dự báo bão trước đây là sai số khoảng 350km cho hạn dự báo 120h.

Sai số khoảng cách đánh giá trên chuỗi số liệu độc lập:

Bảng 3.20. Sai số khoảng cách dự báo tổ hợp 6 thành phần của 2 trung tâm (Số liệu độc lập)

Hạn dự báo

Sai số khoảng cách (km) PP trung bình đg PP sử dụng phương

sai của sai số PP siêu tổ hơ ̣p

24h 154.94 126.09 110.6

48h 299.73 275.16 159.37

72h 393.25 352.33 238.5

96h 462.07 452.91 343.23

120h 581.05 590.56 362.01

Hình 3.12. Biểu đồ sai số khoảng cách khi tổ hợp 6 thành phần của 2 trung tâm (số liệu độc lập)

Nhận xét: Đồ thị: Hình 3.12, kết quả này cũng cho thấy tương tự với kết quả của tập mẫu phụ thuộc.

So sánh kết quả giữa hai tâ ̣p mẫu phu ̣ thuô ̣c và đô ̣c lâ ̣p ta thấy , với phương pháp siêu tổ hơ ̣p sai số trên hai tập mẫu chênh lệch nhau không nhiều lắm, cao nhất là ở hạn 96h khoảng 80km, thấp nhất ở hạn 48h khoảng 30km; ở hạn 120h cũng chênh lệch ít vào khoảng 50km. Như vậy chất lượng dự báo của số liệu độc lập và số liệu phụ thuộc là tương đối gần nhau , và các kết quả dự báo đều khá tốt.

3.4. So sánh các kết quả dự báo có sử dụng phương pháp hồi quy tuyến tính:

Hình 3.13. Đồ thị sai số khoảng cách của các trường hợp dự báo trên tập mẫu phụ thuộc

Hình 3.14. Đồ thị sai số khoảng cách của các trường hợp dự báo trên tập mẫu độc lập

Tổng hợp các kết quả dự báo ở trên ta có được một số nhận xét sau đây:

 Trên tập mẫu phụ thuộc (Hình 3.13)

- Khi ta sử dụng kết quả dự báo của từng trung tâm để xây dựng phương trình dự báo thì kết quả dự báo luôn cho sai số lớn hơn so với khi ta tổ hợp các kết quả dự báo lại để xây dựng phương trình.

- Sai số dự báo của CMA ở những hạn dự báo ngắn hạn 24h, 48h thấp hơn so với sai số dự báo của ECMWF, còn đối với những dự báo hạn 96h,120h thì ngược lại. Điều đó chứng tỏ, dự báo của CMA chỉ có chất lượng tốt ở những hạn dự báo ngắn như 24h, 48h; còn dự báo của ECMWF lại có chất lượng tốt hơn ở hạn dự báo 96h và 120h.

- Tổ hợp các kết quả của trung tâm CMA kết quả sai số khoảng cách có giảm đi so với khi không tổ hợp, ví dụ ở hạn 120h: CMA cho sai số khoảng hơn 500km, CMA(5) cho sai số khoảng gần 450km, ở CMA(15) sai số chỉ còn gần 400km.

- Tổ hợp các kết quả dự báo của cả hai trung tâm CMA- ECMWF đã cho kết quả khả quan hơn, cụ thể từng trường hợp thử nghiệm tổ hợp được thể hiện rất rõ trên hình vẽ: Tổ hợp CMA(15)- ECMWF cho kết quả sai số thấp nhất; CMA(1)- ECMWF và CMA(5)- ECMWF cho kết quả sai số gần bằng nhau ở các hạn dự báo 24h, 48h, 72h, 96h; còn với hạn 120h thì sai số khoảng cách của CMA(5)-ECMWF nhỏ hơn khoảng gần 100km. Sai số khi tổ hợp của CMA(5)- ECMWF và CMA(15)- ECMWF sai số hạn 120h chỉ khoảng từ 200km đến 300km, trong khi đó sai số khi dự báo thử nghiệm từ các mô hình như từ kết quả của nhóm nghiên cứu trường ĐH Khoa học tự nhiên hay từ một số nghiên cứu của nước ngoài ở hạn này là khoảng 350km, như vậy kết quả này là tương đối khả quan.

 Trên tập mẫu độc lập (Hình 3.14 )

- Cũng cho kết quả tương tự như số liệu phụ thuộc tuy nhiên sai số của dự báo CMA tăng lên khá nhiều còn sai số của dự báo ECMWF tăng lên không nhiều lắm, điều này chứng tỏ kết quả dự báo của ECMWF có tính ổn định hơn các dự báo của CMA.

- Ở tập mẫu độc lập có sự thay đổi rất lớn về kết quả sai số khoảng cách so với mẫu phụ thuộc, sai số cao nhất lại thuộc về dự báo tổ hợp CMA(15), sau đó đến CMA, đến CMA(5), đến CMA(15)-ECMWF, đến ECMWF, đến CMA(1)-ECMWF và cuối cùng sai số nhỏ nhất lại là của CMA(5)-ECMWF. dự báo tổ hợp CMA(15)- ECMWF không còn cho kết quả sai số thấp nhất nhất nữa điều này có thể cho ta thấy khi tổ hợp nhiều kết quả dự báo của CMA không phải lúc nào kết quả dự báo cũng cho sai số thấp, như vậy dự báo này là không ổn định.

- Ở tập mẫu độc lập cũng giống với mẫu phụ thuộc, dự báo tổ hợp CMA(5)-ECMWF tất cả các dự báo của cả hai trung tâm vẫn cho kết quả tốt nhất và sai số ở 120 h là khoảng 360km, tương đương với kết quả dự báo đánh gía sai số trung bình của khu vực Tây Bắc Thái Bình Dương là khoảng 300-350km (Trung Tâm cảnh báo bão Mỹ) và trong dự báo thử nghiệm của TH.S Hoàng Thị Thủy (2013) trong luận văn thạc sĩ: “Thử nghiệm dự báo tổ hợp quỹ đạo và cường độ bão

hạn 5 ngày trên khu vực Biển Đông bằng WRF sử dụng sản phẩm tổ hợp toàn cầu”

kết quả sai số dự báo ở 120h cũng khoảng 360km

Từ các nhận xét trên cũng có thể kết luận rằng phương trình dự báo tối ưu nhất là phương trình tổ hợp CMA(5)- ECMWF với phương pháp tổ hợp là thực hiện hồi quy tuyến tính (HQTT) đa biến có chọn lọc hay còn gọi là phương pháp siêu tổ hợp. 3.5. Đánh giá kết quả dự báo CMA(5)- ECMWF trên một số cơn bão điển hình

Trong tập mẫu số liệu độc lập dùng để đánh giá kết quả dự báo gồm có các cơn bão mạnh, cơn bão yếu, cơn bão hoạt động đầu mùa, cơn bão hoạt động cuối mùa. Để đánh giá sâu hơn về chất lượng các phương trình dự báo tôi lựa chọn hai cơn bão điển hình cơn bão Nari (10- 15/10/2013) cơn bão cuối mùa , cơn bão Rammasun (13- 20/7/2014) cơn bão đầu mùa để tiến hành phân tích và đánh giá.

Khảo sát bão Nari:

 Diễn biến quỹ đạo thực của cơn bão Nari (10- 15/10/2013):

Nari được đánh giá là cơn bão có diễn biến phức tạp cường độ rất mạnh, hình thành ngày (8/10/2013) từ một xoáy thuận nhiệt đới trên đảo Lu- dông (Philipin), ngày 10/10 cơn bão này di chuyển nhanh về phía Philipin; sau đó vượt qua quần đảo Lu-Dông đi vào biển Đông với hướng di chuyển khá ổn định.

Hồi 01 giờ ngày 11/10, vị trí tâm bão ở vào khoảng 15,3 độ Vĩ Bắc; 125,4 độ Kinh Đông, cách đảo Lu-Dông (Philippin) khoảng 400km về phía Đông

Hồi 01 giờ ngày 12/10, vị trí tâm bão ở vào khoảng 15,6 độ Vĩ Bắc; 120,5 độ Kinh Đông, trên khu vực phía Tây Nam đảo Lu-Dông (Philippin).

Hồi 04 giờ ngày 14/10, vị trí tâm bão ở vào khoảng 15,6 độ Vĩ Bắc; 111,8 độ Kinh Đông, trên khu vực phía Nam quần đảo Hoàng Sa. Cách bờ biển các tỉnh Quảng Trị - Quảng Ngãi khoảng 330km về phía Đông.

Từ 2 giờ đến 7 giờ sáng ngày 15/10, bão Nari đổ bộ vào TP.Đà Nẵng và tỉnh Quảng Nam, trở thành trận cuồng phong lớn, kéo dài nhất từ trước tới nay với sức gió giật cấp 11, cấp 12, giật cấp 13.