Các chỉ tiêu thống kê gồm: Độ lệch trung bình tuyệt đối (MAE), căn bậc hai sai số bình phƣơng trung bình (RMSE, nRMSE), độ chính xác tuyệt đối (MAPA) và chỉ số tƣơng đồng (IA) đƣợc sử dụng để đánh giá độ tin cậy của kết quả dự báo từ mô hình nghiên cứu, theo các phƣơng trình sau:
a. Độ lệch trung bình tuyệt đối: MAE (Mean Absolute Error)
1 1 N i i i MAE O P N
34
Chỉ số MAE cho biết biên độ trung bình của sai số mô hình. Khi MAE=0, giá trị mô hình hoàn toàn trùng khớp với giá trị quan trắc.
b. Căn bậc hai sai số bình phƣơng trung bình- RMSE (Root Mean Square Error)
2 1 1 N i i i RMSE O P N
Trong đó Oi là giá trị đo đạc, Pi là giá trị dự báo
RMSE là thƣớc đo biên độ sai số. Giá trị tối ƣu bằng 0 (Jacovides & Kontoyiannis, 1995). Khi sai số biến động càng mạnh thì RMSE càng lớn. Nếu RMSE càng gần MAE sai số mô hình càng ổn định. Tồn tại bất đẳng thức: MAE<= RMSE, dấu”=” xảy ra khi và chỉ khi mô hình hoàn toàn không có sai số, khi đó MAE=RMSE=0.
c. Căn bậc hai sai số bình phƣơng trung bình chuẩn hóa: nRMSE
1 .100% 1 N observ i i RMSE nRMSE C N Trong đó:
RMSE: căn bậc hai sai số bình phƣơng trung bình tính nhƣ công thức ở phần trên
Ciobserv: giá trị đo đạc của thông số.
nRMSE có giá trị từ 0-100%, nRMSE càng nhỏ thì mô hình càng có độ tin cậy cao.(Raes et al, 2012).
d. Độ chính xác trung bình tuyệt đối-MAPA (Mean Absolute Percentage Accuracy)
1 1 *100% 1 N observ i i MAE MAPA C N
MAPA có giá trị từ 0-100%, ngƣợc lại với nRMSE, MAPA càng lớn thì độ chính xác của mô hình càng cao.
35 2 1 2 1 1 N i i i N i i i P O IA P O O O
IA có giá trị nằm trong khoảng từ 0 đến 1. Càng gần giá trị 1 thì sự tƣơng đồng giữa giá trị dự báo và giá trị đo đạc càng tốt (Willmott et al, 1985) [7].
36
CHƢƠNG 3: KẾT QUẢ VÀ THẢO LUẬN 3.1. Dự báo chất lƣợng không khí sử dụng FFNN 3.1.1. Dự báo đối với SO2
3.1.1.1. Mối tƣơng quan về xu hƣớng diễn biến của SO2
Kết quả dự báo của mô hình đƣợc đánh giá qua mối tƣơng quan về xu hƣớng diễn biến và độ tin cậy (bằng các chỉ số thống kê). Mối tƣơng quan về xu hƣớng diễn biến của giá trị dự báo sử dụng FFNN với các số nơ-ron khác nhau và giá trị đo của SO2 đƣợc thể hiện trong Hình 3.1 đến Hình 3.4.
Với số nơ-ron trong lớp ẩn là 02
Hình 3.1. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN(1-2-1) đối với SO2
37 Với số nơ-ron trong lớp ẩn là 05
Hình 3.2. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN(1-5-1) đối với SO2
Trong đó: Pi: diễn biến nồng độ SO2 dự báo từ mô hình FFNN; Oi: giá trị đo Với số nơ-ron trong lớp ẩn là 10
Hình 3.3. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN(1-10- 1) đối với SO2
38 Với số nơ-ron trong lớp ẩn là 20
Hình 3.4. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN(1-20- 1) đối với SO2
Trong đó: Pi: diễn biến nồng độ SO2 dự báo từ mô hình FFNN; Oi: giá trị đo
Từ Hình 3.1 đến Hình 3.4 ta thấy, tƣơng quan giữa giá trị SO2 dự báo bằng mô hình FFNN và nồng độ đo là tƣơng đối tốt thể hiện qua sự đồng nhất về xu hƣớng diễn biến của chúng trong tất cả các trƣờng hợp cấu trúc mạng (số nơ-ron trong lớp ẩn) khác nhau. Điều này cho thấy, mô hình FFNN có thể dự báo đƣợc khá tốt xu thế diễn biến của chất ô nhiễm theo thời gian. Khi thay đổi cấu trúc của mô hình FFNN thì sự chênh lệch về kết quả dự báo giữa các mô hình chƣa rõ ràng vì việc xác định sự chênh lệch này thông qua xu hƣớng diễn biến là khó khăn, do đó cần phải xác định độ tin cậy để đánh giá định lƣợng sự khác nhau về kết quả dự báo của các mô hình có cấu trúc khác nhau.
3.1.1.2. Độ tin cậy của mô hình đối với SO2
Độ tin cậy của mô hình đƣợc định lƣợng thông qua các chỉ số thống kê nhƣ đƣợc trình bày trong Bảng 3.1.
39
Bảng 3.1. Độ tin cậy của FFNN với SO2 Số nơ-ron
trong lớp ẩn
Chỉ số
MAE( ppb) RMSE (ppb) nRMSE(%) MAPA(%)
02 2,9 3,52 45,2 62,8
05 2,8 3,37 43,2 64,1
10 2,8 3,35 43,0 64,1
20 2,8 3,36 43,1 64,1
Bảng 3.1 cho thấy, trong tất cả các trƣờng hợp đã nghiên cứu, độ chính xác (MAPA) của kết quả dự báo từ mô hình FFNN với các cấu trúc khác nhau đều đạt trên 62% là tƣơng đối tốt.Với kết quả tốt hơn cả khi số nơ-ron lớp ẩn là 10 với độ chính xác MAPA cao nhất là 64,1% và sai số chuẩn nRMSE thấp nhất là 43%. Nếu so sánh kết quả này với kết quả dự báo của các nghiên cứu trên thế giới (độ chính xác MAPA trên 80%) thì nó còn khá khiêm tốn do một số hạn chế về mặt thời gian, cho nên, luận văn mới chỉ khảo sát mối tƣơng quan giữa nồng độ của chất ô nhiễm trong quá khứ đến nồng độ của nó tại thời điểm cần dự báo. Điều này là chƣa đủ vì theo [35], nồng độ của một chất ô nhiễm không khí còn phụ thuộc vào các thông số khí tƣợng (mức độ lan truyền chất ô nhiễm), và quá trình hóa học của nó trong không khí… Chính vì vậy, có thể khẳng định độ tin cậy của mô hình FFNN có thể đạt cao hơn khi xem xét đầy đủ các mối liên hệ này.
3.1.2. Dự báo đối với PM10
3.1.2.1. Mối tƣơng quan về xu hƣớng diễn biến của PM10
Mối tƣơng quan về xu hƣớng diễn biến của giá trị dự báo sử dụng FFNN với các số nơ-ron khác nhau và giá trị đo của PM10 đƣợc thể hiện trong Hình 3.5 đến Hình 3.8.
40 Với số nơ-ron lớp ẩn là 02
Hình 3.5. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN (1-2-1) đối với PM10
Trong đó: Pi: diễn biến nồng độ SO2 dự báo từ mô hình FFNN; Oi: giá trị đo
Với số nơ-ron lớp ẩn là 05
Hình 3.6. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN (1-5-1) đối với PM10
41 Với số nơ-ron lớp ẩn là 10
Hình 3.7. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN (1-10- 1) đối với PM10
Trong đó: Pi: diễn biến nồng độ SO2 dự báo từ mô hình FFNN; Oi: giá trị đo Với số nơ-ron lớp ẩn là 20
Hình 3.8. Tƣơng quan với giá trị đo của kết quả dự báo bằng mô hình FFNN (1-20- 1) đối với PM10
42
Hình 3.5 đến Hình 3.8 cho thấy, cũng giống nhƣ SO2, sự tƣơng quan diễn biến nồng độ dự báo PM10 và nồng độ đo có sự tƣơng quan tốt. Hơn nữa, kết quả này còn có phần tốt hơn so với SO2.Từ những kết quả này, có thể bƣớc đầu khẳng định, FFNN là một công cụ tiềm năng để dự báo diễn biến nồng độ theo thời gian. Điều này sẽ có ý nghĩa trong việc quản lý chất lƣợng không khí và dự báo các tình huống xấu có thể sảy ra để xây dựng các kịch bản ứng phó cần thiết. Để đánh giá mức độ tƣơng quan cụ thể thì cần xác định độ tin cậy của mô hình.
3.1.2.2. Độ tin cậy của mô hình đối với PM10
Bảng 3.2. Độ tin cậy của FFNN cho PM10
Số nơ-ron lớp ẩn trong FFNN Chỉ số MAE (μg/m3 ) MAPA (%) RMSE (μg/m3) nRMSE (%) IA 02 22,3 83,1 30,7 23,3 0,89 05 22,0 83,3 30,3 23,0 0,89 10 22,1 83,2 30,6 23,2 0,89 20 22,1 83,2 30,6 23,2 0,89
Từ Bảng 3.2 cho thấy, kết quả dự báo nồng độ PM10 từ mô hình FFNN là rất khả quan. Độ chính xác (MAPA) trong tất cả các trƣờng hợp nghiên cứu đều trên 83%, cao nhất đạt 83,3% khi số nơ-ron trong lớp ẩn là 5, với MAE và RMSE tƣơng ứng nằm trong khoảng 22 (μg/m3) đến 22,3 (μg/m3
) và 30,3 (μg/m3) đến 30,7 (μg/m3 ). Mô hình FFNN cho kết quả dự báo PM10 tốt hơn cả với cấu trúc gồm 05 nơ-ron trong lớp ẩn, trong đó, SO2 là 10 nơ-ron. Điều này cho thấy, cấu trúc của FFNN đối với mỗi đối tƣợng (chất ô nhiễm) là khác nhau, phụ thuộc vào bản chất của từng đối tƣợng nghiên cứu. Mà việc xác định cấu trúc mạng tối ƣu là tƣơng đối phức tạp và tốn nhiều thời gian, vì vậy, việc ứng dụng các phƣơng pháp để tối ƣu cấu trúc mạng là rất cần thiết.
43
3.2. Dự báo chất lƣợng không khí sử dụng FFNN kết hợp với GA
Nhƣ đã trình bày ở trên, GA là một trong những phƣơng pháp tối ƣu hóa đƣợc ứng dụng rộng rãi để tối ƣu hóa cấu trúc của mạng thần kinh nhân tạo, trong đó có FFNN. Chính vì vậy, trong nghiên cứu này, GA đã đƣợc sử dụng để xác định số nơ- ron trong lớp ẩn cho mạng FFNN. Kết quả thực nghiệm trên hai thông số SO2 và PM10 đƣợc trình bày dƣới đây.
3.2.1. Dự báo đối với SO2
Với kích thƣớc quần thể (Pop_size) là 20
Bảng 3.3. Số nơ-ron trong lớp ẩn của FFNN xác định bằng GA đối với SO2 khi kích thƣớc quần thể là 20 Pm Pc 0,5 0,75 0,15 Nẩn =161 Nẩn=82 0,2 Nẩn= 154 Nẩn=73
Với kích thƣớc quần thể (Pop_size) là 30
Bảng 3.4. Số nơ-ron trong lớp ẩn của FFNN xác định bằng GA đối với SO2 khi kích thƣớc quần thể là 30
Pm Pc
0,5 0,75
0,15 Nẩn =92 Nẩn=119
44
Bảng 3.5. Độ tin cậy của mô hình GA-FFNN dự báo SO2
Số nơ-ron MAE(ppb) MAPA(%) RMSE(ppb) nRMSE(%)
73 2,8 64,1 3,35 43,0 82 2,8 64,1 3,35 43,0 154 2,8 64,1 3,34 42,9 161 2,8 64,1 3,36 43,1 63 2,8 64,1 3,35 43,0 68 2,8 64,1 3,33 42,7 92 2,8 64,1 3,34 42,9 119 2,8 64,1 3,35 43,0
Từ Bảng 3.3 đến 3.5 cho thấy, khi tăng kích thƣớc quần thể lên, độ tin cậy của các cấu trúc FFNN xác định đƣợc là khá giống nhau với độ chính xác MAPA hơn 64% và tìm đƣợc kết quả độ tin cậy tốt hơn cả khi kích thƣớc quần thể là 30 với sai số nRMSE nhỏ nhất là 42,7%. Điều này cho thấy, kích thƣớc quần thể lớn (quần thể lời giải đa dạng hơn) sự tiến hóa sẽ tiến đến quần thể có cấu trúc tốt hơn đối với cùng số thế hệ (số vòng lặp). Cũng từ kết quả thực nghiệm cho thấy, kiến trúc mô hình GA-FFNN(1-68-1) cho kết quả dự báo SO2 tốt hơn cả cùng với tham số GA tƣơng ứng là: tỷ lệ chọn lọc là 0,75; tỷ lệ đột biến là 0,2.
Bảng 3.6 trình bày kết quả so sánh hai mô hình FFNN đƣợc thiết lập mặc định và mô hình FFNN có số nơ-ron trong lớp ẩn tìm đƣợc bằng GA. Có thể thấy với số nơ- ron lớp ẩn là 68 tìm đƣợc nhờ GA, sai số (nRMSE) thấp hơn khi số nơ-ron lớp ẩn là 10 chọn mặc định.
Bảng 3.6. So sánh độ tin cậy của FFNN(1-10-1) và GA-FFNN(1-68-1) Số nơ-ron ẩn MAE(ppb) MAPA(%) RMSE(ppb) nRMSE(%)
10(FFNN) 2,8 64,1 3,35 43,0
45
Có thể thấy, sai số nRMSE của mô hình GA-FFNN có đƣợc cải thiện hơn (giảm đi) so với FFNN mặc định nhƣng không lớn. Điều này nhƣ đã phân tích ở phần trên, do giới hạn về mặt thời gian của nghiên cứu, vì vậy, luận văn mới chỉ xem xét đến một biến phụ thuộc là nồng độ của chất ô nhiễm trong quá khứ đến nồng độ của nó tại thời điểm cần dự báo. Chính vì vậy, ƣu thế của GA trong trƣờng hợp này có thể chƣa đƣợc thể hiện rõ ràng. Tuy nhiên, số nơ-ron trong lớp ẩn tìm đƣợc nhờ GA là dựa trên việc tối ƣu hóa các nghiệm (lời giải) theo cơ chế của di truyền học, nhƣ vậy kết quả sẽ có cơ sở khoa học hơn việc chọn mặc định số nơ-ron trong lớp ẩn hoặc lựa chọn dựa trên kinh nghiệm. Điều này sẽ thuận lợi cho ngƣời sử dụng (thiết kế mạng) không có kinh nghiệm và sẽ tiết kiệm đƣợc thời gian chạy thử nghiệm mô hình. Nhƣ vậy, kết quả này cho thấy việc ứng dụng GA để tối ƣu hóa kiến trúc mô hình FFNN nói riêng và ANN nói chung là khả thi, sự tối ƣu không chỉ là số nơ-ron mà còn có thể thực hiện với các tham số quan trọng khác nhƣ tốc độ học (learning rate), biến đầu vào, hàm truyền (transfer function).
3.2.2. Dự báo đối với PM10
Tƣơng tự SO2, kết quả xác định số nơ-ron trong lớp ẩn của mô hình FFNN bằng GA đối với thông số PM10 đƣợc trình bày dƣới đây.
Với kích thƣớc quần thể (Pop_size) là 20
Bảng 3.7. Số nơ-ron trong lớp ẩn của FFNN xác định bằng GA đối với PM10 khi kích thƣớc quần thể là 20
Pm Pc
0,5 0,75
0,15 Nẩn =184 Nẩn=247
46 Với kích thƣớc quần thể (Pop_size) là 30
Bảng 3.8. Số nơ-ron trong lớp ẩn của FFNN xác định bằng GA đối với PM10 khi kích thƣớc quần thể là 30
Pm Pc
0,5 0,75
0,15 Nẩn =254 Nẩn=142
0,2 Nẩn= 153 Nẩn=234
Bảng 3.9. Độ tin cậy của mô hình GA-FFNN dự báo PM10 Số nơ-
ron MAE(μg/m3) MAPA(%) RMSE(μg/m3) nRMSE(%) IA
184 21,8 83,5 30,5 23,1 0,89 226 21,7 83,6 30,2 22,9 0,89 236 21,3 83,9 29,4 22,3 0,89 247 21,5 83,7 29,8 22,6 0,89 142 21,3 83,9 29.0 22,0 0,90 153 22,3 83,1 30,4 23,0 0,89 234 31,3 76,3 46,1 34,9 0,79 254 21,1 84,0 28,7 21,8 0,90
Từ Bảng 3.7 đến 3.9 cho thấy, với kích thƣớc quần thể lớn hơn là 30 mô hình GA-FFNN với số lớp ẩn 254 đƣợc xác định với tham số Pc và Pm lần lƣợt là 0,5 và 0,15 cho kết quả tốt hơn cả, độ chính xác (MAPA) đạt cao nhất 84% , sai số (nRMSE) nhỏ nhất 21,8% và hệ số tƣơng đồng (AI) là 0.90. Kết quả này là khá tốt đối với một mô hình dự báo và tƣơng đồng với các nghiên cứu trên thế giới.
47
Bảng 3.10. So sánh độ tin cậy của FFNN(1-05-1) và GA-FFNN(1- 254-1) Số nơ-ron ẩn MAE(μg/m3) MAPA(%) RMSE(μg/m3) nRMSE(%) IA
05(FFNN) 22,0 83,3 30,3 23,0 0,89
254(GA+FFNN) 21,1 84,0 28,7 21,8 0,90
Kết quả so sánh từ bảng 3.12 cũng thể hiện, độ tin cậy của mô hình GA-FFNN là tốt hơn so với FFNN có số nơ-ron mặc định. Cũng giống nhƣ SO2, sự khác biệt là không lớn, điều này đã đƣợc giải thích ở phần trên. Mặc dù vậy, kết quả thực nghiệm trên hai đối tƣợng đã đƣợc nghiên cứu là SO2 và PM10 cho thấy, việc ứng dụng GA để tối ƣu hóa cấu trúc FFNN nhằm nâng cao chất lƣợng dự báo chất lƣợng không khí của mô hình FFNN là khả thi, nó thể hiện ở chỗ, GA giúp giảm đáng kể công sức của ngƣời thiết kế mạng, có thể xác định đƣợc các tham số tối ƣu cho mạng một cách nhanh chóng, độ tin cậy của mô hình vì thế đƣợc tăng lên. Thêm nữa, đây là một thuật toán mạnh và tƣơng đối đơn giản, vì vậy, không đòi hỏi quá cao về mặt chuyên môn cũng nhƣ đòi hỏi kinh nghiệm cao của ngƣời xây dựng mạng.
3.3. Bù dữ liệu nồng độ chất ô nhiễm khuyết thiếu
Từ kết quả nghiên cứu mô hình FFNN đã tiến hành bù số liệu đối với SO2 và PM10.
Để đánh giá độ tin cậy của các kết quả bù dữ liệu từ mô hình FFNN đƣợc kiểm tra thông qua phân bố dữ liệu. Kết quả cho thấy, bộ dữ liệu sau khi đã đƣợc bù hoàn chỉnh bởi FFNN hoàn toàn phù hợp với phân bố Weibull (tính toán sử dụng công cụ thống kê SPSS) và phù hợp với bộ dữ liệu nguồn, điều này là hoàn toàn phù hợp với