1. Trang chủ
  2. » Luận Văn - Báo Cáo

dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian

73 0 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Tác giả Nguyễn Duy Nguyên
Người hướng dẫn TS. Võ Thị Hồng Thắm
Trường học Trường Đại học Nguyễn Tất Thành
Chuyên ngành Công nghệ thông tin
Thể loại Đề án Thạc sĩ
Năm xuất bản 2024
Thành phố Thành phố Hồ Chí Minh
Định dạng
Số trang 73
Dung lượng 3,86 MB

Cấu trúc

  • CHƯƠNG I. GIỚI THIỆU ĐỀ TÀI (11)
    • 1.1. Đặt vấn đề (11)
    • 1.2. Các thách thức còn ton tại (13)
    • 1.3. Lý do chọn đề tài (13)
    • 1.4. Mục tiêu của đề tài (14)
    • 1.5. Nội dung nghiên cứu (14)
    • 1.6. Phuơng pháp nghiên cứu: Sử dụng phương pháp nghiên cứu phân tích tống luận tài liệu và phương pháp nghiên cứu thực nghiệm (0)
    • 1.7. Phạm vi nghiên cứu (14)
    • 1.8. Ke hoạch thực hiện (14)
    • 1.9. Cấu trúc đề án (15)
  • CHƯƠNG II. Cơ SỞ LÝ THUYẾT LIÊN QUAN ĐỀ TÀI NGHIÊN cứu (16)
    • 2.1. Tông quan (0)
      • 2.1.1. Khái niệm về chuỗi thời gian (16)
      • 2.1.2. Ý nghĩa của chuỗi thời gian (16)
      • 2.1.3. Phân tích chuỗi thời gian (0)
      • 2.1.4. Các kiểu dữ liệu chuồi thời gian (0)
    • 2.2. Phương pháp phân tích chuỗi thời gian (18)
      • 2.2.1. Mô hình AutoRegressive Integrated Moving Average (ARIMA) (18)
      • 2.2.2. Mô hình Generalized Autoregressive Conditional Heteroskedasticity (GARCH) (19)
      • 2.2.3. Mô hình học sâu (20)
    • 2.3. Các tham số đánh giá mô hình dự đoán chuỗi thời gian (21)
  • CHƯƠNG III. CÁC MÔ HÌNH & GIẢI PHÁP CHO BÀI TOÁN DỤ BÁO CHUỒI THỜI GIAN (24)
    • 3.1. Mô hình GRU (Gated Recurrent Unit) (24)
      • 3.1.1. Mô hình GRU là gì? (24)
      • 3.1.2. Ý nghĩa cùa mô hình GRU (0)
      • 3.1.3. Hoạt động của mô hình GRU (25)
    • 3.2. Mô hình Long Short-Term Memory (LSTM) (25)
      • 3.2.1. Mô hình LSTM là gì? (25)
      • 3.2.2. Ý nghía cùa mô hình LSTM (0)
      • 3.2.3. Hoạt động của mô hình LSTM (26)
    • 3.3. Mô hình BiLSTM (Bidirectional Long Short-Term Memory) (28)
      • 3.3.1. Mô hình BiLSTM là gì? (28)
      • 3.3.2. Ý nghía cùa mô hình BiLSTM (0)
      • 3.3.3. Hoạt động của mô hình BiLSTM (0)
    • 3.4. Mô hình AE&GRƯ (Auto encoding & Gated Recurrent Unit) (0)
      • 3.4.1. Mô hình AE&GRU là gì? (29)
      • 3.4.2. Ý nghía cùa mô hình AE&GRU (0)
      • 3.4.3. Hoạt động của mô hình AE&GRU (0)
  • CHƯƠNG IV. PHÂN TÍCH & THIẾT KẾ MÔ HÌNH THỤC NGHIỆM (0)
    • 4.1. Mô tả bài toán (32)
    • 4.2. Các bước xây dựng mô hình thực nghiệm (32)
    • 4.3. Thực nghiệm với bộ dữ liệu 1 (0)
      • 4.3.1. Tiền xử lý dữ liệu (32)
      • 4.3.2. Thực nghiệm với mô hình GRU (0)
      • 4.3.3. Thực nghiệm với mô hình LSTM (0)
      • 4.3.4. Thực nghiệm với mô hình BiLSTM (41)
      • 4.3.5. Thực nghiệm với mô hình AE&GRU (0)
      • 4.3.6. Đánh giá hiệu suất giữa các mô hình (49)
    • 4.4. Thực nghiệm với bộ dữ liệu 2 (53)
      • 4.4.1. Tiền xử lý dữ liệu (53)
      • 4.4.2. Thực nghiệm với mô hình GRU (0)
      • 4.4.3. Thực nghiệm với mô hình LSTM (0)
      • 4.4.4. Thực nghiệm với mô hình Bi-LSTM (0)
      • 4.4.5. Thực nghiệm với mô hình AE&GRU (57)
      • 4.4.6. Đánh giá hiệu suất giữa các mô hình (58)
    • 4.5. Thực nghiệm với bộ dữ liệu 3 (61)
      • 4.5.1. Tiền xử lý dữ liệu (61)
      • 4.5.2. Thực nghiệm với mô hình GRU (0)
      • 4.5.3. Thực nghiệm với mô hình LSTM (0)
      • 4.5.4. Thực nghiệm với mô hình Bi-LSTM (65)
      • 4.5.5. Thực nghiệm với mô hình AE&GRU (66)
      • 4.5.6. Đánh giá hiệu suất giữa các mô hình (67)
  • CHƯƠNG V. KẾT LƯẬN VÀ KHƯYẾN NGHỊ (0)
    • 5.1. Kết luận (71)
    • 5.2. Khuyến nghị (71)

Nội dung

GIỚI THIỆU ĐỀ TÀI

Đặt vấn đề

Khi quá trình đô thị hóa và công nghiệp hóa tiếptục diễn ra, vấn đề chất lượng không khí ngày càng trở nên nổi bật songsong với sựphát triển kinhtế nhanhchóng

Vì lý do này, Liên hợp quốc đà thiết lậpNgàyQuốc tế về Không khí sạch và Bầu trời xanh, kêu gọi cộng đồng quốc tế cùng hợp tác để chống ô nhiễm không khí Không chỉ không khí bị ô nhiễm ảnh hưởng đến các hoạt động kinh tế - xã hội mà các hạt vật chất, klú độc hại như CƠ2, PM2.5, PM10 và cácchất ô nhiễm khác có the gâytác hại nghiêmtrọng đến sức khỏe con người Do đó, dự đoán chấtlượng không khí với độ chính xác cao là điều cần thiết đe ngăn ngừaô nhiễmkhông khí và bệnh tật.

Nhiềuhọc giả [ 1 ] đãthực hiện các nghiên cứu chuyên sâuvề dự đoánchất lượng không khí, chủ yếu được chia thành hai loại phương pháp: phương pháp dự đoán truyền thống dựa trên dự đoán số và dự đoán thống kê, v.v vàphương pháp dự đoán dựa trên “machine learning.” Trong số đó, dự báo bằng số chủ yếu thông qua việc xây dựng các mô hình khí tượng đê dự đoán mức độ ô nhiễm không khí; Dự đoán thống kê dựa trên dữ liệu lịch sử về chất lượng không khí đe xây dựng các mô hình thốngkê nhằmphântíchxu hướng thay đoi chất lượngkhôngkhí màkhông liênquan đến các phản ứng vật lý và hóa học phức tạp của các chất ô nhiễm Cả hai phương pháp đềuyêu cầu sự kết hợp giữa kiến thức chuyên môn và khônghiệu quả khi xử lý sự phức tạp và độ lớn về dữ liệu của chất lượng không khí Do đó, phương pháp

“machine learning” đã bắtđầuđược nghiêncứu đe dự đoán về chấtlượng khôngkhí, một số Ví dụ, cây quyết định “decision trees”, rừng ngẫu nhiên “random forests” và hồi quy vectơ hỗ trợ “support vector regression” đều có hiệu quả trong việc dự báo về chất lượng không khí Tuy nhiên, các mô hình “machine learning” này kém hiệu quả trong việc xử lý lượng lớn dữ liệu vàkhôngcòn phù hợp với yêu cầu hiện tại về dữ liệu lớn Với sự phát trien của “deep learning”, một số mô hình học sâu đã được áp dụng và cải thiện đáng kể hiệuquả và độ chính xác của dự đoán chấtlượng không khí.

Trước đây, khi nghiên cứu về việc dựbáo chất lượng không khí, các nhànghiên cứu chialàm 2 loại chínhlà môhình thống kê và mô hình quyết định 2 mô hình này được ứngdụngnghiên cứu rộng rãi về khí quyển và môi trường, nhưngđộ chính xác của dự báo không cao do các yếu tố về độ phức tạp của dữ liệu về địa lý hay sự sai số vànền tảng lý thuyết còn chưa chặt chẽ. Đe khắc phục những hạn chế trên về dựbáo chất lượng không khí, một số tác giả bắt đầu ứng dụngthuậttoán Machine Learning theo hướngdùng dữ liệu quá khứ đế dự đoán cho tương lai Với cách tiếpcận này, đã giúp giải quyết các hạn chếvềđộ chính xác, hiệu quả,tốc độ xửlý, tính phituyến tính cùa mô hình Cụ thể:

- Tại Ấn Độ, để dự đoán chất lượng không khí, tác giả Rajput và cộng sự [ 6] đà sử dụng hồi quytuyến tính bội Tuy nhiên, thực tếluôn có quan hệ phi tuyến giữa các chất ô nhiễm không khí và các yếu tố ảnh hưởng của chúng.

- Sau đó, có một vài nghiên cứu về kết hợp mô hình phi tuyến với một so kỳ thuật khác đe dự đoán như: (tác giả Kang) [7] sử dụng thuật toán di truyền đểtối ưu hóa ANN ; ở4 thành phố cùa Đài Loan, dựa theo khoảng cách địa lý (tác giả Mahajan và cộng sự) [8] đã ứng dụng phương pháp clustering đe cảithiện hiệu suất của ANN.

Các mô hình Machine Learning đã giúp cải thiện đáng ke hiệusuất nhưng việc tiền xử lý dữliệu vàtrích xuất đặctrưng còn thủ công, phương pháp phức tạp Trong khi đó, dữ liệu chất lượng không khí thường có mối tương quan vềthời gian, không gian,và có tuần tự Do đó, mô hình học sâu (Deep learning) được kỳ vọng sẽ giải quyết tốtvấn đề này, lýdo bởi khả năngtựđộng trích xuất đặc trưngvà mối quan hệ phức tạp cùa các yếutố đầu vào Cụ the:

- ỉ Kỏk và cộng sự [9] cho thấy RNN cókhả năngđạt hiệu quả hơn SVM và ANN Nhưng việc bùng no và triệt tiêu đạo hàm là hạn chế lớn của RNN Bởi vậy, đế dự báo chấtlượng không khí, một số tácgiảbắt đầu ứng dụng LSTM vào nghiên cứu.

- Tác giả Wang và cộng sự [10] đã ứng dụng luật nhân quả Granger và LSTM đe tìm ra những trạm đo có mối quan hệ chặt chẽ.

- Tác giả Zhao và cộng sự [11] ứng dụng LSTM với dữ liệu của các trạm lân cận đe dự báo chất lượng khôngkhí cho thời gian nửa ngày và 1 ngày tiếp theo.

- Tác giả Athira và cộng sự [2] đánh giávề hiệu suất thì thấy GRU có nhỉnh hơn RNN và LSTM trongviệc dự đoán chất lượng không khí.

- Tác giả Soh và cộng sự [3] kết hợp CNN, LSTM, ANN để dự đoán

Các thách thức còn ton tại

Trong thời gian gần đây, việc phân tích và xử lý các bài toán dữ liệu chuỗi thời gian đang phát triển mạnh mẽ với nền tảng chủ yếu dựa trên kiến trúc mạng học sâu RNN, GRU, LSTM, BiLSTM Các mô hình này đà đem lại sự cải thiện đáng kể về hiệu quả trong việc dự báo chất lượng không khí so với các mô hình học máy trước đó. Đối với các nghiên cứu dựa vào sựbiếnđối chuỗi thời gian sử dụng các môhình mạng neural hồi quy RNN (recurrentneural network),thường các nguồn dữ liệuđầu vào sẽ được phân tích, xử lý độc lập với nhau Chẳng hạn tác giả Athira và cộng sự [2] đã sử dụng các mạng RNN, LSTM và GRU trên tập dữ liệu AirNet để dự đoán giá trị PM10 trong tương lai và cho thấyGRU có hiệu suất tốt hơn RNN và LSTM

Vì AirNet là mộttập dữ liệu lớn nên cần cócác tàinguyên như GPU để có hiệu suất tốt hơn và tính toán nhanh hơn.

Mặc dù các mô hìnhhọc sâu đà giúp cải thiện đáng ke hiệu suất vàđộ chính xác trong các dự đoán chuỗi thời gian so với mô hình học máynhưng vấn đề xử lý bộ dữ liệu lớn vẫn còn nhiều thách thức.

Lý do chọn đề tài

Xuất phát từ lợi ích của việc dự đoánchính xácchất lượng không khí bao gồm: Bảo vệ sức khỏe con người.

Tối ưuhóahoạt động công nghiệp.

Phát triển bảo vệ sức khỏe cho xà hội.

Bên cạnh đó, việc nghiên cứu sử dụng các mô hình học sâu phù hợp sẽ giúp nâng cao hiệu suất, tăng độ tin cậy của việc dự đoán chất lượng không khí tại một

Mục tiêu của đề tài

- Dự báo được chất lượng của không khí tại một thời điếm theo chuỗi thời gian.

- Xây dựng mô hình cải tiến kết quả dự đoán chấtlượng khôngkhí.

- So sánh, đánh giá hiệu suất, độ chính xác của mô hình cải tiến với các mô hình LSTM, GRƯ [2] [3].

Nội dung nghiên cứu

- Nghiên cứu, phân tích ưu điểm, hạn chế của các phương pháp nghiên cứu gần đâyvề dự đoán chấtlượng không khí.

- Cơ sở lý thuyết vềcác mô hình GRU, LSTM, BiLSTM, Auto Encoding và các nghiên cứu liên quan.

- Nghiên cứu xây dựng mô hình cải tiến kết quả dự đoán chất lượng không khí.

- Thực nghiệm và so sánh kết quả dự đoán của các môhình.

- Đánhgiá kết quảđạt được và đềxuất hướng phát triến.

1.6 Phương pháp nghiên cứu: Sử dụng phươngpháp nghiên cứu phân tích tong luận tài liệu và phương phápnghiên cứu thực nghiệm.

1.7 Phạm vi nghiên cứu Đe tài này tập trungnghiên cứu xây dựng mô hình cảitiếnkết quả dự báo chất lượng không khí thông qua việc thực nghiệm mô hình với các bộ dữ liệu phát thảilịch sử từ khoảng năm 1990 trở lại đây.

1.8 Ke hoạch thực hiện Đe tài này thực hiện trong 5 tháng, cụ the:

- Tháng 11/2023: Xây dựng, báo cáo đề cương đề án tốt nghiệp

- Tháng 12/2023: Cơ sờ lý thuyếtvề LSTM, BiLSTM, GRU, AutoEncodingvà mộtsổ mô hình hiện đại khác

- Tháng 01/2024: Tập trung nghiên cứu ứng dụng dữ liệu vào mô hình; huấn luyện mô hìnhvà phân tích kết quả thực nghiệm mô hình.

- Tháng 02/2024: So sánh với các mô hình khác.

- Tháng 03/2024: Phân tích kết quả và đề xuất hướng phát triền, hoàn thiện đề án, báo cáo tổng kết.

1.9 Cấu trúc đề án Đeán gồm 5 chương với nội dung cụ thể:

- Chương 1: Giới thiệu về đề tài

- Chương 2: Cơ sởlý thuyết liên quan đề tài nghiên cứu

- Chương 3: Các mô hình vàgiải pháp cho bài toán dự báo chuỗithời gian

- Chương 4: Phân tíchthiết ke mô hình thực nghiệm

- Chương 5: Ket luận và khuyến nghị

Phạm vi nghiên cứu

Đe tài này tập trungnghiên cứu xây dựng mô hình cảitiếnkết quả dự báo chất lượng không khí thông qua việc thực nghiệm mô hình với các bộ dữ liệu phát thảilịch sử từ khoảng năm 1990 trở lại đây.

Ke hoạch thực hiện

Đe tài này thực hiện trong 5 tháng, cụ the:

- Tháng 11/2023: Xây dựng, báo cáo đề cương đề án tốt nghiệp

- Tháng 12/2023: Cơ sờ lý thuyếtvề LSTM, BiLSTM, GRU, AutoEncodingvà mộtsổ mô hình hiện đại khác

- Tháng 01/2024: Tập trung nghiên cứu ứng dụng dữ liệu vào mô hình; huấn luyện mô hìnhvà phân tích kết quả thực nghiệm mô hình.

- Tháng 02/2024: So sánh với các mô hình khác.

- Tháng 03/2024: Phân tích kết quả và đề xuất hướng phát triền, hoàn thiện đề án, báo cáo tổng kết.

Cấu trúc đề án

Đeán gồm 5 chương với nội dung cụ thể:

- Chương 1: Giới thiệu về đề tài

- Chương 2: Cơ sởlý thuyết liên quan đề tài nghiên cứu

- Chương 3: Các mô hình vàgiải pháp cho bài toán dự báo chuỗithời gian

- Chương 4: Phân tíchthiết ke mô hình thực nghiệm

- Chương 5: Ket luận và khuyến nghị

Cơ SỞ LÝ THUYẾT LIÊN QUAN ĐỀ TÀI NGHIÊN cứu

Phương pháp phân tích chuỗi thời gian

2.2.1 Mô hình AutoRegressive Integrated Moving Average (ARIMA)

Mô hình ARIMA bao gom ba phần chính gồm: AutoRegressive (AR), Integrated (I), Moving Average (MA) Trong đó:

AR (AutoRegressive): Phần này liênquan đếncác giátrị trongchuỗi dữ liệu được dự đoán dựa trên các giá trị trước đó trong chuỗi AR cho phép mô hình hồi quy tuyến tính của dữ liệu. xt = c + ộỵX^ỵ + 02^t—2 + —L QpXt-p + et (2.1)

Trong đó Xt là giá trị của chuỗi dữ liệu tại thời điếm t, c là hằng số, ội, ỘI, , ội làcác hệ số tự hoi quy, Et là thành phần ngẫu nhiên

- I (Integrated): Phần này liên quan đến việc chuyển đổi chuồi dữ liệu để làm cho nó dễ dàng dự đoán Phéptoán chuyển đổi này thường liên quan đến việc lấy sai phân (difference) bậc d giữa các giá trị trong chuỗi dữ liệu Ký hiệu là AdXt

MA (Moving Average): Phần này liên quan đến việc dự đoán giá trị tiếp theo trong chuồi dựa trên các sai phân trước đó và các thành phần ngẫu nhiên như công thức (2.2) dưới đây.

Trong đó Xtlà giá trị của chuồi dữ liệu tại thời điểm t, c là hằng số, £t-i, £t-2, £t-q là thành phần ngẫu nhiên, 01,02, , 0q là các hệ số dự đoán cho sai phân trước đó.

Ngoài ra, công thức ARIMA tongquát cóthe được biểu diễndưới dạng sau:

Trong đó Xtlà giá trị của chuỗi dữ liệu tại thời điếm t, c là hằng số, £t-i, £t-2, £t-q là thành phần ngẫu nhiên, Ộ1, Ộ1, , Ộ1 là các hệ số tự hồi quy, 01, 02

, , 0q là các hệ số dự đoán cho sai phân trước đó. Đe sử dụng mô hình ARIMA, chúng ta cần thực hiệncác bước:

- Thu thập dữ liệu chuỗi thời gian và kiểm tra tính dừng cùa chuỗi.

- Xác định các tham số p, d và qbằngcáchsử dụng kiểmtra ADF, kiểm tra PACF và kiểm tra ACF.

- Ước tính cáctham số của mô hình ARIMA.

- Xây dựng mô hình vàkiểmtra nó bằng cách sử dụng dữ liệu kiểm tra.

- Điều chỉnh môhìnhnếucầnvà sử dụng nó đê dự đoán tương lai hoặc phân tích chuỗi thời gian.

2.2.2 Mô hình Generalized Autoregressive Conditional Heteroskedasticity

Mô hình GARCH (Generalized Autoregressive Conditional Heteroskedasticity) là một mô hình thống kê được sửdụngđể mô hình hóa biến động không đồng nhất trong dừ liệu thời gian Mô hình này được phát triển để xác định mức độ biến động trong phân phối cùa một chuỗi dữ liệu thời gian và giả định rằng biến động trong tương lai có thế dự đoán được từcác giátrị trướcđó của chuỗi thời gian. Đối với việc dự đoán, sau khi đã ước lượng được các hệ so w, at và pj từ dữ liệu, ta có thể sử dụng mô hình để dự đoán phương sai tương lai và từ đó ước tính mức độ biến động trongdữ liệu Côngthức cơ bản của mộtmô hình GARCH(p, q) được mô tả như sau: p q Ơ? = w + ^ arf-i + ^prf-j (2.4) i=l j=l

Trong đó: ơf làphương sai của chuỗi thời giantại thời điếmt. w là hằng số không âm ơj và Pj là các hệ sốkhông âm p là bậc cùa thành phần ARCH (Autoregressive Conditional Heteroskedasticity). q là bậccủa thành phần GARCH (Generalized AutoregressiveConditional Heteroskedasticity). £ t làgiá trị lồi tại thời điểm t, có phân phối chuẩn với meanlà0và phương sai ơf

Dưới đây là các bước cơ bản đế sử dụng mô hình GARCH:

- Thu thập dữ liệu chuỗi thời gian và kiếm tra tính dừng của chuỗi Điều này là quan trọngvì mô hình GARCH yêu cầu chuỗi có tínhcố định.

- Xác định cấu trúc mô hình GARCH Cụ the, chúngta cần xác định số lượng bước thời gian trước đó mà chúng ta muốn xem xét trong phần GARCH và ARCH, thường được đại diện bằngcác tham số p và q.

- Ước tính các tham so cùa mô hình GARCH Cách thường được sử dụng là sử dụng phương pháp cực đại hợp lý (maximum likelihood estimation) để ước tínhcác tham số của mô hình.

- Kiểm tra mô hình Sau khi ước tính, chúng ta cần kiểm tra xem mô hình có phù họp với dữliệu không bằng cách sử dụng kiểm tra thống kê và kiểm tra sựphân phối của sai số.

Mô hình học sâu thường bao gom một số lớp an được xếp chồng lên nhau, cho phép chúng học biểu diễn dữ liệu ở các mức trừu tượng và phức tạp

Nhữngmô hình học sâu thường gặp:

- Mạng nơ-ron hồi quy (RNN): Như đã đề cập ờ trên, RNN làmạngnơ-ron sâu được ứng dụngđế xử lý dữ liệuchuỗithời gian và dữliệu có mối quan hệ thời gian.

- Mạng LSTM (Long Short-Term Memory): LSTM là một biến thể của RNN được xây dựng, phát triển để giải quyết vấn đề biến mất gradient (vanishing gradient problem) trong RNN Nó được ứng dụng trong nhiều bài toán phân tích chuồi thời gian bởi khả năng lưu giữ thông tin lâu dài.

- MạngGRU (Gated RecurrentUnit): GRƯ là một biến thể khác của RNN, giúp cảithiện hiệu suấttrong việc xử lý dữ liệu chuỗi thời gian Nótương tự nhưLSTM nhưng cómức độ phức tạp thấp hơn.

- Mạng nơ-rontích chập(CNN): được thiếtkế ứng dụngcho việc xử lý hình ảnh Sau này, CNN cũngđãđược sử dụng để xử lý dữ liệu chuỗi thời gian, đặc biệttrong việc tríchxuất đặctrưng từ chuỗi thời gian vàphát hiện biểu đồ.

Các tham số đánh giá mô hình dự đoán chuỗi thời gian

Mean Absolute Error (MAE): MAE là giá trị trung bình củatuyệt đối của sự chênh lệch giữa giá trị thựctế và dự đoán Nóđo lường độ lỗi của mô hình theo công thức:

Trong đó: yi là giá trị dự đoán;

Xi là giá trịthực tế; n là tong so giá trị trongbộ kiếm tra.

MAE là mộtphép đo lườngđơn giản, dễ hiếu và dề giải thích cho ngườikhông chuyên vềtoán học, thống kê đồng thời nó không bị ảnh hưởng bởi các giá trị ngoại lai Tuy nhiên nó không nhạy cảm với phân bố cùa dữ liệu Mọi sai số đều có cùng mộttrọng số, dẫn đến việc mô hình có thể bị ảnh hưởng bởi các mẫu có giá trị sai số lớn mà không được phản ánh đúng trong MAE.

MAE càng thấp thì mô hình càng tốt Đối với mồi tình huống cụ thể, chúng ta cần xem xét việc sử dụng phương pháp đo lường phù hợp.

Root Mean Squared Error (RMSE): RMSE là một phép đo lường thường được sử dụng đe đánhgiá hiệu suất củamột môhìnhdựđoán Nó tương tự như Mean Absolute Error (MAE), nhưng RMSE có trọng số lớn hơn cho các sai số lớn hơn do việc sử dụng bình phương sai số Sau đó, nó lấy căn bậc hai của giá trị trungbình để trả về lại đơn vị gốc của dữ liệu, giúp dề dàng so sánhvới dữliệu gốctheo công thức:

Trong đó: yi là giá trị dự đoán;

Xi là giá trịthực te; n là tong số giá trị trongbộ kiểm tra.

RMSE giúpđo lường sựkhácbiệtgiữa dự đoán vàgiá trị thực tế một cách chính xáchơn so với MAE RMSE tạo ra một trọng số lớnhơn cho cácsai số lớnhơn, giúp tậptrungvào các sai so quan trọng hơn đốivới môhình Tuynhiên, không như MAE, RMSE bị ảnh hưởng đáng kể bởi các giá trị ngoại lai Nếu có nhiều giá trị ngoại lai thì mô hình rất có thể bị tinh chỉnh sai.

RMSE càng thấp thì mô hình càng tốt Đối với mỗi tỉnh huống cụ thể, chúng ta nên xem xét việc lựa chọn phương pháp đo lường phù hợp.

Mean Absolute Percentage Error (MAPE): MAPE là phần trăm trung bình của tuyệt đối của tỷ lệ sự chênh lệch giữagiá trị thực tế và dự đoán Nó the hiện mức độ lỗi dưới dạng phần trăm của giá trị thực tế theo công thức:

Xi là giá trịthực tế; yilà giá trị dự đoán; n là tong số giá trị trongbộ kiểm tra.

MAPE được biếu diễn dưới dạngphần trăm, dề hiếu và dề so sánh giữacác mô hình hoặc trong các tập dữ liệu khác nhau MAPE cóthe giúp đảmbảotínhnhất quán giữacácmức giá trịthựctế khác nhau Tuy nhiên, nó không phản ánhđúng sai số khi giá trị thực tế gần bằng 0 Do đó, khi bộ dữ liệu chứa giá trị 0 hoặc gần 0 thì không nên dùngMAPE đe so sánh

MAPE càng thấp thì mô hình càng tốt.Đối với mồi tình huống cụ the, chúng ta cần xem xét việc sử dụng phương pháp đo lường phù hợp.

CÁC MÔ HÌNH & GIẢI PHÁP CHO BÀI TOÁN DỤ BÁO CHUỒI THỜI GIAN

Mô hình GRU (Gated Recurrent Unit)

3.1.1 Mô hình GRU là gì?

Mô hình GRU (Gated Recurrent Unit) là một kiêu mạng nơron hoi quy (RNN) trong xửlý ngôn ngữ tự nhiên và lĩnh vực học máy Nó được thiết kế đe giải quyết một số vấn đề của mô hình RNN truyền thông, đặc biệt là vấn đề triệt tiêu gradient và khả năng học các mối quan hệ dài hạn trong chuồi thời gian GRU sử dụng cong cậpnhật(update gate) vàcổng khởi tạo (reset gate)đểđiềuchình cách thông tin được truyền và cập nhật trong quá trình duyệt qua chuỗi dữ liệu.

GRƯ bao gồm các thành phần chínhsau:

- Cống cập nhật (Ut):quyết định việc thông tin mới có được cập nhật vào trạngthái ẩn mới hay không Nóchọn lựa việc giữ lại thông tin của trạng thái ấn trước đóvà cập nhật với thông tin mới.

- Cống khởi tạo: xác định thông tin cần loại bỏ (không quan trọng ờ quá khứ) để chuyển đặtbằng 0để quên thông tin đó.

- Cập nhật trạng thái ẩn: Dựa vài cổng cập nhật và cổng khởi tạo, nó tính toán trạngthái ẩn mới tại thời điểm hiện tại.

Công thức cập nhậttrạng thái ấn nhưsau: ht = (1 - Ut) Oht-! + uth't (3.1)

Trong đó: ht là trạng thái ẩn tại thời điểm t. ht-1 làtrạngthái ấn trước đó. ht là trạngthái ước lượng mới © là phép nhân Hadamard GRU cũng có cấu trúc đon giản hơn một số mô hình khác như LSTM, làm cho việc triển khai và huấn luyện trờ nên dễ dàng hơn.

3.1.2 Ý nghĩa của mô hình GRU

Mô hình GRU giúp giảm thiếuvấnđề triệt tiêu gradient trong quá trình huấn luyệnmô hình Điềunày làm cho việc học mô hình trở nên onđịnh hơn,đặc biệtkhi mô hình phải làm việc với các chuỗi dữliệu dài.

GRU giảm bớt số lượng tham số so với mô hình Long Short-Term Memory (LSTM), một mô hình RNN phố biến khác, trong khi vần duy trì hiệu suất tương đương.

GRU giữ lại thông tin quan trọng từ các bướcthời gian trước đó bằng cách sử dụng cổng cập nhật (update gate) và cong khởi tạo (reset gate) Điều này giúp mô hìnhhọc các mốiliên quan dài hạn trong dãy thờigian màmôhình RNNtruyền thống gặp khó khăn.

3.1.3 Hoạt động của mô hình GRU

Mô hình hoạt động của GRU được thể hiện tại hình 1.2 Cụ the như sau:

Bước 1 (Nhập dữ liệu đầu vào): Tại bước này dữ liệu ở dạng chuỗi thời gian, mỗi bước thời gian có một vectorđặc trưng.

Bước 2 (Trạng thái an): Mồi bước thời gian ở trên sẽ được mô hình GRU tính toán, biểu diễn mộttrạng thái ẩn tại thời điểm t (ht) Trạng thái ẩnnày sẽ chứa thông tin về quá khứ và hiện tại của chuỗi dữ liệu.

Bước 3 (Cong cập nhật và cong khởi tạo): Từ nhữngthông tin ở trên, tại cong cậpnhật sèthực hiện lựa chọn các phần nào của trạng thái ấn trướcđó nên giữ lại và cậpnhật với thông tin mới Tại cổng khởi tạo sẽ xác định phần nào của trạngthái ần trước đó mà không quan trọng để đặt bằng 0.

Bước 4 (Trạngthái ấn mới): Được tínhtheo công thức3.1

Bước 5 (Đầu ra): Sau khi tính toán được trạng thái ẩn mới, mô hìnhsử dụng nó đetạo ra đầu ra tương ứng với bước thời gian t, hoặc tiếptục sử dụng nó cho các bước tiếp theo trong chuỗi.

Lặp lại quátrình nàycho tất cả cácbướcthời gian trong chuỗi dữliệu,từ đó mô hìnhGRU học và mô hình hóa các moi quan hệ phức tạp trong dữ liệu chuỗi

Mô hình Long Short-Term Memory (LSTM)

3.2.1 Mô hình LSTM là gì?

LSTM là mạng nơ-ron có the ghi nhớ cả thôngtin dài hạn và ngắn hạn, tránh được vấn đề phụ thuộc lâudài trong RNN bằng cách thêm các cấu trúcnhư cổng vào, cổngquên và cổng rađể kiểm soát luồng thôngtintrong mạng.

LSTM giải quyết thách thức tạo nên các mô hình học máy dự báo chính xác, khi đối mặtvới dữ liệu có tính phi tuyến và phi định của chuỗi thời gian Trong quá trình làm sạch các dữ liệu, khi chuỗi có nhiễu và giá trị thiếu, chúng ta thường áp dụng kỳ thuật làm mịn và thay thế bằng phương pháp mà chúngta thấy thích họp.

3.2.2 Ý nghĩa của mô hình LSTM

LSTM được xây dựng, phát triển để giải quyết vấn đề biến mất gradient trong mạng nơronhôi quy (RNN), giúp môhìnhcó khả năng học thông tintừcácbướcthời gian xa hơn mà RNNtruyền thống gặp khó khăn.

LSTM sử dụng trạng thái bộ nhớ (cell State) đe duy trì thông tin quan trọng trong chuồi thời gian, cho phép mô hình hiểu và mô hình hóa các mối quan hệ dài hạn trong dữ liệu Điều này làm cho LSTM phù họp cho các tác vụ đòi hỏi hiêu biết về ngữ cảnh dài hạn, ví dụnhư dịch máy hoặc sinh văn bản.

3.2.3 Hoạt động của mô hình LSTM

Dưới đây là mô hình LSTM:

Hình 3 1 Môhình LSTM cống quên được sử dụng đế xác định thông tin được giữ lại và loại bỏ khỏi dữ liệu, quyết định thông tin nào LSTM loại bỏ khỏi trạng thái ô tại thời điếm trước đó, với biểu thức: ft = ơ(wf[ht_1,xt] +bfì (3.2)

Wflà trọng số của lóp quên, bflà độ lệch trong lóp quên, Xtlà đầu vào tại thời điếm hiện tại, ht-1 là đầu ra của lóp ấn tại thời điểm trước đó, ơ là hàm kích hoạt sigmoid.

Cống vào quyết định thông tin mới nào từ dữliệu được giữ lại ở trạng thái ô Cong vào gồm hai phần, phần thứ nhất là cấu trúc gồm một sigmoid tạo ra tín hiệu điều khiểntrong khoảng từ0 đến 1, dùng để kiểm soát tỷ lệdữ liệu đầuvào. it = ơ^ilht^.Xt] + bi) (3.3)

Wi làtrọng số của lớp đầu vào, bilà độ lệch của lớpđầu vào Phầnthứ hai là tạo ra trạng thái ô ứng cử viên cho thời điểmhiện tại qua một lớp tanh Ct ct = tanh(Wc [ht-i, xt] + bc) (3.4)

Wc là trọng số của cong đầu vào ứng cừ viên, bc là độ lệch của cổng đầu vào ứng cử viên.

Phần cốt lõi cùa LSTM là mũitên ngang ờ trêncùng trong hình trên, trạng thái ô Ct, nó hiện diện xuyên suốt hệ thốngchuỗi của LSTM ngay từ đầu Tín hiệu điều khiển ft sinh ra qua cống quên, ô ứng viên Ctcác trạng thái do lớp tanhsinh ra, tín hiệu điều khiển it sinh rabởi cổng đầu vào, cập nhật trạng thái ô tại thười điếmtrướcđó Ct-1

Công đầu rađược sử dụng đê xác định giátrị đầu ra Đâu tiên, lóp sigmoidđược sử dụng đe xác định khía cạnh nào của trạng thái ô được đưa ra; sau đó, trạng thái ô được xử lý thông qua lóp tanh đe thu được giá trị từ -1 đến 1 và nhân nó với đầu ra của cổngsigmoid; cuối cùng, đầu ra đã thu được Biếuthức của cổng đầu ralà: ot = ơ(Wo [ht^, xt] + b0) (3.6) ht = ottanh(ct) (3.7)

Mô hình BiLSTM (Bidirectional Long Short-Term Memory)

3.3.1 Mô hình BiLSTM là gì?

BiLSTM bao gồm hai mạng LSTM, một mạng dành cho đào tạo trước và một mạng dành cho đào tạo sau, vớicác lớp ấncủahai mạng không trực tiếp được kếtnối với nhau và có ma trận trọngsố độc lập, đầura của hai mạng đượckết hợptrong lóp đầu rađể thu được kết quả dự đoán của BiLSTM

3.3.2 Ý nghĩa của mô hình BiLSTM

Có khả năng hiếu biết toàndiện về ngữ cảnh trong chuồi, bao gomcảngữ cảnh trước và sau điếm dữ liệu hiện tại.

Trong dự báo chất lượng không kill hiện nay, cần có cả thông tin trước và sau, nhưng LSTM chỉ tập trung vào thông tin trước, dẫn đến mạng lưới thần kinh không the thu được thông tinchất lượng không khí đầy đủ và làmgiảmđộchính xác của dự đoán BiLSTM bao gồm hai mạng LSTM, một mạng dành cho đào tạo tiến và một mạng dành chođào tạo lùi, với cáclớp ấn củahai mạng không trực tiếp được kếtnối với nhau và có ma trận trọng số độc lập, đầura của hai mạng được kết hợp trong lóp đầu rađế thu được kết quả dự đoán chất lượngkhông khí của BiLSTM.

3.3.3 Hoạt động ciia mô hình BiLSTM

Dưới đây là mô hình BiLSTM:

Mô hình AE&GRƯ (Auto encoding & Gated Recurrent Unit)

ht = f(w * ht_ỵ + u *Xt) (3.8) h'^fW + h'^ + U'+xJ (3.9) ot=g(V*ht + V'*h't) (3.10) Ư biểu thị ma trận trọng số giữa lớp đầu vào và lớp ẩn phía trước, Ư’ biểu thị ma trận trọng số giữa lớp đầu vào và lớp an phía sau, W’ biếu thị ma trận trọng số của lớp ẩn phía trước, W’ biểu thị ma trận trọng số của lớp ẩn phía trước, lóp ẩnlùi,

V biểu thị ma trậntrọng số giữa lớp ẩn tiếnvà lớp đầu ra, V’ biểu thị ma trận trọng số giữa lóp ấn lùi và lớp đầu ra.

BiLSTM có xu hướng mấtthông tin khi xửlý dữ liệu chất lượng không khí dài hơn, do đó làm giảm hiệuquả xử lý dữ liệu Vì lý do này, đề án nàyáp dụng cơchế chú ý, chỉ cầngántrọng số chodữliệu chuồiđầu vào dựa trên thông tin cụcbộ, nhằm giảmsố lượng hoạtđộng và nâng cao hiệu quả dự đoán chất lượngkhông khí.

Cơchế chú ýbao gồm 3 thànhphần chính: chỉ mục (Query), từ khóa (Key) và giá trị (Value) Cơ chếphântích Truy vấn đầu vàođể sosánh Khóa cóđộ tương tự cao nhất, sau đó xuất ra Giá trị tương ứng với Khóa, cơ chế chú ý có the sử dụng có chọn lọc dữ liệu chất lượng không khí đầu vào bằng cách tính trọng số kết quả của lớp ẩn BiLSTM Cơ chế chú ý trước tiên chuyển trạng thái lớp ẩn BiLSTM ht tínhtrọng số yô ỵt = at* tanh(w * ht + b) (3.11) là các trọng số thu được bời cơ chế chú ý at là giá trị cùa sự chú ý được gán cho đầu ra của lớp ấn BiLSTM theo cơ chế chú ý, w là trọng số, b là độ lệch.

3.4 Mô hình AE&GRU (Auto encoding & Gated Recurrent Unit)

3.4.1 Mô hình AE&GRU là gì?

Mô hình AE&GRƯ làmôhình kết hợp giữa mô hình Auto-encoding và môhìnhGated Recurrent Unit Trong đó mô hình Auto-encoding sử dụng đe nén dữ liệu đầu vào, sau đó khôiphục dữ liệu từbiểu diễn nén đó giúp giảm chiềudữ liệu, trích xuất đặc trưng MôhìnhGRƯ sử dụng đầu racủamôhìnhAuto-encoding, sauđó mô hình hoạt động và đưa ra kết quả đầu ra chochuỗi hoạt động.

3.4.2 Ý nghĩa của mô hình AE&GRU Đem lại hiệu quảvàđộ chính xác caochocác bài toán xử lý dữ liệu lớn về chuỗi thời gian thôngqua việc giảm chiều dữ liệu, trích xuất đặc trungcủa mô hình Auto- encoding.

Hiệu quả về mặt tính toán nhờ ưu diem của mô hình GRU, giúp giảm bót số lượng tham số đầu vào nhưng vẫn duy trì được hiệu suất tương đương với các mô hình khác.

3.4.3 Hoạt động ciia mô hình AE&GRU

Việc kết hợp mô hình Auto-encoding và mô hình Gated Recurrent Unit có the được mô tả như sau:

MÔ hình AE&GRU Đầu ra

Hình 3 3 Môhình cải tiến AE&GRU

Tại lớp Encoder Autoencoder (Nén dữ liệu): lớp này nhận dữ liệu đầu vào và biểu diễn nó trong một không gian tiềm ấn ít chiều hơn thôngqua việc ánh xạ dữ liệu gốc vào một không gian nhỏ hơn Đầu tiên chúng ta làm phang dữ liệu về dạng 1 chiều, sau đó sử dụng các kiến trúc như Multilayer Perceptron (MLP) hoặc

Convolutional Neural Network (CNN) hoặc Recurrent Neural Network (RNN) Đe chuẩnbị giải mã, chúng ta thêm lớp RepeatVectorvào môhình để lặp lại output của lớp Dense cuối cùng một lần.

Tại lớp Decoder Autoencoder (Giải nén dừ liệu): lớp này nhận dừ liệu từ lớp encoder sau đótạo ra các lópDenseđế giải mã thôngtinvà dưa về dữ liệu gốc. Tiếp theodữ liệu được rashape thành 1 tensor 3D trước khi đưa vào lóp GRU. Tại lóp GRU,mô hình sè hoạt độngđể lấy ra output từmỗi chuỗi thời gian.

Cuối cùng chúng ta cần thêm một lớp Dense cuối cùng với 1 đơn vị và không sừ dụng hàmkích hoạt Lớp này sẽ là lóp đầura của mô hình. Đẻdự đoán giá trị chotương lai, chúng ta cần thực hiệnhuấn luyệnmô hình với số lượngepochs, kích thước batch, tốc độ học và các siêu tham số khác.

PHÂN TÍCH & THIẾT KẾ MÔ HÌNH THỤC NGHIỆM

Mô tả bài toán

Đầu vào: Đe tàinghiên cứu thực nghiệm mô hình đềxuất với 03 bộ dữ liệu:

- Bộ dữ liệu 1: Lượng khí thảicarbon dioxide hàng tháng từ việc sản xuất điệntừ Cơ quan Quản lý Thông tin Năng lượng (EIA) Dữ liệu được chia nhỏ theo loại nhiên liệu theo từng tháng của giai đoạn từ tháng 01 năm

- Bộ dữ liệu 2: Lượng phát thải từ khí CƠ2 năm 2023 từ Cơ quan bảo vệ môi trường (EPA) Dữ liệu được chia nhỏ theo tìrng ngày tính từ ngày

01 tháng 01 năm 2023 đến ngày 30 tháng 09 năm 2023.

- Bộ dữ liệu 3: Lượng phát thải từ khí PM 2.5 năm 2023 từ Cơ quan bảo vệmôi trường (EPA) Dữ liệu được chia nhó theo từng ngày tính từ ngày

01 tháng01 năm 2023 đến ngày 30 tháng 09 năm 2023 Đầu ra:

Dự báo chất lượng không khí vớiđộ lỗi thấp và hiệu suất tốt nhất có the thông qua việc thực nghiệmvới mô hình cải tiến changhạn như kết họp AE&GRU.

Thực nghiệm với bộ dữ liệu 1

Đầu vào: Đe tàinghiên cứu thực nghiệm mô hình đềxuất với 03 bộ dữ liệu:

- Bộ dữ liệu 1: Lượng khí thảicarbon dioxide hàng tháng từ việc sản xuất điệntừ Cơ quan Quản lý Thông tin Năng lượng (EIA) Dữ liệu được chia nhỏ theo loại nhiên liệu theo từng tháng của giai đoạn từ tháng 01 năm

- Bộ dữ liệu 2: Lượng phát thải từ khí CƠ2 năm 2023 từ Cơ quan bảo vệ môi trường (EPA) Dữ liệu được chia nhỏ theo tìrng ngày tính từ ngày

01 tháng 01 năm 2023 đến ngày 30 tháng 09 năm 2023.

- Bộ dữ liệu 3: Lượng phát thải từ khí PM 2.5 năm 2023 từ Cơ quan bảo vệmôi trường (EPA) Dữ liệu được chia nhó theo từng ngày tính từ ngày

01 tháng01 năm 2023 đến ngày 30 tháng 09 năm 2023 Đầu ra:

Dự báo chất lượng không khí vớiđộ lỗi thấp và hiệu suất tốt nhất có the thông qua việc thực nghiệmvới mô hình cải tiến changhạn như kết họp AE&GRU.

4.2 Các bước xây dựng mô hình thực nghiệm

Chia bộ dữ liệu thành hai phần training 70% - testing 30%. Đưa bộ dữ liệu training vào mô hình đe huấn luyện và dữ liệu testing vào mô hình đế kiếm tra.

Thiết lập ngữ cảnh dự đoán làdùng dữ liệu của lịch sửđể dự đoán dữ liệu tương lai, có thể là dữ liệu của 12 tháng trước để dự đoán dừ liệu 12 tháng tiếp theo hoặc dữ liệu 10 năm trước để dự đoán 10 năm tiếp theo hoặc dữ liệu của 365 ngày trước để dự đoán dữ liệu 365 ngày tiếp theo thông qua các môhình học sâu: GRU, LSTM, Bi-LSTM, AE&GRU,

4.3 Thực nghiệm vói bộ dữ liệu 1

4.3.1 Tiền xử lý dữ liệu Đe tiến hành thực nghiệm trênbộ dữ liệu 1 cùng 4 mô hình GRU, LSTM, Bi- LSTM, AE&GRƯ chúng ta cầnxử lýdừ liệu đầu vào như sau:

- Bộ dữ liệu gôm 5913 dòng dữ liệu vê lượng phát thải CO2 của ngành điện than và tongngành điện Dữ liệu được ghi nhận theo từng tháng từtháng 01 năm 1973 đến tháng 06 năm 1973 Dưới đây là thông tin sơ bộ về bộ dữ liệu:

YYYYMM Column_Order count 5913.000000 5913.000000 mean 199784.136986 5.000000 std 1459.132438 2.582207 min 197301.000000 1.000000

1 to 2C ) of 20 entries I FilterJ [U Ộ index MSN YYYYMM Value ColumnOrder Description Unit

0 CLEIEUS 197301 73 112 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

1 CLEIEUS 197302 65 369 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

2 CLEIEUS 197303 65 006 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

3 CLEIEUS 197304 61 717 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

4 CLEIEUS 197305 62 686 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

5 CLEIEUS 197306 67 495 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

6 CLEIEUS 197307 73 671 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

7 CLEIEUS 197308 76262 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

8 CLEIEUS 197309 6938 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

9 CLEIEUS 197310 68 641 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

10 CLEIEUS 197311 67 985 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

11 CLEIEUS 197312 72 141 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

12 CLEIEUS 197313 823 466 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

13 CLEIEUS 197401 71 564 1 Coal Electric Power Sector CO2

Million Metric Tons of Carbon Dioxide

Hình 4 i Bộdữ liệu đầu vào 1

- Tuy nhiên trongbộdữliệuchứanhữngdòng dữ liệu ghi nhận thời gian không hợp lệ như tháng 13 năm 1973 Do đó chúng ta cần loại bỏ những dòng dừ liệu không hợp lệ trước khi đưa vào mô hình Khi đó bộ dữ liệu được mô tả như sau:

Column Order count 5463.000000 mean std min

MSN Value Columnorder Description Unit

1973-01-01 CLEIEUS 73.112 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide

1973-02-01 CLEIEUS 65 369 1 Coal Electric Power Sector coz Emissions Million Metric Tons of Cartoon Dioxide 1973-03-01 CLEIEUS 65 006 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-04-01 CLEIEUS 61 717 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-05-01 CLEIEUS 62 686 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-06-01 CLEIEUS 67.495 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-07-01 CLEIEUS 73 671 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-08-01 CLEIEUS 76262 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-09-01 CLEIEUS 69 38 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-10-01 CLEIEUS 68 641 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-11-01 CLEIEUS 67.985 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1973-12-01 CLEIEUS 72.141 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1974-01-01 CLEIEUS 71.564 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1974-02-01 CLEIEUS 63.834 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1974-03-01 CLEIEUS 65.447 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide 1974-04-01 CLEIEUS 61.415 1 Coal Electric Power Sector CO2 Emissions Million Metric Tons of Carbon Dioxide

Hình 4 2 Bộdữ liệu đầu vào 1 (sau tiền xữ lý)

Tiếp theo, chúng ta chọn lấy những dòng dữ liệu có cột MSN “CLEIEUS” để tiến hành đưa vào các mô hình dự đoán. Đẻ so sánh hiệu suất giữa các mô hình, chúng ta cài đặt các thông số chung cho các mô hình như sau:

VERBOSITY = 1 #Hien thị thông tin về quá trình huấn luyện

RNN_NUM_LAYERS= 4 #Sử dụng4 lớp RNN

RNN_HIDDEN_DIM = 256 #256 nơ-ron trong mỗi lớp ẩn cùa mạng RNN

EPOCHS = 50 #Lặp qua 50 vòng cùa toàn bộ dữ liệu huấn luyện

BATCH_SIZE = 32 #Tập hợp mẫu dữ liệu được sử dụng trong mỗi lần cập nhậttrọng số mô hình Định nghĩa mộtcallback để giảm tỷlệhọc khi mất mát không giảm trong một số lần lặp liên tiếp với các thông số sau: monitor='val_loss', mode-min', factor=0.1, patience, verbose=l, min_lr=o.00001 Tiếp theo, tađịnh nghĩa một callback đe dừng quá trình huấn luyện khi mất mát không giảm trong một số lần lặp liêntiếp với thông số cụ thể: monitor='val_loss', min_delta=0.001, patience , restore_best_weights=True

Cuối cùng chúng ta tạo một danh sách các callbacks đế sử dụng trong quá trình huấn luyện của mô hình Cáccallbacks này sẽ được sử dụng đểđiều chỉnh tỷ lệ học vàdừng quá trình huấn luyệntheo cách tự động.

4.3.2 Thực nghiệm vói mô hình GRU Đối với bộ dữ liệu đã được tiền xử lýởtrên, đểthựcnghiệm với môhình GRU, chúng ta thựchiện cácbước nhưsau:

Bước 1: import các lớp cầnthiếttừ module keras.layers đe xây dựng môhình.

- GRU: Lớp GRU (Gated Recurrent Unit) được sử dụng để xây dựng mạng nơ-ron hồi quy.

- Dropout: Dùng để ngăn chặn việc overfitting trong mô hình bằngcách loại bỏ mộtphần các nơ-ron khi huấn luyện.

- Dense: Tạo các kết nối đầy đủ giữa các nơ-rontrong mạng nơ-ron.

- Input: Xác định đầu vàocủa mô hình.

Từ module keras.models chúngta import Sequential đểxây dựng mộtmôhình nơ-ron tuần tự bằng cách thêm lần lượt các lớp vào mô hình.

Từ module keras.callbacks chúng ta import EarlyStopping để dừng quá trình huấn luyện sớm nếumất máttrêntập validation khônggiảm sau một số lượng epoch xác định.

Bước 2: Tạo mộtmô hình nơ-ron tuần tự (Sequential) bằng cách sử dụngđối tượng Sequential().

Thêm một lớp đầu vào vào mô hình Kích thước của lớp đầu vào được xác định bằng số lượng mẫu, số bước thời gian và số tính năng.

Bước 3: Sử dụngmột vònglặp đế thêm các lớp GRƯ vào mô hình:

Số lượng lớp GRU được xác địnhbằng RNN_NUM_LAYERS

Kích thước ẩn là RNN_H1DDEN_DIM, vàcác lớp này sẽ trảvề chuỗi đầu ra

Thêm các lóp Dense vào mô hình với các hàm kích hoạt là relu và một lớp Dense cuối cùng đe dự đoán giá trị đầu ra.

Bước 4: compile mô hình sử dụng hàm mất mát “mse” và thuật toán tối ưu

“adam” Tại bước này chúng ta sử dụng các giá trị Mean Absolute Error, Root Mean Squared Error và Mean Absolute Percentage Error de đánh giá độ lỗi của mô hình.

Dưới đây là cấu trúc của mô hình nơ-ron:

V dense_17 input: (None, 12, 32) Dense output: (None, 12, 16) dense_18 input: (None, 12, 16) Dense output: (None, 12, 1)

Hình 4 3 Cấu trúcmô hình nơ ron (GRU)

Bước 5: Huấn luyện mô hình trên tập huấn luyện

Tôi sử dụng phuơngthức fít() đểhuấn luyện mô hình Cụ thể:

- x_train: Dữ liệuđầu vào dùngđehuấn luyện.

- y_train: Nhãn tươngứng với dữ liệu đầu vào.

- epochs=EPOCHS: số vòng lặp khi huấn luyện trên toàn bộ dữ liệu

Trongtrườnghọp này, EPOCHS được đặt là 50.

- batch_sizeTCH_SIZE: So lượng mẫu được sử dụng trong mỗi lần cập nhật trọng số môhình Trongtrường họp này, BATCH SIZE được đặt là 32.

- validation_split=0.1: Phầntrăm dữ liệu được sử dụng đế đánhgiá hiệu suất của mô hình sau mồi epoch Trong trường hợp này, 10% dữ liệu huấn luyện được sửdụng làm tập validation.

- shufflese: Không shuffle dữ liệu huấn luyện trước mỗi epoch.

- verbose=VERBOSITY: Xác định cách hiển thị thông báo trong quá trình huấn luyện Trong trường hợp này, VERBOSITY= 1 để hiển thị thông tin về quá trình huấn luyện.

- callbackslbacks: Danh sách các callback được dùng khi huấn luyện Callbacks được dùng để giảmtỷlệhọc khi mấtmát khônggiảm hoặc dừng quá trình huấn luyện sớm nếu không có cải thiện đáng kể.Sau khi quátrình huấn luyện hoàn thành, chúng ta sửdụngmôhình để dự đoán giá trị trêntập dữ liệu kiểm thử bằng cách sửdụngmodel.predict(X_test) Dưới đây là các kết quả:

- Biếu đo so sánh giữa giá trị thực tế và dự đoán

Hình 4 4 Kết quá chạy thực nghiệm mô hình GRUvới bộ dữ liệu l

4.3.3 Thực nghiệm vói mô hình LSTM Đối với bộ dữ liệu đã được tiền xử lý ở trên, đế thực nghiệm với mô hình LSTM, chúngta thựchiện các bước nhưsau:

Bước 1: import các lóp cần thiết từ module keras.layers đexây dựng môhình.

- LSTM: Lóp LSTM (Long Short-Term Memory) được sử dụng để xây dựng mạngno-ron hồi quy.

- Dropout: Dùng để ngăn chặn việc overfitting trong mô hình bằngcách loại bỏ mộtphần các no-ron khi huấn luyện.

- Dense: Tạo các kết nối đầy đủ giữa các nơ-ron trong mạngnơ-ron.

- Input: Xác định đầuvào của mô hình.

Từ module keras.models chúngta importSequential đế xây dựng mộtmôhình no-ron tuần tựbằng cách thêm lần lượt các lớp vào mô hình.

Từ module keras.callbacks chúng ta import EarlyStopping để dừng quá trình huấn luyện sớm nếumất máttrêntập validation khônggiảm sau một số lượng epoch xác định.

Bước 2: Tạo mộtmô hình nơ-ron tuần tự (Sequential) bằng cách sử dụng đối tượng SequentialỌ.

Thêm một lớp đầu vào vào mô hình Kích thước cùa lớp đầu vào được xác định bằng số lượng mẫu, số bước thời gian và số tính năng.

Bước 3: Sử dụngmột vònglặp để thêm các lớp LSTM vào mô hình:

Số lượng lóp LSTM được xác định bằng RNN_NUM_LAYERS

Kích thước ẩn là RNN_HIDDEN_DIM, và các lớp này sẽ trả về chuỗi đầu ra

Thêm các lóp Dense vào mô hình với các hàm kích hoạt là relu và một lớp Dense cuối cùng đe dự đoán giá trị đầu ra.

Bước 4: compile mô hình sử dụng hàm mất mát “mse” và thuật toán tối ưu

“adam” Tại bước này chúng ta sửdụng các giá trị Mean Absolute Error, Root Mean Squared Error và Mean Absolute Percentage Error de đánh giá độ lồi của mô hình.

Dưới đây là cấu trúc của mô hìnhnơ-ron: lstm_7 input: (None, 12, 256) LSTM output: (None, 12, 256) dense_85 input: (None, 12, 256) Dense output: (None, 12, 32) dense_86 input: (None, 12, 32) Dense output: (None, 12, 16)

Hình 4 5 Cấu trúc mô hình nơ ron (LSTM) dense_87 input: (None, 12, 16) Dense output: (None, 12, 1)

Bước 5: Huấn luyện mô hình trên tập huấn luyện

Tôi sử dụng phuơngthức fít() để huấn luyện mô hình Cụ thể:

- x_train: Dữ liệuđầu vào khi huấn luyện.

- y_train: Nhãn tương ứng với dữ liệu đầu vào.

- epochs=EPOCHS: số vòng lặp khi huấn luyện trên toàn bộ dữ liệu Trong trường hợp này, EPOCHS được đặt là 50.

- batch_sizeTCH_SIZE: số lượng mẫu được sử dụng trong mỗi lần cập nhậttrọng số môhình Trong trường hợp này, BATCH SIZE được đặt là 32.

Thực nghiệm với bộ dữ liệu 2

4.4.1 Tiền xử lý dữ liệu Đe tiến hành thực nghiệm trên bộ dữ liệu 2cùng4 mô hình GRU, LSTM, Bi-LSTM, AE&GRU chúng ta cần xử lý dữliệuđầu vào nhưsau:

- Bộ dữliệu gồm 5714 dòng dữliệu về lượngphátthải CƠ2 của Mỹ Dữ liệu đượcghi nhậntheotừng ngày từ tháng 01 năm2023 đến tháng 10 năm 2023 Dưới đây là thông tin sơ bộ về bộ dữ liệu: count nean

Arithmetic Mean \ 5714.666666 0.238212 e 166345 0.620333 0.170833 0.220833 0.283333 1.067500 count nean stđ nin

Naoe sanple Pollutant Duration standard

Date Local units Observation Observation Arithmetic Count Percent Mean Max Max value Hour

Date State County of NiM Name Last Change 200TH ° 1 monoxide 1 hour

CO1-hour 2023- „ -Gas Filer PFIZER AND , 2023-

1971 onoi 2 100 0 3 ’ 0375 0 671 20 Correlation LAB SITE SOUTHERN New York Bronx 70x32

2 3 ™^i 1 HOUR monoxide p arts INSTRUMENTAL TR^ENS

2 24 '” ,as “ °™ '7 NOND.SPERS.VE Bm " “• ”’ “ ằ ^

R hnur Part* DINGENS nini per 19 79 0 236842 0 300 17 - BUFFALO STREET New York Erie , m:liion (near WEISS

CO 1-hour 2023- “ - Gas Filter Buffalo 424 6 East 2023-

1971 01-01 24 100 ° 3430®3 0 472 18 Correlation Near-Road BoundS.de NewY< * ^ 10^2 million z

- Tuy nhiên trongbộ dữ liệu đang thông kê chi tiêt theo từng quận của từng thành phố Do đó với mục tiêutiến hành dự đoán lượng phát thải CO2 cho thành pho New York, chúng ta sẽ tính lượng phát thải của thành pho New York bằng trung bình cộng lượng phát thải của các quận thuộc thành pho New York Khi đó bộ dữ liệu được mô tả như sau: state Code Observation Count count 42ớ.eeôw 42ỉ.eeew8

Observation Percent mean 2734.864695 stđ 1662.576861 nin 1.066666

Arithmetic Hean 426.866888 0.186334 0.114499 0.048150 0.897966 0.161558 0.238771 0.867667 count near stđ nin

State parameter Sample Pollutant Date of Observation Observation Arithmetic

Code Name Duration standard local Hea$ure count Percent Mean W|ue

Date State county of Name Name Last Change

Cartion HOUR co 1hour 2023 monoxide uu 1971 01-01

Carbon co 1-hout 2023- monox.de 1971 01-02

200TH STREET AND SOUTHERN BOULDVARD Pfizer Lab

200TH STREET AND SOUTHERN BOULOVARD Pfizer Lab

INSTRUMENTAL -Gas Filler Correlation Teledyne

Hình 4 13 Bộdữliệu 2 (sau tiền xử lý) Đe so sánh hiệu suất giữa các mô hình, chúng ta cài đặt các thông số chung cho các môhình như sau:

VERBOSITY = 1 #Hiển thị thông tin khi huấn luyện

RNN_NUM_LAYERS = 4 #Sử dụng 4 lớp RNN

RNN_HIDDEN_DIM = 128 #128 nơ-ron trong mỗi lớp ẩn của mạng

EPOCHS = 50 #Lặp qua 50 vòng của toàn bộ dữ liệu huấn luyện

BATCH_SIZE = 32 #Tập hợp mầu dữ liệu được sử dụng trong mỗi lần cập nhậttrọngsố mô hình Định nghĩa mộtcallback để giảm tỷlệhọc khi mất mát không giảm trong một số lần lặp liên tiếp với các thông số sau: monitor='val_loss', mode='min', factor=0.1, patience= 10, verbose=l, min_lr=o.00001 Tiếp theo, tađịnh nghĩa một callback đe dừng quá trình huấn luyện khi mất mát không giảm trong một số lần lặp liêntiếp với thông số cụ thể: monitor='val_loss', min_delta=0.001, patience , restore_best_weights=True

Cuối cùng chúng ta tạo một danh sách các callbacks đế sử dụng trong quá trình huấn luyện của mô hình Cáccallbacks này sẽ được sử dụng đểđiều chỉnh tỷ lệ học và dừng quá trình huấn luyệntheo cách tự động.

4.4.2 Thực nghiệm vói mô hình GRU Đối với bộ dữ liệu đã được tiền xử lýởtrên, đểthựcnghiệm với môhình GRU, chúng ta thực hiện các bước tương tựnhưthực hiện với bộ dữ liệu 1 và được kết quả như sau:

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình 4 14 Két quá chạy thực nghiệm mô hình GRU với bộ dữ liệu 2

4.4.3 Thực nghiệm vói mô hình LSTM Đối với bộ dữ liệu đã được tiền xử lý ờ trên, để thực nghiệm với mô hình LSTM, chúng ta thực hiện các bước tương tựnhư thực hiện với bộ dữ liệu 1 và được kết quả nhưsau:

Hiệu suất: MAE: [0,0459], RMSE: [0,0576], MAPE: [0,1779]

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình 4 15 Kết quà chạy thực nghiệm mô hình LSTM với bộ dữ liệu 2

4.4.4 Thực nghiệm vói mô hình Bi-LSTM Đối với bộ dữ liệu đã được tiền xử lý ở trên, đế thực nghiệm với mô hình Bi- LSTM, chúng ta thực hiện các bước tương tựnhư thực hiện với bộ dữ liệu 1 và được kết quả nhưsau:

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình 4 16 Kết quá chạy thực nghiệm mô hìnhBi-LSTM với bộ dữ liệu 2

4.4.5 Thực nghiệm với mô hình AE&GRU Đối với bộ dữ liệu đã được tiền xử lý ở trên, đế thực nghiệm với mô hình

AE&GRU, chúng ta thực hiện các bước tươngtự như thực hiện với bộ dữ liệu

1 và được kết quả như sau:

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình 4 17 Kết quá chạy thực nghiêm mô hìnhAE&GRU với bộ dữ liệu 2

4.4.6 Đánh giá hiệu suất giữa các mô hình

Sau khi thực nghiệm với 4 mô hình, tathuđuợc kết quả như sau:

Báng 4 2 Kết quả chạy thực nghiệm với bộ dữ liệu 2

MÔ hình MAE RMSE MAPE

Tiếp theo, tatiếnhành thực nghiệmvới việc thay đối số lớp RNN, số no ron, số vòng lặp và kích thướcbatch lưu trữ Kếtquả nhậnđược nhưsau:

Thực nghiệm 1: 4 lóp RNN, 512 nơ ron, 50 epochs, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 2: 4 lớp RNN, 256 nơ ron, 50 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 3: 4 lớp RNN, 128 nơrơn, 50 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 4: 4 lớp RNN, 64 nơrơn, 50 epochs, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 5: 2 lớp RNN, 256 nơrơn, 50 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 6: 2 lóp RNN, 128 nơrơn, 50 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

AE&GRU 0,0397 0,0501 0,1522 4 Thực nghiệm 7: ^1 lớp RNN, 128 nơ ron, 50 epoc 1S, 64 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 8: 4 lớp RNN, 128 nơ ron, 20 epoc 1S, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Qua 8 lần thực nghiệm với bộ dữ liệu 2, ta thấy mô hình AE&GRU vượt trội hoàn toàn về tốc độ huấn luyện, việc thay đổi cáctham số khi cấu hìnhthực nghiệm không làmảnh hưởngđến tốc độ huấn luyện của môhìnhso với các mô hình khác Mô hình này có khả năng sẽphù hợp với việc dự báo trên bộ dữ liệu lớn. về phần trăm trung bình của tuyệt đối của độ lỗi, mô hình AE&GRU và mô hình GRU cho kết quả tốt hơn mô hình Bi-LSTM và mô hình LSTM, tuy nhiên sự chênh lệch không đáng ke.

Môhình LSTM và mô hình Bi-LSTM mất khá nhiều thời gian đểhuấn luyệnvà cho kếtquả dự đoán, dođó 2 môhình này sẽ không phù hợp vớiviệcxử lýbộ dữ liệu lớn, có độ phức tạp cao.

Trong 8 lần thực nghiệm, thì lần thực nghiệm 4 với mô hình GRU cho kết quả tốt nhất, do đó, ta sử dụng mô hình này để dự đoán lượng phát thải cho thời gian tiếp theo Dưới đây là kết quả thực nghiệm4 và kết quả dự đoán:

KẾT QUẢ THỰC NGHIỆM 4 (DATA 2)

■ LSTM BGRU ■ Bi-LSTM ■ AE&GRU

Hình 4 ỉ 8 Kết quả dự đoán cho các ngày tiếp theo (bộ dữ liệu 2)

Thực nghiệm với bộ dữ liệu 3

4.5.1 Tiền xử lý dữ liệu Đetiến hành thực nghiệm trên bộ dữ liệu 3 cùng 4 mô hình GRU, LSTM, Bi-LSTM, AE&GRU chúng ta cần xử lý dữ liệu đầu vào như bộ dữ liệu 2 do

2 bộ dữ liệu cùng nguồn và chỉ khác về loại khí và hạt Dưới đây là thông tin sơ bộ về bộ dữ liệu:

Observation Sinwt Arithmetic Mean 1st KM value 1st Max Hour \

State Comrty site Parameter „ .- _ Parameter Sauple Hetbod ô local site

,77 ,.7 1- ,77 TOC latitude longitude OatM ••• *01 „ Hethod bine

Code Code Hui Code ^ bane Duration ^ Code Naoe

Date of CBSA Naue Last Change s a

FAIRHOPE UGH SCHOOL 1 PIRATE Alabama DRIVE FAIRHOPE FAIRHOPE HGH SCHOOL 1 PIRATE Alabama DRIVE FAIRHOPE

FAIRHOPE rtGH SCHOOL 1 PIRATE Alabama DRIVE FAIRHOPE

FAIRHOPE HGH SCHOOL 1 PIRATE Alabama DRIVE FAIRHOPE FAIRHOPE HGH SCHOOL 1 PIRATE Alabama DRIVE FAIRHOPE

Foley AL Dapwe- BaHMi Faimcpe FMMpe- 2023439-22

Foley AL Daphre 5a0*n Faaticpe Fatbope- 202343922

Foley AL Dapfine- 8ai0aô Faabope Fatnope- 2023439-22

- Tuy nhiên trong bộ dữ liệuđang thống kê chi tiết theo từng quận của từng thành phố Do đó với mục tiêutiến hành dự đoán lượng phát thải hạt PM 2.5 cho thànhpho NewYork, chúngta sẽ tính lượng phát thải củathành pho NewYorkbằng trung bình cộnglượng phát thải của các quận thuộc thành pho New York Khi đó bộ dữ liệu được mô tả như sau:

Arithmetic Mean count 273.688886 lean 9.115913 std 9.755642

1st Max Hocr AQỈ Method Code 373.888688 57.888888 273.888888 9.743598 26.817544 263.886447 8.564215 18.899633 148.635684 lo ’ eeeeee 31'888868 238'868888 23.eeeeee 132.888888 ô36.888888

Code Hare Haw Mane Kane “ ■ ° - I

ALBANY ALBANY co ô0 StisSS “^ ằôô

ALBANY ALBANY co a PUJsS^S CC-JHTV HEALTH DEPT M as*®- uso PIPES HEALTH CHEEKSS VaK TO STEPH

Hình 4 20Bộ dữ liệu 3(sau tiền xừ lý) Đe so sánh hiệu suất giữa các mô hình, chúng ta cài đặt các thông số chung cho các mô hình như sau:

VERBOSITY = 1 #Hiển thị thông tin chi tiết về quá trình huấn luyện

RNN NUM LAYERS = 4 #Sử dụng 4 lớp RNN

RNN_HIDDEN_DIM = 256 #256 nơ-ron trong mỗi lớp ẩn cùa mạng

EPOCHS = 50 #Lặp qua 50 vòng của toàn bộ dữ liệu huấn luyện

BATCH SIZE = 32 #Tập hợp mầu dữ liệu được sử dụng trong mỗi lần cập nhậttrọng số mô hình Địnhnghĩa mộtcallback để giảm tỷlệhọc khi mất mát không giảm trong một số lần lặp liên tiếp với các thông số sau: mode-min', factor=0.1, patience, verbose=l, min_lr=o.00001 Tiếp theo, tađịnh nghĩa một callback đe dừng quá trình huấn luyện khi mất mát không giảm trong một số lần lặp liêntiếp với thông số cụ thể: monitor='val_loss', min_delta=0.001, patience , restore_best_weights=True

Cuối cùng chúng ta tạo một danh sách các callbacks đế sử dụng trong quá trình huấn luyện của mô hình Cáccallbacks này sẽ được sử dụng đểđiều chỉnh tỷ lệ học vàdừng quá trình huấn luyệntheo cách tự động.

4.5.2 Thực nghiệm vói mô hình GRU Đối với bộ dữ liệu đã được tiền xử lýởtrên, đểthựcnghiệm với môhình GRU, chúng ta thực hiện các bước tương tự nhưthực hiện với bộ dữ liệu 2 và được kết quả như sau:

Hiệu suất: MAE: [4,9325], RMSE: [5,4288], MAPE: [0,8304]

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình4 2] Kếtquả chạy thực nghiệm mô hình GRU với bộ dữ liệu 3

4.5.3 Thực nghiệm vói mô hình LSTM Đối với bộ dữ liệu đã được tiền xử lý ở trên, đe thực nghiệm với mô hình LSTM, chúng ta thực hiện các bước tương tựnhư thực hiện với bộ dữ liệu 2 và được kết quả nhưsau:

Biểu đồ so sánhgiữa giátrị thực tế và dự đoán

Hình 4 22 Kếtquà chạy thực nghiêm mô hình LSTM với bộ dữliệu3

4.5.4 Thực nghiệm với mô hình Bi-LSTM Đối với bộ dữ liệu đà được tiền xử lý ở trên, đe thực nghiệm với mô hình Bi-

LSTM, chúng ta thực hiện các bước tương tựnhư thực hiện với bộ dữ liệu 1 và được kết quả nhưsau:

Biểu đồ so sánh giữa giá trị thực tế và dự đoán

Hình 4 23 Ketquã chạy thực nghiệm mô hình Bi-LSTM với bộ dữ liệu 3

4.5.5 Thực nghiệm với mô hình AE&GRU Đối với bộ dữ liệu đã được tiền xừ lý ở trên, đe thực nghiệm với mô hình AE&GRU, chúng ta thực hiện các bước tươngtự như thực hiện với bộ dữ liệu

1 và được kết quả như sau:

Hiệu suất: MAE: [3,1535], RMSE: [3,6035], MAPE: [0,4973]

Biểu đồ so sánh giữa giátrị thực tế và dự đoán

Hình 4 24 Kết quả chạy thực nghiệm mô hìnhAE&GRU với bộ dữ liệu 3

4.5.6 Đánh giá hiệu suất giữa các mô hình

Sau khi thực nghiệm với 4 mô hình, tathuđuợc kết quả nhu sau:

Bàng 4 3 Kết quả chạy thực nghiệm với bộ dữ liệu 3

MÔ hình MAE RMSE MAPE

Tiếp theo, tatiếnhành thực nghiệm với việc thay đối số lớp RNN, số nơ ron, số vòng lặpvà kích thướcbatch lưutrữ Kếtquả nhận được nhưsau:

Thực nghiệm 1: 4 lớp RNN, 512 nơrơn, 50 epochs, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 2: 4 lớp RNN, 256 nơ ron, 50 epoc1S, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 3: 4 lóp RNN, 128 nơ ron, 50 epoc1S, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 4: 4 lóp RNN, 64 nơron, 50 epochs, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 5: 2 lóp RNN, 256 nơ ron, 50 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 6: 2 lóp RNN, 128 nơrơn, 50 epoc 1S, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 7: 4 lóp RNN, 128 nơrơn, 50 epoc 1S, 64 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 8: 4 lóp RNN, 128 nơrơn, 20 epoc ÌS, 32 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 9: 2 lópRNN, 128 nơrơn, 50 epoc ÌS, 16 batch

Mô hình MAE RMSE MAPE Run time (s)

Thực nghiệm 10: 2 lớp RNN, 128 nơ ron, 50 epochs, 8 batch

Mô hình MAE RMSE MAPE Run time (s)

Qua 10 lần thực nghiệm với bộ dữ liệu 3, ta thấy mô hình AE&GRU vẫn vượt trội hoàn toàn về tốc độ huấn luyện, việcthayđối các tham số khi cấu hình thực nghiệm không làm ảnh hưởng đến tốc độ huấn luyện của mô hình so với các mô hình khác

Môhình này có khả năng sẽ phùhợp với việc dự báo trên bộ dữliệu lớn. về phần trăm trung bình của tuyệt đối cùa độ lỗi, mô hình AE&GRU và mô hình Bi- LSTM cho kết quả tốthơn mô hình LSTM và mô hình GRU Mô hình AE&GRUvà mô hình Bi-LSTM cho kết quả khá tương đồng Tuy nhiên, mô hình Bi-LSTM mất khá nhiều thời gian đe huấn luyệnvà cho kết quả dự đoán.

Trong 10 lần thực nghiệm, thì lần thực nghiệm 9 với mô hình Bi-LSTM cho kết quả tốt nhất, do đó, ta sừ dụngmô hìnhnày đe dự đoán lượngphát thải cho thời gian tiếp theo Dưới đây làkết quả thực nghiệm 9 và kết quả dự đoán:

KẾT QUẢ THỰC NGHIỆM 9 (DATA 3)

■ LSTM ôGRU BBi-LSTM ■ AE&GRU s s ĩ 2 § Sỉ Sì s s 1

Dự đoán lượng phát thải CO2

Hình 4 25 Kết quả dự đoán cho các ngày tiếp theo (bộ dữ liệu 3)

KẾT LƯẬN VÀ KHƯYẾN NGHỊ

Kết luận

5.1.1 Các kết quả đạt được

- Trong suốt quá trình thực hiện đề án, em đã học được một lượng lớn kiến thức và kỹ năng quý báuliên quan dữ liệu trong ngành Công nghệ thông tin Ban đầu, tậptrungvào việc thuthập và xử lý dữliệu, nângcao độ chính xác và hiệu suấtcông việc Kỹ năng trực quan hóa dữliệu cũng đã phát triển, cho phép the hiện dữ liệuphức tạp một cách rõ ràng và trực quan thông qua đồ họa và hình ảnh Sự hiểu biết về các tiêu chí đánh giá trong thử nghiệm cũng đã mở rộng,cải thiện khả năng phân tích dữ liệu một cách hệthống Việc áp dụng các mô hình học sâu vào các dự án thực tế đã không chỉ củng cố kiến thức lý thuyết mà còn mở raco hội thực hành.

- Nghiên cứu, ứng dụng một số mô hình đế dự đoán chất lượng không khí thông qua lượng phát thải CƠ2, hạt PM 2.5 theo tháng/ngày do EPA cung cấp.

- Nghiên cứu, xây dựng mô hình AE&GRU đế dự báo chất lượng không khí thông qua lượng phát thải CO2, hạt PM 2.5 theo tháng/ngày do EPA cung cấp.

- So sánh, đánh giá hiệu suất dự đoán của các mô hình thông qua các thamso như MAE, RMSE, MAPE.

- Phạm vi dữ liệumới chỉ xét đến khu vực là thành pho NewYork

- Việc đánh giá chất lượng không khí mới đang dựa trên lượng phát thải CO2 và hạt PM 2.5

- Mô hình cải tiến AE&GRU mới đem lại hiệu suất dự đoán tốt ở một số bộ dữ liệu chuỗi thời gian.

Khuyến nghị

Qua các kết quả thực nghiệm, chúng ta có thế thấy được sự đa dạng, phức tạp của dữ liệu chuỗi thời giancũng như có nhiềumô hình để dự đoán chuỗi thời gian, ớ nghiên cứu này, chúng ta tìm ra được 1 mô hình mới đe dự đoán chuỗi thời gian là mô hình kết hợp AE và GRU Nhờ vào ưu điếm vượt trội về tốc độ huấn luyện trên các bộ dữliệu thực nghiệm, ta thấy mô hình nàyrất phùhợp với việc dự đoán chuồi thời gian dựa trên bộ dữ liệu lớn, có độ phức tạp cao Cũng như những mô hình dự đoán khác, mô hình AE&GRU sẽ đạt độ chính xác cao với một số bộ dữ liệu chuồi thời gian về chấtlượngkhông khí vàcũngcótrường hợp đạtđộ chính xác khôngcao.

Do đó, với mỗi bộ dữliệu về chuỗi thời gian, đe dự đoán đạtđộ chínhxác cao, chúng ta cần xử lý dữ liệu vàthử nghiệm với nhiều mô hình khác nhau cũng nhưviệc điều chỉnh các tham số cùa mô hình.

Xác địnhmột số hướng nghiên cứu vàphát triến tiềm năng chođềán Các hướng nàybao gồm cải tiếnmôhìnhhiện tại, mở rộngphạm vi nghiên cứu, kết họp mô hình với các phươngpháp phân tích khác, và khám phá việc tích họp công nghệ mới vào quy trình làm việc Ngoài ra, tăng cường ứng dụng thực tế của dự án và chia sẻ kiến thức thông qua việc xuất bản bài báo khoa học, thực hiện nghiên cứu học thuật và phát triển các đề tài đề án tốt nghiệp Những hướng phát triển này không chỉ giúp củng cố vàhoànthiện dự án, mà cònđóng vai trò quan trọngtrong việc mở rộngứng dụng của nó trong lĩnh vực dự đoán chất lượng không khí và học máy.

Ngày đăng: 24/07/2024, 17:43

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] z. Zhou, "Air Quality Prediction Based on Improved LSTM," in Computer Engineering and Application (ICCEA), 2023 Sách, tạp chí
Tiêu đề: Air Quality Prediction Based on Improved LSTM
[2] V. Athira, p. Geetha, R. Vinayakumar, and K. p. Soman, "DeepAirNet: Applying recurrent networks for air quality prediction," Procedia Comput. Sci., vol. 132, p. 1394-1403,2018 Sách, tạp chí
Tiêu đề: DeepAirNet: Applying recurrent networks for air quality prediction
[3] P.-W. Soh, J.-W. Chang, and J.-W. Huang, "Adaptive deep learning-based air quality prediction model using the most relevant spatial-temporal relations,"IEEE Access, vol. 6, p. 38186-38199, 2018 Sách, tạp chí
Tiêu đề: Adaptive deep learning-based airquality prediction model using the most relevant spatial-temporal relations
[4] G. Singh, "Analytics Vidhya," [Online]. Available:. [Accessed 30 6 2021].https://www.analyticsvidhya.com/blog/2021/06/autoencoders-a-gentle-introduction/ Sách, tạp chí
Tiêu đề: Analytics Vidhya
[5] F. A. Dawdye, "CODING NINJAS," [Online], Available:. [Accessed 30 6 2023].https://www.codingninjas.com/studio/library/time-series-prediction-with-gru Sách, tạp chí
Tiêu đề: CODING NINJAS

HÌNH ẢNH LIÊN QUAN

Hình  3.  1 Mô hình  LSTM - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 3. 1 Mô hình LSTM (Trang 26)
Hình 3. 2  Mô  hình BiLSTM - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 3. 2 Mô hình BiLSTM (Trang 28)
Hình  3.  3 Mô hình  cải  tiến  AE&amp;GRU - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 3. 3 Mô hình cải tiến AE&amp;GRU (Trang 30)
Hình  4.  i  Bộ dữ  liệu  đầu  vào 1 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. i Bộ dữ liệu đầu vào 1 (Trang 33)
Hình  4. 2 Bộ dữ  liệu  đầu vào 1  (sau  tiền  xữ lý) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 2 Bộ dữ liệu đầu vào 1 (sau tiền xữ lý) (Trang 34)
Hình  4. 3  Cấu  trúc mô hình  nơ ron  (GRU) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 3 Cấu trúc mô hình nơ ron (GRU) (Trang 37)
Hình  4.  4 Kết  quá  chạy thực nghiệm mô hình GRU với bộ  dữ  liệu l - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 4 Kết quá chạy thực nghiệm mô hình GRU với bộ dữ liệu l (Trang 38)
Hình 4. 5  Cấu  trúc  mô hình nơ  ron (LSTM) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 5 Cấu trúc mô hình nơ ron (LSTM) (Trang 40)
Hình 4. 6  Ket  quà  chạy thực nghiệm mô hình LSTM với bộ  dữ  liệu 1 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 6 Ket quà chạy thực nghiệm mô hình LSTM với bộ dữ liệu 1 (Trang 41)
Hình  4. 7  Cấu  trúc mô hình  nơ ron (Bi-LSTM) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 7 Cấu trúc mô hình nơ ron (Bi-LSTM) (Trang 43)
Hình 4.  8 Ket  quá  chạy thực nghiệm  mô hình Bi-LSTM  với  bộ dữ  liệu ỉ - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 8 Ket quá chạy thực nghiệm mô hình Bi-LSTM với bộ dữ liệu ỉ (Trang 45)
Hình  4.  9  Cấu trúc mô hình  nơ ron  (AE&amp;GRU) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 9 Cấu trúc mô hình nơ ron (AE&amp;GRU) (Trang 48)
Bảng  4.  1 Ket  quả  chạy  thực nghiệm  với  bộ  dữ liệu 1 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
ng 4. 1 Ket quả chạy thực nghiệm với bộ dữ liệu 1 (Trang 50)
Hình  4. 11  Kết  quả dự đoán cho  các năm  tiếp  theo (bộ  dữ  liệu  ỉ) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 11 Kết quả dự đoán cho các năm tiếp theo (bộ dữ liệu ỉ) (Trang 52)
Hình 4.  13  Bộ dữ liệu  2 (sau tiền xử lý) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 13 Bộ dữ liệu 2 (sau tiền xử lý) (Trang 54)
Hình  4.  14 Két  quá  chạy thực nghiệm mô  hình  GRU với  bộ dữ  liệu 2 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 14 Két quá chạy thực nghiệm mô hình GRU với bộ dữ liệu 2 (Trang 56)
Hình  4.  15 Kết  quà  chạy  thực  nghiệm mô  hình  LSTM với  bộ dữ  liệu 2 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 15 Kết quà chạy thực nghiệm mô hình LSTM với bộ dữ liệu 2 (Trang 56)
Hình  4. 16  Kết  quá  chạy  thực  nghiệm mô  hình Bi-LSTM  với bộ  dữ  liệu  2 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 16 Kết quá chạy thực nghiệm mô hình Bi-LSTM với bộ dữ liệu 2 (Trang 57)
Hình  4. 17  Kết  quá  chạy thực nghiêm mô  hình AE&amp;GRU  với bộ  dữ  liệu 2 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 17 Kết quá chạy thực nghiêm mô hình AE&amp;GRU với bộ dữ liệu 2 (Trang 58)
Hình  4.  ỉ  8  Kết  quả dự  đoán  cho  các ngày tiếp theo (bộ  dữ  liệu  2) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. ỉ 8 Kết quả dự đoán cho các ngày tiếp theo (bộ dữ liệu 2) (Trang 61)
Hình 4. 19 Bộ dữ  liệu  3 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 19 Bộ dữ liệu 3 (Trang 62)
Hình 4. 20 Bộ dữ  liệu 3 (sau tiền xừ lý) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
Hình 4. 20 Bộ dữ liệu 3 (sau tiền xừ lý) (Trang 63)
Hình  4. 22 Kết quà  chạy  thực  nghiêm mô  hình  LSTM với  bộ dữ liệu 3 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 22 Kết quà chạy thực nghiêm mô hình LSTM với bộ dữ liệu 3 (Trang 65)
Hình  4.  23  Ket quã  chạy  thực  nghiệm mô  hình Bi-LSTM  với bộ  dữ  liệu 3 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 23 Ket quã chạy thực nghiệm mô hình Bi-LSTM với bộ dữ liệu 3 (Trang 66)
Hình  4. 24  Kết  quả  chạy thực nghiệm mô  hình AE&amp;GRU  với  bộ dữ  liệu 3 - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 24 Kết quả chạy thực nghiệm mô hình AE&amp;GRU với bộ dữ liệu 3 (Trang 66)
Hình  4. 25  Kết  quả dự  đoán  cho  các ngày  tiếp  theo (bộ  dữ  liệu  3) - dự báo chất lượng không khí dựa trên dữ liệu chuỗi thời gian
nh 4. 25 Kết quả dự đoán cho các ngày tiếp theo (bộ dữ liệu 3) (Trang 70)

TÀI LIỆU CÙNG NGƯỜI DÙNG

  • Đang cập nhật ...

TÀI LIỆU LIÊN QUAN

w