ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
_
PHẠM LINH SƠN
DỰ ĐỐN CHẤT LƯỢNG KHƠNG KHÍ DỰA TRÊN GRAPH NEURAL NETWORK
Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101
LUẬN VĂN THẠC SĨ
Trang 2CÔNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM
Cán bộ hướng dẫn khoa học: PGS.TS Quản Thành Thơ Cán bộ chấm nhận xét 1: PGS.TS Võ Thị Ngọc Châu Cán bộ chấm nhận xét 2: PGS.TS Đỗ Văn Nhơn
Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng 07 năm 2023
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1 Chủ tịch: TS Nguyễn Đức Dũng 2 Thư ký: TS Trương Thị Thái Minh 3 Phản biện 1: PGS.TS Võ Thị Ngọc Châu 4 Phản biện 2: PGS.TS Đỗ Văn Nhơn 5 Uỷ viên: TS Bùi Thanh Hùng
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)
CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH
Trang 3i
ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA _
CỘNG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc
NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: PHẠM LINH SƠN MSHV: 1970596
Ngày, tháng, năm sinh: 03/08/1991 Nơi sinh: Quảng Ngãi
Chuyên ngành: Khoa học Máy tính Mã số: 8480101
I TÊN ĐỀ TÀI: DỰ ĐỐN CHẤT LƯỢNG KHƠNG KHÍ DỰA TRÊN GRAPH NEURAL NETWORK
(AIR QUALITY PREDICTION BASED ON GRAPH NEURAL NETWORK) II NHIỆM VỤ VÀ NỘI DUNG:
- Nghiên cứu, xây dựng hệ thống dự đoán chất lượng khơng khí dựa trên Graph Neural Network
- Nghiên cứu và đề xuất phương pháp nhằm cải thiện độ chính xác của mơ hình - Thực nghiệm và đánh giá kết quả của phương pháp đề xuất
III NGÀY GIAO NHIỆM VỤ: 06/02/2022
IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN: PGS.TS Quản Thành Thơ
Tp HCM, ngày 12 tháng 06 năm 2023 CÁN BỘ HƯỚNG DẪN (Họ tên và chữ ký) HỘI ĐỒNG NGÀNH (Họ tên và chữ ký) PGS.TS Quản Thành Thơ TRƯỞNG KHOA
KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH
Trang 4ii
LỜI CÁM ƠN
Sau một q trình thực hiện nghiên cứu, em cũng đã hồn thành nội dung luận văn Luận văn được hoàn thành không chỉ là kết quả cố gắng không ngừng nghỉ của bản thân mà cịn có sự giúp đỡ, hỗ trợ tích cực của nhiều cá nhân và tập thể
Lời đầu tiên, em xin trân trọng tỏ lòng biết ơn chân thành và sâu sắc đến PGS.TS Quản Thành Thơ, thầy là người hướng dẫn trực tiếp trong quá trình thực hiện luận văn, nhờ những chia sẻ và đóng góp ý kiến của thầy giúp em hồn thiện những nội dung Luận văn Hơn hết thầy còn là người truyền cảm hứng cho em trong khoa học máy tính
Em cũng xin chân thành cảm ơn đến tồn thể anh, chị, em đồng nghiệp trong công ty Orient đã ln tạo điều kiện cho em trong q trình học và thực hiện luận văn tốt nghiệp Những lời động viên của toàn thể mọi người là niềm động lực giúp em vượt quả khoảng thời gian khó khăn nhất trong quá trình thực hiện luận văn
Trang 5iii
TĨM TẮT LUẬN VĂN
Dự đốn chất lượng khơng khí dựa trên Graph Neural Network là bài toán tập trung vào các tác vụ quan trọng như trích xuất thơng tin những thơng số trong khơng khí và trích xuất dựa trên mối liên kết khơng gian của dữ liệu, các chỉ số trong khơng khí bao gồm 𝑃𝑀2.5, 𝑃𝑀10, 𝑁𝑂2, 𝐶𝑂, 𝑆𝑂2, 𝑂3, 𝐴𝑄𝐼 Phân bố không gian giữa các cảm biến thể hiện mối liên quan và tính liên kết của dữ liệu Trước đây, các phương pháp truyền thống thường sử dụng mô hình ARIMA, CNN, LSTM để áp dụng vào bài tốn dữ liệu chuỗi thời gian, cách tiếp cận của các phương pháp này chủ yếu dựa vào các giá trị quan sát được để đưa ra giá trị dự đoán Tuy nhiên, những phương pháp truyền thống vẫn chưa khai thác những khía cạnh tiềm năng khác của dữ liệu chuỗi thời gian như tận dụng liên hệ, tính chất tương đồng của dữ liệu giữa các thiết bị thu thập thông tin trong cùng một thời điểm Đồng thời những phương pháp trước đây cũng chưa thể hiện được rõ ràng sự đóng góp giữa các mối liên kết khơng gian của cảm biến vào việc trích xuất đặc trưng Do đó trong nội dung của luận văn này, học viên tập trung khai thác bài toán dự đoán dữ liệu chuỗi thời gian theo hướng sử dụng Graph Neural Network và đưa ra mơ hình đề xuất, cải tiến so với mơ hình tham khảo
Sử dụng thơng tin của chỉ số khơng khí kết hợp với thơng tin phân bố không gian của các thiết bị cảm biến vào bài tốn dự đốn Trong đó học viên
sử dụng lớp tích chập đồ thị (Graph Convolution Networks) để lọc ra lượng
Trang 6iv
ABSTRACT OF DISSERTATION
The topic of predicting air quality using Graph Neural Networks focuses on critical tasks including extracting data from sensors concerning parameters in the air and extracting based on geographical interconnections of data, indicators in the air, such as 𝑃𝑀2.5, 𝑃𝑀10, 𝑁𝑂2, 𝐶𝑂, 𝑆𝑂2, 𝑂3, 𝐴𝑄𝐼 When dealing with time series data problems in the past, conventional approaches frequently applied ARIMA, CNN, and LSTM models predict worth
Traditional approaches haven't yet fully utilized time series data' additional potential benefits, such as utilizing the data similarity between concurrently collecting equipment The significance of the sensor's spatial links to feature extraction, however, has not been made evident by earlier methods As a result, students in this thesis concentrate on employing Graph Neural
Networks to solve the problem of forecasting time series data and developing a new and enhanced model above the reference model
Trang 7v
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn tốt nghiệp: “DỰ ĐỐN CHẤT LƯỢNG KHƠNG KHÍ DỰA TRÊN GRAPH NEURAL NETWORK” là cơng trình nghiên cứu của bản thân Những phần sử dụng tài liệu tham khảo trong luận văn đã được nêu rõ trong phần tài liệu tham khảo Các số liệu, kết quả trình bày trong luận văn là hồn tồn trung thực, nếu sai tơi xin chịu hoàn toàn trách nhiệm và chịu mọi kỷ luật của bộ môn và nhà trường đề ra
Học viên
Trang 8vi
Mục lục
Chương 1 GIỚI THIỆU ĐỀ TÀI 1
1.1 Giới thiệu đề tài 1
1.2 Mô tả bài tốn dự đốn chất lượng khơng khí dựa trên Graph Neural Network 2
1.3 Mục tiêu và nhiệm vụ của luận văn 3
1.4 Giới hạn đề tài 4
1.5 Đóng góp của luận văn 4
1.6 Tóm tắt nội dung 5
Chương 2 CƠ SỞ KIẾN THỨC 7
2.1 Đồ thị 7
2.2 Lý thuyết phổ đồ thị 8
2.3 Graph Neural Network 10
2.4 Mơ hình Artificial Neural Network .12
2.5 Mơ hình ghi nhớ dài-ngắn hạn .17
Chương 3 CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 20
3.1 Hồi quy dịch chuyển trung bình 21
3.2 Mạng ghi nhớ dài-ngắn hạn 21
3.3 Mạng nơ-ron tích chập 22
3.4 Học sâu trên đồ thị 22
3.5 Mạng khuếch tán tích chập 23
3.6 Mạng nơ-ron tích chập đồ thị không gian-thời gian 23
3.7 Mạng quang phổ và mạng liên kết cục bộ 24
3.8 Mạng nơ-ron tích chập đồ thị với bộ lọc quang phổ nhanh-cục bộ 24
Chương 4 MƠ HÌNH ĐỀ XUẤT 26
4.1 Mơ hình tham khảo .26
4.1.1 Mơ hình 1: GNN 26
Trang 9vii
4.1.3 Mơ hình 3: CNN 29
4.1.4 Mơ hình 4: LSTM 31
4.2 Phương pháp đánh giá 31
4.2.1 Mean Absolute Error (MAE) 31
4.2.2 Mean Squared Error (MSE) 32
4.2.3 Root Mean Squared Error (RMSE) 32
4.2.4 Mean Absolute Percentage Error (MAPE) 32
4.3 Mơ hình đề xuất .33
4.3.1 Động lực và ý tưởng 33
4.3.2 Mơ tả mơ hình 35
4.3.3 Tham số cấu hình của mơ hình 37
4.3.4 Kết quả thực nghiệm và thảo luận .38
Chương 5 KẾT LUẬN 43
Trang 10viii
Danh sách hình vẽ
2.1: Vector đặc trưng của mỗi đỉnh thuộc đồ thị 8
2.2: Tính ma trận Laplacian từ ma trận bậc và ma trận kề 9
2.3: Đồ thị được áp dụng bộ lọc F vào mỗi đỉnh 11
2.4: Phương thức lan truyền của mơ hình 12
2.5: Các thành phần cơ bản của một nơ-ron sinh học 13
2.6: Cấu trúc của một perceptron 14
2.7: Một số hàm kích hoạt được sử dụng trong perceptron 15
2.8: Cấu trúc mơ hình Artificial Neural Network 16
2.9: Cơ chế hoạt động trong mơ hình Long Short-Term Memory 18
3.1: Sơ đồ taxonomy của các công trình nghiên cứu liên quan 20
4.1: Mơ hình tham khảo 27
4.2: Mơ hình kết hợp CNN-LSTM 29
4.3: Mơ hình dự đốn dữ liệu chuỗi thời gian 30
4.4: Mơ hình sử dụng LSTM 31
4.5: Mơ hình đề xuất dựa trên mạng nơ-ron tích chập đồ thị 36
4.6: Phân bố của 2 hệ thống cảm biến trên không gian địa lý 39
4.7: Kết quả mơ hình đề xuất trên hệ thống cảm biến dày đặc 40
4.8: Kết quả mơ hình đề xuất trên hệ thống cảm biến thưa thớt 40
Trang 11ix
Danh sách bảng
Trang 121
Chương 1
GIỚI THIỆU ĐỀ TÀI
1.1 Giới thiệu đề tài
Trang 132
khơng khí dựa trên Graph Neural Network” là làm sao xây dựng được mơ hình tổng qt có khả năng thể hiện được sự phụ thuộc giữa các chuỗi dữ liệu khác nhau, cũng như mối quan hệ tương đồng về dữ liệu Mặc dù các cảm biến độc lập với nhau, nhưng có thể xây dựng được một mạng đồ thị kết nối chặt chẽ giữa chúng Đây chính là mục tiêu quan trọng của bài toán dự đoán dữ liệu chuỗi thời gian trong khoa học máy tính.
1.2 Mơ tả bài tốn dự đốn chất lượng khơng khí dựa trên Graph Neural Network
Đầu vào của mơ hình là tập dữ liệu có cấu trúc đồ thị có dạng
[𝑏𝑎𝑡𝑐ℎ, 𝑛𝑜𝑑𝑒𝑠, 𝑛_𝑓𝑒𝑎𝑡], chứa 𝑏𝑎𝑡𝑐ℎ là kích thước của mỗi khối dữ liệu, 𝑛𝑜𝑑𝑒𝑠 là số đỉnh của đồ thị và 𝑛_𝑓𝑒𝑎𝑡 là các đặc trưng trên mỗi đỉnh Dữ liệu đầu vào được mơ hình hóa dựa trên ma trận Laplacian 𝐿 = 𝐷 − 𝐴 Laplacian là ma trận biểu diễn mối liên hệ của đồ thị 𝐺 = (𝑉, 𝐸), với |𝑉| = 𝑛 Trong đó,
D là ma trận bậc (degree matrix) với 𝐷(𝑖, 𝑖) là bậc của đỉnh 𝑖𝑡ℎ, A là ma trận
kề với 𝐴(𝑖, 𝑗) = 1 nếu và chỉ nếu (𝑖, 𝑗) ∈ 𝐸
Dự đoán dữ liệu chuỗi thời gian đa biến chủ yếu tập trung vào thông tin thu được từ mạng lưới các cảm biến và yếu tố không gian, từ đó xây dựng được cấu trúc dạng đồ thị Trong đó, mỗi đỉnh của đồ thị đại diện cho mỗi trạm thu dữ liệu, trọng số của đường nối giữa hai đỉnh là khoảng cách địa lý trong thực tế
Trang 143
định vị trí đỉnh trong đồ thị, đầu ra của mơ hình sẽ là giá trị dự đốn chỉ số
chất lượng khơng khí AQI (Air Quality Indexing)
1.3 Mục tiêu và nhiệm vụ của luận văn
Mục tiêu của luận văn hướng đến việc nghiên cứu và xây dựng mơ hình dự đốn dữ liệu chuỗi thời gian đa biến sử dụng các phương pháp học sâu và lý thuyết phổ của đồ thị Cụ thể:
- Hiểu và sử dụng được các mơ hình học sâu, các lý thuyết đồ thị và phổ đồ thị cho biểu diễn dữ liệu
- Xác định rõ công việc sẽ tập trung giải quyết trong bài toán dự đoán dữ liệu chuỗi thời gian đa biến: đầu vào và đầu ra của mơ hình là gì? Mơ hình sử dụng dataset có dữ liệu về cảm biến hay khơng? Đặc trưng của dataset có những chỉ số khơng khí là gì?
- Nắm bắt những phương pháp gần đây để giải quyết bài toán, đặc biệt là những phương pháp sử dụng các mơ hình học sâu Trên cơ sở đó có thể chỉ ra được những ưu nhược điểm của từng phương pháp
- Đưa ra đề xuất có thể cải thiện hiệu suất của mơ hình dựa trên thực nghiệm
- Cuối cùng, học viên sẽ hiểu rõ hơn những vấn đề, thách thức khi áp dụng học sâu, học máy vào giải quyết một bài tốn thực tế Đánh giá tính khả thi của các phương pháp trong thực tiễn, đồng thời sẽ có góc nhìn chính xác hơn về học sâu, học máy nói chung
Trang 154
- Tìm hiểu bài tốn dự đốn dữ liệu chuỗi thời gian, các cơng trình nghiên cứu liên quan, các phương pháp giải quyết bài toán, ưu và nhược điểm của các phương pháp
- Đề xuất các mơ hình giúp cải thiện độ chính xác cho bài tốn dự đốn dữ liệu chuỗi thời gian
- Thực nghiệm, đánh giá kết quả của mơ hình đề xuất
- Kết luận, nêu ra các vấn đề còn tồn đọng, đồng thời đưa ra các dự định nghiên cứu tương lai
1.4 Giới hạn đề tài
Dự đoán dữ liệu chuỗi thời gian là phương pháp nghiên cứu phổ biến và có nhiều phương pháp khác nhau, vì vậy nội dung luận văn sẽ được giới hạn như sau:
- Tập trung vào cơng việc trích xuất đặc trưng dữ liệu chuỗi thời gian đa biến và mơ hình hóa dữ liệu dựa trên phổ đồ thị
- Các mơ hình học sâu: CNN, LSTM, GNN
- Mơ hình được đánh giá dựa trên độ đo MSE, RMSE, MAE, MAPE cho tác vụ trích xuất đặc trưng của dữ liệu chuỗi thời gian
1.5 Đóng góp của luận văn
Trong luận văn, học viên đề xuất phương pháp giúp cải thiện hiệu quả của mơ hình dự đốn
Trang 165
- Sử dụng phương pháp mơ hình hóa dữ liệu chuỗi thời gian dựa trên lý thuyết phổ đồ thị
- Kết hợp thông tin phân bố không gian trong mạng các cảm biến vào đặc trưng dữ liệu chuỗi thời gian
1.6 Tóm tắt nội dung
Nội dung của luận văn gồm 5 chương:
− Chương 1 GIỚI THIỆU ĐỀ TÀI: giới thiệu về nhu cầu dự đoán trong
dữ liệu chuỗi thời gian, mơ tả bài tốn dự đốn chất lượng khơng khí dựa trên mạng nơ-ron tích chập đồ thị, tập dữ liệu dạng chuỗi thời gian được sử dụng cũng như phương pháp đánh giá
− Chương 2 CƠ SỞ KIẾN THỨC: bàn về cơ sở kiến thức cơ bản trong
học sâu, từ mạng nơ-ron tích chập tới mạng nơ-ron tích chập đồ thị, Hồi quy dịch chuyển trung bình, Mạng ghi nhớ dài-ngắn hạn
− Chương 3 CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN: nói
về các cơng trình nghiên cứu liên quan, bắt đầu từ cơng trình nghiên cứu mạng học sâu trên đồ thị của Stefan Bloemheuvel, Jurgen van den Hoogen, Dario Jozinovi´c, Alberto Michelini & Martin Atzmueller, 2022, mở ra hàng loạt công trình tiếp theo cho hướng nghiên cứu cho bài tốn dự đốn trong dữ liệu chuỗi thời gian, và đó cũng là cơ sở quan trọng cho nghiên cứu của học viên trong luận văn
− Chương 4 CÁC MÔ HÌNH ĐỀ XUẤT: Chương 4 nói cụ thể về các
Trang 176
− Chương 5 KẾT LUẬN: Tổng kết các đóng góp của luận văn, các vấn
Trang 187
Chương 2
CƠ SỞ KIẾN THỨC
Trong luận văn, tác giả lựa chọn trình bày theo hướng sử dụng mơ hình Graph Neural Networks cho bài toán dự đoán chất lượng khơng khí Trong nhiều nghiên cứu trước đây chủ yếu sử dụng các cơng cụ tốn học hoặc sử dụng học máy xoay quanh mơ hình mạng nơ-ron tích chập Tuy nhiên, các mơ hình đó vẫn tồn tại nhược điểm là chưa biểu diễn được mối liên kết tự nhiên giữa tính không gian và thời gian của dữ liệu Để giải quyết vấn đề đó, mơ hình mạng nơ-ron tích chập đồ thị dựa trên lý thuyết phổ đồ thị được chọn là hướng nghiên cứu chính của luận văn
2.1 Đồ thị
Một phần của học sâu với đồ thị là tập trung vào cấu trúc dữ liệu dạng đồ
thị Đồ thị thể hiện mối quan hệ giữa tập các đỉnh (vertices) được kết nối bởi các cạnh (edges) với nhau
Đồ thị được định nghĩa 𝐺 = (𝑉, 𝐸) trong đó V là tập đỉnh và E là tập cạnh Mỗi cạnh 𝑒𝑖𝑗 = (𝑥𝑖, 𝑥𝑗) kết nối đỉnh 𝑥𝑖 và 𝑥𝑗 Một cách phổ biến để biểu diễn
đồ thị là sử dụng ma trận kề (Adjacency matrix) 𝐴 ∈ ℝ𝑁×𝑁 với 𝑁 = |𝑉|, ma trận kề là ma trận vng có giá trị của đường chéo chính bằng một 𝐴𝑖𝑗 = 1 nếu tồn tại cạnh nối đỉnh 𝑥𝑖 đến 𝑥𝑗, ngược lại 𝐴𝑖𝑗 = 0
Trang 198
hoặc vơ hướng Cạnh có hướng là cạnh chỉ hướng từ đỉnh nguồn đến đỉnh đích Cạnh vơ hướng là cạnh khơng có khái niệm liên quan đến đỉnh nguồn và đích
Các đỉnh, cạnh và tồn bộ biểu đồ có thể có các các đặc trưng (features) của
dữ liệu, ví dụ: vector 𝑥 = (𝑥1, 𝑥2, … , 𝑥𝑛) là một vector đặc trưng của đỉnh 𝑎
Hình 2.1: Vector đặc trưng của mỗi đỉnh thuộc đồ thị
2.2 Lý thuyết phổ đồ thị
Lý thuyết phổ đồ thị (Spectral Graph Theory) [5] là hướng nghiên cứu về tính chất của đồ thị trong qua công cụ đại số với mối quan hệ của giá trị riêng (eigenvalues) và vector riêng (eigenvectors), điển hình như ma trận kề, ma trận
Laplacian
Ma trận Laplacian: Cho đồ thị 𝐺 = (𝑉, 𝐸), với |𝑉| = 𝑛, ma trận Laplacian là ma trận thể hiện mối liên hệ của đồ thị G, có kích thước 𝑛 × 𝑛
𝐿 = 𝐷 − 𝐴 (2.1)
Trang 209
Trong đó, D là ma trận bậc (degree matrix) với 𝐷(𝑖, 𝑖) là bậc của đỉnh 𝑖𝑡ℎ,
A là ma trận kề với 𝐴(𝑖, 𝑗) = 1 nếu và chỉ nếu (𝑖, 𝑗) ∈ 𝐸 Vì vậy, ta có thể biểu diễn ma trận Laplacian như sau:
𝐿(𝑖, 𝑗) = {deg(𝑖) 𝑛ế𝑢 𝑖 = 𝑗−1 𝑛ế𝑢 (𝑖, 𝑗) ∈ 𝐸0 𝑛𝑔ượ𝑐 𝑙ạ𝑖 (2.2) Hình 2.2: Tính ma trận Laplacian từ ma trận bậc và ma trận kề
Trong đồ thị G, phép nhân một vector với ma trận Laplacian thể hiện sự sai biệt của một đỉnh đối với các đỉnh lân cận
Trang 2110
Phần tử thứ 𝑖𝑡ℎ của phép nhân 𝐿𝑥 bằng tổng của các hiệu từ phần tử thứ 𝑖𝑡ℎ đến các phần tử còn lại:
𝑤(𝑖) = deg(𝑖) 𝑥(𝑖) − ∑𝑗:(𝑖,𝑗)∈𝐸𝑥𝑗 = ∑𝑗:(𝑖,𝑗)∈𝐸(𝑥(𝑖) − 𝑥(𝑗)) (2.4)
Nếu một đỉnh của đồ thị G có vector đặc trưng là 𝑣 thì dạng tồn phương (quadratic form) 𝑣𝑡𝐿𝑣 thể hiện chính xác mối liên hệ của đỉnh này đến các đỉnh lân cận 𝑣𝑡𝐿𝑣 được tính chính xác bằng tổng bình phương của các hiệu với những giá trị của đỉnh lân cận
𝑥𝑡𝐿𝑥 = ∑𝑖<𝑗:(𝑖,𝑗)∈𝐸(𝑥(𝑖) − 𝑥(𝑗))2 (2.5)
2.3 Graph Neural Network
Graph Neural Network - GNNs là mơ hình học sâu dựa trên cơ sở của đồ
thị Trước đây có 2 phương pháp sử dụng GNNs là: Phương pháp phổ (Spectral method) và phương pháp không gian (Spatrial methods) Phương pháp phổ sử dụng vector riêng (eigenvectors) và trị riêng (eigenvalues) của ma trận và thực
hiện tích chập với phép biến đổi Fourier đồ thị ( Graph Fourier Transformation) và nghịch đảo biến đổi Fourier đồ thị (inverse Graph Fourier transform) Phép biến đổi của đầu vào 𝑥 được định nghĩa là 𝐹(𝑥) = 𝑈𝑇𝑥 và 𝐹−1(𝑥) = 𝑈𝑥 Trong đó, U đại diện cho ma trận vector riêng của ma trận chuẩn hóa Laplacian:
Trang 2211
Trong đó, D là ma trận bậc của ma trận kề A và I là ma trận đơn vị
Phương pháp không gian sử dụng kỹ thuật message passing để xác định các
đỉnh lân cận và thực hiện tính tốn giới hạn đến lân cận thứ k Mỗi đỉnh sẽ được cập nhập giá trị mới bởi hàm 𝑓, một phép cập nhập được biểu diễn bởi hàm 𝑍 =
𝑓(𝐺)𝑋 Trong đó, 𝐺 là ma trận chuẩn hóa Laplacian và 𝑋 là đặc trưng của đỉnh
(node features) Tuy nhiên, vấn đề gặp phải với phương pháp không gian là định nghĩa lớp tích chập kết hợp với k đỉnh lân cận
Hình 2.3: Đồ thị được áp dụng bộ lọc F vào mỗi đỉnh
𝐹 được xác định bởi một hàm số 𝑔𝜃 = 𝑑𝑖𝑎𝑔(𝜃) trong đó 𝜃 là bộ tham số cần học
Khi áp dụng hàm số 𝑔𝜃 tại mỗi đỉnh, đồng nghĩa thực hiện phép tốn 𝑔𝜃 ×𝑥 = 𝑈𝑔𝜃(Λ)𝑈𝑇, trong đó 𝑥 là vector đặc trưng, Λ là ma trận giá trị riêng, 𝑈 là mà trận vector riêng của ma trận chuẩn hóa đồ thị Laplacian Vì vậy, ta có thể hiểu 𝑔𝜃(Λ) là hàm số xác định ma trận giá trị riêng của L
Trang 2312
Tối ưu bằng cách áp dụng đa thức Chebyshev (Hammond, Vandergheynst & Gribonval, 2011) và phương pháp chuẩn hóa, vì thế có thể tăng tốc độ học và tránh hiện tượng khơng học được gì (vanishing gradients)
Phương pháp không gian tập trung vào sự kết nối của đồ thị trong khi phương pháp phổ dựa vào giá trị riêng và vector riêng của đồ thị Phương thức lan truyền được biểu diễn như sau:
𝐻(𝑙+1) = 𝜎(𝐷̃−1/2𝐴̃𝐷̃−1/2𝐻(𝑙)𝑊(𝑙)) (2.7)
Hình 2.4: Phương thức lan truyền của mơ hình
Trong đó, 𝐻(𝑙) là ma trận của lớp kích hoạt thứ 𝑙𝑡ℎ, 𝜎 biểu thị hàm kích hoạt, 𝐷̃ = ∑ 𝐴̃𝑗 𝑖𝑗 là ma trận bậc; 𝐴̃ = 𝐴 + 𝐼𝑁 là ma trận kề của đồ thị vô hướng G được kết hợp với ma trận đơn vị để thể hiện kết nối của một đỉnh với chính nó, 𝑊(𝑙) là ma trận trọng số huấn luyện
2.4 Mơ hình Artificial Neural Network
Mơ hình Mạng nơ-ron nhân tạo (Hopfield, 1988) là mơ hình tính tốn được
xây dựng dựa trên ý tưởng lấy từ cấu trúc và cách hoạt động của mạng nơ-ron
H0 H1 H2
Trang 2413
thần kinh trong não người nhằm thực hiện một tác vụ nào đó với tập dữ liệu đầu vào
Một mạng nơ-ron thần kinh được tạo nên từ nhiều nơ-ron sinh học kết nối và hoạt động cùng nhau Mỗi nơ-ron sinh học đó được cấu tạo bởi các thành phần cơ bản được mơ tả trong Hình 3.1 bao gồm đuôi gai, thân nơ-ron và sợi trục
Hình 2.5: Các thành phần cơ bản của một nơ-ron sinh học
Nơ-ron thần kinh hoạt động bằng cách tiếp nhận các thông tin đưa vào từ
các đuôi gai (dendrites), tính tốn và tổng hợp tại thân nơ-ron (cell body), sau đó lan truyền kết quả đến các nơ-ron khác thơng qua sợi trục (axon)
Có thể dễ dàng rút ra nhận xét rằng mạng nơ-ron thần kinh nhận nhiều thông tin đầu vào nhưng chỉ đưa ra một kết quả duy nhất
Trang 2514
- 𝑥1, 𝑥2, 𝑥3, … 𝑥𝑛 là các thông tin dữ liệu đầu vào
- Phép cộng và hàm kích hoạt chính là các phép tính tốn và tổng hợp các thông tin dữ liệu đầu vào
- 𝑤0, 𝑤1, 𝑤2, 𝑤3, … 𝑤𝑛 là các trọng số cần phải học, đóng vai trị tham gia q trình tính tốn và chuyển đổi các thơng tin đầu vào thành thông tin đầu ra - 𝑦 là dữ liệu đầu ra
Hình 2.6: Cấu trúc của một perceptron
Cụ thể hơn, phương thức tính tốn và tổng hợp dữ liệu của một perceptron được mô tả theo từng bước sau:
1 Sau khi tiếp nhận tập các dữ liệu đầu vào {𝑥1, 𝑥2, … , 𝑥𝑛}, perceptron thực hiện phép cộng bằng cách tính tổng giá trị tất cả các tích số của từng cặp dữ liệu đầu vào và giá trị trọng số tương ứng
Trang 2615
2 Kết quả 𝑎 của phép cộng được đưa vào hàm kích hoạt là hàm khơng tuyến
tính như sigmoid, tanh, ReLU, LeakyReLU (Hình 3.3)
Hình 2.7: Một số hàm kích hoạt được sử dụng trong perceptron 3 Sau đó, perceptron thực hiện phép so sánh giá trị nhận được từ hàm kích
hoạt 𝑓(𝑎) với một giá trị ngưỡng (threshold) là t cho trước nhằm xác định giá trị đầu ra 𝑦̂ được hiểu là tín hiệu kích hoạt của perceptron
Giả sử tín hiệu kích hoạt là 1 và tín hiệu khơng kích hoạt là 0, ta có:
Trang 2716
𝑦 = [1 𝑖𝑓 𝑓(𝑎)≥𝑡0 𝑖𝑓 𝑓(𝑎)<𝑡 (2.9)
Hình 2.8: Cấu trúc mơ hình Artificial Neural Network
Bằng cách kết hợp nhiều percentron với nhau sẽ tạo nên cấu trúc mơ hình ANN như Hình 3.4 và các perceptron được phân thành từng lớp có nhiệm vụ đặc thù riêng:
- Tầng dữ kiện (input layer) là tầng đầu tiên, thể hiện các dữ liệu đầu vào
của mơ hình
- Tầng ẩn (hidden layer) là tầng nằm giữa gồm các phép tính tốn chuyển
đổi dữ liệu đầu vào sang dữ liệu đầu ra Số lượng tầng ẩn trong mơ hình là không giới hạn mà phụ thuộc vào cách giải quyết bài toán
- Tầng kết quả (output layer) là tầng cuối cùng thể hiện dữ liệu đầu ra của
mơ hình Số lượng tầng ẩn trong mơ hình ANN là khơng giới hạn và được xác định tùy thuộc vào bài toán cần giải quyết Đặc biệt, khi số lượng tầng ẩn lớn hơn 1 thì mơ hình ANN được gọi là mơ hình học sâu
Trang 2817
2.5 Mơ hình ghi nhớ dài-ngắn hạn
Trang 2918
Hình 2.9: Cơ chế hoạt động trong mơ hình Long Short-Term Memory
Mỗi đơn vị LSTM bao gồm cell và các cổng xử lý như sau: cổng quên (forget gate), cổng cập nhật (update gate), cổng xuất (output gate) Cell ghi nhớ các giá trị trong một khoảng thời gian và ba cổng có nhiệm vụ điều chỉnh dịng dữ liệu Cơ chế hoạt động của mơ hình LSTM được mô tả theo từng bước như sau:
1 Cổng quên (forget gate) là phần quyết định sẽ giữ lại bao nhiêu phần
của vector cell state trước 𝑐𝑡−1 với việc thực hiện phép tính tốn đối với vector hidden state trước ℎ𝑡−1 và vector biểu diễn thành phần dữ liệu thứ 𝑡, sau đó đưa kết quả qua hàm sigmoid:
𝑓𝑡 = 𝜎(𝑊𝑓 [ℎ𝑡 − 1, 𝑥𝑡 ] + 𝑏𝑓 ) (2.10) x + 𝜎 x 𝜎 𝜎 x 𝑐𝑡−1ℎ𝑡−1𝑐𝑡ℎ𝑡ℎ𝑡𝑥𝑡𝑓𝑡 𝑢𝑡𝑜𝑡𝐶̃𝑡Cổng quên
(forget gate) Cổng xuất
(output gate) Cổng cập nhật
(update gate)
𝑡𝑎𝑛ℎ
Trang 3019
2 Cổng cập nhật (update gate) là phần quyết định sẽ giữ lại bao nhiêu
phần từ vector hidden state trước ℎ𝑡−1 và vector dữ liệu xt với phép tính sau: 𝑢𝑡 = 𝜎(𝑊𝑢 [ℎ𝑡 − 1, 𝑥𝑡 ] + 𝑏𝑢 ) (2.11)
3 Cổng xuất (output gate) là phần quyết định lấy bao nhiêu phần giá trị
Trang 3120
Chương 3
CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
Hình 3.1: Sơ đồ taxonomy của các cơng trình nghiên cứu liên quan
Trong luận văn này, tác giả sẽ tập trung nghiên cứu các mơ hình dựa trên
dữ liệu chuỗi thời gian đa biến Trước đây, học máy (machine learning) đã có
sự nỗ lực rất lớn để trích xuất những đặc trưng của dữ liệu, tuy nhiên không
thực sự hiệu quả Học sâu (Goodfellow, Bengio, & Courville, 2016) cung cấp
phương pháp trích xuất đặc trưng hiệu quả hơn thông qua nhiều lớp học phi
tuyến Trong thực tế, dữ liệu được biểu diễn khá phức tạp như chuỗi thời gian và đồ thị, nên tác giả đã tìm hiểu phương pháp để tạo ra kiến trúc xử lý những
Dự đốn chất lượng khơng khí
Các phương pháp điển hình Hồi quy dịch chuyển
trung bình (ARIMA) Mạng nơ-ron tích chập (CNN) Mạng ghi nhớ dài-ngắn hạn (LSTM) Học sâu trên đồ thị Lý thuyết đồ thị Lý thuyết phổ đồ thị Mạng nơ-ron tích chập đồ thị (GNN) Mạng nơ-ron tích chập đồ thị với bộ lọc quang phổ nhanh-cục bộ Mạng nơ-ron tích chập đồ
Trang 3221
tác vụ đặc biệt đó như: Học sâu trên đồ thị (Kipf & Welling, 2017) và mạng nơ-ron tích chập
3.1 Hồi quy dịch chuyển trung bình
Hồi quy dịch chuyển trung bình (Autoregressive Intergrated Moving
Average) là mơ hình được xây dựng dựa trên lý thuyết chuỗi dừng và phương sai có sai số khơng đổi, thường được gọi là mơ hình ARIMA, đây là mơ hình thuộc nhóm phương pháp thống kê Hồi quy dịch chuyển trung bình có bản chất là một mơ hình hồi quy tuyến tính, sử dụng đầu vào chính là những thơng tin trong q khứ của chuỗi thời gian để dự báo, các thơng tin đó bao gồm: chuỗi tự hồi quy và chuỗi trung bình trượt Mơ hình hồi quy dịch chuyển địi hỏi các điều kiện về chuỗi dừng, nhiễu trắng, hầu hết các chuỗi thời gian sẽ có xu hướng tăng hoặc giảm theo thời gian (Hyndman & Athanasopoulos, 2015)
3.2 Mạng ghi nhớ dài-ngắn hạn
Trong bài báo “Time Series Forecasting Using LSTM Networks: A
Symbolic Approach 2020 Machine Learning (cs.LG).”, Steven Elsworth và
Trang 3322
3.3 Mạng nơ-ron tích chập
Trong nghiên cứu về học sâu (Goodfellow & Bengio, 2016) mạng nơ-ron tích chập là tập hợp nhiều lớp perceptron thực hiện nhiệm vụ xử lý dữ liệu cấu trúc nhiều chiều CNN sử dụng nhiều lớp tích chập chồng lên nhau thay vì nhân
các ma trận cùng lúc CNNs được sử dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (Natural Language Processing) và thị giác máy tính (Computer Vision) Để tính tốn đầu ra của mơ hình, các lớp tích chập sẽ kết hợp sử dụng bộ lọc (filters) và các hàm kích hoạt (activation functions) Phép tính tích chập được
định nghĩa như sau:
𝑦𝑖𝑙+1(𝑗) = 𝑘𝑖𝑙 ∗ 𝑀𝑙(𝑗) + 𝑏𝑖𝑙 (3.1)
Trong đó 𝑦𝑖𝑙+1(𝑗) biểu thị đầu vào của nơ-ron thứ 𝑗 trong bản đồ đặc trưng 𝑖 thuộc lớp 𝑙 + 1, 𝑘𝑖𝑙 là bộ trọng số, là vùng cục bộ thuộc lớp 𝑙 và 𝑏𝑖𝑙 thông số điều chỉnh (bias) Một hàm kích hoạt sẽ được áp dụng sau mỗi lớp tích chập nhằm trích xuất những đặc trưng phi tuyến Ví dụ một hàm kích hoạt thường
được sử dụng là hàm ReLU (Rectified Linear Unit):
𝑅𝑒𝐿𝑈(𝑥) = max (0, 𝑥) (3.2)
Trong đó, x là đầu ra của lớp tích chập
3.4 Học sâu trên đồ thị
Trang 3423
Mơ hình học sâu trên đồ thị chủ yếu áp dụng trong phân tích, dự báo dữ liệu dạng chuỗi thời gian, phương pháp sử dụng mạng Graph Neural Network Những cách tiếp cận hiện nay là tập trung điều chỉnh các kiến trúc mạng nơ-ron hiện có để sử dụng cho các bài toán liên quan đến đồ thị (Deng & Hooi, 2021) Ví dụ: Để tạo ra mơ hình sử dụng GNNs, người ta thực hiện lặp đi lặp lại các lớp đồ thị nơ-ron tích chập
3.5 Mạng khuếch tán tích chập
Mạng khuếch tán tích chập (Diffusion-Convolutional Networks) được giới
thiệu là một mơ hình rất linh hoạt và tổng quát đối với hầu hết các loại cấu trúc dữ liệu nhằm tăng hiệu quả trong dự đoán và tránh được sự gia tăng phức tạp của mơ hình huấn luyện Để đạt được điều đó, Convolutional Nerual Network (CNNs) được mở rộng thành cấu trúc dữ liệu dạng đồ thị tổng quát Minh chứng
cho điều này, thay vì duyệt qua tồn bộ tham số trên dữ liệu đầu vào dạng lưới
(grid-structure) trong mơ hình CNN dạng chuẩn, mạng khuếch tán tích chập thực hiện duyệt qua mỗi đỉnh trên dữ liệu đầu vào có cấu trúc đồ thị Ý tưởng của mơ hình này là biểu diễn dạng đóng gói tập các đồ thị dưới dạng một tập các ma trận đa cấp giúp tăng hiệu quả dự đốn, có thể triển khai tính tốn hiệu quả trên GPU (Atwood & Towsley, 2016)
3.6 Mạng nơ-ron tích chập đồ thị khơng gian-thời gian
Mạng nơ-ron tích chập đồ thị không gian-thời gian (Khodayar & Wang, 2018) được phát triển để khai thác cấu trúc dữ liệu dạng đồ thị có đặc trưng thay
đổi theo thời gian, trong phân tích chuỗi thời gian (time series analysis), toán
Trang 3524
đặc biệt hơn như là xử lý dữ liệu có tính chất phức tạp được đề xuất giải quyết bởi mơ hình học sâu Graph Neural Network (GNN) Cách tiếp cận bằng mơ
hình GNN đem lại thành cơng to lớn trong ứng dụng trích xuất đặc trưng không gian (Spatio) và thời gian (Temporal) Trong khi các mơ hình RNN và LSTM hoạt động tốt với cấu trúc dữ liệu dạng lưới (grids) và phân đoạn (segments) thì
GNN tận dụng tối đa thơng số về khơng gian giúp tăng hiệu quả của mơ hình
3.7 Mạng quang phổ và mạng liên kết cục bộ
Trong bài báo “Spectral Networks and Locally Connected Networks on
Graphs 2014 International Conference on Learning Representations (ICLR2014).”, Yann LeCun và các đồng nghiệp đã đề xuất hai cơng trình nghiên cứu: phân cụm phân cấp (hierarchical clustering) và phổ của đồ thị
Laplacian để thực hiện tích chập đối với đồ thị có số chiều thấp Kết quả nghiên cứu chỉ ra rằng, đối với đồ thị có số chiều thấp, có thể học các lớp tích chập với bộ tham số độc lập khác với kích thước đầu vào, điều này đã giúp mơ hình học sâu phát huy hiệu quả Ví dụ: đầu vào có 𝑛 tọa độ (coordinates) và 𝑑 chiều,
thông qua lớp liên kết đầy đủ (fully connected) với m đầu ra thì yêu cầu phải có
𝑛 × 𝑚 tham số, độ phức tạp sẽ là 𝑂(𝑛2) Ý tưởng là sẽ sử dụng các bộ lọc thay cho các lớp liên kết đầy đủ để giảm độ phức tạp đến 𝑂(𝑛), bằng cách xây dựng
một mạng kết nối nội bộ (locally connected) sử dụng hai tham số biểu diễn độ
phức tạp như 𝑂(𝑘 𝑆), trong đó 𝑘 là số lượng đặc trưng và 𝑆 là số bộ lọc cần thiết
3.8 Mạng nơ-ron tích chập đồ thị với bộ lọc quang phổ nhanh-cục bộ
Trang 3625
Trang 3726
Chương 4
MƠ HÌNH ĐỀ XUẤT
Bài tốn dự đốn chất lượng khơng khí nói riêng và bài tốn dự đốn dữ liệu chuỗi thời gian nói chung đều phụ thuộc phần nào vào nguồn dữ liệu chuỗi thời gian, ta có thể thấy rằng dữ liệu chuỗi thời gian mang những đặc trưng riêng của dữ liệu, đồng thời gắn chặt với các mối liên kết của thiết bị Hơn nữa, hệ thống cảm biến có thể xây dựng nên một mạng liên kết các cảm biến với nhau, trong đó mỗi đặc trưng dữ liệu của một cảm biến đều có sự tương đồng với các cảm biến khác trong mạng cùng thời điểm Bên cạnh đó, đối với dữ liệu chuỗi thời gian mặc dù mỗi lĩnh vực khác nhau đều có những đặc tính tương đồng, khai mở triệt để các khía cạnh của dữ liệu và hệ thống thiết bị cảm biến cho phép cải thiện độ chính xác cho mơ hình Học viên đã tham khảo nhiều mơ hình dành cho bài toán dự đoán dự liệu chuỗi thời gian đồng thời cũng đề xuất phương pháp có thể cải tiến độ chính xác của mơ hình
4.1 Mơ hình tham khảo 4.1.1 Mơ hình 1: GNN
Học viên tham khảo mơ hình huấn luyện được trình bày trong bài báo “Multivariate Time Series Regression with Graph Neural Networks” cơng bố vào năm 2022 của nhóm tác giả Stefan Bloemheuvel, Jurgen van den Hoogen, Dario Jozinovi´c, Alberto Michelini và Martin Atzmueller
Trang 3827
Hình 4.1: Mơ hình tham khảo
Để trích xuất đặc trưng của đỉnh, mơ hình áp dụng 1D CNN tại mỗi đỉnh Nhiều lớp GNN thực thi xử lý tác vụ tính tốn liên quan đến vector đặc trưng
Đầu vào 1D CNN (Stride=2)
1D CNN (Stride=2)
Flatten Tọa độ cảm biến
Trang 3928
Ý tưởng là áp dụng CNN dành cho các vector đặc trưng của mỗi đỉnh Cuối cùng, đầu ra của GCN được flatten để giữ lại những đặc trưng cần thiết thơng qua một số hàm kích hoạt phổ biến như tính 𝑅𝑒𝐿𝑈, 𝑇𝑎𝑛ℎ
Theo như hình 4.1, mơ hình chia ra thành 4 bước chính:
1 Bước này áp dụng hai lớp 1D CNN dùng để xử lý trích xuất đặc trưng thơng qua kích thước cửa sổ, bước nhảy nhỏ và số lượng bộ lọc lớn, đồng thời áp dụng hàm kích hoạt ReLU Lớp 1D CNN rất phù hợp cho dữ liệu chuỗi thời gian bởi tính tốn ít tốn chi phí và hiệu quả Vai trò của lớp các CNN là học các đặc trưng của dữ liệu có tính thời gian tại mỗi đỉnh
2 Đây là bước chuẩn bị dữ liệu cho các lớp mạng đồ thị tiếp theo, sau khi kết thúc trích xuất đặc trưng dữ liệu dử dụng các lớp nơ-ron tích chập, mơ hình sẽ kết hợp vào dữ liệu đầu ra của lớp CNN được thêm vào các đặc trưng là tọa độ của đỉnh (vĩ độ, kinh độ), tại đây mơ hình sẽ chuẩn bị thông tin về mạng các cảm biến cho các lớp kế tiếp
Trang 4029
4.1.2 Mơ hình 2: CNN kết hợp LSTM
Học viên đã khảo sát mơ hình nghiên cứu kết hợp CNN và LSTM trong cơng trình nghiên cứu “A CNN-LSTM based Hybrid Deep Learning Approach to detect Sentiment Polarities On Monkeypox Tweets” của nhóm tác giả Krishna Kumar Mohbey, Gaurav Meena, Sunil Kumar, K Lokesh 2022 Kết quả của mơ hình CNN-LSTM xây dựng được so sánh với kết quả của nhiều mơ hình khác như CNN, LSTM, SVM, Random forest, Decision tree Kết quả chỉ ra rằng mơ hình kết hợp CNN-LSTM mang lại kết quả có chất lượng khá cao, cấu trúc của mơ hình được mơ tả trong hình 4.4
Hình 4.2: Mơ hình kết hợp CNN-LSTM Mơ hình thực hiện bao gồm các bước như sau:
1 Dữ liệu đầu vào mơ hình là một chuỗi dữ liệu được trích xuất thơng qua lớp 1D CNN
2 Mơ hình tiếp tục trích xuất, nắm bắt sự phụ thuộc dài hạn của dữ liệu thông qua các lớp LSTM
3 Cuối cùng là lớp liên kết đầy đủ và đầu ra của mô hình
4.1.3 Mơ hình 3: CNN
Cơng trình nghiên cứu về dự đoán chuỗi thời gian sử dụng mạng nơ-ron tích chập (Jozinovi´c, D., Lomax, A., Stajduhar, I., Michelini 2020) đã đề xuất mơ hình dự đốn áp dụng các lớp tích chập 1D CNN, để giải quyết bài tốn dự đoán
Đầu vào 1D CNN LSTM LSTM Dense
(stride=1)
Dropout (0.4)