Khóa luận tốt nghiệp Hệ thống thông tin: Xây dựng mô hình dự báo số lượng ca nhiễm bệnh nhiệt đới dựa trên mạng liên kết giữa các tỉnh thành Việt Nam

Với sự phát triển của công nghệ thông tin, cũng như những vấn đề còn tồnđọng trong các nghiên cứu về khai thác và xử lý dữ liệu dịch bệnh mà sinh viênkhảo sát được, tiến hành áp dụng các

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THONG TIN

KHOA HỆ THÓNG THÔNG TIN

PHẠM KHÔI NGUYÊN- 20521680

KHÓA LUẬN TÓT NGHIỆP XÂY DUNG MÔ HÌNH DU BAO SO LƯỢNG

CA NHIEM BỆNH NHIỆT DOI DỰA TREN

MẠNG LIEN KET GIỮA CAC TINH THÀNH VIỆT NAM

CONSTRUCT THE PREDICTION MODEL FOR NEGLECTED

TROPICAL DISEASE INCIDENCE BASED ON

INTERCONNECTIONS AMONG PROVINCES IN VIETNAM

CU NHAN NGANH HE THONG THONG TIN

GIANG VIEN HUONG DAN

ThS DO DUY THANH

TP HO CHÍ MINH, 2024

LỜI CẢM ƠN

Lời đầu tiên em xin chân thành cảm ơn Thầy ThS Đỗ Duy Thanh Trong quá trình hoàn thành khóa luận tốt nghiệp, em đã nhận được rất nhiều sự quan tâm và chỉ dạy

tận tâm và vô cùng nhiệt huyết của quý Thầy Thầy đã thăng thắn chỉ rõ ra những

lỗi sai, những điểm yếu mà bản thân em cần cải thiện không chỉ cho mỗi nội dung khóa luận tốt nghiệp mà còn tiến xa hơn trên con đường nghiên cứu khoa học sắp tới Được học tập và làm việc cùng Thầy giúp em không chỉ cải thiện và củng cố hơn kiến thức nền tảng trong lĩnh vực chuyên môn, mà còn giúp em có tính kỷ luật hơn trong nghiên cứu, cải thiện được kỹ năng quản lý thời gian cũng như nâng cao

khả năng trình bày, báo cáo kết quả giúp kết quả nghiên cứu cải thiện hơn.

Em vô cùng cảm ơn các anh chị và các bạn đã tham gia nhóm nghiên cứu của thầy Thanh, đã cho em cơ hội được tham gia, học tập và đồng hành cùng nhóm trong

suốt khoảng thời gian em thực hiện khóa luận Sự tận tình của các anh chị, các bạn,

những buổi thảo luận kinh nghiệm, cũng như lý thuyết chuyên môn, giúp bản thân

em được cập nhật rất nhiều tri thức mới, củng cố kiến thức cũ, thay đôi quan điểm

còn nhiều thiếu sót khi chỉ tự học tập và nghiên cứu mà không tham gia những buổi chia sẽ bé ích như nhóm thường tô chức.

Để có đủ tự tin bắt đầu thực hiện đề tài, em chân thành cảm ơn quý Thầy Cô khoa

Hệ thống Thông tin — Trường đại hoc Công nghệ Thông tin đã tận tâm truyền đạt

cho em kiến thức cơ sở cũng như kiến thức chuyên ngành, giúp em có đủ cơ sở dé

có thể hoàn thành khóa luận tốt nghiệp cho đến thời điểm hiện tại.

Lời sau cùng, em rất cảm ơn quý Thầy Cô phản biện đã xem qua khóa luận tốt nghiệp của em và chỉ ra các điểm còn thiếu sót, cần cải thiện trong đề tài Từ cơ sở

đó em có thể hoàn thiện lại đề tại cũng như phát triển hơn trong hướng nghiên cứu tương lai.

TP Hồ Chí Minh, ngày tháng năm 2024

Sinh viên thực hiện Phạm Khôi Nguyên

CHƯƠNG 2 CƠ SỞ LÝ THUYÊTT -22cccc:2222Svvvvvrrrrrrrrrrrrrrrrree 8

2.1 Nghiên cứu liên quan - - c5 1S HH HH net 8

PIN N9 mghién Ctr 0i vn 8

2.1.2 Lý thuyết về dữ liệu phân Cap oo eecceccccseeseesseeseessesseessessesstessesstesesseesseesees 9

CHƯƠNG3 AA Ẽ À 11

2.2 Kỹ thuật dự báo - - Sc 2S HT HH HH HH HH rệt 11 2.3 Các thuật toán học sâu - - (2 22 1211121121151 18111 1111111 E1 ky 11

2.3.1 Neural N€tWOTKS - ok 112v HH ng nh ghế 11 2.3.2 Convolution Neural Network (CNN) - 5c c S55 SScccsscseeeree 16 2.3.3 Recurrent Neural Network (RN) - cĂSSSSS Si sseeree 18

2.3.4 Long Short-Term Memory (LSTM) - «55 «+ sesseseeeske 23 2.3.5 Temporal Graph Convolutional Network (T-GCN) 25

2.3.6 H-GCN - HIERARCHICAL GRAPH CONVOLUTIONAL

NETWORKS 0115 —— d 27

2.3.7 TFT - Temporal Fusion 'TranSfOTITN€T s5 + + ££++e+seeeeeeeseees 29

2.3.9 N-BEATS - Kiến Trúc Học Sâu Tiên Tiến Cho Dự Báo Chuỗi Thời

3.1 Xử lý dữ liệu thiếu -5£©SSE2E2E2E 2121212121 52

3.2 Xử lý chuỗi dừng 2: 2-52 Sc 2122x221 2122121121111 1e re 53

3.3 Chuẩn hoá dữ liệu - ¿2© £©S+E2E 2 2212121121121 1c cty 53

3.4 Chia dữ liệu -Q- HH HH HH HH HH ngàng ng 54

3.5 Xây dựng bộ dữ liệu phân cấp cesceseseeseeseseesseseeseeseesees 56

3.5.1 Xác định các vùng và tính toán giá trị thời tiết, tỉ lệ ca nhiễm 563.5.2 Xây dựng mô hình dự báo cho dif liệu phân cấp - 56

CHUONG 4 THỰC NGHIỆM VÀ DANH GIA - 22-555: 59

4.1 DO do Gab gia nh 60

4.1.1 Mean Absolute Error (MAE) ccccccccsssccceesssseeeeesssseceeeessseeeeeessaees 60

4.1.2 Root Mean Squared Error (RMSE) c:cccsccssscesseceseeeseeeeeeeseeeeeees 61 4.1.3 Mean Absolute Percentage Error (MAPE) - 7-5 << s<<xs+sss 61

4.2 Kết quả thực nghiệm theo độ đo -2¿ 2 2 + £+E££E+EczEezrerreee 614.3 Phân tích kết Qua ccccccccccccccccsccscessessessessessessessessessessessessessessessessessessessess 64

4.3.1 Biểu đồ Boxplot so sánh độ chính xác của tat cả các phương pháp 644.3.2 Biểu đồ Boxplot Rank của tat cả các phương pháp - 66CHUONG 5 KET LUẬN -2-©2222+c2EEcEEEeEEEerkkrrkrerrree 74

5.1 Tổng Ket cccesssesssssssesssessecessesssessssssssssesssecssecssecssecssecssecsseesseesvess 74

5.2 Kết quả dat được - cu 755.3 Hướng phát triễn -©£+ESES2EEEEE2E211211211211211 21211 c1, 76

MỤC LỤC HÌNH ÁNH

Hình 1 Phát biểu bài toán với Dau vào (Input), Các bước xử lý, Dau ra (Output)của hai hướng tiếp cận A,D VÀ € -c¿-5¿©5e+E SE +ESEEEEEEEEEEEE212121121121212111e xe 5

Hình 2 Minh họa một mô hình mạng nơ ron [10] - - «<<«<+<s<<<x+<exsex+s 13

Hình 3 Minh họa mô hình nơ ron với các giả tri trọng số, bias và đặc trưng dau

VAO Aw Aira VAO MANY [LO] cssccescccesccerecesecesseessecesecesecesecsseeeeeceeceseeeeeeeseeeseeees 14

Hình 4 Minh hoa mô hình nơ ron được tinh toán hai don vị xử lý trong lóp an

AGU tiên J 1 ÚJ 5-5-5 SE‡Ek‡EEEEEEEEEEEEEEEEEEEEEEEEEETEETEEETET1E11111 1111111111111 1xree 15

Hình 5 Minh hoa mô hình nơ ron với các giá tri được tính toán hoàn chỉnh [10]

¬ AT 15 Hình 6 Minh họa một mô hình mạng nơ ron tích chập [ Ï T] « 17

Hình 7 Minh hoa một mô hình mang nơ ron hồi quy don giản [12] - 19Hình 8 Minh họa mô hình than kinh hôi quy với các giá trị trọng số, bias và đặctrưng dau vào được đưa vào mạng [12] -+ +©++ce++s+xe+xe+ke+tezterxerreee 20Hình 9 Minh họa mạng thân kinh hồi quy với hai giá trị ht tính toán được tronglớp Gn hồi quy (SimpleRNN)[12] vceccsscsscssessessessessesssssessessessessessesssssessssessessesseesees 22Hình 10 Minh họa mạng than kinh hồi quy với giá trị được tính toán hoàn

2/117180027PP0Ẽ7Ẽ01n85Ẻh 22

Hình 11 Minh họa kiến trúc LSTM [14] ccscccscccccsscsescscscesescsvevevesesescsvsvsesesesvaveveveee 23Hình 12 Luông xử lý dữ liệu [16] - :©-2:©+£©++©E++EE++EE++EE++EE++rxezrxesrxesrea 26

Hình 13 Quy trình xử lý trong T-GCN [ IỐÏÌL -s-cĂS S5 sSssseseesseeerse 26

Hình 14 Sơ đô luông làm việc của H-GCN -:©5:©2+©c++cc+vcxsscsesrscees 28

Hình 15 Dạng dự báo q Pham Vi - -c cv EEEkeekssekeeeeseeeereerrere 30

Hình 16 Kiến trúc mô hình TFT [29] -. -ccc++5cc+et+ecvvererrxverrrrreerrrrrved 31Hinh 17 Mé hoa cấu trúc GRN 2mm 32Hình 18 Minh họa quá trình họat động mang lựa chọn tham số [28] 33

Hình 19 Minh họa m6 hình TF T - - - « «=9 8888 E E355 1 ve 35

Hình 20 Minh họa cot lõi của N-BEATTS cccc+c5ccccccrkerrrrrtirrrrrrrrrrrk 3óHình 21 Cấu trúc của N-HITS ceccccscscscscscssssvscsesessscsvsvevesesesvsvsvsnesessavavsvessessseaveves 38

Hình 22 Minh họa ảnh hưởng của kích thước kernel ở lớp MaxPool 39

Hình 23 Mô tả ngăn xếp của N-BEATS và N-HiTẨS 2©s+c+es+ee+xs+xeee 4]Hình 24 Ngăn xếp của N-BEATS và N-HiTS Anh hưởng của MaxPool 43Hình 25 Nội suy phân cấp trong N-HiTS c.cccccsscsscssessessesseeseesesseesseseesessseseeseesesees 44Hình 26 Mô tả dữ liệu chuỗi đa biỄn -ccccccc5ccceeccEveerrrrrrreerrrrrre 45Hình 27 Mô tả cấu trúc lớp TSA ceseccessessessessessessessessessessessessessessessessessessesseeseesssees 46Hình 28 Cau trúc dữ liệu chuỗi thời gian da biến trên PatchTST [27] 50Hình 29 Cau trúc của PatchTST -. cccccxxtceEcttirtrkttrrttrtrrrrrrtrrrrtrrrrrrrk 50Hình 30 Luông xử lý diữ VG oeeceeceesesseesessessesseesessessesssseessesessssssessessessseesseseeseess 52

Hình 31 Minh hoa các mẫu dữ liệu được chia theo bước thời gian được xác định

¬— 55

Hình 32 Mô tả cấu trúc bảng dit liệu KAW VUC - 555cc k+seExeeeeeseeseexs 56

Hình 33 Mô tả cách dự báo của mô hình - «5 << s3 + +2 ‡++seeveeee+esees 57

Hình 34 Minh họa quy trình thực nghiệm mô hình đƠI «<< «++s+++ ó0

Hình 35 Biểu đô so sánh độ chính xác (RMSE) của các thuật toán và phương

PNG A 8 " ŨỒỒ SN l7 sếể VÌ NHEmẽ 62

Hình 36 Biểu đô xếp hạng dựa trên RMSE cho tat cả các thuật toán và phương

,.7/0 1 2000010Ẻ9Ẻ98Ẻ8588 ố 63

Hình 37 Biểu đô so sánh độ do sai số tuyệt đối trung bình (MAE) cho tat cả các

thuật todn và phương pháp dự ĐẢO cà kg ngu 63

Hình 38 Biểu do xếp hạng dựa trên độ do sai số tuyệt đối trung bình (MAE) cho

tắt cả các thuật toán và phương pháp dự Đáo .:5:©2s+©cs©5++csescssscssee: 64

Hình 39 Biểu dé so sánh chỉ tiết giữa PathTST_hierarchy và DWE 67

Hình 40 Biểu đô so sánh quan sát thực tế và dự đoán 4 mô hình của Bà Rịa —

71-70; 5Ẽ0P057AA.- 70

Hình 41 Biểu đồ so sánh quan sát thực tế và dự đoán 4 mô hình của Đà Nẵng 70Hình 42 Biểu đô so sánh quan sát thực tế và dự đoán 4 mô hình của Điện Biên 71Hình 43 Biéu do so sánh quan sát thực tế và dự đoán 4 mô hình của Hải Dương

Hình 44 Biểu đồ so sánh quan sát thực tế và dự đoán 4 mô hình của Kom Tum 72Hình 45 Biểu đồ so sánh quan sát thực tế và dự đoán 4 mô hình của Thái Bình 72

DANH MỤC TU VIET TAT

STT | Thuật ngữ Mô tả

1 NTDs Neglected Tropical Diseases — Bệnh nhiệt đới lãng quên

2 CNTT Công nghệ thông tin

TOM TAT KHÓA LUẬN

Việt Nam là quốc gia bi ảnh hưởng nặng nè bởi biến đổi khí hậu và có nguy cơcao chịu sự ảnh hưởng của SỐ lượng ca nhiễm tăng hàng loạt các loại bệnh nhiệtđới bị lãng quên, như: Sốt Xuất Huyết, Tiêu Chảy, Cảm cúm, Bệnh dại, Nhữngloại bệnh này có thé dé dàng điều trị với sự phát triển của y học hiện nay, tuy

nhiên, việc chủ quan trong khâu nhận biết sớm và điều trị là rất nguy hiểm và có

thé dẫn đến tử vong ngay cả trong điều kiện y học phát triển mạnh mẽ như hiệnnay Với sự phát triển của công nghệ thông tin, cũng như những vấn đề còn tồnđọng trong các nghiên cứu về khai thác và xử lý dữ liệu dịch bệnh mà sinh viênkhảo sát được, tiến hành áp dụng các mô hình học sâu trên miền đữ liệu chuỗi

thời gian cho nhiệm vụ dự báo tỉ lệ ca nhiễm cho các khu vực tỉnh thành Thực

nghiệm được triển khai trên các mô hình học sâu với mục tiêu so sánh hiệu quảcủa các mô hình Kết quả sau cùng, với sự hạn chế của đữ liệu, dự báo bằngnhững mô hình học cho ra kết quả khả quan hơn ngay cả miền dữ liệu có tính bất

ồn cao như dịch bệnh Tiêu Chay (PatchTST) Trong khi đó, chịu những hạn chếchung về số lượng dt liệu được huấn luyện, nhưng nếu đữ liệu có tính mùa vụmạnh mẽ như dịch bệnh Sốt Xuất Huyết, các mô hình học sâu sẽ có khả năng đưa

ra các dự báo ca nhiễm có tính chính xác cao Tuy nhiên, nhược điểm về thiếu

thốn đữ liệu khiến các mô hình học sâu chưa thê khai thác tối đa sức mạnh, đưa

ra được cau trúc tối ưu nhất cho dit liệu, vì thế với những cô gang làm giàu ditliệu bằng cách xây dựng các bộ dữ liệu phân cấp (Tỉnh thành/Khu vực/Cả nước)

thì các mô hình học sâu có khả năng học và đưa ra những dự báo ở các khu vực tỉnh thành chính xác hơn so với khi sử dụng bộ dt liệu từng tỉnh thành đơn lẻ.

Hướng cải thiện và phát triển trong tương lai cũng đã được đề cập trong các phần

sau của khóa luận.

Báo cáo gôm 5 chương với các nội dung như sau:

Chương 1: Tổng quan đề tài Giới thiệu về nội dung đề tài bao gồmđộng lực nghiên cứu, phát biểu bài toán, thách thức, mục tiêu, phạm vi —đối tượng nghiên cứu, và những đóng góp chính trong nghiên cứu

Chương 2: Cơ sở lý thuyết Trình bày tổng quan về các lý thuyết cơ sởtrong dịch bệnh với bệnh nhiệt đới bi lãng quên Trình bày các khảo sat vềhướng tiếp cận dự báo tỉ lệ ca nhiễm dịch bệnh trong khu vực từ các công

trình đi trước Đồng thời, trình bày về các khái niệm về dự báo sử dụng

mang học sâu va các thuật toán hoc sâu tiên tiếnChương 3: Xử lý dữ liệu Trình bày quy trình tiền xử lý dữ liệu với các

phương pháp xử lý dữ liệu cơ bản và xử lý dữ liệu chuỗi thời gian.

Phương pháp xây dựng bộ dữ liệu có hệ thống thứ bậc

Chương 4: Thực nghiệm và đánh giá Trình bày quy trình xử lý dữ liệu

và thực nghiệm Trình bày các thông số chỉ tiết cho quá trình thực nghiệm.Trình bày các phương pháp đánh giá Báo cáo kết quả thực nghiệm vàphân tích kết quả

Chương 5: Kết luận: Trình bày và đưa ra nhận xét và so sánh về kết quảmang lại Trình bày về những hướng cải tiễn hơn trong tương lai

CHUONG 1 TONG QUAN ĐÈ TÀI

1.1 Động lực nghiên cứu

Việt Nam là quốc gia năm hoàn toàn trong vành đai khí hậu nhiệt đới Mà đây lại

là vùng có nguy cơ cao chịu sự lây lan của hàng loạt các loại bệnh lý liên quan

đến khí hậu và điều kiện sống, có thé kể đến như: Sốt Xuất Huyết, Tiêu Chay,

Cảm cúm, v.v Những loại bệnh nêu trên được WHO chính thức đưa vào danh sách cảnh báo “Các loại bệnh nhiệt đới bị lãng quên” - NTDs (Neglected

Tropical Diseases)[1] Sở di quy về cùng một nhóm bệnh nhiệt đới bị lãng quên

là vì những loại bệnh này có thể dễ dàng điều trị với sự phát triển của y học hiện

đại Tuy nhiên, xét về nguy co nhiễm bệnh, việc chủ quan trong khâu nhận biết

sớm và điều trị là rất nguy hiểm và có thé dẫn đến tử vong ngay cả trong điềukiện y học phát triển mạnh mẽ như hiện nay

Đặc biệt, trong thời budi biến đôi khí hậu toàn cầu, các hiện tượng thời tiết cựcđoan ngày càng khó đoán, mà Việt Nam là một trong các quốc gia bị ảnh hưởngnặng nề nhất bởi biến đổi khí hậu [2] thì nguy cơ tiềm ân cho sự bùng phát củaloại bệnh nhiệt đới này càng dễ phát sinh hơn và có thể phát sinh tại bất kỳ thờiđiểm nào Do đó nhu cầu về phát triển một hệ thống có khả năng dự báo và phát

hiện nguy cơ bùng phát các căn bệnh nhiệt đới này, hiện nay, là rất cấp thiệt tại

Việt Nam.

Với sự phát triển mạnh mẽ của CNTT, các thuật toán máy học đã và đang chứng

minh được sức mạnh rất lớn của chúng qua nhiều lĩnh vực như kinh tế, giáo dục

và cả y tế Nhiều công trình nghiên cứu trong nước đã được công bồ trên nhữngmặt báo khoa học lớn quốc tế [5]-[6], tuy nhiên các nghiên cứu đang tập trungvào dự báo trên từng tỉnh đơn lẻ Điều này là một sự thiếu sót vì đã có nhữngnghiên cứu ở nước ngoài cho thấy các bệnh nhiệt đới, được đề cập đến ở đây là

bệnh tiêu chảy có khả năng lây lan trong không khí và từ người sang người [9].

[7]-Chính vi vấn dé này đã trở thành động lực thúc day em thực hiện đề tài “Xâydựng mô hình dự báo số lượng ca nhiễm bệnh nhiệt đới dựa trên mạng liên kết

giữa các tỉnh thành Việt Nam” Mục tiêu của đề tài là khắc phục những thiếu sót

về mối liên kết địa lý giữa các tỉnh thành cũng như sự tương đồng về thời tiết

giữa các tỉnh trong cùng khu vực.

1.2 Phat biêu bài toán

Đâu vào: Dữ liệu về các đặc trưng khí hậu Việt Nam bao gôm các yêu tô vê độ

âm, lượng bôc hơi, lượng mưa, nhiệt độ, sô giờ năng và tỉ lệ ca mắc bệnh nhiệt

đới trên từng địa phương và khu vực của Việt Nam.

Xử lý: Nhiệm vụ được thực hiện được chia làm ba hướng tiếp cận:

+ Xây dựng mô hình học sâu dự báo ca nhiễm trên từng tỉnh đơn lẽ Từ giá tri

ca nhiễm được dự báo, ta dùng kết qua đó dé làm nền tảng so sánh với

những phương pháp khác trong nghiên cứu này.

+ Xây dựng bộ dữ liệu có tính phân cấp (hierarchy) cho từng khu vực trong

đó bao gồm các tinh nằm trong khu vực đó, nhằm mục đích làm giàu ditliệu, có thé khai thác tối đa các thông tin ở từng khu vực Xây dựng mô hìnhhọc sâu dự báo số lượng ca nhiễm cho các tỉnh cho từng khu vực

+ Xây dựng bộ dé liệu có tính phân cấp và xây dựng mô hình thầy giáo

(teacher) và mô hình học sinh (student), sử dụng phương pháp trích xuấtkiến thức (knowlegde distillation) dé cải thiện kết qua dự đoán của mô hình

học sinh (student).

Đầu ra: Tỉ lệ ca nhiễm trong tương lai trên từng tỉnh.

Đặc trưng khí hậu Đặc trưng khỉ hầu Đặc trưng khí hậu

của từng tinh của tửng tinh của tửng tỉnh

Xây dựng dữ liễu Xây dựng dữ liễu

có tinh phan cấp có tinh phần cap

¥

Huấn luyễn md Huấn luyện md

trình thay giáo hình hạc sinh

Hình 1 Phát biểu bài toán với Đầu vào (Input), Các bước xử lý, Đầu ra (Output) của hai

hướng tiêp cận a,b và c

1.3 “Thách thức

- Van đề về thiếu dữ liệu: Dữ liệu gốc nhận không đầy đủ số liệu cho các

trường cần thiết

- Wan đề hạn chế về số lượng mẫu trong dữ liệu: Việc thiếu thốn dữ liệu gây

khó khăn không những trong quá trình huấn luyện mà còn khó khăn trongkhâu đánh giá lại tính đúng đắn của mô hình thực nghiệm

1.4 Muc tiêu đề tài

— Hiểu được kiến thức cơ bản về các căn bệnh nhiệt đới, các thống kê về

nguyên nhân và mức độ nguy hiểm của loại bệnh này

— Có được kiến thức tổng quan đến chỉ tiết cho các thuật toán học sâu

— Có được kiến thức chuỗi thời gian và các kỹ thuật tiền xử lý dữ liệu

— Xử lý và xây dựng các mẫu dit liệu có thể huấn luyện từ một bộ dữ liệu về

các đặc trưng khí hậu, tỷ lệ ca nhiễm bệnh nhiệt đới Ngoài ra xây dựng lại

cấu trúc bộ đữ liệu để tối ưu hóa thông tin và xây dựng lại mô hình để cóthé dự báo chính xác hơn các nghiên cứu trước đó

— Cài đặt và thực nghiệm được thuật toán dự báo trên bộ dữ liệu được xây

dựng.

— Phân tích, đánh giá và tong hợp được kết quả nghiên cứu vào báo cáo

1.5 _ Đối tượng và Pham vi nghiên cứu

Đối tượng nghiên cứu: Bệnh Tiêu Chảy Trên các tỉnh thành tại Việt Nam từ

1997 — 2018.

Phạm vi nghiên cứu:

+ Nghiên cứu và khảo sát các công trình đã được công bố về cách các đặc

trưng cũng như phương pháp được chọn dé dự báo và phát hiện được nguy

cơ bùng phát bệnh nhiệt đới bị lãng quên.

+ Nghiên cứu các đặc trưng khí hậu có khả năng ảnh hưởng đến sự bùng phát

bệnh nhiệt đới và xây dựng bộ dữ liệu tương ứng.

+ Nghiên cứu phương pháp xây dựng bộ dữ liệu phân cap cho từng khu vực.

+ Nghiên cứu phương pháp dự báo sử dụng mô hình hoc sâu.

+ Nghiên cứu mô hình máy học dự báo chuỗi thời gian theo hướng sử dụng

deep learning mạng học sâu đồ thị (T-GCN, H-GCN)

+ Nghiên cứu mô hình máy học dự báo chuỗi thời gian theo hướng tiếp cận

học sâu (LSTM, LSTM-Attention, CNN, Transformer, Crossformer,

NBEATS, NhiTS, PatchTST, TFT)

Giới thiệu các phương pháp dự báo tỷ lệ ca nhiễm bệnh tiêu chảy - một

loại bệnh phổ biến và nguy hiểm nhưng chưa được quan tâm đúng mức tại

Việt Nam.

Giới thiệu về các đặc trưng khí hậu có mức độ ảnh hưởng cao đến tỉ lệ ca

nhiễm bệnh — cơ sở cho mô hình dự báo được xây dựng.

Trình bày các thuật toán học sâu tiên tiễn hiện nay

Phương pháp xây dựng bộ đữ liệu phân cấp và mô hình học sâu dự báo đạt

hiệu suất cao

Thực nghiệm, huấn luyện phương pháp trên bộ dữ liệu được xây dựng và

so sánh hiệu quả của 3 hướng tiếp cận:

+ Dự báo tỉ lệ nhiễm bệnh dựa trên yếu tố thời tiết tại từng tỉnh đơn lẻ

| Tái cau trúc bộ dữ liệu dang phân cấp dé làm giàu dé liệu, tối ưu

hóa được sự liên kết về mặt địa lý và thời tiết giữa các tỉnh Đồngthời xây dựng mô hình học sâu dự báo ca nhiễm nhằm tim ra giảipháp tối ưu giúp mô hình dự báo chính xác hơn

+ Sử dụng phương pháp học chiết xuất dé dự báo tỉ lệ nhiễm bệnh.

CHƯƠNG 2 CƠ SỞ LY THUYET

2.1 Nghiên cứu liên quan

2.1.1 Các nghiên cứu trước

Năm 2022, Do, T D và cộng sự [3] nghiên cứu về dự đoán ca nhiễm Tiêu Chảytrên 6 tỉnh tại Việt Nam (Điện Biên, Thái Bình, Lào Cai, KonTum, Cao Bằng,

Đắk Lắk) sử dụng 12 đặc trưng về khí hậu bao gồm các đặc trưng về lượng mưa,

nhiệt độ, độ ẩm, số giờ nắng trên địa phương được xét Tác giả tiếp cận bài toán

theo hướng dự báo số lượng ca nhiễm Tiêu Chay trong tương lai ngắn han —

trong 1 tháng liền kề, và dự đoán trong tương lai dai hạn — trong 2 đến 3 thángsau, để đánh giá mức độ đúng đắn của mô hình theo thời gian Quy trình thựcnghiệm lần lượt với các bước: (1) Xử lý giá trị thiếu với kỹ thuật quy nạp, tínhtoán tỉ lệ ca nhiễm trên dân số để phù hợp với ngữ nghĩa bài toán, chuân hóa đữliệu; (2) Xử lý và trích chọn đặc trưng hữu ích; (3) Tối ưu hóa các siêu tham số

với Optuna; (4) Huấn luyện và đánh giá Thực nghiệm cho thấy mô hình LSTM

sử dụng cơ chế Attention cho ra kết quả dự đoán tốt nhất so sánh với các mô

trình máy học khác như SARIMA hay các mô hình học sâu khác như CNN, LSTM, Transformer Công trình cũng nhận định các dự đoán với thời gian càng

dai hạn thì mức độ chính xác cũng giảm đi đáng kể Tuy nhiên LSTM với cơ chếAttention vẫn thể hiện tốt nhất khi 3 trên 6 tỉnh cho ra kết quả đánh giá trên độ đo

RMSE là thấp nhất.

Sau đó vào năm 2023, tác giả Do, T D và các cộng sự [6] đã nghiên cứu dự báo

tỷ lệ ca nhiễm bệnh tiêu chảy trên 55 tỉnh sử dụng rất nhiều mô hình máy học, từ

các mô hình dự báo chuỗi thời gian quen thuộc như LSTM và LSTM_ATT mà

trước đó đã làm, tác giả còn sử dụng thêm một số mô hình thuộc thư viện Dart

như Nbeast, Nhits và các mô hình tăng cường như CatBoost cũng cho ra kết quả

rất tốt Đặc biệt, trong bài báo này, tác giả đã trình bày mô hình kết hợp DWE

DWE (Dynamic Weighted Ensemble) là một mô hình dự báo tổ hợp mới, nhằmcải thiện hiệu suất dự báo bệnh tiêu chảy DWE bao gồm hai lớp: lớp đầu tiên tạo

ra các mô hình phụ dựa trên 4 mô hình cơ sở khác nhau Lớp thứ hai sử dụng một

phương pháp mới dé dự đoán hiệu suất của tất cả các mô hình phụ đã chọn và kết

hợp chúng lại theo một cách thức linh họat, dựa trên trọng số dé tao ra kết quảcuối cùng Điều này hoàn toàn khác với các phương pháp tổ hợp truyền thống chỉdựa trên sự kết hợp cố định của các thành phần Theo hiểu biết hiện tại, DWEcũng là phương pháp tổ hợp đầu tiên cho dự báo bệnh tiêu chảy Các thí nghiệmrộng rãi được thực hiện trên tất cả 55 tỉnh thành Việt Nam dé chứng minh hiệusuất của DWE và cho thấy được các đặc điểm quan trọng của nó

Ngoài ra còn có các nghiên cứu khác cũng đã khăng định sự tác động nhất địnhgiữa các yếu tố khí hậu trên số lượng ca nhiễm bệnh Nhiệt Đới tại các vùng địa

phương Cụ thé, nghiên cứu [5] năm 2015 của nhóm tác giả Phung, D và cộng

sự nghiên cứu mối liên hệ giữa bệnh Tiêu Chay trên các yếu tô khí tượng và thờigian tại vùng đồng bằng Mê Kông Việt Nam Mô hình thực nghiệm chỉ ra đỉnhđiểm của các ca mắc bệnh này cao nhất từ trong giai đoạn tháng 8 — 10 hăngnăm Mực nước tại địa phương tăng Icm sau | tuần có liên quan đến tỷ lệ tăng

nhẹ của các ca mắc Tiêu Chay (0,07%) Mặc khác, nhiệt độ tăng 1 độ C sau 2

đến 4 tuần có nguy cơ khiến bệnh Tiêu Chay tăng 1,5% đến 1,1% tương ứng

2.1.2 Lý thuyết về dữ liệu phân cấp

Xây dựng một bộ dữ liệu phân cấp dé tổng hợp và phân tích các yếu tố thời tiết

cùng tỷ lệ ca nhiễm bệnh của một khu vực lớn là bước quan trọng trong việc tôi

ưu hóa đữ liệu cho các mô hình dự báo Bộ dữ liệu này được thu thập từ thông tin

chỉ tiết của các tỉnh trong khu vực, nhằm cung cấp cho mô hình máy học những

dữ liệu cần thiết để đưa ra các dự báo chính xác hơn

Bằng cách sử dụng bộ dữ liệu phân cấp, các mô hình máy học có thé phân tíchmối tương quan giữa các yếu tố thời tiết và tỷ lệ ca nhiễm bệnh ở nhiều cấp độkhác nhau Điều này giúp cải thiện độ chính xác của các dự báo dịch bệnh dựa

trên những thay đổi về thời tiết, từ đó hỗ trợ việc đề xuất các biện pháp phòngchống dịch bệnh hiệu quả hơn.

Hơn nữa, bộ dữ liệu phân cấp cung cấp một cái nhìn tổng quan về tình hình thời

tiết và dịch bệnh ở các khu vực lớn, giúp điều chỉnh chiến lược và kế họach phù

hợp với từng khu vực cụ thé

Quá trình xây dựng bộ đữ liệu này bao gồm việc thu thập dữ liệu thời tiết và tỷ lệ

ca nhiễm bệnh từ từng tỉnh trong khu vực, sau đó tiến hành phân tích và tông hop

để tạo ra bộ dữ liệu phân cấp Mặc dù yêu cầu quy trình công phu và tỉ mi, việcnày sẽ mang lại nhiều lợi ích đáng ké cho công tác nghiên cứu và quản lý dịchbệnh, đồng thời hỗ trợ các nhà nghiên cứu và quản lý trong việc đưa ra các quyết

định chiên lược chính xác và hiệu quả hơn.

Cách tính toán xây dựng bộ dữ liệu phân cấp:

o Chúng ta tính toán tỉ lệ ca nhiễm của một khu vực bằng các tổng tỉ lệ ca

nhiễm của các thành phó trong khu vực.

n

Rạ= > R;

i=1

o Dé xác định các yếu tố thời tiết của một khu vực, ta sẽ tính trung bình các

thông số thời tiết của các tỉnh trong khu vực đó Các thông số thời tiết cóthé bao gom: nhiệt độ, độ âm, lượng mưa, áp suất không khí, v.v.

n: Số lượng các tỉnh trong khu vực

¡: Số thángVới cách này chúng ta có thé xây dung được bộ dit liệu mới cho từng khu

vực với mục tiêu đầu ra là tỉ lệ ca nhiễm tổng của khu vực và tỉ lệ ca

nhiễm của từng tỉnh trong khu vực Góp phan làm giàu dữ liệu giúp cho

mô hình học được nhiều thông tin hơn và có khả năng dự báo chính xác

hơn.

2.2 Kỹ thuật dự báo

Hoc máy chia làm hai loại: Học có giám sát và học không giám sat Trong đó,

học có giám sát là quá trình học trên một tập dữ liệu có các đầu vào x (input) vàđầu ra y (output), từ đó, sử dụng một thuật toán tim ra được ham (mô hình) cókhả năng ánh xạ dữ liệu đầu vào (x) cho ra một giá trị đầu ra (y) phù hợp nhất

dựa trên các quy luật, xu hướng của bộ dữ liệu đã được học trước đó Nói cách

khác, học có giám sát yêu cầu dữ liệu sử dụng trong quá trình huấn luyện thuật

toán phải được gán nhãn trước Mục tiêu là sau quá trình huấn luyện ta thu được

mô hình có khả năng đưa ra được các dự đoán y trên một bộ đặc trưng x có sẵn.

2.3 Các thuật toán học sâu

2.3.1 Neural Networks

Mạng nơ-ron là một chương trình học máy, là một mô hình lấy cảm hứng từmạng nơ-ron sinh học trong hệ thần kinh của con người Nó bao gồm các lớp nơ-ron kết nối với nhau, làm việc cùng nhau dé thực hiện các nhiệm vu phức tạp.Mạng nơ-ron hiện nay rất đa dạng, chúng có thể học từ đữ liệu có cấu trúc nhưchữ viết, đến dit liệu không cấu trúc như âm thanh, hình anh [10]

Ở trong mỗi mạng nơ-ron đều bao gồm những lớp (layers) trong đó sẽ có các

node Thông thường trong một mạng nơ-ron nhân tạo sẽ có một lớp đầu vào, mộthoặc nhiều các lớp ân (hidden layer) và một lớp dau ra Mỗi node ở mỗi layer sẽkết nối đầy đủ với các node ở layer tiếp theo tạo ra một mạng lưới và ở mỗi node

đều có trọng sô của riêng nó.

11

Giá trị của mỗi node ở lớp trước được nhân với trọng số tương ứng và truyền tớicác node ở lớp kế tiếp Giá trị của một node bất kỳ trong một lớp được tính bằngtổng của tích tất cả giá trị của các node từ lớp trước với trọng số của chúng, sau

đó đi qua một hàm kích họat Công thức tổng quát cho quá trình này được trình

bày như sau [28]:

q( = ƒ(w07Đfa0=9 + 5)

Trong do:

e ala giá trị của node với Ï là layer ma node đó thuộc về.

e - ¡ là vị trí cua node trong layer đó

e w là trọng số của node tham gia kết nối với node thuộc layer kế tiếp

và b là hệ số bias của một node

Khi mạng neuron nhân tạo gồm nhiều phần xử lý được kết nối qua nhiều lớp, nó

phát triển thành một mang neuron học sâu — Deep Neural Network (DNN) Cấu

trúc cơ bản của một mang neuron gồm 3 phan chính:

e Đầu vào - Input: Họat động như một công dé dua thông tin đầu vào hệ

thống xử lý

e Lớp ân- Hidden layer: Biến đổi thông tin đầu vào thông qua trọng số liên

kết và hàm kích họat Khi có hơn hai lớp ân, mạng neuron trở thành mạng

học sâu.

e Đầu ra — Output: Sau khi qua các lớp ẩn, trạng thái đầu ra được xác định

dựa trên đầu vào và trọng số liên kết, đi đến đơn vị đầu ra tương ứng.

Trạng thái của đầu ra và các đơn vị ân trong mạng neuron được xác định bởi hàm

kích họat Hàm kích họat giúp đa dạng hóa và tối ưu hóa trạng thái đầu ra, phù hợp với nhiều nhiệm vụ thực tế Các hàm kích họat chính thuộc vào 3 nhóm:

e Tuyến tinh (Linear Function) hay Nhận dang (Identity): Dau ra tương

ung voi đầu vào ma đơn vi tính toán nhận được Sử dụng hàm kíchhọat tuyến tính khiến quá trình lan truyền ngược trong huấn luyện môhình trở nên vô ích và việc kết nối các lớp ẩn tuyến tính trở thành vô

nghĩa.

12

e_ Phi tuyến tính (Non-linear Function): Đầu ra là tổng của tích đầu vào

và trọng số liên kết, qua một hàm phi tuyến và biến đổi thành giá trị

tương ứng Các hàm phi tuyến cơ bản gồm: (1) Giới hạn đầu ra trong

một phạm vi giá trị nhất định, (2) Giới hạn một phần hoặc không giớihạn đầu ra, có thé tiến tới vô cực âm hoặc dương Vi dụ điển hình là

Sigmoid, Tanh, ReLU, Leaky ReLU, và ELU.

e Hàm bước (Step Function): Quy dau ra thành hai trạng thai duy nhất là

kích họat hoặc không kích họat (thường chuẩn hóa thành 0 và 1) Việc

kích họat dựa vào ngưỡng đầu vào, nếu vượt ngưỡng thì đầu ra sẽ là

kích họat, ngược lại là không kích họat.

Một mô hình mạng nơ ron cơ bản với hàm kích họat ReLU có thể được mô tả cụ thể như sau:

Hình 2 Minh họa một mô hình mạng nơ ron [10]

Với đầu vào bao gồm 2 đặc trưng (xanh dương, hồng), lớp ân gồm hai node vớihàm kích họat ReLU (xanh lá), lớp đầu ra với một đầu ra duy nhất (hồng nhạt),với wj lần lượt là trọng số kết nối giữa đơn vị tính toán của lớp j đến đơn vị tínhtoán trong lớp kế tiếp, bj là giá tri bias của một đơn vi tính toán trong lớp j

Giả sử ta có một mạng thần kinh với cấu trúc như Hình 2., trong đó trọng số và

bias được khởi tạo ngâu nhiên với một mau dữ liệu như sau:

13

[05 0.37]]

Mau dữ liệu đầu tiên được làm phăng thành một vector duy nhất va đưa vào mô

hình:

[0S 0.37]

Hình 3 Minh hoạ mô hình nơ ron với các giá tri trọng số, bias và đặc trưng đầu vào

được đưa vào mạng [ 10]

Đầu ra của một đơn vị tính toán trong mạng thần kinh tích chập được tổng quát

hóa băng công thức sau:

Output = Activation(x * w + b)

Trong đó, x là giá tri đặc trưng đầu vào hoặc đầu ra của đơn vị tính toán trước đó,

w là trọng số kết nối và b là giá trị bias của đơn vị tính toán hiện tại Với hàmkích họat được chọn là ReLU, giá trị của hai node trong lớp đầu tính toán được

trình bày như sau:

- ReLU((-2.5 * 0.5) + (0.37 * 0.6) + 1.6) = 0.572

- ReLU((-1.5 * 0.5) + (0.37 * 0.4) + 0.7) = 0.098

14

2.3.2 Convolution Neural Network (CNN)

Mang than kinh tích chập — Convolution Neural Network (CNN) là một mô hình hoc sau dac biét, phat trién tir mạng no ron nhân tạo Ban dau, CNN được thiết kế

dé phan tich anh Đầu vào là một ma trận chứa thông tin thô của ảnh, sau đó hàngloạt các bộ lọc sẽ đi qua ảnh dé bắt được các vùng, khía cạnh, và đặc trưng quantrọng trong anh Từ đó, đầu ra của mạng có thé phân biệt được ảnh vào các lớpphù hợp với bài toán đặt ra ban đầu Yêu cầu về tiền xử lý trong mạng tích chậpthấp hơn nhiều so với các thuật toán xử lý hình ảnh khác Trong khi nhữngphương pháp truyền thống khác buộc phải thiết kế các bộ lọc một cách thủ công,CNN có khả năng học các bộ lọc để rút trích đặc trưng ảnh và cũng có thé dự báo

chuỗi thời gian.

Mang thần kinh tích chập được đánh giá là một trong những mang học sâu phổbiến và tiên tiến nhất hiện nay Mang được cấu tạo từ các thành phan sau:

e_ Lớp tích chập (Conv): Mục tiêu của lớp này là trích xuất các đặc trưng cấp

cao từ thông tin thô đầu vào bằng các bộ lọc (filter/kernel) CNN không chỉgiới hạn ở một lớp tích chập Thông thường, lớp tích chập đầu tiên chịu tráchnhiệm nắm bắt các đặc trưng cấp thấp như góc cạnh, màu sắc, hướng

gradient, v.v Các lớp tiếp theo sẽ thu thập dần các đặc trưng cấp cao hơn,

giúp mạng học được những thông tin ngữ nghĩa sâu hơn.

e©_ Lớp gộp — Pooling: Tang pooling là một phép down sampling, thường được

sử dụng sau tang tích chập, giúp tăng tinh bat biến không gian, giảm tính toán

và thời gian huấn luyện nhưng vẫn giữ được các đặc trưng quan trọng Cónhiều loại pooling như: Sum pooling, L2 pooling, Max pooling và Averagepooling, trong đó Max pooling và Average pooling là phô biến nhất

e_ Lớp kết nối đầy đủ - FC: Tang kết nối đầy đủ nhận đầu vào là dit liệu đã

được làm phẳng, với tất cả các nơ ron trong lớp hiện tại kết nối với tất cả các

nơ ron trong lớp trước đó Trong CNN, sau khi trích xuất đặc trưng qua các

16

lớp tích chập và lớp gép, dit liệu sẽ được đưa ra lớp kết nối đầy đủ dé đưa rakết quả cuối cùng phù hợp với bài toán đặt ra.

Với khả năng trích xuất và xử lý thông tin vượt trội, mạng thần kinh tích chập có

thể được sử dụng dé phan tich cac miền đữ liệu khác như văn bản hoặc đữ liệu số

dạng chuỗi thời gian Đối với đữ liệu hình ảnh, bộ lọc được sử dụng là một lưới

hai chiều, trong khi đó, lưới một chiều thường được sử dụng cho dữ liệu văn bản hoặc chuỗi thời gian [11]

Một mô hình mạng tích chập cơ bản có thé được mô ta cụ thé như sau:

Feature Map

Hình 6 Minh họa một mô hình mang no ron tích chap [11]

Gia sử ta có một mang thần kinh tích chập với cấu trúc như Hình 6, trong đó

trọng số và bias được khởi tạo ngẫu nhiên, với một mẫu dữ liệu hình ảnh đơn

giản với màu den trang như sau, dé có thé dé tính toán ta sẽ quy định màu trắng

là 0 và màu đen là 1:

e_ Đầu tiên, lớp Filter (Mang chứa giá trị weight) được khởi tao Sau đó lớp

filter này sẽ áp lên dữ liệu đầu vào, áp dụng phép tích chập với các vùng theo

phương di chuyển từ trái sang phải và từ trên xuống dưới Quá trình này

được gọi là dot product.

e Kết quả của dot product là ta sẽ có một Feature map, ý nghĩa của giá trị này

thể hiện những đặc trưng của giá tri đầu vào Nếu ta cài đặt hàm kích hoạt

17

vào trong lớp Feature map này, với ví dụ là ReLU thì các giá trị âm sẽ được

thay đổi thành 0 còn các giá tri dương sẽ được giữ nguyên

e Tiếp đến là sử dụng lớp gdp (Pooling): Lớp gộp có nhiều loại, nhưng trong

ví dụ ta đang sử dụng là Max Pooling 2x2 Lớp gộp này sẽ áp lên Feature

map theo phương từ trái sang phải và từ trên xuống dưới, kết quả trả ra là giá

trị lớn nhất trong vùng được áp lên.

e Sau đó kết quả này sẽ được làm phẳng thành và áp vào một mạng no-ron và

với các tính toán như đã minh họa ở phần Neuron Network và có được kết

quả cuôi cùng.

2.3.3 Recurrent Neural Network (RNN)

Mạng ron hồi quy (Recurrent Neural Network - RNN) là một loại mạng ron nhân tạo được thiết kế để xử lý di liệu có tính tuần tự hoặc dit liệu chuỗi thờigian Điểm đặc biệt của RNN so với các mô hình mạng khác như mạng nơ-rontruyền thang (DNN) hay mạng nơ-ron tích chập (CNN) là khả năng lưu giữ thôngtin từ các bước trước đó, nhờ vào thành phần bộ nhớ tích hợp Điều này cho phépRNN bồ sung ngữ nghĩa cho dit liệu đầu vào hiện tai dựa trên thông tin từ các

nơ-bước trước.

Trong khi các mạng nơ-ron khác giả định rằng mỗi cặp đầu vào và đầu ra là độclập, RNN tạo ra đầu ra đựa trên các mẫu tuần tự trước đó Một đặc điểm quan

trọng khác của RNN là sự chia sẻ thông tin giữa các lớp thông qua các node tính

toán, được thực hiện bằng phép nhân giữa giá trị đầu ra của node hiện tại và

trọng số chia sẻ của node đó.

Cấu trúc của một mô hình mạng nơ-ron hồi quy cơ bản có thể được mô tả như

sau:

18

Hình 7 Minh hoa một mô hình mang no ron héi quy đơn giản [12]

Hình trên minh họa một mạng nơ-ron hồi quy (RNN) [12] với cấu trúc bao gồmđầu vào, lớp ấn và đầu ra Đầu vào là một ma trận với hai chuỗi đặc trưng, mỗichuỗi có kích thước 1x3 (được biểu diễn bằng màu xanh dương và màu hồng).Lớp ân bao gồm hai don vị tính toán (node) được biéu diễn băng màu vàng, vadau ra là một đơn vị tính toán (node) được biểu diễn bằng màu xanh lá Cụ thé

như sau:

e Các trọng số W1, W2, W3, và W4 kết nối đầu vào với các don vị tính toán

trong lớp ân

e Cac trọng số W5, W6, W7, va W8 điều chỉnh sự kết nối nội bộ giữa các

đơn vị tính toán trong lớp ẩn

© Các trọng số W9 và W10 kết nối lớp ân với đầu ra

e Giá trị bias được thêm vào các đơn vị tinh toán dé điều chỉnh đầu ra của

mỗi node.

Giả sử ta có một mạng thần kinh hồi quy với cấu trúc như Hình 7, trong đó trọng

số và bias được khởi tạo ngẫu nhiên và một mẫu dữ liệu sau:

19

[[0,9 0,2]

[04 0,3]

[0,8 0,7]]

Mẫu đữ liệu được đưa vào mô hình như sau:

Hình 8 Minh họa mô hình thần kinh hồi quy với các giá trị trọng số, bias và đặc trưng

dau vào được đưa vào mang [12]

Đầu ra của một đơn vị tính toán trong mang thần kinh hôi quy được tổng quáthóa bằng công thức sau:

Output = (W* X + b) + (Wo *hị 1)

Trong đó:

- _ x là ma trận giá tri của đặc trưng cần được trích xuất thông tin,

- _ W là trọng số kết nối giữa don vi tính toán của lớp hiện tại và lớp kế

tiếp

- _ Wo là trọng số cho giá trị h state được sử dung dé hồi quy cũng như

chia sẻ thông tin với các don vi tính toán khác trong cùng một lớp

20

- b là giá tri bias của từng đơn vi tính toán.

Giá trị h state t— 1 đầu tiên được khởi tạo băng 0, một state của các đơn vi tính

toán trong lớp RNN được thực hiện theo các bước sau:

- Don vị tính toán thứ nhất:

o Bước l:h=W x X+b= 0.9+*1.02+0.3x+0.8+ 0.77 = 1.928

o Bước2:h= h+ Wo xhị ¡ = 1.928 + 0*0.5+0*0.78 =1.928

o Bước 3:h¡= Activation(h) = TANH(1.928) = 0.958

- Don vi tính toán thứ hai:

o Bước l:h=W *x X+b = 0.9+0.2+0.3 * 0.83 + 0.84 = 1.269

o Buéc2:h=h+Wo *h-_; = 1.269 + 0*0.5+0 «0.78 = 1.269

o Buéc 3: h; = Activation(h) = TANH(1.269) = 0.853

Sau các bước tinh toán, ta thu được giá tri h; cua node hiện tai lần lượt là 0.958

và 0.853 trị này sẽ được sử dụng làm đầu vào cho trạng thái tính toán tiếp theo,tương đương với hị-¡ Khi thực hiện tương tự cho các bước thời gian tiếp theo

với các giá trị [0,2 0,8] và [0,4 0,7] ta thu được kết quả cuối cùng của hai đơn vị

tính toán trong lớp RNN như sau:

21

RNN layer

Hinh 9 Minh hoa mang than kinh hồi quy với hai giá tri h: tinh toán được trong lớp ân

hôi quy (SimpleRNN)[12]

Giá trị đầu ra sau cùng được tính toán bằng tích của giá trị đơn vị tính toán trước

đó với trọng số kết nối tương tự như mạng ANN cơ bản đã đề cập ở phần trước

Sau cùng ta có một mạng RNN với các giá trị hoàn chỉnh như sau:

18

Hình 10 Minh họa mang than kinh hồi quy với giá trị được tính toán hoàn chinh[12]

22

Trong mô hình RNN, quá trình lan truyền ngược để điều chỉnh trọng số qua cáctrạng thái trước đó của mẫu có thé gặp phải hai vấn dé: Gradient bùng nỗ(Exploding Gradient) và Gradient biến mất (Vanishing Gradient) Khi gradient

có giá trị quá lớn, quá trình cập nhật trọng số sẽ trở nên bất ôn định, dẫn đến giátrị hàm mat mát trong quá trình huấn luyện tăng đột ngột và có thé đạt đến mức

không xác định (NaN) Ngược lại, khi gradient quá nhỏ, việc cập nhật trọng số

gần như không gay ra sự thay đổi nào trong mạng, khiến mô hình không thé họcđược nữa Điều này làm cho quá trình huấn luyện trở nên không hiệu quả [13]

2.3.4 Long Short-Term Memory (LSTM)

Kiến trúc bộ nhớ đài ngắn hạn, hay LSTM (Long Short-Term Memory), là mộtbiến thể của mô hình RNN được phát triển bởi Hochreiter và Schmidhuber vàonăm 1997 [14] để giải quyết vấn đề gradient khi cập nhật trọng số qua nhiềuđiểm liền kề trong chuỗi dit liệu Cấu trúc cơ bản của LSTM bao gồm ba cổngchính: công đầu vào (input gate), công dau ra (output gate), và công quên (forgetgate) Những công này đóng vai trò quan trọng trong việc kiểm soát luồng thông

tin cần thiết cho việc dự đoán dựa trên chuỗi đữ liệu đầu vào.

hị

CONG ĐẦU RA

Hình 11 Minh hoa kiến trúc LSTM [14]

Dựa trên kiến trúc được minh hoa trong Hình 11, đầu vào của khối LSTM baogồm trạng thái từ bước thời gian trước đó hy, và đặc trưng x Trạng thái này sẽđược nhân với trạng thái tế bào C;_.¡ để xác định mức độ giữ lai hay quên thông

23

tin không quan trọng (thông qua cổng quên) Tiếp theo, LSTM quyết định thôngtin mới nào sẽ được lưu trữ trong trạng thái tế bào C, bằng cách đưa đầu vào quaham sigmoid và nhân nó với đầu vào đã qua ham tanh (thông qua công đầu vào).Cuối cùng, đầu ra được xác định băng cách nhân đầu vào qua hàm sigmoid vớigiá trị tanh của trạng thái tế bào hiện tại (thông qua cổng đầu ra).

2.3.4.1 Cơ chế Attention

Cơ chế Chú ý (Attention) là một phương pháp tiên tiến giúp tăng đáng kề hiệusuất của mạng nơ-ron học sâu trong các lĩnh vực như trực quan hóa(visualization), xử lý ngôn ngữ tự nhiên (NLP), và học đa thể thức (multimodallearning) Cơ chế này đặc trưng bởi khả năng cham điểm các vùng đặc trưng đầu

vào hoặc các vùng đặc trưng trung gian, từ đó xác định mức độ đóng góp của

từng thành phần vào quá trình dự đoán của mô hình Điều này cho phép mô hình

tập trung vào các đặc trưng có ý nghĩa cao và bỏ qua các đặc trưng ít quan trọng

hơn, ngay cả khi đầu vào là một chuỗi đặc trưng rất dai

Cơ chế này khắc phục nhược điểm của các mạng hồi quy trước đây, vốn học tuần

tự theo thứ tự chuỗi đầu vào mà không cân nhắc tầm quan trọng tương đối củatừng đặc trưng Thực tế cho thấy, một số đặc trưng ở các bước thời gian khácnhau có thể liên quan chặt chẽ và có ý nghĩa ngữ nghĩa cao hơn khi được kết hợp,thay vì học tuần tự từng bước thời gian và cơ chế này được thực hiện tuần tự theo

các bước như sau:

- Bước 1: Nhận vector trạng thái ấn của decoder h, (là trạng thái hiện tại) và tất

cả các vector trạng thái ấn của encoder h, đầu vào

- Bước 2: Đánh giá mức độ liên quan giữa mỗi vector trạng thái ân của encoder

và trạng thái ấn hy của decoder Việc tính điểm này dựa trên một phươngtrình cụ thể, với đầu vào là vector trạng thái ấn của decoder h; và mộtvector trạng thái ấn của encoder h,, đầu ra trả về một giá trị vô hướng

score(h,h}

- Bước 3: Tinh trọng số chú ý bằng cách áp dụng hàm softmax với đầu vào là

điểm chú ý đã được tính toán ở bước 2

24

exp(score(h¿, h ))

ats = expÐ a score(h, hy)

- Bước 4: Tính toán lai vector ngữ nghĩa c; bang tổng của các tích giữa trong

số chú ý với vector trạng thái ân của encoder tại các bước thời gian tương

ứng.

- Bước 5: Vector ngữ nghĩa c; được đưa vào decoder dé tiến hành đưa ra trạng

thái h,,+ kế tiếp

Cơ chế Chú ý ban đầu được giới thiệu cho mô hình Transformer của nhóm tác

giả Vaswani [15] Mô hình này gây chú ý bởi tính vượt trội trong tác vụ dich

máy bởi khả năng tính toán song song cao hơn, ít tốn thời gian đào tạo hơn so vớicác mô hình tích chập hay hồi quy trước đó, nhưng vẫn có độ chính xác cao hon

cả so với các phương pháp cũ trước đây.

2.3.5 Temporal Graph Convolutional Network (T-GCN)

Temporal Graph Convolutional Network (T-GCN) là một mô hình mạnh mẽ kếthợp giữa mạng nơ ron tích chập trên đồ thị (Graph Convolutional Networks -GCNs) và mạng no ron hồi tiếp (Recurrent Neural Networks - RNNs) dé xử lý

đữ liệu chuỗi thời gian có cau trúc đồ thị Mô hình này được thiết kế đặc biệt để

dự báo chuỗi thời gian trong các hệ thống có sự phụ thuộc phức tạp g1ữa các đốitượng, như hệ thống giao thông, mạng xã hội, và các ứng dụng IoT [16]

2.3.5.1 Kiến trúc của T-GCN

e Graph Convolutional Network (GCN): Dé khai thác thông tin không gian

và mối quan hệ giữa các nút trong đồ thị

e Recurrent Neural Network (RNN): Dé xử lý thông tin thời gian và mối

quan hệ tuần tự giữa các trạng thái của nút

25

Spatial Feature

>» GRU | >» GRU & GRU | Temporal Feature |

=e:

Prediction

Hình 12 Luong xử ly dit liệu [16]

2.3.5.2 Quy trinh xw ly trong T-GCN

(Veo Yue! tY,

+ Ạ A A cell of

: I-GCN Model

> TGCN I

Hinh 13 Quy trinh xu ly trong T-GCN [16]

T-GCN lay ma tran Laplacian da chuẩn hóa duoc tinh toán từ ma trận kề A, matrận đặc trưng X và trạng thái ấn được khởi tạo bằng 0 làm đầu vào và tính toáncác trang thái ấn được cập nhật bang cách sử dụng cả GCN và GRU trong quy

trình.

1 Quá trình tích chập đồ thị (Graph Convolution): Tại mỗi thời điểm t đầu vào

X _t được xử ly qua một hoặc nhiều lớp GCN dé tổng hợp thông tin khônggian từ các nút láng giềng:

H,=ƒ(A,X.)

2 Công cập nhật và công đặt lại (Update and Reset Gate):

26

° Công cập nhật u; [16]:

uy = ø(W,[ƒ(A,X;),h¿-+] + bu

° Công đặt lại r; [16]:

r, = ø(W;|ƒ(A,X,),h¿-1] + By

3 Trạng thái cập nhật (Candidate State) [16]:

c, = tanh (W.[f (A, X¢), (re * h¿_1)] + De)

4 Đầu ra thời điểm t [16]:

hy = tt * Ay-y + (1~— tụ) * C¡

2.3.6 H-GCN - HIERARCHICAL GRAPH CONVOLUTIONAL NETWORKS

Mang no ron tich chap trén d6 thi (Graph Convolutional Networks - GCNs) da

được áp dụng thành công trong các tac vu phân loại nút của khai thác mang Tuy

nhiên, hầu hết các mô hình này thường nông và thiếu cơ chế "pooling đồ thị",

khiến cho mô hình không thé thu nhận đủ thông tin toàn cục Dé giải quyết van

đề này, bài báo [Hierarchical Graph Convolutional Networks for supervised Node Classification] đề xuất một mô hình Hierarchical Graph

Semi-Convolutional Network (GCN) [17] mới cho phân loại nút bán giám sát

H-GCN thực hiện việc gom cụm các nút có cấu trúc tương tự thành các siêu nút vàsau đó tỉnh chỉnh lại đồ thị đã coarsened về ban đầu để khôi phục biểu diễn chotừng nút Thay vì chỉ tổng hợp thông tin từ các nút láng giềng một hoặc hai bước,

quy trình coarsening được đề xuất mở rộng trường tiếp nhận cho mỗi nút, do đó

có thé thu nhận được nhiều thông tin toàn cục hơn

27

E1 Multi-channel GCNs [Refning operation —» Shortcut connection

Hình 14 So đồ luồng làm việc của H-GCN.

Hình minh họa này có bảy lớp với ba lớp thô, ba lớp tinh chế đối xứng lớp và

một lớp đầu ra Lớp thô ở cấp độ i tạo ra đồ thi Gi+1 của siêu nút ni+l với biểudiễn tiềm ân d chiều gửi, ngược lại dé tinh chỉnh các lớp

H-GCN sử dụng một kiến trúc phân cấp, trong đó đồ thị gốc được giảm bớt(coarsened) qua nhiều lớp để tạo ra các đồ thị đơn giản hơn (siêu đồ thị), sau đó

lại được khôi phục về trạng thái ban đầu Quá trình này gồm hai giai đoạn chính:

e Coarsening: Gom cụm các nút có cau trúc tương tự dé tạo thành các siêu

nút, giúp giảm kích thước đồ thị và mở rộng trường tiếp nhận

e Refining: Khôi phục lại biêu dién của các nút ban dau từ các siêu nút.

2.3.6.1 Quá trình Coarening

Trong quá trình coarsening, các nút và cạnh của đồ thị được kết hợp lại để tạothành các siêu nút và siêu cạnh, sử dụng một phương pháp pooling đồ thị Mộttrong các kỹ thuật phô biến là sử dung clustering dé gom các nút lại với nhau dua

trên độ tương đồng của chúng Chúng được biểu diễn như sau:

X=STX

Trong đó:

e X là ma trận đặc trưng của các siêu nút,

28

e ŠS là ma trận pooling, xác định các nút được gom cụm.

2.3.6.2 Quá trình refining

Sau khi đã có siêu đồ thị, quá trình refining được thực hiện để khôi phục laithông tin từ siêu đồ thị về đồ thị gốc Điều này giúp tạo ra các biểu diễn nút chitiết hơn và có khả năng phản ánh cả thông tin địa phương lẫn toàn cục

X=sX

Giả sử A là ma trận kề của đồ thị, X là ma trận đặc trưng của các nút, và H là ma

trận biểu điễn các nút sau mỗi lớp tích chập.

Lớp Graph Convolution Layer (GCL):

Công thức của một lớp tích chập đồ thị được định nghĩa như sau:

e ø là hàm kích hoạt, ví dụ như ReLU.

2.3.7 TFT - Temporal Fusion Transformer

TFT (Temporal Fusion Transformer) [18] là một mô hình mạnh mẽ dành cho các

trường hợp sử dụng dự đoán chuỗi thời gian đa chiều và đa biến

TFT dự đoán tương lai bằng cách lấy các đầu vào như:

e Cac giá tri mục tiêu trong quá khứ (Past target) mang giá tri là y trong một

cửa số nhìn lại có độ dài k: Đây là các giá trị của chuỗi thời gian đã được

quan sát trong khoảng thời gian trước đó.

e Ngoại sinh phụ thuộc thời gian (Time-dependent exogenous): Bao gồm các

đặc trưng không xác định trước khi quá trình dự báo bắt đầu (z) và các đặc

trưng đã được biết trước hoặc có thể dự đoán trong tương lai (x)

29

© Các hiệp biến tĩnh s (Static covariates): Cung cấp siêu dữ liệu bối cảnh về các

thực thé được đo lường, không phụ thuộc vào thời gian

Thay vì chỉ có một giá trị duy nhất, TFT đưa ra các khoảng dự đoán thông qualượng tử Mỗi dự báo q phân vị của r-tiến tới tại thời điểm t có dang:

unknown inputs known inputs

historical target static covariates

values

Hinh 15 Dang du bao q phan vi

Vi dụ: dé dự đoán mức tiêu thụ năng lượng trong tương lai trong các tòa nha,

chúng ta có thê mô tả vị trí dưới đạng đồng biến tĩnh, thời tiết và đữ liệu là cácđặc điểm chưa xác định phụ thuộc vào thời gian và đữ liệu lịch như ngày lễ, ngàytrong tuần, mùa, là các đặc điểm đã biết phụ thuộc vào thời gian

Sau đây là tổng quan về kiến trúc mô hình TFT [19]:

30

Quantile Forecasts -Ý (OL) ø+1(05) + (0.9) Heer (O.1) ø+r(5) š;(0:9

Bây giờ chúng ta hãy đi sâu và từng block:

2.3.8 Gated residual network

GRN được triển khai ở các cấp độ khác nhau của kiến trúc TFT Chúng đảm bao

tính linh hoạt của nó bằng cách giới thiệu các kết nối bỏ qua/dư lượng cung cấpđầu ra của một lớp cụ thê cho các lớp trên trong mạng không liền kề trực tiếp

Bằng cách này, mô hình có thể biết rằng một số lớp xử lý phi tuyến tính là khôngcần thiết và bỏ qua chúng GRN cải thiện khả năng khái quát hóa của mô hình

trong các tình huỗng ứng dụng khác nhau (ví dụ: tập dữ liệu nhiễu hoặc nhỏ) va

giúp giảm đáng kề số lượng tham số và thao tác cần thiết

31

- Dropout

Connection P

Hình 17 Mô họa cấu trúc GRN [28]

2.3.8.1 Bộ mã hóa hiệp phương sai tinh (Static covariate encoders)

Bộ mã hóa hiệp phương sai tĩnh tìm hiểu các vector ngữ cảnh từ siêu dữ liệu tĩnh

và đưa chúng vào các vi trí khác nhau của mang TFT:

1 Lựa chọn biến tạm thời

2 Xử lý cục bộ các biéu diễn thời gian trong lớp Sequence-to-Sequence

3 Làm phong phú tĩnh các biêu diễn thời gian

Điều này cho phép điều kiện hóa việc học biểu diễn theo thời gian với thông tin

tĩnh.

2.3.8.2 Lựa chọn biến

Một khối lựa chọn biến riêng biệt được triển khai cho từng loại đầu vào: hiệp

phương sai tĩnh, đầu vào trong quá khứ (đã biết và chưa biết phụ thuộc vào thời

gian) và đầu vào đã biết trong tương lai

Các khối này học cách cân nhắc tầm quan trọng của từng tính năng đầu vào.Bằng cách này, lớp Sequence-to-Sequence tiếp theo sẽ lấy tổng trọng số lại của

các dau vào được chuyên đôi cho mỗi bước thời gian làm dau vào Ở đây, dau

32