ĐẠI HỌC QUỐC GIA TP HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
LÊ LƯƠNG TRƯỜNG KỲ
DỰ BÁO TÌNH TRẠNG GIAO THƠNG ĐƠ THỊ BẰNG CÁC KỸ THUẬT HỌC MÁY
Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 8480101
Trang 2ĐẠI HỌC QUỐC GIA TP HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
LÊ LƯƠNG TRƯỜNG KỲ
DỰ BÁO TÌNH TRẠNG GIAO THƠNG ĐƠ THỊ BẰNG CÁC KỸ THUẬT HỌC MÁY
Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 8480101
Trang 4CÔNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM
Cán bộ hướng dẫn khoa học: PGS.TS TRẦN MINH QUANG.
Cán bộ chấm nhận xét 1: PGS.TS NGUYỄN VĂN VŨ Cán bộ chấm nhận xét 2: PGS.TS NGUYỄN TUẤN ĐĂNG
Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng 07 năm 2023
Thành phần hội đồng đánh giá luận văn thạc sĩ gồm: 1 Chủ tịch: PGS.TS LÊ HỒNG TRANG 2 Thư ký: TS PHAN TRỌNG NHÂN 3 Phản biện 1: PGS.TS NGUYỄN VĂN VŨ 4 Phản biện 2: PGS.TS NGUYỄN TUẤN ĐĂNG 5 Uỷ viên: PGS.TS TRẦN MINH QUANG.
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)
Trang 5ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc
NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: Lê Lương Trường Kỳ MSHV: 2070414 Ngày, tháng, năm sinh: 16/10/1997 Nơi sinh: Quảng Nam Chuyên ngành: Khoa học máy tính Mã số : 8480101
I TÊN ĐỀ TÀI: DỰ BÁO TÌNH TRẠNG GIAO THƠNG ĐƠ THỊ BẰNG CÁC KỸ THUẬT HỌC MÁY (FORECASTING URBAN TRAFFIC CONDITIONS USING MACHINE LEARNING TECHNIQUES)
II NHIỆM VỤ VÀ NỘI DUNG:
Nghiên cứu và đề xuất mơ hình gom cụm các đoạn đường có tình trạng giao thơng tương tự nhau từ dữ liệu được thu thập trong quá khứ bằng các kỹ thuật học máy, để người dùng có cái nhìn tổng quan về tình trạng giao thơng tại các khu vực khác nhau và dự đốn xu hướng giao thơng trong tương lai
III NGÀY GIAO NHIỆM VỤ : 06/02/2023
IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN: PGS.TS TRẦN MINH QUANG
Trang 6L i c m n
L i u tiên, tơi xin bày t lịng bi t n và g i n th y PGS.TS Tr n MinhQuang l i c m n chân thành Th y ã t n tình ch b o, h ng d n và nh h ngcho tôi trong su t quá trình th c hi n lu n v n này.
Tơi xin g i l i cám n chân thành n qu˝ th y cô Khoa Khoa h c và K thu tMáy Tính vì ã h t lịng truy n d y cho tôi nh ng ki n th c trong su t th i gianh c t p t i tr ng i h c Bách Khoa – i h c Qu c Gia Tp H Chí Minh.
Sau cùng tôi xin c g i l i cám n chân thành nh t n gia ình tơi, b n bè,nh ng ng i ã ln ng viên, khuy n khích và t o i u ki n thu n l i cho tơitrong tồn b q trình h c t p c ng nh th c hi n tài nghiên c u này.
Trang 7Tóm t t
M c ích c a nghiên c u là xu t ph ng pháp d ốn tình tr ng giao thơngb ng các gi i thu t gom c m trong h c máy d a vào d li u trình tr ng giao thông(TTGT) trong quá kh c thu th p t nhi u ngu n khác nhau nh camera giaothông an ninh và ng d ng bên th 3 cung c p TTGT , a ra các o n ngcó TTGT t ng t nhau, th i gian kéo dài c a TTGT t i các o n ng ó vàd oán TTGT t i các o n ng không thu th p c v n t c c ng nh d báoTTGT trong t ng lai c a các o n ng.
Bên c nh ó, k t qu c a tài s cung c p cho ng i tham gia giao thơngcó cái nhìn t ng quan v tình tr ng giao thơng t i các khu v c khác nhau c athành ph t ó có th l a ch n có tuy n ng di chuy n phù h p nh m gi mtình tr ng ùn t c giao thông.
Trang 8Abstract
The purpose of this thesis is to propose a method for predicting traffic conditionsusing clustering algorithms in machine learning based on historical traffic datacollected from various sources such as security traffic cameras and third-partyapplications providing transportation data The aim is to identify similar trafficclusters, the duration of traffic congestion on specific road segments and predicttraffic status at road segments where speed cannot be collected as well as predictthe future traffic status of road segments.
Additionally, the results of this research will provide commuters with an overviewof traffic conditions in different areas of the city, enabling them to choose appropriatetravel routes to alleviate traffic congestion.
Trang 9L i cam oan
Tôi xin cam oan ây là cơng trình nghiên c u khoa h c tôi ã t th c hi n Dli u c s d ng trong toàn b quá trình phân tích c a lu n v n có ngu n g c rõràng và minh b ch, c công b theo úng quy nh và o c nghiên c u khoah c Các k t qu t c c a nghiên c u trong lu n v n này, tôi ã t th c hi nm t cách trung th c và khách quan K t qu lu n v n c công b l n u tiêntrong b n báo cáo này và ch a t ng c cơng b tr c ó.
Trang 10M c l cL i c m niTóm t tiiAbstractiiiL i cam oanivM c l c hìnhviiiThu t ng & t vi t t txi
1 GI I THI U BÀI TOÁN1
1.1 L˝ do ch n tài 11.2 M c ích nghiên c u 21.3 › ngh a khoa h c và th c ti n 41.3.1 › ngh a khoa h c 41.3.2 › ngh a th c ti n 41.4 B c c lu n v n 5
2 CÁC NGHIÊN C U LIÊN QUAN72.1 T ng quan v tình hình ùn t c giao thơng Tp HCM 7
2.2 Các nghiên c u Vi t Nam 8
2.3 Các nghiên c u n c ngoài 9
3 N N T NG L› THUY T123.1 nh ngh a khai phá d li u 12
Trang 11M c l c
3.3.1 T ng quan v theo dõi i t ng - Object Tracking 14
3.3.2 Thu t toán nh n di n và khoanh vùng d li u YOLO - YouOnly Look Once 15
3.3.3 SORT - Simple Online Realtime Object Tracking 17
3.3.4 Deep SORT 20
3.3.5 Gi i thu t tính v n t c 22
3.4 Các thu t toán Machine Learning c áp d ng 23
3.4.1 Thu t toán ng d ng trong gi i thu t gom c m d li u -K_Means Clustering [38] 23
3.4.2 Gi i thu t LSTM (Long Short-Term Memory) 29
4 GI I PHÁPXU T314.1 Mơ hình gom c m d li u 31
4.2 D oán tình tr ng giao thơng d a trên k t qu gom c m 34
4.2.1 D ốn th i gian kéo dài tình tr ng giao thông d a trênv n t c th c t 34
4.2.2 D oán v n t c và th i gian kéo dài c a nh ng segmentsch a thu th p c v n t c 35
4.3 Mơ hình d ốn TTGT t ng lai 37
4.4 Các mơ hình thu th p d li u xu t 38
4.4.1 Mơ hình thu th p d li u t camera an ninh c a S giaothông v n t i (GTVT) 39
4.4.2 Mơ hình thu th p d li u t TomTom 41
5 HI N TH C455.1 Ph ng pháp thu th p d li u 45
5.1.1 Thu th p d li u t camera an ninh c a S GTVT 45
5.1.2 Thu th p và ti n x l˝ d li u t TomTom 47
5.2 Hi n th c quá trình x l˝ và phân tích d li u 49
5.2.1 Xác nh và x l˝ các i m ngo i l 49
5.2.2 Phân tích d li u 51
5.3 Hi n th c gi i thu t gom c m và các ph ng pháp d ốn tìnhtr ng giao thơng d a trên k t qu gom c m 53
Trang 12M c l c
5.3.3 D oán v n t c và th i gian kéo dài c a nh ng segments
ch a thu th p c v n t c 59
5.4 Hi n th c mơ hình d ốn TTGT t ng lai 62
5.5 Hi n th c Website h tr quá trình t ng tác v i h th ng 635.5.1 Hi n th c Backend 635.5.2 Hi n th c Frontend 645.5.3 Ch c n ng 666ÁNH GIÁ VÀ T NG K T NGHIÊN C U686.1 ánh giá h th ng 686.1.1 chính xác c a gi i thu t gom c m 686.1.2 T c x l˝ c a gi i thu t K-means 69
6.1.3 chính xác c a mơ hình d oán TTGT t ng lai 70
6.2 ánh giá k t qu t c 71
6.2.1 › ngh a khoa h c 71
6.2.2 › ngh a th c ti n 72
6.3 xu t h ng m r ng 72
Trang 13Danh sách hình v
1.1 Mơ hình xu t cho vi c thu th p, gom c m d li u và d oán
TTGT 4
3.1 S ki n trúc m ng YOLO [33] 15
3.2 Các layer trong m ng darknet-53 16
3.3 Các mơ hình tr ng thái và mơ hình quan sát c a SORT[24] 19
3.4 Các mơ hình tr ng thái và mơ hình quan sát c a deep SORT [4] 213.5 Hình nh minh h a cho thu t tốn tính v n t c [10] 22
3.6 Ví d v ng d ng c a k-means trong phân lo i 3 nhóm i t ng 243.7 Mơ ph ng thu t tốn k-Means 26
3.8 th hàm bi n d ng c a thu t toán k-Means Tr c tung là giá trc a hàm bi n d ng và tr c hoành là giá tr c a s l ng c m c nphân chia trong thu t toán k-Means 27
3.9 Ki n trúc m ng LSTM 29
4.1 D li u sau khi thu th p t ng d ng TomTom 32
4.2 Mô hình xu t gom c m tình tr ng giao thông 33
4.3 K t qu sau khi áp d ng gi i thu t gom c m d li u quá kh c a10 segments 36
4.4 K t qu sau khi gán c m cho 7 segments ã thu th p c v n t cth c t và tính density cho t ng c m 37
4.5 K t qu sau khi gán c m cho các segments b thi u d li u 37
4.6 Mơ t q trình thu d oán TTGT t ng lai 38
Trang 14Danh sách hình v
5.2 Áp d ng gi i thu t YOLOv4 và DeepSORT t i ng Ph m V nng 465.3 Áp d ng gi i thu t tính v n t c 475.4 th histogram và boxplot c a d li u v n t c 505.5 Th ng kê v s l ng records c thu th p theo t ng qu n 515.6 Bi u th ng kê c a LOS 525.7 Bi u th ng kê phân ph i c a v n t c 525.8 Bi u th ng kê phân ph i c a th i gian kéo dài tình tr ng giao
thơng 535.9 D li u u vào cho bài toán gom c m 545.10 S d ng ph ng pháp Elbow và Silhouette tìm s c m t i u 555.11 K t qu sau khi áp d ng gi i thu t gom c m k-means 565.12 Phân tích k t qu sau khi gom c m 575.13 Danh sách các c m mà m t segment có th thu c v Ví d , segment
12479 s thu c các c m [2, 0, 4, 5] 585.14 K t qu d oán c m cho t ng segments d trên v n t c th c
t trong ó c t centroid_label th hi n c m c gán cho cácsegments t ng ng 585.15 K t qu d oán th i gian kéo dài c a TTGT 595.16 Danh sách s l ng ph n t thu c các c m c a m i segment Ví
d v i k t qu trên, segment 12479 thu c các c m [0, 2, 4, 5] và s
l ng ph n t thu c các c m ó l n l t là [1, 3, 1, 1] 605.17 K t qu gán c m cho các segments b thi u d li u 615.18 K t qu d oán v n t c và th i gian kéo dài v n t c c a các
Trang 15Danh sách b ng
Trang 16Thu t ng & t vi t t t
YOLO You Only Look OnceGPUs Graphics Processing UnitsTTGT Tình tr ng giao thôngLOS level of service
Tp HCM Thành Ph H Chí MinhGTVT Giao Thông V n T iOSM Open Street Map
HBK i H c Bách Khoa
CNN Convolutional Neural Network
SORT Simple Online Realtime Object TrackingDL Deep Learning
Trang 171GI I THI U BÀI TỐN
1.1 L˝ do ch ntài
Ngày nay, giao thơng là m t trong nh ng v n c quan tâm hàng u t i Vi tNam b i vì nó nh h ng tr c ti p n cu c s ng c a ng i dân c bi t là nh ngng i s ng thành ph l n nh H Chí Minh Trong ó, ùn t c giao thông ã vàang t ng ngày nh h ng n nhi u m t c a i s ng xã h i nh làm t ng th igian di chuy n, tiêu hao nhi u nhiên li u, hao mòn ph ng ti n và tr c ti p làm ơnhi m mơi tr ng, th m chí cịn nh h ng n an ninh c ng nh ch t l ng cu cs ng c a ng i dân[1- 2].
gi i quy t v n này, các ng d ng AI ã c áp d ng c i thi n hi uqu c a vi c qu n l˝ và i u hành giao thơng ơ th , ví d nh m t vài ng d ngAI nh nh n di n bi n s xe, xác nh ph ng ti n, theo dõi và giám sát t c Thêm vào ó, s bùng n c a thi t b di ng và d li u l n ã góp ph n mang
n nhi u h n nh ng gi i pháp ti m n ng gi i quy t nh ng v n c a xã h inh v n giao thông c a Tp HCM Cùng v i s ti n b c a khoa h c công ngh ,ngu n d li u c thu th p t nhi u ngu n khác nhau và c chia s t c ng
Trang 181.2 M c ích nghiên c u
nóng trên Tp HCM d a vào d li u l n c ng nh xu t mơ hình d ốn tìnhtr ng giao thơng t ng lai t i các i m này.
Qua vi c áp d ng gi i thu t gom c m, ng i s d ng có th nh n bi t ccác o n ng có TTGT t ng t nhau và xu h ng c a chúng trong d li u giaothơng Các o n ng này có th c xác nh d a trên s t ng ng v cácy u t nh l u l ng giao thơng, t c trung bình và th i gian kéo dài c a tínhtr ng giao thơng i u này cho phép chúng ta có cái nhìn t ng quan v tình tr nggiao thơng t i các khu v c khác nhau c a thành ph và d oán xu h ng giaothông trong t ng lai.
1.2 M c ích nghiên c u
Xu t phát t nhu c u th c t khi tham gia giao thông, m t s câu h i c tra là: "t i m t th i i m làm sao tơi có th bi t c các o n ng có TTGTgi ng nhau? và tình tr ng kéo dài c a chúng là bao lâu?" V i mong mu n i tìmk t qu cho các câu h i trên, tài "D báo tình tr ng giao thơng ơ th b ngcác k thu t h c máy"s nghiên c u và xu t ph ng pháp thu th p d li u thình nh thu c t camera giao thơng và k t h p v i ph ng pháp gom c m td li u TTGT trong quá kh c thu th p t c ng ng c ng nh m t vài ngd ng khác nh d li u t ng d ng bên th ba (TomTom)[3] a ra các o n
ng và xu h ng trong d li u giao thông.
Ph ng pháp gom c m là m t k thu t phân nhóm d li u vào các nhóm cótính ch t t ng t nhau Trong tr ng h p này, d li u giao thông c thu th pt nhi u ngu n khác nhau nh h th ng cung c p d li u bên th 3 ( ng d ngTomTom) , camera an ninh và h th ng i u khi n giao thông D li u này baog m thông tin v l u l ng xe c , t c di chuy n và các y u t khác liên quan
n tình tr ng giao thơng.
Trang 191.2 M c ích nghiên c u
và h th ng thông tin giao thông, giúp h l a ch n l trình t t nh t và tránh k txe.
Nghiên c u này có th cung c p m t c s phát tri n các gi i pháp thôngminh h n qu n l˝ và c i thi n giao thơng, t ó t o ra m t mơi tr ng dichuy n hi u qu , ti t ki m th i gian và thúc y s phát tri n b n v ng c a thànhph H Chí Minh.
V i nh ng v n hi n t i, lu n v n s t p trung gi i quy t 3 v n chính say:
• xu t m t ph ng pháp thu th p d li u m b o ch t l ng d li u uvào nh m ph c v cho quá trình h c máy và phân tích d li u m t cách hi uqu
• Cung c p mơ hình d ốn tình tr ng giao thơng d a vào ph ng pháp gomc m c a h c máy.
• Cung c p mơ hình d ốn tình tr ng giao thông t ng lai d a vào d li uquá kh
• M t h th ng th c nghi m s c tri n khai ánh giá tính hi u qu vàkh thi cho các ph ng pháp xu t phía trên.
Mơ hình tơi xu t trong lu n v n này g m có 4 thành ph n chính sau (hình
1.1):
1 Thu th p, l u tr d li u t Camera an ninh và ng d ng TomTom.
2 X l˝, khai phá (hi n th c mơ hình gom c m) và xây d ng mơ hình d ốnTTGT t ng lai.
Trang 201.3 › ngh a khoa h c và th c ti n
Hình 1.1: Mơ hình xu t cho vi c thu th p, gom c m d li u và d oán TTGT.
1.3 › ngh a khoa h c và th c ti n
1.3.1 › ngh a khoa h c
tài nghiên c u "D báo tình tr ng giao thơng ô th b ng các k thu t h cmáy"s xu t các ph ng pháp thu th p d li u nh thu th p d li u TTGT quacamera b ng có k thu t Deep Learning, t ó làm c s xây d ng h th ngthu th p thông tin TTGT m t cách y và tr i dài trên t t c o n ng c aTp H Chí Minh.
Bên c nh ó, nghiên c u còn xu t ph ng pháp gom c m các o n ng cóTTGT t ng t nhau và mơ hình d ốn TTGT t ng lai, ây có th c xemlà c s làm d li u u vào cho các mơ hình h c máy sau này nh quy t c k th p (association rules) và ph ng pháp h c t ng c ng (Reinforcement Learning)nh m xây d ng h th ng giao thông thơng minh h n, có th t i u ch nh các tínhi u èn giao thơng gi m thi u tình tr ng ùn t c.
1.3.2 › ngh a th c ti n
Trang 211.4 B c c lu n v n
cu i trong m t s tr ng h p nh :
• Ng i qu n l˝ giao thơng (ví d c nh sát giao thơng): có cái nhìn t ng quanv tình tr ng giao thơng thay vì c c b , t ó có th i u ti t giao thơngm t cách h p l˝.
• Ng i dùng ph thơng: có th l a ch n các tuy n ng di chuy n h p l˝ti t ki m chi phí.
1.4 B c c lu n v n
Lu n v n c trình bày theo các thành ph n chính nh sau:
• Ch ng 1 "Gi i thi u bài toán": Ph n này g m nh ng n i dung chính là: L˝do ch n tài, M c ích nghiên c u, › ngh a khoa h c và th c ti n, B c clu n v n.
• Ch ng 2 "Các nghiên c u liên quan": Trong ch ng này, tác gi trình bàynh ng n i dung liên quan n t ng quan v tình hình ùn t c giao thôngTp HCM, các nghiên c u Vi t Nam, các nghiên c u n c ngồi t ó hìnhthành ˝ t ng xây d ng n i dung nghiên c u c a tác gi
• Ch ng 3 "N n t ng l˝ thuy t": Trong ch ng này tác gi trình bày nh ngki n th c c b n c s d ng trong tài, bao g m: nh ngh a khai phád li u, nh ngh a v d li u l n, các thu t toán áp d ng trong thu th pd li u b ng Deep Learning và các thu t toán áp d ng trong gi i thu t gomc m d li u C th g m nh ng ch i m sau:
– nh ngh a khai phá d li u: Trình bày các khái ni m v khai phá dli u c ng nh m c ích c a khai phá d li u.
– nh ngh a v d li u l n: Trình bày v nh ngh a d li u l n và cácc tr ng c a d li u l n nh Volume ( l n c a d li u), Velocity(t c ), Variety ( a d ng), Veracity ( tin c y/ chính xác) và Value(giá tr ).
Trang 221.4 B c c lu n v n
hình YOLO nh n di n i và Deep SORT theo dõi i t ng c ngnh xu t ph ng pháp tính v n t c c a các ph ng ti n tham giagiao thơng.
– Các thu t tốn Machine Learning c áp d ng: Trình bày c s l˝thuy t v thu t toán c áp d ng trong nghiên c u nh k_Means vàtrình bày v c s l˝ thuy t c b n c a gi i thu t (Long Short-TermMemory)
• Ch ng 4 "Gi i pháp xu t": Mơ t ki n trúc tồn b h th ng, các thànhph n ch c n ng, tìm hi u và l a ch n gi i pháp hi n th c các ch c n ng c ah th ng nh th p th p d li u t camera an ninh, thu th p d li u t ngd ng bên th 3 (TomTom) và các mô hình gom c m d li u và xu t cácph ng pháp d ốn TTGT.
• Ch ng 5 "Hi n th c": Hi n th c và cách ho t ng c a các ch c n ng ãc xu t t i ch ng 4.
Trang 232CÁC NGHIÊN C U LIÊN
QUAN
2.1 T ng quan v tình hình ùn t c giao thơngTp HCM
Thành ph H Chí Minh là trung tâm kinh t l n nh t Vi t Nam, ang i m tv i m t tình hình giao thơng ùn t c áng lo ng i V i s l ng ph ng ti n c gi ingày càng t ng, thành ph ang ch ng ki n s gia t ng áng k trong m t giaothông.
Theo Báo cáo Th ng kê Giao thông c a S Giao thông V n t i TP.HCM, t ngs ph ng ti n c gi i ã v t qua m c 9 tri u xe, trong ó g n 7 tri u xe máy và1,5 tri u ô tô S li u này ti p t c t ng cao qua các n m, t o nên áp l c l n cho hth ng giao thơng hi n có.
M t dân s c ng óng vai trị quan tr ng trong tình tr ng ùn t c giao thông.Theo th ng kê c a T ng c c Th ng kê, tính n tháng 4 n m 2021, dân s c aTP.HCM ã v t qua 10 tri u ng i và ti p t c t ng lên S t ng tr ng dân snày cùng v i s phát tri n kinh t t o ra nhu c u di chuy n l n và áp l c lên hth ng giao thông [4-5].
Trang 242.2 Các nghiên c u Vi t Nam
H th ng ng giao thông ch t h p và thi u ng b c ng là m t v n gâyra ùn t c giao thơng ng ph trong thành ph th ng có r ng h n ch , trongkhi s l ng ph ng ti n ngày càng t ng lên i u này là m t trong nh ng tácnhân gây ra s ùn t c và làm gia t ng th i gian di chuy n c a ng i dân.
Giao thơng ùn t c Thành ph H Chí Minh c ng góp ph n vào v n ơnhi m khơng khí Theo ch s ch t l ng khơng khí AQI (Air Quality Index),TP.HCM th ng xuyên v t quá m c cho phép, c bi t là trong các khu v c giaothơng t p trung.
Tóm l i, Thành ph H Chí Minh ang i m t v i tình tr ng ùn t c giaothơng nghiêm tr ng do t ng s l ng ph ng ti n, m t dân s cao, h th ngng ch t h p và thi u ng b Nh ng con s và th ng kê trên ch ra rõ tìnhhình hi n t i và c n ph i có nh ng nghiên c u và gi i pháp h p l˝ c i thi ntình tr ng ùn t c giao thông t i thành ph này.
2.2 Các nghiên c u Vi t Nam
i phó v i tình tr ng ùn t c giao thông Thành ph H Chí Minh, ã cónhi u n l c t phía chính quy n a ph ng và các chuyên gia nghiên c u vàtri n khai các gi i pháp hi u qu Các bài nghiên c u khoa h c trong l nh v c nàyã t p trung vào tính ng d ng c a cơng ngh và các ph ng pháp khoa h c trongvi c d ốn và gi m ùn t c giao thơng.
M t s nghiên c u ã t p trung vào s d ng machine learning và các thu ttoán gom c m d li u phân tích và d ốn tình tr ng giao thơng B ng cáchthu th p và phân tích d li u t các h th ng giám sát giao thông, nh ng nghiênc u này ã xây d ng các mơ hình d ốn ùn t c giao thông và a ra các bi npháp can thi p phù h p gi m thi u tình tr ng này.
Trang 252.3 Các nghiên c u n c ngồi
thơng minh [10]; h th ng m ng l i camera giám sát và i u khi n giao thông; hth ng giám sát và x l˝ vi ph m giao thông [11 - 12] Các cơng trình này ã b c
u em l i nh ng k t qu áng khích l và a ra các nh h ng nghiên c unh m gi m ùn t c giao thông cho Tp HCM.
Tuy nhiên, các ch c n ng x l˝ trong các h th ng hi n có v n cịn khá ngi n, và ây c ng là nh ng i m y u c n c u t nghiên c u nh m nâng caoti m n ng c a các h th ng giám sát và c nh báo giao thông Vi t Nam và cbi t là TP HCM C th , c ch phân tích d li u c a h th ng thông tin giaothông c a VOV [7] và VOH [8] còn n gi n, ch y u d a vào con ng i (quan sáth th ng camera trung tâm, các phân tích c a phóng viên thơng qua t ng tácv i c ng tác viên) Các ch c n ng h tr nh tìm ng thay th , tìm ng ing n nh t, c p nh t thông tin trên ng d ng di ng, v n ch a c phát tri n.
Ngồi ra, các nghiên c u c ng tìm hi u v nh h ng c a y u t khác nh i uki n th i ti t, s ki n c bi t, hay hành vi c a ng i lái xe n tình tr ng giaothơng B ng cách phân tích các y u t này và xây d ng các mơ hình d ốn,nh ng nghiên c u này giúp nhà qu n l˝ giao thông và c quan liên quan có th
a ra các bi n pháp i u hành và qu n l˝ hi u qu gi m ùn t c và c i thi nlu ng giao thông.
Cùng v i vi c áp d ng công ngh thông tin, các nghiên c u c ng tìm hi uv các gi i pháp phân ph i giao thông thông minh, bao g m vi c phân b tuy nng, t h th ng èn giao thơng thơng minh và t i u hóa lu ng giao thôngd a trên d li u th i gian th c i u này giúp t ng tính hi u qu và gi m ùn t cgiao thông trong thành ph
2.3 Các nghiên c u n c ngoài
Trang 262.3 Các nghiên c u n c ngồi
phó k p th i.
Bên c nh ó, có r t nhi u nghiên c u liên quan t i nh n di n và theo dõi it ng s d ng Deep Learning [18]-[22] Trong [18], tác gi ã s d ng Tensor-Flownh n di n i t ng K t qu cho th y r ng h th ng t c chính xáclên n 90.88% Tác gi [19] xu t s d ng fast multi-object tracking v i gi ithu t Kalman filter và Hungarian, h th ng có th ch y t c h n 30 fps v iGPU/CPU Tác gi [20] xu t h th ng theo dõi con ng i cho ám ông sd ng DeepSORT K t qu cho th y r ng h th ng c xu t ã c c i thi nb i vi c phát hi n và theo dõi di chuy n c a m t ng i v i t c x l˝ 2.59 FPS.Tác gi [21] s d ng simple online and real-time tracking (SORT) theo dõi it ng trong m t th i gian dài gi m s l ng thay i nhãn nh danh Thu ttoán c th c hi n 20Hz và s l ng nh danh gi m t 1423 xu ng 781 (45%).
Ngoài ra, áp d ng các gi i thu t gom c m d li u giao thông c ng c cbi t chú ˝ và có nhi u nghiên c u v l nh v c này [24]-[28] Trong bài báo nghiênc u [24], nhóm tác gi ã k t h p ph ng pháp gom c m k-means và m ng n -ronh c sâu d oán lu ng giao thông K t qu cho th y ph ng pháp này giúpc i thi n chính xác c a d oán so v i các ph ng pháp truy n th ng Trong[25], nhóm nghiên c u này s d ng ph ng pháp gom c m và Support VectorRegression (SVR) d ốn tình tr ng k t xe, và cho k t qu t c chínhxác cao và có kh n ng d ốn tình tr ng giao thông trong th i gian th c Bênc nh ó cịn có m t s nghiên c u nh [26] Nghiên c u này t p trung vào phânnhóm lu ng giao thơng và d ốn d a trên các c tr ng không gian th i gian.S d ng ph ng pháp gom c m và m ng n -ron, k t qu cho th y ph ng phápnày giúp c i thi n chính xác c a d oán và hi u qu trong vi c qu n l˝ giaothông Tác gi [27] s d ng ph ng pháp gom c m và Random Forest Regressiond ốn tình tr ng giao thơng trong th i gian th c Nghiên c u này có k t qut c chính xác cao và có kh n ng ng d ng th c t trong vi c qu n l˝giao thông ô th và nghiên c u [28] ã k t h p ph ng pháp gom c m d a trênm t và m ng n -ron LSTM d ốn tình tr ng giao thơng mang l i khn ng d oán t t và áng tin c y trong vi c ng d ng th c t
Trang 272.3 Các nghiên c u n c ngoài
Trang 283N N T NG L› THUY T
3.1nh ngh a khai phá d li u
Khai phá d li u (Knowledge Discovery in Databases - KDD) là m t l nh v cnghiên c u và ng d ng trong l nh v c khoa h c d li u, nh m khám phá tri th cvà thơng tin có giá tr t các t p d li u l n và ph c t p Trong nh ng n m 1990,khai phá d li u ã tr thành m t l nh v c quan tr ng, k t h p các ngành nhth ng kê, trí tu nhân t o và h c máy tìm hi u s quan tr ng và l i ích c a dli u.
Theo m t nh ngh a c a trang web Data-Flair [29], khai phá d li u là m tt p h p các ph ng pháp tính tốn và thu t tốn c áp d ng cho các c s dli u l n và ph c t p M c tiêu c a khai phá d li u là lo i b các chi ti t ng unhiên và ngo i l , khám phá các m u, mơ hình, và quy lu t ti m n trong d li utìm ra thơng tin có giá tr Khai phá d li u c coi là m t công ngh tiênti n hi n nay, là quá trình khám phá tri th c t vi c phân tích kh i l ng l n dli u và l u tr chúng trong nhi u c s d li u khác nhau.
Theo SAS [30], m t công ty chuyên cung c p ph n m m và gi i pháp phân tíchd li u, khai phá d li u là quá trình tìm ki m các chi ti t b t th ng, m u, mơhình và quy lu t trong d li u d oán k t qu và thi t l p các d báo B ngcách áp d ng các k thu t khác nhau, thông tin t khai phá d li u có th h trt ng doanh thu, gi m chi phí, c i thi n m i quan h khách hàng và gi m r i ro.
Trang 293.2nh ngh a v d li u l n - Big data
tìm ra các m u và quy t c có ˝ ngh a Nó là m t trong nh ng l nh v c chính trongkhoa h c d li u, nh m khai thác và s d ng thông tin và tri th c có giá tr t dli u h tr vi c d oán và ra quy t nh trong t ng lai.
M c ích c a vi c khai phá d li u là phát hi n tri th c t d li u, bao g ms d ng các gi i thu t khai phá d li u chuyên d ng d a trên quy nh v hi uqu tính tốn Khai phá d li u nh m tìm ra nh ng m u m i, thông tin ti m nmang tính d ốn ch a c bi t n và có kh n ng mang l i l i ích cho ng is d ng ng th i, khai phá d li u c ng tìm ra nh ng m u d li u quan tr ngnh t t n t i trong c s d li u, m c dù chúng có th b che gi u trong m t l ngl n d li u.
Tóm l i, khai phá d li u là quá trình tìm hi u và phân tích d li u l nkhám phá tri th c, mơ hình và m u d li u có ˝ ngh a Nó óng vai trị quan tr ngtrong vi c tìm ki m thơng tin giá tr và a ra d báo và quy t nh trong nhi ul nh v c khác nhau.
3.2nh ngh a v d li u l n - Big data
D li u l n (Big data) là m t thu t ng c s d ng t cu i nh ng n m 1990,dùng ch l ng d li u kh ng l c t o ra b i các công ty ho t ng cácngành ngh khác nhau, chính ph , cá nhân và các thi t b i n t Big data là m tt p h p d li u r t l n và ph c t p n n i nh ng công c , ng d ng x l˝ d li utruy n th ng khơng th nào m ng c Tuy nhiên, nó l i ch a trong mìnhr t nhi u thơng tin qu˝ giá mà n u trích xu t thành công s giúp r t nhi u chovi c n m b t xu th trong kinh doanh, nghiên c u khoa h c, d ốn phịngtránh các d ch b nh s p phát sinh, phát hi n s m t i ph m, hay o l ng i uki n giao thông theo th i gian th c [31].
Nói n Big Data chúng ta th ng nói n 5V (Volume, Velocity, Variety,Veracity, Value) th hi n c tr ng c a Big Data [32], d a vào 5 c tr ng trênliên h và gi i thích v l˝ do tài này có tiêu là d a vào phân tích d li ul n.
Trang 303.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
th ng thơng tin D li u có th c tìm th y d i nhi u nh d ng khác nhaunh : hình nh, âm thanh, v n b n, video, Velocity (t c ) dùng mô t st ng tr ng v m t t c Bên c nh s gia t ng không ng ng v kh i l ng, t c
t ng tr ng c a d li u c ng t ng lên m t cách r t nhanh chóng Variety ( ad ng) th hi n s t ng lên v tính a d ng c a d li u D li u s phong phú v ir t nhi u c u trúc khác nhau nh : d li u có c u trúc và d li u phi c u trúc (dli u d i d ng video, hình nh, d li u c m bi n, các file logs h th ng, ) Chínhvì s a d ng v m t d li u trong các doanh nghi p và các t ch c t ng lên d nn tính ph c t p c a d li u tr nên ngày càng ph c t p Trong khi ó Veracity( tin c y/ chính xác) là tính xác th c c a d li u, v i s bùng n c a công ngh
c ng nh các n n t ng m ng xã h i d n n s gia t ng m nh m tính t ng tácvà chia s d li u ng i dùng làm cho bài tốn xác nh tin c y và chính xácc a d li u ngày m t khó kh n h n, thách th c v phân tích và lo i b d li uthi u chính xác c ng nh nhi u s óng vai trị quan tr ng c a Big Data ctr ng cu i cùng c a Big Data là Value (giá tr ) giá tr thơng tin là tính ch t quantr ng nh t c a xu h ng cơng ngh Big Data, vì khi b t u tri n khai xây d ngd li u l n thì vi c u tiên chúng ta c n ph i làm ó là xác nh c giá tr c athông tin mang l i nh th nào, khi ó chúng ta m i có quy t nh có nên tri nkhai d li u l n hay khơng K t qu d báo chính xác th hi n rõ nét nh t v giátr c a d li u l n mang l i.
3.3 Các thu t toán áp d ng trong thu th p dli u b ng Deep Learning.
3.3.1 T ng quan v theo dõii t ng - Object Tracking
Object Tracking là bài toán theo dõi m t ho c nhi u i t ng chuy n ng theoth i gian trong m t video Hi u m t cách n gi n nh t, nó là bài tốn m ccao h n so v i object detection, khi i t ng c x lí khơng n gi n là m thình nh mà là m t chu i các hình nh.
Trang 313.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
• ID c a m i i t ng c n m b o luôn không i qua các frame.
• Khi i t ng b che khu t ho c bi n m t sau 1 vài frame, h th ng v n c nm b o nh n di n l i c úng ID khi i t ng xu t hi n.
• Các v n liên quan n t c x l˝ m b o realtime và tính ng d ngcao.
3.3.2 Thu t tốn nh n di n và khoanh vùng d li u YOLO- You Only Look Once
Object Detection là m t bài toán quan tr ng trong l nh v c Computer Vision,thu t toán Object Detection c chia thành 2 nhóm chính:
• Các mơ hình RCNN ( Region-Based Convolutional Neural Networks) gi iquy t các bài toán v nh v và nh n di n v t th
• Các mơ hình v YOLO (You Only Look Once) dùng nh n d ng i t ngc thi t k nh n di n các v t th real-time
Hình 3.1: S ki n trúc m ng YOLO [33]
Yolo là m t mơ hình m ng CNN cho vi c phát hi n, nh n d ng, phân lo i i
t ng (hình 3.1).Ki n trúc YOLO bao g m: base network là các m ng convolution
Trang 323.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
Base network c a YOLO s d ng ch y u là các convolutional layer và các fullyconntected layer Các ki n trúc YOLO khá a d ng và có th tùy bi n thành cácversion cho nhi u kích th c u vào khác nhau.
Trong YOLO version 4 tác gi áp d ng m t m ng feature extractor là darknet-53 M ng này g m 53 convolutional layers k t n i liên ti p, m i layer c theo saub i m t batch normalization và m t activation Leaky Relu gi m kích th cc a output sau m i convolution layer, tác gi down sample b ng các filter v i kíchth c là 2.
Hình 3.2: Các layer trong m ng darknet-53
Các b c nh khi c a vào mơ hình s c scale v chung m t kíchth c phù h p v i kích th c u vào c a mơ hình và sau ó c gom l i thànhbatch a vào hu n luy n.
Hi n t i YOLO version 4 ang h tr 2 u vào chính là 416x416 và 608x60.M i m t u vào s có m t thi t k các layers riêng phù h p v i kích th c c a
u vào Sau khi i qua các layer convolutional thì kích th c gi m d n theo c ps nhân là 2 Cu i cùng ta thu c m t feature map có kích th c t ng i nh
Trang 333.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
Kích th c c a feature map s ph thu c vào u vào i v i input 416x416thì feature map có các kích th c là 13x13, 26x26 và 52x52 Và khi input là 608x608s t o ra feature map 19x19, 38x38, 72x72.
Output c a mơ hình YOLO là m t vector s bao g m các thành ph n:
yT = [p0,(tx, ty, tw, th)¸˚˙˝boundingbox,(p1, p2, , pc)¸˚˙˝scoresof cclasses]Trong ó:
• po là d báo v t th xu t hi n trong bounding box.ã (tx, ty, tw, th)
á
boundingbox
giỳp xỏc nh bounding box Trong ó tx, ty là t a tâm và
tw, th là kích th c r ng, dài c a bounding box.ã (p1, p2, , pc)
á
scoresof cclasses
l vector phân ph i xác su t d báo c a các classes.
Nh v y output s c xác nh theo s l ng classes theo công th c nclass+5.N u hu n luy n 80 classes thì chúng ta s có output là 85 Tr ng h p áp d ng 3anchors/cell thì s l ng tham s output s là:
(nclass+5)◊ 3 =85 ◊ 3 =255
Tuy nhiên, m t trong nh ng v n c n quan tâm khi s d ng mơ hình Yolov4ó chính là t c x l˝ vì v i ki n trúc nhi u l p tích ch p s cho k t qu t t h nso v i các mơ hình khác nh ng c ng làm t ng th i gian ch y c a mơ hình[37].
3.3.3 SORT - Simple Online Realtime Object Tracking
Trang 343.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
cho t ng i t ng Do ó, chúng ta có m t khung q trình x lí v i m i framem i nh sau:
• Detect: phát hi n v trí các i t ng trong frame
• Predict: D ốn v trí m i c a các i t ng d a vào các frame tr c ó
• Associate: Liên k t các v trí detected v i các v trí d ốn c gánID t ng ng
SORT - Simple Online Realtime Object Tracking, c gi i thi u l n u n m2016, ch nh s a b sung version 2 vào n m 2017, xu t gi i pháp cho objecttracking, ng th i gi i quy t c 2 v n multiple object tracking và realtimeobject tracking.
SORT t p trung vào v n liên k t gi a các detection và track sau khi ã detectc t frame, do ó, ph n object detection có th là b t c mơ hình detector
nào hi n nay nh :YOLO(v1, v2, v3, v4, v5),SSD, RCNN (RCNN, Fast RCNN,Faster RCNN, Mask RCNN), CenterNet- Object as Point, Trong originalpaper, tác gi s d ng detector là Faster Region CNN (FrCNN) v i backbonelà VGG 16.
Hai thu t toán c t lõi c a SORT là Kalman Filter và gi i thu t Hungary:
• Kalman Filter: Mơ hình hóa và d ốn tr ng thái c a v t th trong t nglai d a vào chu i tr ng thái quá kh [35].
Trang 353.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
Hình 3.3: Các mơ hình tr ng thái và mơ hình quan sát c a SORT[24]
Ti n trình x lí c a SORT g m 5 b c sau:
1 SORT ti n hành s d ng Kalman Filter doán các tr ng thái track
m i d a trên các track trong quá kh
2 S d ng nh ng track v a d oán c, k t h p v i các detection thu c
t detector, xây d ng ma tr n chi phí cho Assignment Problem Chi phí
c s d ng ánh giá ây là giá tr IOU gi a các bounding box c atrack và detection.
3 S d ng gi i thu t Hungary gi i bài tốn Assignment Problem v i ma
tr n chi phí v a l p.
4 X lí, phân lo i các detection.
Trang 363.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.3.3.4 Deep SORT
Deep SORT c Nicolai Wojke và Alex Bewley phát tri n và là phiên b n ti ptheo c a SORT nh m gi i quy t các v n thi u sót liên quan n s l ng IDswitches cao H ng gi i quy t mà deep SORT xu t d a trên vi c s d ng deeplearning trích xu t các c tr ng c a i t ng nh m t ng chính xác trongq trình liên k t d li u Ngoài ra, m t chi n l c liên k t c ng c xây d ngmang tên Matching Cascade giúp vi c liên k t các i t ng sau khi ã bi n m t 1th i gian c hi u qu h n.
Trong multiple object tracking, c bi t là i v i l p thu t tốn tracking-by-detection, có 2 y u t chính nh h ng tr c ti p n hi u n ng c a vi c theodõi:
• Data Association: Quan tâm n v n liên k t d li u, c th là tiêu chíxét và ánh giá nh m liên k t m t detection m i v i các track ã c l utr s n.
• Track Life Cycle Management: Quan tâm n vi c qu n l˝ vòng i c a m ttrack ã c l u tr , bao g m, khi nào thì kh i t o track, khi nào thì ng ngtheo dõi và xóa track ra kh i b nh ,
Trang 373.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
Hình 3.4: Các mơ hình tr ng thái và mơ hình quan sát c a deep SORT [4]
Lu ng x lí c a Deep SORT c th c hi n tu n t qua các b c d i ây:
1 S d ng Faster Region CNN (v i backbone là VGG16) phát hi n các it ng trong khung hình hi n t i.
2 Deep SORT s d ng Kalman Filter d oán các tr ng thái track m i d atrên các track trong quá kh Các tr ng thái này lúc m i kh i t o s cgán 1 giá tr mang tính th m dị (tentative) Giá tr này n u v n m b oduy trì c trong 3 frame ti p theo, tr ng thái s chuy n t th m dò sangxác nh n (confirmed), và s c g ng c duy trì theo dõi trong 30 frameti p theo Ng c l i, n u m t d u khi ch a 3 frame, tr ng thái s b xóakh i trình theo dõi.
3 S d ng nh ng track ã c xác nh n, ti n hành a vào chi n l c isánh phân t ng (matching cascade) nh m liên k t v i các detection phát hi n
c d a trên o v kho ng cách và c tr ng.
4 Các track và các detection ch a c liên k t s c a n 1 l p l c ti ptheo S d ng gi i thu t Hungary gi i bài tốn phân cơng v i ma tr n chiphí IOU liên k t l n 2.
Trang 383.3 Các thu t toán áp d ng trong thu th p d li u b ng Deep Learning.
6 S d ng Kalman filter hi u ch nh l i giá tr c a track t nh ng detectionã c liên k t v i track và kh i t o các track m i.
V i chi n l c liên k t c ng nh s d ng nh ng o phù h p, Deep SORT ãc i thi n c v n c a SORT L ng switches ID gi m t 1423 xu ng còn 781,t c gi m 45% ng th i gi m các l i liên quan n i t ng b che khu t ho cbi n m t 1 th i gian Dù t c x l˝ có gi m nh , Deep SORT v n m b o t c
x p x th i gian th c (realtime) n u s d ng GPU.
3.3.5 Gi i thu t tính v n t c
Hình 3.5: Hình nh minh h a cho thu t tốn tính v n t c [10]
tính v n t c c a ph ng ti n sau khi thu t theo dõi c chúng, nhóm ã chiao n ng quan sát thành 3 o n AB, BC và CD ng v i các kho ng cách th c
t (theo n v meters) Chúng ta bi t r ng FPS là th i gian chuy n i gi a 2frame liên t c nhau Vì v y, th i gian duy chuy n gi a 2 i m b t k ví d t i m
A sang i m B s b ng s :
Dtab = Dframeab
Trang 393.4 Các thu t tốn Machine Learningc áp d ng.
Trong ó:
• Dframeab: s Frame 1 i m duy chuy n t i m A sang i m B
• FPS : s Frame trên giây c a Camera
Các ph ng trình sau ây bi u di n cho thu t tốn tính v n t c c a tôi:
distance_in_meters_zoneab =dab =|yb≠ ya|(m) (3.1)average_speed=dabDtab + dbcDtbc + dcdDtcd3 (3.2)Trong ó:
• distance_constantab : Kho ng cách th c t gi a 2 i m A và B theo n v
meters
• average_speed : v n t c trung bình khi i qua 3 o n AB, BC và CD
V y trong gi i thu t này, i m c n chú ˝ ó chính là kho ng cách th c t c a
AB, BC và CD là bao nhiêu mét.
3.4 Các thu t toán Machine Learningc áp
d ng.
3.4.1 Thu t toán ng d ng trong gi i thu t gom c m dli u - K_Means Clustering [38]
M t trong nh ng ph ng pháp khai phá d li u ph bi n trong nghiên c u v tìnhtr ng giao thơng là phân c m (clustering) Phân c m giúp chia các i m d li uv giao thơng thành các nhóm d a trên c i m t ng t Các nhóm này có th
Trang 403.4 Các thu t toán Machine Learningc áp d ng.
M t trong nh ng u i m c a ph ng pháp gom c m là kh n ng x l˝ m tl ng l n d li u giao thông V i s l ng ph ng ti n giao thông ngày càng t ng,vi c thu th p và x l˝ d li u tr nên ph c t p Tuy nhiên, ph ng pháp gom c mcó kh n ng x l˝ d li u l n và t ng hóa q trình phân nhóm d li u.
Tuy nhiên, c ng c n nh c n m t s h n ch c a ph ng pháp gom c m trongd ốn tình tr ng giao thơng u tiên, vi c thu th p d li u chính xác và ylà m t thách th c, c bi t là khi ph i liên t c c p nh t d li u th i gian th c.Ngoài ra, các y u t khác nh i u ki n th i ti t và s bi n i trong ho t nggiao thơng c ng có th nh h ng n chính xác c a d ốn.
Trên c s nh ng u i m và h n ch này, vi c s d ng ph ng pháp gom c mc a machine learning d ốn tình tr ng giao thơng t i thành ph H Chí Minhu h a h n mang l i nh ng l i ích áng k B ng cách phân c m, chúng ta có thxác nh và hi u rõ h n v tình tr ng và c i m giao thông t i t ng nhóm, t ó
a ra các gi i pháp và quy t nh phù h p c i thi n hi u su t và gi m ùn t cgiao thơng.
Hình 3.6: Ví d v ng d ng c a k-means trong phân lo i 3 nhóm i t ng
Trong thu t toán k-Means Clustering chúng ta c cung c p m t t p d li u