đề án tốt nghiệp thạc sĩ hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh tây ninh bằng camera kỹ thuật số

Xây dựng há tháng phân lo¿i và phát hián ph°¢ng tián giao thông di chuyán sai phÅn đ°áng, làn đ°áng dựa trên video thái gian thực là xét xem t¿i mát thái điám, trong vùng đang giám sát,

àC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG -

ĐÀ ÁN TàT NGHIÆP TH¾C SĨ Kþ THU¾T (Theo đßnh h°ãng āng dāng)

THÀNH PHà Hâ CHÍ MINH – NĂM 2023

HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG -

CHUYÊN NGÀNH: Hà THàNG THÔNG TIN

LäI CAM ĐOAN

Tôi xin cam đoan đß án th¿c sĩ công nghá thông tin <HÇ tháng phân lo¿i và phát hiÇn ph°¢ng tiÇn tham gia giao thông di chuyÃn sai làn đ°ång trên quác lá thuác tÉnh Tây Ninh bÃng camera kÿ thu¿t sá= là do tôi nghiên cću, tång hāp và

thực hián

Toàn bá nái dung đß án, nhăng đißu đ°āc trình bày là cąa chính cá nhân tôi hoặc là đ°āc tham khÁo, tång hāp đßu đ°āc trích xuÃt vßi nguãn gác rõ ràng Các sá liáu, kÃt quÁ nêu trong đß án là trung thực và ch°a tÿng đ°āc ai công bá trong bÃt kỳ công trình nào khác

Tp HCM, ngày 18 tháng 08 nm 2023

Hác viên thực hiÇn đÁ án

TrÁn Quác ThÁng

LäI CÀM ¡N

Lái đÅu tiên, tôi xin bày tß lòng biÃt ¢n sâu sÃc đÃn PGS.TS Vj Đāc Lung,

ng°ái đã trực tiÃp định h°ßng và h°ßng d¿n tÁn tình cho tôi trong suát quá trình thực hián đß án tát nghiáp Nhăng kinh nghiám và góp ý quý báu cąa thÅy là tißn đß đá giúp tôi mã ráng kiÃn thćc và hoàn thành đß án tát nghiáp

Tôi cũng xin dành lái cÁm ¢n chân thành đÃn quý ThÁy Cô Hác viÇn Công NghÇ B°u Chính ViÅn Thông c¢ sç t¿i TP.HCM Quý ThÅy Cô đã tÁn tình d¿y bÁo

và luôn t¿o đißu kián tát nhÃt cho tôi trong suát quá trình tham gia lßp cao học

Xin trân trọng cÁm ¢n Ban Giám Đác Trung tâm Công nghÇ Thông tin - ViÅn thông Tây Ninh, đã cho phép tôi sā dăng dă liáu camera thông minh cąa VNPT

Tây Ninh CÁm ¢n các b¿n đãng nghiáp, đã t¿o đißu kián vß thái gian và quan tâm đáng viên tinh thÅn trong thái gian tôi học và hoàn thành đß án

Cuái cùng, xin cÁm ¢n gia đình và b¿n bè đã luôn bên tôi, cå vũ và đáng viên tôi trong suát quá trình hoàn thành đß án này

Tp HCM, ngày 18 tháng 08 nm 2023

Hác viên thực hiÇn đÁ án

TrÁn Quác ThÁng

2 Tång quan vß vÃn đß nghiên cću 2

3 Câu hßi nghiên cću 3

4 Măc đích nghiên cću 3

5 Đái t°āng và ph¿m vi nghiên cću 3

6 Ph°¢ng pháp nghiên cću 4

7 Nhăng đóng góp cąa đß tài 4

CH¯¡NG 1: TäNG QUAN NGHIÊN CĀU TRONG VÀ NGOÀI N¯âC 5

1.1 Gißi thiáu 5

1.2 Các nghiên cću trong n°ßc 6

1.3 Các nghiên cću ngoài n°ßc 7

2.2.4Single Shot Detector (SSD)[29] 23

2.2.5You Only Look Once (YOLO) 24

2.4.1.Quy trình theo vết đối tượng 35

2.4.2.Các kỹ thuật theo vết đối tượng 36

2.4.3.Các phương pháp truy vết nhiều vật thể trong video 37

2.5 Gißi thiáu vß OpenCV 41

3.1 Há tháng nhÁn d¿ng làn đ°áng, phát hián chuyán đáng, theo vÃt ph°¢ng tián giao thông 44

K¾T LU¾N VÀ H¯âNG PHÁT TRIÂN 67DANH MĀC CÁC TÀI LIÆU THAM KHÀO 68

DANH MĀC CÁC THU¾T NGĂ, CHĂ VI¾T TÀT Vi¿t TÁt Ti¿ng Anh

OpenCV Open Source Computer Vision Library

CCIR Consultive Committee for International Radio

CUDA Compute Unified Device Architecture

GMM General Method of Moments

LPR License Plate Recognition

MOG Mixture of Gaussians

R-CNN Region with CNN feature

SSD Single-Shot Multibox Detector

SPP-net Spatial Pyramid Pooling net

YOLO You Only Look Once

DANH SÁCH BÀNG

BÁng 2.1: So sánh các mô hình dựa trên R-CNN 22

BÁng 2.2: So sánh chỉ sá AP giăa 2 thuÁt toán YOLO và SSD [9] 25

BÁng 2.3: Các h°ßng tiÃp cÁn phát hián đái t°āng [10] 27

BÁng 4.1: Tháng kê các đái t°āng gán nhãn 58

BÁng 4.2: KÃt quÁ phát hián nhÁn d¿ng ph°¢ng tián 64

BÁng 4.3: KÃt quÁ theo vÃt đái t°āng 64

BÁng 4.4: KÃt quÁ phát hián cÁnh báo ch¿y sai làn đ°áng 65

DANH SÁCH HÌNH VẼ

Hình 2.1: Các b°ßc c¢ bÁn trong mát há tháng xā l{ Ánh 10

Hình 2.2: Minh họa trực quan tách ng°ÿng vßi ng°ÿng bằng 127 13

Hình 2.3: Minh họa cho các ph°¢ng pháp phân ng°ÿng khác nhau 14

Hình 2.4: KÃt quÁ Canny Edge Detection 15

Hình 2.5: Map tÿ không gian Ánh (A) sang không gian Hough (B) 16

Hình 2.6: Hình sin trong không gian Hough 16

Hình 2.7: Biáu dißn trong không gian Hough 17

Hình 2.8: Biáu dißn 2 đ°áng thẳng trong không gian Hough 17

Hình 2.9: KÃt quÁ áp dăng thuÁt toán Hough Transform 18

Hình 2.19: Quy trình theo vÃt đái t°āng 35

Hình 2.20: Nguyên Lý Ho¿t Đáng cąa IoUTracker 37

Hình 2.21: S¢ đã ph°¢ng pháp DEEPSORT 40

Hình 2.22: S¢ đã ph°¢ng pháp CenterTrack [26] 38

Hình 3.1: Mô hình há tháng nhÁn d¿ng làn đ°áng, phát hián chuyán đáng, theo vÃt và phát hián ph°¢ng tián ch¿y sai làn 44

Hình 3.2: Minh họa vị trí lÃp camera giám sát giao thông 45

Hình 3.3: Minh họa vị trí camera và làn đ°áng 46

Hình 3.4: KÃt quÁ áp dăng Canny Edge Detection 47

Hình 3.5: KÃt quÁ áp dăng Hough Transform 47

Hình 3.6: KÃt quÁ áp dăng K-mean lọc các đ°áng nhißu 48

Hình 3.7: L°u đã ho¿t đáng 50

Hình 3.8: Minh họa xác định đái t°āng 51

Hình 3.9: Cách xác định ph°¢ng tián di chuyán sai làn 51

Hình 3.10: Giao dián ch°¢ng trình 53

Hình 4.1: Camera giám sát giao thông 54

Hình 4.2: CÃu trúc bbox gán nhãn YOLO v5 56

Hình 4.3: Công că hß trā gán nhãn dă liáu 57

Hình 4.4: KÃt quÁ gán nhãn 57

Hình 4.5: KÃt quÁ huÃn luyán mô hình lÅn 1 59

Hình 4.7: KÃt quÁ huÃn luyán mô hình lÅn 3 60

Hình 4.6: KÃt quÁ huÃn luyán mô hình lÅn 2 60

Hình 4.8: Phát hián và theo vÃt đái t°āng chuyán đáng trong frame hián t¿i 61

Hình 4.9: KÃt quÁ thā nghiám phát hián xe ch¿y sai làn 63

Mæ ĐÀU 1 Lý do chán đÁ tài

Hián nay, vßi xu thà chuyán đåi sá các ngành các lĩnh vực trong cÁ n°ßc đang dißn ra rÃt m¿nh mÁ, viác ćng dăng công nghá thông tin, đặc biát là các há tháng thông minh mang tính cÃp thiÃt cao

Trong bái cÁnh hāp tác giăa VNPT Tây Ninh và Sã Giao Thông VÁn TÁi tỉnh Tây Ninh nhằm xây dựng Đß án chuyán đåi sá cho Ngành Giao Thông, viác đ°a vào há tháng camera giao thông thông minh t¿i các tuyÃn đ°áng giao thông trọng điám vßi nhißu giÁi pháp ćng dăng cÃp thiÃt khai thác dă liáu tÿ há tháng này nh° tính toán mÁt đá l°u thông, đÃm l°u l°āng xe, nhÁn d¿ng bián sá, nhÁn d¿ng làn đ°áng, đo tác đá xe, nhằm hß trā c¢ quan quÁn l{ nhà n°ßc nâng cao hiáu quÁ giám sát các ph°¢ng tián tham gia giao thông, xā lý kịp thái các tình huáng ùn tÃc hay tai n¿n giao thông cũng nh° viác chÃp hành quy định an toàn giao thông đô thị, góp phÅn nâng cao nhÁn thćc cąa ng°ái dân tham gia giao thông là cÅn thiÃt

Trong nhăng nm gÅn đây trên địa bàn tỉnh phát hián nhißu tr°áng hāp vi ph¿m trÁt tự an toàn giao thông qua camera giám sát giao thông, nguyên nhân xuÃt phát tÿ viác ng°ái đißu khián ph°¢ng tián vi ph¿m quy định vß sā dăng phÅn đ°áng, làn đ°áng luôn chiÃm tỷ lá cao, đćng đÅu các nguyên nhân gây tai n¿n

Tÿ thực tißn cho thÃy, viác ph°¢ng tián giao thông không tuân thą quy định vß sā dăng phÅn đ°áng, làn đ°áng trong tham gia giao thông không nhăng Ánh h°ãng rÃt lßn đÃn xác suÃt xÁy ra tai n¿n cao mà còn Ánh h°ãng đÃn mćc đá nghiêm trọng cąa mßi vă tai n¿n Do vÁy cÅn thiÃt phÁi có mát há tháng quÁn lý và giám sát giao thông thông minh phát hián ph°¢ng tián l°u thông sai làn đ°áng theo thái gian thực nhằm hß trā c¢ quan quÁn l{ nhà n°ßc phát hián cÁnh báo sßm đá có ph°¢ng án xā lý kịp thái tránh phát sinh tai n¿n cũng nh° giÁm thiát h¿i vß h¿ tÅng, tài sÁn và tính m¿ng cąa ng°ái dân, và đó chính là l{ do tôi chọn thực hián đß tài này

2 Tång quan vÁ v¿n đÁ nghiên cāu

Hián nay, trên thà gißi cũng nh° ã n°ßc ta có rÃt nhißu nghiên cću vß bài toán nhÁn d¿ng làn đ°áng, phát hián và phân lo¿i và theo vÃt ph°¢ng tián tham gia giao thông Tuy nhiên các giÁi pháp hián t¿i còn riêng l¿ và chuyên biát nên v¿n còn nhißu vÃn đß cÅn nghiên cću đÅy đą thêm liên quan đÃn sự kÃt hāp các giÁi pháp, mÁt đá dày đặc cąa ph°¢ng tián tham gia giao thông, đặc biát là xe máy và xe ô tô

Trong bái cÁnh Viát Nam hián nay, viác nghiên cću và xây dựng há tháng phân lo¿i và phát hián ph°¢ng tián giao thông di chuyán sai phÅn đ°áng, làn đ°áng tích hāp vào há tháng giám sát giao thông thông minh là đißu cÅn thiÃt có { nghĩa cÁ vß mặt lý thuyÃt và thực tißn

Xây dựng há tháng phân lo¿i và phát hián ph°¢ng tián giao thông di chuyán sai phÅn đ°áng, làn đ°áng dựa trên video thái gian thực là xét xem t¿i mát thái điám, trong vùng đang giám sát, có nhăng lo¿i ph°¢ng tián gì, sá l°āng t°¢ng ćng, các ph°¢ng tián đó có đi đúng phÅn đ°áng làn đ°áng theo quy định luÁt giao thông đ°áng bá hián hành cąa Viát Nam hay không

Há tháng thuác nhóm các ćng dăng liên quan đÃn lĩnh vực giao thông thông minh và cũng đ°āc ćng dăng trong nhißu lĩnh vực nh° quÁn lý, giám sát giao thông nh° cÁnh báo xâm nhÁp, báo trám, cÁnh báo cháy, giám sát bÁo vá các khu vực quan trọng

Yêu cÅu c¢ bÁn cąa há tháng là trích xuÃt đ°āc ph°¢ng tián giao thông vi ph¿m di chuyán sai phÅn đ°áng, làn đ°áng dành riêng cho tÿng lo¿i ph°¢ng tián

Nhìn chung, điám mßi cąa đß tài là kÃt hāp giÁi pháp nhÁn d¿ng làn đ°áng và nhÁn d¿ng ph°¢ng tián, theo vÃt đ°āc các ph°¢ng tián tÿng làn đ°áng, các dă liáu đ°āc thu thÁp và gán nhãn ã Tây Ninh Các giÁi thuÁt không mßi nh°ng lÅn đÅu đ°āc áp dăng và thā nghiám ã Tây Ninh

3 Câu hßi nghiên cāu

Xây dựng há tháng Há tháng phân lo¿i và phát hián ph°¢ng tián tham gia giao thông di chuyán sai làn đ°áng trên quác lá thuác tỉnh Tây Ninh bằng camera kỹ thuÁt sá mang l¿i lāi ích gì cho các sã ban ngành?

CÅn nhăng dă liáu nào phù hāp, đá có thá quÁn lý và giám sát?

Sā dăng ph°¢ng pháp nào đá trích xuÃt làn đ°áng, phát hián, nhÁn dián đái t°āng chuyán đáng?

Ćng dăng phép toán nào đá xác định ph°¢ng tián tham gia giao thông di chuyán sai làn đ°áng?

4 Māc đích nghiên cāu

Đß án tÁp trung nghiên cću các lý thuyÃt liên quan đÃn vÃn đß xā lý Ánh, bài toán nhÁn d¿ng và phân lo¿i đái t°āng, phát hián và truy vÃt đái t°āng qua video

Nghiên cću các lý thuyÃt liên quan bài toán xác định ph°¢ng tián đi sai làn đ°áng

Xây dựng thā nghiám há tháng phân lo¿i và phát hián ph°¢ng tián giao thông di chuyán sai phÅn đ°áng, làn đ°áng

5 Đái t°ÿng và ph¿m vi nghiên cāu

Đái t°āng nghiên cću là h¿ tÅng giao thông đ°áng bá că thá là làn đ°áng bá, các lo¿i ph°¢ng tián tham gia giao thông trên đ°áng qua camera kỹ thuÁt sá giám sát giao thông

Các ph°¢ng pháp nhÁn d¿ng đái t°āng, theo vÃt đái t°āng và bài toán xác định đái t°āng trong vùng quan sát

Ph¿m vi cąa đß án này chỉ tÁp trung vào nhÁn d¿ng làn đ°áng đ°āc phân làn cá định: Đ°áng giao thông có 3 làn: làn ngoài cùng dành cho xe ô tô; làn giăa cho xe tÁi, container; làn trong dành cho xe máy; nhÁn d¿ng mát sá lo¿i xe: xe ô tô con, ô tô khách, xe tÁi, xe container, xe máy

Camera giám sát đ°āc đặt cá định t¿i các giao lá trên tuyÃn quác lá thuác địa phÁn tỉnh Tây Ninh Môi tr°áng thā nghiám trong đißu kián sáng và rõ, giám sát đ°āc chuyán đáng cąa các ph°¢ng tián.

6 Ph°¢ng pháp nghiên cāu

- Thu thÁp và nghiên cću các công trình nghiên cću vß lĩnh vực giám sát giao thông thông minh qua video, hình Ánh trên thà gißi và trong n°ßc

- Thu thÁp các dă liáu làn đ°áng và ph°¢ng tián giao thông qua video giám sát giao thông trên địa bàn tỉnh Tây Ninh

- Phân tích, lựa chọn giÁi pháp và hián thực thā nghiám - Đánh giá kÃt quÁ và hiáu chỉnh nÃu có

7 Nhăng đóng góp cÿa đÁ tài

VÁn dăng các thuÁt toán trích xuÃt làn đ°áng, phân lo¿i, theo vÃt và phát hián ph°¢ng tián tham gia giao thông di chuyán sai làn đ°áng trên quác lá thuác tỉnh Tây Ninh bằng camera kỹ thuÁt sá

Xây dựng há tháng phân lo¿i và phát hián ph°¢ng tián tham gia giao thông di chuyán sai làn đ°áng

CH¯¡NG 1: TäNG QUAN NGHIÊN CĀU TRONG VÀ NGOÀI N¯âC

1.1 Giãi thiÇu

T¿i các n°ßc phát trián, viác sā dăng camera giám sát khá phå biÃn vßi rÃt nhißu tính nng thông minh nh° đo tác đá, nhÁn d¿ng bián sá, phân lo¿i xe, phát hián ng°āc chißu, xe đi vào vùng cÃm,… đ°āc bá trí kín đáo và mÁt đá dày đặc

Đái vßi tình hình giao thông phćc t¿p cąa Viát Nam hián nay, viác xây dựng há tháng nhÁn d¿ng làn đ°áng và phân lo¿i ph°¢ng tián tham gia giao thông v¿n còn nhißu thách thćc nh° thành phÅn tham gia giao thông đa d¿ng và phćc t¿p đặc biát là xe máy, mÁt đá giao thông tng nhanh ã mát sá thái điám, đißu kián môi tr°áng xÃu nh° c°áng đá sáng không đÁm bÁo, m°a, góc đặt thiÃt bị giám sát, v.v…

Hián t¿i, đá có thá phát hián nhăng tr°áng hāp xe di chuyán sai làn đ°áng quy định, đòi hßi cán bá giám sát phÁi thiÃt lÁp cÃu hình thą công rÃt mÃt thái gian ThiÃt bị giám sát chuyên dăng có chi phí rÃt cao không khÁ thi cho viác trang bị sá l°āng lßn Vì vÁy, giÁi pháp tÁn dăng các hình Ánh thu đ°āc tÿ video giám sát giao thông, áp dăng các kỹ thuÁt xā lý Ánh, hay giÁi pháp máy học đá phân tích nhÁn d¿ng làn đ°áng, nhÁn d¿ng ph°¢ng tián tÿ đó xác định ph°¢ng tián đang di chuyán trên làn đ°áng nào đang đ°āc nhißu nhà nghiên cću quan tâm

Tóm l¿i, h°ßng tiÃp cÁn sā dăng các kỹ thuÁt xā lý Ánh, kỹ thuÁt học sâu đá phát hián và phân lo¿i ph°¢ng tián tham gia giao thông theo làn đ°áng trong há tháng giám sát giao thông là phù hāp vßi hián tr¿ng camera đang đ°āc trang bị vßi sá l°āng lßn trên khÃp cÁ n°ßc

1.2 Các nghiên cāu trong n°ãc

â n°ßc ta, các công trình nghiên cću vß bài toán phát hián ph°¢ng tián di chuyán sai làn đ°áng qua camera còn rÃt h¿n chà do tính phćc t¿p và ćng dăng vào thực tà Đa phÅn là các nghiên cću liên quan đÃn kỹ thuÁt nhÁn d¿ng đái t°āng, phát hián đái t°āng chuyán đáng, theo vÃt đái t°āng và dự đoán h°ßng di chuyán trong video

Nm 2016, nghiên cću <Dự đoán h°ßng di chuyán và xác định tác đá xe qua camera giám sát= [3] cąa các tác giÁ Lâm Hău TuÃn, Huỳnh Phăng Toàn, TrÅn Cao Đá, Nguyßn Thị Hãng Nhung sā dăng ph°¢ng pháp mát <khung đo= đá xác định tác đá xe trong video giao thông, phát hián đái t°āng chuyán đáng bằng kỹ thuÁt trÿ nßn và dự đoán h°ßng di chuyán, tính vÁn tác cąa đái t°āng bằng phép toán trung bình có trọng sá Tÿ thực nghiám cąa các tác giÁ cho thÃy kÃt quÁ khá chính xác, đo đ°āc tác đá nhißu ph°¢ng tián cùng lúc và có thá xā lý Ánh, video đ°āc thu bằng camera th°áng

Nm 2019, công trình cąa tác giÁ Bùi TrÅn TiÃn <NhÁn d¿ng ph°¢ng tián dựa vào kỹ thuÁt học sâu= [7] Tác giÁ sā dăng YOLOv4 trong viác nhÁn d¿ng ph°¢ng tián giao thông Vßi viác thay đåi cÃu trúc cąa mô hình YOLOv4 so vßi các phiên bÁn tr°ßc, có thá cÁi thián tác đá, đá chính xác cąa mô hình Trong thā nghiám cąa tác giÁ vßi các ph°¢ng tián giao thông nh° ô tô con và xe máy viác thay đåi sá filter tích chÁp (convolutional) đã cÁi thián tác đá dự đoán đáng ká mà không giÁm đi đá chính xác cąa há tháng trong đißu kián ánh sáng tát

T¿i hái nghị FAIR 2020, công trình <KhÁo sát bài toán nhÁn dián và đo tác đá ph°¢ng tián tham gia giao thông= [5] cąa tác giÁ Vũ Đćc Lung và các cáng sự gißi thiáu đã khÁo sát và phân lo¿i các kỹ thuÁt và h°ßng tiÃp cÁn phå biÃn hián nay đái vßi hai bài toán phát hián và đo tác đá ph°¢ng tián tham gia giao thông ván là c¢ sã cho nhißu há xā lý kà tiÃp nh° theo vÃt, phân tích hành vi Đãng thái các tác giÁ tång hāp và đß xuÃt mát sá bá dă liáu th°áng dùng đá huÃn luyán và đánh giá kÃt quÁ

Nm 2022, công trình cąa tác giÁ L{ Bng, <Há Tháng Đo Tác Đá Ph°¢ng Tián Giao Thông Trên Quác Lá Bằng Camera Kỹ ThuÁt Sá= [13] Tác giÁ sā dăng

SSD – Single Shot Detector và Optical flow đá phát hián ph°¢ng tián và xác định tác đá đái t°āng Tÿ kÃt quÁ thực nghiám cąa tác giÁ cho thÃy viác phát hián và theo vÃt ph°¢ng tián khá tát tuy nhiên v¿n còn mát sá ít ph°¢ng tián bị bß qua hoặc không lÃy đ°āc tác đá do có mát sá ph°¢ng tián quá khå thái gian vào và ra video không đ°āc chính xác

1.3 Các nghiên cāu ngoài n°ãc

Hián nay, trên thà gißi có rÃt nhißu công trình nghiên cću vß kỹ thuÁt xā lý Ánh, kỹ thuÁt trÿ nßn, kỹ thuÁt học sâu đá nhÁn d¿ng, theo vÃt đái t°āng nh° làn đ°áng, các ph°¢ng tián giao thông, đo tác đá

Nm 2014, công trình cąa các tác giÁ Jianqiang Ren, Yangzhou Chen, Le Xin, Jianjun Shi, <Lane Detection in Video-Based Intelligent Transportation Monitoring via Fast Extracting and Clustering of Vehicle Motion Trajectories= [19] Bài báo này đß xuÃt mát ph°¢ng pháp mßi đá phát hián trung tâm làn đ°áng thông qua trích xuÃt nhanh chóng và phân căm quỹ đ¿o chuyán đáng cąa ph°¢ng tián vßi đá chính xác cao ĐÅu tiên, các tác giÁ sā dăng bÁn đã ho¿t đáng (activity map) đá phát hián tự đáng trích xuÃt vùng đ°áng, hiáu chỉnh camera đáng và thiÃt lÁp ba đ°áng phát hián Áo Kà đÃn, ba đ°áng phát hián Áo và mát mô hình nßn căc bá vßi phÁn hãi luãng giao thông đ°āc sā dăng đá trích xuÃt và nhóm các điám đặc tr°ng cąa ph°¢ng tián trong mát đ¢n vị ph°¢ng tián Sau đó, các nhóm điám đặc tr°ng đ°āc mô tÁ chính xác bằng biáu đã đáng có trọng sá c¿nh và đ°āc sāa đåi bằng bá lọc t°¢ng tự chuyán đáng Kalman trong quá trình theo dõi điám đặc tr°ng th°a thßt Sau khi có đ°āc quỹ đ¿o cąa ph°¢ng tián, mát căm gia tng k-means thô vßi khoÁng cách Hausdorff đ°āc thiÃt kà đá thực hián viác trích xuÃt trung tâm làn đ°áng trực tuyÃn nhanh chóng vßi đá chính xác cao Tuy nhiên vßi tình tr¿ng giao thông th°a thßt, không đãng đßu trong suát thái gian giám sát thì viác nhÁn d¿ng tâm làn đ°áng qua quỹ đ¿o di chuyán cąa ph°¢ng tián l¿i giÁm hiáu quÁ đáng ká

Nm 2016, công trình cąa Dominik Zapletal và các cáng sự <Vehicle Re-Identification for Automatic Video Traffic Surveillance= [13], nhÁn dián ph°¢ng tián sā dăng 3D bounding box, chỉ dùng mặt bên và mặt tr°ßc cąa vÁt thá (không dùng

hình Ánh tÿ đỉnh xe), sau đó ghép hai phÅn l¿i thành mát Ánh đ¿i dián cho vÁt thá đó và trích xuÃt đặc tr°ng màu sÃc tÿ Ánh đó dùng linear SVM classifier Các đặc tr°ng đ°āc sā dăng trong tÿng mô hình riêng biát đá có đ°āc kÃt quÁ tát nhÃt trong thái gian tính toán CPU ngÃn nhÃt Ph°¢ng pháp đ°āc đß xuÃt ho¿t đáng vßi đá chính xác cao (60% true positives, 10% false positive trên mát tÁp con cąa dă liáu thā nghiám) trong 85ms thái gian tính toán cąa CPU (Core i7) cho mßi lÅn nhÁn d¿ng l¿i mát ph°¢ng tián Các ćng dăng cąa nghiên cću này bao gãm tìm kiÃm các tham sá quan trọng nh° thái gian di chuyán, l°u l°āng giao thông hoặc thông tin giao thông trong há tháng giám sát và giám sát giao thông phân tán

Nm 2018, công trình cąa Zheng Tang, và các cáng sự <Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features= [14] sā dăng hai ph°¢ng pháp đ¢n camera 3D và đa camera đá xác định phân lo¿i và °ßc l°āng tác đá ph°¢ng tián Că thá, mát mô hình ngo¿i hình thích ćng dựa trên biáu đã tÅn suÃt đ°āc gißi thiáu đá học lịch sā lâu dài cąa các đặc tr°ng hình Ánh cho tÿng ph°¢ng tián că thá Ngoài ra, các tính nng ngă nghĩa bao gãm đá m°āt cąa quỹ đ¿o di chuyán, thay đåi vÁn tác và thông tin thái gian đ°āc tích hāp vào chiÃn l°āc phân căm bottom-up đá kÃt hāp dă liáu trong mßi chà đá xem camera Ngoài ra, tái °u hóa tiÃn hóa đ°āc áp dăng cho hiáu chuẩn máy Ánh đá °ßc tính tác đá 3D đáng tin cÁy ThuÁt toán đ¿t đ°āc hiáu suÃt cao nhÃt trong cÁ °ßc tính tác đá 3D và nhÁn d¿ng l¿i ph°¢ng tián Bài báo đ°āc top 1 cuác thi NVIDIA AI City 2018

Nm 2018, công trình cąa các tác giÁ Ahmad Arinaldi, Jaka Arya Pradana, Arlan Arventa Gurusinga <Detection and classification of vehicles for traffic video analytics= [16] Các tác giÁ trình bày mát há tháng phân tích video giao thông dựa trên kỹ thuÁt thị giác máy tính Há tháng này đ°āc thiÃt kà đá tự đáng thu thÁp các sá liáu tháng kê quan trọng theo cách tự đáng Nhăng sá liáu tháng kê này bao gãm đÃm ph°¢ng tián, phân lo¿i lo¿i ph°¢ng tián, °ßc tính tác đá ph°¢ng tián tÿ video và giám sát viác sā dăng làn đ°áng PhÅn chính cąa há tháng là nhÁn d¿ng và phân lo¿i ph°¢ng tián trong video giao thông Các tác giÁ áp dăng hai mô hình là há tháng

MoG + SVM và mô hình dựa trên RCNN nhanh h¢n Qua thực nghiám cąa các tác giÁ cho thÃy RCNN nhanh h¢n v°āt trái so vßi MoG trong viác phát hián các ph°¢ng tián tĩnh, chãng chéo hoặc trong đißu kián ban đêm RCNN nhanh h¢n cũng v°āt trái so vßi SVM trong viác phân lo¿i các lo¿i ph°¢ng tián dựa trên hình thćc bên ngoài

Nm 2020, công trình cąa các tác giÁ Zequn Qin, Huanyu Wang, and Xi Li <Ultra Fast Structure-aware Deep Lane Detection=, các tác giÁ đ°a ra h°ßng tiÃp cÁn mßi trong viác nhÁn d¿ng làn đ°áng Các tác giÁ đß xuÃt ph°¢ng pháp mô hình hóa cÃu trúc cąa làn đ°áng, xā lý viác nhÁn d¿ng làn dựa trên viác chọn các đặc tr°ng chung theo tÿng dòng (tćc chia mô hình làn đ°áng thành các row đá xā lý) KÃt quÁ thực nghiám đ¿t đ°āc hiáu suÃt tái °u vß cÁ tác đá và đá chính xác Mát phiên bÁn trọng l°āng nhẹ thÁm chí có thá đ¿t đ°āc h¢n 300 khung hình mßi giây vßi cùng đá phân giÁi, nhanh h¢n ít nhÃt 4 lÅn so vßi các ph°¢ng pháp hián đ¿i tr°ßc đây

Tÿ kÃt quÁ nghiên cću tång quan các công trình ã trên cho thÃy các giÁi pháp dùng học sâu hián nay cho kÃt quÁ chính xác h¢n nhißu và hián đ°āc áp dăng sâu ráng h¢n do đó trong đß án này học viên sÁ áp dăng ph°¢ng pháp học sâu đá phát hián ph°¢ng tián cho giao thông Viát Nam

CH¯¡NG 2: C¡ Sæ LÝ THUY¾T

Trong ch°¢ng này sÁ trình bày các ph°¢ng pháp liên quan đÃn xā l{ Ánh và phát hián, nhÁn d¿ng đái t°āng, theo vÃt đái t°āng, xác định đái t°āng giao nhau phå

biÃn đang đ°āc áp dăng và nhăng h¿n chà cąa các ph°¢ng pháp này 2.1 Các kÿ thu¿t xā lý 愃ऀnh

Quá trình xā l{ Ánh [4] là quá trình tác đáng lên Ánh măc đích là đá t¿o ra mát Ánh tát h¢n hay mát kÃt luÁn vß vÃn đß nào đó

Các b°ßc c¢ bÁn trong há tháng xā l{ Ánh nh° hình 2.1 sau:

Các thành phÅn trong s¢ đã hình 2.1 bao gãm: 1 PhÅn thu nhÁn Ánh (Image Acquisition)

Ành thu vào thông qua camera màu hoặc đen trÃng ChÃt l°āng Ánh phă thuác vào thiÃt bị camera, các đißu kián vß môi tr°áng nh° ánh sáng, phong cÁnh, nhiát

2 Tißn xā l{ (Image Processing)

Ành thu đ°āc ã giai đo¿n 1 có thá bị nhißu do tác nhân bên ngoài nên giai đo¿n tißn xā l{ thực hián lọc nhißu và tng đá t°¢ng phÁn cąa Ánh nhằm làm Ánh rõ nét h¢n, nâng cao chÃt l°āng Ánh cung cÃp cho công đo¿n xā l{ kà tiÃp

3 Phân đo¿n (Segmentation) hay phân vùng Ánh

Công đo¿n này tiÃn hành phân tách Ánh thành các vùng con đá biáu dißn phân tích và nhÁn d¿ng

4 Biáu dißn Ánh (Image Representation)

Công đo¿n này biáu dißn Ánh theo các đặc tr°ng nh°: biên và vùng Ánh (còn gọi là boundary và region) bằng mát sá ph°¢ng pháp th°áng dùng: mã ch¿y (run-length code), mã xích (chaine -code), mã tć phân (quad-tree code)

5 NhÁn d¿ng và nái suy Ánh (Image Recognition and Interpretation)

NhÁn d¿ng Ánh là quá trình xác định Ánh, so sánh vßi m¿u chuẩn đã đ°āc học tÿ tr°ßc vßi hai ph°¢ng pháp c¢ bÁn là ph°¢ng pháp nhÁn d¿ng theo tham sá và ph°¢ng pháp nhÁn d¿ng theo cÃu trúc và nái suy Ánh là phán đoán theo { nghĩa trên c¢ sã nhÁn d¿ng Ánh

6 C¢ sã tri thćc (Knowledge Base)

Đái t°āng Ánh là mát đái t°āng khá phćc t¿p có nhißu yÃu tá Ánh h°ãng dß gây nhißu Ánh d¿n đÃn khó khn trong nhißu khâu xā lý và phân tích Ánh kà tiÃp nh° đ°áng nét, đá sáng tái, dung l°āng điám Ánh, môi tr°áng thu nhÁn Ánh Hián nay, có nhißu kỹ thuÁt xā lý Ánh bằng ph°¢ng pháp trí tuá nhân t¿o đ°āc áp dăng nhằm làm lo¿i bß Ánh h°ãng đá đ¿t đ°āc kÃt quÁ tát h¢n

2.1.2 Một số vấn đề cơ bản trong xử lý ảnh

 Điểm ảnh hay phần tử ảnh (Picture Element)

Trong không gian 2 chißu, điám Ánh hay còn gọi là pixel là mát phÅn tā cąa Ánh sá t¿i to¿ đá (x, y) vßi mćc xám hay màu că thá Mßi phÅn tā trong ma trÁn đ°āc

gọi là mát phÅn tā Ánh.[4]

 Độ phân giải ảnh (resolution)

Đá phân giÁi cąa Ánh là mÁt đá điám Ánh trên Ánh sá đ°āc biáu dißn bãi bÁng hai chißu I (n, p): n dòng và p cát VÁy nên đá phân giÁi Ánh gãm n x p pixels Thông th°áng k{ hiáu I (x, y) thá hián mát pixel và giá trị n = p = 256

 Mức xám (Gray level)

Mćc xám là giá trị thá hián c°áng đá sáng cąa mßi điám Ánh Các mćc mã hóa th°áng là 16, 32 hay 64 Mćc mã hóa 256 là phå dăng

 Biểu diễn ảnh xám

Mćc xám đ°āc mô tÁ t°¢ng ćng vßi mßi điám Ánh (x, y) trên cùng mặt phẳng bằng mát f (x, y) Trong đó, x là sá hiáu cát, y là sá hiáu dòng trên Ánh

Vßi Ánh có bÁng màu R, G, B thì f (x, y) =3 byte là sá hiáu màu Các giá trị màu cąa điám Ánh là thá hián cąa Ành h¢n 256 màu

 Phân ngưỡng ảnh (threshold)

- Phân ngưỡng ảnh đơn giản

GiÁ sā Ánh I vßi kích th°ßc là m x n, gãm Min, Max và ng°ÿng ¸ khi đó: Kỹ thuÁt tách ng°ÿng thá hián nh° sau:

for (i = 0; i < m; i + +) for (j = 0; j < n; j + +)

I[i, j] = I [i, j] > = ¸? Max: Min;

NÃu ta cho Min = 0, Max = 1 đây là kỹ thuÁt chuyán mát Ánh thành Ánh đen trÃng

Viác tách các ng°ÿng theo các cách khác nhau thá hián nh° hình 2.2

- Phân ngưỡng thích nghi (Adaptive Thresholding):

Trong mát sá tr°áng hāp, ví dă nh° ánh sáng không đãng đßu trên Ánh, chúng ta dùng ph°¢ng thćc phân ng°ÿng thích nghi Ph°¢ng pháp này không lÃy ng°ÿng cá định mà sā dăng ph°¢ng thćc tính giá trị trung bình cąa n điám lân cÁn pixel đó trÿ cho C (với n thường là số lẻ, và C là một số nguyên bất kỳ) Hình 2.3 minh họa các cách phân ng°ÿng Ánh thích nghi:

Hình 2.2: Minh háa trực quan tách ng°ỡng vãi ng°ỡng bÃng 127

 Phát hiện cạnh bằng thuật toán Canny Edge Detection:

Tång quan, thuÁt toán Canny Edge Detection gãm có 4 b°ßc:

1 LÃy đ¿o hàm cąa Ánh theo chißu ngang và dọc theo phân phái Gaussian 2 Tính c°áng đá và h°ßng cąa gradient

3 Non-maximum suppression nhăng pixel thÿa

4 Sā dăng threshold đá t¿o lo¿i bß c¿nh nhißu, xác định c¿nh thực sự (real edge)

Hình 2.3: Minh háa cho các ph°¢ng pháp phân ng°ỡng khác nhau

(Nguồn: docs.opencv.org [21])

Khi áp dăng thuÁt toán Canny Edge Detection Ta có thá nhìn thÃy cô gái trong Ánh cąa phÅn kÃt quÁ hình 2.4 có nhißu đ°áng biên bao quanh c¢ thá dày h¢n Ánh gác, nhăng đ°áng biên trã nên sÃc nét và mÁnh h¢n, lo¿i bß nhăng pixel thÿa

 Phát hiện đường thẳng bằng Hough Transform

Ý t°ãng chính cąa giÁi thuÁt phát hián đ°áng thẳng Hough Transform đó là: Dựa trên kÃt quÁ phát hián c¿nh đá tiÃn hành phát hián đ°áng thẳng GiÁi thuÁt phát hián c¿nh phå biÃn là Canny Edge Detection

Trên mßi pixel c¿nh (pixel thuác c¿nh đ°āc phát hián trong Ánh), ta lÅn l°āt thā các ph°¢ng trình đ°áng thẳng đi qua pixel đó Sá ph°¢ng trình đ°áng thẳng ta thā càng nhißu thì sÁ cho ra kÃt quÁ phát hián đ°áng thẳng càng tát (ít bß lÿ đ°áng thẳng có trong Ánh h¢n) Pixel c¿nh đó sÁ "vote" thêm 1 giá trị vào ma trÁn tháng kê Sau khi duyát hÃt tÃt cÁ các pixel c¿nh, ta sÁ lọc theo mát giá trị ng°ÿng (xác định tr°ßc) trên ma trÁn tháng kê đá giă l¿i các ph°¢ng trình đ°áng thẳng có trong Ánh

Hình 2.4: K¿t qu愃ऀ Canny Edge Detection

Tÿ mát đ°áng thẳng trong không gian Ánh (A) vßi 2 tham sá ρ và ¸, chúng ta

Tÿ mát điám trong không gian Ánh, chúng ta l¿i có đ°āc mát hình sin trong không gian Hough:

Các điám nằm trên cùng mát đ°áng thẳng l¿i có biáu dißn là các hình sin giao nhau t¿i mát điám trong không gian Hough (hình 2.7) Đây là n¢i xuÃt phát { t°ãng cąa thuÁt toán Hough Transform Chúng ta sÁ dựa vào các điám giao nhau này đá suy ng°āc l¿i ph°¢ng trình đ°áng thẳng trong không gian Ánh

Mßi đ°áng thẳng khác nhau sÁ t¿o thành mát điám sáng (n¢i giao nhau cąa nhißu hình sin) trên không gian Hough:

(Nguồn: docs.opencv.org [21])

Hình 2.7: BiÃu diÅn trong không gian Hough

Hình 2.8: BiÃu diÅn 2 đ°ång thẳng trong không gian Hough

KÃt quÁ thu đ°āc khi ch¿y Hough Line Transform nh° hình 2.9:

Có nhißu giÁi thuÁt trích xuÃt làn đ°áng tuy nhiên do ph¿m vi đß tài camera giám sát giao thông đ°āc đặt cá định nên Ánh nßn hay că thá là làn đ°áng hÅu nh° không thay đåi nên học viên lựa chọn áp dăng kỹ thuÁt xā lý Ánh đá trích xuÃt ra làn đ°áng nh°: phân ng°ÿng Ánh chuyán Ánh đen trÃng, canny edge detection phát hián c¿nh, hough line transform phát hián các đ°áng thẳng, k-mean đá lọc các đ°áng nhißu

2.2 Các ph°¢ng pháp phát hiÇn và phân lo¿i đái t°ÿng

Mát trong nhăng bài toán quan trọng trong thị giác máy tính là phát hián, phân lo¿i gom nhóm các m¿u nh° nhÁn d¿ng vân tay, khuôn mặt, chă sá, bián báo, màu sÃc, phân lo¿i ph°¢ng tián hàng hóa Có hai ph°¢ng pháp chính là học có giám sát: là ph°¢ng pháp phân lo¿i m¿u đÅu vào dựa vào mát lßp đã xác định và học không

giám sát là gom nhóm các m¿u dựa trên mát sá đißu kián đÅu vào, vßi tÁp các m¿u

Hình 2.9: K¿t qu愃ऀ áp dāng thu¿t toán Hough Transform

(Nguồn: docs.opencv.org [21])

này v¿n ch°a biÃt tr°ßc hoặc ch°a đ°āc định danh cho đÃn thái điám ta xā l{ phân lo¿i

Mát sá kỹ thuÁt phát hián và nhÁn d¿ng đái t°āng dựa trên deep learning phå biÃn trên thà gißi nh°: CNN (Region-Convolutional Neural Network)[30], Fast R-CNN[30], Faster R-CNN[31], SSD (Single Shot Multibox Detector)[29] …

Các kỹ thuÁt học sâu nh° CNN tuy cho kÃt quÁ chính xác h¢n nh°ng tác đá quá chÁm và tính toán rÃt tán tài nguyên Khó có thá ch¿y CNN trên nhißu cāa så vßi thuÁt toán cāa så tr°āt R-CNN ch¿y thuÁt toán Selective Search nhằm giÁm thiáu sá háp gißi h¿n đ°a vào bá phân lo¿i, sā dăng các dÃu hiáu đ°āc bá căc nh° c°áng đá, kÃt cÃu, màu sÃc đá t¿o ra các vị trí có thá chća đái t°āng CNN đ°āc dựa trên các phân lo¿i mà chúng ta có thá cung cÃp các háp gißi h¿n

Do lßp kÃt nái đÅy đą (Fully connected layer) cąa CNN có mát đÅu vào kích th°ßc cá định vì vÁy chúng ta thay đåi kích cÿ cąa tÃt cÁ các háp gißi h¿n vß mát kích th°ßc cá định và cũng cÃp cho CNN Do đó R-CNN th°áng có 3 phÅn quan trọng

- Ch¿y Selective Search đá tìm kiÃm các háp các đái t°āng có thá xuÃt hián - Đ°a các háp đó vào CNN, sau đó là SVM[30] đá dự đoán lßp cąa tÿng háp - Tái °u hóa các háp bằng cách huÃn luyán

Hình 2.10: Mô hình R-CNN

2.2.2 Fast R-CNN[30]

Tuy R-CNN đã đ¿t đ°āc nhißu tiÃn bá nh°ng nó v¿n còn rÃt chÁm Bãi vì nó phÁi ch¿y CNN vßi 2000 vùng Ánh trực tiÃp vào trong m¿ng CNN d¿n đÃn mÃt rÃt nhißu thái gian T°¢ng tự nh° R-CNN thì Fast R-CNN v¿n dùng selective search đá lÃy ra các region proposal Tuy nhiên là nó không tách 2000 region proposal ra khßi Ánh và thực hián bài toán image classification cho mßi Ánh Fast R-CNN cho cÁ bćc Ánh vào ConvNet (mát vài convolutional layer + max pooling layer) đá t¿o ra convolutional feature map

Sau đó các vùng region proposal đ°āc lÃy ra t°¢ng ćng tÿ convolutional feature map TiÃp đó đ°āc Flatten và thêm 2 Fully connected layer (FCs) đá dự đoán lßp cąa region proposal và giá trị offset values cąa bounding box

Hình 2.11: Mô hình SPP-net

Sau đó sā dăng mát ROI (Region of Interest) Pooling layer đá đ°a các vùng Ánh vß kích th°ßc vuông và reshape vß cùng mát kích th°ßc đÅu ra Vßi kÃt quÁ có đ°āc, ta l¿i đ°a tiÃp qua các lßp FCs và có đ°āc mát output gọi là ROI feature vector, sau đó predict class và offset cąa bounding box cho vùng mÁnh đó đá lÃy kÃt quÁ đÅu ra nh° đã làm vßi R-CNN

Nh° vÁy, Fast R-CNN nhanh h¢n R-CNN ã chß thay vì mÃt 2000 lÅn đ°a các vùng Ánh vào CNN thì chỉ cÅn mát lÅn đ°a Ánh gác vào CNN Tuy nhiên, viác lựa chọn các vùng Ánh bằng selective search trên Feature Maps v¿n là nút thÃt và làm chÁm cho thuÁt toán

Hình 2.12: Mô hknh m¿ng Fast R-CNN

Faster R-CNN là mát phiên bÁn cÁi tiÃn cąa Fast R-CNN, không dùng thuÁt toán selective search đá lÃy ra các region proposal, mà nó thêm mát m¿ng CNN mßi gọi là Region Proposal Network (RPN) đá tìm các vùng quan tâm trên Ánh đ°āc gọi là Region Proposal

Hình 2.13: Mô hknh m¿ng Faster R-CNN

Đá xā lý vÃn đß các đái t°āng có các tỉ lá khác nhau, Faster R-CNN đã gißi thiáu { t°ãng vß các háp neo (anchor box) T¿i mßi vị trí sÁ sā dăng 3 háp neo có các kích th°ßc 128x128, 256x256, 512x512 T°¢ng tự vßi tỉ lá 1:1, 2:1 và 1:2 Vì vÁy, tång cáng t¿i mßi vị trí, chúng ta có 9 háp mà RPN sÁ dự đoán xác suÃt xuÃt hián cąa nó là nßn hay đái t°āng Chúng ta áp dăng hãi quy cho háp gißi h¿n đá cÁi thián đá chính xác cąa các háp neo ã mßi vị trí Vì vÁy, RPN đ°a ra các háp gißi h¿n có kích th°ßc khác nhau vßi xác suÃt t°¢ng ćng mßi lßp PhÅn còn l¿i t°¢ng tự nh° Fast CNN Nhăng thay đåi trên giúp cho Faster CNN nhanh gÃp 10 lÅn so vßi Fast R-CNN vßi đá chính xác t°¢ng tự trên tÁp dă liáu nh° VOC-2007 Đó là l{ do t¿i sao Faster R-CNN là mát trong nhăng thuÁt toán phát hián đái t°āng chính xác nhÃt D°ßi đây là so sánh giăa các phiên bÁn R-CNN

B愃ऀng 2.1: So sánh các mô hknh dựa trên R-CNN

R-CNN Fast R-CNN Faster R-CNN

Thái gian xā lý 1 Ánh 50 giây 2 giây 0.2 giây

Các ph°¢ng pháp đ°āc đß cÁp ã trên xā lý viác phát hián đái t°āng bằng cách t¿o ra các đß xuÃt khu vực sau đó các đß xuÃt đó sÁ đ°āc chuyán qua mát bá phân lo¿i đá xác định đái t°āng Tuy nhiên, có mát sá ph°¢ng pháp khác coi viác phát hián đái t°āng nh° mát bài toán hãi quy SSD là ph°¢ng pháp phå biÃn nhÃt

2.2.4 Single Shot Detector (SSD)[29]

SSD cân bằng tát giăa tác đá và đá chính xác, điám đặc biát làm nên tác đá cąa mô hình nó chỉ sā dăng mát CNN trên hình Ánh đÅu vào mát lÅn Cách tiÃp cÁn cąa nó dựa trên viác nhÁn dián vÁt thá trong các features map (là mát output shape 3D cąa mát m¿ng deep CNN sau khi bß các fully connected layers cuái) có đá phân giÁi khác nhau Mô hình sÁ t¿o ra mát l°ßi các ô vuông gọi là grid cells trên các feature map, mßi ô đ°āc gọi là mát cell và tÿ tâm cąa mßi cell xác định mát tÁp hāp các boxes mặc định đá dự đoán khung hình có khÁ nng bao quanh vÁt thá T¿i thái điám dự báo, m¿ng neural sÁ trÁ vß 2 giá trị đó là: phân phái xác suÃt nhãn cąa vÁt thá chća trong bounding box và mát tọa đá gọi là offsets cąa bounding box Quá trình huÃn luyán cũng là quá trình tinh chỉnh xác suÃt nhãn và bounding box vß đúng vßi các giá trị ground truth input cąa mô hình (gãm nhãn và offsets bounding box) Hình 2.14 thá hián mô hình m¿ng SSD

Hình 2.14: Mô hknh m¿ng SSD

2.2.5 You Only Look Once (YOLO)

Các ph°¢ng pháp đ°āc đß cÁp ã trên xā lý viác phát hián đái t°āng bằng các t¿o ra các đß xuÃt khu vực sau đó các đß xuÃt đó sÁ đ°āc chuyßn qua mát bá phân lo¿i đá xác định đái t°āng Tuy nhiên, có mát sá ph°¢ng pháp khác coi viác phát hián đái t°āng nh° mát bài toán hãi quy YOLO[15][16] là mát trong sá nhăng ph°¢ng pháp phå biÃn nhÃt

Đái vßi YOLO, phát hián là mát vÃn đß hãi quy đ¢n giÁn lÃy hình Ánh đÅu vào và tìm hiáu xác suÃt lßp và tọa đá cąa háp gißi h¿n Mô hình YOLO chia Ánh đÅu vào thành mát l°ßi có SxS ô (hình 2.15) T°¢ng ćng vßi mßi ô dự đoán N bounding box và đá tin cÁy thá hián đá chính xác cąa bounding box đó có thực sự chća mát đái t°āng không phân biát lßp

Hình 2.15: Các bounding box dự đoán

YOLO cũng dự đoán xác suÃt các lßp cho mßi box nên ta có thá kÃt hāp cÁ hai xác suÃt đá t¿o ra xác suÃt cąa mßi lßp cho tÿng bounding box đ°āc dự đoán Vì vÁy, tång sá háp gißi h¿n đ°āc dự đoán là SxSxN Tuy nhiên hÅu hÃt các háp này đßu có đá tin cÁy thÃp và nÃu chúng ta đặt ng°ÿng cho đá tin cÁy là 30% thì chúng ta có thá lo¿i bß hÅu hÃt các háp này

B愃ऀng 2.2: So sánh chÉ sá AP giăa 2 thu¿t toán YOLO và SSD [9] YOLO SSD

Hình 2.16: Ki¿n trúc m¿ng YOLO v3

Mát điám khác biát chính là YOLO nhìn hình Ánh hoàn chỉnh cùng mát lúc thay vì chỉ xem xét các vùng đß xuÃt đ°āc t¿o ra trong các ph°¢ng pháp tr°ßc đó Vì vÁy, thông tin theo ngă cÁnh này giúp tránh đ°āc viác dự đoán nhÅm có đái t°āng Tuy nhiên YOLO qua các phiên bÁn đã có nhißu cÁi tiÃn vß:

- Tác đá nhanh, tát cho các há tháng xā lý thái gian thực

- Tái °u đá chính xác, dự đoán cÁ vị trí và lo¿i đái t°āng trong mát m¿ng duy nhÃt

- YOLO tång quát hóa tát h¢n

Trong thực tÃ, tác đá các ph°¢ng tián giao thông th°áng cao nên cÅn mát ph°¢ng pháp có đá chính xác cao tác đá xā l{ nhanh trong đißu kián ánh sáng tát, ká cÁ đái vßi các vÁt thá nhß, qua phân tích trên cho thÃy YOLO là mát trong nhăng mô hình có hiáu quÁ cao đái vßi há tháng phát hián ph°¢ng tián giao thông, nó cân bằng cÁ hai yÃu tá giăa tác đá xā l{ và đá chính xác

Do vÁy học viên chọn YOLO áp dăng bài toán nhÁn d¿ng ph°¢ng tián giao thông trong camera giám sát giao thông.

2.3 Các ph°¢ng pháp phát hiÇn chuyÃn đáng

Phát hián đái t°āng chuyán đáng là quá trình theo vÃt đái t°āng tÿ các khung hình video Quá trình này chính là quá trình xā l{ chußi Ánh liên tiÃp đá phát hián ra các đái t°āng chuyán đáng trong mát đo¿n khung Ánh trong video

Hình 2.17: Các quá trknh phát hiÇn chuyÃn đáng

B愃ऀng 2.3: Các h°ãng ti¿p c¿n phát hiÇn đái t°ÿng [10] TTLo¿i Nghiên cāu liên quan

1 Point detectors

1 Moravec’s detector 2 Harris detector

3 Scale Invariant Feature Transform Affine 4 Invariant Point Detector

2 Segmentation 1 Mean-shift 2 Graph-cut

Có rÃt nhißu h°ßng tiÃp cÁn đá phát hián đái t°āng chuyán đáng nh° trong bÁng 2.3 tuy nhiên viác lựa chọn ph°¢ng pháp áp dăng phÁi dựa vào tình huáng că thá, đái vßi tr°áng hāp có Ánh nßn không thay đåi nh° trong tr°áng hāp camera giám sát đặt cá định thì viác phát hián đái t°āng chuyán đáng bằng các ph°¢ng pháp trÿ nßn cho hiáu quÁ tát.

2.3.2 Phát hiện các vùng ảnh nổi

Phát hián vùng Ánh nåi là mát trong nhăng module thiÃt yÃu trong há tháng phát hián truy vÃt theo đái t°āng chuyán đáng qua khung hình video, nó đóng vai trò quan trọng phân tích xā l{ các khung hình video đá lọc ra các vùng Ánh nåi tách biát vßi phÅn còn l¿i cąa Ánh trong khung nßn Hình 2.18 minh họa phát hián vùng Ánh nåi trong video giám sát giao thông

Xā l{ các vùng Ánh nåi v¿n còn gặp nhißu khó khn do nhißu do đó cÅn phÁi xā l{ lọc nhißu, tiÃn hành ghép nhißu vùng phân mÁnh, phân tích lo¿i bß các thành phÅn không liên quan đá kÃt quÁ xā l{ là các các đái t°āng chuyán đáng rõ ràng Trên c¢ sã đó ta mßi xác định đ°āc tính chÃt, đặc tr°ng cąa các đái t°āng

H°ßng tiÃp cÁn cąa kỹ thuÁt này dựa trên phân khái sā dăng các đặc tr°ng căc bá nhằm tách biát, tng tính đác lÁp vßi sự di đáng cąa camera Mßi khung hình đ°āc chia thành b khái TÁp hāp các khái trên khung hình f1 đ°āc đ°a vào so sánh vßi khái t°¢ng ćng vßi trên khung hình f2 Vß c¢ bÁn thì đá chênh lách giăa nhißu khung hình đ°āc tính nh° sau:

Hình 2.18: Phát hiÇn vùng 愃ऀnh nåi

Mát h°ßng tiÃp cÁn khác so vßi kỹ thuÁt trÿ Ánh phân khái đ°āc Shahraray cho rằng chia khung hình thành 12 mißn và tìm nhăng mißn tái °u thích hāp nhÃt cho mßi mißn ã khung hình kia Sā dăng đá chênh lách tính bằng kỹ thuÁt trÿ Ánh dựa vào các điám Ánh thái điám hián t¿i cąa tÿng mißn đ°āc sÃp xÃp Tÿ đó ta tính tång có trọng sá đ°āc sÃp xÃp cąa các chênh lách cho ta kÃt quÁ D cuái cùng

Đá tính toán sự sai khác giăa hai khung hình ta có thá áp dăng biáu đã màu hoặc biáu đã mćc xám do phân bá màu trên các frame liên tăc th°áng không bị Ánh h°ãng nhißu do sự chuyán đáng cąa camera hay đái t°āng

Biáu đã màu hay còn đ°āc gọi là mćc xám cąa khung hình I là vect¢ G chißu Hi = (Hi(1), Hi(2), (Hi(3), ………, Hi(G)

Trong đó:

G là sá màu (mćc xám)

Hi(j) là sá điám Ánh cąa khung hình i có màu (mćc xám)j

Trÿ Ánh dựa vào biáu đã có hai ph°¢ng pháp chính là biáu đã toàn căc: biáu dißn sự phân bá giá trị màu hoặc mćc xám cąa toàn bá khung hình và biáu đã căc bá chỉ mô tÁ l¿i sự phân bá màu hay mćc xám hián thị cąa phÅn nào đó cąa khung hình

Ph°¢ng pháp tính toán sự sai khác giăa hai frame bằng viác tính toán mát tÁp các giá trị, nó mô tÁ mọi thay đåi vß c°áng đá điám Ánh trong các Ánh hián thị trên khung hình Ph°¢ng pháp tái °u cąa Nagasaka và Tanaka là tính tång toàn bá nhăng thay đåi khác nhau vß c°áng đá điám Ánh đ°āc phân tích giăa hai khung hình nh° nhau là đá chênh lách khung D(f1, f2)