Luận văn thạc sĩ Kỹ thuật điện tử: Phát hiện và phân tích vùng đám đông trong video

NHIEM VU VA NOI DUNG: Phát hiện, xác định mật độ và phân tích chuyểnđộng của vùng đám đông trong hình ảnh Ill.. Trong luận văn này, em xin giới thiệu một hệ thống nhận diện vàphân tích đ

ĐẠI HỌC QUỐC GIA TP.HCMTRƯỜNG ĐẠI HỌC BÁCH KHOA

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI

TRUONG ĐẠI HOC BACH KHOA —DHQG -HCM

Cán bộ hướng dẫn khoa học : e.ececssesesessssscscesesessscscscesesvevscscscesesvavscseeeeas

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)

Cán bộ chấm nhận xét Ï : -.- 2c Se S333 ESESEEESESEEEESEEEEEErErEEeerererrres

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)

Cán bộ chấm nhận xét 2 : - Ga SE Set ESESEE5ESESEEESEEEEEErEEEEsErererrres

(Ghi rõ ho, tên, học hàm, học vi và chữ ký)

Luận văn thạc sĩ được bảo vệ tại Trường Dai học Bách Khoa, DHQG Tp HCMngày tháng năm

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:(Ghi rõ ho, tên, học hàm, học vi của Hội đông cham bảo vệ luận văn thạc si)

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyênngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA

ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc

TRƯỜNG ĐẠI HỌC BÁCH KHOA lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Trương Hoàng Trí MSHV:1570367Ngay, thang, nam sinh: 10/11/1991 Noi sinh: TP.HCMChuyên ngành: Kỹ thuật điện tử Mã số : 60520203

I TÊN DE TÀI: Phát hiện và phân tích đám đông trong video

Il NHIEM VU VA NOI DUNG: Phát hiện, xác định mật độ và phân tích chuyểnđộng của vùng đám đông trong hình ảnh

Ill NGÀY GIAO NHIEM VU : 16/01/2017IV NGÀY HOÀN THÀNH NHIEM VU: 18/06/2017V CÁN BO HUONG DÂN: Tiến sĩ Trương Công Dung Nghi

Tp HCM, ngày thang năm 20 CÁN BỘ HƯỚNG DÂN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

LỜI CÁM ƠN

Được sự phân công của nhà trường, khoa điện — điện tử và sự đồng ý của giáoviên hướng dẫn TS Trương Công Dung Nghi, em đã thực hiện luận văn thạc sĩ chuyênngành kỹ thuật điện tử với đề tài “Phát hiện và phân tích đám đông trong video”.Qua trang viết này em xin gửi lời cảm ơn tới những người đã giúp đỡ em trong thời gianhọc tap, nghiên cứu luận văn thời gian qua.

Trước hết, em xin được tỏ lòng biết ơn và gửi làm cảm ơn chân thành đến TS.Trương Công Dung Nghi Cô là người đã trực tiếp hướng dẫn và tận tình chi bảo trongcông việc nghiên cứu, tìm kiếm tài liệu, xử lý và phân tích vẫn đề của luận văn Nhờ cômà em có thê hoàn thành luận văn cao học.

Ngoài ra, em cũng xin chân thành cảm ơn quý đồng nghiệp, gia đình và bạn bècùng khóa đã luôn động viên và hỗ trợ em trong suốt quá trình nghiên cứu và hoàn thànhluận văn này.

TÁC GIÁ

Trương Hoàng Trí

TÓM TAT

Với sự gia tăng của dân số, các đám đông con người và giao thông xuất hiệnngày càng phổ biến Qua đó, việc nhận diện va phân tích đám đông ngày càng trở nênquan trọng hơn Trong luận văn này, em xin giới thiệu một hệ thống nhận diện vàphân tích đám đông trong video trong các tình huống đám đông người đi bộ và giaothông khác nhau thông qua cách phân tích ma trận mức xám cũng như ma trận chuyển

động của hình ảnh Kết quả thực hiện trên các video thực tế cho thay thuat toan ma

luận văn đề ra có thé nhận diện, xác định mật độ, phân tích chuyển động cũng như độnhất quán của đám đông rat tốt

ABSTRACTS

With the growth of population, pedestrians and traffic crowd phenomenon hasbecome more and more frequent Thereby, crowd identification and analysis of isbecoming more and more important In this thesis, we introduce one system that candetect and analyze crowd based on Gray-level matrix and motion flow method Theexperimental results revealed that the proposed method perform seffectively fordetecting crowd, estimating crow density, analyzing optical flow and measuringcrowd collectiveness.

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quảtrong dé tai này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây.Tất cả những tham khảo và kế thừa cho việc thực hiện luận văn này đã được cảm ơnvà các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc rõ ràng và đượcphép công bố

TP.HCM, ngay thang năm

Học viên thực hiện

Trương Hoàng Trí

I Tổng Quan: - SG k1 5E TT 1H11 111111111 greg 91.1 Giới thiệu về để tài: sec r rHeHgH re 91.2 Muc tiêu, nhiệm vụ và phạm vi để tÀI: tt Hn HH ng ng ng gen reo 101.2.1 Mục tiêu của dé taiz ees eeceeceesseecseesseessecesecesscesscesscensceneeeneesneesneesneesneesneen 101.2.2 Nhiệm vụ của để tis oe eceeceecseesseesseceseceseecsecesceseceneceneeeneeeneenneesneesneen 101.2.3 Phạm vi của đề tài: ccttthtHHHrree 101.3 Tổ chức luận văn: : +2 t2 tre II2 Tình hình nghiên cứu trong và ngoài nñước: - << 5S SSSssssseeesesssss 122.1 Nhận diện bất thường trong đám đông: + + + xxx ekeveeeeeree 122.2 Phat hiện và xác định mật độ đám đông: - 5-5555 5*<‡+++++++++ssss 14

2.3 Phan tích vận động của đám đông: (<< << 1111 EEkxesesssssssssss 173 Nhận biết và phân tích vận động đám đông: 2 + sEsEsEseseeeereed 193.1 Phan 0600 a Ầ 21

3.2 Nhận diện vùng dam dOng? - 5 1121991111111 1 11 11v vn ng 22

3.3 Phan tích mật độ đám đông: - 55 2332229111111 1 11 1111111111111 2 243.4 Phát hiện và theo dõi đặc trưng băng phương pháp Kanade — Lucas — Tomasi

3.5 Phân tích độ nhất quán (collectiveness) của đám đông: - s-s«¿ 303.5.1 Sự xuất hiện của các tập hợp khác nhau trong đám đông: 303.5.2 Độ thống nhất hành vi của vùng lân cận ¿sex cxsxcxcxeed 313.5.3 D6 thống nhất hành vi trên các đường dẫn của các tập hợp khác nhau: 323.5.4 Độ nhất quán của từng cá thỂ: - - - kkSE*ESESESEEExExSk ke rerrrkd 333.5.5 Độ nhất quán của đám đông: -¿- - k+k+E#E+ESESESExEkSkckckckekekekrereeed 333.5.6 Cac tính chất của độ quán tính: - - + xxx #keEeEeEererrerees 343.5.7 Gom nhóm các tập hợp lại với nhau: - 55555 + *++++++++sssssssssss2 35

7

4 Mô phỏng và thử nghiỆm: GGG G00 11011111111111992331 111111 1v kg 364.1 Video đầu VàO: -c- Set S3 1E 1 111111111111 11 111111111511 11111 1111.111111 errk 374.2 Gilad diện mô phÒng: 0000101013011 8131111111111 11 11111 ng ng v2 384.3 Kết quả mô phỏng: - + SxSxSSSt 3S S1 E1 119151 11111111 111gr greg 394.3.1 Nhận biết đám đông: - csStSt St EE 1915151 1 11111 E1 xrkrkrkeed 394.3.2 Xác định mật độ đám đông: - - (<< 111111 EEEeseesssssssssss 404.3.3 Phan tích chuyển động đám đông: - - +k+E+EsEeEeEEkrerkeereeeeed 424.3.4 Phân tích độ nhất quán của đám đông: + << xcsEsEEverxeveeeeeed 434.3.5 Kết quả phân tích trên video ban đêm: - - + sex sEsEeEverxeeexeeeed 445 Tổng kết và hướng phát trién đề tài: - - cv exeeeered 475.1 Đánh giá kết quả đạt ẨƯỢC: i-G- s11 SE ST HH ng rreg 475.1.1 Kết quả phân tích nhận diện và xác định mật độ dam đông: 475.1.2 Kết quả phân tích chuyển động và độ nhất quán của đám đông: 525.2 Hướng phát triển của dé tải: - - - k9 SE ST HH ng ng rreg 54Tài liệu tham Khao? - - 2220661013301 111118050 11111001111 vớ 55

Luận văn này xin trình bay một hệ thông giám sát đám đông có thé thực hiện được3 nhiệm vụ chính: phát hiện và khoanh vùng khu vực đông đúc trong hình ảnh, xác địnhmật độ đám đông trong hình và phân tích vận động của đám đông.

Cốt lõi của phương pháp tiếp cận của luận văn đưa ra được dựa trên việc:e Phan tích đặc trưng (features) dé khoanh vùng và xác định mật độ đám đông.e Sử dụng phương pháp KLT tracking va phân tích độ nhất quán của đám đông

(crowd collectiveness) dé phân tích vận động của đám đông

Với sự tăng trưởng dân số và đô thị hóa trên toàn thế giới, hiện tượng đám đôngđã trở nên nhiều hơn, thường xuyên hơn và phức tạp hơn Từ đó, giám sát đám đông làmột chủ dé rất quan trong trong lĩnh vực giám sát video Một đám đông xuất hiện có

thể đại diện cho sự cố giao thông (ách tắc, kẹt xe) hoặc sự bất thường trong hoạt động

thường ngày (đám đông xuất hiện bất thường) Bang cách áp dụng các phương phápphân tích, ta có thể nhận biết rõ được các vùng có đám đông từ đó tìm ra cách dé điềuchỉnh đám đông cho thích hợp.

1.2.1 Mục tiêu của dé tải:

Giám sát đám đông là một chủ dé rất quan trong trong lĩnh vực giám sát videohiện nay, vì vậy:

> Thong qua việc phát hiện vùng dam đông, ta có thề cảnh báo sự tụ tập bất thường

hoặc tụ tập tại những khu vực cam, từ đó gởi cảnh báo đến nhân viên an ninh.- Ước lượng mật độ đám đông để ứng dụng vào bài toán giám sát giao thông.- Tw việc phân tích chuyển động đám đông và ước lượng độ nhất quán trong hành vi

của các cá nhân trong tập hợp đám đông ta có thể dự báo nguy hiểm trong hoạt độngcủa đám đông.

1.2.2 Nhiệm vụ của đề tat:

° Phat hiện và khoanh vùng khu vực đông đúc trong video dựa trên việc phân tích đặctrưng (features) của ảnh.

- Ước lượng mật độ tương đối của vùng đám đông.- Phan tích chuyển động của đám đông

- Hé thống được kiểm nghiệm trên các video thực tế với nhiều tình huống phức tạp

1.2.3 Phạm vị của dé tai:

Dé tài luận văn này sẽ được thực hiện với đáp ứng đâu vào là video và đâu ra hìnhảnh đã khoanh vùng, đánh giá mật độ và sự vận động của đám đông với độ chính xáccao Hệ thống sẽ được thiết kế hoạt động trên các bộ dữ liệu video lay từ thực tế

10

Luận văn sẽ đi qua các mục chính sau:

1) Xem qua các nghiên cứu trong và ngoài nước về đê tài của luận văn.2) Phân tích rõ về các phương thức nhận biệt va phân tích đám đông.3) Tiên hành mô phỏng và thử nghiệm.

4) Kêt luận và thảo luận về các cải tiên có thê trong tương lai.

11

2 Tinh hình nghiên cứu trong và ngoài nước:

Quan sát đám đông và phân tích các đặc tính của nó đang là một lĩnh vực đượcnghiên cứu nhiêu trong lĩnh vực computer vision Trong phân luận văn này, em xin đưara một sô lĩnh vực nghiên cứu đặc trưng đê người đọc có thê kham thảo:

2.1 Nhận diện bất thường trong đám đông:

Nghiên cứu của R Mehran [1] nhận diện bất thường trong đám đông bang cáchsử dụng mô hình Social Force Hướng tiếp cận này giúp cung cấp độ chắc chăn cho cáctắc nghẽn và lộn xộn trong hình Ngược lại, nghiên cứu của S Biswas [2] sử dụngphương pháp theo dõi các thành phan riêng lẻ dé tính toán cho mô hình Optical Flow.Ưu điểm của phương pháp nay là nó có thé không cần phải tranning Cả 2 phương phápnày đều chỉ ra được các vùng hoạt động bất thường của đám đông Tuy nhiên, độ chínhxác của chúng đều không được cao khi thực nghiệm trên các bộ dữ liệu trên web (webdataset).

Hình 2.1: a) Vi dụ về phân tích Social Force trong [1]; b) Ví du về phân tích Optical flow trong[2].

12

Nghiên cứu của Y Zhang [3] đã cải tiến mô hình Social Force thành mô hìnhSAEM (Social Attribute-Aware Foree Model) băng cách đưa thêm vào hai thuộc tínhđộ rối loạn và độ tắc nghẽn vào trong tính toán Phương pháp này giúp tăng độ chínhxác trong việc xác định vùng bất thường Tuy nhiên, mô hình này lại không phù hợp déứng dụng trong các nhóm tương tác phức tạp.

“ Video Frame N ( Particle Advection ) Ñ Social Foree

Le ee ee ee ee ee

Social Attribute-aware Force Model

( Scale Estimation Disorder and Congestion Attribute

TT ————————————————————————————————=—==

Frame Labelwa

Hình 2.2: Mô hình phân tích sự bat thường đám đông của Y.Zhang [3] Đầu tiên, video được phântích Social force Sau đó, ta ước tính Scale cũng như độ rối loan và độ tắc nghẽn của mô hình.Bang cách sử dung công thức, ta tính toán ra các sơ đồ lực (GAE) và bất thường (LAE) Cuốicùng, ta tổng hợp và nhận biết độ bất thường trong đám đông.

Ngoài ra, nghiên cứu của H Ullah [4] sử dụng kết hợp mô hình Crow Motion vàOptical Flow và nghiên cứu của B Zhou [5] sử dụng mô hình MDA (Mixture model ofDynamic Pedestrian-Agents) để nhận diện bất thường trong đám đông Tuy nhiên, càhai mô hình này đều có độ chính xác không cao.

13

2.2 Phát hiện và xác định mật độ đám đông:

Nghiên cứu của Z Wang [6] sử dụng giải thuật LBPCM để xác định đám đôngcũng như mật độ của chúng Ưu điểm của phương pháp này là nó có thé phát hiện racác vùng đám đông cũng như mật độ của chúng Nhược điểm của nó là việc khoanhvùng đám đông trong các 6 khá lớn dẫn tới độ chi tiết không cao

Data set Block Level Cell Level Extract Features Training & Classification Visualization

Training =| tp Traming 4— | Annotation for

i avis each block

LBP-grad ff

LBP-gray-grad

Detecting LBP-gray | Classification

Ss —P | result for cach

LBP-grad block

LRP-gray-grad

Hình 2.3: Các bước phân tích LBP trong nghiên cứu của Z Wang [6] Nghiên cứu này sử dụng

SVM để training cho hệ thống.

Nghiên cứu của O Arandjelovic [7] giúp phát hiện đám đông từ hình anh tinhbang cách sử dung một mô hình thống kê cơ bản dựa vào đặc trưng SIFT lượng tử Môhình này này có thể khoanh vùng đám đông trong ảnh một cách tương đối chính xác.Ưu diém của mô hình này là nó không cần phải training cũng như có thé nhận biết cácđám đông từ nhỏ cho đến lớn Còn nhược điểm của nó là nó có thể nhận nhằm hoặcnhận thiêu một sô vùng đám đông từ ảnh.

Hình 2.4: Một số kết quả phân tích trong nghiên cứu của O Arandjelovic [7] Các thành phầnmàu xanh là các thành phan đám đông Các thành phần màu đồ là các thành phần nhận dang

sai.

Tương tự, nghiên cứu của A Fagette [8] sử kỹ thuật phân tích multiscale texturedé nhận diện và khoanh ving những đám đông day đặc trong hình ảnh Kỹ thuật nay cóđộ chính xác tương đối cao nhưng lại không thể khoanh vùng được những người đi bộđộc lập hoặc nhóm không đông.

Trong khi đó, nghiên cứu của P Reisman [9] giúp phát hiện đám đông từ hình anhdi động trong một chiếc xe bằng cách phân tích không thời gian từ hình ảnh, dựa vàocác mẫu Optical Flow không thé được tạo ra băng một chiếc xe chuyền động phía trước.Nghiên cứu nay chi đơn thuần chỉ ra rằng có một đám đông người đi bộ dang đi trướcxe chứ không khoanh vùng đám đông trong ảnh.

Hình 2.6: Một kết quả phân tích trong nghiên cứu của P Reisman [9] Biểu đồ bên cạnh hìnhtượng trưng cho các chuyển động của các vạch ngang Vạch đỏ thể hiện chuyển động sang trái.Vạch xanh lá cây thể hiện chuyển động sang phải Vạch vàng thé hiện độ chồng lắp nhau trongmột khung ảnh Vạch xanh dương thể hiện độ chồng lấp của toàn video, vạch này càng cao thì

“tín hiệu” đám đông càng mạnh.

Nghiên cứu của S Ghidoni [10] sử dụng kỹ thuật phân tích GLDM (Gray LevelDependency Matrix) based texture dé nhan dién va dinh vi dam đông Kỹ thuật nàyphân ảnh ra thành các vùng nhỏ và nhận định mật độ đám đông trên từng vùng đó Tuynhiên, kỹ thuật này lại có độ chính xác không cao cũng như các vùng nhận diện là lớnvà không rõ ràng.

16

2.3 Phân tích vận động của đám đông:

Nghiên cứu của H Ullah [4] không những chỉ nhận diện bất thường mà còn phântích được chuyển động của những thành phần torng đám đông Băng cách sử dụng kếthợp sử dụng kết hợp mô hình Crow Motion va Optical Flow, nghiên cứu phân tích hìnhảnh và phân loại chuyển động theo tám hướng khác nhau với độ chính xác cao Tuynhiên, với đám đông có mật độ cao và chuyền động phức tạp, phương pháp nay lại khóphân tích chính xác được.

Hình 2.7: Một kết quả phân tích trong nghiên cứu của H Ullah [4] Hình đầu tiên bên trái là hìnhảnh đầu vào Tiếp theo là hình ảnh phân tích chuyển động, các hướng chuyển động của các điểmảnh được tô màu theo mẫu bên dưới Kế tiếp là các hình ảnh có hoạt động bất thường Cuối cùng,ở góc bên phải, ta có kết quả phân tích sự bất thường (các ô màu trắng) trong đám đông.

Bên cạnh đó, nghiên cứu của K Lim [11] lại chỉ ra vùng đặc trưng cua đám đôngvà phân tích vận động của vùng này cũng như xác định các sink và source cho đámđông di chuyên bang cách sử dụng kiến trúc global similarity Hơn thé nữa, nghiên cứunày còn chỉ ra cách phát hiện những vận động bất thường trong đám đông (tương tựnhư phân 2.1) Phương pháp này thất bại trong các trường hợp có độ chiếu sáng mạnh.

Hình 2.8: Một kết quả phân tích trong nghiên cứu của K Lim [11] Vùng tập trung nhiều màu

đỏ chính là vùng đặc trưng của đám đông (Crowding).

Đặc biệt hơn, nghiên cứu của H Idrees [13] có thể phân tích được sự vận động vàvẽ ra được đường di chuyền của từng thành phan trong đám đông bang cách sir dụng sựđặc trưng và sự vận động của khu vực tương đồng Tuy nhiên, phương pháp này khôngthể nhận biết tốt trong trường hợp khu vực có quá nhiều chuyển động lung tung khôngtheo cùng một hướng.

Hình 2.9: Một kết quả phân tích theo dõi chuyển động tronng đám đông theo H Idrees [13] Kếtquả vẽ đường di chuyển của một người trong đám đông qua các khung hình.

18

3 Nhận biết và phân tích vận động đám đông:

Dé có thé nhận biết và phân tích vận động của đám đông, video đầu vào cần phảitrải qua nhiều quá trình phân tích Cụ thể hơn, ta có hai quá trình phân tích chính táchbiệt lẫn nhau bao gồm:

+ Quá trình nhận dạng và phân tích mật độ đám đông: Luận văn này sử dụng phươngpháp tính toán GLCM của các ô nhỏ trong khung hình để thực hiện nhận biết đám

Phân tích GLCM Phân các ô lớnvà nhận diện đám thành các ô nhỏ

trên ô lớn.

19

+ Quá trình phân tích chuyển động và độ nhất quán của đám đông: Video dauvào được phân tích KLT để xác định chuyển động trong khung hình Qua kếtquả phân tích KLT, luận văn sẽ tiến hành xác định độ nhất quán và gom nhómđám dong lại.

Phân tích chuyển động giữa các khung hình bằng

phương pháp KLT tracker

Hình 3.2: Các bước tóm tắt của quá trình phân tích chuyển động và độ nhất quán của đám đông:1) Phân tích chuyển động giữa các khung hình liên tiếp nhau Từ đó, xác định các điểm chuyểnđộng trên khung hình 2) Tiến hành phân tích độ nhất quán và gom nhóm đám đông từ các điểmchuyền động trên khung hình

20

3.1 Phan tích GLCM:

Trong phân tích đặc trưng cua hình anh, các đặc trưng được tính toán từ sự phanbố thống kê của các cường độ sáng tại các vi tri cụ thể khác nhau trong hình ảnh Phươngpháp phân tích Gray Level Coocurrence Matrix (GLCM) chính là một phương phápthông kê đê kiêm tra đặc trưng các môi quan hệ không gian của các ma trận điểm ảnh.

Ma trận GLCM là một ma trận có số hàng va số cột bằng số lượng mức xám (G)trong hình ảnh Phan tử của ma trận P(i, j | Ax, Ay) là tần suất tương đối của hai điểmảnh lân cận cách nhau một khoảng cách (Ax, Ay) Hai điểm ảnh này có cường độ sángtương ứng lai và J Công thức tính P như sau:

P(i,j |Ax, Ay) = WQ Wj |Ax, Ay) (3.1)Với:

1

” = tự— Bon Ay) (3.2)MXN là kích thước của ma trận phan tích

N—ÀY M—Ax0 (,j |Ax,Ay)= Ð DA (3.3)

21

3.2 _ Nhận diện vùng đám đông:

Luận văn sẽ sử dụng phương pháp phân tích GLCM (Gray Level Co-occurrenceMatrix) để nhận diện vùng đám đông trong ảnh Phương pháp nay trải qua các bướcchính như sau:

1 Bức ảnh được đưa về mức xám và nhân với Mask của nó để loại bỏ các thànhphan tinh không cần thiết (Vi dụ: tòa nhà, bau trời, cây cối )

2 Bức ảnh được phân thành các 6 nhỏ và phân tích GLCM từng 6.3 Từ kết quả GLCM, ta tính toán độ đồng nhất — Homogeneity theo công thức sau

sau:

a= (t Néu Homogeneity < threshold

0 Còn lại (3.9)

22

Hình ban đầu Đưa hình xám về mức xám và dùng Mask

đề che các cảnh vật tĩnh trên hình

Phan ảnh thành từng vùng nhỏ va phân tích GLCM Trong hình trên, 1 ảnh có kích thước 750x500được phân thành các 6 25x25 và phân tích GLCM tương ứng 6 đó a) Vùng không có xe cộ b) Vùng có

Tính toán và quyết định vùng có đám đông (phương tiện giao

thông) Màu xanh trong hình thê hiện cho các vùng có đámđông

Hình 3.3: Các bước thực hiện phương pháp phân tích GLCM để xác định đám đông trên hình

mau.

23

3.3 Phân tích mật độ đám đông:

Một trong những đặc trưng (features) quan trọng của đám đông chính là mật độcủa chúng Các đám đông có mật độ khác nhau nên nhận được một mức độ ưu tiên xứlý khác nhau.

Theo A Polus [14], mật độ đám đông có thể chia thành 4 loại dựa theo số lượngngười đi bộ trên một đơn vị diện tích là: tự do (free flow), hạn chế (restricted flow), dayđặc (dense flow) và kẹt cứng (Jammed flow).

Ở luận văn này, chúng ta sẽ sử dụng kết quả của phần nhận diện đám đông (mục3.1) để xác định mật độ đám đông trong thông qua các bước như sau:

1 Phân tích GLCM trên bức ảnh (mục 3.1).2 Phân ảnh thành các ô lớn với kích cỡ là bội số của các ô nhỏ dùng dé phân tích

GLCM.3 Tinh tổng các ô GLCM có sự xuất hiện đám đông trong 6 lớn Ta gọi số này là

TM.

4 Ta xác định mất độ đám đông trong các ô lớn theo Tụ:

Kẹt cứng if Tụ > daa, xa — ) Day đặc if az > Tụ > a,

mật độ hạn chế và các ô khác tương trưng cho mật độ tự do.

Hình 3.4: Các bước phân tích mật độ đám đông trên hình mẫu.

25

3.4. Phát hiện và theo dõi đặc trưng băng phương pháp Kanade — Lucas —

Tomasi (KLT tracker):

Phương pháp KLT tracker là một phương pháp khác được sử dung rộng rãi déđánh giá các optical flow trong hình ảnh Trong đó, Optical Flow là khái niệm chỉ sựchuyền động tương đối của các điểm trên hình ảnh Băng phân tích KLT, ta có thé xácđịnh sự chuyên động giữa các frame ảnh liên tiệp nhau, từ đó vẽ ra được luông di chuyêncủa đám đông trong hình ảnh.

Thuật toán KLT đưa ra các giả thiết sau:

Mức sáng của các điểm ảnh không có thay đối từ frame thứ n sang frame thứn+1 Có nghĩa là một điểm ảnh có vị trí (x, y) ở frame thứ n sau khi di chuyểnđến vị tri (x + Ax, y + Ay) ở frame thứ n+ 1 sẽ có mức sáng là như nhau:

ƒ(,y,t) = I(x(t), y(t), t) = I(x(t + đt), y(t + đt),t + dt) (3.7)

Of (%Y) _

0Ot

Công thức (3.7) khó có thé đảm bảo chính xác ngay cả trong trường hợp môtrường quay video là tĩnh và có độ sang 6n định do ảnh hưởng của các yếu tốkhác Ví dụ như các điểm ảnh di chuyển ngoài biên của khung hình, chúng cóthé lần lượt xuất hiện và biến mat giữa các khung hình liên tiếp nhau Tuy nhiên,nhìn về tong thé, công thức nay là tương đối chính xác đối với phần lớn cácchuyền động trong hình anh

26

- - Chuyển động của các điểm ảnh thay đối chậm theo thời gian Sự thay đối nàybăng xấp xỉ đạo hàm của cường độ theo thời gian Từ công thức (3.7), ta áp dụngvi phân riêng từng phân ra sẽ có:

I(x(t), y(t), t) — I(x(t + đt), y(t + đt),t + dt)

_ Ol~ Ox

(S) ++ \Ot

- Cac chuyền động mang tính liên kết trong không gian Một điểm ảnh và các điểmảnh lân cận nó đều chuyên động với cùng một khoảng cách.

Ở đây, ta giả thiết rằng trong một cửa số kích thước NxN, tất cả các điểm ảnhđều chuyển động cùng khoảng cách với điểm ảnh trung tâm:

I„Œ@1) Iy(p1)Iy@2) I,Œ2)

I.((@W?) I„(p(N?))|

A

|uU|

rT 1) |I,(p2)