Phát hiện và phân tích chuyển động của đám đông

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THÁI BÌNH PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG CỦA ĐÁM ĐƠNG Chun ngành : KỸ THUẬT VIỄN THÔNG Mã số : 60 52 02 08 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, NĂM 2018 CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán hƣớng dẫn khoa học : TS Chế Viết Nhật Anh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : GS.TS Lê Tiến Thƣờng (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Mai Linh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ đƣợc bảo vệ Trƣờng Đại học Bách Khoa, ĐHQG Tp HCM ngày 12 tháng 01 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) TS Huỳnh Phú Minh Cƣờng TS Lƣu Thanh Trà GS TS Lê Tiến Thƣờng TS Mai Linh PGS.TS Võ Nguyễn Quốc Bảo Xác nhận Chủ tịch Hội đồng đánh giá LV Trƣởng Khoa quản lý chuyên ngành sau luận văn đƣợc sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐIỆN – ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ HỌ VÀ TÊN : NGUYỄN THÁI BÌNH MSHV : 7140437 NGÀNH : MÃ NGÀNH: 60 52 02 08 KỸ THUẬT VIỄN THÔNG Đầu đề luận án : Phát phân tích chuyển động đám đông (Crowded scene detection and analysis) Nhiệm vụ (yêu cầu nội dung số liệu ban đầu) - Tìm hiểu đề xuất giải thuật phát vùng đám đông khung ảnh Các kết dự kiến - Có thể phát đƣợc vùng đám đông tập sở liệu chuẩn Ngày giao nhiệm vụ luận án : 01/2017 Ngày hoàn thành nhiệm vụ : 07/2017 Họ tên ngƣời hƣớng dẫn : Phần hƣớng dẫn : TS Chế Viết Nhật Anh TS Hồ Phƣớc Tiến Nội dung yêu cầu LATN đƣợc thông qua Bộ môn Ngày 16 tháng 01 năm 2017 CHỦ NHIỆM BỘ MÔN NGƢỜI HƢỚNG DẪN CHÍNH (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) TS Chế Viết Nhật Anh PHẦN DÀNH CHO KHOA, BỘ MÔN Ngƣời duyệt (chấm sơ bộ) : _ Ngày bảo vệ : Điểm tổng kết : _ Nơi lƣu trữ luận án : _ LỜI CẢM ƠN Từ theo học trƣờng Đại học Bách khoa đƣợc thầy Bộ môn Viễn thông tận tình dạy, truyền đạt thêm kiến thức quý báu giúp hiểu sâu hơn, rộng hơn, nhƣ thấy đƣợc phát triển công nghệ lĩnh vực Viễn thông nhƣ tƣơng lai hành trang để giúp tơi phục vụ tốt công tác chuyên môn quan công tác Tôi xin gởi lời cảm ơn chân thành lòng biết ơn sâu sắc đến Thầy giáo, Tiến sĩ Chế Viết Nhật Anh tận tình giúp đỡ,chỉ dạy dìu dắt để tơi hồn thành luận văn Xin gởi lời cảm ơn đến Thầy Bộ môn Viễn Thông, ngƣời Thầy mà theo học thật gƣơng sáng đạo đức, tri thức tận tụy giảng dạy phẩm chất thật cao quý đáng trân trọng Xin gởi lời cảm ơn đến lãnh đạo quan Đài PT&TH thành phố Cần Thơ tạo điều kiện hỗ trợ kinh phí giúp tơi hồn thành việc học Xin gởi lời cảm ơn đến bạn học khóa 2014, bạn hỗ trợ giúp đỡ lúc khó khăn thời gian theo học trƣờng Xin cảm ơn gia đình bà họ hàng ngƣời an ủi động viên chỗ dựa vững để giúp an tâm học tập TP Hồ Chí Minh, tháng 12 năm 2017 Học viên Nguyễn Thái Bình i TĨM TẮT Hiện nay, thị lớn nƣớc ta nhƣ nƣớc giới thu hút số lƣợng lớn dân cƣ đổ dồn sinh sống làm việc dẫn đến việc xuất đám đông ngày nhiều, tuyến đƣờng giao thông, trung tâm thƣơng mại lớn, khu vui chơi giải trí, bến xe…Do việc giám sát, theo dõi đám đơng cách tự động thông minh vấn đề quan trọng cấp bách nhằm góp phần điều tiết giao thơng, nhƣ giữ gìn an ninh trật tự nơi công cộng…Trong khuôn khổ luận văn xin trình bày giải thuật xây dựng hệ thống giám sát thự động thông minh với mục tiêu phát hiện, ƣớc lƣợng phân tích chuyển động đám đông Việc sử dụng phƣơng pháp Gray Level Co-occurrence Matrix (GLCM) mô tả gần nhƣ đầy đủ thuộc tính thống kê thơng tin khơng gian ảnh nhị phân Do qua thực nghiệm việc sử dụng phƣơng pháp vào phát ƣớc lƣợng độ đám đơng gần nhƣ xác Giải thuật Kanade-Lucas-Tomasi tracker (KLT tracker) chạy mơ hình optical flow đƣợc sử dụng phân tích chuyển động đám đông bao gồm xác định đƣờng đối tƣợng, kết hợp với giải thuật gom nhóm tính tốn độ quán đám đông để thấy rõ chuyển động nhóm video clip Các giải thuật đƣợc chạy thực nghiệm video thực tế cho kết xác cao ii ABSTRACT At present, in our country and countries around the world alike, majority of people flock to megacities for living and working This causes the occurrence of more and more crowds, especially on traffic routes, big trade centers, entertainment zones, bus stations…For this reason, monitoring, watching crowds in automatically smart manner is an important and urgent issue that contributes to regulating traffic flows as well as to maintaining security- order at public places…Within this composition, I will present algorithms for building and analyzing the motions of crowds The using of Gray Level Co-occurrence Matrix (GLCM) already describes nearly- sufficient statistical attributes and spatial information of binary images Therefore, the test usage of this method in discovering and measuring crowds is almost precise Kanade-LucasTomasi tracker (KLT tracker) operated on optical flow model has ever been used in analyzing motions of crowds, including the definition of orientation of objects, combined with grouping algorithms of calculating the consistency level of crowds for clear motions of each group in video clips These algorithms have been tested in real videos with highly precise results iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn đƣợc thực Các kết nghiên cứu kết luận luận văn trung thực khơng có chép từ nguồn dƣới hình thức Việc tham khảo nguồn tài liệu đƣợc thực trích dẫn ghi nguồn tài liệu tham khảo theo yêu cầu Tác giả luận văn Nguyễn Thái Bình iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG BIỂU ix DANH MỤC TỪ VIẾT TẮT x Chƣơng MỞ ĐẦU 1.1 Giới thiệu đề tài 1.2 Mục tiêu luận văn 1.3 Nhiệm vụ luận văn 1.4 Cấu trúc luận văn Chƣơng TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 2.1 Phát ƣớc lƣợng mật độ đám đông dựa kỹ thuật loại bỏ 2.2 Phát ƣớc lƣợng mật độ đám đơng dựa kỹ thuật phân tích cấu trúc ảnh 2.3 Phát phân tích chuyển động đám đông 12 Chƣơng CƠ SỞ LÝ THUYẾT LIÊN QUAN ĐẾN ĐỀ TÀI 16 3.1 Phƣơng pháp loại bỏ 16 3.2 Phƣơng pháp mẫu nhị phân cục 17 3.3 Phƣơng pháp Gray-Level Co-Occurence Matrix (GLCM) 18 3.4 Phƣơng pháp Kanade – Lucas – Tomasi tracker (KLT tracker) 21 3.5 Phân tích độ quán (collectiveness) đám đông 24 3.5.1 Kiến thức tổng quát đám đông 24 3.5.2 Mơ hình động lực đám đơng 25 3.5.3 Đo độ quán chuyển động đám đông 26 3.5.3.1 Tổng quan 26 3.5.3.2 Tính quán hành vi vùng lân cận 26 3.5.3.3 Tính quán hành vi nhiều tập hợp khác 27 3.5.3.4 Sự kết hợp cá thể từ đƣờng dẫn tƣơng đồng 28 3.5.3.5 Độ quán đám đông theo hợp thức 28 3.5.3.6 Các tính chất độ quán chuyển động 29 3.5.3.7 Giải thuật gom nhóm đám đơng 29 v Chƣơng PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG CỦA ĐÁM ĐÔNG 31 4.1 Tổng quan bƣớc thực luận văn 31 4.2 Phát ƣớc lƣợng mật độ đám đông 32 4.2.1 Phát vùng đám đông 32 4.2.2 Ƣớc lƣợng mật độ đám đông 34 4.3 Phân tích chuyển động đám đơng 36 4.3.1 Theo dõi chuyển động đám đông 36 4.3.2 Gom nhóm tính độ quán đám đông 37 Chƣơng MÔ PHỎNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 38 5.1 Phát vùng đám đông 38 5.2 Ƣớc lƣợng mật độ đám đông 43 5.3 Phân tích chuyển động đám đông 45 5.4 Đánh giá kết thực nghiệm kết luận 51 5.4.1 Đánh giá kết thực nghiệm 51 5.4.2 Kết luận 54 TÀI LIỆU THAM KHẢO 55 LÝ LỊCH TRÍCH NGANG 57 vi DANH MỤC HÌNH VẼ Hình 2.1 - Mô t kết A.Velastin [1] Hình 2.2 - Ví dụ minh họa thuật tốn phân đoạn nghiên cứu V Ramesh [3] .5 Hình 2.3 - Kết thực nghiệm B Yang [4] sử dụng camera để quan sát di chuyển người phòng .6 Hình 2.4 - Sơ đồ kỹ thuật mô tả phương pháp ước lượng mật độ đám đông N Marana [5] Hình 2.5 - Ảnh minh họa kết phương pháp ALBP [6] Hình - Minh họa loại mật độ đám đông .9 Hình 2.7 - Sơ đồ phân tích,ước lượng đám đơng phương pháp LBPCM [7] 10 Hình 2.8 - Một số kết nhận dạng nghiên cứu O Arandjelovic [9] 10 Hình 2.9 - Kết phát chuyển động cúa nhóm đám đơng [11] 12 Hình 2.10 - Một kết phân tích nghiên cứu K Lim [12] 12 Hình 2.11 - Mơ tả mơ hình Social Force [13] 13 Hình 2.12 - Kết tính tốn mơ hình Optical Flow [14] .14 Hình 2.13 - Một kết phân tích nghiên cứu H.Ullah [15] 14 Hình 2.14 - Kết phân tích theo dõi chuyển động tronng đám đơng theo H Idrees [16] 15 Hình - Sơ đồ khối cách sử dụng phương pháp khung hình khác biệt trích từ [17] 16 Hình - Ví dụ minh họa phương pháp Mẫu nhị phân cục (LBP) trích từ [7] 18 Hình 3.3 - Mô tả phương pháp GLCM 19 Hình 3.4 - Cách tạo ma trận GLCM 19 Hình 3.5 - Mô tả cách xác định điểm ảnh khung hình I J 21 Hình - Mơ hình kim tự tháp thuật tốn KLT tracker trích từ [18] 22 Hình 7- Minh họa cấu trúc cảnh đông đúc 25 Hình 3.8- Mơ tả khơng gian cấu trúc quán 27 Hình - Lưu đồ giải thuật gom nhóm đám đơng 30 Hình 4.1 - Lưu đồ giải thuật phát ước lượng mật độ đám đông 31 Hình 4.2 - Lưu đồ giải thuật phân tích chuyển động đám đơng .32 Hình 4.3 - Minh họa bước tạo ảnh mức xám sau loại bỏ thành phần tĩnh 32 Hình 4.4 - Minh họa kết phân tích GLCM nhỏ khơng có đối tượng xe cộ hay người 33 vii Chƣơng – Mô Phỏng Thực Nghiệm Và Đánh Giá Kết Quả 5.2 Ƣớc lƣợng mật độ đám đơng Từ khung hình đầu vào có kích thƣớc 500 x 750 ta chia thành ô lớn có kích thƣớc 120 x 120 Mỗi lớn đƣợc chia thành 36 nhỏ có kích thƣớc 20 x 20 Dựa việc xác định đám đông A.Polus [8] xây dựng mật độ vùng đám đông đƣợc xác định theo nguyên tắc nhƣ sau: - Kẹt cứng lớn chứa 27 nhỏ đƣợc xác định đám đông Hiển thị ô màu đỏ - Dày đặc lớn chứa từ 18 đến 27 ô nhỏ đƣợc xác định đám đông Hiển thị ô màu vàng - Hạn chế ô lớn chứa từ đến 18 ô nhỏ đƣợc xác định đám đông Hiển thị ô màu xanh - Tự lớn chứa nhỏ đƣợc xác định đám đông (a) Cảnh sảnh trung tâm thƣơng mại (b) Ngƣời qua đƣờng (c) Cảnh đông đúc chợ (d) Cảnh nhiều ngƣời chạy marathon HVTH: Nguyễn Thái Bình 43 GVHD: TS Chế Viết Nhật Anh Chƣơng – Mô Phỏng Thực Nghiệm Và Đánh Giá Kết Quả (e) Cảnh đông đúc ga xe lửa (f) Cảnh đông đúc ngƣời (g) Cảnh thang siêu thị (h) Cảnh góc trung tâm mua sắm (i) Cảnh ô tô lƣu thông đƣờng (j) Cảnh ô tô lƣu thông đƣờng (trời tối) Hình 5.4- Mơ tả kết ước lượng mật độ vùng đám đông Nhận xét: Việc ƣớc lƣợng mật độ đám đông dựa thông số homogeneity xác định mật độ đám đơng tƣơng đối xác trƣờng hợp máy quay bắt khung hình có cảnh tĩnh (nhƣ cối, tòa nhà, dãy phân cách lớn đƣờng…) Tuy nhiên việc ƣớc lƣợng hạn chế đám đơng mà có màu sắc gần giống nhƣ Phƣơng pháp khắc phục đƣợc tình trạng thay đổi ánh sáng cảnh mơi trƣờng HVTH: Nguyễn Thái Bình 44 GVHD: TS Chế Viết Nhật Anh Chƣơng – Mô Phỏng Thực Nghiệm Và Đánh Giá Kết Quả 5.3 Phân tích chuyển động đám đơng Phân tích chuyển động đám đông đƣợc tiến hành thực nghiệm video thực tế Collective Motion Database [23] Các video sở liệu có hình ảnh thực tế từ nƣớc Trong sở liệu tác giả Bolei Zhou thực đánh giá mức độ chuyển động tập thể video theo mức : thấp, trung bình, cao Trong sở liệu video đƣợc xây dựng mối tƣơng quan hạt hoạt động ngƣời nhƣ phƣơng tiện giao thơng Bên cạnh tác giả tiến hành xây dựng biểu đồ hạt tập thể cho toàn sở liệu Tập hợp hành vi cá nhân đám đông Φ khung tính chuyển động đƣợc trích xuất theo dõi KLT tracker lấy tập hợp hành vi cá nhân Φ trung bình 100 khung hình cho video Sau tính vận tốc v cách sử dụng tính chuyển động giống nhƣ đƣờng sở so sánh Qua cho thấy có tƣơng quan cao hạt tập thể tập hợp hành vi cá nhân Φ phù hợp với nhận thức ngƣời Mỗi video có độ dài 100 ảnh jpg đƣợc tác giả B.Zhou trích xuất tính chuyển động giải thuật KLT tracker Giải thuật KLT tracker đƣợc xây dựng ngơn ngữ lập trình C Mục tiêu thực nghiệm khảo chuyển động đám đông trƣờng hợp khác để thấy đƣợc thay đổi hệ số quán trƣờng hợp Hệ số quán dao động từ đến thể mức độ hành vi đám đông, đám đông có tập hợp hành vi giống lớn hệ số quán tiến gần đến Từ thay đổi hệ số quán đám đông sở để nhận biết đƣợc mức độ hành vi chuyển động đám đông Thông số cài đặt để thực tính tốn nhƣ sau:  Hệ số K xác định kích thƣớc lân cận Theo B.Zhou [22] rút từ thí nghiệm cho thấy K lớn làm cho việc ƣớc lƣợng khơng xác, K nhỏ nhạy cảm với nhiễu Do tất thí nghiệm chọn K=20  Hệ số z bị hạn chế K theo tính chất Trong z xác định dịng hội tụ z= 0,5 K với K=20 z=0,025 giới hạn Ф  Ngƣỡng ma trận Z: К= 𝛼𝑧 1−𝑧𝐾 (với 0,4