Nghiên cứu kỹ thuật phân tích đám đông trong giám sát tự động dựa vào thị giác máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN TRẦN VĂN THÀNH NGHIÊN CỨU KỸ THUẬT PHÂN TÍCH ĐÁM ĐÔNG TRONG GIÁM SÁT TỰ ĐỘNG DỰA VÀO THỊ GIÁC MÁY Chuyên ngành: Khoa học máy tính Mã số: 08.48.01.01 Ngƣời hƣớng dẫn: TS Lê Thị Kim Nga LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành sâu sắc đến: - Cô TS.Lê Thị Kim Nga - Viện trưởng Viện nghiên cứu ứng dụng KH&CN, Giảng viên Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) dành nhiều thời gian, công sức, hỗ trợ hướng dẫn tận tình em trình thực đề tài, giúp em hoàn thành luận văn cách thuận lợi nhất; - Quý thầy cô Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) tích cực giảng dạy, cung cấp kiến thức chun mơn thiết thực q trình học tập, giúp em hiểu sâu nội dung liên quan phục vụ cho việc nghiên cứu đề tài này; - Quý lãnh đạo quan tạo điều kiện thuận lợi thời gian, sếp công việc để em theo đuổi hồn thành khóa học Một lần nữa, em thành thật cảm ơn trân trọng gửi đến quý thầy cô, quý lãnh đạo quan lời chúc tốt đẹp nghiệp sống Bình Định, ngày tháng năm 2020 Học viên Trần Văn Thành LỜI CAM ĐOAN Tôi xin cam đoan, tồn văn đề tài nghiên cứu tơi tự vận dụng kiến thức học, tìm hiểu qua nhiều kênh thơng tin biên tập, có tham khảo tài liệu liên quan, có chọn lọc khơng y tồn văn đề tài cơng bố thức, khơng quy phạm quyền tác giả Các số liệu, kết nêu luận văn trung thực có tham chiếu nguồn gốc rõ ràng Bình Định, ngày tháng năm 2020 Học viên Trần Văn Thành MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH ẢNH DANH MỤC CÁC BẢNG VẼ NỘI DUNG LUẬN VĂN Trang MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa đề tài 5.1 Ý nghĩa khoa học 5.2 Ý nghĩa thực tiễn Cấu trúc luận văn Chƣơng 1: TỔNG QUAN VỀ ĐỀ TÀI NGHIÊN CỨU 1.1 Tình hình nghiên cứu đề tài 1.2 Khái quát đám đông 1.2.1 Giới thiệu chung 1.2.2 Một số tiếp cận đám đông 1.3 Hệ thống camera giám sát tập trung 12 1.3.1 Giới thiệu thống camera giám sát tập trung 12 1.3.2 Vấn đề phát đối tượng camera giám sát 13 1.4 Mơ hình phân tích đám đơng giám sát tự động dựa vào thị giác máy 15 1.4.1 Tổng quan thị giác máy 15 1.4.2 Một số ứng dụng thị giác máy 19 1.5 Kết luận chương 20 Chƣơng 2: MỘT SỐ KỸ THUẬT PHÂN TÍCH ĐÁM ĐƠNG TRONG GIÁM SÁT TỰ ĐỘNG 21 2.1 Kỹ thuật phát chuyển động 21 2.1.1 Giới thiệu 21 2.1.2 Kỹ thuật trừ 38 2.1.3 Đánh giá kỹ thuật phát chuyển động 31 2.2 Kỹ thuật phát đối tượng 32 2.2.1 Giới thiệu 32 2.2.2 Các tính áp dụng kỹ thuật phát đối tượng 34 2.2.3 Đánh giá kỹ thuật phát đối tượng 36 2.3 Kỹ thuật bám sát đối tượng 37 2.3.1 Giới thiệu 37 2.3.2 Một số đặc trưng kỹ thuật bám sát đối tượng 39 2.3.3 Đánh giá kỹ thuật bám sát đối tượng 40 2.4 Kết luận chương 41 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 42 3.1 Giới thiệu toán 42 3.2 Phân tích tốn 42 3.3 Xây dựng chương trình thử nghiệm 46 3.3.1 Thiết lập thử nghiệm 47 3.3.2 Kết thử nghiệm 48 3.4 Đánh giá kết thử nghiệm 53 3.5 Kết luận chương 54 KẾT LUẬN VÀ KIẾN NGHỊ 55 DANH MỤC TÀI LIỆU THAM KHẢO 57 DANH MỤC CÁC TỪ VIẾT TẮT STT Diễn giải ý nghĩa Từ viết tắt Artificial Intelligence (AI) Trí tuệ nhân tạo Anomaly event detection Phát kiện bất thường Behavior recognition Nhận diện hành vi Computer Science Khoa học máy tính Computer vision Thị giác máy Charge-Coupled Device Máy quay phim Crowd Đám đơng Crowd analysis techniques Kỹ thuật phân tích đám đông Crowd analysis using computer Kỹ thuật phân tích đám đơng dựa vision techniques 10 Crowd motion vào thị giác máy pattern Phân loại mơ hình chuyển động segmentation đám đông 11 Motion pattern segmentation Phân đoạn mẫu chuyển động 12 Visual clustering Phân cụm trực quan DANH MỤC CÁC HÌNH ẢNH Tên nội dung hình ảnh STT 1.1 Đám đơng 1.2 Mơ hình phân loại phân tích đám đơng 1.3 Mơ hình hệ thống camara giám sát tập trung 1.4 Hệ thống camera kết nối trung tâm xử lý hình ảnh 1.5 Tầm quan trọng thị giác máy trí tuệ nhân tạo 1.6 Vai trò thị giác máy nhận dạng phát đối tượng 1.7 Cấu tạo hệ thống thị giác máy 1.8 Thị giác máy có khả nhìn hiểu giống người 1.9 Nhận thức vật ảnh thị giác máy 1.10 Mơ hình số lĩnh vực ứng dụng thị giác máy 2.1 Phát đối tượng có hành động tốc độ nhanh khoanh vùng 2.2 Mơ hình phát đối tượng chuyển động 2.3 Quy trình trừ 2.4 Kỹ thuật trừ 2.5 Sơ đồ kỹ thuật phát đối tượng ảnh 2.6 Phát đối tượng Integral Image 2.7 Phát đối tượng Yolo 2.8 Mơ hình kỹ thuật bám sát đối tượng 2.9 Bám sát đối tượng chuyển động 3.1 Các bước trình phát theo dõi đối tượng 3.2 Sơ đồ thực chương trình thử nghiệ 3.3 Cách truyền video vào chương trình thử nghiệm 3.4 Kết chương trình thử nghiệm video DANH MỤC CÁC BẢNG VẼ STT Tên nội dung bảng vẽ 2.1 Phân tích hiệu suất mơ hình trừ 3.1 Kết đánh giá chương trình thử nghiệm video 45 phần hình ảnh tính theo kết cấu kỹ thuật Sau đó, tính tốn cách sử dụng chồng chéo chuẩn hóa tương phản cục lưới dày đặc ô cách để cải thiện độ xác - Phân loại dựa hình dạng: Biểu diễn điểm, hộp đốm màu khác vùng chuyển động có sẵn để phân loại chuyển động đối tượng dựa thông tin hình dạng Hỗn hợp thơng số dựa hình ảnh dựa cảnh khu vực đốm hình ảnh, thu phóng máy ảnh rõ ràng tỷ lệ khung hình hộp giới hạn đốm màu đóng vai trị đầu vào tính mạng Từng đốm màu khung hình trải qua phân loại biểu đồ giữ kết + Phân loại dựa màu sắc: Màu sắc dễ thu tương đối ổn định biến thể góc nhìn, khơng giống hình ảnh khác đặc trưng Trong thời gian thực để phát theo dõi phương tiện, thuật toán dựa biểu đồ màu sử dụng Để phân đoạn hình ảnh thành đối tượng để mô tả phân bố màu sắc bên chuỗi hình ảnh - Theo dõi đối tượng bước sau phát đối tượng, kỹ thuật sử dụng để theo dõi hướng di chuyển đối tượng + Dựa điểm: Là nhiệm vụ chung thị giác máy với ứng dụng khác liên quan đến trình theo dõi đối tượng chuyển động hiển thị điểm đặc trưng đối tượng Theo dõi điểm vấn đề lớn, đặc biệt việc phát bất thường tỷ lệ khớp + Dựa khu vực: Thường thực tính tốn đối tượng khơng đứng n mà hiển thị vùng đối tượng chuyển động từ khung sang khung khác + Dựa hình bóng: Tay, đầu vai đối tượng có hình dạng hỗn hợp xác định rõ hình dạng hình học Sự phân bố hồn 46 hảo hình dạng đối tượng cung cấp cách tiếp cận Mục tiêu chế theo dõi phát vùng đối tượng khung hình với trợ giúp mơ hình đối tượng thu khung trước 3.3 Xây dựng chƣơng trình thử nghiệm Để minh họa cho kỹ thuật nghiên cứu Chương nội dung phân tích toán nêu trên, luận văn tiến hành thử nghiệm cho toán ứng dụng cụ thể Bài toán ứng dụng cài đặt thử nghiệm ngôn ngữ lập trình Visual C++ tảng cơng cụ Microsoft Visual Studio phiên 2015 Các bước để giải toán thể sơ đồ sau: Hình 3.2 Sơ đồ thực chƣơng trình thử nghiệm 47 - Video đầu vào: Video đầu vào thu từ camera giám sát đặt vị trí cố định với mức ánh sáng tốt ảnh không thay đổi - Lấy khung hình từ video: Lấy khung hình từ video đưa vào - Khởi tạo Background: Lấy khung hình làm Background - Trừ nền: Áp dụng kỹ thuật trừ nền, tìm khác biệt background foreground Trừ giá trị điểm ảnh ảnh khung hình ảnh để tìm ảnh khác biệt - Gom nhóm, đưa ảnh nhị phân: Xử lý đưa ảnh nhị phân Sau tìm ảnh khác biệt tiến hành chuyển đổi ảnh khác biệt, tìm ngưỡng dựa vào ngưỡng đưa ảnh nhị phân - Xác định đối tượng: Từ ảnh nhị phân, tiếp tục tiến hành sử dụng phương pháp phân loại đối tượng theo dõi đối tượng để phân tích đánh giá đặc tính đối tượng khoanh vùng đối tượng Dựa vào mặt nạ thực khoanh vùng đối tượng hình ảnh màu, xác định đối tượng chuyển động - Kết quả: Video chứa đối tượng chuyển động khoanh vùng màu xanh đếm số thứ tự tăng dần 3.3.1 Thiết lập thử nghiệm - Trong trình thử nghiệm kết quả, video mẫu truyền vào trực tiếp phần Crowd Property chương trình đường dẫn tuyệt đối Cụ thể đưa đường dẫn trực tiếp vào ô Command - Các mẫu video thử nghiệm thu thập từ nguồn: https://motchallenge.net/data/2D_MOT_2015/?chl=2&orderBy=frame_ rate&orderStyle=DESC 48 Hình 3.3 Cách truyền video vào chƣơng trình thử nghiệm - Sau thực hiện, chương trình lên 03 khung hình: + Màn hìnhChuyendong: Màn hình chương trình, hiển thị hình màu trắng đen dùng để so sánh khung hình khác phát đối tượng chuyển động + Màn hình Phathien: Thể kết phát đối tượng chuyển động tổng số đối tượng ghi nhận nhận dạng cách khoanh vùng đối tượng hình vng màu xanh + Màn hình Theodoi: Thể kết số lượng phát đối tượng, đánh số thứ tự tăng dần đối tượng phát - Quan sát trực tiếp ghi nhận đối tượng ước tính mật độ đối tượng thời điểm định 3.3.2 Kết thử nghiệm Qua quan sát trực tiếp từ 03 khung hình mắt thường 10 mẫu video, thời gian ghi nhận số lượng đối tượng phát 20 giây/video Kết đạt sau: 49 - Video 01 có kích thước khung hình 1920*1080, độ dài thời gian 20 giây, số khung hình/giây 30, tổng số khung hình 600 Số đối tượng phát 52 người tổng số đối tượng ghi nhận 56 người Tỷ lệ phát 92,9%, mật độ đối tượng khung hình 11 người Hình 3.4 Kết chạy chƣơng trình thử nghiệm video 01 - Video 02 có kích thước khung hình 1920*1080, độ dài thời gian 22 giây, số khung hình/giây 30, tổng số khung hình 654 Số đối tượng phát 47 người tổng số đối tượng ghi nhận 53 người Tỷ lệ phát 88,7%, mật độ đối tượng khung hình 11 người Hình 3.5 Kết chạy chƣơng trình thử nghiệm video 02 - Video 03 có kích thước khung hình 640*480, độ dài thời gian 60 giây, số khung hình/giây 14, tổng số khung hình 837 Số đối tượng phát 41 người tổng số đối tượng ghi nhận 45 người Tỷ lệ phát 91,1%, mật độ đối tượng khung hình người 50 Hình 3.6 Kết chạy chƣơng trình thử nghiệm video 03 - Video 04 có kích thước khung hình 640*480, độ dài thời gian 61 giây, số khung hình/giây 14, tổng số khung hình 1000 Số đối tượng phát 35 người tổng số đối tượng ghi nhận 37 người Tỷ lệ phát 94,6%, mật độ đối tượng khung hình người Hình 3.7 Kết chạy chƣơng trình thử nghiệm video 04 - Video 05 có kích thước khung hình 768*576, độ dài thời gian 114 giây, số khung hình/giây 7, tổng số khung hình 795 Số đối tượng phát 17 người tổng số đối tượng ghi nhận 18 người Tỷ lệ phát 94,4%, mật độ đối tượng khung hình người Hình 3.8 Kết chạy chƣơng trình thử nghiệm video 05 51 - Video 06 có kích thước khung hình 1920*1080, độ dài thời gian 225 giây, số khung hình/giây 2.5, tổng số khung hình 450 Số đối tượng phát 14 người tổng số đối tượng ghi nhận 15 người Tỷ lệ phát 93,3%, mật độ đối tượng khung hình người Hình 3.9 Kết chạy chƣơng trình thử nghiệm video 06 - Video 07 có kích thước khung hình 640*480, độ dài thời gian 85 giây, số khung hình/giây 14, tổng số khung hình 1194 Số đối tượng phát 24 người tổng số đối tượng ghi nhận 25 người Tỷ lệ phát 96,0%, mật độ đối tượng khung hình 11 người Hình 3.10 Kết chạy chƣơng trình thử nghiệm video 07 - Video 08 có kích thước khung hình 640*480, độ dài thời gian 31 giây, số khung hình/giây 14, tổng số khung hình 440 Số đối tượng phát 36 người tổng số đối tượng ghi nhận 40 người Tỷ lệ phát 90,0%, mật độ đối tượng khung hình người 52 Hình 3.11 Kết chạy chƣơng trình thử nghiệm video 08 - Video 09 có kích thước khung hình 1920*1080, độ dài thời gian 17 giây, số khung hình/giây 30, tổng số khung hình 500 Số đối tượng phát 50 người tổng số đối tượng ghi nhận 59 người Tỷ lệ phát 84,7%, mật độ đối tượng xuất khung hình 10 người Hình 3.12 Kết chạy chƣơng trình thử nghiệm video 09 - Video 10 có kích thước khung hình 1238*374, độ dài thời gian 106 giây, số khung hình/giây 10, tổng số khung hình 1059 Số đối tượng phát 21 người tổng số đối tượng ghi nhận 23 người Tỷ lệ phát 91,3%, mật độ đối tượng khung hình người Hình 3.13 Kết chạy chƣơng trình thử nghiệm video 10 53 3.4 Đánh giá kết thử nghiệm Sau thực chương trình thừ nghiệm cho 10 video mẫu, kết đầu cho thấy Số đối tượng phát 337 người tổng số đối tượng ghi nhận 371 người, tỷ lệ phát đạt 91,7% (Bảng 3.1) Như vậy, với số kỹ thuật áp dụng cho phát theo dõi đối tượng chuyển động toán phân tích đám đơng, khẳng định rằng, phương pháp tối ưu, mang lại hiệu cao, đồng thời cho kết tương đối xác nhanh chóng Bảng 3.1 Kết đánh giá chƣơng trình thử nghiệm 10 video Các tham số đầu vào video Tên video Kết đầu đƣợc quan sát ghi nhận trực tiếp mắt thƣờng (Tính thời gian 20 giây ) Tỷ lệ phát (%) Ƣớc tính mật độ (người / khung hình 56 92,9 11 47 53 88,7 11 60 41 45 91,1 1000 61 35 37 94,6 795 114 17 18 94,4 1920*1080 2.5 450 225 14 15 93,3 Video7 640*480 14 1194 85 24 25 96,0 11 Video8 640*480 14 440 31 36 40 90,0 Video9 1920*1080 30 500 25 50 59 84,7 10 Video10 1238*374 10 1059 106 21 23 91,3 337 371 91,7 Tổng Số đối Độ dài số đối tƣợng thời tƣợng đƣợc gian đƣợc phát (giây) ghi nhận Kích thƣớc khung hình Số khung hình / giây Tổng số khung hình Video1 1920*1080 30 600 20 52 Video2 1920*1080 30 654 22 Video3 640*480 14 837 Video4 640*480 14 Video5 768*576 Video6 Tổng cộng 54 3.5 Kết luận Chƣơng Chương giới thiệu số dạng tốn, phân tích số kỹ thuật nhằm giải tốn hiệu từ xây dựng chương trình thử nghiệm, đồng thời đánh giá kết đạt sau thử nghiệm tiến hành cài đặt thử nghiệm chương trình trình bày Chương Kết đạt thành công từ ý tưởng áp dụng thuật toán đưa luận văn 55 KẾT LUẬN VÀ KIẾN NGHỊ Kết đạt đƣợc luận văn Trong nội dung nghiên cứu đề tài “Nghiên cứu kỹ thuật phân tích đám đơng giám sát tự động dựa vào thị giác máy” thân tìm hiểu kỹ thuật trừ nền, phân cụm áp dụng phương pháp phát đối tượng, theo dõi đối tượng để giải toán đặt Qua nghiên cứu, kết mà luận văn đạt sau: - Khái quát số kỹ thuật phân tích đám đơng - Phân tích phương pháp, tính giám sát tự động dựa vào thị giác máy thông qua video - Cài đặt thử nghiệm thuật toán áp dụng kỹ thuật phân tích xuất video phát đối tượng chuyển động ước tính mật độ đối tượng đám đông, đồng thời chạy thử nghiệm chương trình liệu video tự thu thập Kiến nghị hƣớng nghiên cứu Kỹ thuật phân tích đám đơng giám sát tự động dựa vào thị giác máy đề tài đã, tiếp tục nhiều nhà nghiên cứu ngồi nước nghiên cứu có nhiều ứng dụng to lớn, có tầm quan trọng khoa học, thực tiễn Những hạn chế phân tích hành vi đám đơng cịn Trong q trình thực đề tài, hạn chế mặt trình độ thời gian thực luận văn có hạn, chương trình phần demo thuật toán phát chuyển động, phát đối tượng, bám sát đối tượng dựa vào video Để triển khai thực tế cần đòi hỏi nhiều cải tiến Hy vọng tương lai, phát triển giúp chương trình hồn thiện - Kết hợp phát theo dõi đối tượng chuyển động với nhận diện 56 hành vi đối tượng đám đơng - Xây dựng thuật tốn cải thiện chất lượng video loại trừ nhiễu, loại trừ bóng tối ưu hóa thuật tốn để tăng tốc độ chương trình - Mở rộng thuật tốn đếm số lượng đối tượng chuyển động khu vực đông người Hướng nghiên cứu luận văn tiếp tục nghiên cứu sâu thuật toán tiền xử lý, nâng cao hiệu thuật toán phục vụ cho hệ thống giám sát tự động phân tích đám đơng dựa vào thị giác máy 57 DANH MỤC TÀI LIỆU THAM KHẢO Trong phạm vi nghiên cứu đề tài bao gồm: Tài liệu tiếng Việt [1] TS Lê Thị Kim Nga - Đại học Quy Nhơn “Giáo trình Phân tích đám đơng” [2] Tổng quan Thị giác máy (https://azcomvn.com) [3] Thị giác máy: Tổng quan công nghệ AI tiên tiến (https://vntechpedia.com/vi) [4] Thị giác máy ứng dụng không ngờ xu công nghệ (https://htigroup.vn) [5] Tìm hiểu chung (https://bkaii.com.vn) thị giác máy computer vision [6] Võ Tấn Khoa (2018),“Nghiên cứu thuộc tính đám đơng video giám sát”; [7] Ngơ Hồng Hiệp (2019), “Thị giác máy tính: Theo dõi phát đối tượng chuyển động” [8] Nguyễn Văn Căn (2020), “Theo dõi phân tích đối tượng dựa biên toán giám sát đối tượng chuyển động” Tài liệu tiếng Anh [9] IEEE Signal Processing Magazine (2010),“Crowd analysis using computer vision techniques” [10] X.Wu, G.Liang, K.K.Lee, and Y.Xu, “Crowd density estimation using texture analysis and learning” in Proc IEEE Int Conf Robotics and Biomimetics (2006), pp.201-219 [11] Shivashree G, Dr Anuradha SG (2018):2394-2320, “International Journal of Engineering Research in Computer Science and Engineering (IJERCSE)” [12] Laura Lopez-Fuentes, Joost van de Weijer, Manuel González- 58 Hidalgo, Harald (2018),“Review on Computer Vision Techniques in Emergency Situations” [13] Hyunjoon Jo, Kabir Chug, Ricky J Sethi (2013), “A review of physics-based methods for group and crowd analysis in computer vision” [14] S.R.Balaji, Dr.S.Karthikeyan (2017), International Conference on Intelligent System and Control (ISCO) “A survey on moving object tracking using image processing” [15] Forczmanski, P Nowosielski, A: Multi-view data aggregation for behaviour analysis in video surveillance systems In: International Conference on Computer Vision and Graphics, pp.462-473 Springer (2016) [16] Kinjal A Joshi, Darshak G.Thakore (2012):2231-2307 InternationalJournal of soft computer and Engineering (IJSCE) “A survey on moving object detection and tracking in video surveillance system” [17] Karim Ismail, Tarek Sayed, Nicolas Saunier (2009) “Automated collection of pedestrian data using computer vision techniques” [18] Thierry Bouwmans, Fida El Baf, Bertrand Vachon (2010) “Statistical background modeling for foreground detection: A Survay” [19] Alan M, McIvor (2000) “Background subtraction techniques” [20] M Seki, T Wada, H Fujiwara, K Sumi, “Background subtraction based on cooccurrence of image variations,” Proc CVPR 2003, Vol 2, pp 65-72 Ngồi việc nghiên cứu từ tài liệu, tìm thấy từ nguồn thơng tin khác phù hợp để áp dụng vào tốn phân tích đám đông 59 ... nghĩa cảnh đám đơng hầu hết đặc trưng nghiên cứu cảnh đám đông định Từ lý trên, tơi chọn đề tài Nghiên cứu kỹ thuật phân tích đám đông giám sát tự động dựa vào thị giác máy nội dung nghiên cứu luận... camera giám sát tập trung 12 1.3.2 Vấn đề phát đối tượng camera giám sát 13 1.4 Mơ hình phân tích đám đơng giám sát tự động dựa vào thị giác máy 15 1.4.1 Tổng quan thị giác máy ... ra, chương phân tích số vấn đề thách thức toán phân tích đám đơng lĩnh vực ứng dụng chúng 21 Chƣơng MỘT SỐ KỸ THUẬT PHÂN TÍCH ĐÁM ĐƠNG TRONG GIÁM SÁT TỰ ĐỘNG 2.1 Kỹ thuật phát chuyển động 2.1.1