(Luận văn) nghiên cứu kỹ thuật phân tích đám đông trong giám sát tự động dựa vào thị giác máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN TRẦN VĂN THÀNH a lu n n va p ie gh tn to NGHIÊN CỨU KỸ THUẬT PHÂN TÍCH ĐÁM ĐÔNG TRONG GIÁM SÁT TỰ ĐỘNG DỰA VÀO THỊ GIÁC MÁY d oa nl w a nv a lu Chuyên ngành: Khoa học máy tính Mã số: 08.48.01.01 ll u nf m n oi tz Ngƣời hƣớng dẫn: TS Lê Thị Kim Nga z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành sâu sắc đến: - Cô TS.Lê Thị Kim Nga - Viện trưởng Viện nghiên cứu ứng dụng KH&CN, Giảng viên Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) dành nhiều thời gian, công sức, hỗ trợ hướng dẫn tận tình em trình thực đề tài, giúp em hồn thành luận văn cách thuận lợi nhất; a lu - Quý thầy cô Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) n n va tích cực giảng dạy, cung cấp kiến thức chuyên môn thiết thực tn to trình học tập, giúp em hiểu sâu nội dung liên quan phục vụ p ie gh cho việc nghiên cứu đề tài này; - Quý lãnh đạo quan tạo điều kiện thuận lợi thời gian, oa nl w sếp cơng việc để em theo đuổi hồn thành khóa học Một lần nữa, em thành thật cảm ơn trân trọng gửi đến quý thầy cô, d sống a nv a lu quý lãnh đạo quan lời chúc tốt đẹp nghiệp u nf ll Bình Định, ngày tháng năm 2020 m Học viên tz n oi z m co l gm @ Trần Văn Thành an Lu n va ac th si LỜI CAM ĐOAN Tôi xin cam đoan, toàn văn đề tài nghiên cứu tơi tự vận dụng kiến thức học, tìm hiểu qua nhiều kênh thơng tin biên tập, có tham khảo tài liệu liên quan, có chọn lọc khơng y tồn văn đề tài cơng bố thức, khơng quy phạm quyền tác giả Các số liệu, kết nêu luận văn trung thực có tham chiếu nguồn gốc rõ ràng a lu Bình Định, ngày tháng năm 2020 n Học viên n va p ie gh tn to Trần Văn Thành d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th si MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH ẢNH DANH MỤC CÁC BẢNG VẼ NỘI DUNG LUẬN VĂN Trang MỞ ĐẦU a lu Lý chọn đề tài n Mục tiêu nghiên cứu n va tn to Đối tượng phạm vi nghiên cứu p ie gh 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu oa nl w Phương pháp nghiên cứu Ý nghĩa đề tài d a lu 5.1 Ý nghĩa khoa học a nv u nf 5.2 Ý nghĩa thực tiễn ll Cấu trúc luận văn m n oi Chƣơng 1: TỔNG QUAN VỀ ĐỀ TÀI NGHIÊN CỨU tz 1.1 Tình hình nghiên cứu đề tài z gm @ 1.2 Khái quát đám đông co l 1.2.1 Giới thiệu chung m 1.2.2 Một số tiếp cận đám đông Lu an 1.3 Hệ thống camera giám sát tập trung 12 n va ac th si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 1.3.1 Giới thiệu thống camera giám sát tập trung 12 1.3.2 Vấn đề phát đối tượng camera giám sát 13 1.4 Mơ hình phân tích đám đơng giám sát tự động dựa vào thị giác máy 15 1.4.1 Tổng quan thị giác máy 15 1.4.2 Một số ứng dụng thị giác máy 19 1.5 Kết luận chương 20 Chƣơng 2: MỘT SỐ KỸ THUẬT PHÂN TÍCH ĐÁM ĐƠNG TRONG GIÁM SÁT TỰ ĐỘNG 21 a lu n 2.1 Kỹ thuật phát chuyển động 21 n va 2.1.1 Giới thiệu 21 tn to 2.1.2 Kỹ thuật trừ 38 p ie gh 2.1.3 Đánh giá kỹ thuật phát chuyển động 31 oa nl w 2.2 Kỹ thuật phát đối tượng 32 2.2.1 Giới thiệu 32 d a nv a lu 2.2.2 Các tính áp dụng kỹ thuật phát đối tượng 34 u nf 2.2.3 Đánh giá kỹ thuật phát đối tượng 36 ll 2.3 Kỹ thuật bám sát đối tượng 37 m n oi 2.3.1 Giới thiệu 37 tz 2.3.2 Một số đặc trưng kỹ thuật bám sát đối tượng 39 z gm @ 2.3.3 Đánh giá kỹ thuật bám sát đối tượng 40 co l 2.4 Kết luận chương 41 m Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 42 Lu 3.1 Giới thiệu toán 42 an n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.2 Phân tích tốn 42 3.3 Xây dựng chương trình thử nghiệm 46 3.3.1 Thiết lập thử nghiệm 47 3.3.2 Kết thử nghiệm 48 3.4 Đánh giá kết thử nghiệm 53 3.5 Kết luận chương 54 KẾT LUẬN VÀ KIẾN NGHỊ 55 a lu DANH MỤC TÀI LIỆU THAM KHẢO 57 n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC CÁC TỪ VIẾT TẮT STT Diễn giải ý nghĩa Từ viết tắt a lu Artificial Intelligence (AI) Trí tuệ nhân tạo Anomaly event detection Phát kiện bất thường Behavior recognition Nhận diện hành vi Computer Science Khoa học máy tính Computer vision Thị giác máy Charge-Coupled Device Máy quay phim Crowd Đám đông n n va p ie gh tn to oa nl w Kỹ thuật phân tích đám đơng Crowd analysis techniques Crowd analysis using computer Kỹ thuật phân tích đám đơng dựa d a lu vào thị giác máy a nv vision techniques u nf 10 Crowd motion pattern Phân loại mơ hình chuyển động ll m 12 Visual clustering Phân đoạn mẫu chuyển động Phân cụm trực quan m co l gm @ Motion pattern segmentation z 11 đám đông tz n oi segmentation an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC CÁC HÌNH ẢNH Tên nội dung hình ảnh STT a lu Đám đơng 1.2 Mơ hình phân loại phân tích đám đơng 1.3 Mơ hình hệ thống camara giám sát tập trung 1.4 Hệ thống camera kết nối trung tâm xử lý hình ảnh 1.5 Tầm quan trọng thị giác máy trí tuệ nhân tạo 1.6 Vai trò thị giác máy nhận dạng phát đối tượng 1.7 Cấu tạo hệ thống thị giác máy n 1.1 n va p ie gh tn to oa nl w Thị giác máy có khả nhìn hiểu giống người 1.9 Nhận thức vật ảnh thị giác máy d 1.8 a nv a lu 1.10 Mơ hình số lĩnh vực ứng dụng thị giác máy ll u nf Phát đối tượng có hành động tốc độ nhanh khoanh vùng 2.2 Mơ hình phát đối tượng chuyển động 2.3 Quy trình trừ 2.4 Kỹ thuật trừ 2.5 Sơ đồ kỹ thuật phát đối tượng ảnh m 2.1 tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an a lu n n va 2.6 Phát đối tượng Integral Image 2.7 Phát đối tượng Yolo 2.8 Mơ hình kỹ thuật bám sát đối tượng 2.9 Bám sát đối tượng chuyển động 3.1 Các bước trình phát theo dõi đối tượng 3.2 Sơ đồ thực chương trình thử nghiệ 3.3 Cách truyền video vào chương trình thử nghiệm 3.4 Kết chương trình thử nghiệm video p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC CÁC BẢNG VẼ STT Tên nội dung bảng vẽ 2.1 Phân tích hiệu suất mơ hình trừ 3.1 Kết đánh giá chương trình thử nghiệm video a lu n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 45 phần hình ảnh tính theo kết cấu kỹ thuật Sau đó, tính tốn cách sử dụng chồng chéo chuẩn hóa tương phản cục lưới dày đặc ô cách để cải thiện độ xác - Phân loại dựa hình dạng: Biểu diễn điểm, hộp đốm màu khác vùng chuyển động có sẵn để phân loại chuyển động đối tượng dựa thơng tin hình dạng Hỗn hợp thơng số dựa hình ảnh dựa cảnh khu vực đốm hình ảnh, thu phóng máy ảnh rõ ràng tỷ lệ khung hình hộp giới hạn đốm màu đóng vai trị đầu vào tính a lu mạng Từng đốm màu khung hình trải qua phân loại biểu đồ giữ n n va kết tn to + Phân loại dựa màu sắc: Màu sắc dễ thu tương đối ổn định p ie gh biến thể góc nhìn, khơng giống hình ảnh khác đặc trưng Trong thời gian thực để phát theo dõi phương tiện, thuật toán dựa oa nl w biểu đồ màu sử dụng Để phân đoạn hình ảnh thành đối tượng để mô tả phân bố màu sắc bên chuỗi hình ảnh d a lu - Theo dõi đối tượng bước sau phát đối tượng, kỹ a nv thuật sử dụng để theo dõi hướng di chuyển đối tượng u nf + Dựa điểm: Là nhiệm vụ chung thị giác máy với ứng dụng ll m khác liên quan đến trình theo dõi đối tượng chuyển động n oi tz hiển thị điểm đặc trưng đối tượng Theo dõi điểm vấn đề lớn, đặc biệt việc phát bất thường tỷ lệ khớp z gm @ + Dựa khu vực: Thường thực tính toán đối tượng m co sang khung khác l không đứng yên mà hiển thị vùng đối tượng chuyển động từ khung Lu + Dựa hình bóng: Tay, đầu vai đối tượng có hình dạng an hỗn hợp khơng thể xác định rõ hình dạng hình học Sự phân bố hoàn n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 46 hảo hình dạng đối tượng cung cấp cách tiếp cận Mục tiêu chế theo dõi phát vùng đối tượng khung hình với trợ giúp mơ hình đối tượng thu khung trước 3.3 Xây dựng chƣơng trình thử nghiệm Để minh họa cho kỹ thuật nghiên cứu Chương nội dung phân tích tốn nêu trên, luận văn tiến hành thử nghiệm cho toán ứng dụng cụ thể Bài toán ứng dụng cài đặt thử nghiệm a lu ngơn ngữ lập trình Visual C++ tảng công cụ Microsoft n n va Visual Studio phiên 2015 Các bước để giải toán thể p ie gh tn to sơ đồ sau: d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ Lu an Hình 3.2 Sơ đồ thực chƣơng trình thử nghiệm n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 47 - Video đầu vào: Video đầu vào thu từ camera giám sát đặt vị trí cố định với mức ánh sáng tốt ảnh không thay đổi - Lấy khung hình từ video: Lấy khung hình từ video đưa vào - Khởi tạo Background: Lấy khung hình làm Background - Trừ nền: Áp dụng kỹ thuật trừ nền, tìm khác biệt background foreground Trừ giá trị điểm ảnh ảnh khung hình ảnh để tìm ảnh khác biệt a lu - Gom nhóm, đưa ảnh nhị phân: Xử lý đưa ảnh nhị phân Sau n tìm ảnh khác biệt tiến hành chuyển đổi ảnh khác biệt, tìm ngưỡng n va dựa vào ngưỡng đưa ảnh nhị phân p ie gh tn to - Xác định đối tượng: Từ ảnh nhị phân, tiếp tục tiến hành sử dụng phương pháp phân loại đối tượng theo dõi đối tượng để phân tích đánh giá oa nl w đặc tính đối tượng khoanh vùng đối tượng Dựa vào mặt nạ thực khoanh vùng đối tượng hình ảnh màu, xác định đối tượng d chuyển động a lu a nv - Kết quả: Video chứa đối tượng chuyển động khoanh vùng ll u nf màu xanh đếm số thứ tự tăng dần m 3.3.1 Thiết lập thử nghiệm n oi tz - Trong trình thử nghiệm kết quả, video mẫu truyền vào trực tiếp phần Crowd Property chương trình đường dẫn tuyệt z đối Cụ thể đưa đường dẫn trực tiếp vào ô Command gm @ l - Các mẫu video thử nghiệm thu thập từ nguồn: m co https://motchallenge.net/data/2D_MOT_2015/?chl=2&orderBy=frame_ rate&orderStyle=DESC an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 48 a lu n Hình 3.3 Cách truyền video vào chƣơng trình thử nghiệm n va + Màn hìnhChuyendong: Màn hình chương trình, hiển thị p ie gh tn to - Sau thực hiện, chương trình lên 03 khung hình: hình màu trắng đen dùng để so sánh khung hình khác phát oa nl w đối tượng chuyển động + Màn hình Phathien: Thể kết phát đối tượng chuyển động d a lu tổng số đối tượng ghi nhận nhận dạng cách khoanh a nv vùng đối tượng hình vng màu xanh u nf + Màn hình Theodoi: Thể kết số lượng phát đối tượng, ll m đánh số thứ tự tăng dần đối tượng phát n oi thời điểm định tz - Quan sát trực tiếp ghi nhận đối tượng ước tính mật độ đối tượng z gm @ 3.3.2 Kết thử nghiệm co l Qua quan sát trực tiếp từ 03 khung hình mắt thường 10 m mẫu video, thời gian ghi nhận số lượng đối tượng phát 20 giây/video an Lu Kết đạt sau: n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 49 - Video 01 có kích thước khung hình 1920*1080, độ dài thời gian 20 giây, số khung hình/giây 30, tổng số khung hình 600 Số đối tượng phát 52 người tổng số đối tượng ghi nhận 56 người Tỷ lệ phát 92,9%, mật độ đối tượng khung hình 11 người a lu n n va Hình 3.4 Kết chạy chƣơng trình thử nghiệm video 01 tn to - Video 02 có kích thước khung hình 1920*1080, độ dài thời gian 22 p ie gh giây, số khung hình/giây 30, tổng số khung hình 654 Số đối tượng phát 47 người tổng số đối tượng ghi nhận 53 người Tỷ lệ d oa nl w phát 88,7%, mật độ đối tượng khung hình 11 người a nv a lu ll u nf m tz n oi Hình 3.5 Kết chạy chƣơng trình thử nghiệm video 02 - Video 03 có kích thước khung hình 640*480, độ dài thời gian 60 z giây, số khung hình/giây 14, tổng số khung hình 837 Số đối tượng @ gm phát 41 người tổng số đối tượng ghi nhận 45 người Tỷ lệ m co l phát 91,1%, mật độ đối tượng khung hình người an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 50 Hình 3.6 Kết chạy chƣơng trình thử nghiệm video 03 - Video 04 có kích thước khung hình 640*480, độ dài thời gian 61 giây, số khung hình/giây 14, tổng số khung hình 1000 Số đối tượng a lu phát 35 người tổng số đối tượng ghi nhận 37 người n Tỷ lệ phát 94,6%, mật độ đối tượng khung hình người n va p ie gh tn to oa nl w d Hình 3.7 Kết chạy chƣơng trình thử nghiệm video 04 a lu a nv - Video 05 có kích thước khung hình 768*576, độ dài thời gian 114 u nf giây, số khung hình/giây 7, tổng số khung hình 795 Số đối tượng ll phát 17 người tổng số đối tượng ghi nhận 18 người Tỷ lệ m tz n oi phát 94,4%, mật độ đối tượng khung hình người z m co l gm @ an Lu Hình 3.8 Kết chạy chƣơng trình thử nghiệm video 05 n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 51 - Video 06 có kích thước khung hình 1920*1080, độ dài thời gian 225 giây, số khung hình/giây 2.5, tổng số khung hình 450 Số đối tượng phát 14 người tổng số đối tượng ghi nhận 15 người Tỷ lệ phát 93,3%, mật độ đối tượng khung hình người a lu n n va Hình 3.9 Kết chạy chƣơng trình thử nghiệm video 06 tn to - Video 07 có kích thước khung hình 640*480, độ dài thời gian 85 p ie gh giây, số khung hình/giây 14, tổng số khung hình 1194 Số đối tượng phát 24 người tổng số đối tượng ghi nhận 25 người d oa nl w Tỷ lệ phát 96,0%, mật độ đối tượng khung hình 11 người a nv a lu ll u nf m tz n oi Hình 3.10 Kết chạy chƣơng trình thử nghiệm video 07 - Video 08 có kích thước khung hình 640*480, độ dài thời gian 31 z giây, số khung hình/giây 14, tổng số khung hình 440 Số đối tượng @ gm phát 36 người tổng số đối tượng ghi nhận 40 người Tỷ lệ m co l phát 90,0%, mật độ đối tượng khung hình người an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 52 Hình 3.11 Kết chạy chƣơng trình thử nghiệm video 08 - Video 09 có kích thước khung hình 1920*1080, độ dài thời gian 17 giây, số khung hình/giây 30, tổng số khung hình 500 Số đối tượng a lu phát 50 người tổng số đối tượng ghi nhận 59 người Tỷ lệ n phát 84,7%, mật độ đối tượng xuất khung hình 10 n va người p ie gh tn to d oa nl w a lu Hình 3.12 Kết chạy chƣơng trình thử nghiệm video 09 a nv u nf - Video 10 có kích thước khung hình 1238*374, độ dài thời gian 106 ll giây, số khung hình/giây 10, tổng số khung hình 1059 Số đối tượng m n oi phát 21 người tổng số đối tượng ghi nhận 23 người tz Tỷ lệ phát 91,3%, mật độ đối tượng khung hình người z m co l gm @ Lu an Hình 3.13 Kết chạy chƣơng trình thử nghiệm video 10 n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 53 3.4 Đánh giá kết thử nghiệm Sau thực chương trình thừ nghiệm cho 10 video mẫu, kết đầu cho thấy Số đối tượng phát 337 người tổng số đối tượng ghi nhận 371 người, tỷ lệ phát đạt 91,7% (Bảng 3.1) Như vậy, với số kỹ thuật áp dụng cho phát theo dõi đối tượng chuyển động tốn phân tích đám đơng, khẳng định rằng, phương pháp tối ưu, mang lại hiệu cao, đồng thời cho kết tương đối xác nhanh chóng a lu n Bảng 3.1 Kết đánh giá chƣơng trình thử nghiệm 10 video va n Kết đầu đƣợc quan sát ghi nhận trực tiếp mắt thƣờng (Tính thời gian 20 giây ) tn to Các tham số đầu vào video p ie gh Kích thƣớc khung hình d oa nl w Tên video Số khung hình / giây 30 600 20 52 56 92,9 11 30 654 22 47 53 88,7 11 640*480 14 837 60 41 45 91,1 Video4 640*480 14 1000 61 35 37 94,6 Video5 768*576 795 114 17 18 94,4 Video6 1920*1080 2.5 450 225 14 15 93,3 Video7 640*480 14 1194 85 24 25 96,0 11 Video8 640*480 14 440 31 36 40 90,0 Video9 1920*1080 30 500 25 l Video3 50 59 84,7 10 Video10 1238*374 10 1059 106 21 23 91,3 ll 1920*1080 u nf Video2 a nv 1920*1080 Tỷ lệ phát (%) Ƣớc tính mật độ (người / khung hình gm a lu Video1 Tổng số khung hình Tổng Số đối Độ dài số đối tƣợng thời tƣợng đƣợc gian đƣợc phát (giây) ghi nhận m tz n oi z @ m Lu 371 91,7 an 337 co Tổng cộng n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 54 3.5 Kết luận Chƣơng Chương giới thiệu số dạng tốn, phân tích số kỹ thuật nhằm giải tốn hiệu từ xây dựng chương trình thử nghiệm, đồng thời đánh giá kết đạt sau thử nghiệm tiến hành cài đặt thử nghiệm chương trình trình bày Chương Kết đạt thành công từ ý tưởng áp dụng thuật toán đưa luận văn a lu n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 55 KẾT LUẬN VÀ KIẾN NGHỊ Kết đạt đƣợc luận văn Trong nội dung nghiên cứu đề tài “Nghiên cứu kỹ thuật phân tích đám đông giám sát tự động dựa vào thị giác máy” thân tìm hiểu kỹ thuật trừ nền, phân cụm áp dụng phương pháp phát đối tượng, theo dõi đối tượng để giải toán đặt Qua nghiên cứu, kết mà luận văn đạt sau: a lu - Khái quát số kỹ thuật phân tích đám đơng n - Phân tích phương pháp, tính giám sát tự động dựa vào n va thị giác máy thông qua video p ie gh tn to - Cài đặt thử nghiệm thuật toán áp dụng kỹ thuật phân tích xuất video phát đối tượng chuyển động ước tính mật độ đối tượng oa nl w đám đơng, đồng thời chạy thử nghiệm chương trình liệu video tự thu thập d Kiến nghị hƣớng nghiên cứu a lu a nv Kỹ thuật phân tích đám đơng giám sát tự động dựa vào thị giác ll u nf máy đề tài đã, tiếp tục nhiều nhà nghiên cứu m nước nghiên cứu có nhiều ứng dụng to lớn, có tầm quan trọng khoa n oi học, thực tiễn Những hạn chế phân tích hành vi đám đơng cịn tz Trong q trình thực đề tài, hạn chế mặt trình độ thời gian z gm @ thực luận văn có hạn, chương trình phần demo thuật tốn phát chuyển động, phát đối tượng, bám sát đối tượng dựa vào video Để l co triển khai thực tế cần đòi hỏi nhiều cải tiến Hy vọng tương lai, m phát triển giúp chương trình hồn thiện Lu an - Kết hợp phát theo dõi đối tượng chuyển động với nhận diện n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 56 hành vi đối tượng đám đơng - Xây dựng thuật tốn cải thiện chất lượng video loại trừ nhiễu, loại trừ bóng tối ưu hóa thuật tốn để tăng tốc độ chương trình - Mở rộng thuật tốn đếm số lượng đối tượng chuyển động khu vực đông người Hướng nghiên cứu luận văn tiếp tục nghiên cứu sâu thuật toán tiền xử lý, nâng cao hiệu thuật toán phục vụ a lu n cho hệ thống giám sát tự động phân tích đám đông dựa vào thị giác n va máy p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 57 DANH MỤC TÀI LIỆU THAM KHẢO Trong phạm vi nghiên cứu đề tài bao gồm: Tài liệu tiếng Việt [1] TS Lê Thị Kim Nga - Đại học Quy Nhơn “Giáo trình Phân tích đám đơng” [2] Tổng quan Thị giác máy (https://azcomvn.com) a lu [3] Thị giác máy: Tổng quan công nghệ AI tiên tiến (https://vntechpedia.com/vi) n [4] Thị giác máy ứng dụng không ngờ xu công nghệ (https://htigroup.vn) n va thị giác máy computer vision p ie gh tn to [5] Tìm hiểu chung (https://bkaii.com.vn) oa nl w [6] Võ Tấn Khoa (2018),“Nghiên cứu thuộc tính đám đơng video giám sát”; d [7] Ngơ Hồng Hiệp (2019), “Thị giác máy tính: Theo dõi phát đối tượng chuyển động” a nv a lu [8] Nguyễn Văn Căn (2020), “Theo dõi phân tích đối tượng dựa biên toán giám sát đối tượng chuyển động” u nf Tài liệu tiếng Anh ll m [9] IEEE Signal Processing Magazine (2010),“Crowd analysis using computer vision techniques” tz n oi z [10] X.Wu, G.Liang, K.K.Lee, and Y.Xu, “Crowd density estimation using texture analysis and learning” in Proc IEEE Int Conf Robotics and Biomimetics (2006), pp.201-219 gm @ m co l [11] Shivashree G, Dr Anuradha SG (2018):2394-2320, “International Journal of Engineering Research in Computer Science and Engineering (IJERCSE)” Lu [12] Laura Lopez-Fuentes, Joost van de Weijer, Manuel González- an n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 58 Hidalgo, Harald (2018),“Review on Computer Vision Techniques in Emergency Situations” [13] Hyunjoon Jo, Kabir Chug, Ricky J Sethi (2013), “A review of physics-based methods for group and crowd analysis in computer vision” [14] S.R.Balaji, Dr.S.Karthikeyan (2017), International Conference on Intelligent System and Control (ISCO) “A survey on moving object tracking using image processing” a lu [15] Forczmanski, P Nowosielski, A: Multi-view data aggregation for behaviour analysis in video surveillance systems In: International Conference on Computer Vision and Graphics, pp.462-473 Springer (2016) n n va p ie gh tn to [16] Kinjal A Joshi, Darshak G.Thakore (2012):2231-2307 InternationalJournal of soft computer and Engineering (IJSCE) “A survey on moving object detection and tracking in video surveillance system” oa nl w [17] Karim Ismail, Tarek Sayed, Nicolas Saunier (2009) “Automated collection of pedestrian data using computer vision techniques” d [18] Thierry Bouwmans, Fida El Baf, Bertrand Vachon (2010) “Statistical background modeling for foreground detection: A Survay” a nv a lu ll u nf [19] Alan M, McIvor (2000) “Background subtraction techniques” m [20] M Seki, T Wada, H Fujiwara, K Sumi, “Background subtraction based on cooccurrence of image variations,” Proc CVPR 2003, Vol 2, pp 65-72 tz n oi z Ngoài việc nghiên cứu từ tài liệu, tìm thấy từ nguồn thông tin khác phù hợp để áp dụng vào tốn phân tích đám đơng m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn