Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)

Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (LV thạc sĩ)

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG - HÀ MAI HUYỀN TRANG NGHIÊN CỨU PHÁT HIỆN HÀNH VI BẠO LỰC TỪ DỮ LIỆU VIDEO LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2017 HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG - Hà Mai Huyền Trang NGHIÊN CỨU PHÁT HIỆN HÀNH VI BẠO LỰC TỪ DỮ LIỆU VIDEO Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS Phạm Văn Cường HÀ NỘI - 2017 i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Hà Mai Huyền Trang ii MỤC LỤC Chƣơng - TỔNG QUAN VỀ PHÁT HIỆN BẠO LỰC 1.1 Tại cần tự động phát cảnh bạo lực 1.2 Các nghiên cứu trước 1.3 Kết chương 12 Chƣơng - PHƢƠNG PHÁP PHÁT HIỆN HÀNH VI BẠO LỰC 13 2.1 Tiền xử lý video 13 2.1.1 Tổng quan video 13 2.1.2 Nhị phân ảnh 14 2.1.3 Phương pháp trừ 16 2.1.4 Khử nhiễu 17 2.2 Trích chọn đặc trưng 18 2.2.1 Lược đồ màu (Histogram) 18 2.2.2 Đặc trưng HOG 20 2.2.3 MeanShift 25 2.3 Thuật toán phát hành vi bạo lực 27 2.3.1 Xác định khung hình bóng người 29 2.3.2 Theo dõi hộp di chuyển đầu 31 2.3.3 Tính vector gia tốc độ phản xạ 31 2.3.4 Tính toán hướng tay chân 33 2.3.5 Nhận dạng hành vi bạo lực 33 2.4 Kết chương 34 Chƣơng - THỬ NGHIỆM VÀ ĐÁNH GIÁ 35 3.1 Tập liệu thử nghiệm 35 3.2 Phân tích đánh giá 40 3.3 Thảo luận kết chương 44 DANH MỤC TÀI LIỆU THAM KHẢO 47 iii DANH MỤC HÌNH ẢNH Hình 1.1 Bạo lực xảy đường phố Hình 1.2 Khủng bố đường phố Hình 1.3 Bạo lực xảy nơi công cộng Hình 1.4 Bạo lực xảy nơi công cộng Hình 1.5 Bạo lực nhà tù Hình 1.6 Hành vi bạo lực học đường Hình 1.7 Chương trình truyền hình có yếu tố bạo lực Hình 1.8 Cảnh bạo lực phim Hình 1.9 Bạo lực học đường Hình 1.10 Đánh ga tàu điện ngầm 10 Hình 1.11 Đám đông bạo loạn sau trận đấu 11 Hình 2.1 Các khung hình 13 Hình 2.2 Đoạn sở 13 Hình 2.3 Nhị phân ảnh 15 Hình 2.4 Histogram ảnh 19 Hình 2.5 R-HOG C-HOG 21 Hình 2.6 Mỗi khối (block) gồm nhiều ô (cell) Ví dụ hình ta thấy khối gồm ô 22 Hình 2.7 Các khối xếp chồng lên 22 Hình 2.8 Quá trình hoạt động thuật toán Mean-shift 26 Hình 2.9 Theo vết phương pháp Mean-shift 27 Hình 2.10 Sơ đồ thuật toán 28 Hình 2.11 Hình ảnh bóng đối tượng 29 Hình 2.12 Bóng đối tượng chia làm phần 30 Hình 2.13 Chiếu H1 30 Hình 2.14 Theo dõi đường di chuyển phần đầu 31 Hình 2.15 Xác định hướng tay chân đối tượng 33 Hình 3.1 Dữ liệu thử nghiệm có hành vi bạo lực 35 iv Hình 3.2 Dữ liệu thử nghiệm có hành vi bạo lực 35 Hình 3.3 Dữ liệu thử nghiệm có hành vi bạo lực 36 Hình 3.4 Dữ liệu thử nghiệm có hành vi bạo lực 36 Hình 3.5 Dữ liệu thử nghiệm có hành vi bạo lực 37 Hình 3.6 Dữ liệu thử nghiệm có hành vi bạo lực 37 Hình 3.7 Dữ liệu thử nghiệm có hành vi bạo lực 38 Hình 3.8 Dữ liệu thử nghiệm hành vi bạo lực 38 Hình 3.9 Dữ liệu thử nghiệm hành vi bạo lực 39 Hình 3.10 Tập liệu thử nghiệm chương trình 40 Hình 3.11 Giao diện chương trình 42 Hình 3.12 Thông báo kết chương trình 43 Hình 3.13 Quá trình xử lý video chương trình 44 v DANH MỤC BẢNG Bảng 3.1 Ma trận nhầm lẫn……………………………………….…………….40 vi DANH MỤC CHỮ VIẾT TẮT Từ viết tắt Nội dung HoG Histogram of gradient SVM Support Vector Machines AVM Acceleration Measure Vector CCTV Closed-circuit television MỞ ĐẦU Lý chọn đề tài: Bạo lực sức mạnh dùng với mục đích cưỡng ép, hay trấn áp Vì dù sử dụng hình thức nào, bạo lực có tính tiêu cực Khi bị cưỡng ép hay trấn áp, người ta phản đối hay kháng cự lại cách hay cách khác Việc phát hành vi bạo lực người người liệu video có nhiều lợi ích kể hệ thống camera trực tuyến lẫn phân tích liệu phim ảnh Với hệ thống camera trực tuyến, việc phát hành vi bạo lực cần triển khai khu vực cần ôn hòa như: trường học, sân bay Trong phân tích liệu phim ảnh, việc phát hành vi bạo lực giúp bảo vệ trẻ em khỏi cảnh bạo lực Với mục đích đưa tiến công nghệ vào phục vụ cho sống, xin chọn đề tài nghiên cứu “Nghiên cứu phát hành vi bạo lực từ liệu video” Tổng quan vấn đề nghiên cứu: Để phát hành vi bạo lực video, mô hình N Vasconcelos, Lippman đề xuất báo “Towards Semantically Meaningful Feature Spaces for the Characterization of Video Content” ICIP 1997, Vol 1, trang 25-28 để bắt hình ảnh bạo lực, thô tục Tuy nhiên mô hình bắt hoạt động phân biệt hoạt động thể thao với hành vi bạo lực Nghiên cứu Nam, J., Alghoniemy, M., “Audio-visual content- based violent scene characterization”, ICIP 98, trang 353-357 cố gắng bắt mức độ chuyển động cách nhìn vào hoạt động chiều dành frame ảnh với tín hiệu âm Hệ thống cần có mẫu âm liên quan đến bạo lực đến nhận biết Mục đích nghiên cứu: Nghiên cứu đề xuất phương pháp phát hành vi bạo lực người với người từ liệu video Đối tượng phạm vi nghiên cứu: Đối tượng nghiên cứu: Luận văn tập trung vào nghiên cứu giải toán nhận dạng hành vi bạo lực người với liệu video Phạm vi nghiên cứu đề tài tập trung vào việc phát hành vi bạo lực liệu video đầu vào có hai người Phương pháp nghiên cứu: Phƣơng pháp nghiên cứu lý thuyết: - Phương pháp phân tích tổng hợp lý thuyết: Nghiên cứu tài liệu, lý luận khác liên quan đề phát hành vi bạo lực từ video đầu vào cách phân tích chúng thành phận để tìm hiểu sâu sắc đối tượng; Liên kết mặt, phận thông tin phân tích tạo hệ thông lý thuyết đầy đủ sâu sắc đối tượng - Phương pháp mô hình hóa: nghiên cứu đối tượng xây dựng gần giống với đối tợng, tái lại đối tượng theo cấu, chức đối tượng Phƣơng pháp nghiên cứu thực tiễn - Phân tích tổng kết kinh nghiệm: xem xét lại thành thực tiễn khứ để rút kết luận bổ ích cho thực tiễn khoa học - Phương pháp chuyên gia: tham khảo ý kiến đội ngũ chuyên gia để xem xét nhận định chất đối tượng, tìm giải pháp tối ưu 34 Đối với hành động vẫy tay: hành vi bạo lực nên phản xạ có thay đổi hướng tay Đối với hành động chuyển đồ: Sẽ khó khăn nhận biết đối tượng chuyển nhỏ), vật lớn, phát so sánh thay đổi diện tích gần bàn tay sau chuyển Đối với hành động trỏ ngón tay: việc trỏ thường không tạo phản lực, có hướng chuyển động tay, theo hướng song song vuông góc với mặt đất 2.4 Kết chƣơng Chương đề xuất phương pháp phát hành vi bạo lực người liệu video Trong giải pháp đề xuất tiến hành theo bước: tiền xử lý ảnh phát hành vi bạo lực trình bày thuật toán phát hành vi bạo lực sử dụng nghiên cứu Trong thuật toán đưa ra, vấn đề quan trọng cần thực xác định hướng tay chân đối tượng, độ phản xạ đối tượng hay hướng di chuyển đối tượng Từ sở để đưa kết luận có hay hành vi bạo lực video đưa 35 Chƣơng - THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Tập liệu thử nghiệm Với mục đích kiểm thử hiệu tính xác chương trình, sử dụng số video tình thật lấy website Youtube tự thực số video mô hành vi bạo lực Những video mô hoạt động bạo lực như: đấm, đá, quật ngã, … Hình 3.1 Dữ liệu thử nghiệm có hành vi bạo lực Hình 3.2 Dữ liệu thử nghiệm có hành vi bạo lực 36 Hình 3.3 Dữ liệu thử nghiệm có hành vi bạo lực Tập liệu thử nghiệm video ghi hình đánh giá dựa cảm quan có hành vi cho bạo lực hai người như: đấm, đánh… Không sử dụng video có hành vi không rõ ràng bạo lực hay không Hình 3.4 Dữ liệu thử nghiệm có hành vi bạo lực 37 Hình 3.5 Dữ liệu thử nghiệm có hành vi bạo lực Hình 3.6 Dữ liệu thử nghiệm có hành vi bạo lực 38 Hình 3.7 Dữ liệu thử nghiệm có hành vi bạo lực Ngoài ra, tập liệu thử nghiệm có video hành vi bạo lực Đây video thu thập từ Internet tác giả tự thực hiện, mô hành động như: bộ, chạy bộ, trao đồ vật Những video không chứa hành vi bạo lực cách rõ ràng, không sử dụng video hành vi bạo lực dễ nhầm lẫn Hình 3.8 Dữ liệu thử nghiệm hành vi bạo lực 39 Hình 3.9 Dữ liệu thử nghiệm hành vi bạo lực Trong tập liệu thử nghiệm, video dài có 250 khung hình, ngắn có 70 khung hình Hình ảnh thu nhận điều kiện ánh sáng tốt Số lượng video tập liệu thử nghiệm 22 video, đó: - 15 video mô hành vi bạo lực - 07 video không chứa hành vi bạo lực 40 Hình 3.10 Tập liệu thử nghiệm chương trình 3.2 Phân tích đánh giá Các video thử nghiệm phải đạt yêu cầu có tối thiểu 50 khung hình tiến hành đưa kết phân tích Các video thử nghiệm đạt yêu cầu Dựa tập thử nghiệm kết thử nghiệm, ta có ma trận nhầm lẫn (Confusion Matrix) sau: Bảng Ma trận nhầm lẫn Phân lớp thuật toán Tập liệu Không có hành vi Có hành vi bạo lực bạo lực Có hành vi bạo lực 12 Phân lớp thực Không có hành vi bạo lực 41 Hai độ đo độ xác (effectiveness measure) phổ biến để tổng kết so sánh kết phân loại độ xác (precision) độ bao phủ (recall) Độ bao phủ đo thuật toán thực việc phân loại video liên quan nào, độ xác đo thực việc loại bỏ video không liên quan tốt Trong trình tiến hành thử nghiệm với số lượng liệu đưa ra, tác giả thấy độ xác (Precision) độ bao phủ (Recall) phân loại video có hành vi bạo lực sau: Precision = Recall = 0.857 = 0.923 Trung bình điều hòa F kết hợp tiêu chí đánh giá Precision Recall F có xu hướng lấy giá trị gần với giá trị nhỏ giá trị Precision Recall F có giá trị lớn giá trị Precision Recall lớn Trung bình điều hòa F đối phân loại video có hành vi bạo lực sau: F=2 = = 0.444 Tương tự, ta có độ độ xác (Precision) độ bao phủ (Recall) video hành vi bạo lực sau: Precision = Recall = 0.714 = 0.625 Qua kết độ đo, ta thấy kết thực thuật toán nằm phạm vi chấp nhận 42 Các kết thực nghiệm cho thấy chức hoạt động với mức độ ổn định đạt hiệu suất cao Trên 80% tình có hành vi bạo lực phát Con số thay đổi theo video điều kiện ánh sáng chất lượng thiết bị thu video khác Hình 3.11 Giao diện chương trình Tuy nhiên thông qua việc điều chỉnh thông số phương pháp để dễ dàng thích nghi với điều kiện ánh sáng chất lượng camera khác 43 Hình 3.12 Thông báo kết chương trình Ngoài ra, video hành vi bạo lực, khoảng 70% tình phát 44 Hình 3.13 Phát xác video hành vi bạo lực 3.3 Thảo luận kết chƣơng Dữ liệu thử nghiệm chưa nhiều (chỉ có khoảng 22 video) cần có lượng liệu cao để đánh giá độ ổn định hiệu suất thuật toán Qua thử nghiệm thấy tốc độ xử lý chậm Độ dài video tác nhân gây ảnh hưởng đến trình xử lý, bên cạnh tốc độ phát phụ thuộc vào xử lý thuật toán đưa Hình 3.14 Quá trình xử lý video chương trình Nghiên cứu dừng lại mức xác định có hay không hành vi bạo lực hai người với không kết luận mức độ hành vi Do đó, dừng lại việc xác định phim liên quan đến bạo lực mà xác định đánh ai, có sử dụng vũ khí hay không? Những câu hỏi trả lời cách xác định mức độ hành vi 45 Hình 3.15 Trường hợp phân loại sai Như vậy, nghiên cứu tập trung xây dựng thuật toán để xác định có tồn hay không hành vi bạo lực người video cho trước Bên cạnh tồn tập liệu thử nghiệm hạn chế tốc độ xử lý chậm, qua thực nghiệm thấy thuật toán đưa phạm vi chấp nhận Qua nghiên cứu này, thu số kết ban đầu làm tiền đề quan trọng cho nghiên cứu sau Dựa kết đạt đề xuất số hướng phát triển sau: dựa thuật toán đưa ra, cải thiện thuật toán để tăng độ xác tốc độ phát Bên cạnh đó, để phục vụ tính thực tiễn, nghiên cứu góp phần tiền đề để tiến tới nghiên cứu phát hành vi bạo lực người đám đông từ liệu video 46 KẾT LUẬN VÀ KIẾN NGHỊ Qua thử nghiệm thấy tốc độ xử lý chậm, nguyên nhân độ dài video, thuật toán chưa tối ưu Ngoài ra, trường hợp phát sai Mặc dù kết thử nghiệm khả quan, nhiên kết tập thử chưa nhiều, khoảng 20 video Trong thời gian tới, tác giả cần thu thập nhiều video mô tả hành vi bao lực/không bạo lực đa dạng để đưa xác kết thử nghiệm Việc xác định có hay hành vi bạo lực video có người chưa thể đáp ứng yêu cầu thực tế Những nơi có bạo lực xảy thường tập trung đông người, trường hợp có người Do đó, thời gian tới, nối tiếp nghiên cứu xác định video có người, cần nghiên cứu video có nhiều người, đám đông 47 DANH MỤC TÀI LIỆU THAM KHẢO [1] Aiannakopoulos, T., Makris, A., Kosmopoulos, D., Perantonis, S., Theodoridis, S.: Audio-visual fusion for detecting violent scenes in videos In: 6th Hellenic Conference on AI, SETN 2010, Athens, Greece, May 4-7, 2010 Proceedings pp 91–100 Springer-Verlag, London, UK (2010) [2] C Sellers and R Akers (2008) “Criminological theories: introduction, evaluation, and application”, Oxford University Press [3] N Vasconcelos, Lippman “Towards Semantically Meaningful Feature Spaces for the Characterization of Video Content” ICIP 1997, Vol 1, pp 2528 [4] R Basri, T Hassner, and L Zelnik-Manor (2011) “Approximate nearest subspace search”, TPAMI, 33(2):266–278 [5] O Deniz Suarez, E Bermejo Nievas, G Bueno García, and R Sukthankar (2011) “Violence detection in video using computer vision techniques”, In CAIP, pages 332–339 [6] Z.-C Chang and C.-J Lin (2011) “ LIBSVM: A library for support vector machines”, TIST, 2(3):27:1–27:27 [7] Zajdel, W., Krijnders, J., Andringa, T., Gavrila, D.: “CASSANDRA: audio-video sensor fusion for aggression detection” In: Advanced Video and Signal Based Surveillance, 2007 AVSS 2007 IEEE Conference on pp 200– 205 (2007) [9] Y Ke, R Sukthankar, and M Hebert (2007) “Event detection in crowded videos”, ICCV, pages 1–8 [10] V Kellokumpu, G Zhao, and M Pietikainen (2008) “Human activity recognition using a dynamic texture based method”, BMVC, pages 1–10 [11] Nam, J., Alghoniemy, M., Tewfik, A (1998): “Audio-visual contentbased violent scene characterization”, Proceedings of ICIP pp 353–357 48 [12] Tal Hassner (2012) “Violent Flows: Real-Time Detection of Violent Crowd Behavior” [13] Ankur Datta, Mubarak Shah, Niels Da Vitoria Lobo (2002) “Person-onPerson Violence Detection in Video Data”, School of Electrical Engineering & Computer Science and University of Central Florida [14] Đỗ Năng Toàn, Trần Thanh Việt , Trần Công Chiến, Huỳnh Cao Tuấn, Nguyễn Hữu Nam, Trần Hành“Một kỹ thuật phát hiện, bám sát đối tượng ứng dụng”, Viện Công nghệ Thông tin, Viện Khoa học Công nghệ Việt Nam [15] Đinh Thị Hồng Nguyên, Luận văn Thạc sỹ (2013) “nhận dạng phân tích ảnh giám sát hành vi giao thông”, Đại học Đà Nẵng ... vào nghiên cứu giải toán nhận dạng hành vi bạo lực người với liệu video Phạm vi nghiên cứu đề tài tập trung vào vi c phát hành vi bạo lực liệu video đầu vào có hai người Phương pháp nghiên cứu: ... có hành vi bạo lực 36 Hình 3.5 Dữ liệu thử nghiệm có hành vi bạo lực 37 Hình 3.6 Dữ liệu thử nghiệm có hành vi bạo lực 37 Hình 3.7 Dữ liệu thử nghiệm có hành vi bạo lực. .. quan đến bạo lực đến nhận biết 2 Mục đích nghiên cứu: Nghiên cứu đề xuất phương pháp phát hành vi bạo lực người với người từ liệu video Đối tượng phạm vi nghiên cứu: Đối tượng nghiên cứu: Luận