Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)

Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)Nghiên cứu phát hiện hành vi bạo lực từ dữ liệu video (tt)

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG - HÀ MAI HUYỀN TRANG NGHIÊN CỨU PHÁT HIỆN HÀNH VI BẠO LỰC TỪ DỮ LIỆU VIDEO CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ : 60.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2017 Luận văn hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS TS Phạm Văn Cƣờng Phản biện 1: …………………………………………… Phản biện 2: …………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thông Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thông MỞ ĐẦU Bạo lực sức mạnh dùng với mục đích cưỡng ép, hay trấn áp Vì dù sử dụng hình thức nào, bạo lực có tính tiêu cực Khi bị cưỡng ép hay trấn áp, người ta phản đối hay kháng cự lại cách hay cách khác Việc phát hành vi bạo lực người người liệu video có nhiều lợi ích kể hệ thống camera trực tuyến lẫn phân tích liệu phim ảnh Với hệ thống camera trực tuyến, việc phát hành vi bạo lực cần triển khai khu vực cần ôn hòa như: trường học, sân bay Trong phân tích liệu phim ảnh, việc phát hành vi bạo lực giúp bảo vệ trẻ em khỏi cảnh bạo lực Với mục đích đưa tiến công nghệ vào phục vụ cho sống, xin chọn đề tài nghiên cứu “Nghiên cứu phát hành vi bạo lực từ liệu video” 2 CHƢƠNG – TỔNG QUAN VỀ PHÁT HIỆN BẠO LỰC 1.1 Tại cần tự động phát cảnh bạo lực Mặc dù camera giám sát sử dụng rộng rãi nhằm hạn chế hành vi bạo lực đảm bảo an toàn, hiệu chưa cao sử dụng sức người Con người phải trực tiếp quan sát camera, phát cảnh báo 24/24 đảm bảo yêu cầu đề Điều trở ngại lớn Ở đây, việc phát bạo lực chất giám sát kiện thường có bạo động cảnh báo có dấu hiệu xảy Những cảnh đòi hỏi giám sát viên phải giám sát nhiều hình video, cảnh báo sớm Điều gây nhiều bất cập nhân lực chất lượng công việc dựa vào cảm quan người quan sát chủ yếu 1.2 Các nghiên cứu trƣớc Phần lớn nghiên cứu thường dựa âm màu sắc để xác định hành vi bạo lực Tuy nhiên, điều kiện thực tế với ảnh xám âm áp dụng Ngoài ra, có số nghiên cứu phát bạo lực đám đông nghiên cứu hoi 1.3 Kết chƣơng CHƢƠNG – PHƢƠNG PHÁP PHÁT HIỆN HÀNH VI BẠO LỰC 2.1 Tiền xử lý video 2.1.1 Tổng quan video 2.1.2 Nhị phân ảnh 2.1.3 Phƣơng pháp trừ Thuật toán trừ xác định mức xám ảnh Video từ camera tĩnh Phương pháp trừ khởi tạo tham khảo với số frame Video đầu vào Sau đó, trừ giá trị cường độ điểm ảnh ảnh thời cho giá trị tương ứng ảnh 2.1.4 Khử nhiễu 2.2 Trích chọn đặc trƣng 2.2.1 Lƣợc đồ màu (Histogram) Histogram biểu đồ thể tần số, thông thường Histogram có đại diện cho tần số xuất liệu hay nói cách khác Histogram hiển thị phân bố tần số tập liệu 2.2.2 Đặc trung HoG Ý tưởng đặt trưng HoG hình dạng trạng thái vật đặc trưng phân bố gradient hướng cạnh Do biến thiên màu sắc vùng khác nhau, kết vùng cho ta vector đặc trưng Vì để có đặc trưng toàn vùng ta phải kết hợp nhiều vùng liên tiếp lại với 4 Các bước trích đặc trưng HOG ảnh: Bước 1: Tính cường độ hướng biến thiên pixel Bước 2: Chia ảnh đầu bước thành nhiều khối (block), khối có số ô nhau, ô có số pixel Các khối đặt chồng lên nhau, khoảng cách hai khối liên tiếp phải số Bước 3: Tính vector đặc trưng cho khối Bước 4: Tính vector đặc trưng cho ảnh 2.2.2.1 HoG kết hợp SVM toán phát ngƣời Bài toán phát người xử lý dựa vào phương pháp huấn luyện HoG kết hợp với mô hình tuyến tính SVM thực dựa bước sau: Bước 1: Mẫu P lấy từ tập liệu huấn luyện đối tượng muốn nhận biết Trích xuất mô tả đặc trưng HoG từ mẫu Bước 2: Mẫu sai N từ tập liệu sai, trích xuất đặc trưng HoG từ mẫu N>P Bước 3: Huấn luyện tuyến tính SVM tập mẫu mẫu sai Bước 4: Với ảnh tỉ lệ ảnh tập liệu sai, thực trượt khung cửa sổ lên ảnh cần phát đối tượng Mỗi khung, tính lại đặc trưng HoG tiến hành phân lớp Bước 5: Nếu phân lớp phát đối tượng với xác suất đủ lớn, ghi lại đường bao cửa sổ Sau trượt lên toàn ảnh việc quét hình ảnh, tiến hành loại bỏ khung giới hạn dư thừa chồng chéo 2.2.3 MeanShift Meanshift thuật toán dịch chuyển đệ quy điểm liệu đến trung bình điểm liệu vùng lân cận nó, tương tự việc gom điểm liệu lại tạo thành nhóm Theo đó, trình hoạt động thuật toán Mean-shift: Bước 1: Chọn cửa sổ tìm kiếm Bước 2: Tính toán (có thể trọng) trung tâm cửa sổ trượt Bước 3: Trung tâm cửa sổ trung tâm khối Bước 4: Quay trở lại bước cửa sổ ngừng chuyển động 2.3 Thuật toán phát hành vi bạo lực 2.3.1 Xác định khung hình bóng ngƣời Sau xác định đối tượng người dựa đặc trưng HoG, dựa thuật toán trừ (mục 2.1.3), thu bóng vật chuyển động Tiếp đến chia hình chữ nhật bao quanh hình bóng theo chiều ngang thành ba phần (H1, H2, H3) Tiếp theo, để trích xuất thuộc tính phần, ta có biểu đồ Histogram phần thu cách đếm số pixel đen cột hình bóng Từ biểu đồ Histogram, ta nhận thấy số lượng điểm ảnh trung bình hộp số cấu trúc người Ngoài ra, tỉ lệ khung hình chữ nhật viền bóng xem thuộc tính sử dụng để phân biệt người với đối tượng khác 8 Bóng đối tượng chia làm phần Tất thuộc tính chuẩn hóa khu vực hình chữ nhật Thủ tục giúp cho ta không theo vết đối tượng khác oto động vật Từ bóng đối tượng, ta xác định cổ vai Để xác định cổ vai, ta có biểu đồ chiếu từ bước (H1, H2, H3) Sau đó, lấy phép chiếu lên trục y H1 9 Hình chiếu H1 2.3.2 Theo dõi hộp di chuyển đầu Trong trình hoạt động xảy bạo lực, ta thấy để theo vết đối tượng thường thể rõ thông qua theo vết dõi di chuyển đầu đối tượng Việc xác định hành vi bạo lực cần xác định đường di chuyển đối tượng Do đó, thông qua việc bám theo di chuyển phần đầu đối tượng, ta thực theo dõi di chuyển đối tượng Sau đó, ta sử dụng Meanshift để tính toán đường chuyển động phần đầu đối tượng 2.3.3 Tính vector gia tốc độ phản xạ Tiến hành theo vết di chuyển đối tượng Tiếp theo, ta tính 10 toán đạo hàm bậc tốc độ theo thời gian để độ phản xạ (jerk)[13] Trong thời gian hành vi bạo lực xảy ra, quỹ đạo chuyển động người trải qua thay đổi mạnh mẽ sau bị người khác đánh ngã Do đó, phản xạ bật mạnh trở lại gần xuất Tính toán vector gia tốc để rút người di chuyển theo hướng cho khung „i‟ cuối sau thay đổi hướng cường độ chuyển động, người bị đánh Nếu người khác gần chân tay họ mở rộng hướng tới người lại kết luận người thực hành động bạo lực 2.3.4 Tính toán hƣớng tay chân Ta di chuyển từ điểm vai qua ranh giới hình bóng để có hướng cánh tay Sử dụng hộp H2, qua ranh giới hình bóng để có hướng chân Trong thời điểm bạo lực, người ta nâng cánh tay chân, bàn tay chân họ bắt đầu thay đổi theo hướng song song tạo góc khác 90 độ với mặt đất 11 Xác định hướng tay chân đối tượng 2.3.5 Nhận dạng hành vi bạo lực Đối với hành động (phát dễ nhất): ta phân loại dựa đặc điểm bóng liên tục di chuyển, độ phản xạ hay hướng tay chân Đối với hành động vẫy tay: hành vi bạo lực nên phản xạ có thay đổi hướng tay Đối với hành động chuyển đồ: Sẽ khó khăn nhận biết đối tượng chuyển nhỏ), vật lớn, phát so sánh thay đổi diện tích gần bàn tay sau chuyển Đối với hành động trỏ ngón tay: việc trỏ thường không tạo phản lực, có hướng chuyển động tay, theo hướng song song vuông góc với mặt đất 2.4 Kết chƣơng 12 CHƢƠNG - THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Tập liệu thử nghiệm Với mục đích kiểm thử hiệu tính xác chương trình, sử dụng số video tình thật lấy website Youtube tự thực số video mô hành vi bạo lực Những video mô hoạt động bạo lực như: đấm, đá, quật ngã, … 3.2 Phân tích đánh giá Bảng Ma trận nhầm lẫn Phân lớp thuật toán Tập liệu Có hành vi bạo lực Phân lớp thực Không có hành vi bạo lực Có hành vi bạo Không có hành lực vi bạo lực 12 Trong trình tiến hành thử nghiệm với số lượng liệu đưa ra, tác giả thấy độ xác (Precision) độ bao phủ (Recall) phân loại video có hành vi bạo lực sau: Precision = Recall = 0.857 = 0.923 13 Tương tự, ta có độ độ xác (Precision) độ bao phủ (Recall) video hành vi bạo lực sau: Precision = Recall = 0.714 = 0.625 3.3 Thảo luận kết chƣơng 14 KẾT LUẬN VÀ KIẾN NGHỊ Qua thử nghiệm thấy tốc độ xử lý chậm, nguyên nhân độ dài video, thuật toán chưa tối ưu Ngoài ra, trường hợp phát sai Mặc dù kết thử nghiệm khả quan, nhiên kết tập thử ít, khoảng 20 video Trong thời gian tới, tác giả cần thu thập nhiều video mô tả hành vi bao lực/không bạo lực đa dạng để đưa xác kết thử nghiệm Việc xác định có hay hành vi bạo lực video có người chưa thể đáp ứng yêu cầu thực tế Những nơi có bạo lực xảy thường tập trung đông người, trường hợp có người Do đó, thời gian tới, nối tiếp nghiên cứu xác định video có người, cần nghiên cứu video có nhiều người, đám đông  ... khỏi cảnh bạo lực Với mục đích đưa tiến công nghệ vào phục vụ cho sống, xin chọn đề tài nghiên cứu Nghiên cứu phát hành vi bạo lực từ liệu video 2 CHƢƠNG – TỔNG QUAN VỀ PHÁT HIỆN BẠO LỰC 1.1... lớp thuật toán Tập liệu Có hành vi bạo lực Phân lớp thực Không có hành vi bạo lực Có hành vi bạo Không có hành lực vi bạo lực 12 Trong trình tiến hành thử nghiệm với số lượng liệu đưa ra, tác giả... áp dụng Ngoài ra, có số nghiên cứu phát bạo lực đám đông nghiên cứu hoi 1.3 Kết chƣơng CHƢƠNG – PHƢƠNG PHÁP PHÁT HIỆN HÀNH VI BẠO LỰC 2.1 Tiền xử lý video 2.1.1 Tổng quan video 2.1.2 Nhị phân ảnh