Hệ cơ sở dữ liệu đa phương tiện

Bài toán phân tách các đối tượng trong video làmột bài toán khó và đóng vai trò quan trọng trong các ứng dụng đa phương tiện vídụ như truy tìm video theo nội dung, kĩ thuật nén video thế hệ mới, theo vết đốitượng, các thiết bị giám sát thông minh, v.v MUA TÀI LIỆU LIÊN HỆ MÌNH GỬI CODE NHÉ

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN ĐỀ TÀI: Phân đoạn video đơn giản (phát shot) sử dụng đặc trưng toàn cục Hà Nội tháng năm 2017 Lời nói đầu Ngày với bùng nổ internet, phương tiện truyền thông đa phương tiện, thiết bị quay phim kĩ thuật số ngày tân tiến, thiết bị lưu trữ với dung lượng tăng lên chóng mặt làm phát sinh nhu cầu xử lí liệu đa phương tiện đặc biệt video Bài toán phân tách đối tượng video toán khó đóng vai trị quan trọng ứng dụng đa phương tiện ví dụ truy tìm video theo nội dung, kĩ thuật nén video hệ mới, theo vết đối tượng, thiết bị giám sát thông minh, v.v Tuy nhiên để đạt mục tiêu phân đoạn đối tượng có nghĩa chưa có phương nào thật hiệu Hiện phân đoạn video gặp số khó khăn cần khắc phục chưa giải điều kiện chiếu sáng thay đổi, camera chuyển động phức tạp, đối tượng chuyển động đan xen che khuất nhau, chưa xử lí thời gian thực Trong phạm vi mơn học sở liệu đa phương tiện, nhóm em tìm hiểu kỹ thuật phân đoạn video sử dụng đặc trưng tồn cục Mục lục Lời nói đầu Mục lục I Bài toán II.Hệ thống 1.Cách xây dựng hệ thống 2.Cách tính đặc trưng khoảng cách Cách lưu liệu III Kết cài đặt Kết minh họa 2.Phân tích đánh giá kết IV.Kết luận Tài liệu tham khảo 10 I Bài toán Yêu cầu toán: Phân đoạn video đơn giản (phát shot) sử dụng đặc trưng toàn cục Video gì? Video tập hợp khung hình đặt liên tiếp nhau, khung hình ảnh số Frame(khung): Video tạo nên chuỗi ảnh tĩnh Một chuỗi khung tĩnh đặt cạnh tạo nên cảnh phim chuyển động Một khung đơn ảnh tĩnh Shot: đơn vị sở video Đặc trưng toàn cục: đặc trưng thuộc tính thu từ tồn nền, đối tượng Input : Video Output : đoạn video keyframe tương ứng II.Hệ thống 1.Cách xây dựng hệ thống Từ video, tính histogram màu frame liên tiếp nhau, sau tính khoảng cách của chúng Từ khoảng cách, ta chọn ngưỡng để tìm điểm điểm chuyển cảnh Từ điểm chuyển cảnh, ta tìm shot, keyframe frame nằm shot 2.Cách tính đặc trưng khoảng cách 2.1 Tính Histogram: Tính frame video histogram màu kênh màu 0,1,2 với kênh màu 32 bin/ dải [0-256] Sử dụng hàm: cv2.calcHist(images, channels, mask, histSize, ranges[, hist[, accumulate]]) → histogram OpenCV Trong đó: images: mảng nguồn để tính Channels: Danh sách kênh màu để tính tốn mask: mặt nạ tùy chọn histSize:Kích thước histogram ranges:kích thước dải màu hist:histogram đầu accummulate: flag tích lũy Nếu thiết lập, biểu đồ khơng bị xóa bắt đầu phân bổ Tính cho phép bạn tính biểu đồ đơn từ vài mảng để cập nhật biểu đồ theo thời gian 2.2 Tính khoảng cách histogram: Tính frame liên tiếp (toàn video) Sử dụng hàm: cv2.compareHist(H1, H2, method) Trong đó: H1: histogram thứ H2: histogram thứ Method: số phương pháp: • CV_COMP_CORREL Correlation • CV_COMP_CHISQR Chi-Square • CV_COMP_INTERSECT Intersection • CV_COMP_BHATTACHARYYA Bhattacharyya distance • CV_COMP_HELLINGER Synonym for CV_COMP_BHATTACHARYYA • Hệ thống chúng em xây dựng có khoảng cách tính theo khoảng cách Bhattacharyya 2.3 Chọn ngưỡng cut: Đây vấn đề quan trọng khó khăn Nếu lấy ngưỡng thấp shot bị chia thành nhiều shot, lấy ngưỡng cao nhiều shot bị gộp thành shot Ở đây, chúng em sử dụng phương pháp để so sánh: • Twin comparisons (2 ngưỡng so sánh ) • Adaptive Threshold (ngưỡng thích nghi) 2.3.1 Twin comparisons (2 ngưỡng so sánh ) Chọn ngưỡng, ngưỡng t_c cho chuyển cảnh đột ngột ngưỡng t_s cho chuyển cảnh từ từ • Nếu khoảng cách vượt ngưỡng t_c => điểm chuyển cảnh • Nếu khoảng cách vượt ngưỡng t_s => điểm chuyển cảnh từ từ • Lấy frame điểm để tham chiếu, tính khoảng cách frame phía sau với frame này, vượt qua t_c frame phía sau điểm chuyển cảnh • Chọn t_c, t_s nào: o t_c: lấy trung bình 2% giá trị lớn khoảng cách o t_s: lấy trung bình 10% giá trị lớn khoảng cách • Tính đến frame sau frame tham chiếu: o 24 frame 2.3.2 Adaptive Threshold (ngưỡng thích nghi) • Chọn ngưỡng thích nghi dựa khoảng cách lân cận • Ngưỡng điểm: a* (trung bình khoảng cách điểm lân cận nó) + b*(một mức tăng) • Chọn điểm lân cận: o Ở chọn điểm trước, điểm sau, • Chọn mức tăng bao nhiêu: o Mức tăng cố định không phù hợp với video khác => chọn theo thông số toàn cục o Sau thống kê với standard deviation, mean, median tồn cục, nhóm chọn standard deviation làm mức tăng  Ngưỡng = a*trung bình cục + b*độ lệch chuẩn tồn cục Hình bên thể tính ngưỡng, đường màu xanh giá trị khoảng cách, đường màu đỏ giá trị ngưỡng, tương ứng điểm có ngưỡng cho Hệ thống tự động chọn giá trị a=2, b=1: Giá trị thống kê tốt nhiều video Tuy nhiên, điều chỉnh theo giá trị mong muốn 2.4 Tìm key frame Từ điểm chuyển cảnh trên, tìm frame đầu frame cuối shot Key frame chọn frame shot Cách lưu liệu Các keyframe, frame đầu frame cuối shot đoạn shot trích rút lưu vào thư mục /home/{user}/video_database/{ten_video} Linux, chúng em chưa làm window Ví dụ: /home/oanhnt/video_database/anni001 III Kết cài đặt Kết minh họa Ở lấy video khác nhau: video bóng đá video phi hành gia Chúng em test nhiều video giới hạn báo cáo, nên đưa vài minh họa 1.1.Twin comparison Một vài kết tốt Một vài kết kém: 1.2 Adaptive threshold Một vài kết tốt Một vài kết 2.Phân tích đánh giá kết Đánh giá kết 10 video từ trang Youtube, https://openvideo.org/results.php?genre=Documentary Twin Comparison: t_c = trung bình 2% khoảng cách lớn t_s = trung bình 10% khoảng cách lớn Độ xác : 51,7% Độ phủ: 84,8% Adaptive Threshold: Chọn a = 2, b =1 hay: Ngưỡng = 2*trung bình cục + độ lệch chuẩn tồn cục Độ xác: 55,3% Độ phủ: 82.7 % Khi thực test nhiều video khác nhau, chúng em thấy việc phát chuyển cảnh đột ngột video tương đối tốt, chuyển cảnh tùy video đoạn video mà twin comparison adaptive threshold tốt Tuy nhiên, lấy trung bình adaptive thường tốt Với hai tham số a, b sử dụng bước tính khoảng cách • Nếu ta tăng a,b lên số shot cắt hơn, thời lượng shot nhiều shot chứa nhiều shot khác • Nếu ta hạ a,b xuống số shot cắt nhiều hơn, thời lượng shot ngắn Không thực có cách cách hồn hảo cho tất video, • adaptive chọn tham số a b hợp lý điều chỉnh độ xác • Đối với twin thay đổi tham số t_c, t_s theo số % khoảng cách tính trung bình IV.Kết luận Trong q trình học tập môn học sở liệu đa phương tiện, Nguyễn Thị Oanh tận tình giảng dạy chúng em, cung cấp cho chúng em kiến thức để hồn thiện tập lớn nói riêng cung cấp kiến thức sở liệu đa phương tiện nói chung.Do thiếu kiến thức, kỹ nên tập nhiều hạn chế Mong nhận góp ý bạn! Chúng em chân thành cảm ơn! Nhóm sinh viên thực Tài liệu tham khảo [1] Nguyễn Thị Oanh – Slide hệ sở liệu đa phương tiện [2] http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html 10 ... tập mơn học sở liệu đa phương tiện, cô Nguyễn Thị Oanh tận tình giảng dạy chúng em, cung cấp cho chúng em kiến thức để hồn thiện tập lớn nói riêng cung cấp kiến thức sở liệu đa phương tiện nói chung.Do... internet, phương tiện truyền thông đa phương tiện, thiết bị quay phim kĩ thuật số ngày tân tiến, thiết bị lưu trữ với dung lượng tăng lên chóng mặt làm phát sinh nhu cầu xử lí liệu đa phương tiện. .. góp ý bạn! Chúng em chân thành cảm ơn! Nhóm sinh viên thực Tài liệu tham khảo [1] Nguyễn Thị Oanh – Slide hệ sở liệu đa phương tiện [2] http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html