Kỹ thuật tìm kiếm video theo nội dung

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ HƯƠNG GIANG KỸ THUẬT TÌM KIẾM VIDEO THEO NỘI DUNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2018 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ HƯƠNG GIANG KỸ THUẬT TÌM KIẾM VIDEO THEO NỘI DUNG Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS TS ĐẶNG VĂN ĐỨC Thái Nguyên - 2018 LỜI CAM ĐOAN Tôi xin cam đoan luận án cơng trình nghiên cứu than, luận văn hồn tồn hình thành phát triển từ quan điểm cá nhân tôi, hướng dẫn bảo PGS.TS Đặng Văn Đức Các kết nghiên cứu luận văn trung thực chưa công bố cơng trình khác Học viên Lê Hương Giang LỜI CẢM ƠN Để hoàn thành luận văn “Kỹ thuật tìm kiếm video theo nội” học viên nhận hướng dẫn giúp đỡ nhiệt tình nhiều tập thể cá nhân Trước tiên,tôi xin bày tỏ lòng biết ơn chân thành đến PGS.TS Đặng Văn Đức, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học Cơng nghệ Việt Nam,người dìu dắt giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy giáo, Phịng Đào tạo trường Đại học Cơng nghệ thông tin Truyền thông, truyền đạt kiến thức giúp đỡ em suốt trình học tập Tơi xin cảm ơn quan, bạn bè đồng nghiệp, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi hồn thành tốt nhiệm vụ học tập luận văn Hà nội, ngày tháng năm 2018 Học viên Lê Hương Giang MỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM VIDEO 1.1 Kiến trúc tổng quan hệ thống tìm kiế 1.1.1 Mơ hình tổng qt tìm kiếm 1.1.2 Hệ thống tìm kiếm video theo nội du 1.2 Mơ hình liệu video 1.2.1 Khái niệm mơ hình liệu video 1.2.2 Các u cầu mơ hình liệu video 1.2.3 Mơ hình liệu video điển hình 1.3 Mơ hình tổng qt CSDL video 1.3.1 Khái quát CSDL đa phương tiện CSDL video 1.3.2 Kiến trúc tổng thể CSDL video 1.3.3 Các chức chủ yếu CSDL video CHƯƠNG 2:MỘT SỐ KỸ THUẬT SỬ DỤNG TRONG XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO 2.1 Kỹ thuật tách lia video 2.1.1 Một số khái niệm 2.1.2 Một số hình thức chuyển cảnh 2.1.3 Các hướng tiếp cận phân đ 2.1.4 Kỹ thuật tách lia băng 2.1.5 Tách lia biến đổi 2.1.6 Các kỹ thuật khác 2.2 Kỹ thuật tìm Frame đại diện cho 2.2.1 Giới thiệu 2.2.2 Chọn Frame đại diện 2.3 Đối sách tìm kiếm frame đại diện 2.3.1 Biểu đồ (Histogram) đa mức xám 2.3.2 Thuật toán sở 2.3.4 Ưu điểm nhược điểm biểu CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Phát biểu tốn 3.2 Dữ liệu thực nghiệm 3.3 Mơ tả hệ thống, môi trường cô 3.4 Đánh giá kết thử nghiệm PHẦN KẾT LUẬN DANH MỤC TÀI LIỆU THAM DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình tìm kiếm 11 Hình 1.2 Cấu trúc phân cấp video clip 13 Hình 1.3 Mơ hình liệu video tổng qt 13 Hình 1.4 Mơ hình khả lưu trữ hệ thống Video 15 Hình 1.5 Kiến trúc dựa nguyên lý tự trị 22 Hình 1.6 Kiến trúc dựa nguyên lý đồng 23 Hình 1.7 Kiến trúc dựa nguyên lý lai ghép 24 Hình 2.1 Sơ đồ ứng dụng kỹ thuật trừ ảnh vào phân đoạn 31 Hình 2.2 video Chênh lệch biểu đồ 36 Hình 2.4 So sánh cặp a chênh lệch biểu đồ liên tiếp b chênh lệch biểu đồ tích lũy 41 Hình 2.5 Phát chuyển cảnh kỹ thuật so sánh cặp 42 Hình 2.6 Những ảnh khác có biểu đồ màu giống 59 Hình 3.1 Sơ đồ hệ thống tìm kiếm 61 Hình 3.2 Giao diện chương trình 63 Hình 3.3 Giao diện chọn file 64 Hình 3.4 Giao diện tách lia video dựa kỹ thuật phát chuyển cảnh 64 Hình 3.5 Giao diện kết 65 DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt CSDL CBVR MDBMS RAM HWS DMZ LB,UB PFC MỞ ĐẦU Đặt vấn đề 1.1 Sự cần thiết lựa chọn đề tài Với phát triển xã hội, ngành công nghệ thông tin truyền thông phát triển nhanh chóng Các nghiên cứu cơng nghệ liên quan đến video đạt thành tựu định Trong số lượng lớn liệu video ứng dụng nhiều cơng nghệ giải trí (phim ảnh, clip âm nhạc ), đào tạo từ xa (qua video giảng) Nhiều phòng chức có nhiệm vụ lưu trữ thu thập video (tư liệu lịch sử, tư liệu khai quật khảo cổ học địa phương hay quốc gia ) Chính phát triển vượt bậc công nghệ thu giữ (capture) liệu nghe nhìn khơng gia lưu trữ ngày gia tăng cho phép tạo sưu tập khổng lồ liệu đa phương tiện Tuy nhiên, CSDL ngày phình to khó khăn việc tìm kiếm video mong muốn lại tăng lên Như nhiều ứng dụng, địi hỏi khơng nhận biết video chứa thơng tin cần tìm, mà cịn cần nhận biết phần video chứa thơng tin cần tìm Duyệt video để tìm kiếm vài thơng tin cụ thể tốn thời gian, cần thiết phải có phương pháp tự động định vị shot (lia) chứa thơng tin cần tìm [3] Để giải vấn đề này, đề tài luận văn nghiên cứu kỹ thuật tìm kiếm video theo nội dung, tập trung nghiên cứu kĩ thuật tách lia video hay phân đoạn video thành shot, định danh khung frame lia số hóa tìm kiếm theo đặc trưng khung frame 1.2 Mục tiêu nghiên cứu đề tài Nghiên cứu số kỹ thuật sử dụng xây dựng hệ thống tìm 66kiếm video Sau xây dựng chương trình thử nghiệm Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu liệu video CSDL video - Tìm hiểu khái niệm video, mơ hình tổng qt hệ thống tìm kiếm video theo nội dung Nghiên cứu mơ hình liệu video mục CSDL video - Một số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video giới hạn Các kỹ thuật phân đoạn sở, tách biên shot thay đổi dần dần, sai sót tách shot, kỹ thuật tách shot khác phân đoạn video nén - Kỹ thuật tìm lia đại diện cho đoạn video kỹ thuật phản hồi liên quan: Video chia thành lia, định danh khung frame lia, số hóa tìm kiếm theo đặc trưng khung frame - Cơ sở liệu video thử nghiệm: Các video chuyên ngành nghiệp vụ thư viện nghiệp vụ - Học viện cảnh sát nhân dân - Hướng nghiên cứu đề tài Tìm kiếm tài liệu, học liệu liên quan Internet, thư viện nhà trường để nghiên cứu vấn đề liên quan nhằm giải đề tài - Liên hệ chặt chẽ với thầy hướng dẫn để đề tài hướng Nghiên cứu số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video Nghiên cứu giải pháp cơng nghệ cài đặt chương trình thử nghiệm Cấu trúc luận văn Luận văn gồm: Phần mở đầu, ba chương chính, kết luận tài liệu tham khảo cụ thể: Phần mở đầu:Trình bày lý chọn đề tài bố cục luận văn Chương 1: Tổng quan hệ thống tìm kiếm Video Chương Một số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video Chương Thử nghiệm 10 Kết luận hướng phát triển luận văn Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết: Thu thập, tổng hợp tài liệu công bố, so sánh để tìm vấn đề phù hợp để nghiên cứu học hỏi Liên hệ thường xuyên với giáo viên hướng dẫn chuyên gia để thực luận văn cho hướng, tiến độ - Phương pháp thực nghiệm để minh chứng hiệu giải pháp lựa chọn thơng qua nhận xét, phân tích đánh giá kết thử nghiệm Ý nghĩa khoa học đề tài Hiện nay, việc nghiên cứu triển khai sở liệu (CSDL) video giới nước vấn đề quan trọng Video, lưu trữ dạng đoạn video, băng video, thô không thuận tiện cho yêu cầu duyệt, truy vấn thu hồi, cần tổ chức liệu video Một nhiệm vụ khó khăn cấp thiết tạo phương pháp công cụ cho phép tự động sưu tập, lưu trữ thu hồi thông tin video, sở nội dung Việc xây dựng CSDL video cần kỹ thuật xử lý liệu phức tạp nhiều so với liệu đa phương tiện khác văn bản, âm hay ảnh tĩnh Trong đó, số hóa phân đoạn liệu video xem vấn đề quan trọng Khi phân chia liệu video thành đơn vị sở có nghĩa nhỏ hơn, cho phép trả lời nhanh câu hỏi tìm kiếm CSDL Các vấn đề trình bày luận văn hệ thống hố lý thuyết CSDL video, cung cấp thuật tốn cơng cụ cho việc mục truy tìm video, hình thành thước đo kỹ thuật đo độ chênh lệch cho phù hợp để áp dụng chúng tự động hóa phân đoạn video chuẩn bị liệu xây dựng CSDL video số môi trường đa phương tiện thực tế 58 - Ảnh 2: Từ màu C1 đến C4 có pixels, từ C5 đến C8 có pixels - Ảnh 3: Từ màu C1 đến C2 có pixel, từ màu C3 đến C8 có 10 pixels Tính biểu đồ màu khoảng cách ảnh H1=(8, 8, 8, 8, 8, 8, 8, 8) H2=(7, 7, 7, 7, 9, 9, 9, 9) H3=(2, 2, 10, 10, 10, 10, 10, 10) h(H1, H2)= 1+ 1+1+1+1+1+1+1=8 h(H1, H3)= 6+ 6+2+2+2+2+2+2=24 h(H2, H3)= 5+ 5+3+3+3+1+1+1=23 2.3.4 Ưu điểm nhược điểm biểu đồ màu  Ưu điểm: - Tính tốn biểu đồ màu tốn chi phí, đơn giản, nhanh chóng - Biểu đồ màu bất biến số phép biến đổi như: xoay, co , giãn  Nhược điểm: Biểu đồ màu xét phân bố toàn cục màu ảnh mà không xét đến yếu tố cục vị trí, làm thơng tin quan hệ không gian màu Dẫn đến việc có nhiều ảnh khác lại có biểu đồ màu hình 2.6 59 Hình 2.6 Những ảnh khác có biểu đồ màu giống 60 Kết luận chương Trong chương tìm hiểu số phương pháp tách lia Đây bước hầu hết hệ thống đánh mục tìm kiếm video theo nội dung Việc sử dụng ngưỡng truyền thống để so sánh khác hai khung hình liên tiếp sử dụng cửa sổ trượt để xem xét giống nháu khác tương đối khung hình cửa sổ nhằm đưa định có phải chuyển cảnh hay không Và chương nêu phương pháp tìm kiếm ảnh đại diện: đặc tính ảnh, khơng gian màu sắc, biểu đồ màu,… đặc trưng quan trọng Tập trung chủ yếu vào hướng tìm kiếm ảnh dựa biểu đồ histogram 61 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM Trong chương trình bày chương trình thực nghiệm với toán tách Lia sở cửa sổ trượt Đánh giá kết thực nghiệm xảy trường hợp đoạn sở (shot) tĩnh shot động 3.1 Phát biểu toán Chuyển cảnh đột ngột chuyển cảnh dễ phát Tuy nhiên, để đạt độ xác cao khơng phải phương pháp cungc làm Mặt khác, chuyển cảnh đột ngốt xuất hầu hết chuyển cảnh video Sau tính khác biệt khung hình liên tiếp, sử dụng ngưỡng định có phải chuyển cảnh hay không Mỗi video khác chọn ngưỡng khác Bài toán: Từ video truy vấn tập liệu video thử nghiệm, hệ thống thực tách thành khung hình theo chuyển cảnh video Dựa vào sở lý thuyết thuật toán chương chương 2, học viên xây dựng chương trình thử nghiệm tách lia sở cửa sổ trượt 3.2 Dữ liệu thực nghiệm Đầu vào: - Đối với trường hợp Shot tĩnh, học viên lựa chọn10 video khác nhau, có độ dài (tính theo thời gian) khác Đối với Shot động học viên lựa cho 50 video có nội dung khác Đầu ra: - Kết trả số lượng khung hình tách 3.3 Mơ tả hệ thống, môi trường công cụ thử nghiệm 3.3.1 Mô tả hệ thống Sơ đồ hệ thống trình bày hình 3.1 Đây sơ đồ hồn thiện để tìm video Các bước mà học viên trình bày luận văn mơ tả chi tiết sơ đồ đây: Đầu vào hệ thống 62 file video từ nhiều nguồn khác Các video phân đoạn thành đoạn sở, sau đoạn trích chọn số khung hình đại diện (key- frame) Các khung hình đại diện trích chọn đặc trưng lưu vào sở liệu Video Files CSDL Keyframe đoạn Keyframe Browser Tìm kiếm ảnh Kết quả: Các đoạn video Hình 3.1 Sơ đồ hệ thống tìm kiếm 3.3.2 Mơi trường cơng cụ thử nghiệm Nhằm kiểm chứng kỹ thuật đề xuất chương 2, tiến hành cài đặt chương trình demo thao tác tách lia video Chương trình 63 viết C++, môi trường Windows 7, PC, Visual studio 2015 OpenCV Chương trình mơ viết sau: - Lựa chọn chức Local Windows Debuger , Save foder chọn video, Threshold (ngưỡng so sánh) - Quan sát trình phát chuyển cảnh - Lưu kết file Chính số lượng khung hình tách Dưới giao diện chương trình: Hình 3.2 Giao diện chương trình 64 Hình 3.3 Giao diện chọn file Hình 3.4 Giao diện tách lia video dựa kỹ thuật phát chuyển cảnh 65 Hình 3.4 Giao diện kết tách ảnh 3.5 Đánh giá kết thực nghiệm Trong trình thực nghiệm chương trình học viên thấy có số vấn đề sau: Khi cho tách vói Shot tĩnh số chuyển cảnh khơng có Thường shot tĩnh có thời gian ngắn, nên sau tách kết phát đính khơng bỏ sót, khơng phát nhầm Khi cho tách với shot động : 50 video chạy chương trình thực nghiệm Đối với số video quay phong cảnh động vật, quy trình để có cốc cafe Sau tách số lượng khung hình tương đối lớn Số chuyển cảnh 5-8 cảnh thuật tốn cửa sổ trượt phát nhầm cao, phát nhầm chuyển cảnh hai khung hình giống Tỷ lệ phát nhầm thuật toán “cửa sổ trượt” cao (precision thấp) số trường hợp 66 cửa sổ trượt đoạn video PFC dao động quanh giá trị HWS/2 Khi cửa sổ bắt đầu trượt vào đoạn PFC tăng dần frame đoạn trở thành fc PFC giảm đột ngột, tiếp tục PFC tăng dần dao động quanh HWS/2 Để phát chuyển cảnh đột ngột sử dụng hai ngưỡng để quyêt định Ngưỡng (upper bound - UB) ngưỡng (lower bound- LB), chuyển cảnh đột ngột phát PFC nhỏ LB PFC trước lớn UB Việc sử dụng hai ngưỡng với mục đích giảm trường hợp phát nhầm sử dụng ngưỡng 67 PHẦN KẾT LUẬN Video ngày ứng dụng rộng rãi nhiều lĩnh vực đời sống khoa học - xã hội Các tài liệu video kỹ thuật số ngày chiếm số lượng lớn liệu đa phương tiện có sẵn Để quản lý hiệu tài liệu video này, chúng cần phải lập mục Các phương pháp lập mục cổ điển dựa văn không đủ để cung cấp mơ tả đầy đủ, đó, hình thức lập mục cần thiết cho chuỗi video Trong tách lia video bước cần thiết hệ thống quản lý hiệu liệu video Hơn nữa, việc tách video kỹ thuật số thành đơn vị nhỏ quan trọng lĩnh vực khác nén MPEG Qua thời gian thực đề tài, học viên nghiên cứu hoàn thành mục đích nội dung nghiên cứu đề ra, cụ thể với nội dung sau: Trình bày, mơ tả mơ hình tổng qt tìm kiếm,nêu khái niệm mơ hình liệu video, khái qt CSDL đa phương tiện chương 1.Trong chương học viện trình bày rõ bước mơ hình tìm kiếm làm rõ tên luận văn “Tìm kiếm video theo nội dung” tìm nội dung băng video có ảnh tương tự với ảnh đầu vào không, tương tự đưa video dod Trình bày kỹ thuật tách lia video từ đưa nhận xét ,đánh giá so sánh Phần học viên trình bày chương Trong chương học viên nêu kỹ thuật tách Lia, chọn kỹ thuật kỹ thuật tách lia sở cửa sổ trượt Sau tách Lia , học viện nêu kỹ thuật tìm Frame đại diện, kỹ thuật đối sánh frame đại diện ảnh đầu vào Xây dựng chương trình thử nghiệm Đã thực nghiệm 10 video tĩnh 50 video có nhiều chuyển cảnh 68 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đặng Văn Đức, Cơ sở liệu đa phương tiện, Bài giảng cho học viên sau đại học, 2005-2017 Tiếng Anh [2] Dipika H Patel, Content based Video Retrieval: A Survey, International Journal of Computer Applications, 2015 [3] Guojun Lu, Multimedia Database Management Systems, Artech House, Boston - London, 2009 [4] Jordi Mas and Gabriel Fernadez, Video Sort Boundary Detection Based on Color Histogram, La Salle Schol of Engineering, Barcelone, Spain, 2012 [5] Patel B.V and B B Meshram, Content based Video Retrieval System, International Journal of UbiComp (IJU), 2012 [6] Swati D Bendale andBijal.J.Talati, Analysis of Popular Video Shot Boundary Detection Techniques in Uncompressed Domain, International Journal of Computer Applications, 2012 [7] Yi-Chun Liao, Chun-Hong Huang( 2009), Automatic Video Segmentation and Story-Based Authoring in ELearning Journal of software, vol 4, no 2, April 2009 [8] Grainne Gormley(1999), Scene Break Detectionand Classification of Digital Video Sequences Usingthe Method of Edge Detection School of ComputerApplication, Dublin city University 69 [9] Mr Padalkar milind Gajanan (2010) , HISTOGRAM BASED EFFICIENT VIDEO SHOT DETECTION ALGORITHMS [10] S.M.M Tahaghoghi ,James A Thom, Hugh E Williams, Shot boundary detection using the moving query window, School of Computer Science and Information Technology, RMIT University, GPO Box 2476V,Melbourne, Australia, 3001 [11] Gianluigi Ciocca, Raimondo Schettini.(2004), Dynaic Key-frame Extraction for Video Summarization, Proceedings of the SPIE, Volume 5670,pp.137-142 [12] Tonomura Y.,Akutsu A., Otsugi K., and Sadakata T (1993), VideoMap and VideoSpaceIcon: Tools for automatizing video content Poc ACM INTERCHI’93 Conference, 131-141 [13] Pentland A., Picard R., Davenport G and Haase K (1994), Video and Image Semantics: Advanced Tools for Telecommunications IEEE MultiMedia;1(2):73-75 [14] Rui Y., Huang T S and Mehrotra S (1998), Exploring Video Structure Beyond the Shot Proc.IEEE Int Conf on Multimedia Computing and Systems(ICMCS), Texac USA, 237240 [15] Zhongghua Sun, Fu Ping (2004), Combination of Color and Object Outline Based Method in Video Segmentation Proc SPIE Storage and Retrieval Methods and Application for Multimedia; 5307:61-69 [16] Li Zhao, Wei Qi, Stan Z Li, S.Q.Yang H.J.Zang.(2000) Key-frame Extraction and Shot Retrieval Using Nearest Feature Line (NFL) Proc ACM Int Workshops on Multimedia Information Retrieval; 217-220 70 [17] Hanjalic A.,Lagendijk R.L., Biemond J (1998), A new Method for Key Frame Based Video Content Representaion In: Image Databases and Multimedia Search, World Scientific Singapore [18] Hoon S H., Yoon K., and Kweon I.(2000), A new Technique for Shot Detection and Key Frame Selection in Histogram Space Proc.12th Workshop on Image Processing anh Image Understanding; 475-479 [19] Narasimha R., Savakis A., Rao R M and De Queiroz R (2004), A Neural Network Approach to Key Frame extraction.Proc.of SPIE- IS&T Electronic Imaging Storage and Retrieval Methods and Applications for Multimedia; 5307:439447 [20] Janko Calic (2004), Highly Efficient Low- level Feature Extraction for Video Representation And Retrieval, PhD thesis, University of London 71 Xác nhận giáo viên hướng dẫn Học viên ... HỆ THỐNG TÌM KIẾM VIDEO Trong chương trình bày hệ thống tìm kiếm video theo nội dung Nêu khái niệm ý nghĩa mơ hình liệu video 1.1 Kiến trúc tổng quan hệ thống tìm kiếm video theo nội dung 1.1.1... video CSDL video - Tìm hiểu khái niệm video, mơ hình tổng quát hệ thống tìm kiếm video theo nội dung Nghiên cứu mơ hình liệu video mục CSDL video - Một số kỹ thuật sử dụng xây dựng hệ thống tìm. .. tìm kiếm video giới hạn Các kỹ thuật phân đoạn sở, tách biên shot thay đổi dần dần, sai sót tách shot, kỹ thuật tách shot khác phân đoạn video nén - Kỹ thuật tìm lia đại diện cho đoạn video kỹ thuật