Kỹ thuật tìm kiếm video theo nội dung

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ HƯƠNG GIANG KỸ THUẬT TÌM KIẾM VIDEO THEO NỘI DUNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2018 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LÊ HƯƠNG GIANG KỸ THUẬT TÌM KIẾM VIDEO THEO NỘI DUNG Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS TS ĐẶNG VĂN ĐỨC Thái Nguyên - 2018 LỜI CAM ĐOAN Tôi xin cam đoan luận án cơng trình nghiên cứu than, luận văn hồn tồn hình thành phát triển từ quan điểm cá nhân tôi, hướng dẫn bảo PGS.TS Đặng Văn Đức Các kết nghiên cứu luận văn trung thực chưa công bố cơng trình khác Học viên Lê Hương Giang LỜI CẢM ƠN Để hoàn thành luận văn “Kỹ thuật tìm kiếm video theo nội” học viên nhận hướng dẫn giúp đỡ nhiệt tình nhiều tập thể cá nhân Trước tiên,tôi xin bày tỏ lòng biết ơn chân thành đến PGS.TS Đặng Văn Đức, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học Cơng nghệ Việt Nam,người dìu dắt giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy giáo, Phòng Đào tạo trường Đại học Cơng nghệ thông tin Truyền thông, truyền đạt kiến thức giúp đỡ em suốt trình học tập Tơi xin cảm ơn quan, bạn bè đồng nghiệp, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi hồn thành tốt nhiệm vụ học tập luận văn Hà nội, ngày tháng năm 2018 Học viên Lê Hương Giang MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM VIDEO 1.1 Kiến trúc tổng quan hệ thống tìm kiếm video theo nội dung 11 1.1.1 Mơ hình tổng quát tìm kiếm 11 1.1.2 Hệ thống tìm kiếm video theo nội dung 12 1.2 Mơ hình liệu video 12 1.2.1 Khái niệm mơ hình liệu video 12 1.2.2 Các yêu cầu mô hình liệu video 14 1.2.3 Mơ hình liệu video điển hình 19 1.3 Mơ hình tổng qt CSDL video 20 1.3.1 Khái quát CSDL đa phương tiện CSDL video 20 1.3.2 Kiến trúc tổng thể CSDL video 21 1.3.3 Các chức chủ yếu CSDL video 24 CHƯƠNG 2:MỘT SỐ KỸ THUẬT SỬ DỤNG TRONG XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO 2.1 Kỹ thuật tách lia video 27 2M 2 ột M 72 ột 28 C áK 93 ỹ T 39 áC K 47 2ỹG 84 iớ 48 C hĐ 85 32B ối 52 iể T 45 h Ư 57 u CHƯƠ NG P3: D h 61 23 ữ M 16 Đ ô 61 áP 56 H 67 D A DANH MỤC HÌNH ẢNH Hì M nh Hì C nh ấ Hì M nh Hì M nh Hì K nh iế Hì K nh iế Hì K nh iế Hì S nh Hì C nh h ê ặp Hì a nh Hì P nh h Hì N nh h Hì S nh Hì G nh ia Hì G nh ia G Hì i nh a Hì G nh ia 1 3 2 3 4 6 6 DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt CSDL Tiếng anh Nghĩa tiếng việt Cơ sở liệu CBVR Content- Based Video Retrieval Tìm kiếm video theo nội dung Multimedia Database Hệ thống quản lý sở liệu đa Management System phương tiện RAM Random access memory Bộ nhớ truy cập ngẫu nhiên HWS Half window size Một nửa kích thước cửa sổ DMZ Demilitarised Zone Độ sâu khung hình MDBMS LB,UB PFC Lower Bound Upper Bound Pre- Frame Count Cận dưới,Cận Đếm khung hình phía trước MỞ ĐẦU Đặt vấn đề 1.1 Sự cần thiết lựa chọn đề tài Với phát triển xã hội, ngành công nghệ thông tin truyền thông phát triển nhanh chóng Các nghiên cứu cơng nghệ liên quan đến video đạt thành tựu định Trong số lượng lớn liệu video ứng dụng nhiều cơng nghệ giải trí (phim ảnh, clip âm nhạc ), đào tạo từ xa (qua video giảng) Nhiều phòng chức có nhiệm vụ lưu trữ thu thập video (tư liệu lịch sử, tư liệu khai quật khảo cổ học địa phương hay quốc gia ) Chính phát triển vượt bậc công nghệ thu giữ (capture) liệu nghe nhìn khơng gia lưu trữ ngày gia tăng cho phép tạo sưu tập khổng lồ liệu đa phương tiện Tuy nhiên, CSDL ngày phình to khó khăn việc tìm kiếm video mong muốn lại tăng lên Như nhiều ứng dụng, đòi hỏi không nhận biết video chứa thông tin cần tìm, mà cần nhận biết phần video chứa thơng tin cần tìm Duyệt video để tìm kiếm vài thông tin cụ thể tốn thời gian, cần thiết phải có phương pháp tự động định vị shot (lia) chứa thơng tin cần tìm [3] Để giải vấn đề này, đề tài luận văn nghiên cứu kỹ thuật tìm kiếm video theo nội dung, tập trung nghiên cứu kĩ thuật tách lia video hay phân đoạn video thành shot, định danh khung frame lia số hóa tìm kiếm theo đặc trưng khung frame 1.2 Mục tiêu nghiên cứu đề tài Nghiên cứu số kỹ thuật sử dụng xây dựng hệ thống tìm 66kiếm video Sau xây dựng chương trình thử nghiệm Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu liệu video CSDL video - Tìm hiểu khái niệm video, mơ hình tổng qt hệ thống tìm kiếm video theo nội dung - Nghiên cứu mơ hình liệu video mục CSDL video - Một số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video giới hạn Các kỹ thuật phân đoạn sở, tách biên shot thay đổi dần dần, sai sót tách shot, kỹ thuật tách shot khác phân đoạn video nén - Kỹ thuật tìm lia đại diện cho đoạn video kỹ thuật phản hồi liên quan: Video chia thành lia, định danh khung frame lia, số hóa tìm kiếm theo đặc trưng khung frame - Cơ sở liệu video thử nghiệm: Các video chuyên ngành nghiệp vụ thư viện nghiệp vụ - Học viện cảnh sát nhân dân Hướng nghiên cứu đề tài - Tìm kiếm tài liệu, học liệu liên quan Internet, thư viện nhà trường để nghiên cứu vấn đề liên quan nhằm giải đề tài - Liên hệ chặt chẽ với thầy hướng dẫn để đề tài hướng - Nghiên cứu số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video - Nghiên cứu giải pháp cơng nghệ cài đặt chương trình thử nghiệm Cấu trúc luận văn Luận văn gồm: Phần mở đầu, ba chương chính, kết luận tài liệu tham khảo cụ thể: Phần mở đầu:Trình bày lý chọn đề tài bố cục luận văn Chương 1: Tổng quan hệ thống tìm kiếm Video Chương Một số kỹ thuật sử dụng xây dựng hệ thống tìm kiếm video Chương Thử nghiệm 58 - Ảnh 2: Từ màu C1 đến C4 có pixels, từ C5 đến C8 có pixels - Ảnh 3: Từ màu C1 đến C2 có pixel, từ màu C3 đến C8 có 10 pixels Tính biểu đồ màu khoảng cách ảnh H1=(8, 8, 8, 8, 8, 8, 8, 8) H2=(7, 7, 7, 7, 9, 9, 9, 9) H3=(2, 2, 10, 10, 10, 10, 10, 10) h(H1, H2)= 1+ 1+1+1+1+1+1+1=8 h(H1, H3)= 6+ 6+2+2+2+2+2+2=24 h(H2, H3)= 5+ 5+3+3+3+1+1+1=23 2.3.4 Ưu điểm nhược điểm biểu đồ màu  Ưu điểm: - Tính tốn biểu đồ màu tốn chi phí, đơn giản, nhanh chóng - Biểu đồ màu bất biến số phép biến đổi như: xoay, co , giãn  Nhược điểm: Biểu đồ màu xét phân bố toàn cục màu ảnh mà không xét đến yếu tố cục vị trí, làm thơng tin quan hệ khơng gian màu Dẫn đến việc có nhiều ảnh khác lại có biểu đồ màu hình 2.6 59 Hình 2.6 Những ảnh khác có biểu đồ màu giống 60 Kết luận chương Trong chương tìm hiểu số phương pháp tách lia Đây bước hầu hết hệ thống đánh mục tìm kiếm video theo nội dung Việc sử dụng ngưỡng truyền thống để so sánh khác hai khung hình liên tiếp sử dụng cửa sổ trượt để xem xét giống nháu khác tương đối khung hình cửa sổ nhằm đưa định có phải chuyển cảnh hay không Và chương nêu phương pháp tìm kiếm ảnh đại diện: đặc tính ảnh, khơng gian màu sắc, biểu đồ màu,… đặc trưng quan trọng Tập trung chủ yếu vào hướng tìm kiếm ảnh dựa biểu đồ histogram 61 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM Trong chương trình bày chương trình thực nghiệm với toán tách Lia sở cửa sổ trượt Đánh giá kết thực nghiệm xảy trường hợp đoạn sở (shot) tĩnh shot động 3.1 Phát biểu toán Chuyển cảnh đột ngột chuyển cảnh dễ phát Tuy nhiên, để đạt độ xác cao khơng phải phương pháp cungc làm Mặt khác, chuyển cảnh đột ngốt xuất hầu hết chuyển cảnh video Sau tính khác biệt khung hình liên tiếp, sử dụng ngưỡng định có phải chuyển cảnh hay không Mỗi video khác chọn ngưỡng khác Bài toán: Từ video truy vấn tập liệu video thử nghiệm, hệ thống thực tách thành khung hình theo chuyển cảnh video Dựa vào sở lý thuyết thuật toán chương chương 2, học viên xây dựng chương trình thử nghiệm tách lia sở cửa sổ trượt 3.2 Dữ liệu thực nghiệm Đầu vào: - Đối với trường hợp Shot tĩnh, học viên lựa chọn10 video khác nhau, có độ dài (tính theo thời gian) khác - Đối với Shot động học viên lựa cho 50 video có nội dung khác Đầu ra: - Kết trả số lượng khung hình tách 3.3 Mơ tả hệ thống, môi trường công cụ thử nghiệm 3.3.1 Mô tả hệ thống Sơ đồ hệ thống trình bày hình 3.1 Đây sơ đồ hồn thiện để tìm video Các bước mà học viên trình bày luận văn mơ tả chi tiết sơ đồ đây: Đầu vào hệ thống 62 file video từ nhiều nguồn khác Các video phân đoạn thành đoạn sở, sau đoạn trích chọn số khung hình đại diện (key- frame) Các khung hình đại diện trích chọn đặc trưng lưu vào sở liệu 63 Video Files Phân đoạn video Trích đoạn key frame Trích chọn đặc trưng Đánh mục CSDL Keyframe đoạn Keyframe Browser Tìm kiếm ảnh Trích chọn đặc trưng So sánh Kết quả: Các đoạn video Hình 3.1 Sơ đồ hệ thống tìm kiếm 3.3.2 Mơi trường công cụ thử nghiệm Nhằm kiểm chứng kỹ thuật đề xuất chương 2, tiến hành cài đặt chương trình demo thao tác tách lia video Chương trình 63 viết C++, mơi trường Windows 7, PC, Visual studio 2015 OpenCV Chương trình mơ viết sau: - Lựa chọn chức Local Windows Debuger , Save foder chọn video, Threshold (ngưỡng so sánh) - Quan sát trình phát chuyển cảnh - Lưu kết file Chính số lượng khung hình tách Dưới giao diện chương trình: Hình 3.2 Giao diện chương trình 64 Hình 3.3 Giao diện chọn file Hình 3.4 Giao diện tách lia video dựa kỹ thuật phát chuyển cảnh 65 Hình 3.4 Giao diện kết tách ảnh 3.5 Đánh giá kết thực nghiệm Trong trình thực nghiệm chương trình học viên thấy có số vấn đề sau: Khi cho tách vói Shot tĩnh số chuyển cảnh khơng có Thường shot tĩnh có thời gian ngắn, nên sau tách kết phát đính khơng bỏ sót, khơng phát nhầm Khi cho tách với shot động : 50 video chạy chương trình thực nghiệm Đối với số video quay phong cảnh động vật, quy trình để có cốc cafe Sau tách số lượng khung hình tương đối lớn Số chuyển cảnh 5-8 cảnh thuật tốn cửa sổ trượt phát nhầm cao, phát nhầm chuyển cảnh hai khung hình giống Tỷ lệ phát nhầm thuật toán “cửa sổ trượt” cao (precision thấp) số trường hợp 66 cửa sổ trượt đoạn video PFC dao động quanh giá trị HWS/2 Khi cửa sổ bắt đầu trượt vào đoạn PFC tăng dần frame đoạn trở thành fc PFC giảm đột ngột, tiếp tục PFC tăng dần dao động quanh HWS/2 Để phát chuyển cảnh đột ngột sử dụng hai ngưỡng để quyêt định Ngưỡng (upper bound - UB) ngưỡng (lower bound- LB), chuyển cảnh đột ngột phát PFC nhỏ LB PFC trước lớn UB Việc sử dụng hai ngưỡng với mục đích giảm trường hợp phát nhầm sử dụng ngưỡng 67 PHẦN KẾT LUẬN Video ngày ứng dụng rộng rãi nhiều lĩnh vực đời sống khoa học - xã hội Các tài liệu video kỹ thuật số ngày chiếm số lượng lớn liệu đa phương tiện có sẵn Để quản lý hiệu tài liệu video này, chúng cần phải lập mục Các phương pháp lập mục cổ điển dựa văn không đủ để cung cấp mô tả đầy đủ, đó, hình thức lập mục cần thiết cho chuỗi video Trong tách lia video bước cần thiết hệ thống quản lý hiệu liệu video Hơn nữa, việc tách video kỹ thuật số thành đơn vị nhỏ quan trọng lĩnh vực khác nén MPEG Qua thời gian thực đề tài, học viên nghiên cứu hoàn thành mục đích nội dung nghiên cứu đề ra, cụ thể với nội dung sau: Trình bày, mơ tả mơ hình tổng qt tìm kiếm,nêu khái niệm mơ hình liệu video, khái qt CSDL đa phương tiện chương 1.Trong chương học viện trình bày rõ bước mơ hình tìm kiếm làm rõ tên luận văn “Tìm kiếm video theo nội dung” tìm nội dung băng video có ảnh tương tự với ảnh đầu vào khơng, tương tự đưa video dod Trình bày kỹ thuật tách lia video từ đưa nhận xét ,đánh giá so sánh Phần học viên trình bày chương Trong chương học viên nêu kỹ thuật tách Lia, chọn kỹ thuật kỹ thuật tách lia sở cửa sổ trượt Sau tách Lia , học viện nêu kỹ thuật tìm Frame đại diện, kỹ thuật đối sánh frame đại diện ảnh đầu vào Xây dựng chương trình thử nghiệm Đã thực nghiệm 10 video tĩnh 50 video có nhiều chuyển cảnh 68 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đặng Văn Đức, Cơ sở liệu đa phương tiện, Bài giảng cho học viên sau đại học, 2005-2017 Tiếng Anh [2] Dipika H Patel, Content based Video Retrieval: A Survey, International Journal of Computer Applications, 2015 [3] Guojun Lu, Multimedia Database Management Systems, Artech House, Boston - London, 2009 [4] Jordi Mas and Gabriel Fernadez, Video Sort Boundary Detection Based on Color Histogram, La Salle Schol of Engineering, Barcelone, Spain, 2012 [5] Patel B.V and B B Meshram, Content based Video Retrieval System, International Journal of UbiComp (IJU), 2012 [6] Swati D Bendale andBijal.J.Talati, Analysis of Popular Video Shot Boundary Detection Techniques in Uncompressed Domain, International Journal of Computer Applications, 2012 [7] Yi-Chun Liao, Chun-Hong Huang( 2009), Automatic Video Segmentation and Story-Based Authoring in E-Learning Journal of software, vol 4, no 2, April 2009 [8] Grainne Gormley(1999), Scene Break Detectionand Classification of Digital Video Sequences Usingthe Method of Edge Detection School of ComputerApplication, Dublin city University 69 [9] Mr Padalkar milind Gajanan (2010) , HISTOGRAM BASED EFFICIENT VIDEO SHOT DETECTION ALGORITHMS [10] S.M.M Tahaghoghi ,James A Thom, Hugh E Williams, Shot boundary detection using the moving query window, School of Computer Science and Information Technology, RMIT University, GPO Box 2476V,Melbourne, Australia, 3001 [11] Gianluigi Ciocca, Raimondo Schettini.(2004), Dynaic Keyframe Extraction for Video Summarization, Proceedings of the SPIE, Volume 5670,pp.137-142 [12] Tonomura Y.,Akutsu A., Otsugi K., and Sadakata T (1993), VideoMap and VideoSpaceIcon: Tools for automatizing video content Poc ACM INTERCHI’93 Conference, 131-141 [13] Pentland A., Picard R., Davenport G and Haase K (1994), Video and Image Semantics: Advanced Tools for Telecommunications IEEE MultiMedia;1(2):73-75 [14] Rui Y., Huang T S and Mehrotra S (1998), Exploring Video Structure Beyond the Shot Proc.IEEE Int Conf on Multimedia Computing and Systems(ICMCS), Texac USA, 237-240 [15] Zhongghua Sun, Fu Ping (2004), Combination of Color and Object Outline Based Method in Video Segmentation Proc SPIE Storage and Retrieval Methods and Application for Multimedia; 5307:61-69 [16] Li Zhao, Wei Qi, Stan Z Li, S.Q.Yang H.J.Zang.(2000) Keyframe Extraction and Shot Retrieval Using Nearest Feature Line (NFL) Proc ACM Int Workshops on Multimedia Information Retrieval; 217-220 70 [17] Hanjalic A.,Lagendijk R.L., Biemond J (1998), A new Method for Key Frame Based Video Content Representaion In: Image Databases and Multimedia Search, World Scientific Singapore [18] Hoon S H., Yoon K., and Kweon I.(2000), A new Technique for Shot Detection and Key Frame Selection in Histogram Space Proc.12th Workshop on Understanding; 475-479 Image Processing anh Image [19] Narasimha R., Savakis A., Rao R M and De Queiroz R (2004), A Neural Network Approach to Key Frame extraction.Proc.of SPIE- IS&T Electronic Imaging Storage and Retrieval Methods and Applications for Multimedia; 5307:439-447 [20] Janko Calic (2004), Highly Efficient Low- level Feature Extraction for Video Representation And Retrieval, PhD thesis, University of London 71 Xác nhận giáo viên hướng dẫn viên Học ... HỆ THỐNG TÌM KIẾM VIDEO Trong chương trình bày hệ thống tìm kiếm video theo nội dung Nêu khái niệm ý nghĩa mơ hình liệu video 1.1 Kiến trúc tổng quan hệ thống tìm kiếm video theo nội dung 1.1.1... nghiên cứu liệu video CSDL video - Tìm hiểu khái niệm video, mơ hình tổng quát hệ thống tìm kiếm video theo nội dung - Nghiên cứu mơ hình liệu video mục CSDL video - Một số kỹ thuật sử dụng xây... tìm kiếm video giới hạn Các kỹ thuật phân đoạn sở, tách biên shot thay đổi dần dần, sai sót tách shot, kỹ thuật tách shot khác phân đoạn video nén - Kỹ thuật tìm lia đại diện cho đoạn video kỹ