Bộ GIáO DụC Và ĐàO TạO TRƯờNG ĐạI HọC BáCH KHOA Hà NộI LUậN VĂN THạC Sĩ KHOA HọC NGHIÊN CứU, XÂY DựNG Hệ THốNG TìM KIếM VIDEO THEO NộI DUNG NGàNH: Xử Lý THÔNG TIN Và TRUYềN THÔNG Đỗ V¡N H¶I Ng−êi h−íng dÉn khoa häc: TS HNH QUỸT TH¾NG HÀ NỘI - 2006 TĨM TẮT LUẬN VĂN Tiếng Việt: Sự phát triển Công nghệ thông tin Truyền thơng làm gia tăng nhanh chóng việc lưu trữ, sử dụng, truyền tải lượng lớn video số Do việc xếp, quản lý, tìm kiếm video ngày trở nên phức tạp nặng nhọc Luận văn với tên gọi “Nghiên cứu, xây dựng hệ thống tìm kiếm video theo nội dung” (Content-Based Video Retrieval) tập trung vào việc tự động hoá đánh mục tìm kiếm video Luận văn gồm ba phần Phần một: Tìm kiếm ảnh theo nội dung Phần nghiên cứu vấn đề đánh mục tìm kiếm ảnh, phần quan trọng hệ thống tìm kiếm video mà NVLV xây dựng Phần hai: Phân đoạn video Phần tập trung vào việc phân đoạn video theo thời gian thành đoạn sở, tập trung vào nghiên cứu giải thuật nhằm tăng cường độ xác phân đoạn Phần ba: Trích chọn khung hình Nghiên cứu giải thuật trích chọn khung hình đại diện cho đoạn video với mục đích làm giảm khối lượng lưu trữ Hệ thống tìm kiếm video mà NVLV xây dựng kết hợp ba thành phần trên, video sau phân đoạn thành đoạn sở trích chọn khung hình đại diện cho đoạn sở Người sử dụng xem tóm tắt đoạn video qua khung hình đại diện tìm kiếm đoạn video thơng qua phương pháp tìm kiếm ảnh khung hình đại diện Từ khố: Tìm kiếm video theo nội dung, tóm tắt video, phân đoạn video, trích chọn khung hình chính, tìm kiếm ảnh theo nội dung ABSTRACT English: Information and communication technology are developing very quickly hence storing, using and transfering digital video are increasing quickly too Therefore video arrangement, management, search become complicated and exhausting This thesis with name “Content-Based Video Retrieval” will concentrate to automate video indexing and searching The thesis contains three main parts Part one: “Content-base image retrieval” This part research problems in indexing and searching images, it is a important part in thesis writer’s video retrieval system Part two: “Video segmentation” This part researchs how to segment video into shots Proposes some algorithms with high accurate Part three: “Key-frame extraction” This part researchs key-frame extraction algorithms in the world and proposes appropriate approachs Thesis writer’s video retrieval system is combined from these three parts Video is segmented in to shots, and each shot is presented by some key-frames Users can browse video by using key-frames or using image retrieval mechanism to search video Keywords: Content-Based Video Retrieval, video summarization, shot segmentation, key frames extraction, Content-Based Image Retrieval Bộ GIáO DụC Và ĐàO TạO TRƯờNG ĐạI HọC BáCH KHOA Hà NộI LUậN VĂN THạC Sĩ KHOA HọC NGHIÊN CứU, XÂY DựNG Hệ THốNG TìM KIếM VIDEO THEO NộI DUNG NGàNH: Xử Lý THÔNG TIN Và TRUYềN THÔNG Đỗ VĂN HảI Ngời hớng dẫn khoa học: TS HNH QUỸT TH¾NG HÀ NỘI - 2006 LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc tới TS Huỳnh Quyết Thắng người thày kính mến hướng dẫn, dạy tận tình để em hồn thành luận văn Em xin chân thành cảm ơn thày, cô giáo khoa Công nghệ Thông tin, Trung tâm Bồi dưỡng Đào tạo Sau đại học, Trường Đại học Bách khoa Hà nội đón nhận truyền thụ kiến thức cho em suốt trình học tập vừa qua Tôi xin cảm ơn quan, bạn bè đồng nghiệp, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi hồn thành nhiệm vụ học tập luận văn Hà nội, ngày 22 tháng 11 năm 2006 Học viên Đỗ Văn Hải i MỞ ĐẦU Khoảng thập kỷ gần đây, với phát triển nhanh chóng cơng nghệ thông tin truyền thông, nghiên cứu công nghệ liên quan đến video đạt thành tựu định Hiện với phương tiện truyền thông cho phép kết nối Internet với tốc độ cao như: kênh thuê riêng, xDSL, người sử dụng xem video trực tuyến Internet với chất lượng cao Cùng với đó, video số ngày trở nên thông dụng sống truyền thông, giáo dục đào tạo, giải trí, xuất bản, tạo nên lượng liệu khổng lồ video Dữ liệu nhiều, phong phú đa dạng người khó khăn việc quản lý, tìm kiếm Một học giả nước ngồi nói “Chúng ta chìm ngập liệu mà đói tri thức” Do vậy, yêu cầu thiết đặt ra: quản lý, tìm kiếm tự động đối tượng video cách nhanh chóng tiện lợi? Luận văn giải phần cho câu hỏi Luận văn tập trung vào tìm hiểu đặc trưng video, đưa số phương pháp trích rút đặc trưng video phục vụ cho việc tìm kiếm Việc tìm kiếm video có nhiều cấp độ, nhiên luận văn tập trung nghiên cứu đưa số giải pháp phục vụ cho việc tìm kiếm video mức thấp ii Mục lục MỤC LỤC LỜI CẢM ƠN I MỞ ĐẦU .II MỤC LỤC III DANH SÁCH HÌNH VẼ VIII DANH SÁCH BẢNG BIỂU XI DANH MỤC CÁC TỪ VIẾT TẮT XII CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM VIDEO THEO NỘI DUNG 1.1 Đặt vấn đề 1.2 Giới thiệu sơ lược CBVR 1.3 Các nghiên cứu giới CBVR 1.4 Hướng nghiên cứu nội dung luận văn Kết luận chương CHƯƠNG PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TỐN TÌM KIẾM VIDEO THEO NỘI DUNG 2.1 Đặt vấn đề 2.2 Tổng quan tìm kiếm ảnh theo nội dung 2.2.1 Giới thiệu iii Mục lục 2.2.2 Cơ chế tính toán chung CBIR 2.2.3 Một số đặc trưng ảnh 10 2.3 Đặc tính màu sắc ảnh 11 2.3.1 Không gian màu 12 2.3.2 Biểu đồ màu (Color Histogram) 17 2.3.3 Biểu đồ tương quan màu (Color Correlogram) 19 2.4 Đặc trưng Entropy ảnh 20 2.4.1 Đặt vấn đề 20 2.4.2 Lý thuyết thông tin hàm Entropy 21 2.4.3 Entropy ảnh đặc trưng 22 2.5 Phép đo khoảng cách 23 2.5.1 Đặt vấn đề 23 2.5.2 Một số tính chất độ đo 23 2.5.3 Một số độ đo thông dụng 24 2.5.4 Các độ đo sử dụng tìm kiếm ảnh theo nội dung 25 2.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng hệ thống tìm kiếm video 27 2.6.1 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu RGB 28 2.6.2 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu CIELAB 30 2.6.3 Tìm kiếm ảnh sử dụng phương pháp Entropy 32 2.6.4 Tìm kiếm ảnh kết hợp hai phương pháp Entropy so sánh biểu đồ màu 37 2.7 Thử nghiệm, so sánh, đánh giá phương pháp tìm kiếm ảnh 39 2.7.1 Đánh giá hệ thống tìm kiếm ảnh 40 iv Mục lục 2.7.2 Cơ sở liệu ảnh thử nghiệm 41 2.7.3 So sánh, đánh giá tốc độ tìm kiếm 42 2.7.4 So sánh, đánh giá độ xác 42 2.7.5 Nhận xét 46 Kết luận chương 46 CHƯƠNG PHÂN ĐOẠN VIDEO 47 3.1 Giới thiệu sơ lược phân đoạn video 47 3.1.1 Một số khái niệm 47 3.1.2 Một số hình thức chuyển cảnh 48 3.1.3 Các hướng tiếp cận phân đoạn video 50 3.2 Một số phương pháp phân đoạn video 50 3.2.1 So sánh điểm ảnh 51 3.2.2 So sánh khối 52 3.2.3 So sánh biểu đồ màu 53 3.2.4 Một số phương pháp khác 55 3.3 Đề xuất phương pháp phân đoạn video chuyển cảnh đột ngột 55 3.3.1 Thuật toán phát chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 56 3.3.2 Phát chuyển cảnh đột ngột sử dụng cửa sổ trượt 56 3.3.3 Thuật toán cải tiến đề xuất 60 3.4 Xây dựng đánh giá hệ thống 61 3.4.1 Các tham số đánh giá 61 3.4.2 Sơ đồ hệ thống cải tiến 62 3.4.3 Các tham số thuật toán 62 3.4.4 Kết thử nghiệm 64 v Mục lục 3.4.5 Nhận xét 66 Kết luận chương 67 CHƯƠNG TRÍCH CHỌN KHUNG HÌNH CHÍNH TRONG VIDEO.68 4.1 Đặt vấn đề 68 4.2 Một số kỹ thuật trích chọn khung hình 69 4.3 Trích chọn khung hình việc khảo sát đường sai khác tích luỹ 71 4.3.1 Đặt vấn đề 71 4.3.2 Xây dựng sai khác tích luỹ 71 4.3.3 Thuật tốn trích chọn khung hình 72 4.4 Xây dựng phần mềm trích chọn khung hình 76 Kết luận chương 79 CHƯƠNG XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO THEO NỘI DUNG DỰA TRÊN PHƯƠNG PHÁP TÌM KIẾM ẢNH TRONG CÁC KHUNG HÌNH CHÍNH .80 5.1 Lựa chọn phương pháp xây dựng 80 5.2 Các mô-đun hệ thống 80 5.2.1 Mô-đun phân đoạn video 81 5.2.2 Mơ-đun trích chọn khung hình 82 5.2.3 Mơ-đun tìm kiếm ảnh theo nội dung 83 5.2.4 Mô-đun sở liệu 83 5.3 Giao diện hệ thống 85 vi ... ? ?Nghiên cứu, xây dựng hệ thống tìm kiếm video theo nội dung? ?? (Content-Based Video Retrieval) tập trung vào việc tự động hố đánh mục tìm kiếm video Luận văn gồm ba phần Phần một: Tìm kiếm ảnh theo. .. diện tìm kiếm đoạn video thơng qua phương pháp tìm kiếm ảnh khung hình đại diện Từ khố: Tìm kiếm video theo nội dung, tóm tắt video, phân đoạn video, trích chọn khung hình chính, tìm kiếm ảnh theo. .. CHƯƠNG PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TỐN TÌM KIẾM VIDEO THEO NỘI DUNG 2.1 Đặt vấn đề 2.2 Tổng quan tìm kiếm ảnh theo nội dung 2.2.1 Giới thiệu