Nghiên cứu xây dựng hệ thống tìm kiếm video theo nội dung

Bộ GIáO DụC Và ĐàO TạO TRƯờNG ĐạI HọC BáCH KHOA Hà NộI LUậN VĂN THạC Sĩ KHOA HọC NGHIÊN CứU, XÂY DựNG Hệ THốNG TìM KIếM VIDEO THEO NộI DUNG NGàNH: Xử Lý THÔNG TIN Và TRUYềN THÔNG Đỗ VĂN HảI Ngời hớng dẫn khoa học: TS HNH QUỸT TH¾NG HÀ NỘI - 2006 LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc tới TS Huỳnh Quyết Thắng người thày kính mến hướng dẫn, dạy tận tình để em hồn thành luận văn Em xin chân thành cảm ơn thày, cô giáo khoa Công nghệ Thông tin, Trung tâm Bồi dưỡng Đào tạo Sau đại học, Trường Đại học Bách khoa Hà nội đón nhận truyền thụ kiến thức cho em suốt trình học tập vừa qua Tôi xin cảm ơn quan, bạn bè đồng nghiệp, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi hồn thành nhiệm vụ học tập luận văn Hà nội, ngày 22 tháng 11 năm 2006 Học viên Đỗ Văn Hải i MỞ ĐẦU Khoảng thập kỷ gần đây, với phát triển nhanh chóng cơng nghệ thơng tin truyền thông, nghiên cứu công nghệ liên quan đến video đạt thành tựu định Hiện với phương tiện truyền thông cho phép kết nối Internet với tốc độ cao như: kênh thuê riêng, xDSL, người sử dụng xem video trực tuyến Internet với chất lượng cao Cùng với đó, video số ngày trở nên thông dụng sống truyền thông, giáo dục đào tạo, giải trí, xuất bản, tạo nên lượng liệu khổng lồ video Dữ liệu nhiều, phong phú đa dạng người khó khăn việc quản lý, tìm kiếm Một học giả nước ngồi nói “Chúng ta chìm ngập liệu mà đói tri thức” Do vậy, yêu cầu thiết đặt ra: quản lý, tìm kiếm tự động đối tượng video cách nhanh chóng tiện lợi? Luận văn giải phần cho câu hỏi Luận văn tập trung vào tìm hiểu đặc trưng video, đưa số phương pháp trích rút đặc trưng video phục vụ cho việc tìm kiếm Việc tìm kiếm video có nhiều cấp độ, nhiên luận văn tập trung nghiên cứu đưa số giải pháp phục vụ cho việc tìm kiếm video mức thấp ii Mục lục MỤC LỤC LỜI CẢM ƠN I MỞ ĐẦU .II MỤC LỤC III DANH SÁCH HÌNH VẼ VIII DANH SÁCH BẢNG BIỂU XI DANH MỤC CÁC TỪ VIẾT TẮT XII CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM VIDEO THEO NỘI DUNG 1.1 Đặt vấn đề 1.2 Giới thiệu sơ lược CBVR 1.3 Các nghiên cứu giới CBVR 1.4 Hướng nghiên cứu nội dung luận văn Kết luận chương CHƯƠNG PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TỐN TÌM KIẾM VIDEO THEO NỘI DUNG 2.1 Đặt vấn đề 2.2 Tổng quan tìm kiếm ảnh theo nội dung 2.2.1 Giới thiệu iii Mục lục 2.2.2 Cơ chế tính tốn chung CBIR 2.2.3 Một số đặc trưng ảnh 10 2.3 Đặc tính màu sắc ảnh 11 2.3.1 Không gian màu 12 2.3.2 Biểu đồ màu (Color Histogram) 17 2.3.3 Biểu đồ tương quan màu (Color Correlogram) 19 2.4 Đặc trưng Entropy ảnh 20 2.4.1 Đặt vấn đề 20 2.4.2 Lý thuyết thông tin hàm Entropy 21 2.4.3 Entropy ảnh đặc trưng 22 2.5 Phép đo khoảng cách 23 2.5.1 Đặt vấn đề 23 2.5.2 Một số tính chất độ đo 23 2.5.3 Một số độ đo thông dụng 24 2.5.4 Các độ đo sử dụng tìm kiếm ảnh theo nội dung 25 2.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng hệ thống tìm kiếm video 27 2.6.1 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu RGB 28 2.6.2 Tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu CIELAB 30 2.6.3 Tìm kiếm ảnh sử dụng phương pháp Entropy 32 2.6.4 Tìm kiếm ảnh kết hợp hai phương pháp Entropy so sánh biểu đồ màu 37 2.7 Thử nghiệm, so sánh, đánh giá phương pháp tìm kiếm ảnh 39 2.7.1 Đánh giá hệ thống tìm kiếm ảnh 40 iv Mục lục 2.7.2 Cơ sở liệu ảnh thử nghiệm 41 2.7.3 So sánh, đánh giá tốc độ tìm kiếm 42 2.7.4 So sánh, đánh giá độ xác 42 2.7.5 Nhận xét 46 Kết luận chương 46 CHƯƠNG PHÂN ĐOẠN VIDEO 47 3.1 Giới thiệu sơ lược phân đoạn video 47 3.1.1 Một số khái niệm 47 3.1.2 Một số hình thức chuyển cảnh 48 3.1.3 Các hướng tiếp cận phân đoạn video 50 3.2 Một số phương pháp phân đoạn video 50 3.2.1 So sánh điểm ảnh 51 3.2.2 So sánh khối 52 3.2.3 So sánh biểu đồ màu 53 3.2.4 Một số phương pháp khác 55 3.3 Đề xuất phương pháp phân đoạn video chuyển cảnh đột ngột 55 3.3.1 Thuật toán phát chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 56 3.3.2 Phát chuyển cảnh đột ngột sử dụng cửa sổ trượt 56 3.3.3 Thuật toán cải tiến đề xuất 60 3.4 Xây dựng đánh giá hệ thống 61 3.4.1 Các tham số đánh giá 61 3.4.2 Sơ đồ hệ thống cải tiến 62 3.4.3 Các tham số thuật toán 62 3.4.4 Kết thử nghiệm 64 v Mục lục 3.4.5 Nhận xét 66 Kết luận chương 67 CHƯƠNG TRÍCH CHỌN KHUNG HÌNH CHÍNH TRONG VIDEO.68 4.1 Đặt vấn đề 68 4.2 Một số kỹ thuật trích chọn khung hình 69 4.3 Trích chọn khung hình việc khảo sát đường sai khác tích luỹ 71 4.3.1 Đặt vấn đề 71 4.3.2 Xây dựng sai khác tích luỹ 71 4.3.3 Thuật tốn trích chọn khung hình 72 4.4 Xây dựng phần mềm trích chọn khung hình 76 Kết luận chương 79 CHƯƠNG XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO THEO NỘI DUNG DỰA TRÊN PHƯƠNG PHÁP TÌM KIẾM ẢNH TRONG CÁC KHUNG HÌNH CHÍNH .80 5.1 Lựa chọn phương pháp xây dựng 80 5.2 Các mô-đun hệ thống 80 5.2.1 Mô-đun phân đoạn video 81 5.2.2 Mơ-đun trích chọn khung hình 82 5.2.3 Mơ-đun tìm kiếm ảnh theo nội dung 83 5.2.4 Mô-đun sở liệu 83 5.3 Giao diện hệ thống 85 vi Mục lục Kết luận chương 86 KẾT LUẬN 88 TÀI LIỆU THAM KHẢO 91 PHỤ LỤC 96 TÓM TẮT LUẬN VĂN .97 vii Danh sách hình vẽ DANH SÁCH HÌNH VẼ Hình 1.1 Sơ đồ hệ thống tìm kiếm video nghiên cứu luận văn Hình 2.1 Cơ chế hoạt động hệ thống CBIR 10 Hình 2.2 Không gian màu RGB 13 Hình 2.3 Khơng gian màu CMY 14 Hình 2.4 Một số cách biểu diễn không gian màu HSV 15 Hình 2.5 Khơng gian màu CIELAB 16 Hình 2.6 Mô tả biểu đồ màu 18 Hình 2.7 Những ảnh khác có biểu đồ màu giống 19 Hình 2.8 Hàm Entropy khơng gian hai chiều 21 Hình 2.9 Mơ tả số hàm khoảng cách thuộc họ Ls 24 Hình 2.10 Tính so sánh ảnh biểu đồ màu cục 27 Hình 2.11 Biểu đồ màu Red, Green, Blue độc lập 28 Hình 2.12 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu RGB 29 Hình 2.13 Kết tìm kiếm ảnh dựa không gian màu RGB (ảnh truy vấn bên phải) 30 Hình 2.14 Biểu đồ màu khơng gian màu CIELAB 31 Hình 2.15 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu không gian màu CIELAB 31 Hình 2.16 Kết tìm kiếm ảnh dựa khơng gian màu CIELAB (ảnh truy vấn bên phải) 32 Hình 2.17 Giá trị Entropy ứng với biểu đồ màu R, G, B 33 Hình 2.18 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp so sánh Entropy 33 Hình 2.19 Kết tìm kiếm ảnh dựa phương pháp Entropy (ảnh truy vấn bên phải) 34 viii Danh sách hình vẽ Hình 2.20 Hai ảnh có biểu đồ màu khác lại có Entropy giống 34 Hình 2.21 Kết tìm kiếm ảnh dựa phương pháp Entropy kết hợp với giá trị trung bình (ảnh truy vấn bên phải) 36 Hình 2.22 Kết hợp giải thuật tìm kiếm ảnh sử dụng đặc trưng Entropygiá trị trung bình giải thuật so sánh biểu đồ màu 37 Hình 2.23 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng thuật tốn kết hợp “Entropy-giá trị trung bình” “So sánh biểu đồ màu” 38 Hình 2.24 Kết tìm kiếm ảnh dựa phương pháp Entropy-giá trị trung bình kết hợp với phương pháp so sánh biểu đồ màu (ảnh truy vấn bên phải) 39 Hình 2.25 Biểu đồ precision-recall 41 Hình 2.26 Giá trị precision phương pháp số lượng ảnh lấy khác 44 Hình 2.27 Giá trị precision loại ảnh khác lấy 50 ảnh 45 Hình 3.1 Khái niệm khung hình 47 Hình 3.2 Khái niệm đoạn sở chuyển cảnh 48 Hình 3.3 Chuyển cảnh fade 49 Hình 3.4 Chuyển cảnh dissolve 49 Hình 3.5 Chuyển cảnh wipe 50 Hình 3.6 Phát chuyển cảnh ngưỡng đơn giản 56 Hình 3.7 Cửa sổ truy vấn trượt với HWS=5 57 Hình 3.8 Cửa sổ truy vấn trượt với HWS=10 58 Hình 3.9 Biểu đồ biến đổi PFC 200 khung hình 59 Hình 3.10 Ví dụ trường hợp thuật tốn cửa sổ trượt nhận dạng nhầm phân đoạn video 60 Hình 3.11 Hệ thống phát chuyển cảnh đột ngột dựa vào thuật toán cửa sổ trượt kết hợp với ngưỡng so sánh 62 ix Chương Xây dựng hệ thống tìm kiếm video theo nội dung Bảng SHOT chứa thông tin đoạn sở Tên trường Kiểu Ý nghĩa ID Số ngun Khố VideoID Số ngun ID video chứa đoạn (khố ngoại) Begin_Frame Số ngun Khung hình bắt đầu đoạn End_Frame Số nguyên Khung hình kết thúc đoạn Bảng KEYFRAME chứa thông tin khung hình Tên trường Kiểu Ý nghĩa ID Số ngun Khố ShotID Số ngun ID đoạn sở chứa khung hình (khố ngoại) Frame_Position Số ngun Vị trí khung hình video Filename Để thuận tiện cho việc truy xuất khung Chuỗi hình chính, khung hình sau chọn lưu vào máy dạng ảnh Entropy_Value Số thực Giá trị Entropy ảnh Mean_Value Số thực Giá trị trung bình biểu đồ màu Bảng HISTOGRAM chứa thơng tin đặc trưng khung hình (Ở sử dụng đặc trưng biểu đồ màu không gian màu CIELAB) Tên trường Kiểu Ý nghĩa ID Số ngun Khố KeyframeID Số ngun ID khung hình (khố ngoại) Bin Số ngun Bin màu (chỉ số màu) LAB_Value Số thực Giá trị biểu đồ ứng với bin màu 84 Chương Xây dựng hệ thống tìm kiếm video theo nội dung Về mối quan hệ bảng ảnh, từ nhận xét: Có nhiều file video, video có nhiều đoạn sở (shot), đoạn cở sở có nhiều khung hình (keyframe), khung hình có nhiều đặc trưng Do ta có mối quan hệ bảng sau: Hình 5.2 Mối quan hệ bảng sở liệu 5.3 Giao diện hệ thống Các giao diện để phục vụ cho việc xây dựng sở liệu giao diện phân đoạn video, giao diện trích chọn khung hình trình bày chương chương Phần giới thiệu giao diện dành cho người sử dụng truy vấn, tìm kiếm video mà NVLV xây dựng 85 Chương Xây dựng hệ thống tìm kiếm video theo nội dung Liệt kê khung hình Danh sách video đoạn CSDL Chi tiết đoạn (shot) video Lựa chọn ảnh truy vấn Cửa sổ kết phóng to Mở đoạn video tìm Hình 5.3 Giao diện cửa sổ tìm kiếm video Kết luận chương Từ lý thuyết thử nghiệm chương trước, chương NVLV lựa chọn tổng hợp thành hệ thống tìm kiếm video hồn chỉnh Việc xây dựng hệ thống dựa vào ý tưởng sử dụng phương pháp tìm kiếm ảnh theo nội dung để tìm kiếm video Tuy nhiên, khơng phải tìm kiếm tồn khung hình mà tìm kiếm phạm vi khung hình (do khung hình gần thường có độ tương quan cao với nhau) Do đó, hệ thống kết hợp thành phần: tìm kiếm ảnh theo nội dung, phân đoạn video, trích chọn khung hình 86 Chương Xây dựng hệ thống tìm kiếm video theo nội dung Việc xây dựng phần mềm hoàn chỉnh cho phép người sử dụng xem nhanh (browsing) khung hình video hiểu nhanh nội dung video Hoặc người sử dụng dùng ảnh để tìm kiếm (searching) sở liệu lớn 87 Kết luận KẾT LUẬN Kết luận Việc tự động hố đánh mục tìm kiếm video theo nội dung lĩnh vực khó đồ sộ Đến thời điểm giới chưa có hệ thống coi công cụ vạn để đánh mục tìm kiếm video tự động mức cao (ngữ nghĩa), hướng tiếp cận dừng lại lĩnh vực hẹp tìm kiếm mức thấp Trong luận văn người viết phân tích đánh giá số phương pháp giới đưa hướng tiếp cận phù hợp Đó sử phương pháp tìm kiếm ảnh theo nội dung để tìm kiếm khung hình đạt kết định Các vấn đề mà luận văn làm được: Nghiên cứu hệ thống tìm kiếm video theo nội dung giới Đưa mơ hình tìm kiếm video dựa chế tìm kiếm ảnh Nghiên cứu, phát triển số phương pháp tìm kiếm ảnh theo nội dung ứng dụng tìm kiếm video Nghiên cứu đưa giải thuật cải tiến phân đoạn video với độ xác cao Nghiên cứu kỹ thuật trích chọn khung hình video Cài đặt hệ thống chứng minh tính đắn giải thuật Đóng góp khoa học luận văn Đưa mơ hình tìm kiếm video dựa chế tìm kiếm ảnh Video phân đoạn thành đoạn sở, đoạn sở đại diện số khung hình Người sử dụng tìm kiếm video thơng qua việc tìm kiếm khung hình dựa vào chế tìm kiếm ảnh 88 Kết luận Đưa giải thuật tìm kiếm ảnh kết hợp tìm kiếm ảnh sử dụng đặc trưng Entropy-giá trị trung bình giải thuật so sánh biểu đồ màu tăng nhanh tốc độ tìm kiếm Entropy đặc trưng ảnh có số chiều 1, tìm kiếm ảnh dựa Entropy có tốc độ tìm kiếm cao Tuy nhiên, đơi phương pháp lại khơng xác NVLV đưa giải pháp kết hợp đặc trưng Entropy giá trị trung bình nhằm tăng độ xác mà khơng giảm tốc độ tìm kiếm Phương pháp Entropy-giá trị trung bình thực trước để thu hẹp khơng gian tìm kiếm sau dùng phương pháp so sánh biểu đồ màu để đưa kết tìm kiếm cuối đến người sử dụng Đưa giải thuật phân đoạn video kết hợp phương pháp cửa sổ trượt ngưỡng so sánh để tăng độ xác phân đoạn Phương pháp cửa sổ trượt xác định chuyển cảnh đột ngột dựa khác tương đối khung hình cửa sổ truy vấn Tuy nhiên, có trường hợp phương pháp đưa kết sai ví dụ trường hợp video có đối tượng nhỏ chuyển động nhanh NVLV đề xuất thuật tốn cải tiến: ngồi việc so sánh tương đối khung hình cịn cần xét đến sai khác tuyệt đối nhằm tăng độ xác phân đoạn Hướng phát triển đề tài Như trình bày, hệ thống tìm kiếm video xây dựng Luận văn kết hợp thành phần: tìm kiếm ảnh, phân đoạn video, trích chọn khung hình Do để nâng cao chất lượng hệ thống cần cải thiện thành phần: Tìm kiếm ảnh: Nghiên cứu sử dụng đặc trưng khác ảnh như: kết cấu, hình dạng, Tiếp cận theo hướng tìm kiếm theo thơng tin ngữ nghĩa có ảnh 89 Kết luận Phân đoạn video: • Tăng cường độ xác phân đoạn • Phân đoạn nhiều loại chuyển cảnh khác • Tăng cường tốc độ phân đoạn: cải tiến giải thuật, sử dụng trực tiếp video nén Trích chọn khung hình chính: Cải tiến giải thuật theo hướng trích chọn khung hình tiêu biểu nhất, đặc biệt tiêu biểu mặt ngữ nghĩa Tóm lại hướng nghiên cứu tương lai tập trung vào hướng đưa thông tin mặt ngữ nghĩa (đối tượng, kiện) vào việc đánh mục tìm kiếm video 90 Tài liệu tham khảo TÀI LIỆU THAM KHẢO [1] Milan Petkovic (2000), Content-based Video Retrieval, (EDBT) PhD Workshop [2] Hauptmann, A., Jin, R., N Papernick, D Ng, Y Qi, Houghton, RThornton, S (2001), Video Retrieval with the Informedia Digital Video Library System, Proceedings of the Tenth Text Retrieval Conference (TREC-2001) [3] Abraham Ittycheriah, Martin Franz, Wei-Jing Zhu, and Adwait Ratnaparkhi (2000), IBM's statistical question answering system In 9th Text REtrieval Conference, Gaithersburg [4] Mayfield, J., McNamee, P., Costello, C., Piatko, C., and Banerjee A (2001), JHU/APL at TREC 2001: Experiments in Filtering and in Arabic, Video and Web retrieval In TREC 2001 Proceedings [5] Kareem Darwish and David S Doermann and Ryan C Jones and Douglas W Oard and Mika Rautiainen (2001), {TREC}-10 Experiments at University of Maryland {CLIR} and Video [6] Mark E Rorvig, Ki-Tau Jeong, Anup Pachlag, Ramprasad Anusuri, Diane Jenkins, Sara Oyarce (2001), UNT TRECvid: A Brighton Image Searcher Application [7] D Tegolo (1994), Shape analysis for image retrieval, Proc of SPIE, Storage and Retrieval for Image and Video Databases -II, no 2185, San Jose, CA, pp 59-69 [8] T Chang, and C.C.J Kuo (1993), Texture analysis and classification with tree-structured wavelet transform, IEEE Trans on Image Processing, vol 2, no 4, pp 429-441 91 Tài liệu tham khảo [9] I.Koprinska and S.Carrato (2001), Temporal Video Segmentation: A Survey, Signal Processing Image Communication, Elsevier Science [10] T Kikukawa, S Kawafuchi (1992), Development of an automatic summary editing system for the audio-visual resources, Transactions on Electronics and Information J75-A, 204-212, 1992 [11] A Nagasaka, Y Tanaka (1995), Automatic video indexing and full-video search for object appearances, in Visual Database Systems II (E Knuth and L.M Wegner, eds.), pp 113-127, Elsevier [12] R Kasturi, R Jain (1991), Dynamic vision, in Computer Vision: Principles, R Kasturi and R Jain, eds.), pp 469-480, IEEE Computer Society Press, Washington DC [13] M J Swain (1993), Interactive indexing into image databases, in: Proc SPIE Conf Storage and Retrieval in Image and Video Databases, pp.173-187 [14] Gianluigi Ciocca, Raimondo Schettini (2004), Dynamic Key-frame Extraction for Video Summarization, Proceedings of the SPIE, Volume 5670, pp 137-142 [15] S.M.M Tahaghoghi et al (2005), Video Cut Detection using Frame Windows, Proceedings of the Twenty-eighth Australasian conference on Computer Science, pp 193 – 199 [16] Janko Calic (2004), Highly Efficient Low-level Feature Extraction for Video Representation And Retrieval, PhD thesis, University of London [17] John M Zachary (2000), An Information Theoretic Approach to Content Based Image Retrieval, PhD thesis, Louisiana State University 92 Tài liệu tham khảo [18] Shengjiu Wang (2001), A Robust CBIR Approach Using Local Color Histograms, Technical Report TR 01-13, Department Of Computing Science, University of Alberta, Edmonton, Alberta, Canada [19] Edgar Chávez, Gonzalo Navarro, Ricardo Baeza-Yates, José Luis Marroquín (2001), Searching in Metric Spaces, ACM Computing Surveys, Vol 33, No 3, pp 273–321 [20] F Long, H Zhang & D Feng (2003), Chapter - Fundamental of Content-Based Image Retrieval, pp.1-26, in “Multimedia Information Retrieval and Management – Technological Fundamentals and Applications”, Edited by David Dagan Feng, W C Siu & Hongjing Zhang, Springer-Verlag, Germany [21] T Deselaers, D Keysers, and H Ney (2004), Classification error rate for quantitative evaluation of content-based image retrieval systems In Int Conf on Pattern Recognition, Cambridge, UK [22] Tonomura Y., Akutsu A., Otsugi K., and Sadakata T (1993), VideoMAP and VideoSpaceIcon: Tools for automatizing video content Proc ACM INTERCHI ’93 Conference, 131-141 [23] Rui Y., Huang T S and Mehrotra S (1998), Exploring Video Structure Beyond the Shots Proc IEEE Int Conf on Multimedia Computing and Systems (ICMCS), Texas USA, 237-240 [24] Pentland A., Picard R., Davenport G and Haase K (1994), Video and Image Semantics: Advanced Tools for Telecommunications IEEE MultiMedia; 1(2):73-75 [25] Zhonghua Sun, Fu Ping (2004), Combination of Color and Object Outline Based Method in Video Segmentation Proc SPIE Storage and Retrieval Methods and Applications for Multimedia; 5307:61-69 93 Tài liệu tham khảo [26] Li Zhao, Wei Qi, Stan Z Li, S.Q.Yang, H.J Zhang (2000), Keyframe Extraction and Shot Retrieval Using Nearest Feature Line (NFL) Proc ACM Int Workshops on Multimedia Information Retrieval; 217-220 [27] Hanjalic A., Lagendijk R L., Biemond J (1998), A new Method for Key Frame Based Video Content Representation In: Image Databases and Multimedia Search, World Scientific Singapore [28] Hoon S H., Yoon K., and Kweon I (2000), A new Technique for Shot Detection and Key Frames Selection in Histogram Space Proc 12th Workshop on Image Processing and Image Understanding; 475479 [29] Narasimha R., Savakis A., Rao R M and De Queiroz R (2004), A Neural Network Approach to Key Frame extraction Proc of SPIEIS&T Electronic Imaging Storage and Retrieval Methods and Applications for Multimedia; 5307:439-447 [30] Chetverikov D and Szabo Zs (1999), A Simple and Efficient Algorithm for Detection of High Curvature Points in Planar Curves, Proc 23rd Workshop of the Austrian Pattern Recognition Group, ;175-184 [31] A Nagasaka, Y Tanaka (1992), Automatic Video Indexing and FullVideo Search for Object Appearances, Visual Database Systems, vol II, pp 113-127 [32] K Otsuji, Y Tonomura, and Y Ohba (1991), Video browsing using brightness data, in Proc SPIE-IST VCIP91, vol 1606, pp 980-989 [33] A.Akutsu, Y.Tonomura, H.Hashimoto and Y.Ohba (1992), Video indexing using motion vectors, Proc SPIE: Visual Communication and Image Processing '92 1818, pp1522-1530 94 Tài liệu tham khảo [34] http://en.wikipedia.org/wiki/Lab_color_space/, không gian màu CIELAB [35] http://wang.ist.psu.edu/docs/related/ , sở liệu hình ảnh [36] TREC Video Retrieval Evaluation, website: http://www- nlpir.nist.gov/projects/trecvid/ 95 Phụ lục PHỤ LỤC Chuyển đổi từ không gian màu RGB sang CIELAB Việc chuyển đổi từ RGB sang CIELAB phải qua không gian màu trung gian XYZ Sự chuyển đổi từ RGB sang XYZ thực ánh xạ tuyến tính sau: ⎡ X ⎤ ⎡0.412453 0.35758 0.180423 ⎤ ⎡ R ⎤ ⎢Y ⎥ = ⎢0.212671 0.71516 0.072169 ⎥ ⎢G ⎥ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎢⎣ Z ⎥⎦ ⎢⎣0.019334 0.11919 0.950227 ⎥⎦ ⎢⎣ B ⎥⎦ Từ XYZ chuyển đổi sang CIELAB ⎛Y L* = 116⎜⎜ ⎝ Yn ⎞3 ⎟⎟ − 16 ⎠ ⎛Y L* = 903.3⎜⎜ ⎝ Yn ⎞ ⎟⎟ ⎠ ⎛ a* = 500⎜⎜ ⎝ ⎛ X f ⎜⎜ ⎝ Xn ⎛ b* = 200⎜⎜ ⎝ ⎛Y f ⎜⎜ ⎝ Yn ⎞ ⎟⎟ − ⎠ ⎞ ⎟⎟ − ⎠ với Y > 0.008856 Yn với Y lại Yn ⎛Y f ⎜⎜ ⎝ Yn ⎞⎞ ⎟⎟ ⎟ ⎟ ⎠⎠ ⎛ Z f ⎜⎜ ⎝ Zn ⎞⎞ ⎟⎟ ⎟ ⎟ ⎠⎠ Trong f (t ) = t với t > 0.008856 f (t ) = 7.787t + 16 116 với t lại (Xn, Yn, Zn) giá trị (X, Y, Z) điểm trắng tham chiếu (reference white point) Trong luận văn sử dụng điểm trắng tham chiếu (R, G, B) = (255, 255, 255) Tính (Xn, Yn, Zn) = (242.366, 255.000, 277.632) 96 Tóm tắt luận văn TĨM TẮT LUẬN VĂN Tiếng Việt: Sự phát triển Công nghệ thông tin Truyền thơng làm gia tăng nhanh chóng việc lưu trữ, sử dụng, truyền tải lượng lớn video số Do việc xếp, quản lý, tìm kiếm video ngày trở nên phức tạp nặng nhọc Luận văn với tên gọi “Nghiên cứu, xây dựng hệ thống tìm kiếm video theo nội dung” (Content-Based Video Retrieval) tập trung vào việc tự động hoá đánh mục tìm kiếm video Luận văn gồm ba phần Phần một: Tìm kiếm ảnh theo nội dung Phần nghiên cứu vấn đề đánh mục tìm kiếm ảnh, phần quan trọng hệ thống tìm kiếm video mà NVLV xây dựng Phần hai: Phân đoạn video Phần tập trung vào việc phân đoạn video theo thời gian thành đoạn sở, tập trung vào nghiên cứu giải thuật nhằm tăng cường độ xác phân đoạn Phần ba: Trích chọn khung hình Nghiên cứu giải thuật trích chọn khung hình đại diện cho đoạn video với mục đích làm giảm khối lượng lưu trữ Hệ thống tìm kiếm video mà NVLV xây dựng kết hợp ba thành phần trên, video sau phân đoạn thành đoạn sở trích chọn khung hình đại diện cho đoạn sở Người sử dụng xem tóm tắt đoạn video qua khung hình đại diện tìm kiếm đoạn video thơng qua phương pháp tìm kiếm ảnh khung hình đại diện Từ khố: Tìm kiếm video theo nội dung, tóm tắt video, phân đoạn video, trích chọn khung hình chính, tìm kiếm ảnh theo nội dung 97 Tóm tắt luận văn English: Information and communication technology are developing very quickly hence storing, using and transfering digital video are increasing quickly too Therefore video arrangement, management, search become complicated and exhausting This thesis with name “Content-Based Video Retrieval” will concentrate to automate video indexing and searching The thesis contains three main parts Part one: “Content-base image retrieval” This part research problems in indexing and searching images, it is a important part in thesis writer’s video retrieval system Part two: “Video segmentation” This part researchs how to segment video into shots Proposes some algorithms with high accurate Part three: “Key-frame extraction” This part researchs keyframe extraction algorithms in the world and proposes appropriate approachs Thesis writer’s video retrieval system is combined from these three parts Video is segmented in to shots, and each shot is presented by some keyframes Users can browse video by using key-frames or using image retrieval mechanism to search video Keywords: Content-Based Video Retrieval, video summarization, shot segmentation, key frames extraction, Content-Based Image Retrieval 98 ... sau tìm hiểu chế tìm kiếm ảnh theo nội dung, ứng dụng việc tìm kiếm video Chương Tìm kiếm ảnh theo nội dung CHƯƠNG PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TỐN TÌM KIẾM VIDEO THEO. .. nghĩa hệ thống tìm kiếm video theo nội dung khó khăn nghiên cứu lĩnh vực Các nghiên cứu giới lĩnh vực đề cập Chương trình bày phạm vi nghiên cứu cách tiếp cận NVLV để xây dựng hệ thống tìm kiếm video. .. ảnh 2.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng hệ thống tìm kiếm video Sau nghiên cứu, tìm hiểu sở lý thuyết số phương pháp tìm kiếm ảnh theo nội dung tập trung vào phương pháp tìm kiếm ảnh