Một số kỹ thuật chỉ mục và tìm kiếm đối tượng trong video số

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ *** NGUYỄN THANH BÌNH MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM ĐỐI TƢỢNG TRONG VIDEO SỐ Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60 48 05 LUẬN VĂN THẠC SỸ NGƢỜI HƢỚNG DẪN KHOA HỌC PGS TS Đặng Văn Đức Hà Nội - 2008 MỤC LỤC LỜI CAM ĐOAN Error! Bookmark not defined LỜI CẢM ƠN Error! Bookmark not defined MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU CHƢƠNG - TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN 1.1 NHU CẦU CẦN CÓ HỆ THỐNG QUẢN TRỊ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN [1] 1.2 SỰ CẦN THIẾT PHẢI CÓ HỆ THỐNG CHỈ MỤC VÀ TRUY TÌM THÔNG TIN ĐA PHƢƠNG TIỆN (MIRS) [1], [2], [6] 12 1.2.1 Một vài tính chất liệu đa phƣơng tiện 12 1.2.2 Hệ thống quản trị sở liệu vai trò chúng quản lý liệu đa phƣơng tiện (MM) 12 1.2.3 Hệ thống truy tìm thông tin (IR) vai trò chúng truy tìm đa phƣơng tiện 13 1.3 KHÁI QUÁT VỀ MIRS 14 1.4 KHẢ NĂNG MONG ĐỢI VÀ CÁC ỨNG DỤNG CỦA MIRS 15 1.5 CÁC LĨNH VỰC LIÊN QUAN ĐẾN ĐA PHƢƠNG TIỆN 16 1.6 CÁC NHIỆM VỤ THIẾT KẾ CỦA HỆ THỐNG CSDL ĐA PHƢƠNG TIỆN 16 1.6.1 Khái quát nhiệm vụ CSDL đa phƣơng tiện 17 1.6.2 Kiến trúc MIRS 18 1.6.3 Mô hình liệu Error! Bookmark not defined 1.6.4 Thiết kế giao diện ngƣời sử dụng Error! Bookmark not defined 1.6.5 Trích chọn đặc trƣng, mục đo tƣơng tự Error! Bookmark not defined 1.6.6 Đảm bảo chất lƣợng dịch vụ (QoS) client, server hệ thống truyền tinError! Bookmark not defined 1.6.7 Lƣu trữ liệu Error! Bookmark not defined 1.6.8 Các nhiệm vụ khác Error! Bookmark not defined CHƢƠNG - MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM ĐỐI TƢỢNG TRONG VIDEO SỐ Error! Bookmark not defined 2.1 VIDEO SỐ [2], [6] Error! Bookmark not defined 2.1.1 Biểu diễn video số Error! Bookmark not defined 2.1.2 Nén video Error! Bookmark not defined 2.2 CHỈ MỤC VÀ TRUY TÌM VIDEO [1], [2], [4], [5], [8]Error! Bookmark not defined 2.2.1 Giới thiệu Error! Bookmark not defined 2.2.2 Khái quát mục truy tìm video sở shotError! Bookmark not defined 2.2.3 Tách video shot hay phân đoạn Error! Bookmark not defined 2.2.4 Chỉ mục truy tìm video Error! Bookmark not defined 2.2.5 Đại diện trừu tƣợng video hiệu Error! Bookmark not defined CHƢƠNG - XÂY DỰNG ỨNG DỤNG TÌM KIẾM VIDEOError! Bookmark not defined 3.1 GIỚI THIỆU TỔNG QUAN VỀ ORACLE INTERMEDIA [7]Error! Bookmark not defined 3.1.1 Công nghệ quan hệ hƣớng đối tƣợng Error! Bookmark not defined 3.1.2 Quản lý nội dung đa phƣơng tiện Error! Bookmark not defined 3.1.3 Những khái niệm Audio Error! Bookmark not defined 3.1.4 Khái niệm liệu đa phƣơng tiện kết hợp ORDDocError! Bookmark not defined 3.1.5 Những khái niệm ảnh Error! Bookmark not defined 3.1.6 Khái niệm Video Error! Bookmark not defined 3.1.7 Lƣu trữ đa phƣơng tiện Error! Bookmark not defined 3.1.8 Nạp liệu đa phƣơng tiện Error! Bookmark not defined 3.1.9 Truy cập liệu đa phƣơng tiện Error! Bookmark not defined 3.1.10 Phân phối nội dung liệu đa phƣơng tiện Error! Bookmark not defined 3.1.11 Kiến trúc Oracle interMedia Error! Bookmark not defined 3.2 XÂY DỰNG ỨNG DỤNG CẬP NHẬT, TÌM KIẾM VÀ PHÁT LẠI CÁC ĐOẠN VIDEO Error! Bookmark not defined 3.2.1 Yêu cầu toán Error! Bookmark not defined 3.2.2 Xác định tiêu chí cho đoạn Video cần lƣu trữError! Bookmark not defined 3.2.3 Thiết kế CSDL Error! Bookmark not defined 3.2.4 Lựa chọn công nghệ môi trƣờng phát triển ứng dụng Error! Bookmark not defined 3.2.5 Kết cài đặt thƣ̉ nghiê ̣m Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO Error! Bookmark not defined DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt BLOB Binary Large Object CLOB Character Large Object CNTT Công nghệ thông tin CSDL Cơ sở liệu DBMS Database Management System MMDBMS Multimedia Database Management System Hệ thống quản trị sở liệu Hệ thống quản trị sở liệu đa phƣơng tiện IR Information Retrieval Truy tìm thông tin MIRS Hệ thống mục truy Multimedia Indexing & Retrieval tìm thông tin đa phƣơng System tiện MPEG Moving Picture Experts Group 10 OODBMS Object-Oriented Database Management System Hệ thống quản trị sở liệu hƣớng đố i tƣơ ̣ng 11 QoS Quality of Service Chấ t lƣơ ̣ng dich ̣ vu ̣ 12 RDBMS Relational Database Management Hệ thống quản trị sở System liệu quan hệ 13 UI User Interface Giao diện ngƣời dùng DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Trang Hình 1.1: Hoạt động hệ thống MIRS 13 Hình 1.2: Kiến trúc tự trị 17 Hình 1.3: Kiến trúc đồng 18 Hình 1.4: Kiến trúc lai 19 Hình 1.5: Kiến trúc sở tổng thể MIRS 20 Hình 1.6: Mô hình liệu đa phƣơng tiện tổng quát 22 Hình 1.7: Mô hình video tổng quát 23 Hình 1.8: Mô hình lƣu trữ tách biệt đặc trƣng với sở liệu 30 Hình 1.9: Mô hình thời gian thực 30 10 Hình 2.1: Mô hình màu RGB 35 11 Hình 2.2: Mô hình màu YUV 36 12 Hình 2.3: Biểu diễn dòng ảnh dƣới dạng sóng 39 13 Hình 2.4: Mô tả sóng vuông 39 14 Hình 2.5: Chuyển đổi miền thời gian miền tần số 39 15 Hình 2.6: Tính khoảng cách frame 51 16 Hình 2.7: Ví dụ chuyển cảnh từ từ 52 17 Hình 2.8: Cộng dồn khoảng cách 53 18 Hình 2.9: Cửa sổ ảnh 53 19 Hình 2.10: Các chuyển động camera 54 20 Hình 2.11: Các trƣờng vectơ chuyển động 54 21 Hình 2.12: Minh họa phân lớp video theo chủ đề 65 22 Hình 2.13: Minh họa biểu tƣợng chuyển động 66 23 Hình 2.14: Minh họa duyệt video theo phân cấp 68 24 Hình 3.1: Kiến trúc Oracle Intermedia 86 MỞ ĐẦU CNTT ngày càng phát triể n với sƣ̣ đời của nhiề u công nghê ̣ , sản phẩm giải pháp, đă ̣c biê ̣t sƣ̣ đời của Internet đã ta ̣o mô ̣t cuô ̣c cách ma ̣ng thƣ̣c sƣ̣ to lớn của loài ngƣời Con ngƣời có thể trao đổ i , tìm kiếm thông tin cách nhanh chóng, khoảng cách địa lý không còn là rào cản giao tiế p của ngƣời Các phƣơng thức trao đổi thể thông tin ngày phong phú Dƣ̃ liê ̣u hiê ̣n có không chỉ đơn thuầ n là văn đƣợc lƣu trữ nhƣ vài chục năm trƣớc , mà đã tồ n ta ̣i mô ̣t số lƣơ ̣ng khổ ng lồ các dƣ̃ liê ̣u đa phƣơng tiê ̣n gồ m có ảnh , âm video Dƣ̃ liê ̣u này ngày càng tăng nhanh đã dẫn đế n nhu cầu có thực cần có công cụ hữu hiệu để lƣu trữ, truy vấn trình diễn Chính vậy, nghiên cứu năm gần tập trung chủ yếu vào lƣu trữ tìm kiếm hiệu liệu đa phƣơng tiện Tình hình tƣơng tự nhƣ vài chục năm trƣớc với sƣ̣ đời của hệ thống quản trị sở dƣ̃ liê ̣u (DBMS) để quản lý liệu text Tuy nhiên DBMS quản lý liệu đa phƣơng tiện cách hiệu tính chất liệu văn liệu đa phƣơng tiện khác Do vậy, dẫn tới việc nghiên cứu phát triển kỹ thuật truy tìm mục hệ thống quản trị CSDL Sự đời “Hệ thống quản trị sở liệu đa phƣơng tiện “ tất yếu Là vấn đề đƣợc quan tâm nghiên cứu , hệ thố ng truy vấn video số đã đƣơ ̣c phát triể n nhằ m đáp ƣ́ng nhu cầ u đố i với dƣ̃ liê ̣u đa phƣơng tiê ̣n của ngƣời dùng Các hệ thống trải qua giai đoạn phát triển nhƣ sau [3]: - Giai đoạn truy vấn video dựa vào từ khóa, việc truy vấn dựa vào từ khóa thích thủ công cho đoạn video Kết truy vấn dựa vào việc so khớp từ khóa truy vấn từ khóa thích áp dụng thành tựu lĩnh vực truy vấn thông tin (Information Retrieval) Hiện hệ thống truy vấn video đƣợc dùng rộng rãi thƣơng mại sử dụng cách thức truy vấn (ví dụ nhƣ hệ thống tìm kiếm Google, Yahoo,…) - Giai đoạn truy vấn video dựa vào nội dung, việc truy vấn đƣợc thực dựa vào nội dung, dựa vào việc phân đoạn video thành đoạn sở, đoạn sở đƣợc biểu diễn số khung hình Truy vấn dựa vào đặc trƣng thị giác toàn cục đoạn sở khung hình nhƣ đặc trƣng màu sắc, vân, chuyển động Cùng giai đoạn thời kỳ hệ thống truy vấn dựa vào đối tƣợng Các đối tƣợng đƣợc gọi đối tƣợng không gian - thời gian Kết truy vấn phù hợp ngữ nghĩa yêu cầu truy vấn - Giai đoạn truy vấn video mức ngữ nghĩa Các mô hình đƣợc dùng giai đoạn mô hình dịch máy, máy học, thích video tự động, phả hệ tri thức thị giác Khi truy vấn, hệ thống tiến hành đối sánh khái niệm thị giác mà ngƣời dùng mô tả với khái niệm thị giác đƣợc liên kết với liệu video nhằm xác định kết truy vấn Cách truy vấn áp dụng cho sở liệu video tổng quát Độ xác kết truy vấn không cao, đƣợc dùng nhƣ bƣớc tiền lọc, thƣờng kèm theo kỹ thuật phản hồi từ ngƣời dùng Mặc dù có nhiều kết đạt đƣợc lĩnh vực này, nhƣng số vấn đề thách thức tồn đọng Chƣa có hệ thống truy vấn đƣợc phổ biến đƣợc công nhận rộng rãi cộng đồng Xuất phát từ sở khoa học, tính thực tiễn khả áp dụng thực tế nơi công tác, tác giả luận văn lựa chọn đề tài “Một số kỹ thuật mục tìm kiếm đối tƣợng video số” Bố cục luận văn gồm chƣơng, đƣợc trình bày nhƣ sau: Chƣơng I: Trình bày tổng quan sở liệu đa phƣơng tiện Chƣơng II: Trình bày số kỹ thuật mục tìm kiếm đối tƣợng video số Chƣơng III: Mô tả xây dựng ứng dụng tìm kiếm video CHƢƠNG - TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN 1.1 NHU CẦU CẦN CÓ HỆ THỐNG QUẢN TRỊ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN [1] Trải qua nhiều năm thu thập đƣợc khối lƣợng lớn liệu đa phƣơng tiện tổ chức lƣu trữ chúng dƣới dạng số, ví dụ nhƣ ảnh X quang, tranh số hóa, băng hình dạy học, điều tra cảnh sát giọng nói điện thoại, tài liệu văn bản,…Ngày nay, Công nghê ̣ thông tin phát triể n ma ̣nh mẽ và đƣợc ứng dụng vào lĩnh vực đời sống xã hội, xuất ngày nhiều tranh ảnh, video, audio, tài liệu… đƣợc số hoá, lƣu trữ trình diễn, số ví dụ liệu đa phƣơng tiện nhƣ sau: - Dữ liệu hình ảnh (Image data): Một học viện phẫu thuật phải tìm kiếm sở liệu ảnh X quang hay ảnh cộng hƣởng từ (MRI - Magnetic Resonance Imaging) bệnh nhân; Một quan, tổ chức lƣu trữ ảnh số muốn tìm lại cách thuận tiện, - Dữ liệu video (Video data): Một sinh viên mong muốn tìm giảng băng hình chủ đề kỹ thuật Điề u này đòi hỏi phải truy vấn thƣ viện băng hình tƣ̀ tập hợp vô số băng hình với nội dung kỹ thuật, - Dữ liệu âm (Audio data): Một phóng viên mong muốn tiếp cận với vài vấn trƣớc đài phát thanh, trƣờng hợp mong muốn tiếp cận với băng audio cũ có nội dung liên quan đến lĩnh vực nghiên cứu - Dữ liệu tài liệu (Document data): Một văn truyền thống bao gồm đoạn văn bản, từ, câu, đoạn văn, chƣơng… Một CSDL tài liệu khác văn chỗ không chứa thông tin dạng văn thô mà chứa đựng cấu trúc hình ảnh nhúng Ví dụ, liệu tài liệu đƣợc tạo ra, chèn vào phục hồi nhờ sử dụng ngôn ngữ đánh dấu chuẩn nhƣ HTML hay SGML, Tƣ̀ nhƣ̃ng ví du ̣ ta cho thấ y thông tin đa phƣơng tiện hay liệu đa phƣơng tiện bao gồm dạng liệu nhƣ video, âm thanh, hoạt hoạ (animation), ảnh, ký tự, chữ số, có kết hợp dạng Thƣ̣c tế hiê ̣n là đối mặt với bùng nổ thông tin đa phƣơng tiê ̣n, kéo theo xu thúc đẩy phát triển công nghệ số lƣu trữ trình diễn, với khả tổ chức tốt để đảm bảo truy tìm nhanh Nhƣ̃ng năm trƣớc đây, mà liệu văn đƣợc lƣu trữ dƣới khuôn dạng máy tính đọc đƣợc, dẫn tới việc phát triển hệ thống quản trị sở dƣ̃ liê ̣u (DBMS) Tuy nhiên DBMS quản lý liệu đa phƣơng tiện cách hiệu tính chất liệu văn liệu đa phƣơng tiện khác Vì thế, vấn đề đặt phải nghiên cứu phát triển kỹ thuật truy tìm mục hệ thống quản trị CSDL, cho phép khả lƣu trữ tìm kiếm hiệu liệu đa phƣơng tiện Dữ liệu đa phƣơng tiện phân làm hai dạng tĩnh động, liệu tĩnh có nội dung ý nghĩa không phụ thuộc vào thời gian nhƣ: ảnh, văn bản, chữ số ; liệu động có nội dung ý nghĩa phụ thuộc thời gian, chẳng hạn nhƣ thực đoạn video cần dịch chuyển khoảng 25 đến 30 frames/giây để làm hình ảnh âm thay đổi Các dạng liệu động nhƣ âm hoạt họa có mối quan hệ với thời gian Việc truyền đạt thông tin ý nghĩa thông tin thực tế có nhiều phƣơng thức khác Với liệu đa phƣơng tiện, thông tin truyền đạt ý nghĩa nhanh dễ hiểu Do mà ngày liệu đƣợc sử dụng nhiều ứng dụng thực tế nhƣ: nghệ thuật, giáo dục, giải trí, kỹ thuật, y học, toán học, Từ nhu cầu cần có sở liệu đa phƣơng tiện, kéo theo nhu cầu cần thiết vấn đề quản lý nhƣ: - Khả lƣu trữ liệu kích thƣớc liệu đa phƣơng tiện lớn so với dạng liệu thông thƣờng - Hỗ trợ truy vấn nhanh liệu đa phƣơng tiện thời gian truyền tải liệu truy vấn chậm thời điểm ý nghĩa liệu đa phƣơng tiện thay đổi Hiện nay, có nhiều hệ quản trị sở liệu cho phép ngƣời dùng tạo quản trị loại sở liệu khác Tuy nhiên, liệu đa phƣơng tiện có có tính chất yêu cầu đặc biệt, khác xa với loại liệu chữ số nên CSDL truyền thống không phù hợp việc quản lý liệu đa phƣơng tiện Các kỹ thuật truy tìm thông tin giúp truy tìm đối tƣợng đa phƣơng tiện nhƣng chƣa thực hiệu quả, khả quản lý liệu đa phƣơng tiện chƣa đáp ứng đƣợc Vì vậy, thực tế đòi hỏi cần có hệ thống quản trị sở liệu đa phƣơng tiện (Multimedia Database Management Systems - MMDBMS) 1.2 SỰ CẦN THIẾT PHẢI CÓ HỆ THỐNG CHỈ MỤC VÀ TRUY TÌM THÔNG TIN ĐA PHƢƠNG TIỆN (MIRS) [1], [2], [6] Dữ liệu đa phƣơng tiện có tính chất yêu cầu đặc biệt, khác xa với loại liệu chữ số CSDL truyền thống không phù hợp việc quản lý liệu đa phƣơng tiện Vì đòi hỏi phải có hệ thống truy tìm số hóa đủ tốt để sử dụng liệu hiệu 1.2.1 Một vài tính chất liệu đa phƣơng tiện - Khối lƣợng khổng lồ (đặc biệt với liệu audio video) Thí dụ 10 phút video không nén có dung lƣợng 1,5 GB - Audio video có thêm chiều thời gian - Dữ liệu ảnh, audio video đƣợc thể dãy giá trị mẫu, cấu trúc định để máy tính tự động nhận biết - Rất nhiều ứng dụng đa phƣơng tiện đòi hỏi trình diễn đồng thời loại media khác Thí dụ, phim bao gồm ảnh đồng với âm - Ý nghĩa liệu đa phƣơng tiện mờ - Dữ liệu đa phƣơng tiện giàu thông tin Đòi hỏi nhiều tham số để biểu diễn nội dung chúng 1.2.2 Hệ thống quản trị sở liệu vai trò chúng quản lý liệu đa phƣơng tiện (MM) DBMS đƣợc quan tâm phát triển đƣợc sử dụng rộng rãi cho liệu có cấu trúc DBMS quen thuộc DBMS quan hệ (Ralational Database Management System - RDBMS) RDBMS phù hợp với quản lý liệu số xâu ký tự ngắn Để hỗ trợ trƣờng biến lớn RDBMS, khái niệm BLOB (Binary Large Object) đƣợc đề xuất BLOB chuỗi bit lớn với độ dài thay đổi Vì BLOB chuỗi bit thao tác nhƣ so sánh thực chúng đƣợc RDBMS không hiểu nội dung ngữ nghĩa BLOB mà hiểu block liệu Hệ quản trị CSDL hướng đối tượng (OODBMS) loại DBMS khác Chúng tổ hợp khả CSDL (thí dụ nhƣ lƣu trữ tìm kiếm) với đặc trƣng hƣớng đối tƣợng (gói, kế thừa danh đối tƣợng) Một tiệm cận chung tổ hợp đặc trƣng hƣớng đối tƣợng với CSDL quan hệ Hệ thống đƣợc gọi Hệ thống CSDL quan hệ - đối tượng Trong hệ thống này, đối tƣợng đƣợc hiểu theo nghĩa object-oriented Mỗi đối tƣợng chứa đặc tính (properties) hay thuộc tính (attributes) phƣơng thức (method) hay hàm để thao tác đặc tính Khác biệt BLOB đối tƣợng đối tƣợng đƣợc định nghĩa đầy đủ bao gồm đặc tính thao tác chúng BLOB khả Khái niệm BLOB đối tƣợng bƣớc tiến việc quản lý liệu đa phƣơng tiện Nhƣng BLOB sử dụng để lƣu trữ liệu lớn Trong đối tƣợng chứa thuộc tính, nhiều khả khác cần đƣợc phát triển để quản lý việc truy tìm đa phƣơng tiện sở nội dung Do vậy, số khả cần có hệ thống nhƣ sau: - Công cụ để tự động bán tự động trích chọn đặc trƣng chứa liệu đa phƣơng tiện - Cấu trúc số hóa đa chiều để quản lý véctơ đặc trƣng đa phƣơng tiện - Thƣớc đo tƣơng tự để truy tìm liệu đa phƣơng tiện thay cho đối sánh xác - Phân hệ lƣu trữ đƣợc thiết kế để đáp ứng yêu cầu liệu lớn, băng thông rộng thời gian thực - Giao diện ngƣời sử dụng đƣợc thiết kế cho truy vấn mềm dẻo với loại media khác cho khả trình diễn đa phƣơng tiện 1.2.3 Hệ thống truy tìm thông tin (IR) vai trò chúng truy tìm đa phƣơng tiện Kỹ thuật IR quan trọng hệ thống quản trị thông tin đa phƣơng tiện hai lý sau: thứ nhất, khối lƣợng văn lớn nguồn thông tin quan trọng tổ chức Để sử dụng hiệu thông tin tài liệu cần có hệ thống IR hiệu quả; thứ hai, văn đƣợc sử dụng để mô tả loại media khác nhƣ audio, ảnh video Các kỹ thuật IR quen thuộc đƣợc sử dụng để truy tìm thông tin đa phƣơng tiện Tuy nhiên việc sử dụng IR để quản lý liệu đa phƣơng tiện có hạn chế sau: - Mô tả thƣờng tiến trình thủ công tốn kém thời gian - Mô tả văn không đầy đủ chủ quan - Kỹ thuật IR không áp dụng đƣợc cho truy vấn loại liệu khác văn - Một vài đặc trƣng nhƣ kết cấu ảnh (image texture) hình dạng ảnh khó mô tả văn DBMS IR đề cập không đáp ứng đầy đủ yêu cầu truy tìm số hóa đa phƣơng tiện Tuy nhiên, DBMS IR đóng vai trò quan trọng MMDBMS Nhiều phần liệu đa phƣơng tiện nhƣ ngày tạo lập, tác giả, v.v có cấu trúc, đƣợc quản lý kỹ thuật DBMS Mô tả văn phƣơng pháp hiệu để thu thập nội dung liệu đa phƣơng tiện, kỹ thuật IR đóng vai trò quan trọng Tóm lại, cần phải tích hợp DBMS, IR kỹ thuật đặc biệt khác quản lý liệu đa phƣơng tiện để phát triển MIRS phù hợp hiệu 1.3 KHÁI QUÁT VỀ MIRS Các thao tác MIRS đƣợc mô tả hình 1.1 Dữ liệu (các mục thông tin) CSDL đƣợc tiền xử lý để trích chọn đặc trƣng nội dung ngữ nghĩa Sau chúng đƣợc số hóa sở đặc trƣng ngữ nghĩa Trong truy tìm thông tin, câu truy vấn ngƣời sử dụng đƣợc xử lý đặc trƣng đƣợc trích chọn Các đặc trƣng sau đƣợc so sánh với đặc trƣng hay mục mục thông tin CSDL Các mục thông tin có đặc trƣng gần giống với đặc trƣng câu truy vấn đƣợc tìm trình diễn cho ngƣời sử dụng Mẫu truy vấn mô tả nhƣ sau: Chỉ mục: Ảnh (I) > véctơ đặc trƣng f(I): (f1, f2, fk) Truy vấn: Véctơ truy vấn q: (q1, q2, qk) Tính tương tự: đo khoảng cách: d(f,q) Kết quả: Ảnh (I) có giá trị d(f(I),q) nhỏ Truy vấn Các mục thông tin Xử lý trích chọn đặc trưng Các đặc trưng truy vấn Tiền xử lý mục Các mục thông tin mục Tính toán tương tự Trả kết giống Hình 1.1: Hoạt động hệ thống MIRS Mô tả hình 1.1 cho thấy nhiều nhiệm vụ phải thực hiện, thí dụ: - Các mục thông tin tổ hợp loại media - Trích chọn đặc trƣng từ mục media nhƣ nào? - Các đặc trƣng đƣợc lƣu trữ cấu trúc nhƣ để truy tìm hiệu quả? - Đo tính “tƣơng tự” hai mục media nhƣ nào? - Thiết kế giao diện nhƣ để chấp nhận câu truy vấn phức tạp, mờ mềm dẻo? - So sánh hiệu hệ thống MIRS cách nào? - Làm để đáp ứng yêu cầu thời gian truyền tải hay trình diễn liệu MM? 1.4 KHẢ NĂNG MONG ĐỢI VÀ CÁC ỨNG DỤNG CỦA MIRS MIRS cần phải mạnh mềm dẻo Khả chúng đƣợc miêu tả kiểu truy vấn mà chúng hỗ trợ Các loại truy vấn mong đợi MIRS nhƣ sau: Truy vấn sở meta-data Meta-data thuộc tính hình thức mục CSDL nhƣ tên tác giả, ngày tạo lập Khả DBMS đáp ứng loại truy vấn Truy vấn sở mô tả Mô tả đề cập đến miêu tả văn nội dung mục CSDL Các câu truy vấn theo từ khóa, việc truy tìm thực sở tƣơng tự câu truy vấn mô tả Thí dụ truy vấn “Chỉ đoạn video ACTOR xe đạp” Với loại truy vấn này, ta giả sử mục đƣợc mô tả đầy đủ quản lý kỹ thuật IR Truy vấn sở mẫu (pattern) hay đặc trƣng Mẫu liệu thông tin tĩnh liệu đa phƣơng tiện nhƣ phân bổ màu, cƣờng độ âm thanh, mô tả kết cấu bề mặt Để trả lời loại truy vấn này, thông tin thống kê mục CSDL phải đƣợc chuẩn bị lƣu trữ trƣớc Truy vấn theo thí dụ (by example) Truy vấn đối tƣợng đa phƣơng tiện nhƣ ảnh, vẽ đoạn âm Thí dụ truy vấn “Hãy phim có đoạn tƣơng tự nhƣ THIS PICTURE” Loại truy vấn phức tạp bổ sung yếu tố quan hệ thời gian không gian đối tƣợng Truy vấn ứng dụng cụ thể Rất nhiều loại truy vấn cụ thể theo ứng dụng Thí dụ, truy vấn sở thông tin chi tiết, cụ thể nhƣ kích thƣớc đối tƣợng hay tuổi cá nhân Vì MIRS có khả hỗ trợ nhiều loại truy vấn có ứng dụng rộng rãi, bao gồm ứng dụng lĩnh vực sau đây: Y tế, An ninh, Giáo dục, Báo chí, Giải trí, Thương mại,… MIRS tập trung vào thông tin thay cho tập trung vào loại media trình diễn thông tin ánh xạ hay chuyển đổi từ loại media sang loại media khác Có thể truy tìm tài liệu video video, text, nhạc, tiếng nói hay tƣơng tự Điều phụ thuộc vào môtơ tìm kiếm để đối sánh liệu câu truy vấn với mục CSDL 1.5 CÁC LĨNH VỰC LIÊN QUAN ĐẾN ĐA PHƢƠNG TIỆN - Âm (Audio) - Hình ảnh (Images) - Xử lý ngôn ngữ tự nhiên (Natural Language Processing) - Truy tìm thông tin (Information Retrieval) - Khả máy tính (CPU Power) - Mạng máy tính (Networking) - Hệ thống lƣu trữ (Storage System) - Giao diện ngƣời máy (HCI) - Video - Tâm lý học (Psychology) - Nén liệu (Data Compression) 1.6 CÁC NHIỆM VỤ THIẾT KẾ CỦA HỆ THỐNG CSDL ĐA PHƢƠNG TIỆN Nhiệm vụ thiết kế MIRS để ứng dụng đáp ứng đặc trƣng yêu cầu ngƣời sử dụng bao gồm vấn đề sau: - Khái quát kiến trúc môđun MIRS Các môđun MIRS bao gồm giao diện ngƣời sử dụng (UI – User Interface), trích chọn đặc trƣng, quản lý truyền tin, số hóa môtơ tìm kiếm, quản lý lƣu trữ - Mô hình liệu MIRS ảnh hƣởng tới khía cạnh thiết kế thao tác MIRS Nó xác định thông tin đƣợc tổ chức lƣu trữ nhƣ nào, hỗ trợ loại truy vấn - UI cung cấp công cụ chèn items CSDL, cung cấp câu truy vấn cho khả trình diễn kết truy vấn Thiết kế UI phức tạp khác media, khác đặc trƣng, tính mờ ý nghĩa liệu đa phƣơng tiện - Trong MIRS, đặc trƣng thuộc tính liệu đa phƣơng tiện đƣợc trích chọn lƣu trữ với liệu Các đặc trƣng đƣợc tổ chức nhờ cấu trúc mục để truy tìm hiệu Việc truy tìm sở thƣớc đo tƣơng tự đặc trƣng truy vấn đặc trƣng liệu - Truy tìm trình diễn đa phƣơng tiện phải đáp ứng số ràng buộc thời gian không gian Các ràng buộc đƣợc xác định yêu cầu chất lƣợng dịch vụ (QoS - Quality of Service) đối tƣợng ứng dụng đa phƣơng tiện Mọi phân hệ, bao gồm ̣ điề u hành , truyền tin, quản lý lƣu trữ phải làm việc để đạt đƣợc QoS mong muốn - Một số nhiệm vụ nhƣ nén liệu, chuẩn trình diễn liệu, tiến trình truy vấn cần đƣợc quan tâm 1.6.1 Khái quát nhiệm vụ CSDL đa phƣơng tiện 1.6.1.1 Mục tiêu MMDBMS Theo cách nhìn ta nhận thấy CSDL đa phƣơng tiện bao gồm năm mục tiêu nhƣ sau: - Hỗ trợ kiểu liệu đa phƣơng tiện, thao tác thông thƣờng, thao tác đặc biệt mà kiểu liệu thông thƣờng nhƣ tiến, lùi, dừng, - Có khả quản lý số lƣợng lớn đối tƣợng đa phƣơng tiện (đề cập đến không gian lƣu trữ CSDL) - Hỗ trợ hiệu cao, sức chứa cao quản trị lƣu trữ hiệu - Có khả hệ CSDL truyền thống - Có khả truy tìm thông tin đa phƣơng tiện 1.6.1.2 Tiệm cận lƣu trữ tài nguyên đa phƣơng tiện Các chiến lƣợc lƣu trữ tài nguyên đa phƣơng tiện có bốn tiệm cận nhƣ sau đây: - Dựa vào tệp hệ thống thông thƣờng - Sử dụng hệ quản trị CSDL truyền thống (thí dụ, RDBMS), với hỗ trợ giao diện hƣớng đối tƣợng - Sử dụng hệ quản trị CSDL hƣớng đối tƣợng với hỗ trợ giao diện ngƣời sử dụng - Thiết kế CSDL từ đầu, sở khái niệm hƣớng đối tƣợng Tiệm cận thứ áp dụng ngƣời sử dụng tự quản lý tài nguyên đa phƣơng tiện Đây cách lý tƣởng hạn chế tệp hệ thống, thiếu mềm dẻo việc tổ hợp chia sẻ đối tƣợng đa phƣơng tiện Tiệm cận thứ hai phụ thuộc vào RDBMS Theo chất trình diễn đa phƣơng tiện tiệm cận hƣớng đối tƣợng cho khả dễ tổ chức trình diễn OODBMS có kiểu liệu nhị phân, dễ dàng lƣu trữ ảnh, âm video Tuy nhiên, tiệm cận gặp số khó khăn cài đặt thiếu số yêu cầu đặc biệt MMDBMS nhƣ: QoS, đồng nối mạng Tiệm cận cuối hiệu nhƣng tốn kém nhiều thời gian việc thiết kế phát triển 1.6.2 Kiến trúc MIRS Nhƣ thấy, liệu đa phƣơng tiện có nhiều loại từ văn bản, hình ảnh, âm đến đoạn video có kích thƣớc lớn Do cần tổ chức thích hợp để khai thác cách hiệu Hệ thống CSDL đa phƣơng tiện thƣờng đƣợc tổ chức theo kiến trúc sau: tự trị, đồng lai 1.6.2.1 Kiến trúc tự trị (autonomy) Trong kiến trúc loại liệu đƣợc nhóm thành nhóm đƣợc lƣu trữ theo cách riêng nhóm (hình 1.2), tƣơng tác loại liệu công việc phức tạp đòi hỏi nhiều công sức lập trình Tuy nhiên việc tạo cấu trúc riêng biệt cho loại liệu đa phƣơng tiện có hiệu mặt thời gian cho việc xử lý truy vấn Autonomy thích hợp cho công nghệ hƣớng đối tƣợng với việc xem xét nguồn liệu đa phƣơng tiện nhƣ đối tƣợng với phƣơng thức truy cập đến CSDL đa phƣơng tiện tổng thể Người dùng Truy vấn Trả lời Multimedia Query Engine (Máy truy vấn) Document Index (Chỉ mục tài liệu) Image Index (Chỉ mục ảnh) Audio Index (Chỉ mục Audio) Video Index (Chỉ mục video) Hình 1.2 Kiến trúc tự trị 1.6.2.2 Kiến trúc đồng (uniformity) Với kiến trúc dạng thay việc phân chia loại liệu thành nhóm riêng biệt cố gắng tìm cấu trúc trừu tƣợng để sử dụng làm mục chung cho toàn kiểu liệu gọi mục đồng (unified index) - hình 1.3 Có thể thể nội dung tất đối tƣợng liệu khác (văn bản, hình ảnh, âm thanh, video…) cấu trúc liệu sau xây dựng giải thuật truy vấn cấu trúc liệu Kiến trúc đòi hỏi việc kiểm tra nội dung kiểu liệu trừu tƣợng hóa phần chung sau xây dựng mục dựa thành phần đƣợc nhận dạng Với kiến trúc việc tƣơng tác loại liệu thuận tiện chúng có cấu trúc liệu Tuy nhiên kiến trúc đòi hỏi giai đoạn trừu tƣợng hóa liệu nhiều thời gian phải làm thủ công bán tự động làm tự động gây thiếu thông tin Người dùng Truy vấn Trả lời Multimedia Query Engine (Máy truy vấn) Unified Index (Chỉ mục đồng nhất) Tài liệu Ảnh Âm Video Hình 1.3 Kiến trúc đồng 1.6.2.3 Kiến trúc lai (hybrid) Kiến trúc kết hợp kiến trúc (hình 1.4) Một số kiểu liệu sử dụng mục riêng nó, số khác sử dụng theo kiến trúc đồng nhất, tùy thuộc vào đặc điểm nhƣ yêu cầu ứng dụng Kiến trúc tận dụng đƣợc ƣu điểm hai loại kiến trúc hạn chế nhƣợc điểm chúng Tiếng Việt Đặng Văn Đức (2003), Nguyên lý hệ thống sở liệu đa phương tiện, Trung tâm khoa học tự nhiên công nghệ Quốc gia - Viện Công nghệ thông tin Đặng Văn Đức (2003-2005), Hệ quản trị sở liệu đa phương tiện, Viện khoa học công nghệ Việt Nam, Viện công nghệ thông tin Lý Quốc Ng ọc (2007), Xây dựng , phát triển và ứng dụng hệ thống truy vấ n thông tin thi ̣ giác dựa vào nội dung , Luâ ̣n án tiế n sỹ khoa ho ̣c má y tiń h, ĐHQG TP Hồ Chí Minh, tr.58-85 Tiếng Anh Arbee L.P.Chen, Chih-chin Liu, Tony C.T.Kuo, “Content-based Video Data Retrieval” Proc.natl.Sci.Counc.ROC Vol 23, No.4, 1999, pp.449-465 Bernard Merialdo, “Multimedia Infomation Retrieval”, Institut EUROCOM Sophia Antipolis, France Guojun Lu (1999), “Multimedia Database Management Systems”, Artech House Boston London Rod Ward (2003), Oracle interMedia User’s Guide 10g Release (10.1), Part No B10840-01, pp.21-43 IEEE Wayne Wolf (1996), “Key Frame Selection by Motion Analysis”,