Mô hình dữ liệu nếu trên mô hình tổng quát. Hiện thời, các mô hình dữ liệu riêng đƣợc dùng trong các ứng dụng khác nhau. Một số ý tƣởng trong các mô hình riêng cũng đƣợc dùng trong mô hình dữ liệu đa phƣơng tiện tổng quát.
2.1.2.1. Mô hình dữ liệu VIMSYS
Mô hình này nhắm quản lý thông tin hiển thị, tức hình ảnh và video. Nó bao gồm 4 tầng : mỗi đối tƣợng trên các tầng có tập các thuộc tính và phƣơng pháp.
1. Tầng thể hiện ảnh. Tầng này chứa dữ liệu ảnh và bất kỳ chuyển hóa tác động đến thể hiện ảnh. Chẳng hạn chuyển hóa nén, đổi màu, tăng cƣờng ảnh. Tầng này không mạnh để xử lý câu hỏi, mà chỉ quản lý câu hỏi cần thông tin dựa trên pixel. Tuy nhiên tầng thể hiện ảnh cung cấp dữ liệu thô cho tầng trên để trích xác định đặc trƣng mức cao.
2. Tầng đối tƣợng ảnh. Tầng này đối tƣợng ảnh có hai tầng con tầng phân đoạn, tầng đặc trƣng. Tầng phân đoạn cô đặc thông tin về toàn bộ ảnh hay video vào các cụm không gian hay thời gian của các thuộc tính tóm tắt. Các thuộc tính cục bộ này có thể đƣợc tìm kiếm trực tiếp. Tầng này còn liên quan chặt với kĩ thuật phân đoạn ảnh, video. Tầng con đặc trƣng để tính toán nhanh, đƣợc tổ chức theo cấu trúc dữ liệu, tuân theo tính toán khoảng cách để gán tỷ số xếp hạng. Đặc trƣng chung là phân bố màu, dạng đối tƣợng và bề mặt
3. Tầng đối tƣợng miền. Đối tƣợng miền là thực thể do ngƣời dùng xác định để thể hiện vật thể vật lý hay khái niệm đƣợc suy từ một hay nhiều đặc trƣng trong tầng thấp hơn. Tri thức về miền cần thiết để suy ra đối tƣợng miền.
4. Tầng sự kiện miền. Tầng này xác định các sự kiện mà ngƣời dùng có thể hỏi. Các sự kiện đƣợc xác định theo chuyển động của đối tƣợng, việc hiện ra và biến đi các đối tƣợng... Phát hiện sự kiện và cơ chế tổ chức cần dùng trong tầng này.
2.1.2.2. Mô hình video tổng quát
Mô hình video thƣờng đƣợc dùng gồm bốn mức khung : lia, cảnh, hay chuỗi, đoạn, tức tƣ liệu video. Một đoạn là đơn vị hoàn chỉnh, nhƣ một đoạn phim TV.
Ngƣời ta xác định Khung là hình ảnh đơn trong video. Một lia là tập các khung đƣợc nghi bằng máy quay trong lần lia máy. Một cảnh là tập hợp các lia với cũng ngữ nghĩa. Một đoạn là tập các cảnh.
Hình 2.3 Mô hình dữ liệu video tổng quát
Các thuộc tính có thể gán cho mỗi mức video. Tại mức đoạn video, ngƣời ta có thể gán dữ liệu sự kiện nhƣ nhan đề, tác giả hay ngày tháng, thông tin liên quan đến loại video. Một cảnh mang ngữ nghĩa chung mà các lia cùng chia sẻ. Các lia đƣợc đặc trƣng bằng các khung chính, mang tính thể hiện, và các dữ liệu khác nhƣ các đối tƣợng chính và thời gian lia, vị trí lia. Các khung đơn chứa dữ liệu ảnh thô cũng nhƣ thống kê ảnh, nhƣ phân bố màu.
2.1.2.3. Cấu trúc lược đồ hình ảnh Virage
Máy tìm kiếm Virage cung cấp khung để xây dựng hệ thống tìm kiếm theo nội dung. Cấu trúc lƣợc đồ của máy Virage gồm 3 mức lƣợc đồ, các sơ khởi, các kiểu dữ liệu. Lƣu ý rằng các hệ thống tìm kiếm thông tin dựa trên nội dung cần tạo trừu tƣợng về thông tin thô dƣới dạng các đặc trƣng, rồi làm việc chỉ với các đặc trƣng đó.
1. Trong hệ thống tìm kiếm hình ảnh, ngƣời ta xác định năm kiểu dữ liệu các giá trị, các phân bố, các giá trị chỉ số và các đồ thị. Giá trị là tập hợp các vectors thể hiện tính chất bao trùm của hình ảnh, nhƣ màu chủ đạo. Phân bố thể hiện tính chất thống kê của hình ảnh, nhƣ phân bố màu sắc. Giá trị chỉ số định vị vùng hình ảnh và đƣợc thể hiện nhƣ tập chỉ số hóa của các vectors. Một phân vùng chỉ số là một mẫu cục bộ, hay một phân bố, nhƣ dạng đƣợc nhấn mạnh của một vùng quan tâm. Một đồ thị thể hiện thông tin quan hệ giữa các vị trí không gian của hai vùng quan tâm trong ảnh và có thể cài đặt theo thuật ngữ của bốn kiễu dữ liệu kia. Do vậy các vectors tạo nên kiểu cơ sở đồng nhất, cho phép thể hiện đặc trƣng nội dung ảnh. Kiểu dữ liệu sơ cấp trong máy Virage là tổ hợp các vectors. Phép toán chính trên kiểu dữ liệu này là :
Tạo tổ hợp : tạo nên tổ hợp rỗng của các vectors ;
Tạo vectors : trích và tạo vectors đặc trƣng riêng từ hình ảnh, nhờ hàm trích đặc trƣng riêng ;
Trích rút : truy cập phần tử trong tổ hợp ;
Tính khoảng cách : so sánh hai vectors và cho biết độ đo khoảng cách giữa chúng theo hàm khoảng cách mô tả đối với kiểu vectors ;
Kết hợp : tạo vectors mới bằng cách kết hợp hai vectors đã biết ;
Hủy vectors ; hủy tổ hợp : Giải phóng bộ nhớ liên kết với vectors cụ thể ; xóa tổ hợp khỏi bộ nhớ.
2. Mức tiếp cận cấu trúc lƣợc đồ của máy Virage là sơ khởi. Một sơ khởi đƣợc xác định nhƣ tổ hợp các vectors, cho phép thể hiện phạm trù đơn về thông tin ảnh. Do vậy một sơ khởi là một đặc trƣng có ý nghĩa ngữ nghĩa của hình ảnh, nhƣ màu, bề mặt, hình dạng. Một sơ khởi đƣợc mô tả theo tên duy nhất, tên phạm trù, các chức năng quản trị và tìm kiếm dữ liệu.
3. Mức cao nhất là cấu trúc lƣợc đồ, xác định bởi tên lƣợc đồ và tập các sơ khởi. Một ứng dụng sử dụng và dùng nhiều lƣợc đồ. Mức này cung cấp các chức năng bổ sung ảnh và tìm kiếm theo nội dung.