Điều khiển truy xuất dựa theo nội dung trong các cơ sở dữ liệu video

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRẦN NGUYỄN ANH THY ĐIỀU KHIỂN TRUY XUẤT DỰA THEO NỘI DUNG TRONG CÁC CƠ SỞ DỮ LIỆU VIDEO Chuyên ngành : Công Nghệ Thông Tin Mã số ngành : 01.02.10 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2007 LỜI CẢM ƠN Trước tiên tơi xin bày tỏ lịng biết ơn sâu sắc đến TS Đặng Trần Khánh, người cho hội đến với lĩnh vực bảo mật sở liệu (database security) Thầy người hướng dẫn tơi suốt q trình thực luận văn Luận văn hoàn thành với hướng dẫn tận tình Thầy tài liệu thầy cung cấp Tôi xin chân thành cảm ơn quý Thầy Cô khoa Công Nghệ Thông Tin, trường Đại Học Bách Khoa truyền đạt kiến thức q báu suốt khố học Tơi xin cảm ơn đồng nghiệp công ty FCGV chia công việc hỗ trợ mặt kỹ thuật để tơi hồn thành luận văn Tơi xin cảm ơn bạn học viên cao học CNTT K15, K2005, K2006 giúp đỡ đóng góp ý kiến việc hồn thành đề tài Cuối cùng, tơi xin cảm ơn gia đình hỗ trợ mặt tinh thần cho tơi suốt thời gian khố học, đặc biệt giai đoạn thực luận văn TĨM TẮT NỘI DUNG Trong giới thơng tin, số lượng liệu multimedia ngày lớn cần phải có phương thức để lưu trữ, đánh số tìm kiếm cách hiệu Đã có nhiều nghiên cứu liên quan đến lĩnh vực thập niên gần nhiều báo cáo mơ hình sở liệu video trình bày Hầu hết sở liệu video đại xếp video theo cấu trúc phân cấp nhằm tăng hiệu tổ chức khối lượng lớn liệu Bên cạnh đó, lĩnh vực quản lý truy xuất sở liệu đề tài quan tâm nghiên cứu nhiều thời gian gần Các nghiên cứu thường tập trung vào mức độ hiệu linh động mơ hình quản lý truy xuất Điều có nghĩa liệu truy xuất người xác nhận quyền công việc gán quyền thực cách dễ dàng xác Trong luận văn này, tác giả trình bày mơ hình sở liệu video kết hợp mơ hình sở liệu phân cấp việc sử dụng thích (annotations) với mở rộng sau đây: ¾ Mở rộng chế đánh số phân cấp video cổ điển cách thêm frame đối tượng đặc biệt (salient object) vào phân cấp nhằm tăng mức độ “nhuyễn” liệu việc phân quyền quản lý truy xuất liệu ¾ Bên cạnh đó, với việc sử dụng thích, tác giả cung cấp nhiều giải pháp để người sử dụng truy vấn video mà họ quan tâm dựa theo nội dung video (content-based retrieval) ¾ Ngồi ra, tác giả mở rộng mơ hình quản lý truy xuất sở liệu nguyên thuỷ để đáp ứng đặc trưng sở liệu video Mơ hình đề nghị hỗ trợ chế quản lý truy xuất đa luật - nghĩa người sử dụng chịu ảnh hưởng nhiều xác nhận quyền, quản lý truy xuất đa cấp - nghĩa xác nhận quyền định cấp độ video Keywords: video database models, content-based video retrieval, video database access control ABSTRACT The growing amounts of multimedia data available to the average user has reached a critical phase where methods for indexing, searching, and efficient retrieval are expressly needed to manage the information load Many researches related to this field have been conducted over some last decades and consequently, some video database models have been proposed Most of modern video database models make use hierarchical structure to organize huge amount of videos to support video retrieval efficiently Database access control is another interesting research area with many models reported In this thesis, we present a hybrid video database model which is a combination of hierarchical video database model and annotations using In particular, we extend the original hierarchical indexing mechanism to add frames and salient objects as the lowest granularity level in the video tree with the aim to support multi-level access control Beside that, with the use of annotations, we give users more solutions to query for their interesting videos based on the video contents (content-based retrieval) In addition, we also tailor the original database access control model to fit the characteristics of video data Our updated model supports both multiple access control policies, means a user may be affected by multiple polices, and multilevel access control, means an authorization may be specified at any video levels Keywords: video database models, content-based video retrieval, video database access control MỤC LỤC Chương PHÁT BIỂU VẤN ĐỀ .1 1.1 Giới thiệu .1 1.2 Đề tài nghiên cứu 1.3 Những kết nghiên cứu liên quan 1.4 Kết đạt đóng góp .5 Chương PHÂN TÍCH VÀ LƯU TRỮ DỮ LIỆU VIDEO 2.1 Định dạng lưu trữ liệu video 2.1.1 Các khái niệm video .6 2.1.2 Các phương pháp nén (compress) liệu video 2.1.3 Định dạng video MPEG-4 2.2 Phân đoạn video cách nhận dạng biên (shot boundary detection) 13 2.2.1 Một số phương pháp nhận dạng biên liệu chưa nén 14 2.2.2 Phương pháp nhận dạng biên liệu nén 15 2.2.3 Phương pháp xác định biên video shot dựa vào vector di chuyển 16 2.3 Rút trích key frame 20 2.4 Gom nhóm video shot 20 2.5 Tổ chức sở liệu video 21 2.5.1 Mơ hình sở liệu video phân cấp 21 2.5.2 Mơ hình sở liệu video tổng quát 23 Chương TRUY VẤN CƠ SỞ DỮ LIỆU VIDEO 25 3.1 Quản lý truy xuất (Access control) 25 3.2 Các chế truy xuất 30 3.2.1 Truy xuất theo truy vấn 30 3.2.2 Truy xuất lựa chọn 32 Chương MỞ RỘNG MƠ HÌNH CƠ SỞ DỮ LIỆU VIDEO 34 4.1 Mô hình sở liệu 34 4.2 Kiến trúc hệ thống sở liệu video 36 4.3 Mơ hình quản lý xác nhận quyền 38 4.4 Quản lý truy vấn sở liệu video 43 4.5 Quản lý phân quyền 48 Chương HIỆN THỰC VÀ ĐÁNH GIÁ 54 5.1 Hiện thực sở liệu 54 5.2 Quản lý truy xuất 55 5.3 Quản lý phân quyền 59 5.4 Kết đánh giá 60 Chương TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN 62 6.1 Tổng kết 62 6.3 Hướng phát triển đề tài 63 PHỤ LỤC A 64 TÀI LIỆU THAM KHẢO 70 DANH MỤC HÌNH Hình 1.1: Sơ đồ thực sở liệu video Hình 2.1: Việc lấy mẫu theo thời gian không gian video Hình 2.2 Encoder/Decoder Hình 2.3 Frame 10 Hình 2.4 Frame 10 Hình 2.5 Sự khác biệt 10 Hình 2.6 Tính tốn độ dịch chuyển 12 Hình 2.6 Chuỗi I-frame, B-frame P-frame 17 Hình 2.7 Frame DC với MC có trọng số 17 Hình 2.7 Mơ hình sở liệu video phân cấp 22 Hình 2.8 Mơ hình sở liệu video tổng qt 24 Hình 3.1 Mơ hình truy xuất theo truy vấn 25 Hình 3.2 Mơ hình truy xuất lựa chọn 26 Hình 3.3 Sơ đồ giải thuật quản lý truy xuất theo truy vấn 32 Hình 4.1 Mơ hình sở liệu video 35 Hình 4.2 Kiến trúc hệ thống sở liệu video 37 Hình 4.3 Đồ thị quan hệ nhóm người sử dụng 39 Hình 4.4 Đồ thị quan hệ nhóm đối tượng video 39 Hình 4.5 Mơ tả giải thuật 4.1 46 Hình 4.6 Một sở liệu video với tập hợp quyền 50 Hình 5.1 Màn hình chọn lựa video 55 Hình 5.2 Màn hình tìm kiếm video 56 Hình 5.3 Màn hình quản lý phân quyền 60 Chương PHÁT BIỂU VẤN ĐỀ 1.1 Giới thiệu Ngày liệu video (video data) trở thành thành phần quan trọng giới thông tin Với khối lượng liệu video khổng lồ, cần phải có chế lưu trữ truy xuất sở liệu video (video database - CSDL video) hiệu Bên cạnh đó, cần phải có chế bảo mật sở liệu này, đặc biệt kho liệu có tính chất đặc biệt quan trọng Vấn đề thứ việc tổ chức liệu video thô (raw video data) cách hiệu Dữ liệu có từ nhiều nguồn khác cần chuẩn hoá theo định dạng định Điều giúp truy xuất liệu nhanh Sau cần phải có chế nén (compress) liệu thô để giảm không gian lưu trữ khối lượng liệu thường lớn Ngoài ra, đặc trưng (feature) quan trọng liệu video cần rút trích (extract) để sử dụng cho công việc truy xuất sau Vấn đề thứ hai xây dựng chế truy xuất linh hoạt hiệu Để đạt tính hiệu quả, cần phải nghiên cứu kỹ thuật đánh số (indexing) Các kỹ thuật đánh số cổ điển thường dựa text (ví dụ tên video) Các phương pháp gặp nhiều hạn chế video nhiều người xem khác phân tích theo góc độ khác Các chế truy xuất CSDL video gần thường dựa nội dung video (content-based retrieval) Khuynh hướng nghiên cứu phát triển ngày nhằm tìm cách khắc phục hạn chế khả nhận dạng, phân loại máy tính Vấn đề thứ ba tính linh hoạt hiệu chế truyền liệu qua mạng Đây yêu cầu quan trọng hầu hết ứng dụng thực mạng máy tính Một đặc trưng khác liệu video phải thoả mãn yêu cầu thời gian thực 57 Danh sách video hình kết việc lọc theo giải thuật solve_query với video xếp theo thứ tự tăng dần “khoảng cách” video thơng số tìm kiếm mà người sử dụng nhập vào Các tiêu chuẩn tìm kiếm hệ thống hỗ trợ gồm có: từ khóa (keyword), nhóm video (video group), ngày sản xuất (produced date), kiện (event), nơi chốn (location), đối tượng (object), diễn viên (person), phụ đề (caption) hình ảnh (image) Cơng thức để tính khoảng cách video v thông số (k, g, d, e, l, o, p, c, i) tương ứng với thông số liệt kê phần sau: rank = rank ( k , v) * wk + rank ( g , v) * wg + rank (d , v) * wd + rank (e, v) * we + rank (l , v) * wl + rank (o, v) * wo + rank ( p, v) * w p + rank (c, v) * wc + (5.1) rank (i, v) * wi wk, wg, wd, we, wl, wo, wp, wc, wi tương ứng hệ số thông số Việc chọn lựa giá trị cho thông số chọn lựa dựa theo kết thống kê điều chỉnh lâu dài Trong luận văn, tác giả gán giá trị tất hệ số 1, có nghĩa thơng số có tầm quan trọng Kế tiếp tác giả trình bày cơng thức để tính tốn khoảng cách video v thông số rank(k,v) đánh giá khoảng cách chuỗi từ khóa cần tìm kiếm k video v Trước tiên, chuỗi từ khóa k phân tính thành từ khố riêng lẻ ki với ký tự phân cách khoảng trắng dấu câu Các từ khóa sau chọn lọc loại bỏ từ kết thúc, có nghĩa từ thường xun xuất khơng có ý nghĩa cho việc tìm kiếm “and”, “or”, “is”, “are”, … Kế tiếp, từ khóa ki (i = N) dùng để tìm kiếm tên phim, tên nhóm, kiện, nơi chốn, diễn viên, đối tượng liên quan đến phim v Nếu ki xuất biến Total_Exists tăng thêm Kết cuối cùng, rank(k,v) tính theo cơng thức: rank (k , v) = Total _ Exists N (5.2) 58 rank(g,v) tính theo cơng thức sau 1 if g belongs to the title of a video group that v belongs to rank ( g , v) =  0, otherwise (5.3) Tương tự, rank(e,v), rank(l,v), rank(o,v), rank(p,v) tính theo công thức sau: 1 if e belongs to the title of an event related to v rank (e, v) =  0, otherwise (5.4) 1 if l belongs to the title of a location related to v rank (l , v) =  0, otherwise (5.5) 1 if o belongs to the name of an object exists in v rank (o, v) =  0, otherwise (5.6) 1 if p belongs to the name of a person exists in v rank ( p, v) =  0, otherwise (5.7) rank(c,v) tính theo cơng thức tương tự rank(k,v) Tuy nhiên, caption video thường dài nên thời gian tìm kiếm lớn Để tăng hiệu suất việc tìm kiếm, caption video xử lý trước tách từ (token), loại bỏ từ kết thúc (stop word), tính tần xuất xuất Tần xuất xuất từ khố tính tốn theo nhiều công thức khác Tác giả sử dụng cơng thức tfc (term frequency component) [18] để tính tần xuất xuất từ ki video vj sau: kij = f ij * log( M M ) mi M ∑ [ f kj * log( m )]2 k k =1 (5.8) fij số lần mà từ khóa i xuất caption video j, M tổng số video, mi số video mà từ khóa i xuất Ý nghĩa cơng thức từ khóa 59 xuất nhiều lần số video có hệ số kij cao Giá trị rank(c,v) kij với i số từ khóa c j số video v rank(i,v) tính tốn việc sử dụng hàm evaluateScore có sẵn hệ quản trị sở liệu Oracle Với việc sử dụng kiểu liệu ORDImage để lưu trữ hình ảnh ORDImageSignature để lưu trữ đặc trưng hình ảnh, cơng thức rank(i,k) tính sau: rank (i, v) = − ∑ ORDSYS.ORDImageSignature.evaluateScore(i, I j , weight) 100 * M (5.9) Ij key frame video video v, M tổng số key frame video v, weight dùng để xác định thuộc tính cần quan tâm so trùng hai hình ảnh, weight có định dạng sau: “color=1.0,texture=0,shape=1.0,location=0” Hàm evaluateScore trả độ khác hai hình ảnh, hai hình hồn tồn trùng 100 hai hình hồn tồn khác 5.3 Quản lý phân quyền Hệ thống xây dựng cung cấp khả phân quyền cấp user user group, user cấp video video group, video, segment, scene, shot, segment object Hệ thống cung cấp chức kiểm tra đụng độ xảy người sử dụng thêm mới/thay đổi user/user group/video/video group thêm mới/thay đổi quyền (permission) Khi đụng độ xảy ra, hệ thống trả thông báo nơi xảy đụng độ, bao gồm thông tin thành phần video user/user group Hình 5.3 biểu diễn hình quản lý quyền 60 Hình 5.3 Màn hình quản lý phân quyền 5.4 Kết đánh giá Hệ thống xây dựng cung cấp phương thức truy xuất liệu linh hoạt, đặc biệt phương thức truy xuất theo truy vấn Hệ thống hỗ trợ việc tìm kiếm theo ngữ nghĩa (semantics-based querying) dựa event, location, person, object Ngoài ra, người sử dụng truy vấn video dựa theo nội dung (content-based retrieval) thơng qua màu sắc, hình ảnh phụ đề video Hệ thống cung cấp khả truy vấn theo metadata tên phim, tên nhóm, ngày sản xuất Về chế truy vấn chọn lựa, với cách tiếp cận tổ chức sở liệu video theo dạng phân cấp giúp tăng hiệu suất truy vấn dễ dàng việc hiển thị video 61 Cũng với cách tiếp cận tổ chức sở liệu dạng phân cấp, người sử dụng phân quyền với nhiều cấp độ khác video group, video, scene, shot Để tăng tính linh hoạt cho việc phân quyền đến mức đối tượng, tác giả thêm khái niệm video segment để tiết kiệm kích thước lưu trữ tăng khả truy xuất Bên cạnh tính linh động, hệ thống ln đảm bảo tính xác cho người sử dụng truy xuất video gán quyền mà thơi Hệ thống đảm bảo tính thống sở liệu cách kiểm tra đụng độ quyền 62 Chương TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN 6.1 Tổng kết Thông qua đề tài tác giả hiểu rõ lĩnh vực quản lý sở liệu video nói riêng bảo mật sở liệu nói chung Ngoài tác giả thu thập số kiến thức tổ chức lưu trữ, xử lý liệu multimedia chuẩn liệu MPEG-4, MPEG-7 Những công việc tác giả thực đề tài: ¾ Nghiên cứu chế lấy mẫu, mã hoá, nén, giải nén lưu trữ liệu video Bên cạnh tác giả nghiên cứu số chuẩn lưu trữ truy vấn liệu video MPEG-7, MPEG-21 ¾ Nghiên cứu kỹ thuật tiền xử lý liệu video phân đoạn, trích frame chính, đối tượng đặc biệt video ¾ Nghiên cứu mơ hình sở liệu video mà cụ thể mơ hình sở liệu video tổng qt mơ hình sở liệu video phân cấp Tác giả mở rộng mơ hình phân cấp thêm segment vào cấp cuối phân cấp để tăng mức độ nhuyễn thực quản lý phân quyền đối tượng đặt biệt hay frame Bên cạnh đó, với việc sử dụng thích, tác giả cung cấp nhiều giải pháp để người sử dụng truy vấn video quan tâm dựa theo nội dung video (content-based retrieval) ¾ Mở rộng mơ hình quản lý truy xuất nguyên thủy nhằm hỗ trợ chế quản lý truy xuất đa luật đa cấp - nghĩa hệ thống bao gồm nhiều xác nhận quyền xác nhận quyền ảnh hưởng đến nhiều người sử dụng video cấp độ khác 63 ¾ Xây dựng chương trình mơ sở liệu video hỗ trợ việc tìm kiếm theo ngữ nghĩa (semantics-based querying), theo nội dung (content-based retrieval) theo metadata Hệ thống hỗ trợ chế quản lý truy xuất đa luật đa cấp ¾ Xây dựng tập liệu video phục vụ cho hệ thống mô với nhiều video thuộc thể loại khác 6.2 Hướng phát triển đề tài Một số khía cạnh đề tài cần nghiên cứu phát triển: ¾ Nghiên cứu phát triển kỹ thuật xử lý liệu video tự động phân đoạn video, rút trích thơng tin phân loại video Do giới hạn mặt thời gian, giai đoạn luận văn tác giả tập trung nghiên cứu vào việc đánh số quản lý truy xuất liệu video nên chưa thực giai đoạn xử lý liệu ¾ Nghiên cứu mở rộng sở liệu video theo dạng phân bố nhằm đáp ứng nhu cầu truy vấn sở liệu video rộng rãi Để phục vụ dịch vụ phân bố, hệ thống cần phải cung cấp chế truyền nhận đệm (buffer) liệu hiệu đồng thời phải đảm bảo tính bảo mật truyền liệu qua mạng ¾ Xây dựng tập liệu video với khối lượng liệu lớn để kiểm tra hiệu suất truy xuất liệu đề nghị cải tiến hiệu suất hệ thống 64 PHỤ LỤC A Bài báo khoa học chấp nhận hội thảo DEXA2007 tạp chí IEEE A Novel Approach to Fine-grained Content-based Access Control for Video Databases Nguyen Anh Thy Tran FCGV Company HoChiMinh City, Vietnam t1tran@fcg.com ABSTRACT The growing amount of multimedia data available to the average user has reached a critical phase where methods for indexing, searching, and efficient retrieval are expressly needed to manage the information load In this paper, we present a hybrid video database model which is a combination of the hierarchical video database model and annotations using In particular, we extend the original hierarchical indexing mechanism to add frames and salient objects as the lowest granularity level in the video tree with the aim to support multi-level access control In conjunction, with the use of annotations, we give users more solutions to query for their interesting videos based on the video contents (content-based retrieval) In addition, we also tailor the original database access control model to fit the characteristics of video data Our updated model supports both multiple access control policies, means a user may be affected by multiple polices, and multilevel access control, means an authorization may be specified at any video levels INTRODUCTION The field of multimedia systems has experienced an extraordinary growth during the last decade Consequently, the design and implementation of video database systems has become a major topic of interest With the huge amount of video information stored in archives worldwide, video databases have been researched for many years to introduce some efficient ways to manage this kind of data Below are some criteria that a video database should satisfy: • The first thing that should be satisfied is how to organize raw video data efficiently It means the videos should be normalized to a standard form and compressed before being stored Tran Khanh Dang Faculty of CSE HCMC University of Technology HoChiMinh City , Vietnam dtkhanh@hcmut.edu.vn • Secondly, the video database access control scheme should be integrated with the database indexing structure in order that video database access control can be achieved more effectively • Thirdly, the flexibility and efficiency of transmitting video data through networks is an important consideration because most video databases are deployed over networks • Finally, control over the security of a video database system is important Videos can be illegally accessed while being transferred over the network, or accessed directly into the database To achieve the above requirements, this paper proposes a video database system that supports content-based retrieval and multilevel access control VIDEO DATABASE MODELS When very large video data sets come into view, video database models and indexing can no longer be ignored if one wants to support effective video retrieval and access control In this section, a hierarchical indexing technique is introduced and extended to support multi-level access control A Hierarchical video database model In order to control access efficiently, most video databases are designed as hierarchical structures such as the semantic cluster tree [1] Within this structure, video contents are first partitioned into a set of semantic clusters; each semantic cluster is then partitioned into a set of sub-clusters and each subcluster may consist of a set of sub-regions Using this indexing method, the system can handle multi-level access control efficiently A new proposed hierarchy video database with more granularity levels The above model has many advantages but it also has some limitations Firstly, the only video unit 65 supported is video shot while users often interested in the whole video contains a certain shots Secondly, the hierarchy tree is inflexible because in the case of extremely large databases, the tree level cannot be increased Thirdly, this model cannot support access control at a frame and salient object granularity level Finally, it loses most of the information needed for flexible content-based retrieval Even though clusters are high semantic level extracted from other information, we still need to remain those information such as captions, audios, images etc Given the above reasons, this paper suggests a new model as illustrated by figure 2.1 to tackle these issues To address the first restriction, two new video levels are introduced; video and scene, meaning that a complete video may contain some scenes and a scene contain some shots With this enhancement, a video database administrator can specify authorizations at video (most often), scene and shot levels This paper also proposes to modify the original hierarchy of the video tree to use video groups which consist of videos or other groups instead of clusters, subclusters and sub-regions With this amendment, the path from root to the leaves can be controlled with greater flexibility where new groups can be introduced or existing groups removed Figure 2.1 Extended video database Along with the two above amendments, it is suggested that a new video element at the lowest granularity level called video segment be introduced This element would prove very useful when applying access control to a frame or a salient object Consider the example in Figure 2.2, where there are two users A and B within the system A policy applies to user A that specifies that this user cannot view two frames (j+1)th and (j+2)th of video shot V In addition, there is another policy that restricts user B from seeing object named X of video shot V The easiest way to handle these two policies is to copy the whole video shot V to two appropriate versions However, this solution will impinge on memory space since video data is often huge Using segments is another solution which splits the video shot to certain segments and then copies the segments only when needed In this example, the video shot V is split into separate parts: (1) from the beginning to frame jth, (2) frames j+1 and j+2, (3) from frame (j+3)th to frame ith, (4) frames (i+1) and (i+2), (5) from frame (i+3)th to the end With this solution, we only need to copy the segment 5th, contains only two frames, into two versions #1, with original X object, and #2, with blurred X object Then, when user A requires this video shot, the system will display the 1st, 3rd, 4th- version #1 and 5th segments while user B sees 1st, 2nd, 3rd, 4th –version #2 and 5th segments Frames j+1 and j+2 are invisible to the user A Object X is blurred under user B’s angle j i+1 i+2 i+3 i+4 j+1 j+2 j+3 i X Frame sequence of video shot V Figure 2.2 Segment example The final adjustment is related to annotations Since information in videos is quite "raw" and dispersed, it is almost impossible to achieve contentbased access to videos unless some additional information is available In order to enable flexible and intelligent access to videos, we somehow need to extract "keywords" which describe contents of videos Typically "keywords" are useful for contentbased access to videos include information on: • what/who appears in the video, • when the video was broadcast/recorded, • where the video was recorded, • what the video is about, etc In order to achieve this goal, added annotations are required such as object annotation, person annotation, location annotation, event annotation, caption and image AN ACCESS CONTROL MODEL In this paper, a content-based access control model is suggested which is reliant upon high level features extracted during the video processing stage The goal of the system is to provide a flexible framework that can support different security levels against the video database 66 Query request QUERY ENGINE Authorized video Query result AUTHORIZATION Video Database Permission Database USER Granting permissions AUTHORIZATION MANAGEMENT Figure 3.1 Video database access control architecture The architecture of the system is illustrated in figure 3.1 with three main components The authorization component is responsible for filtering authorized videos while the query engine searches for interesting videos that a user has requested The final component, authorization management, handles granting permissions and ensures the consistency and integrity of the video database system 3.1 THE AUTHORIZATION MODEL In this section, an authorization model based on the flexible authorization model suggested by E.Bertino and S Jajodia in [1] is introduced The model provides both multiple access control polices and a multi-level access control mechanism This model also allows the administrator to specify multiple authorizations over any users or user groups (named subject of the authorization) against any video level such as videos, scenes or video shots Notations and definitions This new model manages access control via authorizations The subject of each authorization is a user or a user group A group can contain some users and/or other user groups The relationship between a subject s and a user group Gk can be either direct or indirect [1] If s is a member of Gk, we count this relationship as direct, written s ∈1 Gk In contrast, the relationship is indirect, written s ∈n Gk, n > 1, if there exists a sequence , such that s1 = s, sn+1 = Gk and si∈1 si+1, ≤ i ≤ n The sequence is called a membership path of s to Gk, written mp(s,Gk) Let MP(s, Gk) represent a set of memberships of s to Gk, either direct or indirect In a similar fashion to users, the video content of our system is also organized into an extended tree structure Let V, VG and VO represent the videos, video groups and video objects (frames or salient objects) respectively A video group can contain videos and other video groups We use v ∈k vg to denote the relationship where v belongs to vg with a relationship type that is direct (k = 1) or indirect (k > 1) We use mp(v,vg) to represent the membership path of v to vg and MP(v,vg) stands for the set of all paths of v to vg G1 VD G2 A G4 G3 B C VE1 VG1 VG2 VG3 VG4 VE2 VE3 VE4 VE5 Figure 3.2 (a) user tree and (b) video tree Authorization handles whether a user or user group can access (positive authorization) or cannot access (negative authorization) a video element The authorization model within this paper is based upon the multi-level video access control model described in [14] However, within this new system, the target of each authorization can be a node on the video content tree instead of a single table Also supported are two kinds of authorization called hard (authorization that cannot be overridden) and soft (authorization that can be overridden) Let U denote all users, G the set of user groups, S = U ∪ G the set of all subjects, V the set of video contents, VG the set of video groups, VD = V ∪ VG ∪ VO the set of all video elements, AZ the set of all authorizations in our system Authorizations can be defined as follows Definition 3.1 (Authorizations) An authorization is a 5-tube of the form (s, v, pt, g, at) where s ∈ S, v ∈ VD, pt ∈ (+, -), g ∈ U, at ∈ {soft, hard} The authorization states that s has been granted (if pt = “+”) or denied (if pt = “-”) access permission on the video element v by user g with authorization type is at (soft or hard) Given an authorization a, let s(a), v(a), pt(a), g(a), at(a) denote the subject, target, access type, grantor and authorization type, respectively Since a user can belong to a number of different user groups, he or she can be affected by multiple authorizations and some of them have opposite access types over a video element With this in mind we need to define rules to decide which authorization has priority Our overriding authorization model is a user-driven one, meaning it prioritizes the authorizations based on the relationship between their subjects The authorization that has a more detailed subject will have higher priority 67 Definition 3.2 (Overriding authorization) Consider pi and pj which are two different authorizations, pi overrides pj over user s against video element ve, written pi >s,ve pj, s ∈m s(pi), s ∈n s(pj), m,n ≥ 0, ve ∈l v(pi), ve ∈k v(pj), l, k ≥ 0, if any of the following conditions is satisfied: • at(pi) > at(pj), means at(pi) = hard and at(pj) = soft • at(pi) = at(pj) and s = s(pi), s != s(pj) • at(pi) = at(pj) and (∀mp ∈ MP(s, s(pj)): s(pi) ∈ mp or ∃s’ ∈ mp, ∃ p’ ∈ AZ, s’ ≠ s(pj), s’ ∉k s(pi), p’ >s’,ve pj) The above definition can be explained as the following: • pi overrides pj if the authorization type of pi is hard while pj’s authorization type is soft • pi overrides pj if pi and pj have the same authorization type and pi is applied over s directly while pj is not • pi overrides pj if pi and pj have the same authorization type and for all membership path mp of s to s(pj), either s(pi) ∈k mp or exists s’ ∈ mp, p’ ∈ AZ and p’ override pj over user s against video element ve Definition 3.3 (Conflict) Two authorizations pi and pj are in conflict with respect subject s and video element v, written pi s,v pj, with s ∈m s(pi), s ∈n s(pj); v ∈l v(pi), v ∈k v(pj); i, j, l, k ≥ 0, iff pt(pi) ≠ pt(pj) and neither pi >s,v pj nor pj >s,v pi Within the proposed system, conflicts are avoided by validating any actions that may cause the potential conflict to occur The detail of this validation will be described in section 3.3 Authorization algorithm To make sure users can only view video contents they are permitted to access, this paper suggests an algorithm to retrieve the appropriate videos based on the actor and the set of authorizations on the system Definition 3.4 (Video database projection) The projection of a video database VD with respect to a video element ve, written ∏ve(VD), is a set of video vei such that vei ∈k ve, k ≥ It means ∏ve(VD) only contains the child nodes of ve in the hierarchical video tree In some places, VD is omited and we use ∏ve stands for ∏ve(VD) ∏ve(VD) = {v: v ∈ VD, v ∈k ve, k ≥ 0} (3.1) Definition 3.5 (Video database prune) Consider a set of videos VS = {ve1, ve2, …, ven}, the result after VS is pruned, written ∠(VS), is a set that contains the elements of VS and each one is not a child of any other elements inside VS It can be described formally as follow ∠(VS) = VS - {vi:vi∈VS, ∃vj∈VS, vi∈kvj,k>0} (3.2) Next is the algorithm to filter the list of video contents that a user can access Firstly, it will get all video elements granted to the user by positive authorizations Then, it collects the video elements that are inaccessible to that user This list contains all video elements was granted by negative authorizations except the video contents that the negative authorization is overridden by a positive one Algorithm 3.1: Filter user accessible videos INPUT: Id of the user, u OUTPUT: AV (authorized video) – list of accessible videos METHOD authorizeVideo(u) initialize AV to be empty let pos_permission and neg_permission are lists of positive and negative permissions respectively let UV is a list of videos that the user cannot access let TV is a temporary list of videos for each permission p ∈ P if (u ∈k s(p)) then if (pt(p) = +) then add p to pos_permission else add p to neg_permission for each permission p+ ∈ pos_permission AV = AV ∪ v(p+) for each permission p- ∈ neg_permission { uv = v(p-) for each permission p+ ∈ pos_permission { TV = ∠(∏v(p+) ∩ ∏v(p-)) for each video element ve ∈ TV if (p+ >u,ve p-) then uv = uv – ve } UV = UV ∪ uv } AV = ∠(AV – UV) return AV END authorizeVideo 3.2 QUERY ENGINE (VIDEO RETRIEVAL) This component collects requests from end users and searches through the authorized videos to retrieve those relevant and returns them to the users The query engine must be reliable, meaning that users can only access those videos to which they have been granted permission The component must also be flexible, in order to support various means for the users to reach their interesting videos Bertino suggested a system to support two access methods named querying and browsing [1] Querying mode Under the querying mode access control, a user submits a query to obtain access to a video element A query is a n-dimension tube (x1, x2, …, xn) of 68 which xi, i=1 n is a value of the feature ith Below is the algorithm to retrieve video elements based on the features input Algorithm 3.2 Querying access control mode INPUT: Id of the user, u A query with (x1, …, xn) format where xi is a feature’s value OUTPUT: AIV (authorized interesting video) – set of authorized filter video elements METHOD queryVideo(u, (x1, …, xn)) AV = authorizeVideo(u) if (AV is empty) then AIV = empty else AIV = solve_query(request, AV) return AIV END queryVideo This access control procedure consists of two main steps: (1) Firstly, it narrows the search space by filter a list of videos the user can access; (2) Secondly, it calculates all matching ranks between each video element in the AV list and the input query Then, the system returns the result which will be videos ordered by their similarities with the input query ‘Solve_query’ takes x = (x1, x2, …, xn) as an input and calculates the similarity between the x vector and each authorized video Then, it only keeps N videos which have the highest similarity measures which exceed a predefined threshold Browsing mode Under the browsing access control mode, a user browses and navigates through video groups without specify searching criteria Browsing refers to a technique or a process where users skip through information rapidly and decide whether the content is relevant to their needs Browsing video databases should be like scanning the table of contents and indices of a book to quickly get a rough sense of content and gradually focus on particular chapters or sections of interest 3.3 AUTHORIZATION MANAGEMENT The main purpose of this component is to maintain the consistency and integrity of the system It is responsible for validating all actions that may cause unsolvable conflicts to occur With two types of authorization – soft and hard, we may have three kinds of relationship between the authorizations: hard – hard, hard – soft and soft – soft The second relationship (hard - soft) cannot be a conflict because a hard authorization always overrides a soft one In addition, to prevent the conflicts between hard authorizations, this newly proposed system would only accept negative hard authorization Finally, there is only the last relationship, soft – soft, needed to be verified for conflicts Below are three actions that may cause a conflict to occur: • Adding a new authorization • Adding an existing user subject to a group • Adding an existing video element to a group • Deleting an existing authorization For each kind of action, we suggest a different algorithm to check confliction individually Check confliction when adding a new authorization When a new authorization p(s, v, pt, g, at) is added to the system, a conflict may occur over s’ children nodes in the user tree Consequently, the system must verify confliction between p and each authorization p’ affects any children of s Check confliction when adding an existing user subject to a group When adding an existing user or user group s to another user group g, s will inherit all authorizations affecting g Thus, we need to check conflict between a set containing the authorizations affecting g, named GP, and another set SP containing the authorizations affecting s and its children Check confliction when adding an existing video element to a group Assuming we are adding an existing video element v to a video group vg The fact that two authorizations p1 and p2 can only conflict if they affect at least one common video, means we only verify confliction between the authorizations affecting v and all its child nodes in the video tree Check confliction when deleting an authorization When an authorization p is deleted, subject s(p) and its children will be affected again by the authorizations p’ which was overriden by p Hence, we must verify confliction between all authorizations p’ that currently affect to s(p) and the authorizations affect to s(p)’s children CONCLUSION AND FUTURE WORK In this paper, an approach has been proposed to support both multiple access control policies and a multilevel access control mechanism This technique combines video indexing mechanisms with a hierarchical organization of video contents, in order that different classes of users can access different video elements or even the same video element based on their permissions This multi-level video access 69 control mechanism approach employs a cluster-based indexing technique It has also proposed certain common key features such as text, caption, audio etc to provide flexible query against the video database Future work includes comprehensive testing of the proposed models and the implementation of the materialization approach for performing access control REFERENCES [1] E Bernito, J Fan, E Ferrari, M-S Hacid, A.K Elmagarmid, X Zhu: A Hierarchical Access Control Model for Video Database Systems, ACM TOIS, 21(2), 2003, 157-186 [2] S Deb: Video Data Management and Information Retrieval, IRM Press, 2005 [3] I.E.G Richardson: H.264 and MPEG-4 Video Compression, John Wiley & Sons, 2003 [4] J-Y Zhang: Advances in Image and Video Segmentation, IRM Press, 2006 [5] B-L Yeo, B Liu: Rapid Scene Analysis on Compressed Video, IEEE Trans Circuits & Systems for Video Technology, 5(6), 1995, 533-544 [6] H-J Zhang, A Kankanhalli, S Smoliar, S Tan: Automatically Partitioning of Full-Motion Video, Multimedia Systems, 1(1), 1993, 10-28 [7] R Hjelsvold, R Midtstraum: Modelling and Querying Video Data, VLDB 1994, pp 686-694 [8] J Calic, E Izuierdo: Efficient Key-Frame Extraction & Video Analysis, Proc Intl Conf on Information Technology: Coding & Computing, 2002 [9] H Kosch: Distributed Multimedia Database Technologies Supported by MPEG-7 and MPEG-21, CRC Press, 2003 [10] B Furht, O Marques: Handbook of Video Databases: Design and Applications, Taylor & Francis Group, 2005 [11] H.J Zhang: Content-based Video Browsing and Retrieval, CRC Press, 1999 [12] N Adam, V Atluri, E Bertino, E Ferrari: A Content-based Authorization Model for Digital Libraries, IEEE TKDE, 14(2), 2002, 296-315 [13] A Baraani-Dastjerdi, J Pieprzyk, R SafaviNaini: A Multi-level View Model for Secure Objectoriented Databases Data & Know Eng, 23(2), 1997, 97-117 [14] E Bernito, S Jajodia, P Samarati: Supporting Multiple Access Control Policies in Database Systems, IEEE Symp on Security & Privacy, 1996, pp 94-107 70 TÀI LIỆU THAM KHẢO [1] Elisa Bernito, Jianping Fan, Elena Ferrari, Mohand-Said Hacid, Ahmet K Elmagarmid and XingQuan Zhu, A Hierarchical Access Control Model for Video Database Systems, ACM Inc, 2003, pp 157-186 [2] Sagamaey Deb, Video Data Management and Information Retrieval, University of Southern Queensland - Australia, 2005, pp 193-217 [3] Iain E G Richardson, H.264 and MPEG-4 Video Compression, The Robert Gordon University, Aberdeen, UK, 2003, pp 1-127 [4] Ju-Ying Zhang, Advances in Image and Video Segmentation, Tsinghua University, Beijing, China, 2006, pp 113-188 [5] Chen J., Taskiran C., Albiol A., Delp E., & Bouman C, A Video Indexing and Browsing Environment, Proceedings of SPIE/IS&T Conf Multimedia Storage and Archiving Systems IV, 1999, pp 11-15 [6] Yeo B and Liu B., Rapid Scene Analysis on Compressed Video, IEEE Trans.Circuits and Systems for Video Technology, 1999, 1-6 [7] Zhang H.-J., Kankanhalli A., Smoliar S and Tan S., Automatically Partitioning of Full-motion Video Multimedia Systems,1993, pp 3-15 [8] Rune Hjelsvold, Roger Midtstraum, Modelling and Querying Video Data, Norwegian Institute of Technology, 1994, pp 1-9 [9] Janko Calic, Ebroul Izquierdo, Efficient Key-frame Extraction and Video Analysis, University of London, 2000, pp 1-9 [10] Harald Kosch, Distributed Multimedia Database Technologies Supported by MPEG-7 and MPEG-21, Harald Kosch, 2004, pp 11-135 71 [11] Borko Furht, Oge Marques, Handbook of Video Databases: Design and Applications, Auerbach Publications, 2004, pp 1-4 [12] Zhang H J., Content-based Video Browsing and Retrieval, CRC Press, Boca Raton, Florida, USA, 1999, pp 2-12 [13] Adam N., Atluri V., Bertino E., and Ferrari E., A Content-based Authorization Model for Digital Libraries IEEE Tran Know Data Eng 2002, 1-9 [14] Baraani-dastjerdi A., Pieprzyk J., A Multi-level View Model for Secure Objectoriented Databases Data Knowl Eng, 2003, pp 2-15 [15] Chang S F., Chen W., Zhong, D., A Fully Automatic Content-based Video Search Engine Supporting Spatiotemporal Queries IEEE Trans Circ Syst Video Tech, 1998, 1-4 [16] K Hoashi, M Sugano, M Naito, K Matsumoto, F Sugaya, and Y Nakajima, Shot Boundary Determination on MPEG Compressed Domain and Story Segmentation Experiments for TRECVID 2004, KDDI R&D Laboratories, 2004, pp 7-12 [17] Elisa Bernito, Sushil Jajodia, Pierangela Samarati, Supporting Multiple Access Control Policies in Database Systems, 1-14 [18] Trần Minh Quang, Phân loại văn phương pháp định, Luận văn cao học trường Đại học Bách Khoa, 2004, pp 13-20 ... hình sở liệu video tổng quát 23 Chương TRUY VẤN CƠ SỞ DỮ LIỆU VIDEO 25 3.1 Quản lý truy xuất (Access control) 25 3.2 Các chế truy xuất 30 3.2.1 Truy xuất theo truy. .. mơ hình sở liệu video có sẵn mơ hình sở liệu video tổng qt, mơ hình phân cấp chế quản lý truy xuất, bảo mật sở liệu nói chung sở liệu video nói riêng ¾ Thiết kế mở rộng mơ hình sở liệu video nhằm... (target_elements(F2) ∩ Πve(VD)), ve’’