Bài giảng cơ sở dữ liệu chỉ mục và tìm kiếm ảnh

Bài CHỈ MỤC VÀ TÌM KIẾM ẢNH PGS.TS. Đặng Văn Đức dvduc@ioit.ac.vn Hà Nội - 2005/14 Nội dung       dvduc-2005/14 Giới thiệu Tìm kiếm ảnh sở văn Tìm kiếm ảnh sở màu Tìm kiếm ảnh sở hình dạng Tìm kiếm ảnh sở hoa văn Kết luận Bài 6: Chỉ mục tìm kiếm ảnh 2/40 1. Giới thiệu  Nhắc lại kiến trúc CSDL đa phương tiện User Answer Query Multimedia Query Engine Document Index dvduc-2005/14 Image Index Bài 6: Chỉ mục tìm kiếm ảnh Audio Index Video Index 3/40 Giới thiệu  Nhắc lại loại liệu đa phương tiện image di u a o text Once upon a time, there was a little . video dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 4/40 Giới thiệu  Khung làm việc hệ thống CSDL ảnh dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 5/40 Giới thiệu   Có nhiều nghiên cứu mục tìm kiếm ảnh lĩnh vực âm video. Các tiệm cận số hóa tìm kiếm ảnh bao gồm:  Trên sở thuộc tính có cấu trúc, trích chọn thủ công  Trên sở tự động nhận dạng đối tượng  Trên sở văn mô tả ảnh  Trên sở đặc trưng ảnh mức thấp trích chọn tự động.   Tổ hợp đặc trưng để có số hóa tìm kiếm hiệu quả.   Ví dụ đặc trưng ảnh sở màu, hình dạng hoa văn ảnh. Ví dụ, sử dụng màu không phân biệt ôtô đỏ táo đỏ Vấn đề  Chỉ mục tự động hay mô tả thủ công  Các đặc trưng hay khái niệm ngữ nghĩa. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 6/40 2. Tìm kiếm ảnh sở văn       Ảnh mô tả free text. Câu truy vấn hình thức từ khóa hay văn có toán tử Bool. Mô tả ảnh thủ công, việc tự động hiểu ảnh không thể. Sử dụng sở tri thức phản hồi tìm kiếm ảnh. Ưu điểm  Có thể thu thập khái niệm trừu tượng mức cao  Ví dụ: Mô tả “smile”, “happy” có ảnh. Nhược điểm  Một vài đặc trưng mức thấp hoa văn (texture) hình dạng không đều, . khó mô tả văn chủ quan.  Hệ thống tìm kiếm ảnh sở text không chấp nhận câu truy vấn ảnh (ví dụ “Hãy tìm ảnh tương tự ảnh này”). dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 7/40 Mô tả ảnh văn  Dễ dàng mô tả văn với số loại ảnh Who: người, Chirac-Mendela, Tổng thống. What: Bắt tay, Đồng ý. Where: Thảm đỏ, Ngoài trời, Điện Elysée. When: Ban ngày, tháng 7/1997.  Khó mô tả văn với số loại ảnh dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 8/40 Mô tả ảnh văn  Khó mô tả văn với số loại ảnh What? Who? dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 9/40 3. Tìm kiếm ảnh sở điểm ảnh   Đây kỹ thuật hay sử dụng hệ thống tìm kiếm ảnh theo nội dung. Khái niệm ảnh đa mức xám   Là ma trận điểm ảnh, điểm ảnh có giá trị mức xám từ đến 255 Chuyển đổi ảnh mầu RGB ảnh đa mức xám  Ảnh màu C(i, j) với i∈[1, M], j∈[1, N]  Ảnh đa mức xám A(i, j) có giá trị mức xám i, j (i∈[1, M], j∈[1, N]) sau: A(i, j) = w1.R(i,j)+w2.G(i,j)+w3.B(i,j), đó: w1+w2+w3=1  Công thức hay sử dụng: 1 A(i, j ) = R (i, j ) + G (i, j ) + B (i, j ) 3 dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 10/40 Tìm kiếm ảnh sở hình dạng   Một số khái niệm liên quan  Trục chính: Đoạn thẳng nối hai điểm xa biên đối tượng  Trục phụ: Đoạn thẳng vuông góc với trục chính. Cùng với trục chính, hình thành chữ nhật bao đối tượng  Chữ nhật sở: Hình thành trục trục phụ  Độ lệch tâm: Tỷ lệ trục trục phụ. Các độ đo hình dạng hình thành biểu diễn thô hình dạng  Có thể sử dụng để làm mục tìm kiếm hình dạng  Thông thường sử dụng với đặc trưng khác hình dạng.  QBIC (IBM) sử dụng vùng hình dạng, hướng trục chính, mômen bất biến để mục tìm kiếm ảnh sở hình dạng. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 26/40 4.1 Moment hình dạng   Moment sử dụng để nhận biết ảnh sử dụng nhiều hệ thống tìm kiếm ảnh. Định nghĩa:  Cho trước ảnh f(x,y) với kích thước [1,n]x[1,l]  Moment bậc (p+q) định nghĩa n  l m pq = ∑∑ x y f ( x, y ) p q Moment trung tâmx = y =1định nghĩa sau: (x,y) - tọa độ điểm ảnh f(x,y) – cường độ điểm ảnh µ pq = ∑∑ ( x − x) p ( y − y ) q f ( x, y ) x y Trong đó, dvduc-2005/14 m10 m01 x= y = m00 m00 Bài 6: Chỉ mục tìm kiếm ảnh 27/40 Moment hình dạng  Moment trung tâm chuẩn hóa tính sau η p ,q =  µ p ,q µ 0( ,p0 + q + ) / Người ta chứng minh moments sau bất biến với dịch chuyển, co dãn xoay φ1 = η 20 + η 02 φ2 = (η 20 − η 02 ) + 4η112 φ3 = (η30 − 3η12 ) + (3η 21 − η 03 ) φ4 = (η30 − η12 ) + (η 21 − η 03 ) [ )[3(η φ5 = (η30 − 3η12 ) + (η30 − η12 ) (η30 − 3η12 ) − 3(η 21 + η 03 ) + (3η 21 − η 03 )(η 21 − η 03 [ 2 − η ) − ( η − η ) 30 12 21 03 ] ] ] φ6 = (η 20 − η 02 ) (η30 + η12 ) − (η 21 + η 03 ) + 4η11 (η30 − η12 )(η 21 − η 03 ) dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 28/40 Moment hình dạng φ7 = (3η 21 − 3η30 ) + (η30 + η12 )[ (η30 + η12 ) − 3(η 21 + η 03 ) ] [ + (3η12 − η 30 )(η 21 + η 03 ) 3(η 30 + η12 ) − (η 21 + η 03 )   ] Sử dụng moment φ1 . φ7 để mô tả hình dạng Khoảng cách Euclidean mô tả hình dạng sử dụng khoảng cách hai hình dạng   Trong số trường hợp, moments tương tự không đảm bảo cho hình dạng tương tự. Hiệu mục tìm kiếm sở moment hình dạng không cao. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 29/40 4.2 Bộ mô tả Fourier (Fourier Descriptor - FD)  Trong phương pháp sở mô tả Fourier (FD), hình dạng biểu diễn hàm đặc trưng f(t) (gọi shape signature)   Áp dụng biến đổi Fourier rời rạc hàm đặc trưng f(t) để có FD hình dạng Các FDs sử dụng để mục tính toán hình dạng Fu = N N −1 ∑ t =0  − j 2πut  f (t ). exp   N  đó, u=0, 1, ., N-1; N tổng số mẫu f(t). dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 30/40 Bộ mô tả Fourier (Fourier Descriptor - FD)   Có nhiều loại hàm đặc trưng, ví dụ  Trên sở đường bao  Trên sở bán kính  Trên sở tọa độ biên. Hiệu hệ thống sử dụng ba loại hàm đặc trưng không khác nhiều. Tuy nhiên, hàm đặc trưng sở bán kính có cài đặt đơn giản hơn.  Hàm đặc trưng bán kính bao gồm khoảng cách có thứ tự từ tâm hình dạng đến điểm biên (gọi bán kính) đó, (xc, yc) tọa độ tâm hình dạng. (x i, yi) với i=0 63 tọa độ 64 điểm mẫu dọc theo biên hình dạng. ri = ( xc − xi ) + ( yc − yi ) dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 31/40 Bộ mô tả Fourier  Sau biến đổi Fourier hàm đặc trưng bán kính, ta tính véctơ đặc trưng sau để mục hình dạng.     F1 F63  x= , .,  F0   F0 Véctơ đặc trưng x (bộ mô tả Fourier - FD) bất biến với dịch chuyển, co dãn xoay. Độ đo khoảng cách hai véctơ đặc trưng sử dụng: Euclidean Không sử dụng trực tiếp bán kính để mục hình dạng khó chuẩn hóa xoay co dãn. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 32/40 Bộ mô tả Fourier  Ví dụ hàm đặc trưng hình dạng khác  Góc tích lũy ϕ (t ) = [θ (t ) − θ (0)] . mod( 2π ) ϕ(t) y z(t) z(0) θ(0)  dvduc-2005/14 A(t ) = | x1 (t ) y2 (t ) − x2 (t ) y1 (t ) | x Hàm diện tích Bài 6: Chỉ mục tìm kiếm ảnh θ(t) 33/40 4.3 Tìm kiếm ảnh sở vùng   Ý tưởng:  Phủ lưới hình vuông vùng hình dạng  Gán cho tế bào bị lưới phủ 25%, gán cho tế bào lại.  Hình dạng biểu diễn dãy nhị phân. Nhận xét:  Kích thước tế bào nhỏ xác đòi hỏi tính toán nhiều hơn. x y dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 34/40 Tìm kiếm ảnh sở vùng  Chuẩn hóa xoay  Sắp đặt hình dạng vào hướng chung  Xoay hình cho trục song song với trục x trục y (có thể theo cách, tùy thuộc vào cài đặt chương trình) x A x B A y B y  dvduc-2005/14 Giải pháp giảm dung lượng nhớ CSDL: Biểu diễn hình dạng câu truy vấn hai dãy nhị phân. Bài 6: Chỉ mục tìm kiếm ảnh Hình 6.5 35/40 Tìm kiếm ảnh sở vùng  Chuẩn hóa co dãn   Co dãn hình dạng cho trục chúng có độ dài cố định (192 pixels). Đo độ tương tự  R R’ véctơ hàng hai ảnh  C C’ véctơ cột hai ảnh  Tính toán độ tương tự theo trình tự sau:  Tính toán véctơ hàng cột vùng ảnh truy vấn  Tìm khác biệt hàng cột vùng hai ảnh Rd = Σi (|Ri − Ri’ |) Cd = Σi (|Ci − Ci’|) Trong đó, Rd Cd hiệu số hàng cột hai ảnh Ri Ci bit thứ i véctơ ảnh thứ Ri’ Ci’ bit thứ i véctơ ảnh thứ hai.  dvduc-2005/14 Nếu (Rd+Cd) < T (ngưỡng) hai ảnh tương tự. Bài 6: Chỉ mục tìm kiếm ảnh 36/40 5. Tìm kiếm ảnh sở hoa văn    Hoa văn (texture) đặc trưng khó mô tả cảm nhận chủ quan. Sáu đặc trưng (Tamura et al):  tính thô (coarseness),  tính tương phản (contrast),  tính theo hướng (directionality),  tính tương tự đoạn thẳng (line likeness),  tính đặn (regularity)  tính gồ ghề (roughness). Tính toán định lượng đặc trưng hoa văn khó khăn. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 37/40 7. Kết luận        Chỉ mục tìm kiếm ảnh chủ đề nghiên cứu nhiều có nhiều kết nhất. Các tiệm cận mục tìm kiếm ảnh Tìm kiếm ảnh sở văn mô tả Biểu đồ màu tìm kiếm ảnh sở biểu đồ màu Tìm kiếm ảnh sở hình dạng Tìm kiếm ảnh sở hoa văn Nhu cầu nghiên cứu nâng cao hiệu mục tìm kiếm ảnh. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 38/40 Câu hỏi ôn tập    Mô tả bốn tiệm cận để tìm kiếm ảnh. Ưu điểm nhược điểm chúng gì? Mô tả nguyên lý kỹ thuật tìm kiếm ảnh sở màu sở. Các hạn chế kỹ thuật tìm kiếm ảnh sở màu sở? Mô tả phương pháp để vượt qua hạn chế này.  Trình bày ưu điểm nhược điểm phương pháp tìm kiếm ảnh sở biểu đồ màu tích lũy.   Những tiêu chí biểu diễn hình dạng phù hợp với tìm kiếm mục ảnh? Mô tả phương pháp biểu diễn hình dạng sở mô tả Fourier với hàm đặc trưng bán kính. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 39/40 Câu hỏi ôn tập  Hãy xây dựng dãy nhị phân cho hình dạng tính toán khoảng cách hai hình dạng này. Hãy tạo lập giả thiết phù hợp cho kích thước lưới độ dài chuẩn trục chính.  Liệt kê đặc trưng ảnh áp dụng MMDBMS mà anh/chị biết. dvduc-2005/14 Bài 6: Chỉ mục tìm kiếm ảnh 40/40 Câu hỏi? [...]... ảnh Có thể tách tự động Mỗi ảnh trong CSDL được chỉ mục bởi biểu đồ màu của nền và của cận cảnh dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 21/40 4 Tìm kiếm ảnh trên cơ sở hình dạng dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 22/40 Tìm kiếm ảnh trên cơ sở hình dạng  Để tìm kiếm được ảnh trên cơ sở hình dạng, cần   Biểu diễn hình dạng   Phân đoạn ảnh thành các đối tượng độc lập bằng kỹ thuật nào... để làm chỉ mục và tìm kiếm hình dạng  Thông thường nó được sử dụng cùng với các đặc trưng khác của hình dạng  QBIC (IBM) sử dụng vùng hình dạng, hướng trục chính, và các mômen bất biến để chỉ mục và tìm kiếm ảnh trên cơ sở hình dạng dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 26/40 4.1 Moment hình dạng   Moment được sử dụng để nhận biết ảnh và được sử dụng trong nhiều hệ thống tìm kiếm ảnh Định... nhóm màu) và được tính bởi: 3 K=m =16x16x16=4096  Biểu đồ màu H(M) của ảnh kích thước M.N là véctơ H(M)=(h1, h2, , hj, , hK-1), với  dvduc-2005/14 hj = , trong đó nj là tổng số pixel ảnh rơi vào bin thứ j j n M N Vectơ này được lưu trữ để làm chỉ số của ảnh Bài 6: Chỉ mục và tìm kiếm ảnh 12/40 Tìm kiếm ảnh trên cơ sở biểu đồ mầu  Ví dụ biểu đồ màu dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 13/40.. .Tìm kiếm ảnh trên cơ sở biểu đồ màu  Khái niệm biểu đồ (histogram) đa mức xám  Biểu đồ đa mức xám của ảnh kích thước M.N là véctơ H=(h0, h2, , hj, , h255), với hj = n j , trong đó nj là tổng số pixel nhận giá trị j M N Lena Söderberg dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 11/40 Tìm kiếm ảnh trên cơ sở biểu đồ màu  Với ảnh màu:   Có thể xử lý riêng rẽ từng màu Phương pháp:  Mỗi ảnh biểu... thuật cơ sở sẽ cho kết quả là ảnh thứ 2 gần giống ảnh thứ 3 dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 20/40 Tách biểu đồ màu nền và đối tượng   Lu và Phillips đề xuất việc tính tách biệt biểu đồ mầu của nền và của cận cảnh Việc tách nền khỏi cận cảnh không nhất thiết phải thật chính xác    Cận cảnh có thể là chữ nhật nhỏ nhất chứa các đối tượng ảnh Có thể tách tự động Mỗi ảnh trong CSDL được chỉ. .. các ảnh Normal Histogram dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 18/40 3.3 Biểu đồ màu cục bộ    Biểu đồ màu toàn cục không tính đến phân bổ không gian của màu trên toàn bộ ảnh Cặp ảnh có biểu đồ màu toàn cục giống nhau, nhưng có thể hoàn toàn khác nhau Giải pháp:  dvduc-2005/14 Chia ảnh thành các vùng với số điểm ảnh cố định, tính biểu đồ màu cục bộ cho từng vùng Bài 6: Chỉ mục và tìm kiếm ảnh. .. tích Bài 6: Chỉ mục và tìm kiếm ảnh θ(t) 33/40 4.3 Tìm kiếm ảnh trên cơ sở vùng  Ý tưởng:   Gán 1 cho những tế bào bị lưới phủ ít nhất 25%, gán 0 cho những tế bào còn lại   Phủ lưới hình vuông trên vùng hình dạng Hình dạng sẽ được biểu diễn bởi dãy nhị phân Nhận xét:  Kích thước tế bào nhỏ hơn sẽ chính xác hơn nhưng đòi hỏi tính toán nhiều hơn x y dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 34/40... tín hiệu ảnh dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 25/40 Tìm kiếm ảnh trên cơ sở hình dạng  Một số khái niệm liên quan   Trục phụ: Đoạn thẳng vuông góc với trục chính Cùng với trục chính, nó hình thành chữ nhật bao đối tượng  Chữ nhật cơ sở: Hình thành bởi trục chính và trục phụ   Trục chính: Đoạn thẳng nối hai điểm xa nhất trên biên đối tượng Độ lệch tâm: Tỷ lệ giữa trục chính và trục... trước sẽ là ảnh kết quả dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 15/40 Ví dụ đối sánh ảnh trên cơ sở biểu đồ màu  Giả sử có ba ảnh kích thước 8x8, mỗi pixel của ảnh có 1 trong 8 màu: C 1 đến C8   Ảnh 2: Từ màu C1 đến C4 có 7 pixels, từ C5 đến C8 có 9 pixels   Ảnh 1: mỗi màu từ C1 đến C8 đều có 8 pixels Ảnh 3: Từ màu C1 đến C2 có 2 pixel, từ màu C3 đến C8 có 10 pixels Tính biểu đồ màu và khoảng... của chỉ mục và tìm kiếm trên cơ sở moment hình dạng là không cao dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 29/40 4.2 Bộ mô tả Fourier (Fourier Descriptor - FD)  Trong phương pháp trên cơ sở bộ mô tả Fourier (FD), hình dạng được biểu diễn bởi các hàm đặc trưng f(t) (gọi là shape signature)   Áp dụng biến đổi Fourier rời rạc trên các hàm đặc trưng f(t) để có FD hình dạng Các FDs được sử dụng để chỉ . 2005/14 CHỈ MỤC VÀ TÌM KIẾM ẢNH Bài 6 PGS.TS. Đặng Văn Đức dvduc@ioit.ac.vn dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh Nội dung  Giới thiệu  Tìm kiếm ảnh trên cơ sở văn bản  Tìm kiếm ảnh trên cơ. CSDL ảnh dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 5/40 dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh Giới thiệu  Có nhiều nghiên cứu về chỉ mục và tìm kiếm ảnh hơn lĩnh vực âm thanh và video.  Các. để làm chỉ số của ảnh. dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 12/40 NM n h j j . = Tìm kiếm ảnh trên cơ sở biểu đồ mầu  Ví dụ biểu đồ màu dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 13/40 Đo