Bài giảng cơ sở dữ liệu chỉ mục và tìm kiếm ảnh

 Các tiệm cận chỉ số hóa và tìm kiếm ảnh bao gồm:  Ví dụ các đặc trưng ảnh trên cơ sở màu, hình dạng và hoa văn ảnh... Tách biểu đồ màu nền và đối tượng Lu và Phillips đề xuất việc t

C HỈ MỤC VÀ TÌM KIẾM ẢNH

Bài 6

PGS.TS Đặng Văn Đức dvduc@ioit.ac.vn

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Nội dung

2/40

1 Giới thiệu

 Nhắc lại kiến trúc CSDL đa phương tiện

User

Multimedia Query Engine

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Giới thiệu

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Giới thiệu

 Có nhiều nghiên cứu về chỉ mục và tìm kiếm ảnh hơn lĩnh vực âm thanh và video.

 Các tiệm cận chỉ số hóa và tìm kiếm ảnh bao gồm:

 Ví dụ các đặc trưng ảnh trên cơ sở màu, hình dạng và hoa văn ảnh.

 Ví dụ, nếu chỉ sử dụng màu thì không phân biệt được ôtô đỏ và quả táo đỏ

6/40

2 Tìm kiếm ảnh trên cơ sở văn bản

 Ảnh được mô tả bằng free text

 Câu truy vấn dưới hình thức các từ khóa hay văn bản có hoặc không có các toán tử Bool

 Mô tả ảnh thủ công, việc tự động hiểu ảnh là không thể.

 Sử dụng cơ sở tri thức và phản hồi trong tìm kiếm ảnh.

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Mô tả ảnh bằng văn bản

 Dễ dàng mô tả bằng văn bản với một số loại ảnh

 Khó mô tả bằng văn bản với một số loại ảnh

Who : 2 người, Chirac-Mendela, Tổng thống.

What : Bắt tay, Đồng ý.

Where : Thảm đỏ, Ngoài trời, Điện Elysée.

When : Ban ngày, tháng 7/1997.

8/40

Mô tả ảnh bằng văn bản

 Khó mô tả bằng văn bản với một số loại ảnh

Who? What?

3 Tìm kiếm ảnh trên cơ sở điểm ảnh

 Đây là kỹ thuật hay được sử dụng nhất trong hệ thống tìm kiếm ảnh theo nội dung.

 Ảnh màu C(i, j) với i∈[1, M], j∈[1, N]

 Ảnh đa mức xám A(i, j) có giá trị mức xám tại i, j (i∈[1, M], j∈[1, N]) như sau:

A(i, j) = w1.R(i,j)+w2.G(i,j)+w3.B(i,j), trong đó: w1+w2+w3=1

) ,

( 3

1 ) ,

( 3

1 ) ,

( 3

1 ) , ( i j R i j G i j B i j

Tìm kiếm ảnh trên cơ sở biểu đồ màu

 Khái niệm biểu đồ (histogram) đa mức xám

H=(h0, h2, , hj, , h255),

với , trong đó nj là tổng số pixel nhận giá trị j.

Lena Söderberg

N M

n

h j j

.

=

Tìm kiếm ảnh trên cơ sở biểu đồ màu

được tính bởi:

K=m3=16x16x16=4096

H(M)=(h1, h2, , hj, , hK-1),

với , trong đó nj là tổng số pixel ảnh rơi vào bin thứ j.

N M

n

.

=

Tìm kiếm ảnh trên cơ sở biểu đồ mầu

Đo khoảng cách hai ảnh

n i

i i

L

/ 1

i

n h h

h

H = [ 1 , 2 , , ]

3.1 Thuật toán cơ sở

đo khoảng cách Mahattan hay Euclid)

là ảnh kết quả

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Ví dụ đối sánh ảnh trên cơ sở biểu đồ màu

 Giả sử có ba ảnh kích thước 8x8, mỗi pixel của ảnh có 1 trong 8 màu: C1 đến C8.

 Tính biểu đồ màu và khoảng cách giữa các ảnh

H1=(8, 8, 8, 8, 8, 8, 8, 8) H2=(7, 7, 7, 7, 9, 9, 9, 9) H3=(2, 2, 10, 10, 10, 10, 10, 10)

h(H1, H2)= 1+ 1+1+1+1+1+1+1=8 h(H1, H3)= 6+ 6+2+2+2+2+2+2=24 h(H2, H3)= 5+ 5+3+3+3+1+1+1=23

16/40

Thuật toán cơ sở

 Hạn chế của thuật toán cơ sở:

 Màu 10 sẽ phân lớp vào bin 1,

 Màu 11 vào bin 2 và màu 20 vào bin 2

 Cần quan tâm đến các màu tương tự trong các bins

1 10 20

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

3.2 Biểu đồ màu tích lũy ( Cumulative Histogram )

 Biểu đồ màu tích lũy CH(M)=(ch1, ch2, , chn),

j

ch

3.3 Biểu đồ màu cục bộ

 Biểu đồ màu toàn cục không tính đến phân bổ không gian của màu trên toàn bộ ảnh

 Cặp ảnh có biểu đồ màu toàn cục giống nhau, nhưng có thể hoàn toàn khác nhau.

3.4 Tách biểu đồ màu nền và đối tượng

 Nhiều ảnh có hai vùng phân biệt: nền và cận cảnh

cảnh rất khác nhau

Tách biểu đồ màu nền và đối tượng

 Lu và Phillips đề xuất việc tính tách biệt biểu đồ mầu của nền và của cận cảnh

 Việc tách nền khỏi cận cảnh không nhất thiết phải thật chính xác

 Mỗi ảnh trong CSDL được chỉ mục bởi biểu đồ màu của nền và của cận cảnh.

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

4 Tìm kiếm ảnh trên cơ sở hình dạng

22/40

Tìm kiếm ảnh trên cơ sở hình dạng

 Để tìm kiếm được ảnh trên cơ sở hình dạng, cần

 Thuộc tính của biểu diễn hình dạng và độ đo tương tự

 Cho khả năng nhận biết đối tượng có kích thước, vị trí và hướng khác nhau.

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Tìm kiếm ảnh trên cơ sở hình dạng

 Tách biên đối tượng: Hai phương pháp cơ bản

 Phát hiện biên trực tiếp

 Phát hiện biên gián tiếp

24/40

Tìm kiếm ảnh trên cơ sở hình dạng

 Đạo hàm bậc nhất và đạo hàm bậc 2 của tín hiệu ảnh

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Tìm kiếm ảnh trên cơ sở hình dạng

 Một số khái niệm liên quan

 Trục chính: Đoạn thẳng nối hai điểm xa nhất trên biên đối tượng

 Trục phụ: Đoạn thẳng vuông góc với trục chính Cùng với trục chính, nó hình thành chữ nhật bao đối tượng

 Chữ nhật cơ sở: Hình thành bởi trục chính và trục phụ

 Độ lệch tâm: Tỷ lệ giữa trục chính và trục phụ

 Các độ đo hình dạng trên đây hình thành biểu diễn thô hình dạng

trên cơ sở hình dạng

26/40

4.1 Moment hình dạng

 Moment được sử dụng để nhận biết ảnh và được sử dụng trong nhiều hệ thống tìm kiếm ảnh.

(x,y) - tọa độ điểm ảnh f(x,y) – cường độ điểm ảnh

Trong đó,

00

01 00

10

m

m y

và m

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Moment hình dạng

 Người ta đã chứng minh 7 moments sau đây là bất biến với dịch chuyển, co dãn và xoay

28/40

2 / ) 2 (

, ,

0,0

+ +

= p q p q q

p

µ

µ η

[ ( ) ( ) ] 4 ( )( ) )

(

) (

) (

3 ) )(

3 (

) (

3 )

3 (

) (

) 3 (

) (

) (

) 3

( )

3 (

4 )

(

0321

1230

11

20321

21230

0220

6

20321

21230

0321

0321

20321

21230

1230

1230

5

20321

21230

4

20321

21230

3

211

20220

2

0220

1

η η

η η

η η

η η

η η

η φ

η η

η η

η η

η η

η η

η η

η η

η η

φ

η η

η η

φ

η η

η η

φ

η η

η φ

η η

φ

−

− +

+

− +

+

−

−

− +

−

=

− +

−

=

− +

Moment hình dạng

 Sử dụng 7 moment φ 1 φ 7 để mô tả hình dạng

 Khoảng cách Euclidean giữa các mô tả hình dạng được sử dụng như khoảng cách giữa hai hình

dạng

 Trong một số trường hợp, các moments tương tự không đảm bảo cho các hình dạng tương tự.

 Hiệu năng của chỉ mục và tìm kiếm trên cơ sở moment hình dạng là không cao.

0321

21230

0321

3012

20321

21230

1230

3021

7

) (

) (

3 ) )(

3 (

) (

3 )

( ) (

) 3

3

(

η η

η η

η η

η η

η η

η η

η η

η η

φ

+

− +

+

− +

+

− +

+ +

−

=

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

 Trong phương pháp trên cơ sở bộ mô tả Fourier (FD), hình dạng được biểu diễn bởi các hàm đặc

trưng f(t) (gọi là shape signature)

 Áp dụng biến đổi Fourier rời rạc trên các hàm đặc trưng f(t) để có FD hình dạng

).

(

1 N t

u

N

ut

j t

f N

Bộ mô tả Fourier (Fourier Descriptor - FD)

 Có nhiều loại hàm đặc trưng, ví dụ

 Hiệu năng hệ thống sử dụng ba loại hàm đặc trưng trên không khác nhau nhiều Tuy nhiên, hàm

đặc trưng trên cơ sở bán kính có cài đặt đơn giản hơn.

 Hàm đặc trưng bán kính bao gồm các khoảng cách có thứ tự từ tâm hình dạng đến các điểm biên

(gọi là bán kính)

trong đó, (xc, yc) là tọa độ tâm hình dạng (xi, yi) với i=0 63 là tọa độ 64 điểm mẫu dọc theo biên hình dạng

2

2 ( ) )

Bộ mô tả Fourier

 Sau khi biến đổi Fourier hàm đặc trưng bán kính, ta tính các véctơ đặc trưng như sau để chỉ mục

hình dạng

 Véctơ đặc trưng x (bộ mô tả Fourier - FD) bất biến với dịch chuyển, co dãn và xoay.

 Độ đo khoảng cách giữa hai véctơ đặc trưng được sử dụng: Euclidean

 Không sử dụng trực tiếp bán kính để chỉ mục hình dạng vì khó chuẩn hóa xoay và co dãn.

1

, ,

F

F F

F x

ϕ (t)

[ ( ) ( 0 ) ] mod( 2 ) )

| ) ( ) ( )

( ) (

| 2

1 )

( t x 1 t y 2 t x 2 t y 1 t

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

4.3 Tìm kiếm ảnh trên cơ sở vùng

Tìm kiếm ảnh trên cơ sở vùng

 Xoay hình sao cho trục chính song song với trục x hoặc trục y (có thể theo 1 trong 2 cách, tùy thuộc vào cài

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Tìm kiếm ảnh trên cơ sở vùng

 Tính toán các véctơ hàng và cột của mọi vùng trong ảnh truy vấn

 Tìm khác biệt hàng và cột giữa các vùng trong hai ảnh

Trong đó, Rd và Cd là hiệu số hàng và cột giữa hai ảnh

Ri và Ci là bit thứ i của các véctơ ảnh thứ nhất Ri’ và Ci’ là bit thứ i của các véctơ ảnh thứ hai.

 Nếu (Rd+Cd) < T (ngưỡng) thì hai ảnh tương tự.

Rd = Σi (|Ri − Ri’ |)

Cd = Σi (|Ci − Ci’|)

36/40

5 Tìm kiếm ảnh trên cơ sở hoa văn

 Hoa văn (texture) là đặc trưng khó mô tả và cảm nhận là rất chủ quan.

 Sáu đặc trưng (Tamura et al):

 Tính toán định lượng các đặc trưng hoa văn là rất khó khăn.

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

7 Kết luận

 Chỉ mục và tìm kiếm ảnh là chủ đề được nghiên cứu nhiều nhất và có nhiều kết quả nhất.

 Các tiệm cận chỉ mục và tìm kiếm ảnh

 Tìm kiếm ảnh trên cơ sở văn bản mô tả

 Biểu đồ màu và tìm kiếm ảnh trên cơ sở biểu đồ màu

 Nhu cầu nghiên cứu nâng cao hiệu năng chỉ mục và tìm kiếm ảnh.

38/40

Câu hỏi ôn tập

 Mô tả bốn tiệm cận chính để tìm kiếm ảnh Ưu điểm và nhược điểm của chúng là gì?

 Mô tả nguyên lý của kỹ thuật tìm kiếm ảnh trên cơ sở màu cơ sở.

 Các hạn chế của kỹ thuật tìm kiếm ảnh trên cơ sở màu cơ sở? Mô tả các phương pháp để vượt

qua các hạn chế này.

 Trình bày ưu điểm và nhược điểm của phương pháp tìm kiếm ảnh trên cơ sở biểu đồ màu tích

lũy.

 Những tiêu chí biểu diễn hình dạng nào phù hợp với tìm kiếm và chỉ mục ảnh?

 Mô tả phương pháp biểu diễn hình dạng trên cơ sở bộ mô tả Fourier với hàm đặc trưng bán

kính.

Câu hỏi ôn tập

 Hãy xây dựng dãy nhị phân cho các hình dạng dưới đây và tính toán khoảng cách giữa hai hình

dạng này Hãy tạo lập các giả thiết phù hợp cho kích thước lưới và độ dài chuẩn của trục chính.

 Liệt kê các đặc trưng cơ bản của ảnh áp dụng trong MMDBMS mà anh/chị biết.

Câu hỏi?