Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)

Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)

M C L C

M C L C 1

DANH M C HÌNH V 3

DANH SÁCH CÁC T VI T T T 4

L I C M N 5

M U 6

CH NG 1: CÁC KHÁI NI M C B N V TRA C U NH D A TRÊN N I DUNG 7

1.1 Gi i thi u 7

1.2 Nh ng thành ph n c a m t h th ng tra c u nh d a trên n i dung 8

1.2.1 Trích ch c tr ng (Features Extraction): 9

1.2.2 s (Indexing): 11

1.2.3 Giao di n truy v n (Query Interface): 12

1.3 Kho ng cách ng u nh d a trên n i dung 12

1.4 Các ph ng pháp làm gi m kho ng cách ng 13

1.4.1 K thu t b n th i t ng 14

1.4.2 K thu t máy h c 16

1.4.3 K thu t ph n h i liên quan 22

1.4.4 M u ng 23

1.4.5 Tra c u nh web 25

1.5 c ng d ng c a tra c u nh d a trên n i dung 27

CH NG 2: TRA C U NH D A TRÊN N I DUNG V I PH N H I LIÊN QUAN 28

2.1 Gi i thi u ph ng pháp ph n h i liên quan 28

2.2 Ki n trúc t ng quan c a h th ng 29

2.2.1 Trích ch c tr ng 30

2.2.2 t ng t 31

2.2.3 Ph n h i t ng i dùng 32

2.3 Các ph ng pháp ph n h i liên quan 32

2.3.1 K thu t c p nh t truy v n 32

2.3.2 Nh ng k thu t h c th ng kê 33

2.4 Nh ng thách th c trong ph n h i liên quan 35

2.5 CBIR v i ph n h i liên quan s d ng SVM 36

2.5.1 Support Vector Machine 36

2.5.2 Ph n h i b ng và h c ch ng 37

CH NG 3: ÁP D T TH NGHI M 38

3.1 t 38

3.1.1 C s d li u 38

3.1.2 Trích ch c tr i sánh 38

3.2 Các ch ng trình 38

3.2.1 M nh truy v n 38

3.2.2 Tra c u nh 38

3.2.3 Ph n h i liên quan 39

3.3 K t qu th nghi m 40

3.3.1 Giao di n ch ng trình 40

3.3.2 M t s k t qu th nghi m 41

3.4 M t s nh n xét v ch ng trình 44

K T LU N 45

TÀI LI U THAM KH O 46

DANH M C HÌNH V

Hình 1-1: Ki n trúc t ng quan v h th ng tra c u nh 8

Hình 1-2: S minh h a b n th i t ng 15

Hình 1-3: S mô t k thu t SVM 17

Hình 1-4: L mô t ph 20

Hình 1-5: S mô t ph ng pháp RF 23

Hình 1-6: H th ng tra c u nh Worldnet s d ng Semantic template 25

Hình 2-1: Ki n trúc h th ng tra c u nh d a trên n i dung v i ph n h i liên quan 30

Hình 3-1: Giao di n ch ng trình 40

Hình 3-2: Ng i dùng ch n nh truy v n 41

Hình 3-3: K t qu tra c u 41

Hình 3-4: Ng i dùng ch n nh liên quan l n 1 42

Hình 3-5: K t qu sau vòng l p ph n h i th nh t 42

Hình 3-6: K t qu sau vòng l p ph n h i th hai 43

Hình 3-7: Ng i dùng ch n nh liên quan l n 3 43

Hình 3-8: K t qu sau vòng l p ph n h i th ba 44

DANH SÁCH CÁC T VI T T T

9 LGRM Local and Global Regressive Mapping

10 LPC Locality Preserving Clustering

11 MRBIR Manifold-Ranking Based Image Retrieval

L I C

Em xin chân thành c y giáo, Th

ng d n t n tình ch b o em r t nhi u trong su t quá trình tìm hi u nghiên c u và

tránh kh i nh ng thi u sót, em r c s góp ý quý báu c a các th y cô

M U

T khi m c toàn c u hoá kéo theo s m r ng c a các n i dung

n nh, âm nh c, video, , khi n cho nhu u chia s và tìm

i k n các d li u hình nh M u tìm ki m hình nh

là nh ng thông tin kèm theo và hình nh mà h c n ho c m t s khác l i tìm ki m hình nh xác nh n tính chính xác c a thông tin h nh c Các d li u hình

u ph c v cho nhi c quan tr ng trong cu c s

th ng b o m t, an ninh, y t , hay các h th ng phát hi n chuy

vi c nghiên c u và phát tri n các h th ng tra c u nh ngày càng tr nên c p thi t

án s trình bày k thu t ph n h c ng d ng trong tra c u nh

d a trên n thu h p kho ng cách ng , c i thi n hi u

Các khái ni n v tra c u nh d a trên n i dung

Gi i thi u các khái ni n v h th ng tra c u nh d a trên n i dung và các thành ph n trong nó

Tra c u nh d a trên n i dung v i ph n h i liên quan

Gi i thi n h i liên quan và máy h c SVM

t nghi m d a trên lý thuy t t

CÁC KHÁI NI N V TRA C U NH D A

TRÊN N I DUNG 1.1 Gi i thi u

Trong th i bùng n v tìm ki m thông tin hi n nay, ngoài vi c tìm ki m các

n n i dung thì vi c tìm ki m nh g có ng tr nên ph bi n V i ngu n tài nguyên nh vô cùng to l n trên m ng internet, thì vi c tìm ki m chính xác

m t b c i yêu c u c i dùng là khó kh thi Chúng ta khó có th

hi n l t trên t ng t m n khi tìm th nh có n i dung c n tìm

V i l i ngu n tài nguyên nh trên m ng internet s ngày càng nhi a theo sphát tri n c a công ngh s , nhu c u th t s i chúng ta

ph i có m t công c h tr cho vi c tìm ki m nh càng s m càng t t

Có hai ki u tìm ki m d li u m theo t khoá và tìm ki m theo

n i dung nh Tìm ki m theo t khoá d tho c nhu c i dùng v i các nhu c u tìm ki m hình nh m i theo mong mu n b n thân h Và thêm n a, tìm

ng chính c o ra s mô t nh m t cách t ng tr c ti p

t n i dung nh b ng s phân tích n i dung nh mà không có s can thi p th công

ch c th c hi n m t cách t ng và n i dung c a nh luôn luôn nh t

ni m), ch ng h khóa, mô t gi i thích hình

t c a chúng Trong khi nh c trích ch n m t cách t ng b ng cách s d ng k thu t c a th giác máy ch y c th p (màu s c,

k t c u, hình d ng, v c dù nhi u thu t toán ph c t c

Do v y, kho ng cách ng c th p và các khái ni m

m c cao v n còn l n nên hi u su t c a CBIR là v n còn xa v i c a i dùng

thu h p kho ng cách ng , ph n h i liên quan (RF

m t công c hi u qu c i thi n hi a h th ng CBIR Nói chung, RF

nh m m i thi n hi u thông qua vi c h c nh u ch nh c a

i dùng trên nh ng k t qu tra c u Theo cách này, h th ng c n ph i th c hi n thông qua m t s vòng l p Trong m i vòng l p, h th ng s tr l i m t danh sách

ng n các nh t v i nh truy v n d a trên kho ng cách Euclidean Sau

, các nh này s c i s d ng gán nhãn liên quan ho c không liên

gi ng, nh ng k thu t h c máy s c áp d xây d ng mô hình phân l p t t

c các d li u thành hai l p liên quan và không liên quan v i nh

1.2.1 Trích ch tures Extraction):

c tính c (color), hình d ng (shape), k t c u (texture), v trí không gian (spatial location) Chúng có th c trích xu t t ng

ho c bán t ng c tính logic cung c p mô t tr ng c a d li u hình nh các c khác nhau ng, c tính logic c chi t xu t b ng tay

ho c bán t ng M t ho c nhi c s d ng trong ng d ng c

th

c là m t trong nh c s d ng ph bi n trong tra

c a không gian màu là có s c dùng cho các ng d ng khác

các mô t trong h th ng CBIR bao g m: ma tr n hi p bi n màu, bi màu,

ng l y t m quan sát khác nhau và s chi u sáng Theo

qu n Ví d , n u vi n cung c ng mà không có màu

ng nh t, thì rõ ràng màu trung bình không ph i là l a ch n t t V i các ng d ng

c bi d li u khuôn m i, thì mi n tri th c có th c khai thác gán tr ng s cho t m nh trong vi c tính toán vùng màu

s h th ng không s d t c u Tuy nhiên, k t c u cung c p các thông tin quan tr ng trong vi c phân lo i nh, vì nó mô t n i dung c a nhi u nh

th trái cây, mây, cây, g ch, và v t c u là m

t c c s d ng trong h th ng tra c u nh bao g m các , ch ng h c bao g m s d ng l c Gabor ho c

t c u Tamura wold xu t b i Liu và các

c ng s

và A, phép chi u C m i ký hi u trong V c bi u di n

b i m ng trong nh Còn m i ký hi u trong A c bi u di n b i m t

lo i liên h không gian gi ng N u chúng khác nhau, thì k thu t

2D G-string s c t t t c ng d c theo ng bao h p nh nh t và m

r ng m i liên h không gian vào trong hai t p toán t không gian M t t p toán t

nh m i liên h không gian c c b Và t p còn l i nh m i liên

h không gian toàn c c, ch ra r ng phép chi u c ng là tách ra, n i li n

ho nh cùng v trí Ngoài ra, k thu 2D C-string xu t

K thu t này s bi u di n m ng b i hai ký hi u, thay th cho vi c m u

H u h có th t o ra ba ki u truy v n Ki u truy v n 0 stìm t t c các nh ch ng O1 , O 2 , , O n Ki u truy v n 1 s tìm t t c các

nh ch ng mà có m i liên h ch c ch n gi a t ng khác,

kho ng cách gi a chúng là Cu i cùng, ki u truy v n 2 s tìm t t ccác nh mà có liên k t kho ng cách ch c ch n v i t ng khác

Ngoài k thu 2D string trên, còn có các k thu spatial quad-tree c gi i thi i Samet, symbolic image c

bi u di n thông tin không gian Tuy nhiên, tra c u nh d a trên m i liên hkhông gian c a vùng thì v n là m t bài toán khó trong nghiên c u tra c u nh d a trên n i dung B i vì, các phân n c a ng ho y thì

ng không kh thi tr khi trong các ng d ng r t gi i h n M c dù, m t s h

th n phân chia nh vào trong các kh i con chu n, mà ch c thành

nén vào các kh i con chu gi i quy t v này, m a trên

k thu Radon transform , m t k thu t mà s khai thác c quan

M t trong nh ng công ngh c s d ng ph bi n cho vi c gi m s chi u là

Phân tích thành ph n chính PCA [5] Nó là m t công ngh t c ánh xtuy n tính d li u vào cho m t không gian to Các tr c th

ánh x t n in d li u H th ng QBIC s d ng PCA làm gi m 20 chi u trong véc- ng thành hai ho c ba chi u Ngoài công ngh

PCA ra, nhi u nhà nghiên c u còn s d ng bi i KL làm gi m s chi u trong

c dù, bi i KL có m t s thu c tính h u d

nh v trí h u h t không gian con quan tr ng, các thu

trình gi m các chi u mù Ngoài hai công ngh bi i PCA và KL, thì m ng -ron c ch ng minh là công c h u ích cho vi c gi m s chi

1.2.3 Giao di n truy v n (Query Interface):

c tra c u nh hi n nay có hai h th c phát tri n là: h

th ng tra c u d a trên n i dung và h th ng d a trên t m khác bi t duy

nh t gi a hai h th ng này chính là s i thì

c t ng trích ch n b ng k thu t th giác máy tính thì ch y

m c th p (màu s c, k t c u, hình d ng, v trí không gian, ) Nói chung là

M c dù, các nhà nghiên c u phát tri n r t nhi u các thu t toán ph c t

mô t c, k t c u, hình d ng Th , các thu

mô t ng a hình nh, và có nhi u h n ch khi gi i quy t m d li u n i dung nh l n Các thí nghi m m r ng trên h th ng CBIR cho th y n c th ng không th mô t các khái ni m

M c 2: Tra c u b nh b ,

v i m t m suy lu n logic Ví d t b c nh có ch a bông hoa

M c 3: Tra c u b i các thu c tính tr u ng, bao hàm s ng m

ng trong nh, ho c n i dung c a c miêu t

B ng cách áp d ng vào c khác nhau, các công ngh tra c u nh có th có

th c chia ra là: tra c u nh ngh thu t, tra c u nh phong c nh, tra c u nh

(4) Sinh m u ng ST h tr tra c u nh m c cao

(5) S d ng c n t trên web và n i dung tr c quan

Trích ch nh m c th p.

.Làm gi m kho ng cách ng

Thêm n a là, có m t s h th ng ch s d ng m t k thu tra

h p 3 ho c 4 k thu t trên

Trong m t s ng h p, ng d c suy ra t ngôn ng

h ng ngày Ví d b u tr i c mô t trên, u, màu xanh

c a khái ni m truy v n m c cao

d li u nh có th c phân lo i vào các m c khác nhau b ng cách ánh

x mô t ng c cao (các t khoá) d a trên ki n th c c i Ví d

(k t c u), trên cao v trí không gian) , Mezaris và c ng s i thi u h th ng tra c u nh d a trên b n th ng Trong h th ng này, m i vùng c a c mô t b i màu trung bình trong không gian màu lab, v trí c a

nó trong tr c d c và tr c ngang, kích c và hình d ng c a nó B n th ng

c minh ho b i hình 1-2

, Berk và các c ng s xu t m t h th ng tên màu n i ti ng

CNS (Color Naming System) H th ng t hoá không gian màu

ng t giá tr Hue t t n Saturation và Luminance thì

màu M t b CNS , cam, nâu, vàng, xanh lá cây, xanh

, v i vi c thêm vào các giá tr vô s , xám và tr ng

c u khác thì c g ng liên quan trong c nh thiên nhiên

Ví d : màu tr ng thì gán v i tuy t, mây, thì gán v i m t tr i Vì th mà

b ng cách này h th m s chênh l ch ng tr truy v n

b ng t khoá

th t tên k t c u mà s chu n hoá các mô t và bi u di n c a k t c u

Tuy nhiên, n nay v t h th t tên k t c u nào có s n trong ng d i s ng Vì vi t tên cho k t c u th c s r t khó Trong nh ng

xây d ng m t h th t tên k t c u, m t s nhà nghiên c u

D a trên nh ng th nghi m tr c quan, , Rao và các c ng s ra

r ng có ba thu c tính quan tr i nh n bi t k t c p l i,

ph c t p Tuy nhiên, làm thnày; và làm th có th ánh x t c u m c th p v i ba y u t trên thì v n còn ph i nghiên c u thêm

So v i màu s c thì k t c u v c tìm hi u sâu và mô hình

Và có m , thay vì vi c s d ng tên k t c khoá cho truy

th ng yêu c u c n ph i có m t công c hình th c thu t máy h c Mà trong

chúng ta s tìm hi u k thu t máy h c có giám sát

1.4.2.1 H c có giám sát

H c có giám sát d a theo thu t toán Support Vector Machines (SVM) và phân

l p Bayesian c s d h c các khái ni m m c cao t

nh m c th p V i m t n n t ng lý thuy t m nh m , SVM c s d nh n

d ng, phân lo i text, , t gi i pháp t t cho

vi c h c trong h th ng tra c u nh u, SVM c thi t k cho vi c phân l p

Các véc- m trên m t m i s c g n nhãn là -1, còn các véc- m t trên s c g n nhãn là +1 tr véc- c n các m u hu n luy n n m

g n v i siêu ph ng nh h c nhi u khái ni m cho tra c u nh, m i m t b

SVM s c hu n luy n cho t ng b khái ni m Ví d cho vi c dùng SVM trong

chú thích n hu n luy n, m i m t mô hình SVM nh phân s c

hu n luy n cho t ng b khái ni m trong 23 b khái ni c l a ch n giai

b SVM n khi mô hình SVM nào cho ra k t qu t thì mô hình thích h p v i vùng d li

Hình 1-3 mô t k thu t SVM

, Ailaya và các c ng s d ng l p phân lo i nh phân Bayesian

ghi l i các khái ni m m c cao c a c nh t nhiên t c th d

li u nh s t ng phân lo i nh vào trong m t lo i chung là n i c nh/ngo i c nh,

nh ngo i c nh l i ti p t c phân lo i ti p vào trong lo i thành

Bayesian phân lo i nh n i c nh/ngo i c nh.

M t k thu t h h c các khái ni m là m ng -ron s d ng kthu t này thì các khái ni m ph c phân chia thành 11 lo i là: g ch, mây, lông thú, c , , ng, , cát, da, c , m t s ng l n d li u

ng -ron phân l thi t l p liên k t gi c th p

và ng c cao (các nhãn phân lo i) M t b t l i c a k thu t này là nó yêu

c u m t s ng l n các d li c hu n luy ph c t p tính toán cao

Ba thu t toán trên t n t m:

C n m t s ng l n các m u hu n luy c g n nhãn, và các d li u này thì d b l i

T p hu n luy n thì ph c c nh su t trong quá trình h c và n

lên m t c u trúc cây b ng vi quy không gian thu c tính input vào

trong m t t p không gian không ch ng l p M t t p lu t quy nh có th c

bi u di n b ng d n t g n ng n Vào , Sethi và Coman

phân b màu toàn c c (HSV bi không gian màu) trong m t chú thích

n (4 t khóa: Sunset, Marine, Arid images and Nocturne) Còn MacArthur và

phân l d li u nh vào hai l p: liên quan và không liên quan Thu t toán này c s d ng trong vòng l p ph n h i liên quan (RF cung c p các nh

i dùng g n nhãn vòng l p ti p theo

có th d dàng chuy n thành m t t p quy t c có th tích h p vào m t h th ng

ng quy nh t ng Tuy nhiên, m c

pháp này là thi u tính mô- , n u mà s d ng trong vi c h c khái ni m m c cao

này c phát tri n b i các tác gi n nào

d ng giá tr thu c tính input, ng các nh m c th p thì có giá tr liên t c M c dù, m t s thu c thi t k r i r c hóa các thu c tính liên t c Th u có hay không các thu c thi t k phân

K thu t này c g ng gom các d li u nh gi ng nhau vào trong m t c m m t cách

t , và gi m thi u s gi ng nhau gi a các c m khác nhau M i c m k t qu s

c liên k t v i m t nhãn l p và nh trong m t c m thì s nhau

m k-mean truy n th ng và các bi n th c ng phân c m nh , Stan và Sethi d

s phân c m vùng nh vào trong m t c m mà s d ng m t bi n th c

pháp phân c m k-mean c g i là ràng bu c t ng c p k-mean (PCK-mean) S c c thi t l th c nghi , xác su t h u nghi m c a m i khái ni m (59 khái ni d li u nh)

nh m i có th c chú thích b ng vi c ch n các khái ni m v i xác su t cao nh t

Do s phân b ph c t p c a d li u m d li c l y m u t

ng không th phân chia t t các nh v i các khái ni gi i quy t

quang ph Normalized cut (NCut c s d ng thành công trong m t vài ng d ng n nh, phân c m nh

, Chen và các c ng s

CLUE gi m kho ng cách ng

th ng CBIR khác mà ch hi n th các nh trùng kh p i dùng.Thì h th ng này c g ng tra c u ng t cách t ng và g n k t các c m

nh Cho m t truy v n nh, m t t p các cho truy v c l a

ch ng c a truy v n D a trên gi thuy t r ng, các nh có ng

gi ng nhau thì c ng b phân c Ncut c s d ng cho vi c

clustering-LPC) cho vi c phân c m nh K t qu thí nghi m cho th

t ng ph n c a th và m t bi u di n xác

xu c s d ng cho h u h t các khía c nh c hình d ng, b

d ng trong ki u Bayesian cho phân lo i nh Mô hình t nhiên linh ho c

ch ng minh b ng k t qu t t trong m t lo t các b d li u bao g m: các l p hình

Trong k t qu th c nghi m c , b ng vi c s

d ng màu s c, k t c u, và các c y r ng hi u su t tra c u

r t kh thi trên 31 lo i ph n t ng và 20 khái ni m m c cao

1.4.3 K thu t ph n h i liên quan

Khái ni m ph n h c gi i thi u trong tra c u nh d a trên n i dung t khái ni m tra c u thông tin d n t cu i nh

thành m t công ngh ph bi n cho CBIR gi m kho ng cách ng

gi c th p và các khái ni m ng c cao [3] Nói chung, ph n

h i liên quan nh m m i thi n hi u b i h c v i s u ch nh

c i dùng trên k t qu tra c u Trong cách này, h th ng c n ph i ch y thông qua m t s vòng l p Trong m i vòng l p, h th c tiên s tr v m t danh sách các nh k t qu c s p x p g n nh t v i nh truy v n d a trên kho ng

ho c không liên quan t i nh truy v n S d ng các

là các m u, các k thu t h c máy s c s d h c và phân l p các nh trong

d li u thành hai l p liên quan và không liên quan B ng vi c h c m t cách

c a RF trong CBIR c mô t

v nh c a mình nh ng nh liên quan (m ) hay

không liên quan (m u âm) v i nh truy v n

4. Thu t toán máy h c s c áp d h c ph n h i c i dùng s

Hình 1-5 mô t

Có nhi u cách ti p c c (4), mà t m máy h c chung, v b n

ch t RF là m t bài toán phân l p nh phân Tro , các nh m c cung c p

b hu n luy n m t l p phân lo i L p này s c s

, Chang và các c ng s i thi u v ng m u ng c nh

(semantic visual template liên k nh m c th p t i các khái ni m