Tìm hiểu hệ suy diễn mờ ứng dụng hệ suy diễn mờ trong bài toán phân lớp dữ liệu

Cho một ảnh truy vấn, hệ thống tra cứu ảnh dựa trên nội dung sẽ tìm kiếm trong cơ sở dữ liệu những ảnh tương tự với ảnh truy vấn.. Trên những cơ sở tìm hiểu đó tiến hành cài đặt thử nghi

M C L C ỤC LỤC ỤC LỤC

LỜI CẢM ƠN 1

LỜI CAM ĐOAN 2

MỞ ĐẦU 3

PHỤ LỤC 7

MỤC LỤC 8

CHƯƠNG 1 CÁC PHƯƠNG PHÁP TRUY TÌM ẢNH 11

1.1 Vấn đề tra cứu ảnh 11

1.2 Các phương pháp truy tìm ảnh 12

1.2.1 Truy tìm ảnh theo từ khóa 12

1.2.2 Truy tìm ảnh theo nội dung 12

1.2.3 Tra cứu ảnh theo bản thể 13

1.2.4 Tra cứu ảnh theo đồ thị ngữ nghĩa 13

1.3 Tra cứu ảnh theo nội dung 14

1.3.1 Mô hình hệ thống tra cứu ảnh theo nội dung 14

1.3.2 Các phương pháp mô tả nội dung ảnh 15

1.3.2.1 Mô tả các đặc trưng màu sắc 16

1.3.2.2 Mô tả các đặc trưng kết cấu 16

1.3.2.3 Mô tả các đặc trưng hình dạng 17

1.3.2.4 Thông tin về không gian 18

1.3.3 Đánh giá độ tương tự và xây dựng sơ đồ đánh chỉ số 18

1.3.3.1 Đánh giá độ tương tự 18

1.3.3.2 Xây dựng sơ đồ đánh chỉ số 20

1.3.4 Tương tác với người sử dụng 21

1.3.4.1 Đặc tả truy vấn 22

1.3.4.2 Xử lý phản hồi 22

1.3.5 Hiệu năng của hệ thống tra cứu ảnh 23

1.4 Một số hệ thống tìm kiếm ảnh hiện nay 24

1.5 Kết luận 27

CHƯƠNG 2 TRUY TÌM ẢNH THEO MÀU SẮC 28

2.1 Màu sắc 28

2.1.1 Tổng quan 28

2.1.3 Độ đo 28

2.2 Truy tìm ảnh dựa vào màu sắc 28

2.2.1 Khái niệm màu sắc 28

2.2.2 Một số đặc tính vật lí đặc biệt của màu sắc 29

2.3 Một số hệ màu thông dụng 30

2.3.1 Hệ màu chuẩn RGB 30

2.3.2 Hệ màu CMY 31

2.3.3 Hệ màu YIQ 32

2.3.4 Hệ màu L*a*b 32

2.3.5 Hệ màu HSI 33

2.4 Các đặc trưng về màu sắc 36

2.4.1 Lược đồ màu(Histogram) 36

2.4.1.2 Lược đồ màu thông thường RGB 38

2.4.1.2 Lược đồ màu HSI 39

2.4.2 Véc tơ liên kết màu 40

2.4.3 Độ đo 41

2.4.3.1 Khái niệm 41

2.4.3.2 Một số độ đo thông dụng 41

Độ đo khoảng cách Min – Max 41

Độ đo khoảng cách Euclid 42

2.4.4.1 Tìm kiếm theo lược đồ màu toàn cục dựa trên ảnh mẫu 42

2.4.4.2 Tìm kiếm theo tỉ lệ phần trăm về màu sắc 43

2.4.4.3 Tìm kiếm theo màu chỉ định dạng lưới 43

2.4.4.4 Tìm kiếm toàn cục theo dạng so sánh lưới dựa trên ảnh mẫu 44

CHƯƠNG 3 : CÀI ĐẶT THUẬT TOÁN TÌM KIẾM ẢNH THEO MÀU SẮC 45

3.1 Thiết kế giao diện 45

3.2 Cài đặt chương trình 46

3.2.1 Các bước thực hiện 46

3.2.2 Thuật toán 47

3.2.4 Hướng dẫn sử dụng chương trình 49

3.3 Giao diện 49

3.4 Thử nghiệm cài đặt 55

KẾT LUẬN 61

TÀI LIỆU THAM KHẢO 62

MỞ ĐẦU

Những năm gần đây, ảnh số ngày càng thu hút được sự quan tâm của nhiều người,một phần là do các thiết bị thu nhận ảnh số ngày càng phổ biến và có giá cả phù hợp, chophép nhiều người có thể sở hữu và sử dụng Mặt khác các công nghệ chế tạo thiết bị lưutrữ luôn được cải tiến để cho ra đời các thiết bị lưu trữ có dung lượng lớn và giá thành hạlàm cho việc lưu trữ ảnh dưới dạng các file trở nên phổ biến Thêm nữa là sự phát triểncủa mạng Internet làm cho số lượng ảnh số được đưa lên lưu trữ và trao đổi qua Internet

là rất lớn Năm 2006, trên 300 triệu hình ảnh đã được tải lên Flickr, một trong nhữngcộng đồng chia sẻ hình ảnh lớn nhất trên internet Con số này cho thấy thực tế là số lượngảnh số được lưu giữ trong các cơ sở dữ liệu đang gia tăng nhanh chóng

Tuy nhiên khi số lượng ảnh được lưu trữ trở nên rất lớn thì vấn đề là phải có nhữngphương pháp tổ chức cơ sở dữ liệu ảnh tốt cùng với những kỹ thuật tìm kiếm, tra cứu ảnhhiệu quả, có độ chính xác cao và có hiệu năng tốt Việc tìm kiếm được một bức ảnh mongmuốn trong hàng triệu bức ảnh thuộc đủ loại chủ đề khác nhau là rất khó khăn

Khi số lượng ảnh trong một bộ sưu tập còn ít, việc nhận diện một bức ảnh hay việc sosánh sự giống và khác nhau giữa nhiều bức ảnh có thể thực hiện được bằng mắt thường,tuy nhiên khi có số lượng rất lớn ảnh thì việc so sánh bằng mắt thường là rất khó khăn,đòi hỏi phải có những phương pháp hiệu quả và chính xác hơn

Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng Ví dụ nhưtrong lĩnh vực ngân hàng việc so sánh chữ ký của khách hàng với mẫu chữ ký đã đượclưu trữ sẵn có thể thực hiện rất nhanh và chính xác nếu có được một phần mềm so sánhmẫu chữ ký tốt Thực tế hiện nay tại các ngân hàng ở Việt nam người ta vẫn phải sử dụngphương pháp so sánh bằng mắt thường vì việc so sánh chữ ký bằng phần mềm vẫn chưathực hiện được Một ví dụ khác là bài toán quản lý biểu trưng (logo) trong lĩnh vực sởhữu trí tuệ

Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan quản lýphải tiến hành đánh giá xem mẫu logo đó đã được sử dụng hay chưa hoặc có tương tự vớimẫu logo nào đó đang được sử dụng hay không Trong trường hợp này nếu sử dụng mắt

thường để duyệt thì sẽ tốn rất nhiều thời gian, nếu có các phần mềm cho phép tìm kiếmtrong cơ sở dữ liệu ảnh có sẵn những biểu trưng tương tự với biểu trưng mẫu thì việcđánh giá sự tương tự sẽ dễ dàng hơn nhiều

Trong lĩnh vực khoa học hình sự, nhu cầu so sánh mẫu vân tay, hay tìm tìm kiếm ảnhtội phạm đặt ra những bài toán tra cứu ảnh Giả sử chúng ta tổ chức quản lý nhân khẩuvới thông tin ảnh vân tay của từng người Trong một vụ án, nhân viên điều tra thu thậpđược mẫu vân tay trên hiện trường, khi đó người ta cần tìm xem mẫu vân tay đó khớp vớivân tay của ai trong hàng chục triệu hình ảnh vân tay trong cơ sở dữ liệu Nếu có phầnmềm thực hiện chính xác, nhanh chóng điều này thì giúp ích rất nhiều cho công tác điềutra

Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo từ khóa(Text Based Image Retrieval) Theo cách này người ta sẽ gán cho mỗi bức ảnh một lờichú thích hay từ khóa phù hợp với nội dung hoặc một đặc điểm nào đó của ảnh, sau đóviệc tra cứu ảnh được thực hiện dựa trên những từ khóa này Phương pháp này khá đơngiản, tuy nhiên lại không thể áp dụng để tra cứu các cơ sở dữ liệu ảnh có số lượng ảnhlớn và kết quả tra cứu thì mang tính chủ quan và cảm ngữ cảnh Bởi vì các kỹ thuật tracứu dựa trên từ khóa chỉ có thể được áp dụng khi hình ảnh đã được mô tả Thật khôngmay, việc tự động hiểu nội dung một bức tranh theo cách của con người là một công việcrất khó Vấn đề này được gọi là lỗ hổng ngữ nghĩa (semantic gap)

Một trở ngại nghiêm trọng khác của phương pháp này là cần phải có nhân viên đượcđào tạo tốt không chỉ để giải thích từ khoá với mỗi hình ảnh (có thể chiếm mất vài phútđối với một ảnh và một vài năm đối với cơ sở dữ liệu ảnh lớn) mà còn phải lựa chọnnhững từ khoá thích hợp cho việc tra cứu ảnh Sự giải thích thủ công này tiêu phí rấtnhiều thời gian và công sức và phụ thuộc vào sự cảm nhận chủ quan của con người Ví

dụ như với cùng nội dung ảnh nhưng với những người khác nhau (ngay cả khi họ đượcđào tạo tốt) cũng có thể cảm nhận nội dung trực quan của ảnh khác nhau Sự cảm nhậnchủ quan và giải thích không chính xác có thể dẫn tới sự đối sánh không cân xứng trongquá trình tra cứu tiếp theo Hơn nữa, một hệ thống dựa trên từ khoá rất khó để thay đổisau này Do đó cần phải có những phương pháp mới để vượt qua những hạn chế này

Một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện nay làphương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Phươngpháp này được khám phá bởi một nhóm nhà nghiên cứu và các công ty thương mại trênthế giới.Ý tưởng phương pháp này là trích chọn các đặc điểm dựa vào nội dung trực quancủa ảnh như màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở choviệc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh.

Cho một ảnh truy vấn, hệ thống tra cứu ảnh dựa trên nội dung sẽ tìm kiếm trong cơ sở

dữ liệu những ảnh tương tự với ảnh truy vấn Trong một tình huống nhất định, tất cảnhững hình ảnh trong cơ sở dữ liệu đều được chia nhỏ thành những điểm ảnh, xử lý đểtrích chọn những đặc điểm mô tả nội dung của ảnh Việc này được thực hiện một cách tựđộng khi những hình ảnh được đưa vào cơ sở dữ liệu Quá trình xử lý này gán cho mỗihình ảnh một tập ký hiệu nhận dạng và nó sẽ được sử dụng bởi hệ thống tiếp theo tronggiai đoạn đối sánh để tra cứu những ảnh có liên quan Những kí hiệu mô tả được lưu trữtrong cơ sở dữ liệu sẽ cho phép tra cứu một cách hiệu quả trong các giai đoạn sau

Tiếp theo, ảnh truy vấn được gửi tới giai đoạn đối sánh Việc sử dụng các thủ tụctương tự như đã áp dụng đối với cơ sở dữ liệu, những đặc điểm của ảnh truy vấn sẽ đượctrích chọn Sau đó việc tra cứu ảnh được thực hiện bằng kỹ thuật đối sánh, nó so sánhnhững đặc điểm hoặc những ký hiệu nhận dạng của ảnh truy vấn với những đặc điểmhoặc ký hiệu nhận dạng của những ảnh trong cơ sở dữ liệu Kỹ thuật đối sánh sẽ bổ xungnhững mẫu tra cứu nhận được thông qua độ đo tương tự được lựa chọn Sau đó nhữngảnh trong cơ sở dữ liệu được sắp xếp thông qua sự tương tự của chúng đối với ảnh truyvấn và ảnh có hạng cao nhất chính là ảnh tra cứu được Việc mô tả một cách hiệu quảthông tin trực quan của ảnh và việc đo độ tương tự giữa những ảnh được mô tả bằngnhững đặc điểm được tính toán trước là hai bước quan trọng trong tra cứu ảnh dựa trênnội dụng

Một số hệ thống tra cứu ảnh nổi tiếng như QBIC (IBM), Virage (Virage Inc.),Photobook (MIT), VisualSEEK (Columbia University) đã áp dụng khá thành côngphương pháp tra cứu này

Trong đồ àn này, em sẽ tập trung vào một số đặc điểm cụ thể, đặc biệt là những đặcđiểm dựa trên màu sắc tổng thể và cục bộ, phân đoạn và tìm các vùng ảnh cho tra cứu ảnhnói chung hoặc cho tra cứu ảnh dựa trên nội dung nói riêng.

Đồ án này được xây dựng dựa trên những kiến thức mà em đã tìm hiểu về một số đặctrưng trong tra cứu ảnh theo nội dung như : màu sắc, kết cấu, hình dạng được thực hiệntrong những đợt thực tập chuyên ngành và thực tập tốt nghiệp lần trước Phương pháp tracứu ảnh theo vùng được nghiên cứu và tìm hiểu để khắc phục một số nhược điểm củaphương pháp tra cứu ảnh theo màu sắc và kết cấu toàn cục Với những lý do được trình

bày ở trên thì em đã xây dựng đồ án:”Tìm hiểu các phương pháp truy tìm ảnh và cài đặt thuật toán truy tìm ảnh dựa theo màu sắc”.

Nội dung của đồ án này nhằm giới thiệu cơ sở lý thuyết của một số phương pháp truytìm ảnh, như truy tìm ảnh theo từ khóa, tra cứu ảnh theo nội dung Trong đó đi sâu vào

giới thiệu phương pháp tra cứu ảnh theo nội dung với các đặc trưng như màu sắc của

ảnh Trên những cơ sở tìm hiểu đó tiến hành cài đặt thử nghiệm phương pháp tra cứu ảnhtheo vùng dựa trên biểu đồ màu sử dụng các độ đo màu sắc : Cho phép đọc vào một ảnh

và tìm kiếm những ảnh tương tự với ảnh truy vấn trong một tập hợp các ảnh cho trướctheo đặc trưng là màu sắc của ảnh

Hình 2.3.5.3.Sự thay đổi cường độ sáng trong hệ màu HSI

Hình 2.3.5.4 Màu đỏ thể hiện liên kết màu trong ảnh

Hình 3.3.1 Giao diện tên đề tài

Hình 3.3.3 Kết quả với độ đo min-max

Hình 3.3.4 Kết quả với độ đo Euclid

Hinh 3.3.8 : Kết quả 3

Hình 3.3.9 Kết quả 4

CHƯƠNG 1 CÁC PHƯƠNG PHÁP TRUY TÌM ẢNH

1.1 Vấn đề tra cứu ảnh

Tra cứu ảnh là một quá trình tìm kiếm trong một cơ sở dữ liệu ảnh những ảnh thoảmãn một yêu cầu nào đó Ví dụ, người sử dụng có thể tìm kiếm tất cả các ảnh về chủ đề

về biển trong một cơ sở dữ liệu ảnh hoặc một người sử dụng khác lại muốn phân loại cơ

sở ảnh của mình thành các bộ sưu tập có chủ đề khác nhau Một ví dụ khác về tra cứu ảnh

là một người muốn tìm tất cả các ảnh tương tự với một bức ảnh truy vấn nào đó trongmột cơ sở dữ liệu ảnh

Hình 2.1: Vấn đề tra cứu ảnh

Vấn đề tra cứu ảnh đã được nhìn nhận rộng rãi và việc tìm kiếm các giải pháp cho vấn

đề này trở thành một lĩnh vực rất sôi động, thu hút sự quan tâm của nhiều nhà nghiên cứu

và phát triển

?

Holiday?

1.2 Các phương pháp truy tìm ảnh

1.2.1 Truy tìm ảnh theo từ khóa

Phương pháp tra cứu ảnh dựa trên từ khóa như trên sử dụng các kỹ thuật cơ sở dữ liệutruyền thống để quản lý ảnh Đầu tiên người ta gán cho mỗi ảnh một câu chú thích bằnglời (text) dựa trên một đặc điểm nào đó của ảnh, sau đó sử dụng các kỹ thuật tìm kiếm từkhóa thông thường để tìm kiếm ảnh

Dựa vào các lời chú thích, người ta có thể tổ chức cơ sở dữ liệu ảnh bằng các phân lớptheo chủ đề hay theo ngữ nghĩa và việc duyệt cơ sở dữ liệu ảnh chỉ dựa trên các truy vấnkiểu Bool thông thường Do việc xây dựng các thuật toán có khả năng tự động sinh ra cácchú thích cho một cơ sở dữ liệu ảnh có nhiều chủ đề là hết sức khó khăn nên nói chungcác hệ thống tra cứu ảnh kiểu này vẫn yêu cầu phải chú thích ảnh một cách thủ công vàtrên thực tế việc chú thích ảnh như vậy tốn rất nhiều công sức và quan trọng hơn là nómang tính chủ quan, bị ảnh hưởng của hoàn cảnh và thường là không đầy đủ

1.2.2 Truy tìm ảnh theo nội dung

Phương pháp tra cứu ảnh theo nội dung ra đời đã khắc phục được những nhược điểmcủa phương pháp từ khoá Nội dung chính của phương pháp này là dựa trên sự tương tựcủa những đặc điểm trực quan của ảnh như màu sắc, hình dạng, kết cấu hay bố cục khônggian của ảnh để phân loại, sắp xếp các ảnh trong một cơ sở dữ liệu ảnh Tuy nhiên nhữngđặc điểm mà phương pháp này trích chọn để tra cứu vẫn là những đặc điểm ở mức thấp,chưa phản ánh được nội dung mang tính ngữ nghĩa của một đối tượng ảnh Vì vậy người

ta đã đưa ra một số cách tiếp cận mới phát triển phương pháp tra cứu ảnh theo nội dungthành các phương pháp tra cứu ảnh theo đồ thị hay tra cứu ảnh theo bản thể …

Tra cứu ảnh theo nội dung gồm có :

 Tra cứu ảnh theo màu sắc

 Tra cứu ảnh theo hình dạng

 Tra cứu ảnh theo vân

1.2.3 Tra cứu ảnh theo bản thể

Các bản thể tạo thành hạt nhân của của hệ thống tra cứu ảnh ngữ nghĩa được sử dụngcho ba mục đích:

Thuật ngữ chú giải: mô hình bản thể cung cấp thuật ngữ và các khái niệm để diễn tả

dữ liệu về dữ liệu (metadata) của các ảnh

Tìm kiếm theo cách nhìn: các bản thể của một mô hình, chẳng hạn Sự kiện, Conngười hoặc Vị trí cho ta các cách nhìn khác nhau vào cùng một nội dung giới thiệu Mỗicách nhìn bao gồm các lớp và các trường hợp ví dụ biểu diễn bằng metaphor của mộttrình duyệt hệ thống file trong đó các lớp tương ứng với các thư mục và các trường hợp ví

dụ tương ứng với các file

Duyệt ngữ nghĩa: Sau khi tìm kiếm được tâm điểm chú ý là một ảnh nào đó, mô hìnhbản thể ngữ nghĩa cùng với dữ liệu ảnh ví dụ có thể được sử dụng để tìm ra mối quan hệgiữa ảnh được lựa chọn và các ảnh trong cơ sở dữ liệu ảnh Các ảnh này sẽ được đưa racho người sử dụng chọn Những ảnh đó có thể không phù hợp hoàn toàn với truy vấnnhưng nói chung là tương đối phù hợp

1.2.4 Tra cứu ảnh theo đồ thị ngữ nghĩa

Kỹ thuật tra cứu ảnh theo nội dung dựa vào những đặc điểm mức thấp như màu sắc,kết cấu và hình dạng của đối tượng ảnh Mặc dù việc mô tả ảnh bằng các đặc điểm mứcthấp có thể thực hiện khá hiệu quả và đơn giản nhưng nhược điểm lớn nhất của phươngpháp này là không gần gũi với sự cảm nhận trực quan của hầu hết người sử dụng và do đóthường không đủ đáp ứng nhu cầu của người sử dụng Những ảnh mà ta cảm nhận được

sự giống nhau bằng mắt thường nhưng đôi khi lại rất khác nhau nếu so sánh bằng các đặcđiểm mức thấp

Mục tiêu của phương pháp này là xây dựng một sơ đồ để tích luỹ thông tin do nhữngtương tác với người sử dụng theo cách đơn giản hơn phản hồi thích hợp và sử dụngnhững thông tin này để việc tra cứu ảnh cho những kết quả có ý nghĩa trực giác hơn

1.3 Tra cứu ảnh theo nội dung

Phương pháp tra cứu ảnh theo nội dung sử dụng các nội dung trực quan của ảnh nhưmàu sắc, hình dạng, kết cấu và phân bố không gian Trong một hệ thống tra cứu ảnh theonội dung điển hình ,các nội dung trực quan của ảnh được trích chọn và mô tả bằng nhữngvéc tơ đặc trưng nhiều chiều Tập hợp các vec tơ đặc trưng của các ảnh trong một cơ sở

dữ liệu ảnh tạo thành cơ sở dữ liệu đặc trưng

1.3.1 Mô hình hệ thống tra cứu ảnh theo nội dung

Hình 1.3.1: Mô hình hệ thống tra cứu ảnh theo nội dung

Trong mô hình này, người sử dụng sẽ tạo truy vấn bằng cách chọn một ảnh truy vấntrong một cơ sở dữ liệu ảnh cho trước hoặc phác thảo một hình vẽ mô tả đối tượng ảnhcần tìm bằng cách sử dụng một giao diện đồ hoạ của hệ thống

Ảnh truy vấn đó được đưa qua khối mô tả nội dung trực quan, trong đó người ta sửdụng một phương pháp mô tả nội dung trực quan nào đó để trích chọn một đặc điểm nộidung trực quan để xây dựng thành một vectơ đặc trưng

Các vecto đặc trưng của ảnh truy vấn và cơ sở dữ liệu ảnh sẽ được đánh chỉ mục nếuchưa tồn tại chỉ mục hoặc vector đặc trưng của ảnh đó chưa có trong chỉ mục Nếu đã tồntại chỉ mục thì đặc trưng của các ảnh sẽ được lấy ra tưc chỉ mục

Mô tả nội dung

Các vecto đặc trưng

Tra cứu và đánh chỉ

số đặc trưng

Đánh giá

độ tương tự

Kết quả tra cứu

Phản hồi thích hợp

Mô tả nội dung Cơ sở dữ liệu đặc

Véc tơ đặc trưng của ảnh truy vấn sẽ được so sánh với vectơ đặc trưng tương ứng củacác ảnh trong cơ sở dữ liệu ảnh Kết quả của phép so sánh là một chỉ số đánh giá độtương tự giữa ảnh truy vấn và ảnh lấy ra để so sánh.

Danh sách các ảnh tìm được (đã được sắp xếp) được đưa ra đầu ra của hệ thống

1.3.2 Các phương pháp mô tả nội dung ảnh

Nếu nhìn một cách tổng quát thì nội dung của một bức ảnh có thể bao gồm cả nộidung trực quan và nội dung ngữ nghĩa

Nội dung trực quan của ảnh lại được phân làm hai loại là nội dung tổng quan và nộidung đặc tả Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng và các quan hệkhông gian giữa các đối tượng ảnh hoặc giữa các vùng ảnh Nội dung đặc tả thì tuỳ vàotừng ứng dụng cụ thể, ví dụ với các ứng dụng tra cứu ảnh người thì mặt người hoặc conmắt là các nội dung đặc tả; với các ứng dụng tra cứu ảnh ô tô thì bánh xe là một nội dungđặc tả

Nội dung ngữ nghĩa có thể phát hiện thông qua các chú thích hoặc sử dụng cácphương pháp suy diễn từ nội dung trực quan

Trong khuôn khổ của đồ án này em chỉ tập trung vào việc mô tả nội dung trực quantổng quan của ảnh Một phương pháp mô tả nội dung trực quan được thiết kế tốt phải cótính bất biến đối với các biến đổi bất thường sinh ra trong quá trình xử lý ảnh (ví dụ nhưnhững biến đổi bất thường của độ sáng của cảnh vật) Tuy nhiên cũng cần phải chú ý tới

sự cân bằng giữa tính bất biến và khả năng đáp ứng những thay đổi tuỳ ý của các đặctrưng trực quan của ảnh, bởi vì một hệ thống có tính bất biến lớn thì thường là không cótính nhạy cảm, mất khả năng phản ánh những thay đổi nhỏ nhưng rất quan trọng

Một phương pháp mô tả nội dung trực quan được chia làm 2 loại: phương pháp toàncục hoặc phương pháp cục bộ Phương pháp mô tả nội dung toàn cục sử dụng các đặctrưng trực quan của toàn bộ bức ảnh còn phương pháp mô tả nội dung cục bộ lại sử dụngnhững đặc trưng trực quan của các vùng ảnh hoặc các đối tượng ảnh để mô tả nội dungcủa ảnh

Để mô tả được nội dung cục bộ trước hết người ta phải chia ảnh thành các phần riêngbiệt Cách đơn giản nhất để phân chia ảnh là sử dụng một bộ phân hoạch chia ảnh thànhcác ô có kích thước và hình dạng giống nhau Cách phân chia như vậy không tạo ra đượcnhững vùng ảnh có ý nghĩa thực sự nhưng nó là cách đơn giản để biểu diễn nội dung toàncục của ảnh với độ chính xác cao hơn Một phương pháp phân chia tốt hơn là phân đoạnảnh thành các vùng đồng nhất dựa vào các tiêu chí sử dụng các thuật toán phân đoạn ảnh

đã được nghiên cứu và áp dụng trong ngành thị giác máy tính Một cách phức tạp hơn đểphân chia ảnh là thực hiện phân chia theo các đối tượng ảnh để tách ra các đối tượng ảnh

có nghĩa thực sự (như quả bóng, cái ô tô hay con ngựa)

Trong đồ án này em sẽ giới thiệu và cài đặt cả phương pháp tìm kiếm ảnh dựa theođặc trưng về màu sắc

1.3.2.1 Mô tả các đặc trưng màu sắc

Trên thực tế thì màu sắc được sử dụng nhiều nhất để mô tả nội dung trực quan củaảnh Lý do là vì màu sắc của ảnh có tác động lớn đến nhận thức của con người về nộidung của ảnh hơn là các đặc điểm khác như hình dạng của các đối tượng ảnh, kết cấu củaảnh hay sự phân bố không gian của các đối tượng ảnh

Các đặc trưng về màu sắc thường được sử dụng là : không gian màu, các moment màu,biểu đồ màu, vecto gắn kết màu, sơ đồ tương quan màu và các đặc điểm bất biến màu

1.3.2.2 Mô tả các đặc trưng kết cấu

Kết cấu bề mặt (texture) là đặc trưng quan trọng của ảnh nhưng khó mô tả và cảmnhận, nó rất chủ quan Mục tiêu của nghiên cứu đặc tả texture là mô tả càng phù hợp vớicảm nhận của con người càng tốt

Trong đặc tả của Tamura et al, texture được mô tả bởi 6 đặc trưng:

 Tính thô: tính thô ngược với mịn Nếu phân biệt càng rõ các phần tử ảnh thì ảnhcàng thô Ảnh phóng to sẽ thô hơn ảnh gốc

 Tính tương phản: tương phản được đo bởi 4 tham số: dải độ rộng mức xám ảnh,phân cực của phân bố đen/trắng trên biểu đồ màu xám hay tỉ lệ vùng đen/ trắng, độnét của cạnh, chu kì lặp các mẫu

 Tính theo hướng: là đặc tính trên vùng cho trước Được đo bởi hình dạng thànhphần và bố trí Hướng của mẫu texture là không quan trọng Hai mẫu mà chỉ kháchướng sẽ có cùng cấp độ theo hướng.

 Tương tự đoạn thẳng: tham số này liên quan đến hình dạng phần tử texture

 Đều đặn: đo biến đổi của qui tắc xếp đặt phần tử Liên quan đến texture là đều haykhông đều Hình dạng phần tử khác nhau làm giảm tính đều Texture mịn đượccảm nhận như đều

 Ghồ ghề: đo texture là trơn tru hay ghồ ghề Nó liên quan đến tính thô và tươngphản

Các biểu diễn texture khác bao gồm:

 Kích thước Fractal: kích thước fractal đặc trưng cho độ phức tạp hình học của tậpảnh Ảnh được xem như tập của ba kích thước: hai kích thước đầu liên quan đến vịtrí pixel, kích thước thứ ba liên quan đến liên quan đến cường độ Kích thướcfractal của ảnh càng cao thì ảnh càng thô

 Hệ số Fourier: hệ số FC của ảnh mô tả cường độ pixel ảnh thay đổi nhanh như thếnào Các giá trị FC được sử dụng để chỉ ra độ ghồ ghề của ảnh

Thống kê phân bổ màu: thống kê phân bổ màu như các moment 0, 1 và 2 của phân bổmàu có thể sơ bộ chỉ ra texture của ảnh

1.3.2.3 Mô tả các đặc trưng hình dạng

Đặc trưng mức thấp quan trọng khác là hình dạng đối tượng trong ảnh Với tìm kiếmảnh trên cơ sở hình dạng , các ảnh phải phân đoạn thành các đối tượng riêng rẽ nhờ mộtthuật toán phân đoạn nào đó Sau khi phân đoạn, nhiệm vụ chủ yếu của tìm kiếm ảnh trên

cơ sở hình dạng là biểu diễn hình dạng và mức đo tương đồng giữa các biểu diễn hìnhdạng Biểu diễn hình dạng và mức đo tương đồng tốt cho mục đích nhận dạng hay tìmkiếm ảnh phải có hai đặc tính quan trọng sau đây:

Mỗi hình dạng cần phải có đại diện duy nhất, bất biến khi biến đổi, xoay và co dãn Đặctính này đòi hỏi nhận biết đối tượng với kích thước khác nhau và ở vị trí, hướng khácnhau

Các hình dạng tương tự phải có đại diện tương tự sao cho truy tìm thực hiện được trên cơ

sở khoảng cách giữa các đại diện hình dạng

Trong quá trình truy tìm, người sử dụng chọn ảnh thí dụ hay phác họa hình dạng mà họquan tâm Sau đó nhập vào hệ thống tìm kiếm Hệ thống truy tìm ảnh có các hình dạngtương tự sau đó trình diễn cho người sử dụng theo tính tương đồng giảm dần

1.3.2.4 Thông tin về không gian

Các vùng ảnh và các đối tượng ảnh có các thuộc tính màu sắc và kết cấu tương tựnhau vẫn có thể được phân biệt dễ dàng bằng cách áp dụng các ràng buộc về không gian

Ví dụ, các vùng ảnh như bầu trời xanh và mặt biển có thể có cùng histogram màu nhưng

vị trí không gian của chúng thì khác nhau Do đó vị trí không gian của một vùng ảnh(hoặc một đối tượng ảnh) hay mối quan hệ không gian giữa các vùng ảnh (hoặc các đốitượng ảnh) trong một bức ảnh là rất hữu ích trong việc tra cứu ảnh

Tuy nhiên, việc tra cứu ảnh dựa trên các quan hệ không gian của các đối tượng ảnhvẫn là một vấn đề khó của kỹ thuật tra cứu ảnh theo nội dung bởi vì cách phân tách vùngảnh hoặc đối tượng ảnh thường rất khó thực hiện được, chỉ có một số rất ít ứng dụng làmđược điều này

1.3.3 Đánh giá độ tương tự và xây dựng sơ đồ đánh chỉ số

Phần này sẽ giới thiệu một vài phương pháp đo độ tương tự thường được

sử dụng Để thuận tiện cho việc trình bày chúng ta đưa ra một số ký hiệu chung được

dùng trong tất cả các phương pháp dưới đây: ký hiệu D(I,J) là số đo khoảng cách (về độ tương tự) giữa ảnh truy vấn I và một ảnh J bất kỳ và f i (I) là số điểm ảnh trong bin thứ i

của ảnh I.

Khoảng cách Euclid

Nếu mỗi kích thước của véc tơ đặc trưng của ảnh là độc lập với nhau và có độ quan

trọng như nhau thì khoảng cách Euclid L p là thích hợp để tính toán khoảng cách giốngnhau giữa hai ảnh Khoảng cách này được tính như sau:

p

i

p i

i I f J f

J

I

D

/ 1

) ( ) ( )

trong đó p = 1, 2 và , D(I, J) tương ứng là L 1 và L

Khoảng cách toàn phương

Người ta đưa ra cách tính khoảng cách toàn phương như sau:

) (

) (

) (

) (

)

,

J I T

Trong đó C là ma trận hiệp biến của các véc tơ đặc trưng

Cách tính khoảng cách Mahalanobis có thể được đơn giản hoá nếu các chiều của véc tơđặc trưng độc lập với nhau, chỉ một phương sai của mỗi thành phần đặc trưng ci là cầnthiết, khi đó:

F j

I

D

1

2/)(

)

,

(

Ý tưởng cơ bản của PCA là tìm các thành phần s 1 , s 2 , , s n sao cho chúng lượng lớnnhất của phương sai có thể có bằng n thành phần biến đổi tuyến tính PCA có thể đượcđịnh nghĩa ngắn gọn bằng cách sử dụng công thức đệ qui Định nghĩa hướng của thành

1 1

max

arg

k i

T i i

T w

w

Đến đây các thành phần cơ bản được tính bởi công thức:

s i = w i T x

Trong thực tế, việc tính toán w i có thể thực hiện một cách đơn giản bằng việc sử dụng ma

trận hiệp biến E{x.xT} = C Trong đó w i là các véc tơ riêng của C tương ứng với n giá trịriêng lớn nhất của C

Mục đích chính của PCA là giảm số chiều của dữ liệu bằng cách chọn n<<m Thực ra có

thể chứng minh được là PCA là một kỹ thuật giảm số chiều tuyến tính tối ưu về bìnhphương sai số

Việc giảm số chiều của dữ liệu có rất nhiều lợi ích:

o Lợi ích thứ nhất là làm giảm chi phí tính toán cho các quá trình xử lý sau(trong tra cứu ảnh theo nội dung là bước đánh giá độ tương tự)

o Lợi ích thứ hai là nhiễu cũng có thể bị giảm vì dữ liệu không nằm trong nthành phần cơ bản đầu tiên thường là nhiễu

o Lợi ích thứ ba là phép chiếu lên một không gian con của dữ liệu ít chiều (ví

dụ là 2 chiều) làm trực quan hoá dữ liệu

Sau khi đã giảm số chiều thì các dữ liệu nhiều chiều này sẽ được đánh chỉ số Có

nhiều cách tiếp cận được nghiên cứu để thực hiện điều này như sử dụng cây R, cây toàn

phương tuyến tính, cây K-d-B và file lưới.

Phần lớn những phương pháp đánh chỉ số này có hiệu năng chấp nhận được khi sốchiều tương đối nhỏ (đến 20 chiều), nhưng hiệu năng lại bị giảm mạnh theo theo tỉ lệ hàm

mũ với sự tăng số chiều và cuối cùng sẽ giảm xuống bằng với cách đánh chỉ số tuần tự.Ngoài ra các sơ đồ đánh chỉ số này đều dựa trên giả thiết là phương pháp đánh giá độtương tự sử dụng là tính khoảng cách Euclide, mà điều đó thì không phải lúc nào cũngđúng vì nhiều ứng dụng lại sử dụng các phương pháp đánh giá khác Một phương pháp đểgiải quyết vấn đề này là sử dụng sơ đồ đánh chỉ số nhiều cấp dựa trên bản đồ tự tổ chức(SOM)

1.3.4 Tương tác với người sử dụng

Đối với hệ thống tra cứu ảnh theo nội dung, sự tương tác của người sử dụng với hệthống tra cứu có ý nghĩa quyết định bởi vì sự thay đổi và định dạng linh hoạt các truy vấnchỉ có thể được thực hiện khi có sự tham gia của người dùng vào hệ thống

Giao diện người sử dụng của các hệ thống tra cứu ảnh thường có một phần xây dựngtruy vấn và một phần hiển thị kết quả

1.3.4.1 Đặc tả truy vấn

Có thể có nhiều cách để người sử dụng mô tả kiểu của ảnh mà họ muốn tra cứu từ cơ

sở dữ liệu Các cách tạo truy vấn phổ biến là: duyệt theo thể loại, truy vấn theo khái

niệm, truy vấn bằng ví dụ mẫu

Duyệt theo thể loại là duyệt toàn bộ cơ sở dữ liệu dựa theo thể loại của ảnh Để làmđược điều này thì các ảnh trong cơ sở dữ liệu phải được phân loại thành các thể loại khácnhau dựa vào nội dung ngữ nghĩa hoặc nội dung trực quan

Truy vấn theo khái niệm là tra cứu ảnh dựa trên các mô tả mang tính khái niệm gắnvới mỗi ảnh trong cơ sở dữ liệu

Truy vấn dựa theo hình vẽ phác hoạ và truy vấn dựa theo ảnh truy vấn là người sửdụng phải vẽ một phác hoạ hoặc chỉ ra một ảnh truy vấn mà từ đó các ảnh có các đặctrưng trực quan tương tự sẽ được tìm kiếm trong cơ sở dữ liệu

1.3.4.2 Xử lý phản hồi

Nhận thức của con người về sự giống nhau của các ảnh thường mang tính chủ quan,tính ngữ nghĩa và phụ thuộc vào từng hoàn cảnh Mặc dù phương pháp tra cứu ảnh theonội dung đưa ra được một định hướng rất sáng sủa nhưng nói chung những kết quả truyvấn chỉ dựa vào sự tương tự của các đặc điểm trực quan thì lại thường không có nhiều ýnghĩa về mặt nhận thức và ngữ nghĩa Ngoài ra mỗi đặc điểm trực quan lại có xu hướngphản ánh chỉ một khía cạnh nào đó của thuộc tính của ảnh và điều đó thường gây khókhăn cho người sử dụng có thể xác định một cách rõ ràng làm thế nào để kết hợp các khíacạnh khác nhau lại với nhau

Để giải quyết vấn đề này, người ta giới thiệu một kỹ thuật đã sử dụng trong các hệ

thống tra cứu thông tin từ khóa truyền thống đó là kỹ thuật phản hồi thích hợp tương tác.

Với phản hồi thích hợp, hệ thống có thể tạo ra được những mối liên kết giữa những kháiniệm ở mức cao với những đặc điểm trực quan ở mức thấp

Phản hồi thích hợp là kỹ thuật học tích cực có giám sát sử dụng để tăng cường hiệu quảcủa các hệ thống thông tin Ý tưởng chính là sử dụng các mẫu tích cực và các mẫu phủđịnh do người sử dụng cung cấp để cải thiện hiệu năng hệ thống

Đối với một truy vấn cho trước, đầu tiên hệ thống sẽ một danh sách các ảnh được xếphạng theo hệ đo độ tương tự đã được định nghĩa trước Sau đó, người sử dụng sẽ đánhdấu những kết quả nào là thích hợp (những ví dụ tích cực) với truy vấn và những kết quảnào không thích hợp (những ví dụ phủ định) Hệ thống sẽ "làm mịn" lại kết quả tìm kiếmdựa trên những phản hồi của người sử dụng và đưa ra một danh sách mới các ảnh phùhợp hơn.

Vấn đề chính ở đây là làm thế nào để sử dụng kết hợp các ví dụ tích cực và các ví dụphủ định để làm mịn truy vấn và điều chỉnh hệ đo độ tương tự

1.3.5 Hiệu năng của hệ thống tra cứu ảnh

Để đánh giá hiệu năng của hệ thống tra cứu, người ta đưa ra hai số đo đó là độ thu hồi(recall) và độ chính xác (precision) Các số đo này được mượn từ hệ thống tra cứu thôngtin truyền thống

Độ chính xác của việc tra cứu được định nghĩa là tỉ lệ những kết quả thu được thực sự

thích hợp với truy vấn trên tổng số kết quả tìm kiếm được theo một ngưỡng tốt nhất

N

C N precision N

 ) (

Độ thu hồi là tỉ lệ những kết quả thích hợp do truy vấn trả lại thuộc cùng một lớp ảnh:

M

C N recall N

 ) (

Trong đó N là tổng số các hình ảnh tìm kiếm được với một ngưỡng tốt nhất, C N làtổng số các ảnh tìm kiếm được gần giống với ảnh truy vấn nhất và nằm trong cùng mộtlớp mà ảnh truy vấn thuộc lớp đó (với C N M





0 ) và M là số lượng các ảnh trong cùngmột lớp với ảnh truy vấn

Thông thường phải có sự thoả hiệp giữa hai số đo này bởi vì nếu muốn tăng cường số

đo này thì lại phải chịu giảm số đo kia và ngược lại Trong các hệ thống tra cứu điển hìnhthì độ thu hồi có xu hướng tăng lên khi số lượng các kết quả thu được tăng lên trong khi

đó thì độ chính xác dường như lại bị giảm đi

Gần đây MPEG7 có khuyến nghị một cách đánh giá mới về hiệu năng của các hệ

thống tra cứu gọi là ANMRR (average normalized modified retrieval rank) Theo cách

này độ chính xác và độ thu hồi được kết hợp thành một số đo duy nhất

1.4 Một số hệ thống tìm kiếm ảnh hiện nay

Khi tìm hiểu về ảnh ,ta thấy rằng có rất nhiều loại thông tin khác nhau nằm trong dữ liệu ảnh Do đó , truy tìm ảnh dựa trên nội dung đã trở thành một phạm vi nghiên cứu được nhiều người quan tâm Có nhiều cách tiếp cận xây dựng hệ thống truy tìm ảnh dựa trên nội dung được các nhà nghiên cứu đề xuất đã được thực hiện và đang được áp dụng trong thực tiễn Việc lựa chọn cách tiếp cận nào thích hợp cho mục đích người sử dụng không còn là một việc đơn giản nữa

Hầu hết các hệ thống truy tìm ảnh được xây dựng trên cơ sở lựa chọn 1 trong những cách tiếp cận sau

 Tìm kiếm dựa trên nội dung ảnh mẫu

 Tìm kiếm dựa trên sự phác thảo

 Tìm kiếm dựa trên từ khóa hay lời chú thích

 Tìm kiếm theo sự phân loại ảnh

Trong thực tế ,để đáp ứng được nhu cầu của người sử dụng ,cần thiết phải xem xét để mởrộng thêm các cách tiếp cận khác nữa

Một số hệ thống truy tìm ảnh đang được sử dụng hiện nay

QBIC ( Query By Image Content-IBM )

QBIC là hệ thống truy tìm ảnh dựa trên sự phác thảo Người sử dụng xây dựng một phác thảo, vẽ ra và lựa chọn màu cùng các mẫu kết nối Các đặc trưng màu sử dụng trongQBIC là giá trị màu trung bình của không gian RGB QBIC là một trong các hệ thống dùng chỉ mục đặc trưng nhiều chiều dựa trên cấu trúc R*-Tree và là hệ thống đàu tiên có cách tiếp cận truy tìm ảnh dựa trên nội dung được áp dụng vào thực tiễn Các kỹ thuật

trong hệ thống này là cơ sở nghiên cứu cho sự xây dựng và phát triển của hệ thống truy tìm ảnh sau này

VIRAGE ( Virage Inc ):

Tương tự như QBIC , Virage là hệ thống truy tìm ảnh dựa trên ảnh mẫu và sự phác thảo tuy nhiên ,virage có một bước tiến hơn QBIC là người sử dụng có thể điều chỉnh sự kết hợp các trọng số với các đặc trưng thị giác tùy theo tầm nhìn quan trọng mà họ cảm nhận

VisualSEEK và WebSEEL ( Đại học Colombia )

visualSEEK là một kỹ thuật tìm kiếm đặc trưng trực quan của ảnh VisualSEEK cungcấp các truy vấn dựa trên các đặc trung trực quan và các không gian của chúng

WebSEEK là một kỹ thuật tìm kiếm văn bản hoặc ảnh theo hướng Web.Phéo biến đổi Wavelet được dùng để xây dựng kết cấu cảu các đặc trung và phát triển cây nhị phân tạo chỉ mục nhằm tăng tốc độ xử lý WebSEEK bao gồm 3 giai đoạn chính : sưu tập ảnh , phân lớp đối tượng, và tạo chỉ mục cuối cùng là tìm kiếm và hiển thị

Netra ( Alexandria Digital Library ( ADL)) :

Netra có cách tiếp cận truy tìm ảnh dựa trên ảnh mẫu và sự phân loại ảnh Mầu sắc , kết cấu,hình dạng và các miền riêng biệt đã được phân đoạn trong ảnh dùng để truy tìm các miền đồng dạng trong CSDL

MARS

Mars không giống các hệ thống khác ở cả 2 phương diện : phạm vi nghiên và kỹ thuật

sử dụng Mars là hệ thống xây dựng dựa trên kết quả nghiên cứu của nhiều lĩnh vực như thị giác máy tính , hệ quản trị CSDL, truy tìm thông tin Các đặc trưng nghiên cứu của Mars là sự tích hợp giẵ DBMS –IR, tích hợp của chỉ mục truy tìm, kết hợp giữa máy tính

và con người.Trọng tâm chính của MARS không phải là việc khám phá trình bày các đặc

trưng hay nhất , mà chính là việc tổ chức các đặc trưng trực quan khác nhau hợp thành 1 cấu trúc truy tìm đầy xúc tích

BLOBWORLD

Hệ thống này áp dụng cách tiếp cận truy tìm ảnh theo mẫu mà tạo ra những biến đổi bằng cách rút trích các dữ liệu điểm nguyên thủy có đặc tính giống nhau về màu sắc và không gian kết cấu để hợp thành một tập hợp nhỏ gọi là vùng riêng biệt ảnh được truy tìm trên sự phác thảo của vùng riêng biệt

Hệ thống này cũng cho người sử dụng thấy được sự trình bày kết cấu bên trong ảnh truyvấn và các kết quả truy vấn của nó Ngoài ra việc hiển thị ngẫu nhiên của hệ thống cho người sử dụng biết nguyên nhân tại sao các ảnh không đồng dạng với ảnh truy vấn lại được trả về như kết quả truy vấn và làm sao để cải tiến điều đó

DISIMA

Disima là hệ thống đáng lưu ý bởi vì Disima được thực hiện qua các bước sau

- So khớp nội dung đặc trưng ảnh và so khớp với các từ khóa

 Tuy nhiên , các thành công trong kỹ thuật xây dựng cấu trúc chỉ mục nhiều chiềuhiện nay lại dựa trên những tiến bộ không ngừng của kỹ thuật xử lí ảnh nhằm rúttrích đặc trưng trực quan ảnh

 Như vậy ,rõ ràng rằng sự thành công của các kỹ thuật xây dựng chỉ mục nhiều chiềutrong hệ thống truy tìm ảnh đòi hỏi phải có sự tích hợp của nhiều lĩnh vực nghiêncứu cụ thể là cơ sở dữ liệu và xử lí ảnh

Sơ đồ cấu trúc hệ thống tổng hợp cho cả hai cách tiếp cận truy tìm ảnh trên nội dung và

từ khóa

1.5 Kết luận

Như vậy trong chương này em đã làm những công việc sau, thứ nhất là trình bàynhững lý do chọn đề tài của mình thông qua việc giới thiệu về các vấn đề như: sự ra đờicủa bài toán tra cứu ảnh để giải quyết những yêu cầu đối với việc lưu trữ và truy tìm ảnhtrong một cơ sở dữ liệu ảnh ngày càng lớn Tra cứu ảnh có một vai trò quan trọng trongnhiều lĩnh vực khác nhau; Để giải quyết bài toán tra cứu ảnh người ta đã đưa ra khá nhiềuphương pháp khác nhau như tra cứu ảnh theo từ khóa, tra cứu ảnh theo nội dung, tra cứuảnh theo bản thể, tra cứu ảnh theo đồ thị ngữ nghĩa; Trong đó phương phương pháp tracứu ảnh theo nội dung được sự quan tâm của rất nhiều người nghiên cứu, do đó trong đồ

án em trình bày chủ yếu về phương pháp này; Trong phương pháp tra cứu ảnh theo nộidung em tập trung nghiên cứu và tìm hiểu về phương pháp tra cứu ảnh theo vùng, vìphương pháp này ra đời đã khắc phục được những nhược điểm của phương pháp tra cứuảnh theo đặc trưng màu sắc và kết cấu toàn cục, làm cho kết quả tra cứu ảnh tốt hơn Thứhai là trình bày tổng quan về hệ thống tra cứu ảnh theo nội dung bao gồm: mô hình hệthống tra cứu ảnh, các đặc trưng trong tra cứu ảnh, đánh giá độ tương tự, xây dựng sơ đồđánh chỉ số cho đặc trưng và đánh giá hiệu năng của hệ thống tra cứu ảnh Các phần này

sẽ được nói rõ trong chương tiếp theo

CHƯƠNG 2 TRUY TÌM ẢNH THEO MÀU SẮC

2.1 Màu sắc

2.1.1 Tổng quan

Thu thập thông tin từ dữ liệu ảnh liên quan đến rất nhiều các lĩnh vực của đời sống

xã hội như: An ninh, giáo dục, văn hoá,…

Để xử lý thông tin ta cần rất nhiều các nguồn thông tin khác nhau từ sách báo,phim ảnh, văn bản…các kho dữ liệu này ngày càng khổng lồ vượt qua sự kiểm soát củacon người Khi có nhu cầu tìm kiếm một bức ảnh nào đó trong hàng triệu bức ảnh thì khó

có thể thực hiện được theo cách thông thường nghĩa là ta cần tìm lần lượt từng bức ảnhmột và tiến hành so sánh chúng với bức ảnh cần tìm Điều đó mất rất nhiều thời gian vàcông sức Dựa vào màu sắc ta có thể tìm kiếm được bức ảnh cần tìm đó là cách tìm kiếmảnh dựa trên cơ sở biểu đồ màu tích lũy

2.1.2 Đặc trưng về màu sắc

Với một tấm ảnh bất kỳ nào đó thì thông tin về màu sắc của bức ảnh là quan trọngnhất Qua màu sắc của bức ảnh có thể lọc được nhiều lớp ảnh thông qua vị trí, khônggian, định lượng của màu trong ảnh, từ đó tìm ra được ảnh cần tìm

2.1.3 Độ đo

Có ý nghĩa quan trọng trong việc tìm kiếm ảnh Độ đo quyết định kết quả của phéptìm kiếm, mức độ chính xác của phép tìm kiếm

2.2 Truy tìm ảnh dựa vào màu sắc

2.2.1 Khái niệm màu sắc

Màu sắc là thuộc tính của một đối tượng nào đó, được cảm nhận thông qua thịgiác.Sự nhận thức về màu sắc là rất quan trọng trong đời sống của con người Sự nhậnthức về màu sắc phụ thuộc vào cả tính chất vật lý của ánh sáng và quá trình xử lý của thịgiác với sự góp phần rất quan trong của kinh nghiệm Con người có thể dùng thông tin vềmàu sắc để phân biệt đối tượng, vật liệu, con người…và ngay cả không gian và thời gian

2.2.2 Một số đặc tính vật lí đặc biệt của màu sắc

Con người chỉ có khả năng nhận thức được ánh sáng có bức xạ điện từ với bướcsóng trong khoảng từ 400- 700 nanomet Cơ quan thị giác cảm nhận được ánh sáng là do

bề mặt đối tượng phát ra ánh sáng, là kết quả của sự tương tác giữa năng lượng chiếusáng và những phân tử của bề mặt đối tượng Cùng với sự phát triển của khoa học kỹthuật ngày nay chúng ta có rất nhiều các thiết bị phản ảnh khá trung thức màu sắc của đốitượng như máy quay phim máy ảnh kỹ thuật số,…và những phần mềm xử lý màu sắc.Màu sắc cung cấp phép đo lường đa dạng tại mỗi điểm ảnh đơn, có thể phân lớp, phânloại mà không cần đến sự xử lý không gian phức tạp để đưa ra quyết định nào đó Do đó,việc lựa chọn mô hình màu thích hợp và sử dụng lược đồ lượng hóa màu thích hợp sẽgiảm bớt độ phân giải màu Đây là vấn đề quan trọng trong việc tìm kiếm ảnh dựa vàomàu sắc Màu sắc thường được biểu diễn như là các điểm trong không gian màu ba chiều.Hiện tại có rất nhiều mô hình màu hình học hỗ trợ việc thể hiện màu sắc một cách rõràng, dễ lượng hóa Mô hình màu có thể khác biệt :

 Mô hình dựa trên thiết bị đo màu: Kết quả từ độ đo vật lý hệ số phản xạquang phổ sử dụng thiết bị đo màu Các không gian màu chuẩn theo CIE thuộc loại này

 Mô hình màu dựa trên cảm nhận sinh lý: Kết quả từ các nghiên cứu về thầnkhinh Tồn tại ba kiểu hình nón phân biệt trong võng mạc của con người đóng vai tró vàoviệc sắp xếp màu sắc trong không gian màu Các mô hình màu CIE, XYZ, RGB và cácbiến thể thuộc nhóm này

 Mô hình màu dựa trên tâm lý học: Dựa trên cách mà màu sắc hình thànhtrong đầu của người quan sát Các mô hình đối lập dựa trên các phân tích thực nghiệmphản ứng của con người đối với các thành phần đối lập cơ sở Họ các không gian màuHSB thuộc lớp này

 Các mô hình màu có thể phân biệt:

 Mô hình hướng thiết bị: Định nghĩa theo thuộc tính của thiết bị dùng để hiểnthị màu như màn hình tivi, màn hình máy tính và máy in Các mô hình màuhướng thiết bị là: RGB, CMY, YIQ Người dùng rất khó xử lý trên các mô

hình này vì nó không phản ánh trực tiếp các khái niệm trực giác màu sắc, sắcđộ(độ đậm nhạt của màu sắc) và cường độ sáng.

 Mô hình hướng người dùng: Dựa trên khả năng cảm nhận màu sắc thông quacác đối tượng trực giác màu sắc, sắc thái và cường độ sáng Các mô hình màuhướng người dùng là: HSL, HSV, HSB, MTM, L*u*v, L*a*b, L*c*h

 Không gian màu là một cách biểu diễn toán học một tập các màu Các khônggian màu có thể chia làm hai loại:

 Không gian màu độc lập thiết bị: Được chia thành nhiều không gian màuđược định nghĩa theo chuẩn CIE như: XYZ, L*u*v, L*a*b, ứng dụng chínhcho mục đích đo màu

 Không gian màu phụ thuộc thiết bị được chia làm 3 lớp rộng: Các không gianmàu in CMY, CMYK dựa trên màu mực được dùng trong ngành in và nhiếpảnh Các không gian màu màn hình là các biến thể của không gian màu RGB,các không gian mà video- tất cả đều tương tự như không gian màu YUVđược phân thành các không gian màu riêng tuỳ vào ứng dụng

2.3 Một số hệ màu thông dụng

2.3.1 Hệ màu chuẩn RGB

Ba màu RGB( RED-GREEN-BLUE) là ba màu cơ bản được dùng để mã hóa hệthống đồ hoạ phân biệt được khoảng 16 triệu màu Tuy nhiên, việc mã hoá này sẽ khôngthể hiện được tất cả các sự khác biệt về màu sắc trong thế giới thực.RGB sử dụng 3 byte

để biểu diễn, mỗi điểm ảnh RGB gồm 1 byte cho màu R, 1 byte cho màu G, 1 byte chomàu B Việc mã hoá một màu tuý ý trong dãy hiển thị được thực hiện bằng cách tổ hợp

ba màu chính Ví dụ RED(255,0,0), Green(0,255,0), Blue(0,0,255), Black(0,0,0) Hệthống màu RGB là hệ thống màu cộng vì một màu bất kỳ được tạo nên bằng cách cộngthêm các phẩn tử vào màu Black(0,0,0) Khuôn dạng của không gian màu RGB là địnhdạng phổ biến nhất của ảnh số, lý do chính là tính tương thích với màn hình hiển thịchính là màn hình vi tính Tuy nhiên không gian màu này có hạn chế là không thể hiện

được cách cảm nhận màu sắc của con người Do vậy không phù hợp với việc tìm kiếmảnh.

2.3.2 Hệ màu CMY

Không gian màu CMY được dùng trong in ấn Màu lục lam, màu đỏ tươi và màuvàng là phần bù của màu đỏ, màu xanh lá cây và màu xanh dương được gọi là các thànhphần cơ sở trừ vì chúng được tạo ra bằng cách trừ đi độ sáng từ màu trắng

Ví dụ: Màu lục lam là phần bù của màu đỏ, được tạo ra bằng cách xoá thành phần

đỏ từ màu trắng Có thể chuyển không gian màu RGB sang không gian màu CMY bằngcông thức chuyển đổi đơn giản nhưng kém chính xác: C=1-R, M=1-G, Y=1-B Hệ thốngmàu này đường như là một sự đảo ngược của hệ thống màu GRB Đặc tính khá đơn giản

và được ứng dụng nhiều trong thực tế Tuy nhiên, cũng như RGB, CMY cúng có hạn chế

đó là màu sắc được mã hoá trong hệ màu này khác với màu sắc được con người cảmnhận Do vậy không phù hợp với việc tìm kiếm ảnh

Hình 2.3.1 Hệ màu RGB

2.3.3 Hệ màu YIQ

Là sự biến thể của hệ RGB bằng cách chuyển đổi hiệu quả và duy trì sự tương thíchvới các màu chuẩn

Công thức chuyển đổi từ RGB sang YIQ

Để lấy được các giá trị RGB từ tập YIQ, chúng ta chỉ cần thực hiện toán tử đảo matrận hệ màu YIQ được thiết kế giúp cho sự cảm nhậncủa con người về sự thay đổi độsáng chói tốt hơn sự thay đổi đặc trưng màu sắc và độ thuần khiết Lợi thế của YIQ trongviệc xử lý ảnh là độ sáng chói(Y) và thông tin màu (I, Q) được tách riêng Chính việctách này giúp cho quá trình xử lý thành phần Y của ảnh không ảnh hưởng đến nội dungmàu

Không gian màu này gây khó khăn cho người sử dụng vì nó không phản ánh trựctiếp khái niệm giác quan của màu sắc: màu, sắc thái và độ sáng

2.3.4 Hệ màu L*a*b

Mô hình màu L*a*b được đề xuất bởi CIE cho việc lượng hoá sự khác biệt của màusắc chống vật chiếu sáng của ánh sáng ban ngày Tuy nhiên, nó có một sự chuyển đổiđược ghi vào để tính toán cho việc thích nghi với những nguồn sáng Một màu được xác

Hình 2.3.2 Hệ màu CMY