Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao

Trang 1

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN

BỘ MÔN CÔNG NGHỆ TRI THỨC

W X

NGUYỄN BÁ CÔNG NGUYỄN HỮU ĐỨC

THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ

ĐẶC TRƯNG CẤP CAO

LUẬN VĂN CỬ NHÂN TIN HỌC

Tp Hồ Chí Minh –Năm 2005

Trang 2

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN

BỘ MÔN CÔNG NGHỆ TRI THỨC

W X

NGUYỄN BÁ CÔNG -0112127 NGUYỄN HỮU ĐỨC -0112168

THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ

Trang 3

Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao

Lời cảm ơn

Đầu tiên chúng em xin chân thành gửi lời cảm ơn đến Thầy Lý Quốc Ngọc, người đã tận tình hướng dẫn, động viên và giúp đỡ chúng em trong suốt thời gian qua Nếu không có lời chỉ dẫn, những tài liệu, những lời động viên khích lệ của Thầy thì luận văn này khó lòng hòan thiện được Một lần nữa chúng em xin tỏ lòng biết ơn Thầy

Cũng xin gửi lời cảm ơn đến gia đình, bạn bè và những ngừơi thân đã ủng hộ động viên tinh thần chúng em để luận văn được hòan thành

Chúng em cũng xin chân thành cảm ơn các thầy cô trong khoa Công nghệ thông tin đã tận tình chỉ bảo và giúp đỡ chúng em trong suốt thời gian chúng em học đại học và trong suốt quá trình chúng em làm luận văn

Tp Hồ Chí Minh, tháng 7 năm 2005

Nguyễn Bá Công – Nguyễn Hữu Đức

Trang 4

Lời mở đầu

Cùng với sự mở rộng của multimedia, với khối lượng hình ảnh và phim lưu trữ ngày càng lớn, cùng với sự phát triển vượt bậc của các thiết bị Điện Tử, Tin Học và Viễn Thông đã thu hút ngày càng nhiều những chuyên gia đi vào nghiên cứu những công cụ cung cấp cho việc lấy thông tin dữ liệu ảnh từ nội dung của chúng

Hiện nay trên thế giới việc truy tìm ảnh đã bước sang thời kỳ mới, thời kỳ truy tìm ảnh dựa vào nội dung Việc truy tìm dữ liệu hình ảnh dựa vào nội dung ảnh ngày càng phát triển mạnh mẽ, nó khắc phục khuyết điểm của việc truy tìm ảnh dựa vào văn bản kí tự Dữ liệu đầu vào được mô phỏng gần gũi với con người hơn, kết quả ảnh trả về mang ngữ nghĩa gần đúng với ảnh truy vấn hơn

Nằm trong xu hướng đó, trong luận văn này chúng em trình bày một mô hình truy tìm thông tin hình ảnh dựa vào nội dung thông qua đặc trưng cấp thấp và đặc trưng cấp cao của ảnh Nó có thể được sử dụng bởi các tổ chức sở hữu tư liệu ảnh và video, thư viện số, ảnh vệ tinh, ảnh y học, giáo dục từ xa,…

Trang 5

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

Trang 6

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN

Trang 7

Mục lục

Lời cảm ơn i

Lời mở đầu ii

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN iii

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN iv

Mục lục v

Mục lục các hình ix

Thuật ngữ chuyên ngành xiv

Chương 1 Tổng quan 1

1.1 Hướng truy tìm ảnh dựa vào nội dung 2

1.2 Hệ thống tìm kiếm ảnh thế hệ đầu tiên (dựa vào văn bản) 3

1.3 Hệ thống tìm kiếm thông tin trực quan thế hệ mới 5

1.3.1 Các hệ thống tìm kiếm ảnh tĩnh 5

1.3.2 Các hệ thống tìm kiếm phim ảnh (video) 6

1.3.3 Các hệ thống tìm kiếm ảnh 3 chiều và video 6

1.3.4 Các hệ thống tìm kiếm trên Internet 6

1.4 Xu hướng phát triển từ đặc trưng cấp thấp đến đặc trưng cấp cao và tiến dần đến ngữ nghĩa 8

1.5 Một số hệ thống truy tìm ảnh dựa vào nội dung hiện nay 10

1.6 Sự hình thành “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” 11

1.7 Hướng tiếp cận của bài toán 13

1.7.1 Xây dựng cơ sở dữ liệu 13

1.7.2 Xây dựng hệ thống tìm kiếm 14

1.7.2.1 Tìm kiếm dựa vào sự phân bố mang tính tòan cục 14

1.7.2.1.1 Đặc trưng lược đồ màu 14

1.7.2.1.2 Đặc trưng vector liên kết màu (Color Coherence Vector) 14

1.7.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram) 15

1.7.2.1.4 Đặc trưng lược đồ hệ số góc (Edge Direction Histogram) 16

1.7.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector) 16

1.7.2.2 Tìm kiếm dựa vào sự phân bố mang tính cục bộ 17

1.7.2.3 Tìm kiếm theo vùng, đối tượng 18

1.7.2.4 Tìm kiếm theo ngữ nghĩa 20

Chương 2 CÁC KHÁI NIỆM CƠ BẢN 21

Trang 8

2.1.3.4 Hệ màu L*a*b: 27

2.1.3.5 Hệ màu HSI: Hue-Saturation-Intensity 27

2.1.4 Các đặc trưng về màu sắc 30

2.1.4.1 Lược đồ màu (Histogram) 30

2.1.4.2 Vector liên kết màu (Color Coherence Vector) 32

2.1.4.3 Đặc trưng tự tương quan màu (AutoCorrelogram) 34

2.2 Vân (textture) 38

2.2.1 Khái niệm 38

2.2.2 Một số loại vân tiêu biểu 39

2.2.3 Ma trận đồng hiện (Co-occurrence Matrix) 39

2.2.4 Phép biến đổi Wavelet 41

2.3 Hình dáng 43

2.3.1 Khái niệm về biên cạnh 43

2.3.2 Các phương pháp phát hiện biên 44

2.3.2.1 Phát hiện biên trực tiếp 44

2.3.2.2 Phương pháp phát hiện biên gián tiếp 48

2.3.3 Các đặc trưng về biên cạnh 49

2.3.3.1 Lược đồ hệ số góc (Edge Direction Histogram) 49

2.3.3.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector): 51

2.4.3 Các độ đo được sử dụng trong bài tóan 57

2.4.3.1 Độ đo tương tự giữa 2 bin màu trong hệ màu HSI 57

2.4.3.2 Độ đo dùng cho lược đồ màu 57

2.4.3.3 Độ đo dùng cho đặc trưng liên kết màu (Color Coherence Vector) 61

2.4.3.4 Độ đo dùng cho đặc trưng tự tương quan màu(AutoCorrelogram) 612.4.3.5 Độ đo dùng cho đặc trưng lược đồ hệ số góc (Edge Direction Histogram) 62

2.4.3.6 Độ đo dùng cho đặc trưng liên kết hệ số góc (Edge Direction Coherence Vector) 62

Chương 3 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP 64

3.1 Các đặc trưng được sử dụng để truy tìm ảnh 65

Trang 9

3.1.1.1 Lược đồ màu (histogram) 65

3.1.1.2 Vector liên kết màu (Color Coherence Vector) 65

3.1.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram) 66

3.1.2 Đặc trưng về hình dáng 67

3.1.2.1 Lược đồ hệ số góc (Edge Direction Histogram) 67

3.1.2.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector) 67

3.2 Giải thuật phân lớp phân cấp (Hierarchical Agglomerative Clustering Algorithm- HAC) và áp dụng giải thuật trong phân lớp ảnh theo các đặc trưng của ảnh 68

3.2.1 Tổng quan về giải thuật 68

3.2.2 Giải thuật 68

3.2.3 Áp dụng giải thuật phân lớp phân cấp vào việc xây dựng cây phân cấp theo các đặc trưng của ảnh 70

3.3 Tạo chỉ mục truy tìm ảnh 78

3.4 Các chiến lược truy tìm ảnh 79

3.4.1 Truy tìm ảnh xét đến tính phân bố toàn cục 79

3.4.1.1 Tìm kiếm theo màu sắc 79

3.4.1.1.1 Lược đồ màu 79

3.4.1.1.2 Vector liên kết màu 80

3.4.1.1.3 Đặc trưng tương quan màu (Correlogram): 82

3.4.1.3.2 Tìm kiếm kết hợp các đặc trưng với nhau dùng trọng số 86

3.4.2 Truy tìm ảnh xét đến tính phân bố cục bộ (yếu tố không gian) 87

3.4.2.1 Tìm kiếm xét đến tính cục bộ với việc chia lưới tìm kiếm 87

3.4.2.2 Tìm kiếm xét đến tính cục bộ với việc vẽ 90

Chương 4 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP CAO 93

4.1 Bài toán phân đoạn ảnh 94

4.1.1 Chọn đặc trưng để phân đoạn ảnh 94

4.5 Các chiến lược truy tìm theo đặc trưng cấp cao 105

4.5.1 Giai đoạn nhập dữ liệu 106

4.5.2 Giai đoạn truy tìm 110

4.5.3 Giai đoạn sắp hạng (RANKING) 110

Chương 5 TRUY TÌM ẢNH DỰA VÀO NGỮ NGHĨA 112

Trang 10

Chương 6 CÀI ĐẶT VÀ THỬ NGHIỆM 117

6.1 Cài đặt 118

6.1.1 Chương trình 118

6.1.2 Các đặc trưng sử dụng cho chương trình 118

6.1.3 Cơ sở dữ liệu 119

6.1.3.1 Cơ sở dữ liệu truy tìm theo đặc trưng cấp thấp 119

6.1.3.2 Cơ sở dữ liệu truy tìm theo đặc trưng cấp cao 119

6.1.4 Chức năng truy tìm ảnh 119

6.2 Thử nghiệm 120

6.2.1 Tìm kiếm xét đến tính toàn cục 120

6.2.1.1 Tìm kiếm theo lược đồ màu 120

6.2.1.2 Tìm kiếm theo lược đồ hệ số góc 121

6.2.1.3 Tìm kiếm theo vector liên kết màu 123

6.2.1.4 Tìm kiếm theo vector liên kết hệ số góc 124

6.2.1.5 Tìm kiếm theo AutoCorrelogram 125

6.2.1.6 Tìm kiếm ảnh bằng việc kết hợp các đặc trưng với nhau theo tóan tử AND 126

6.2.1.7 Tìm kiếm ảnh bằng cách kết hợp các đặc trưng dùng trọng số 128

6.2.2 Tìm kiếm dựa trên tính phân bố cục bộ 129

6.2.2.1 Tìm kiếm bằng cách chia lưới 129

6.2.2.2 Tìm kiếm bằng cách vẽ vùng 133

6.2.3 Tìm kiếm dựa theo vùng, đối tượng của ảnh có sẵn 135

6.2.4 Tìm kiếm dựa theo vùng, đối tượng khi mà người dùng chưa có ý niệm rõ ràng về tấm ảnh 141

6.2.5 Tìm kiếm dựa vào ngữ nghĩa 144

6.3 Kết quả thực nghiệm của hệ thống 145

6.3.1 Thực nghiệm việc tìm kiếm theo các đặc trưng cấp thấp 146

6.3.2 Thực nghiệm việc tìm kiếm theo đặc trưng cấp cao 147

Chương 7 TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN 148

Trang 11

Mục lục các hình

Hình 1: Mô hình của hệ thống tìm kiếm thế hệ đầu tiên 4

Hình 2: Mô hình của hệ thống tìm kiếm thế hệ mới 8

Hình 3: Hình gốc 1 9

Hình 4: Ảnh giống lược đồ màu với ảnh gốc 9

Hình 5: Minh họa các vùng của ảnh 9

Hình 6: Minh họa các vùng của ảnh có gán ngữ nghĩa 10

Hình 7:Mô hình “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” 12

Hình 8: minh họa 2 ảnh có lược đồ màu giống nhau 89% 14

Hình 9: minh họa 2 ảnh có vector liên kết màu giống nhau 75% 15

Hình 10:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75% 15

Hình 11: minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88% 16

Hình 12: minh họa 2 ảnh có Vector liên kết hệ số góc giống nhau 78% 17

Hình 13: Ảnh minh họa chia lưới 1x3 17

Hình 14: Ảnh minh họa vẽ vùng tìm kiếm 18

Hình 15: Ảnh minh họa tìm kiếm theo vùng 19

Hình 16: Minh họa tìm kiếm theo vùng khi người dùng có một vài ý niệm về ảnh truy vấn 19

Hình 17: Minh họa việc áp dụng mô hình học vào các vùng của ảnh để tìm kiếm theo ngữ nghĩa 20

Hình 18: Hệ màu RGB 25

Hình 19: Hệ màu CMY 26

Hình 20:Hệ màu HSI 28

Hình 21: Không gian màu HSI 29

Hình 22: Minh họa sự thay đổi cường độ sáng trong hệ màu HSI 29

Hình 23: Ảnh trong hệ màu RGB 31

Hình 24: Ảnh trong hệ màu HSI 31

Hình 25: Lược đồ màu của ảnh sau khi lượng hoá 32

Hình 26: Ảnh trong hệ màu RGB 33

Hình 27: Ảnh trong hệ màu HSI 33

Hình 28: Màu đỏ thể hiện liên kết màu trong ảnh 33

Hình 29: Lược đồ vector liên kết màu của ảnh sau khi được lượng hoá 34

Hình 30: Các ví dụ về vân 39

Hình 31: Decompostion để tạo ra các frequency bands bởi biến đổi Wavelet 42

Hình 32: Đường bao của ảnh 43

Hình 33: Gradient của ảnh theo hướng θ 45

Hình 34: Mô hình 8 hướng 45

Hình 35: Ảnh minh họa mảnh biên 47

Hình 36: Ảnh sau khi dùng phương pháp Gradient phát hiện biên 47

Hình 37: Ảnh sau khi được làm mảnh biên 48

Hình 38: Minh họa nguyên lý Bellman 49

Trang 12

Hình 39: Ảnh minh họa lược đồ hệ số góc 50

Hình 40: Đường biên của ảnh 50

Hình 41: Lược đồ hệ số góc của ảnh 50

Hình 42: Ảnh minh họa vector liên kết hệ số góc 52

Hình 43: Ảnh minh họa sự liên kết giữa các biên cạnh 52

Hình 44: Lược đồ vector liên kết hệ số góc của ảnh 52

Hình 45: Minh họa vùng của ảnh 55

Hình 46: minh họa 2 lược đồ màu giống nhau 58

Hình 47: Lược đồ màu thể hiện phần giao của 2 lược đồ màu trên 59

Hình 48: Hình minh họa độ đo Euclide 59

Hình 49: Lược đồ màu thể hiện độ khác nhau giữa 2 lược đồ màu trên 60

Hình 50:Cây phân cấp cho việc phân lớp cơ sở dữ liệu 71

Hình 51: Cơ sở dữ liệu minh họa thuật toán HAC vào việc phân lớp ảnh theo đặc trưng lược đồ màu 72

Hình 52:Cây phân cấp theo lược đồ màu 73

Hình 53: Nhóm các ảnh có cùng đặc trưng màu 73

Hình 54:Cơ sở dữ liệu phân lớp ảnh theo đặc trưng liên kết màu 73

Hình 55: Cây phân cấp theo đặc trưng liên kết màu 74

Hình 56: Nhóm các ảnh có cùng đặc trưng liên kết màu 74

Hình 57: Cơ sở dữ liệu minh họa thuật toán HAC đồi với đặc trưng Correlogram 75

Hình 58: Cây phân cấp theo đặc trưng Correlogram 75

Hình 68: Minh họa 2 ảnh có lược đồ màu giống nhau 80

Hình 69: Minh họa 2 ảnh giống nhau về lược đồ màu nhưng khác nhau về ngữ nghĩa 80

Hình 70: Minh họa 2 ảnh có lược đồ màu giống nhau nhưng khác nhau về ngữ nghĩa 81

Hình 71: Hình minh họa vector liên kết màu khắc phục tính không duy nhất của lược đồ màu 81

Hình 72: Hình minh họa 2 ảnh có đặc trưng tương quan màu giống nhau 81.2% 82Hình 73: minh hoạ 2 ảnh có lược đồ hệ số góc giống nhau 83

Trang 13

Hình 75: Hình minh họa 2 ảnh có vector liên kết hệ số góc khác nhau 84

Hình 76: Hìmh minh họa 2 ảnh giống nhau về lược đồ màu và lược đồ hệ số góc85Hình 77:Hình minh họa tìm kiếm chia lưới-1 87

Hình 78: Minh họa ảnh được chia lưới 3x3 để tìm kiếm-1 88

Hình 79: Hình minh họa tìm kiếm chia lưới-2 88

Hình 80: Minh hoạ chia lưới 1x2 để tìm kiếm-2 89

Hình 81: Ảnh minh họa tìm kiếm chia lưới-3 89

Hình 82: Minh hoạc chia lưới 1x3 cho việc tìm kiếm trên ảnh-3 89

Hình 83: Ảnh minh họa tìm kiếm vẽ 90

Hình 84: Chia lưới 3x3 trên ảnh tìm kiếm 90

Hình 85: Minh họa vẽ hình trên ảnh tìm kiếm 91

Hình 86: Hỉnh minh họa vẽ trên ảnh tìm kiếm 91

Hình 87: Hình minh hoa vẽ tìm kiếm 92

Hình 88: Hình minh họa vẽ tìm kiếm 92

Hình 89: Hình minh họa cây phân cấp 97

Hình 90: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-1 98

Hình 91: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-2 99

Hình 92: Minh hoạ dùng thuật toán HAC phân đoạn ảnh-3 99

Hình 93: Minh họa vùng của ảnh 100

Hình 94: Cơ sở dữ liệu dùng để phân vùng ảnh 102

Hình 95: Các vùng của tập ảnh được tách ra bằng giải thuật HAC 103

Hình 96: Cây phân cấp của tập vùng trên 103

Hình 97: Nhóm các vùng giống nhau 103

Hình 98: Cơ sở dữ liệu ảnh phân vùng 104

Hình 99: Các vùng của tập dữ liệu ảnh sau khi được tách bằng giải thuật HAC 104Hình 100: Cây phân cấp của tập vùng trên 104

Hình 101: Nhóm các vùng giống nhau 105

Hình 102: ảnh minh họa tìm kiếm theo vùng 107

Hình 103: Hình minh họa tìm kiếm theo vùng, đối tượng 108

Hình 104: Câu truy vấn “Bầu trời” AND “ Cỏ” AND “ Hoa màu trắng” 109

Hình 105: Câu truy vấn “Hoa màu vàng” AND NOT “ Lá màu xanh” 109

Hình 106: Các vùng đã được gán nhãn 114

Hình 107: Kết quả câu truy vấn “Hoa màu tím” 114

Hình 108: Kết quả câu truy vấn “ Hoa mai” 115

Hình 109: Kết quả câu truy vấn “ Cỏ” và “ Nhà” 115

hình 110: Kết quả câu truy vấn “ Sư tử” AND “ Bầu trời” 116

Hình 111: Mô hình hệ thống 118

Hình 112: Ảnh truy vấn theo lược đồ màu 120

Hình 113: Tập kết quả tìm kiếm theo lược đồ màu 121

Hình 114: Kết quả tìm kiếm theo lược đồ màu với độ giống nhau 70% 121

Hình 115:Ảnh truy vấn theo lược đồ hệ số góc 121

Hình 116: Tập kết quả tìm kiếm theo lược đồ hệ số góc 122

Hình 117: Tập kết quả tìm theo lược đồ hệ số góc với độ giống nhau 89% 122

Trang 14

Hình 118: Ảnh truy tìm theo đặc trưng vector liên kết màu 123

Hình 119:Tập kết quả tìm theo đặc trưng vector liên kết màu 123

Hình 120: Kết quả tìm kiếm với độ giống nhau 70% 123

Hình 121: Ảnh truy vấn theo đặc trưng vector liên kết hệ số góc 124

Hình 122: Tập kết quả tìm theo đặc trưng liên kết hệ số góc 124

Hình 123: Tập kết quả tìm theo đặc trưng liên kết hệ số góc với độ giống nhau 84% 125

Hình 124: Ảnh truy vấn 125

Hình 125: Tập kết quả thu được 125

Hình 126: Tập kết quả tìm được với độ giống nhau 70% 126

Hình 137: Ảnh truy vấn tìm kiếm dựa trên tính phân bố cục bộ 129

Hình 138: Ảnh minh họa chia lưới và vùng được chọn 130

Hình 152: Các vùng của ảnh sau khi phân đoạn 135

Hình 153: Tập kết quả tìm theo vùng hoa màu tím 136

Hình 154: Các vùng của ảnh truy vấn 137

Hình 155: Vùng tìm kiếm 137

Hình 156: Tập kết quả tìm được theo vùng sư tử 138

Hình 157: Minh họa tìm kiếm theo toán tử BOOL 138

Hình 158: Tập kết quả thu được 139

Trang 15

Hình 160: Minh họa câu truy vấn 140

Hình 161: Kết quả tìm được 140

Hình 162: Câu truy vấn 141

Hình 163: Kết quả thực hiện câu truy vấn trên 141

Hình 164: Hình minh họa tìm kiếm theo vùng 142

Hình 165: Kết quả tìm được 142

Hình 166: Minh họa câu truy vấn theo vùng 143

Hình 167: Tập Kết quả tìm được 143

Hình 168:Tập kết quả tìm kiếm với từ khoá” hổ con” 144

Hình 169: Ảnh minh hoạ tìm kiếm theo ngữ nghĩa, từ khoá “Chúa sơn lâm” 145

Hình 170: Kết quả tìm kiếm với từ khoá “ Chúa sơn lâm” với độ giống nhau 64% 145

Trang 16

Thuật ngữ chuyên ngành

Color coherence vector: vectơ liên kết màu

Edge direction coherence vector: vectơ liên kết hệ số góc Edge direction histogram: lược đồ hệ số góc

Hierarchical Agglomerative Clustering Algorithm (HAC): thuật toán phân lớp phân cấp

Histogram: lược đồ màu Texture: vân

Trang 17

Chương 1: Tổng quan

Chương 1 Tổng quan

Trang 18

1.1 Hướng truy tìm ảnh dựa vào nội dung

Truy tìm ảnh dựa vào nội dung là tìm kiếm thông tin trực quan Truy tìm thông tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thông tin trực quan Các yếu tố trực quan như màu sắc, vân, hình dáng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu Truy tìm ảnh dựa vào nội dung đòi hỏi phải có sự đóng góp từ các lĩnh vực nghiên cứu khác là rất lớn và đặt ra nhiều thử thách trong nghiên cứu đối với các nhà khoa học và kỹ sư Các lĩnh vực nghiên cứu khác nhau, được phát triển một các độc lập, đóng góp rất lớn cho chủ đề nghiên cứu mới mẽ này Truy tìm thông tin, mô hình hóa và thể hiện dữ liệu trực quan, phân tích và xử lý phim/ảnh, nhận dạng và thị giác máy tính (computer vision), tổ chức cơ sở dữ liệu đa phương tiện (multimedia), lập chỉ mục đa chiều, mô hình hóa tâm lí hành vi người dùng, hệ tương tác người-máy và trực quan hóa dữ liệu, là các lĩnh vực nghiên cứu quan trọng nhất đóng góp cho truy tìm thông tin trực quan

Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, vân, hình dạng, cấu trúc, mối liên hệ về không gian và chuyển động Các yếu tố cơ sở nguồn gốc của màu sắc như đối tượng, vai trò, sự kiện, hay các thông tin có liên hệ với màu sắc như cảm giác, cảm tưởng hay ý nghĩa của hình ảnh Do vậy, phân tích ảnh, nhận dạng và thị giác máy tính đóng vai trò cơ bản trong các hệ thống truy tìm thông tin trực quan Nó cho phép tự động trích chọn hầu hết các thông tin cảm nhận, thông qua việc phân tích phân bố điểm ảnh và rút ra các độ đo nội dung trực quan

Trang 19

Dữ liệu mô tả và phụ thuộc nội dung được thể hiện thông qua từ khoá hay nguyên bản Từ khoá rất thích hợp cho việc xác định: Các thực thể quan trọng trong hình ảnh (như đối tượng, con người…), các khái niệm hay thuật ngữ phụ thuộc ngữ cảnh (như: mắt, miệng, gương mặt…) hay khung cảnh thể hiện (cảnh bãi biển, cảnh núi non, cảnh hoàng hôn…) Nguyên bản là các mô tả bao quát hơn, thường được viết bởi các chuyên gia, tóm tắt vào từ ngữ những gì thể hiện được và ý nghĩa của ảnh Truy tìm thông tin dựa trên các hệ thống tìm kiếm truyền thống làm việc trên văn bản dùng ngôn ngữ truy vấn như SQL hay tìm kiếm toàn văn bản

Do hệ thống tìm kiếm này là dựa vào từ khóa được chú thích bằng văn bản do đó có những hạn chế sau: Việc tạo từ khóa cho một số lượng lớn ảnh tốn thời gian, từ khóa thì ngắn không thể mô tả hết các nét cảm nhận nổi bật của các đặc trưng trực quan và không duy nhất, văn bản không thích hợp cho việc xây dựng độ đo tương tự về giác quan, những mô tả bằng văn bản chỉ phản ánh quan điểm của người chú thích chứ không phải người dùng cuối tương tác với hệ thống nhưng việc nhận thức là một vấn đề chủ quan của từng người Do những hạn chế trên đã dẫn đến sự ra đời của hệ thống tìm kiếm ảnh dựa vào nội dung Thế hệ mới của hệ thống tìm kiếm ảnh dựa vào nội dung hỗ trợ đầy đủ việc lấy thông tin dựa vào nội dung thuộc về thị giác Chúng cho phép phân tích đối tượng, tự động rút trích đặc trưng

Những tìm kiếm đặc thù cho những hệ thống dạng này là “ tìm tất cả những hình ảnh có hình con chó “ hay “ tìm kiếm tất cả những tấm ảnh về biển ở Việt Nam”

Trang 20

Những khuyết điểm mà tìm kiếm theo văn bản không thực hiện được khi người dùng muốn tìm kiếm những tấm ảnh có nội dung “ảnh có hoa màu xanh xanh” hay “hoa màu vàng có nhụy màu tím ” việc tìm kiếm theo văn bản không thực hiện được vì có rất nhiều loại hoa màu xanh cũng như hoa màu vàng nhụy màu tím Vả lại từ khóa là do quan điểm của người chú thích chứ không phải của người dùng

Mô hình hệ thống tìm kiếm thế hệ đầu tiên:

Hình 1: Mô hình của hệ thống tìm kiếm thế hệ đầu tiên

Trang 21

1.3 Hệ thống tìm kiếm thông tin trực quan thế hệ mới

Hệ thống tìm kiếm thông tin trực quan thế hệ mới hỗ trợ tìm kiếm hoàn toàn bằng nội dung trực quan Truy cập đến thông tin không chỉ ở mức khái niệm dùng từ khoá và văn bản, mà còn thông qua mức độ cảm nhận dùng các độ đo khách quan của nội dung trực quan và các mô hình tương tự thích hợp Trong các hệ thống này thì xử lý ảnh, nhận dạng và thị giác máy tính làm một phần được tích hợp vào kiến trúc và vận hành hệ thống Nó cho phép phân tích khách quan sự phân bố điểm ảnh và tự động rút trích độ đo từ dữ liệu nhập thô

1.3.1 Các hệ thống tìm kiếm ảnh tĩnh

Nội dung của ảnh tĩnh bao gồm:

Thuộc tính cảm nhận: màu sắc, vân, hình dạng, yếu tố không gian

Các yếu tố nội dung cơ sở: đối tượng, quang cảnh

Cảm giác, cảm nhận và ý nghĩa được kết hợp với tập các đặc trưng cảm nhận

Để tìm ảnh tương ứng với các thuộc tính cảm nhận, mô hình tìm kiếm đòi hỏi với mỗi ảnh các đặc trưng tiêu biểu (tham số) được tính trước Truy vấn được thông qua các mẫu trực quan Để khởi tạo truy vấn, người dùng chọn các đặc trưng và phạm vi của các tham số quan trọng và chọn độ đo tương tự Mẫu có thể được soạn thảo bởi người dùng hay rút từ các ảnh mẫu Hệ thống kiểm tra độ tương tự giữa nội dung trực quan được ngừơi dùng truy vấn và ảnh trong cơ sở dữ liệu Vì không thể dự đoán được kết quả trả về tương ứng với truy vấn có thoả mãn hay không nên kỹ thuật để cải thiện chất lượng truy vấn là giữ đến mức thấp nhất có thể số thất thoát (do chi phí của số lượng lớn hơn các truy vấn thất bại) và cho phép một hình thức tương tác gọi là hồi đáp thích hợp (relevance feedback) Trong đó các mẫu rất cứng nhắc, thiếu độ linh động cần thiết để giải quyết các khái

Trang 22

niệm và yếu tố màu sắc của hình ảnh Vì thế, để tìm kiếm ảnh dựa trên các thuộc tính cấp cao thì phải thực hiện truy vấn lại bằng văn bản

1.3.2 Các hệ thống tìm kiếm phim ảnh (video)

Khác với ảnh tĩnh, ảnh phim truyền các thông điệp có nhiều thông tin hơn thông qua nhiều khía cạnh thông tin Bao gồm cách các khung ảnh liên kết lại với nhau sử dụng các hiệu ứng soạn thảo (cắt, giảm,phân rã,làm mờ…) và nội dung thể hiện trong ảnh (nhân vật, nội dung câu chuyện, thông điệp câu chuyện) Sự thay đổi về màu sắc, vân, hình dạng và chuyển động (của cả thiết bị thu nhận ảnh, nhân vật và đối tượng) được quan sát trong nhiều khung ảnh, là quan trọng hơn thông tin được nhúng vào các khung ảnh đơn Kỹ thuật dùng để thu nhận phim ảnh cũng góp phần quan trọng vào thông tin của luồng phim ảnh Mỗi loại phim ảnh có các đặc trưng riêng Điều này được thể hiện trong cách mỗi đơn vị phim ảnh được rút trích, tổ chức trong cấu trúc kiến thức, chỉ mục và truy cập bởi người dùng Trong hệ thống tìm kiếm video việc truy cập có thể được thực hiện thông qua cả mức cấu trúc lẫn nội dung

1.3.3 Các hệ thống tìm kiếm ảnh 3 chiều và video

Tập các ảnh 3 chiều và video giờ được dùng rất nhiều trong nhiều lĩnh vực như y học, CAD (thiết kế bộ phận máy móc), bản đồ địa lý, phân loại ảnh nghệ thuật (điêu khắc, đối tượng 3D, mô hình…) Việc nghiên cứu lĩnh vực tìm kiếm này chỉ mới bắt đầu

1.3.4 Các hệ thống tìm kiếm trên Internet

Môi trừơng mạng phát triển rất nhanh trong đó việc tìm kiếm, truy cập và truyền tải các thông tin trực quan rất quan trọng Với các hệ thống dựa trên web, người dùng có thể tìm kiếm hình ảnh và phim từ nhiều nguồn dữ liệu khác nhau được phân tán trên mạng Thông tin có thể thu nhận từ:

Trang 23

Sự biểu thị đặc điểm độc lập lĩnh vực của nội dung trực quan của hình ảnh

Kỹ thuật xử lí ảnh để tự động trích các đặc điểm trực quan một cách tự động

Tóm tắt biểu thị ngắn gọn cho các đặc điểm này

Hàm tính độ tương tự để so sánh ảnh một cách hiệu quả

Kỹ thuật lập chỉ mục để việc truy xuất ảnh trong cơ sở dữ liệu có hiệu suất cao

Khuyết điểm: Trong các hệ thống tìm kiếm thế hệ mới này các đặc trưng tìm kiếm chủ yếu là các đặc trưng cấp thấp, dữ liệu nhận chưa mô phỏng gần gũi với suy nghĩ của con người, ảnh tìm được có thể mang nội dung ngữ nghĩa rất khác so với ảnh truy vấn Điều này làm bất lợi cho người dùng cũng như hệ thống họat động với hiệu quả không cao Do đó, nhu cầu đòi hỏi phải có hệ thống tìm kiếm họat động với hiệu quả cao hơn cũng như tiện dụng hơn để đáp ứng nhu cầu ngày càng cao của con người Để đáp ứng nhu cầu trên, hàng lọat những hệ thống truy tìm ảnh dựa vào

nội dung mới ra đời trong đó có hệ thống “Truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”

Mô hình hệ thống tìm kiếm thế hệ mới:

Trang 24

Hình 2: Mô hình của hệ thống tìm kiếm thế hệ mới

1.4 Xu hướng phát triển từ đặc trưng cấp thấp đến đặc trưng cấp cao và tiến dần đến ngữ nghĩa

Nhằm đáp ứng nhu cầu ngày càng cao của con người trong tìm kiếm ảnh, nên các hệ thống truy tìm ảnh đã không ngừng nâng cao khả năng tìm kiếm của mình Các hệ thống tìm kiếm theo các trưng cấp thấp đang dần được thay thế bằng các hệ thống tìm kiếm theo đặc trưng cấp thấp kết hợp với đặc trưng cấp cao Việc tìm kiếm theo các đặc trưng cấp cao đã khắc phục được các khuyết điểm của việc tìm kiếm theo các đặc trưng cấp thấp đó là: giải quyết được vấn đề lớn đang cản trở bước phát triển truy tìm ảnh dựa vào nội dung trong việc dữ liệu nhận mô

Trang 25

ngữ nghĩa gần hơn so với ảnh truy vấn Bên cạnh các đặc trưng cấp cao như vùng (hay còn gọi là vần của ảnh) được tách ra từ ảnh, việc áp dụng mô hình học vào sẽ làm cho hệ thống tìm kiếm theo nội dung tiến thêm một bước đó là tìm kiếm dựa vào ngữ nghĩa

Ví dụ minh họa trong tìm kiếm:

Giả sử ta có ảnh ban đầu như sau:

Hình 3: Hình gốc 1

Với việc tìm kiếm theo đặc trưng cấp thấp thì người dùng chỉ có thể tìm kiếm những tấm ảnh có màu sắc gần giống với tấm ảnh trên như:

Hình 4: Ảnh giống lược đồ màu với ảnh gốc

Điều này dẫn đến khả năng xuất hiện những ảnh tuy giống nhau về màu sắc nhưng khác nhau về ngữ nghĩa, không hiệu quả trong tìm kiếm

Để tránh khả năng trên xảy ra ta có thể tiến hành tìm kiếm ảnh theo các đặc trưng cấp cao là vùng Chúng ta có thể phân đọan ảnh thành các vùng, và từ đó chọn các vùng cần thiết cho quá trình tìm kiếm Điều này làm cho kết quả tìm kiếm cao hơn và hiệu quả hơn do vùng mang ngữ nghĩa hơn và thể hiện được tính phân bố của các thành phần trong ảnh

Ví dụ các vùng trong ảnh sau khi phân đoạn ảnh:

Hình 5: Minh họa các vùng của ảnh

Trang 26

Việc tìm kiếm theo đặc trưng cấp cao là vùng trong ảnh còn có thể đưa lên một bước là tìm kiếm theo ngữ nghĩa Từ tập ảnh cơ sơ dữ liệu ban đầu qua bước phân đoạn ảnh và gán nhãn tự động cho ảnh ta có được những vùng ảnh với những ngữ nghĩa xác định Vì vậy việc tìm kiếm bây giờ chỉ là đưa ra ngữ nghĩa của ảnh muốn tìm kiếm thông qua tập các nhãn ngữ nghĩa đã gán ở trên dứơi dạng một câu truy vấn

Ví dụ các vùng ảnh sau khi gán nhãn ngữ nghĩa:

Hình 6: Minh họa các vùng của ảnh có gán ngữ nghĩa

Với các nhãn được gán trên, khi chúng ta có nhu cầu tìm kiếm những ảnh có hình con sư tử thì chúng ta chỉ cần thực hiện câu truy vấn “Sư tử” thì kết quả trả về sẽ là những ảnh chỉ có hình con sư tử Đây là bước tiến nhảy vọt trong truy tìm ảnh dựa vào nội dung

1.5 Một số hệ thống truy tìm ảnh dựa vào nội dung hiện nay

Trong những năm gần đây, nhiều hệ thống tìm kiếm ảnh dựa vào nội dung (content-based image retrieval: CBIR) đã được đề xuất và phát triển trong cộng đồng nghiên cứu như:

QBIC (Query By Image Content) của IBM Virage của công ty Virage

Photobook của phòng thí nghiệm truyền thông MIT VisualSEEK của đại học Columbia

RetriecvalWare của tập đòan công nghệ Excalibur

Trang 27

hệ thống trước kia, đồng thời tiến đến “Tìm kiếm theo ngữ nghĩa”, tạo một bước nhảy vọt trong lĩnh vực truy tìm ảnh dựa vào nội dung

1.6 Sự hình thành “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”

Giả sử khi có nhu cầu tìm kiếm một vài tấm ảnh trong cơ sở dữ liệu hàng trăm ngàn ảnh, điều này có thể thực hiện được khi ta tìm kiếm bằng tay theo cách thông thường, nghĩa là xem từng tấm ảnh cho đến khi tìm thấy ảnh cần tìm Việc tìm kiếm này làm tốn rất nhiều thời gian chúng ta Do đó, nhu cầu đòi hỏi phải có một công cụ hỗ trợ giúp cho việc tìm kiếm nhanh hơn, hiệu quả hơn Do đó đề tài “Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” ra đời để đáp ứng nhu cầu trên

Truy tìm ảnh dựa vào nội dung là tìm kiếm thông tin trực quan Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thông tin hiệu quả nhất Các yếu tố trực quan như màu sắc, vân (texture), hình dạng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh cảm nhận nội dung ảnh

Do đó nội dung của đề tài sẽ được giải quyết như sau: truy tìm ảnh dựa vào các đặc trưng như lược đồ màu (Histogram), Vector liên kết màu (Color Coherence Vector), Correlogram, lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết hệ số góc (Edge Direction Coherence Vector), vân(texture), vùng

Trang 28

Tuy hệ thống này tiến dần đến “Tìm kiếm theo ngữ nghĩa” nhưng các đặc trưng cấp thấp không thể thiếu trong quá trình xây dựng hệ thống Việc áp dụng mô hình học vào hệ thống cũng phải dựa vào các đặc trưng cấp thấp như lược đồ màu, vector liên kết màu, Do đó, đặc trưng cấp thấp là nền tảng để xây dựng các hệ thống cao hơn và cũng như tìm kiếm theo đặc trưng cấp thấp không bao giờ bị lạc hậu

Sau đây là mô hình của hệ thống:

Hình 7:Mô hình “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”

Trang 29

1.7 Hướng tiếp cận của bài toán

Các vấn đề mà đề tài tập trung giải quyết: Xây dựng cơ sở dữ liệu ảnh Xây dựng hệ thống tìm kiếm ảnh:

o Tìm kiếm theo các đặc trưng cấp thấp: Lược đồ màu (Histogram), Vector liên kết màu (Color Coherence Vector), tương quan màu (Correlogram), Vân (Texture), lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết hệ số góc (Edge Direction Coherence Vector)

o Tìm kiếm theo vùng, đối tượng o Tìm kiếm theo ngữ nghĩa

1.7.1 Xây dựng cơ sở dữ liệu

Để tăng hiệu quả trong việc tìm kiếm cũng như mô tả trực quan hơn về các đối tượng ảnh Chúng em hướng tới xây dựng một cơ sở dữ liệu ảnh nhằm đưa những ảnh có đặc điểm giống nhau về cùng một nhóm Ở đây, mỗi đặc trưng chúng em gom thành một cây, từ đó giúp cho việc tìm kiếm các đối tượng ảnh một cách dễ dàng, cũng như việc thể hiện chúng sinh động hơn, giúp người dùng có thể hình dung được tập dữ liệu ảnh của mình Thuật tóan được

chúng em sử dụng để xây cây là “Thuật tóan phân lớp phân cấp (Hierarchical Agglomerative Clustering Algorithm- HAC )”

Chúng em chọn “Thuật tóan phân lớp phân cấp” này cho bài tóan mà không chọn các thuật tóan khác vì nó có một số ưu điểm sau:

Không cần xác định trước số phân lớp nên ta có thể phân lớp từ thô cho đến mịn.

Dễ cài đặt Tốc độ nhanh

Trang 30

1.7.2 Xây dựng hệ thống tìm kiếm

1.7.2.1 Tìm kiếm dựa vào sự phân bố mang tính tòan cục

Khi người dùng có nhu cầu tìm kiếm những tấm ảnh có sự giống nhau về đặc trưng nào đó trong tòan tấm ảnh so với ảnh truy vấn thì người dùng có thể chọn chức năng tìm kiếm dựa vào sự phân bố tòan cục Đây cũng là nền tảng cho các tìm kiếm cấp cao hơn về sau

1.7.2.1.1 Đặc trưng lược đồ màu

Màu sắc là thông tin gần gũi, trực quan với con người nhất Qua đặc trưng màu sắc, có thể lọc được rất nhiều lớp ảnh thông qua vị trí, không gian, định lượng của màu trong ảnh

Ví dụ hai ảnh có lược đồ màu giống nhau:

Hình 8: minh họa 2 ảnh có lược đồ màu giống nhau 89%

1.7.2.1.2 Đặc trưng vector liên kết màu (Color Coherence Vector)

Cũng như đặc trưng lược đồ màu, đặc trưng vector liên kết màu là thông tin quan trọng trong ảnh Nó thể hiện rõ ràng mật độ phân bố màu trong ảnh Với 2 ảnh có thể rất giống nhau về lược đồ

Trang 31

màu nhưng do khác nhau về sự phân bố màu sắc, nên trong quá trình tìm kiếm theo lược đồ màu có thể cho ra nhiều ảnh “dư thừa”, khác nhau về ngữ nghĩa Nếu trong quá trình tìm kiếm trên ta sử dụng vector liên kết màu thì sẽ khắc phục được tình trạng trên

Ví dụ hai ảnh có lược đồ vector liên kết màu giốn nhau:

Hình 9: minh họa 2 ảnh có vector liên kết màu giống nhau 75%

1.7.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram)

Đây cũng là đặc trưng cấp cao của ảnh Nó thể hiện tính phân bố cục bộ về màu Cũng giống như đặc trưng vector liên kết màu, đặc trưng này giúp ta có thể phân biệt được những ảnh có thể rất giống nhau về lược đồ màu khác nhau về ngữ nghĩa

Ví dụ hai ảnh có đặc trưng correlogram giống nhau:

Hình 10:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75%

Trang 32

Ví dụ hai ảnh có đặc trưng lược đồ hệ số góc giống nhau:

Hình 11: minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88%

1.7.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector)

Cũng như đặc trưng lược đồ hệ số góc, đặc trưng vector liên kết hệ số góc là đặc trưng cấp cao của ảnh Nó thể hiện rõ ràng hơn về hình dáng của ảnh Ngòai ra nó còn thể hiện mối liên kết chặt chẽ giữa các điểm biên cạnh (các điểm biên cạnh có cùng góc độ), cũng như là những điểm không phải là biên cạnh

Trang 33

Ví dụ hai ảnh có lược đồ vector liên kết hệ số góc giống nhau:

Hình 12: minh họa 2 ảnh có Vector liên kết hệ số góc giống nhau 78%

1.7.2.2 Tìm kiếm dựa vào sự phân bố mang tính cục bộ

Khi người dùng có nhu cầu tìm kiếm một vùng nào đó trong ảnh, thì việc tìm kiếm mang tính tòan cục không giải quyết được vấn đề trên Chính vì vậy chúng em đã giải quyết vấn để này bằng việc cho người dùng chia lưới hoặc có thể vẽ một vùng nào đó trong ảnh mà họ muốn tìm kiếm Vì vậy với cách tìm kiếm này sẽ giúp cho hệ thống họat động hiệu quả hơn

Minh họa việc chia lưới tìm kiếm:

Khi người dùng muốn tìm kiếm những tấm ảnh dạng “cảnh thành phố lúc hòan hôn” thì người dùng có thể chia lưới như sau:

Hình 13: Ảnh minh họa chia lưới 1x3

Trang 34

Trong đó block 0 tìm theo luợc đồ màu, còn block 1, 2 tìm kiếm theo lược đồ hệ số góc

Minh họa việc vẽ vùng để tìm kiếm:

Khi người dùng muố tìm kiếm những ảnh có bông hoa ở giữa thì có thể vẽ như sau:

Hình 14: Ảnh minh họa vẽ vùng tìm kiếm

1.7.2.3 Tìm kiếm theo vùng, đối tượng

Đây là bứơc tiến nhảy vọt trong việc truy tìm ảnh dựa vào nội dung Vùng là đặc trưng cấp cao của ảnh Với đặc trưng về vùng, chúng ta có thể thực hiện được các ý tưởng sau:

Với vùng, sẽ làm cho dữ liệu đầu vào được mô phỏng gần gũi với chúng ta hơn

Với vùng, sẽ giúp cho chúng ta có thể tiến thêm một bước trong vấn đề tìm kiếm ảnh dựa vào nội dung là “Tìm kiếm theo ngữ nghĩa” bằng việc áp dụng mô hình học vào vùng

Ở đây việc tìm kiếm theo vùng đối tượng có thể chia ra làm hai chiến lược:

Tìm kiếm theo vùng, đối tựơng từ ảnh có sẵn: Từ ảnh truy vấn

Trang 35

thành các vùng gọi là vần của ảnh Từ các vần này ta có thể chọn ra vài vần cần truy tìm Và hệ thống có thể tìm ra được những ảnh phù hợp theo ý muốn của người dùng

Ví dụ minh họa chia vùng ảnh có sẵn để tìm kiếm:

Hình 15: Ảnh minh họa tìm kiếm theo vùng

Tìm kiếm khi người dùng chưa có ý niệm rõ lắm về tấm ảnh cần tìm, mà chỉ có một số yêu cầu nào đó về các “vần” cấu thành nên nó hoặc họ chỉ cần tìm các ảnh tương tự với các vần chính của ảnh truy vấn chứ không cần sự tương tự toàn cục Ví dụ minh họa:

Khi người dùng có ý niệm tìm kiếm những tấm ảnh như sau: “Cỏ non xanh tận chân trời, cành lê trắng điểm một vài bông hoa” Người dùng có thể ghép các vùng lại với nhau từ tập dữ liệu có sẵn như sau:

Hình 16: Minh họa tìm kiếm theo vùng khi người dùng có một vài ý niệm về ảnh truy vấn

Trang 36

1.7.2.4 Tìm kiếm theo ngữ nghĩa

Với việc áp dụng mô hình học vào bài tóan phân vùng ảnh, khi đó mỗi vùng (vần) trong ảnh có thể mang một ngữ nghĩa nào đó Điều này dẫn đến một khả năng truy tìm mới là dựa vào câu truy vấn dạng ngôn ngữ, liên kết với các vùng đại diện theo một luận lý để truy tìm ảnh Điều này giúp cho người dùng có thể thực hiện câu truy vấn dễ dàng

Ví dụ minh họa tìm kiếm theo ngữ nghĩa:

Hình 17: Minh họa việc áp dụng mô hình học vào các vùng của ảnh để tìm kiếm theo ngữ nghĩa

Với các nhãn ngữ nghĩa trên, khi người dùng muốn tìm kiếm hoa mai vàng, người dùng chỉ việc đánh từ khóa “hoa mai vàng” để tìm kiếm

Trang 37

Chương 2: Các khái niệm cơ bản

Chương 2 CÁC KHÁI NIỆM CƠ BẢN

Trang 38

2.1 Màu sắc

2.1.1 Khái niệm về màu sắc

Sự nhận thức về màu sắc là rất quan trọng trong đời sống của con người Sự nhận thức về màu sắc phụ thuộc vào cả tính chất vật lý của ánh sáng và quá trình xử lý của thị giác với sự góp phần rất quan trọng của kinh nghiệm Con người có thể dùng thông tin màu sắc để phân biệt đối tượng, vật liệu, đồ ăn, vị trí, và ngay cả thời gian của ngày,

2.1.2 Một số đặc tính vật lý đặc biệt về màu sắc

Con người chỉ có khả năng nhận thức được ánh sáng có bức xạ điện từ với bước sóng trong khoảng 400 – 700 nanomet Cơ quan thị giác cảm nhận được ánh sáng là do bề mặt đối tượng phát ra ánh sáng, là kết quả của sự tương tác giữa năng lượng chiếu sáng và những phân tử của bề mặt đối tượng Một đối tượng màu xanh dương sẽ có bề mặt màu xanh dương khi chiếu ánh sáng trắng vào Nhưng đối tượng đó sẽ có màu tím khi chiếu ánh sáng đỏ vào.Với sự phát triển mạnh mẽ của các thiết bị kinh tế, máy móc xử lý màu sắc trở nên thông dụng: Chúng ta có các thiết bị như máy quay phim màu, thiết bị chiếu màu và những phần mềm xử lý ảnh màu Máy móc có thể dùng màu sắc cho những mục đích như là con người Đặc biệt, màu sắc thuận tiện bởi vì nó cung cấp phép đo lường đa dạng tại mỗi điểm ảnh đơn, có thể phân lớp, phân loại mà không cần đến những sự xử lý không gian phức tạp để đưa đến quyết định Do đó, việc lựa chọn mô hình màu thích hợp và sử dụng lược đồ lượng hoá màu thích hợp sẽ giảm bớt độ phân giải màu Đây là các vấn đề quan trọng trong việc tìm kiếm ảnh dựa trên màu sắc Màu sắc thường được biểu diễn như là các điểm trong không gian màu 3 chiều Hiện tại có rất nhiều mô hình màu hình học hỗ trợ việc thể hiện màu sắc một cách rõ ràng, dễ lượng hoá Mô hình

Trang 39

Mô hình dựa trên thiết bị đo màu: Kết quả từ độ đo vật lý hệ số phản xạ quang phổ sử dụng thiết bị đo màu Các không gian màu chuẩn theo CIE (Comission International d’Eclairage) thuộc loại này

Mô hình màu dựa trên cảm nhận sinh lí: Kết quả từ các nghiên cứu về thần kinh Tồn tại 3 kiểu hình nón phân biệt trong võng mạc của con người đóng vai trò vào việc sắp xếp màu sắc trong không gian màu Các mô hình màu CIE XYZ, RGB và các biến thể thuộc nhóm này

Mô hình màu dựa trên tâm lý học: dựa trên cách mà màu sắc hình thành trong đầu của người quan sát Các mô hình đối lập dựa trên các phân tích thực nghiệm phản ứng của con người đối với các thành phần đối lập cơ sở Họ các không gian màu HSB (Hue-Saturation-Brightness) thuộc lớp này

Mô hình màu có thể phân biệt

o Mô hình hướng thiết bị: Định nghĩa theo thuộc tính của thiết bị dùng để hiển thì màu như màn hình TiVi, màn hình máy tính và máy in Các mô hình màu hướng thiết bị là RGB, CMY, YIQ Người dùng rất khó xử lý trên các mô hình này vì nó không phản ánh trực tiếp các khái niệm trực giác màu sắc, sắc thái (còn gọi là sắc độ, là độ đậm nhạt của màu sắc) và cường độ sáng

o Mô hình hướng ngừơi dùng: Dựa trên khả năng cảm nhận màu sắc của con người Con người cảm nhận màu sắc thông qua các đối tượng trực giác màu sắc, sắc thái và cường độ sáng Các mô hình màu hướng ngừơi dùng là HSL, HSV, HCV, HSB, MTM, L*u*v, L*a*b* và L*C*h

Trang 40

Không gian màu là một cách biểu diễn toán học một tập các màu Các không gian màu có thể được phân vào 2 loại không gian màu: phụ thuộc thiết bị hay độc lập thiết bị

o Không gian màu độc lập thiết bị được chia thành nhiều không gian màu được định theo chuẩn CIE như: XYZ, L*a*b và L*u*v, ứng dụng chính cho mục đích đo màu o Không gian màu phụ thuộc thiết bị được chia vào 3 lớp

rộng: không gian màu in, không gian màu video, và không gian màu màn hình Các không gian màu in CMY, CMYK dựa trên màu mực được dùng trong ngành in và nhiếp ảnh Các không gian màu màn hình là các biến thể của không gian màu RGB, các không gian màu video - tất cả đều tương tự như không gian màu YUV được phân thành các không gian màu riêng tuỳ vào ứng dụng

2.1.3 Các hệ màu thông dụng 2.1.3.1 Hệ màu chuẩn RGB:

Mắt người có thể phân biệt hàng ngàn màu sắc khác nhau, những con số chính xác hơn vẫn còn đang được bàn cãi nhiều Ba màu RGB (Red-Green- Blue) mã hóa hệ thống đồ họa sử dụng ba byte 224 hay khoảng chừng 16 triệu màu phân biệt Máy tính có thể phân biệt bất kỳ màu gì sau khi được mã hóa, nhưng việc mã hóa có thể không trình bày được những sự khác biệt trong thế giới thực Mỗi điểm ảnh RGB bao gồm một byte cho màu R, một byte cho màu G và một byte cho màu B Việc mã hóa một màu tùy ý trong dãy hiển thị được làm bằng cách tổ hợp ba màu chính Ví dụ: Red(255,0,0), Green(0,255,0), Blue(0,0,255), Black(0,0,0) Hệ thống màu RGB là một hệ thống màu cộng vào bởi vì mỗi màu được tạo nên bằng cách cộng thêm các phần tử vào màu

Định dạng
Số trang	168
Dung lượng	5,87 MB