L ời mở đầu
6.1.3.2 Cơ sở dữ liệu truy tìm theo đặc trưng cấp cao
Cơ sở dữ liệu ảnh phân vùng gồm 1494 ảnh, phân đoạn ảnh được 4156 vùng, và phân thành nhóm.
6.1.4 Chức năng truy tìm ảnh
Chương trình gồm 5 modul tìm kiếm riêng biệt:
Tìm kiếm dạng cơ bản: gồm các đặc trưng lược đồ màu (Histogram), lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết màu (Color Coherence Vector), Vector liên kết hệ số góc(Edge Direcrion Coherence Vector), Correlogram. Trong phần này người dùng có thể kết hợp các đặc trưng này lại với nhau dùng tóan tử AND hay dùng trọng số.
Chương 6:Cài đặt và thử nghiệm
Tìm kiếm có chia lưới hay cho người dùng vẽ hình chữ nhật trên ảnh truy vấn để tìm kiếm. Vẫn sử dụng các đặc trưng cơ bản trên.
Tìm kiếm theo vùng, đối tượng: Từảnh truy vấn có sẵn, chương trình tách thành các vùng (vần) cấu thành nên ảnh, tiếp theo người dùng chọn các vùng cần thiết cho việc tìm kiếm.
Tìm kiếm theo vùng, đối tượng khi mà người dùng chưa có ý niệm về tấm ảnh cần tìm kiếm
Người dùng chưa có ý niệm rõ lắm về tấm ảnh cần tìm mà chỉ có một số yêu cầu nào đó về các vần cấu thành nên nó hoặc họ chỉ cần tìm các ảnh tương tự với các vần chính của ảnh truy vấn chứ không cần sự tương tự toàn cục.
Tìm kiếm dựa vào đánh nhãn các vùng: sau khi tách các vùng của từng ảnh, chúng ta sẽ gán nhãn cho từng vùng. Sau đó, người dùng dùng ngôn ngữđể truy vấn
6.2. Thử nghiệm
6.2.1 Tìm kiếm xét đến tính toàn cục
6.2.1.1 Tìm kiếm theo lược đồ màu
Ảnh truy vấn
Hình 112: Ảnh truy vấn theo lược đồ màu
Khi người dùng chọn tìm kiếm theo đặc trưng Histogram với độ giống nhau giữa 2 ảnh là 55% sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
Hình 113: Tập kết quả tìm kiếm theo lược đồ màu
Nhưng khi người dùng tăng độ giống nhau giữa 2 ảnh lên là 70% thì sẽ cho kết quả như sau:
Hình 114: Kết quả tìm kiếm theo lược đồ màu với độ giống nhau 70%
6.2.1.2 Tìm kiếm theo lược đồ hệ số góc
Với ảnh truy vấn ban đầu như sau:
Chương 6:Cài đặt và thử nghiệm
Khi người dùng chọn độ giống nhau giữa 2 ảnh theo đặc trưng lược đồ hệ số góc là 85% sẽ cho kết quả như sau:
Hình 116: Tập kết quả tìm kiếm theo lược đồ hệ số góc
Nhưng khi người dùng tăng độ giống nhau giữa 2 ảnh lên 89% thì cho kết quả như sau:
Hình 117: Tập kết quả tìm theo lược đồ hệ số góc với độ giống nhau 89%
Chương 6:Cài đặt và thử nghiệm
6.2.1.3 Tìm kiếm theo vector liên kết màu
Vẫn là ảnh tìm kiếm theo lược đồ màu
Hình 118: Ảnh truy tìm theo đặc trưng vector liên kết màu
Người dùng vẫn chọn độ giống nhau giữa 2 ảnh là 55% nhưng ở đây theo đặc trưng Vector liên kết màu. Có kết quả như sau:
Hình 119:Tập kết quả tìm theo đặc trưng vector liên kết màu
Như vậy, ở đây cho kết quả chính xác hơn so với tìm theo đặc trưng lược đồ màu.
Khi người dùng tìm theo đặc trưng này nhưng độ chính xác giữa 2 ảnh là 70% sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
6.2.1.4 Tìm kiếm theo vector liên kết hệ số góc
Vẫn là ảnh tìm theo lược đồ hệ số góc nhưng người dùng không tìm theo lược đồ hệ số góc mà tìm theo Vector liên kết hệ số góc. Ở đây độ giống nhau là 79%
Hình 121: Ảnh truy vấn theo đặc trưng vector liên kết hệ số góc
Kết quả cho sẽ như sau:
Hình 122: Tập kết quả tìm theo đặc trưng liên kết hệ số góc
Ở đây, có thể cho kết quả chính xác hơn so với tìm theo lược đồ hệ số góc mặc dù là theo độ giống nhau chỉ có 79%. Khi tăng độ giống nhau
Chương 6:Cài đặt và thử nghiệm
Hình 123: Tập kết quả tìm theo đặc trưng liên kết hệ số góc với độ
giống nhau 84%
6.2.1.5 Tìm kiếm theo AutoCorrelogram
Vẫn là ảnh tìm theo lược đồ màu, nhưng đây tìm theo đặc trưng Correlogram cũng với độ giống nhau là 55%.
Ảnh truy vấn
Hình 124: Ảnh truy vấn
Kết quả tìm được:
Chương 6:Cài đặt và thử nghiệm
Nhưng khi người dùng tăng độ chính xác lên 70% thì kết quả như sau:
Hình 126: Tập kết quả tìm được với độ giống nhau 70%
6.2.1.6 Tìm kiếm ảnh bằng việc kết hợp các đặc trưng với nhau theo tóan tử AND theo tóan tử AND
Vẫn là ảnh tìm theo lược đồ màu.
Hình 127: Ảnh truy vấn
Nhưng ởđây tìm theo đặc trưng màu (Histogram) là 55% và lược đồ hệ số góc (Edge Direction Histogram)là 75%. Kết quả cho như sau:
Chương 6:Cài đặt và thử nghiệm
Khi người dùng tìm theo đặc trưng Correlogram 50% và vector liên kết hệ số góc 65% thì kết quả như sau:
Hình 129: Tập kết quả tìm được
Khi người dùng tìm kiếm theo đặc trưng liên kết màu 50% và đặc trưng liên kết hệ số góc 65% thì kết quả như sau:
Hình 130: Tập kết quả tìm được
Ví dụ khác:
Ảnh truy vấn ban đầu
Chương 6:Cài đặt và thử nghiệm
Khi người dùng tìm kiếm theo đặc trưng histogram 47% và đặc trưng lược đồ hệ số góc thì kết quả như sau: Hình 132: Tập kết quả tìm được 6.2.1.7 Tìm kiếm ảnh bằng cách kết hợp các đặc trưng dùng trọng số Vẫn là ảnh trên Hình 133: Ảnh truy vấn
Nhưng ở đây người dùng tìm kiếm theo lược đồ màu với độ ưu tiên là 0.6 và đặc trưng lược đồ hệ số góc với độ ưu tiên là 0.4 và độđo chung là 70% thì sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
Ảnh truy vấn ban đầu
Hình 135: Ảnh truy vấn
Khi tìm theo đặc trưng liên kết màu với độ ưu tiên là 45% và đặc trưng liên kết hệ số góc với độ ưu tiên 55% và độ giống nhau giữa 2 ảnh là 63% sẽ cho kết quả như sau: Hình 136: Tập kết quả tìm được 6.2.2 Tìm kiếm dựa trên tính phân bố cục bộ 6.2.2.1 Tìm kiếm bằng cách chia lưới Ví dụ 1: Ảnh truy vấn
Hình 137: Ảnh truy vấn tìm kiếm dựa trên tính phân bố
cục bộ
Người dùng muốn tìm kiếm những ảnh có màu giống như màu của bông hoa màu tím và vị trí là ở giữa hình thì người dùng có thể chia thành lưới 3x3 như sau:
Chương 6:Cài đặt và thử nghiệm
Hình 138: Ảnh minh họa chia lưới và vùng được chọn
Khi đó người dùng chọn block thứ 4 tìm theo lược đồ màu với độ giống nhau là 50% thì sẽ cho kết quả như sau:
Hình 139: Tập ảnh kết quả tìm được
Ví dụ khác:
Ảnh truy vấn
Hình 140: Ảnh truy vấn
Người dùng tìm kiếm những tấm ảnh có bông hoa ở giữa và bên cạnh có lá thì người dùng có thể chia thành lưới như sau
Chương 6:Cài đặt và thử nghiệm
Hình 141: Ảnh minh hoạ cá vùng đựơc chọ
Người dùng tìm kiếm block thứ 4 theo đặc trưng lược đồ màu là 50% và block thứ 5 cũng theo đặc trưng lược đồ màu với độ giống nhau là 60% thì cho kết quả như sau:
Hình 142: Tập ảnh tìm được
Ví dụ 3:
Ảnh truy vấn:
Chương 6:Cài đặt và thử nghiệm
Ảnh sau khi chia lưới 2x1
Hình 144: Ảnh sau khi chia lưới
Khi người dùng muốn tìm kiếm những ảnh có bầu trời thì người dùng chọn block 0 với đặc trưng màu là 45% thì sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
Nhưng khi người dùng kết hợp với block thứ 1 theo đặc trưng vector liên kết góc với độ giống nhau là 55% sẽ cho kết quả sau:
Hình 146: Tập ảnh kết quả tìm được
6.2.2.2 Tìm kiếm bằng cách vẽ vùng
Ví dụ :
Chương 6:Cài đặt và thử nghiệm
Hình 148: Minh họa vẽ tìm kiếm
Khi người dùng muốn tìm theo đặc trưng lược đồ màu với độ giống nhau là 64% sẽ cho kết quả như sau:
Hình 149: Tập ảnh tìm được
Vẫn ảnh truy vấn trên nhưng người dùng tìm theo đặc trưng màu với độ giống nhau là 64% và đặc trưng liên kết hệ số góc với độ giống nhau là 60% thì sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm Hình 150: Tập ảnh tìm được 6.2.3 Tìm kiếm dựa theo vùng, đối tượng của ảnh có sẵn Trong phần này cơ sở dữ liệu ảnh chúng em gồm 500 tấm ảnh Ví dụ 1: Ảnh truy vấn ban đầu Hình 151: Ảnh truy vấn theo vùng
Sau khi phân đọan ảnh ta được các vùng của ảnh như sau:
Chương 6:Cài đặt và thử nghiệm
Chọn vùng truy tìm
Kết quả thu được:
Hình 153: Tập kết quả tìm theo vùng hoa màu tím
Ví dụ 2:
Chương 6:Cài đặt và thử nghiệm
Sau khi phân đọan ảnh ta thu được các vùng của ảnh như sau:
Hình 154: Các vùng của ảnh truy vấn
Khi người dùng muốn tìm kiếm những tấm ảnh có vùng là con sư tử với độ giống nhau là 65%:
Hình 155: Vùng tìm kiếm
Chương 6:Cài đặt và thử nghiệm
Hình 156: Tập kết quả tìm được theo vùng sư tử
Để lọai bớt những tấm ảnh dư thừa trong tìm kiếm cũng như cho kết quả chính xác hơn người dùng có thể chọn thêm vùng tìm kiếm hay tăng ngưỡng trong tìm kiếm.
Ví dụ người dùng chọn thêm vùng bầu trời cho việc tìm kiếm:
Hình 157: Minh họa tìm kiếm theo toán tử BOOL
Chương 6:Cài đặt và thử nghiệm
Hình 158: Tập kết quả thu được
Ví dụ 3: Ảnh ban đầu
Chương 6:Cài đặt và thử nghiệm
Người dùng có thể tìm kiếm bằng câu truy vấn
Hình 160: Minh họa câu truy vấn
Kết quả tìm được:
Hình 161: Kết quả tìm được
Chương 6:Cài đặt và thử nghiệm
Hình 162: Câu truy vấn
Kết quả thu được:
Hình 163: Kết quả thực hiện câu truy vấn trên
6.2.4 Tìm kiếm dựa theo vùng, đối tượng khi mà người dùng chưa có ý niệm rõ ràng về tấm ảnh dùng chưa có ý niệm rõ ràng về tấm ảnh
Ví du 1: Khi người dùng muốn tìm những ảnh có nền xanh thì người dùng có thể chọn vùng và câu truy vấn dạng sau:
Chương 6:Cài đặt và thử nghiệm
Hình 164: Hình minh họa tìm kiếm theo vùng
Kết quả thu được:
Hình 165: Kết quả tìm được
Ví dụ 2: Khi người dùng muốn tìm những ảnh có bông hoa màu vàng và nền màu xanh:
Chương 6:Cài đặt và thử nghiệm
Hình 166: Minh họa câu truy vấn theo vùng
Kết quả thu được:
Chương 6:Cài đặt và thử nghiệm
6.2.5 Tìm kiếm dựa vào ngữ nghĩa
Ví dụ 1: với nhãn hổ con được gán cho vùng sau trong cơ sở dữ liệu:
Khi muốn tìm kiếm những hình có con hổ thì người dùng chỉ việc đánh từ khoá “hổ con” để tìm kiếm.
Kết quả tìm kiếm với từ khoá hổ con như sau:
Hình 168:Tập kết quả tìm kiếm với từ khoá” hổ con”
Ví dụ 2:
Với từ khoá “Chúa sơn lâm” được gán cho sư tử trong cơ sở dữ liệu. Khi muốn tìm kiếm những con sư tử, người dùng có thể thực hiện từ khóa “ Chúa sơn lâm” cho con sư tử
Chương 6:Cài đặt và thử nghiệm
Hình 169: Ảnh minh hoạ tìm kiếm theo ngữ nghĩa, từ khoá “Chúa sơn lâm”
Kết quả tìm kiếm như sau:
Hình 170: Kết quả tìm kiếm với từ khoá “ Chúa sơn lâm” với độ
giống nhau 64% 6.3. Kết quả thực nghiệm của hệ thống
Đểđánh giá tính hiệu quả của hệ thống chúng em sử dụng 2 đại lượng: Độ chính xác = Sốảnh tìm được đúng / Sốảnh tìm được
Chương 6:Cài đặt và thử nghiệm Độ trung thực = Sốảnh tìm được đúng / Tổng sốảnh đúng thực có 6.3.1 Thực nghiệm việc tìm kiếm theo các đặc trưng cấp thấp Phương pháp nhập liệu Phương pháp truy tìm Số mẫu thử Độ chính xác trung bình Độ trung thực trung bình Chọn ảnh truy vấn
Truy tìm dựa vào lược đồ màu
200 90 83
Chọn ảnh truy vấn Truy tìm dựa vào lươc đồ hệ
số góc
200 82 78
Chọn ảnh truy vấn Truy tìm dựa vào lược đồ
liên kết hệ số góc
200 86 80
Chọn ảnh truy vấn Truy tìm dựa vào lược đồ
vector liên kết màu
200 92 84 Chọn ảnh truy vấn Truy tìm dựa vào correlogram 200 90 84 Chọn ảnh truy vấn Truy tìm bằng cách chia lưới
200 91 83
Chọn ảnh truy vấn Truy tìm bằng cách vẽ vùng
Chương 6:Cài đặt và thử nghiệm
6.3.2 Thực nghiệm việc tìm kiếm theo đặc trưng cấp cao
Phương pháp nhập liệu Phương pháp truy tìm Số mẫu thử Độ chính xác trung bình Độ trung thực trung bình Chọn vùng của ảnh truy vấn Truy tìm dựa vào độđo đối sánh vùng 150 94 91 Chọn các mẫu truy vấn có sẵn Truy tìm dựa vào độ đo đối sánh vùng 150 95 92 Chọn ngữ nghĩa của vùng Truy tìm dựa vào độđo đối sánh vùng 150 95 92
Chương 7:Tổng kết và hướng phát triển
Chương 7:Tổng kết và hướng phát triển
7.1. Tổng kết
Hiện nay hệ thống “Truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” có khả năng:
Tìm kiếm ảnh dựa vào các đặc trưng cấp thấp (hay tìm kiếm ảnh dựa vào tính phân bố tòan cục).
Tìm kiếm ảnh dựa vào tính phân bố cục bộ (tìm kiếm bằng việc chia lưới hay cho người dùng vẽ trên ảnh truy vấn).
Tìm kiếm ảnh dựa vào vùng, đối tượng ảnh có sẵn.
Tìm kiếm dựa vào vùng,đối tượng khi mà người dùng chưa có ý niệm rõ ràng vềảnh cần tìm kiếm.
Tìm kiếm dựa vào ngữ nghĩa (bán tựđộng).
Với các chức năng trên hệ thống đã hòan thành các mục tiêu đề ra ban đầu là xây dựng hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp, đặc trưng cấp cao và hướng tới việc tìm kiếm ảnh dựa vào ngữ nghĩa.
7.2. Hướng phát triển
Với hệ thống này, chúng em đã xây dựng được một nền tảng vững chắc giúp ta lấp dần hố ngăn cách giữa các đặc trưng cấp thấp, cấp cao với ngữ nghĩa của ảnh. Đây cũng là một hệ thống mở, tạo tiền đề cho việc tiến lên ngữ nghĩa một cách dễ dàng. Cụ thể là hệ thống có thể phát triển lên thành hệ thống dịch ảnh tự động chỉ thông qua việc học mẫu để gán nhãn cho vùng. Cùng với đó kết hợp với việc xây dựng một bộ luật ngôn ngữ riêng, giúp ta tiến lên một bước truy tìm ảnh cao hơn là: truy tìm ảnh chỉ bằng câu truy vấn dạng ngôn thông thường.
7.3. Kết luận
Hệ thống “Truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” là một công trình rất có ý nghĩa. Đây là một sản phẩm thể hiện trí tuệ Việt Nam, và là sản phẩm của con người Việt Nam hoà vào trào lưu phát triển chung của thế
Chương 7:Tổng kết và hướng phát triển
giới. Nhận thức rõ ý nghĩa to lớn này, chúng em nguyện cố gắng nhiều hơn nữa, tìm hiểu cải tiến chất lượng cho hệ thống càng hòan thiện hơn.
Tài liệu tham khảo
TÀI LIỆU THAM KHẢO
[1]Alberto Del Bimbo,”Visual Information Retrieval”, Morgan Publishers, Inc.1999
[2]D .BimBo
Visual information Retrieval. Morgan Kaufmann ,1999 [3]Ihtisham Kabir
Ihtisham Kabir,”High Performance Computer Imaging”, Manning Publiccations Company, 1996.
[4]Lý Quốc Ngọc
Truy tìm thông tin thị giác dựa vào nội dung bằng phương pháp gán nhãn ngữ nghĩa cho ảnh.
Tạp chí phát triển khoa học công nghệ, tập 7, tháng 4&5 năm 2004.
[5]Nguyễn Lãm, Lý Quốc Ngọc, Dương Anh Đức, Nguyễn Bá Công, Nguyễn