L ời mở đầu
4.5.1 Giai đoạn nhập dữ liệu
Chương 4:Truy tìm ảnh dựa vào đặc trưng cấp cao
Người dùng chọn một sốảnh truy vấn tuỳ ý, sau đó hệ thống tựđộng sẽ phâ
D NOT(S
i được chọn. Các ví
n đoạn các ảnh này, cuối cùng người dùng chọn các vùng cần truy tìm và các vùng không cần tìm trong các ảnh này theo lý luận:
(Sel(Ci) OR Sel(Cj)) AND (Sel(Ck)OR Sel(Cl)) AN el(Cm)OR Sel(Cn))
Trong đó: Sel(Ci): C dụ minh họa: Ví dụ 1: Hình 102: ảnh minh họa tìm kiếm theo vùng Khi đó nh để tìm kiế Ví dụ 2: người dùng có thể chọn một trong 3 vùng của ả m. Ngòai ra người dùng có thể thực hiện câu truy vấn như sau: (1 AND 2) nghĩa là tìm những ảnh có cả con thú và cỏ hay thực hiện câu truy vấn (1 NOT 2) nghĩa là có con thú nhưng không có cỏ.
Chương 4:Truy tìm ảnh dựa vào đặc trưng cấp cao
Hình 103: Hình minh họa tìm kiếm theo vùng, đối tượng
Cũng như trên người dùng có thể tìm kiếm kết hợp các vùng lại với nhau. Ví dụ như ngừơi dùng có thể tìm kiếm những tấm ảnh có dạng “ con sư tửđứng ngòai bầu trời có mây” thì người dùng có thể thực hiện câu truy vấn như sau: (2 AND 3) hoặc (2 AND 3 AND 4)
Cách thứ hai:
Người dùng chọn các mẫu truy vấn đã có sẵn trong cơ sở dữ liệu ảnh (trong bước phân lớp vùng) theo lý luận:
(Sel(Ci) OR Sel(Cj)) AND (Sel(Ck)OR Sel(Cl)) AND NOT(Sel(Cm)OR Sel(Cn))
Cụ thể là trong tập cơ sở dữ liệu ảnh ban đầu đã phân thành các vùng, người dùng muốn chọn vùng nào để tìm kiếm thì chỉ cần người dùng chọn vùng đó để tìm kiếm. Ví dụ như người dùng muốn tìm kiếm những tấm ảnh có dạng sau “ Cỏ non xanh tận chân trời, cành lê trắng điểm một vài bông hoa” thì người dùng có thể chọn các vùng sau: “ cỏ màu xanh “,”màu bầu trời”, ”cành lê có những bông hoa màu trắng” .
Chương 4:Truy tìm ảnh dựa vào đặc trưng cấp cao
Ví dụ 1:
Người dùng muốn tìm kiếm ảnh như sau: “Cỏ non xanh tận chân trời, cành lê trắng điểm một vài bông hoa” thì người dùng có thể chọn các vùng sau:
Hình 104: Câu truy vấn “Bầu trời” AND “ Cỏ” AND “ Hoa màu trắng”
Ví dụ 2:
Hoặc là người dùng có ý niệm tìm những ảnh có dạng sau:”Tìm những ảnh có hoa màu vàng nhưng không có lá màu xanh bên cạnh”. Yêu cầu sẽđược giải quyết như sau:
Hình 105: Câu truy vấn “Hoa màu vàng” AND NOT “ Lá màu xanh”
Trong cả 2 cách đều có thể chọn mức độ quan trọng của các đặc trưng dựa vào các trọng số tương ứng trong độ đo đối sánh vùng:
+ − + − = ( ) | | 1 ) , (Ci Cj wmd hCi hCJ wv VCi VCj L d
Chương 4:Truy tìm ảnh dựa vào đặc trưng cấp cao 1 | 1 2 | | | | | | C C L dt C C L com C C L vt VT i VT j w DT i DT j w Com i Com j w − + − + − 4.5.2 Giai đoạn truy tìm
Với mẫu truy vấn Cq, so sánh với các mẫu đại diện trong cây phân lớp vùng để lọc bớt các lớp không tương thích với mẫu và chọn được mẫu đại diện thích hợp với mẫu truy vấn .
Gọi mẫu đại diện khớp với mẫu truy vấn là Cr, lớp đó là Br . Gọi tập các ảnh có ít nhất một vùng thuộc về lớp Br là TA (Br). Tập ảnh ứng với câu truy vấn:
(Sel(Ci) OR Sel(Cj)) AND (Sel(Ck)OR Sel(Cl)) AND NOT(Sel(Cm) OR Sel(Cn)) sẽ tương ứng:
(TA(Bi) TA(Bj)) ∪ ∩(TA(Bk) TA(B∪ Bl))\ (TA(Bm) TA(B∪ n)) Với cách làm trên,sẽđạt độ chính xác cao,mức độ tìm sót thấp,đồng thời tốc độ truy tìm khá nhanh vì không phải duyệt qua toàn bộ cơ sở dữ liệu ảnh và sử dụng toàn bộ các đặc trưng trong đối xứng ảnh.
4.5.3 Giai đoạn sắp hạng (RANKING)
Tập ảnh kết quả tìm được sẽ đươc sắp hạng theo độ tương tự với ảnh truy vấn, giúp cho người dùng tìm được ảnh cần tìm nhanh chóng hơn. Độ tương tự giữa ảnh truy vấn và ảnh trong tập kết quảđược xác định như sau:
Giả sử xét 2 ảnh Ai, Aj:
Ai={ Ci0,Ci1, …,CiN-1 }, với Cik, kє[0..N-1] là các vùng của ảnh Ai
Aj={ Cj0,Cj1, …,CjM-1 }, với Cjl, lє[0..N-1] là các vùng của ảnh Aj
Độđo tương tự giữa các ảnh dựa vào độđo tương tự giữa các vùng: d(Ai,Aj)=min{d(Cik,Cjl),kє[0,N],lє[0,M]}
Tuy nhiên độ tương tự trên không phản ánh được độ tương tự thật sự giữa các ảnh vì có thể tồn tại 2 vùng rất giống nhau giữa 2 ảnh tuy nhiên lại
Chương 4:Truy tìm ảnh dựa vào đặc trưng cấp cao
có sự khác biệt rất lớn ở những vùng còn lại. Vì vậy cần đưa ra một độ đo tương tự thể hiện được sự tham gia của các vùng trong cả 2 ảnh .
Sự tương tự giữa 2 ảnh càng cao khi có sự tương tự cao giữa các vùng trong 2 ảnh. 2 ) , ( ) , ( ) , ( 1 0 1 0 ∑− ∑ = − = + = N k M l i jl jl j ik ik j i A C d w A C d w A A d N là số vùng của ảnh Ai , M là số vùng của ảnh Aj , d(Cik,Aj)=min{d(Cik,Cjl),l=0..M-1, là khoảng cách từ vùng Cik của ảnh Aiđến ảnh Aj, d(Cjl,Ai)=min{d(Cjl,Cik),k=0..N-1, là khoảng cách từ vùng Cjl của ảnh Ajđến ảnh Ai, wik=Nik/NKi, Nik là số khối trong vùng Cik, NKi số khối con của ảnh Ai wjl=Njl/NKj, Njl là số khối trong vùng Cjl, NKj số khối con của ảnh Aj wik và wjl thể hiện vai trò quan trọng của vùng có diện tích lớn trong độ đo đối sánh . Cách tiếp cận của chúng em là dùng đặc trưng cấp cao là vùng mà chúng em còn gọi là vần ảnh (cùng với đặc trưng cấp thấp như màu, vân, hình dáng) để bắc cầu nối giữa đặc trưng cấp thấp và ngữ nghĩa ảnh. Chúng em xem ảnh gồm các vùng cũng như một đoạn văn gồm các từ. Vì vậy trong việc truy tìm cũng như trong việc phân lớp, đơn vị phải xử lý là các vùng của ảnh .
Điều này dẫn đến một khả năng truy tìm mới là dựa vào câu truy vấn dạng ngôn ngữ, liên kết giữa các vùng đại diện theo một lý luận để truy tìm ảnh .
Chương 5:Truy tìm ảnh dựa vào ngữ nghĩa
Chương 5:Truy tìm ảnh dựa vào ngữ nghĩa
Cách truy vấn này là dùng đặc trưng cấp cao là vùng mà chúng em còn gọi là vần ảnh (cùng với đặc trưng cấp thấp như màu, vân, hình dáng) để bắt cầu nối giữa đặc trưng cấp thấp và ngữ nghĩa ảnh. Chúng em xem ảnh gồm các vùng cũng như một đoạn văn gồm các từ. Vì vậy trong việc truy tìm cũng như trong việc phân lớp, đơn vị phải xử lý là các vùng của ảnh.
Điều này dẫn đến một khả năng truy tìm mới là dựa vào câu truy vấn dạng ngôn ngữ, liên kết giữa các vùng đại diện theo một lý luận để truy tìm ảnh.
Trong từng nhóm ảnh đã được phân loại bằng tay, trích ra các vùng đặc thù cho nhóm ảnh để khi truy vấn ta có thể diễn dịch từ ngôn ngữ sang vần ảnh. Ví dụ như tìm cảnh bãi biển lúc bình minh, thì liên kết nhóm từ bãi biển với vùng đại diện cho bãi biển và liên kết nhóm từ bình minh với vùng đại diện cho bình minh
Đây có thể xem là hướng truy tìm ảnh theo phương pháp mới. Với phương pháp này ta có thể truy tìm ảnh chỉ bằng những câu chữ mà không cần hình ảnh có sẵn. Việc tìm kiếm này đem đến sự tiện dụng cho người dùng.
Ví dụ minh họa:
Đầu tiên người dùng vào cơ sở dữ liệu gán nhãn cho tất cả các vùng sau khi được phân lớp ở bước tìm kiếm theo vùng. Ứng với mỗi vùng, người dùng gán nhãn tương ứng cho vùng đó. Khi tìm kiếm chỉ cần dùng ngôn ngữ để truy tìm.
Chương 5:Truy tìm ảnh dựa vào ngữ nghĩa
Hình 106: Các vùng đã được gán nhãn
Sau khi người dùng gán nhãn xong, tiếp theo là người dùng có thể thực hiện câu truy vấn của mình. Ví dụ như người dùng có thể thực hiệc các câu truy vấn sau:
Chương 5:Truy tìm ảnh dựa vào ngữ nghĩa
+”Hoa mai” sẽ cho kết quả những ảnh có hoa
Hình 108: Kết quả câu truy vấn “ Hoa mai”
+”Cỏ” AND “Nhà” sẽ cho kết quả những ảnh có nhà và cỏ
Hình 109: Kết quả câu truy vấn “ Cỏ” và “ Nhà”
Chương 5:Truy tìm ảnh dựa vào ngữ nghĩa
Chương 6:Cài đặt và thử nghiệm
Chương 6:Cài đặt và thử nghiệm
6.1. Cài đặt
6.1.1 Chương trình
Chương trình được cài đặt trên môi trường Visual C++ 6.0. Chương trình có sử dụng thư viện IJL15.dll đểđọc tập tin JPG.
Chương trình được xây dựng theo mô hình sau:
Hình 111: Mô hình hệ thống
6.1.2 Các đặc trưng sử dụng cho chương trình
Các đặc trưng được sử dụng trong bài tóan là:
Đặc trưng màu sắc: Đặc trưng lược đồ màu, đặc trưng lược vector liên kết màu, đặc trưng Correlogram.
Đặc trưng hình dáng: đặc trưng lược đồ hệ số góc, đặc trưng vector liên kết hệ số góc.
Chương 6:Cài đặt và thử nghiệm
Vềđặc trưng được sử dụng để phân vùng: Đặc trưng màu, đặc trưng vân, đặc trưng vị trí.
6.1.3 Cơ sở dữ liệu
Việc xây dựng cây phân cấp các đặc trưng chúng em cài đúng theo thuật tóan phân lớp phânc cấp (HAC). Kết quả thu được khá khả quan.
6.1.3.1 Cơ sở dữ liệu truy tìm theo đặc trưng cấp thấp
Cơ sở dữ liệu dùng chung cho đặc trưng cấp thấp gồm 5091 ảnh.
Đặc trưng Số nhóm (Cluster)
Lược đồ màu 724
Vector liên kết màu 747
Tương quan màu 626
Lược đồ hệ số góc 227 Vector liên kết hệ số góc 204
6.1.3.2 Cơ sở dữ liệu truy tìm theo đặc trưng cấp cao
Cơ sở dữ liệu ảnh phân vùng gồm 1494 ảnh, phân đoạn ảnh được 4156 vùng, và phân thành nhóm.
6.1.4 Chức năng truy tìm ảnh
Chương trình gồm 5 modul tìm kiếm riêng biệt:
Tìm kiếm dạng cơ bản: gồm các đặc trưng lược đồ màu (Histogram), lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết màu (Color Coherence Vector), Vector liên kết hệ số góc(Edge Direcrion Coherence Vector), Correlogram. Trong phần này người dùng có thể kết hợp các đặc trưng này lại với nhau dùng tóan tử AND hay dùng trọng số.
Chương 6:Cài đặt và thử nghiệm
Tìm kiếm có chia lưới hay cho người dùng vẽ hình chữ nhật trên ảnh truy vấn để tìm kiếm. Vẫn sử dụng các đặc trưng cơ bản trên.
Tìm kiếm theo vùng, đối tượng: Từảnh truy vấn có sẵn, chương trình tách thành các vùng (vần) cấu thành nên ảnh, tiếp theo người dùng chọn các vùng cần thiết cho việc tìm kiếm.
Tìm kiếm theo vùng, đối tượng khi mà người dùng chưa có ý niệm về tấm ảnh cần tìm kiếm
Người dùng chưa có ý niệm rõ lắm về tấm ảnh cần tìm mà chỉ có một số yêu cầu nào đó về các vần cấu thành nên nó hoặc họ chỉ cần tìm các ảnh tương tự với các vần chính của ảnh truy vấn chứ không cần sự tương tự toàn cục.
Tìm kiếm dựa vào đánh nhãn các vùng: sau khi tách các vùng của từng ảnh, chúng ta sẽ gán nhãn cho từng vùng. Sau đó, người dùng dùng ngôn ngữđể truy vấn
6.2. Thử nghiệm
6.2.1 Tìm kiếm xét đến tính toàn cục
6.2.1.1 Tìm kiếm theo lược đồ màu
Ảnh truy vấn
Hình 112: Ảnh truy vấn theo lược đồ màu
Khi người dùng chọn tìm kiếm theo đặc trưng Histogram với độ giống nhau giữa 2 ảnh là 55% sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
Hình 113: Tập kết quả tìm kiếm theo lược đồ màu
Nhưng khi người dùng tăng độ giống nhau giữa 2 ảnh lên là 70% thì sẽ cho kết quả như sau:
Hình 114: Kết quả tìm kiếm theo lược đồ màu với độ giống nhau 70%
6.2.1.2 Tìm kiếm theo lược đồ hệ số góc
Với ảnh truy vấn ban đầu như sau:
Chương 6:Cài đặt và thử nghiệm
Khi người dùng chọn độ giống nhau giữa 2 ảnh theo đặc trưng lược đồ hệ số góc là 85% sẽ cho kết quả như sau:
Hình 116: Tập kết quả tìm kiếm theo lược đồ hệ số góc
Nhưng khi người dùng tăng độ giống nhau giữa 2 ảnh lên 89% thì cho kết quả như sau:
Hình 117: Tập kết quả tìm theo lược đồ hệ số góc với độ giống nhau 89%
Chương 6:Cài đặt và thử nghiệm
6.2.1.3 Tìm kiếm theo vector liên kết màu
Vẫn là ảnh tìm kiếm theo lược đồ màu
Hình 118: Ảnh truy tìm theo đặc trưng vector liên kết màu
Người dùng vẫn chọn độ giống nhau giữa 2 ảnh là 55% nhưng ở đây theo đặc trưng Vector liên kết màu. Có kết quả như sau:
Hình 119:Tập kết quả tìm theo đặc trưng vector liên kết màu
Như vậy, ở đây cho kết quả chính xác hơn so với tìm theo đặc trưng lược đồ màu.
Khi người dùng tìm theo đặc trưng này nhưng độ chính xác giữa 2 ảnh là 70% sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
6.2.1.4 Tìm kiếm theo vector liên kết hệ số góc
Vẫn là ảnh tìm theo lược đồ hệ số góc nhưng người dùng không tìm theo lược đồ hệ số góc mà tìm theo Vector liên kết hệ số góc. Ở đây độ giống nhau là 79%
Hình 121: Ảnh truy vấn theo đặc trưng vector liên kết hệ số góc
Kết quả cho sẽ như sau:
Hình 122: Tập kết quả tìm theo đặc trưng liên kết hệ số góc
Ở đây, có thể cho kết quả chính xác hơn so với tìm theo lược đồ hệ số góc mặc dù là theo độ giống nhau chỉ có 79%. Khi tăng độ giống nhau
Chương 6:Cài đặt và thử nghiệm
Hình 123: Tập kết quả tìm theo đặc trưng liên kết hệ số góc với độ
giống nhau 84%
6.2.1.5 Tìm kiếm theo AutoCorrelogram
Vẫn là ảnh tìm theo lược đồ màu, nhưng đây tìm theo đặc trưng Correlogram cũng với độ giống nhau là 55%.
Ảnh truy vấn
Hình 124: Ảnh truy vấn
Kết quả tìm được:
Chương 6:Cài đặt và thử nghiệm
Nhưng khi người dùng tăng độ chính xác lên 70% thì kết quả như sau:
Hình 126: Tập kết quả tìm được với độ giống nhau 70%
6.2.1.6 Tìm kiếm ảnh bằng việc kết hợp các đặc trưng với nhau theo tóan tử AND theo tóan tử AND
Vẫn là ảnh tìm theo lược đồ màu.
Hình 127: Ảnh truy vấn
Nhưng ởđây tìm theo đặc trưng màu (Histogram) là 55% và lược đồ hệ số góc (Edge Direction Histogram)là 75%. Kết quả cho như sau:
Chương 6:Cài đặt và thử nghiệm
Khi người dùng tìm theo đặc trưng Correlogram 50% và vector liên kết hệ số góc 65% thì kết quả như sau:
Hình 129: Tập kết quả tìm được
Khi người dùng tìm kiếm theo đặc trưng liên kết màu 50% và đặc trưng liên kết hệ số góc 65% thì kết quả như sau:
Hình 130: Tập kết quả tìm được
Ví dụ khác:
Ảnh truy vấn ban đầu
Chương 6:Cài đặt và thử nghiệm
Khi người dùng tìm kiếm theo đặc trưng histogram 47% và đặc trưng lược đồ hệ số góc thì kết quả như sau: Hình 132: Tập kết quả tìm được 6.2.1.7 Tìm kiếm ảnh bằng cách kết hợp các đặc trưng dùng trọng số Vẫn là ảnh trên Hình 133: Ảnh truy vấn
Nhưng ở đây người dùng tìm kiếm theo lược đồ màu với độ ưu tiên là 0.6 và đặc trưng lược đồ hệ số góc với độ ưu tiên là 0.4 và độđo chung là 70% thì sẽ cho kết quả như sau:
Chương 6:Cài đặt và thử nghiệm
Ảnh truy vấn ban đầu
Hình 135: Ảnh truy vấn
Khi tìm theo đặc trưng liên kết màu với độ ưu tiên là 45% và đặc trưng liên kết hệ số góc với độ ưu tiên 55% và độ giống nhau