L ời mở đầu
3.3. Tạo chỉ mục truy tìm ảnh
Quá trình rút trích đặc trưng của ảnh đòi hỏi phải tốn nhiều thời gian, do đó khi tìm kiếm trên một cơ sở dữ liệu ảnh lớn thì vấn đề thời gian là một trong những vấn đề gây khó khăn cho bài toán, do đó cần phải có biện pháp tổ chức cơ sở dữ liệu hiệu quả giúp cho việc tìm kiếm được nhanh hơn, hiệu quả hơn.
Điều đó đã được giải quyết bằng cách xây dựng cơ sở dữ liệu ảnh chúng ta thành những cây phân cấp bằng giải thưật HAC, nghĩa là xây dựng cây với các nút lá là tập các ảnh trong cơ sở dữ liệu có đặc trưng giống nhau tuỳ theo người dùng muốn về chung một nhóm. Việc tạo cây phân cấp với các nút đuợc gôm lại thành từng nhóm, mỗi nhóm có một phần tửđại diện giúp cho việc truy tìm có thể loại bỏđược những nhóm có ảnh không giống với ảnh truy vấn một cách nhanh chóng. Từđó việc truy tìm sẽ hiệu quả hơn về thời gian truy xuất. Và như vậy có thể coi là một chỉ mục để truy tìm ảnh hiệu quả.
Ví dụ minh họa cây phân cấp ban đầu và cây chỉ mục sau khi tiến hành gom nhóm:
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Hình 67: Cây chỉ mục
3.4. Các chiến lược truy tìm ảnh
3.4.1 Truy tìm ảnh xét đến tính phân bố toàn cục
3.4.1.1 Tìm kiếm theo màu sắc
Phương pháp phổ biến để tìm kiếm ảnh trong một tập những ảnh hỗn tạp cho trước là dựa vào màu sắc của chúng. Đây là cách làm khá đơn giản, tốc độ tìm kiếm tương đối nhanh nhưng khuyết điểm là kết quả tìm kiếm lại có độ chính xác không cao. Nhưng đây có thể được xem như là bước lọc đầu tiên cho những tìm kiếm sau. Muốn được kết quả chính xác cao đòi hỏi sự kết hợp đồng thời với vân (texture) và hình dáng (shape). Cho đến nay, để giải quyết vấn đề về màu sắc, cách tiếp cận chính vẫn là dựa vào các đặc trưng sau: lược đồ màu, vector liên kết màu, lược đồ tương quan màu.
Hệ màu chúng em sử dụng là hệ màu HSI, với 113 màu đại diện cho 224 màu sẽ giúp ta giảm được không gian lưu trữ rất nhiều, mà không gây ảnh hưởng nhiều đến mức cảm nhân của con người.
3.4.1.1.1 Lược đồ màu
Tìm kiếm ảnh sử dụng lược đồ màu là phương pháp thông dụng nhât và dễ cảm nhận nhất. Nhưng việc tìm kiếm theo đặc trưng
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
này thất bại trong trường hơp: có thể có 2 ảnh giống nhau về lược đồ màu nhưng khác nhau nhiều về ngữ nghĩa.
Ví dụ 1: ảnh có lược đồ màu giống nhau với độ giống nhau là 70%.
Hình 68: Minh họa 2 ảnh có lược đồ màu giống nhau
Ví dụ 2: 2 ảnh cũng có độ giống nhau về lược đồ màu là 70% nhưng khác nhau về ngữ nghĩa
Hình 69: Minh họa 2 ảnh giống nhau về lược đồ màu nhưng khác nhau về ngữ nghĩa
3.4.1.1.2 Vector liên kết màu
Trong tìm kiếm ảnh với việc sử dụng đặc trưng vectơ liên kết màu sẽ giúp ta tránh được tình trạng hai ảnh có cùng lược đồ màu nhưng khác nhau hoàn toàn về ngữ nghĩa.
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Cũng giống ví dụ về lược đồ màu ở trên. 2 ảnh sau có độ giống nhau về lược đồ màu là 70%. Nhưng theo đặc trưng vector liên kết màu thì 2 ảnh này hòan tòan khác nhau.
Theo đặc trưng Lược đồ màu:
Hình 70: Minh họa 2 ảnh có lược đồ màu giống nhau nhưng khác nhau về ngữ nghĩa
Theo đặc trưng Vector liên kết màu:
Hình 71: Hình minh họa vector liên kết màu khắc phục tính không duy nhất của lược đồ màu
Như vậy, với đặc trưng lược đồ màu thì không thể lọai bỏ những ảnh có lược đồ màu giống nhau nhưng khác nhau về ngữ nghĩa. Trái lại với đặc trưng Vector liên kết màu thì khắc phục được nhược điểm này của lược đồ màu. Do đó, tìm kiếm theo đặc trưng vector liên kết màu sẽ giảm bớt đáng kể những ảnh dư thừa trong quá trình tìm kiếm, nâng cao hiệu quả tìm kiếm, kết quả tìm được mang ngữ nghĩa giống với ảnh truy vấn hơn.
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
3.4.1.1.3 Đặc trưng tương quan màu (Correlogram):
Cũng giống như đặc trưng vectơ liên kết màu, đặc trưng tương quan màu thể hiện mối quan hệ chặt chẽ về sự phân bố màu trong ảnh. Chính vì vây nếu truy tìm ảnh sử dụng đặc trưng này cũng tránh được tình trạng mà đặc trưng lược đồ màu vấp phải.
Ví dụ minh hoạ:
Hình 72: Hình minh họa 2 ảnh có đặc trưng tương quan màu giống nhau 81.2%
3.4.1.2 Tìm kiếm theo hình dáng
Với thông tin màu sắc con người có thể tìm kiếm những ảnh giống nhau về màu sắc mà con người cảm nhận được. Nhưng khi con người có nhu cầu tìm kiếm những ảnh giống nhau về hình dáng thì thông tin màu sắc không thể hiện được. Khi đó cần một đặc trưng khác đáp ứng yêu cầu trên, đó là đặc trưng về hình dáng.
Hình dáng là một đặc trưng cấp cao hơn màu sắc. Nó đòi hỏi sự phân biệt giữa các vùng để tiến hành xử lý vềđộ đo của hình dáng. Trong nhiều trường hợp, sự phân biệt này cần thiết phải làm bằng tay. Nhưng sự tựđộng hóa trong một số trường hợp có thể khả thi. Sự so khớp hình dáng ảnh cũng có thể dùng những kỹ thuật về cấu trúc, trong đó một ảnh được mô tả bởi những thành phần chính của nó và quan hệ không gian của chúng. Trong việc tìm kiếm dữ liệu ảnh dựa vào nội dung, ta cần những phương pháp có thể quyết định sự giống và khác nhau một cách nhanh chóng. Thông thường, chúng ta luôn đòi hỏi sự bất biến cả đối với kích thước của ảnh cũng như hướng của ảnh trong không gian. Vì vậy, một đối tượng có thể được xác định trong một số hướng. Tuy nhiên, tính chất này
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
không thường được yêu cầu trong tìm kiếm ảnh. Trong rất nhiều cảnh vật, hướng của đối tượng thường là không đổi. Ví dụ như: cây cối, nhà cửa, ... Sau đây là các chiến lược tìm kiếm theo từng đặc trưng về hình dáng:
3.4.1.2.1 Lược đồ hệ số góc
Để tìm kiếm một ảnh mà ta quan tâm nhiều đến khía cạnh hình dáng của các đối tượng trong ảnh thì nên sử dụng các đặc trưng về hình dáng. Đặc trưng cơ bản nhất về hình dáng là lược đồ hệ số góc. Đây là đặc trưng chỉ thể hiện được hình dáng chung của các đối tượng trong ảnh.
Ví dụ tìm kiếm theo đặc trưng lược đồ hệ số góc:
Hình 73: minh hoạ 2 ảnh có lược đồ hệ số góc giống nhau
3.4.1.2.2 Vector liên kết hệ số góc
Với việc sử dụng đặc trưng vectơ liên kết hệ số góc thay cho lược đồ hệ số góc giúp cho ta có thể gải quyết được trường hợp 2 ảnh có lược đồ hệ số góc giống nhau nhưng lại khác nhau nhiều về ngữ nghĩa.
Ví dụ minh họa tìm kiếm theo vectơ liên kết hệ số góc giải quyết trường hợp mà lược đồ hệ số góc mắc phải:
Hai ảnh có lược đồ hệ số góc giống nhau 86% nhưng có vector liên kết hệ số góc khác nhau:
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Hình 74:minh họa 2 ảnh có lược đồ hệ số góc giống nhau 80%
Hình 75: Hình minh họa 2 ảnh có vector liên kết hệ số góc khác nhau
3.4.1.3 Tìm kiếm kết hợp
Thừơng tìm kiếm theo từng đặc trưng có thể cho ra kết quả khá nhiều, xuất hiện những tấm ảnh không cần thiết nên để nâng cao hiệu quả của việc tìm kiếm, làm cho việc tìm kiếm được chính xác hơn thì chúng ta nên kết hợp các đặc trưng lại với nhau. Giả sử khi ta muốn tìm kiếm “một
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
trưng màu và lược đồ hệ số góc lại với nhau thì sẽ loại bỏ đi những tấm ảnh có người đó mà không có dáng đứng thẳng”.
Có 2 cách tìm kiếm kết hợp: tìm kiếm kết hợp các đặc trưng với nhau dùng toán tử BOOL; tìm kiếm kết hợp các đặc trưng với nhau dùng trọng số.
3.4.1.3.1 Tìm kiếm kết hợp các đặc trưng với nhau dùng toán tử BOOL toán tử BOOL
Đây là tìm kiếm kết hợp các đặc trưng lại với nhau dùng toán tử BOOL. Ví dụ tìm những ảnh có người mặc áo màu vàng và dáng đứng thẳng dùng toán tử AND nghĩa là: tìm những tấm ảnh sao cho vừa thoảđặc trưng về màu sắc vừa thoả đặc trưng về hình dáng cần tìm.
Ví dụ minh hoạ tìm kiếm kết hợp các đặc trưng:
Hình 76: Hìmh minh họa 2 ảnh giống nhau về lược đồ
màu và lược đồ hệ số góc
Nhận xét: Cách tìm kiếm này có thể cho ra kết quả rỗng, nghĩa là không có ảnh nào trong cơ sở dữ liệu thoả yêu cầu tìm kiếm. Nhưng nếu tồn tại ảnh thì phương pháp này cho ra kết quả chính xác hơn.
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
3.4.1.3.2 Tìm kiếm kết hợp các đặc trưng với nhau dùng trọng số trọng số
Đây cũng là phương pháp tìm kiếm kết hợp các đặc trưng lại với nhau nhưng khác trên là ở đây ta dùng trọng số. Trọng số ở đây được hiểu là mức độưu tiên của các đặc trưng cần tìm kiếm. Ví dụ người dùng cần tìm kiếm những tấm ảnh có người mặc áo màu vàng và có dáng đứng thẳng thì người dùng có thể kết hợp 2 đặc trưng lược đồ màu (Histogram) và lược đồ hệ số góc (Edge Direction Histogram) lại với nhau. Nhưng ở đây khác với việc kết hợp dùng toán tử BOOL là người dùng muốn ưu tiên cho lược đồ màu hơn thì người dùng có thể chọn độưu tiên cho lược đồ màu là 70% còn lược đồ hệ số góc chỉ có 30% thôi. Khi đó việc truy vấn sẽ trả ra kết quả thoả mản yêu cầu tìm kiếm. Công thức tính độđo giữa 2 ảnh ) , ( ... ) , ( ) , ( ) , (IQ ID w1d1 IQ ID w2d2 IQ ID wndn IQ ID d = + + + Trong đó: w1,w2,…,wn là trọng số các đặc trưng tương ứng. w1 + w2 + … + wn=1. d1,d2,…,dn: là khoảng cách giữa 2 ảnh về đặc trưng i nào đó i∈[1,..,n]. Khác với việc kết hợp dùng toán tử BOOL, việc tìm kiếm kết hợp theo trọng số này luôn trả ra kết quả cho người dùng. Việc tìm kiếm này giúp cho chúng ta có thể sắp hạng tập kết quả dễ dàng, cũng như giúp cho người dùng có thể xem tập kết quả nhanh chóng và hiệu quả hơn.
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
3.4.2 Truy tìm ảnh xét đến tính phân bố cục bộ (yếu tố
không gian)
Với việc tìm kiếm dựa vào tính phân bố cục bộ sẽ cho chúng ta thực hiện được nhiều ý tưởng hơn trong việc tìm kiếm. Đồng thời kết quả tập ảnh trả về sẽ chính xác hơn cũng như không bị thiếu xót trong quá trình tìm kiếm (Precision and Recall). Ví dụ, người dùng chỉ muốn tìm một bông hồng nhỏở ngay tại vị trí nào đó trong ảnh thì khi tìm kiếm theo tính phân bố toàn cục thì có thể có ảnh cũng có bông hồng nhỏ nhưng khác nhau về vị trí hay là cũng có bông hồng tại vị trí đó nhưng chỉ giống nhau về màu hồng không đủ để 2 ảnh giống nhau theo yêu cầu về độ giống nhau đưa ra, nên kết quả sẽ không có bông hồng này. Do đó, để giải quyết vấn đề này ta nghĩ ngay đến việc tìm kiếm ảnh dựa vào tính phân bố cục bộ. Có 2 phương pháp được đề cử trong việc tìm kiếm này là: tìm kiếm với việc chia lưới, và tìm kiếm với việc vẽ vùng trên ảnh để tìm kiếm.
3.4.2.1 Tìm kiếm xét đến tính cục bộ với việc chia lưới tìm kiếm
Với ý tưởng chia ảnh thành nhiều khối nhỏ sẽ giúp cho chúng ta có thểđưa các đặc trưng tìm kiếm khác nhau vào lưới.Với ý tưởng này người dùng có thể thực hiện được nhiều ý tưởng khác nhau như: thành phố lúc hoàng hôn, Vịnh Hạ Long lúc trời mưa…
Ví dụ minh họa tìm kiếm xét đến tình phân bố cục bộ với việc chia lứoi: Ví dụ 1:
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Khi đó người dùng chỉ muốn tìm những tấm ảnh có đặc trưng màu là hoa màu tím ngay tại vị trí chính giữa giống nhưảnh truy vấn này khi đó ngừơi dùng có thể chia thành lưới 3x3 như sau:
Hình 78: Minh họa ảnh được chia lưới 3x3 để tìm kiếm-1
Lúc này người dùng chỉ cần chọn block thứ 4 tìm kiếm theo đặc trưng màu là kết quả có thể giải quyết. Kết quả sẽ cho ra những tấm ảnh chỉ có màu hoa tím ở chính giữa còn các block khác trên ảnh không quan tâm.
Ví dụ 2:
Hình 79: Hình minh họa tìm kiếm chia lưới-2
Người dùng muốn tìm kiếm phần trên là nhà, phần dưới là cỏ thì người dùng có thể chia thành lưới 2x1 như sau:
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Hình 80: Minh hoạ chia lưới 1x2 để tìm kiếm-2
Khi đó người dùng chỉ cần chọn block 0 là tìm theo đặc trưng lược đố hệ số góc (Edge Direction Histogram) và chọn block 1 là tìm theo đặc trưng màu. Khi đó kết quả sẽ là những tấm ảnh có phần trên có hình dáng giống như hình dáng của ngôi nhà đó và phần dưới có màu là màu bãi cỏ như trong hình.
Ví dụ 3:
Hình 81: Ảnh minh họa tìm kiếm chia lưới-3
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Với việc chia lưới trên người dùng có thể thực hiện ý tưởng tìm kiếm cảnh thành phố lúc hoàn hôn như sau: người dùng chọn block 0 tìm kiếm theo đặc trưng màu, block 1 và block 2 tìm kiếm theo đặc trưng lược đồ hệ số góc.
Nói cách khác tìm kiếm chia lưới sẽ giúp cho ngừơi dùng có thể dễ dàng tìm kiếm hơn theo ý mình muốn.
3.4.2.2 Tìm kiếm xét đến tính cục bộ với việc vẽ
Việc tìm kiếm chia lưới đã có thể giúp nâng cao hiệu quả tìm kiếm rất nhiều, nhưng đôi khi việc chia lưới vẫn không phủ hết các đối tượng cần tìm. Do đó, tìm kiếm với việc cho người dùng vẽ đối tượng cần tìm trên ảnh sẽ giúp hiệu quả hơn và chính xác hơn trong việc tím kiếm.
Xét ví dụ trên: giả sửảnh truy vấn ban đầu như sau
Hình 83: Ảnh minh họa tìm kiếm vẽ
Hình 84: Chia lưới 3x3 trên ảnh tìm kiếm
Giả sử đối tượng cần tìm là nguyên một bông hoa ngay chính giữa nhưng có chia lưới như thế nào đi nữa thì vẫn không phủ vừa hết nguyên
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
bông hoa trong cùng một block. Do đó, việc tìm kiếm cho phép người dùng vẽ trên ảnh sẽ khắc phục tình trạng này, làm cho nhu cầu tìm kiếm cao hơn, hiệu quả hơn. Với việc vẽ vùng ta được:
Hình 85: Minh họa vẽ hình trên ảnh tìm kiếm
Lúc này người dùng có thể chọn các đặc trưng tìm kiếm theo nhu cầu của người mình trên khung hình chữ nhật đã vẽ.
Nói tóm lại, tìm kiếm với việc vẽ trên ảnh sẽ giúp cho ta có thể tìm kiếm một đối tượng nào đó bất kỳ trong ảnh mà người dùng muốn bằng cách vẽ bao quanh đối tượng đó bằng một hình chữ nhật.
Ví dụ minh hoạ 1:
Hình 86: Hỉnh minh họa vẽ trên ảnh tìm kiếm
Khi người dùng muốn tìm những ảnh có bông hoa màu hồng ở chính giữa thì có thể vẽ vùng nhưở trên.
Chương 3:Truy tìm ảnh dựa vào đặc trưng cấp thấp
Hình 87: Hình minh hoa vẽ tìm kiếm
Với cách vẽ trên người dùng có thể thực hiện tìm kiếm những con sư