báo cáo hệ truy vấn trực quan

MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG I TỔNG QUAN VỀ HỆ TRUY VẤN TRỰC QUAN Tóm tắt: Truy vấn đề nghị phương pháp hiệu để cải thiện khả sử dụng tìm kiếm hình ảnh Hầu hết công cụ tìm kiếm tự động đề xuất danh sách thuật ngữ truy vấn văn dựa đầu vào truy vấn người sử dụng, gọi truy vấn văn đề nghị Chúng đề xuất chương trình truy vấn đề nghị tên truy vấn trực quan đề nghị (VQS) dành riêng cho tìm kiếm hình ảnh Nó cung cấp giao diện truy vấn hiệu để xây dựng truy vấn mục đích cụ thể văn chung đề xuất hình ảnh Chúng thấy VQS giúp xác nhanh chóng cho người sử dụng định cung cấp ý định tìm kiếm họ Khi người dùng gửi truy vấn văn bản, VQS cung cấp danh sách gợi ý, dòng chứa từ khóa tập hợp hình ảnh đại diện trình đơn thả xuống Nếu người sử dụng chọn đề nghị, từ khóa tương ứng thêm vào để bổ sung cho truy vấn văn ban đầu truy vấn văn mới, sưu tập hình ảnh xây dựng truy vấn trực quan VQS sau thực tìm kiếm hình ảnh dựa truy vấn văn sử dụng kỹ thuật tìm kiếm văn bản, phục hồi hình ảnh dựa nội dung để tinh chỉnh kết tìm kiếm cách sử dụng hình ảnh tương ứng truy vấn ví dụ Chúng ta so sánh VQS với ba công cụ tìm kiếm hình ảnh phổ biến, cho thấy VQS nhanh so với công cụ chất lượng truy vấn đề nghị thực tìm kiếm Giới thiệu Với tiến nhanh chóng phần cứng công nghệ phần mềm, sưu tập lớn hình ảnh thực có sẵn trang web Để giúp người dùng tìm thấy hình ảnh mạng, tìm kiếm hình ảnh ý nghiên cứu Nhiều công cụ tìm kiếm phổ biến (ví dụ, Google, Microsoft Bing, Yahoo!) phát triển công nghệ cho phép người dùng tìm kiếm hình ảnh web Hầu hết công cụ tìm kiếm phổ biến cho phép người sử dụng miêu tả ý định tìm kiếm họ cách phát hành truy vấn danh sách từ khóa Tuy nhiên, truy vấn từ khóa thường không rõ ràng, đặc biệt ngắn (một hai từ) Sự mơ hồ thường dẫn đến kết tìm kiếm không hài lòng Ví dụ, truy vấn "quả táo" bao gồm nhiều chủ đề khác nhau: trái cây, máy tính, điện thoại thông minh, Với truy vấn không rõ ràng vậy, công cụ tìm kiếm thường trả kết trộn với "quả táo"-quả, "quả táo", máy tính, "quả táo", điện thoại thông minh Hình 1: Truy vấn “quả táo” Kết không thỏa mãn người dùng thường thích kết tìm kiếm phù hợp với lợi ích họ, kết hợp với chủng loại đa dạng Do đó, hiển thị hình ảnh từ nhiều loại người dùng thực quan tâm hiệu nhiều so với hiển thị hình ảnh từ tất cách diễn giải Bằng cách sử dụng danh sách gợi ý truy vấn mở rộng, người dùng dễ dàng tìm họ tìm kiếm cách xác tìm thấy hình ảnh mục tiêu Gần đây, nhiều kỹ thuật truy vấn đề nghị đề xuất để giải vấn đề truy vấn mơ hồ Một số công cụ tìm kiếm hình ảnh có Google, Yahoo!, cố gắng để giải vấn đề cách cung cấp truy vấn đề nghị Tuy nhiên, hệ thống thường đơn giản áp dụng kỹ thuật truy vấn đề nghị văn Nói cách khác, họ đề xuất danh sách từ khóa dựa truy vấn người sử dụng truy vấn lịch sử Như biết, so với văn bản, hình ảnh mang nhiều thông tin hiểu cách nhanh chóng hơn, giống câu nói cũ: "một hình ảnh giá trị hàng ngàn từ." Hơn nữa, có thời điểm tình mà tưởng tượng mong muốn , trình bày ý định từ xác Ví dụ, thấy xe Lamborghini đường phố, muốn tìm kiếm số hình ảnh mà tên Làm xây dựng truy vấn để tìm hình ảnh mong muốn hiệu hơn? Có lẽ truy vấn đầu vào "xe hơi" chung chung Để giúp xây dựng truy vấn cụ thể, phương pháp truy vấn đề nghị thông thường gợi ý từ khóa "Lamborghini" Hình 2a: Từ khóa gợi ý “Lamborghini” Tuy nhiên, ý tưởng cho dù quan tâm Trong trường hợp này, ví dụ trực quan có liên quan đến từ khóa đề nghị "Lamborghini", biết xác muốn tái cấu trúc truy vấn tốt để mục đích tìm kiếm rõ ràng (xem hình (b)) Hình 2b: Truy vấn trực quan đề nghị Từ ý kiến trên, cho hình ảnh giúp người sử dụng xác định ý định tìm kiếm họ, cung cấp hình ảnh (ví dụ, hình ảnh), truy vấn đề nghị tiếp cận cách tự nhiên cho tìm kiếm hình ảnh hiển thị văn đề nghị Nếu đề nghị danh sách câu truy vấn hình ảnh, văn chung dựa truy vấn người sử dụng, mơ hồ giảm xây dựng truy vấn kết hợp tốt truy vấn văn gốc hình ảnh đạt Bằng cách này, người dùng có kinh nghiệm tìm kiếm tốt Từ đó, đề xuất chương trình truy vấn đề nghị có tên trực quan truy vấn đề nghị (VQS), xây dựng truy vấn cụ thể cách đồng thời cung cấp văn hình ảnh gợi ý Nó giúp người sử dụng thể ý định tìm kiếm xác Cụ thể, giúp người sử dụng việc xây dựng truy vấn cụ thể cách gợi ý từ khóa liên quan đến truy vấn văn ban đầu Đối với từ khóa gợi ý, hình ảnh đại diện liên quan đến từ khóa thừa hưởng để cung cấp đề xuất hình ảnh để hoàn chình ý định tìm kiếm người dùng Hình 3: Thủ tục truy vấn đề nghị Hình cho thấy toàn thủ tục truy vấn đề nghị cho tìm kiếm hình ảnh đề xuất hệ thống VQS Khi người dùng nhập truy vấn, hệ thống VQS cung cấp danh sách gợi ý có chứa hình ảnh đại diện từ khóa trình đơn thả xuống Người sử dụng chọn gợi ý từ khóa-hình ảnh từ danh sách Sau đó, hệ thống VQS mở rộng truy vấn ban đầu với từ khóa tương ứng Điều dẫn đến truy vấn tổng hợp, mà hệ thống VQS thực tìm kiếm hình ảnh sử dụng kỹ thuật tìm kiếm dựa văn Sau đó, hệ thống VQS cung cấp truy vấn hình ảnh tương ứng truy vấn ví dụ lọc kết tìm kiếm ban đầu cách tận dụng thông tin trực quan, khả hữu ích để cải thiện dựa tìm kiếm hình ảnh văn Kết sau trình bày cho người sử dụng, đáp ứng mục đích người sử dụng tốt Với hiểu biết chúng tôi, công việc nỗ lực việc xây dựng đề nghị truy vấn với văn hình ảnh Những đóng góp viết tóm tắt sau: Chúng đề xuất chương trình đề nghị truy vấn tên trực quan truy vấn đề nghị (VQS) cho tìm kiếm hình ảnh VQS giúp người dùng xây dựng truy vấn mục đích cụ thể cách đồng thời cung cấp hai văn đề xuất hình ảnh Giao diện dễ dàng, có khả giúp người dùng xác định cung cấp ý định tìm kiếm họ cách xác hiệu Là sản phẩm phụ, VQS tinh chỉnh kết tìm kiếm hình ảnh dựa văn cách khai thác thông tin trực quan, kết tìm kiếm đáp ứng thông tin người sử dụng tốt nhiều Các vấn đề có liên quan Trong năm gần đây, nhiều phương pháp tiếp cận đề nghị truy vấn đề xuất để giải vấn đề truy vấn mơ hồ cộng đồng thông tin Một giải pháp thường áp dụng tìm gợi ý từ khóa từ tài liệu lấy cách truy vấn ban đầu Ví dụ, Xu Lâm chiết xuất từ khóa từ tài liệu hàng đầu, coi kết có liên quan truy vấn ban đầu Carpineto đề xuất để lựa chọn từ khóa tối đa hóa khác mô hình ngôn ngữ xác định văn xếp hạng hàng đầu xác định sưu tập toàn tài liệu Gần đây, Yu lựa chọn từ khóa từ phân đoạn dựa tầm nhìn trang web để đối phó với nhiều chủ đề Một loại giải pháp để truy vấn văn đề nghị truy vấn tương tự từ ghi tìm kiếm Các truy vấn khai thác sau sử dụng gợi ý dành cho Giả định hai truy vấn tương tự họ chia sẻ số lượng lớn URL nhấp vào Ví dụ, Beeferman thông qua phương thức tích tụ phân cấp để khai thác truy vấn tương tự cách lặp lặp lại Wen sử dụng phương pháp dựa mật độ để tìm truy vấn tương tự cách khai thác nội dung câu hỏi nhấp qua thông tin BaezaYates thông qua k-means thuật toán để phát truy vấn tương tự Sau trình phân nhóm, truy vấn nhóm sử dụng đề nghị Mặc dù phương pháp thiết kế cho tìm kiếm văn áp dụng trực tiếp cho tìm kiếm hình ảnh, họ mở rộng truy vấn từ khóa bỏ qua hình ảnh trực quan, mà giúp người sử dụng cung cấp tìm kiếm họ ý nghĩa xác CHƯƠNG II HỆ THỐNG TRUY VẤN TRỰC QUAN Các thành phần hệ truy vấn trực quan (VQS) Một hệ thống VQS có ba thành phần, là: - Khai thác truy vấn đề nghị - Trình bày đề nghị, gợi ý - Tìm kiếm hình ảnh với truy vấn đề nghị Trong mô-đun khai thác truy vấn đề nghị, khám phá hai hình ảnh đề xuất từ khoá để giúp người sử dụng thể mục đích tìm kiếm rõ ràng Cụ thể, từ khóa hình ảnh đề nghị tạo cách khai thác kiến thức từ dịch vụ chia sẻ ảnh phổ biến Flickr Flickr chứa hai tỷ ảnh gắn thẻ (từ khóa) Phát đề xuất từ khoá-hình ảnh từ hình ảnh phong phú liên quan đến từ khóa phong phú hợp lý thuận lợi hai khía cạnh sau đây: (1) Những lời đề nghị tạo mà không thực tìm kiếm ban đầu cho truy vấn ban đầu, dẫn đến phương pháp đề xuất hiệu (2) Những lời đề nghị cung cấp không bị chất lượng không thỏa mãn kết tìm kiếm ban đầu, dẫn đến nhiều đề xuất có hiệu Một cách tiếp cận hai bước phát triển để phát lời đề nghị từ khóa hình ảnh Bước liên quan đến phương pháp thống kê gợi ý từ khóa (ví dụ, thẻ) để giảm mơ hồ truy vấn ban đầu Trong bước thứ hai, cho gợi ý từ khóa, trước tiên thu thập hình ảnh liên quan đến hai truy vấn ban đầu từ khóa đề xuất, nhóm hình ảnh, với nhóm đại diện cho khía cạnh truy vấn kết hợp Hình 4: Khuôn khổ hệ thống VQS VQS chứa ba thành phần: (1) truy vấn gợi ý khai thác: phát hình ảnh gợi ý từ khóa cho truy vấn người sử dụng, (2) đề nghị trình bày: hiển thị gợi ý từ khóa hình ảnh trình đơn thả xuống, (3) tìm kiếm hình ảnh với đề nghị truy vấn: thực tìm kiếm hình ảnh sử dụng kỹ thuật tìm kiếm văn hoàn chỉnh kết tìm kiếm cách sử dụng gợi ý hình ảnh chọn làm ví dụ truy vấn Cách tiếp cận Trong phần này, xây dựng thực VQS Chúng ta thấy làm từ khóa hình ảnh đề nghị phát làm hình ảnh tìm kiếm thực với từ khóa hình ảnh đề nghị chung 2.1 Từ khóa gợi ý Đưa truy vấn không rõ ràng Q (tức là, từ khóa danh sách từ khóa), mục tiêu để tìm tập từ khóa SQ từ toàn từ khóa S Các từ khóa giải mơ hồ Q Vì vậy, họ phải thoả mãn hai đặc tính sau đây: Quan hệ: Trong số từ khóa lựa chọn q ∈ SQ vốn liên quan đến truy vấn ban đầu Q; Mạng thông tin: Các từ khóa lựa chọn SQ đủ thông tin mà họ phản ánh khía cạnh khác truy vấn ban đầu Q Một ví dụ điển hình truy vấn không rõ ràng "quả táo", có ý nghĩa khác Cho truy vấn "quả táo", từ khóa "trái cây", "máy tính", "điện thoại thông minh" gợi ý tốt, liên quan đến "quả táo" phản ánh khía cạnh khác "quả táo." Ở đây, trình bày công thức xác suất mà đồng thời đề cập đến hai tính chất khuôn khổ Để giải tính chất đầu tiên, ước lượng liên hệ qi ∈ SQ Q với họ xuất đồng thời Chúng tính toán đồng thời qi Q xác suất sau chuẩn hóa tần số Q Trong đó: I(Q): số hình ảnh liên quan với Q I(qi ∩ Q): số hình ảnh liên từ khóa qi truy vấn Q R(qi, Q) = f p(qi|Q) f (*) số hàm đơn điệu tăng Chúng xác định f (*) hàm sigmoid tiêu chuẩn thí nghiệm Theo đó, liên hệ từ khóa SQ Q cho bởi: Để giải tính chất thứ hai, tìm thấy từ khóa SQ mà phản ánh đa dạng khía cạnh khác truy vấn ban đầu Q Mỗi từ khóa lựa chọn qi ∈ SQ cần thông tin đầy đủ cho phản ánh khía cạnh Q Trong đó, khía cạnh cần phải khác với đặc trưng từ khóa khác qj ∈ SQ \ {qi} Chúng cho qi qj phản ánh hai khía cạnh khác Q thêm qi qj để Q dẫn đến phân phối khác từ khóa lại q ∈ S \ {qi, qj} Đó để nói, qi qj giải mơ hồ Q phân phối p (q | Q ∪ {qi}) p (q | Q ∪ {qj}) khác [23] Ví dụ, cho truy vấn "quả táo", từ khóa xảy đồng thời với {"quả táo", "quả"} truy vấn {"quả táo", "máy tính"} khác Vì vậy,thêm "quả" hay "máy tính" để "quả táo" dẫn đến hai phân phối khác nhau, ví dụ, p (q | "quả táo", "quả") p (q | "quả táo", "máy tính") Ở đây, sử dụng Kullback-Leibler (KL) phân kỳ đối xứng [15] để đo khác biệt phân phối p (q | Q ∪ {qi}) p (q | Q ∪ {qj}) như: Mà Theo đó, xác định mạng thông tin {qi, qj} Q như: đó: g (*) hàm đơn điệu tăng Các mạng thông tin từ khóa SQ đo lường như: Theo đó, từ khóa SQ mà thỏa mãn đồng thời hai Quan hệ tính chất mạng thông tin tìm thấy cách giải phương trình sau: Với N = | SQ | số từ khóa lựa chọn λ (λ 6 1) tham số trọng số sử dụng để điều chỉnh hai tính chất Tuy nhiên, tính toán nan giải để giải equa hóa trực tiếp lập trình số nguyên phi tuyến tính Ngoài ra, dùng đến chiến lược tham lam mà đơn giản hiệu việc giải vấn đề NIP Quá trình minh họa thuật toán Trong vấn đề thực tế, hầu hết từ khóa không liên quan đến Q Vì vậy, thực trước lọc để lọc từ khóa với giá trị nhỏ R (q, Q) Kết là, có từ khóa với giá trị lớn R (q, Q) cần xem xét Điều tiếp để cải thiện tốc độ để thực AP ma trận tương tự thưa thớt thay toàn Điều accom-plished cách xây dựng đồ thị thưa thớt cấu trúc G=(V,E) V tập hình ảnh E đại diện cho cạnh hình ảnh Chúng xây dựng đồ thị cách sử dụng chiến lược k lân cận gần Đối với điểm liệu, thấy k lân cận gần nhất, số kết nối với điểm mốc tính toán thông qua cạnh Dựa đồ thị thưa thớt, thuật toán AP thực hiệu nhiều kể từ công tác tuyên truyền thông tin báo cần thực cạnh có Tuy nhiên, thực AP đồ thị thưa thớt vậy, điểm liệu ví dụ điển hình (k+1) điểm liệu Đó để nói, có N / k hình mẫu, mà nhiều so với dự kiến Để giải vấn đề này, áp dụng phương pháp tinh tế cạnh đề xuất trong, tóm tắt thuật toán Trong lần lặp, nhiều hình mẫu sáp nhập vào cụm AP thực đồ thị tái xây dựng tạo hình mẫu Khi số lượng hình mẫu giảm xuống giá trị mong muốn, lặp lặp lại kết thúc Các hình mẫu cuối đại diện coi hình ảnh đề nghị 2.3 Tìm kiếm hình ảnh thông qua từ khóa-hình ảnh gợi ý Sau người dùng chọn từ khóa hình ảnh gợi ý, từ khóa nối với truy vấn ban đầu Điều dẫn đến câu hỏi tổng hợp, mà hệ thống VQS thực tìm kiếm dựa kĩ thuật tìm kiếm văn Tuy nhiên, không phù hợp nội dung hình ảnh văn liên quan, việc thực tìm kiếm hình ảnh văn thường không thỏa mãn Mặt khác,gợi ý hình ảnh người sử dụng vốn phản ánh mục đích tìm kiếm người sử dụng nội dung trực quan hình ảnh có khả hữu ích để cải thiện dựa văn tìm kiếm hình ảnh Vì vậy, đề xuất hoàn thiện kết tìm kiếm dựa văn cách khai thác thông tin thị giác Một phương pháp tái xếp hạng, phát triển để tái xếp hạng hình ảnh quay trở lại theo điểm tương đồng quan điểm gợi ý hình ảnh chọn Giả sử có hình thức trực quan K (ví dụ màu sắc, hình dạng kết cấu), trước tiên tính toán tương tự hình ảnh Sk={Ski}Ni =1 hình ảnh trả gợi ý hình ảnh người dùng lựa chọn Iq phương thức thứ k, N số lượng hình ảnh trả lại Sau đó, tất thông tin K trực quan tổng hợp hoàn thiện kết tìm kiếm ban đầu thông qua phương trình sau đây: Mà r0i biểu thị số điểm liên quan ban đầu truy vấn hình ảnh I i,được tạo phương pháp tìm kiếm văn ri: số điềm phù hợp α0 αk thông số trọng số sử dụng để điều chỉnh thông tin văn hình ảnh Từ điểm tương đồng phương thức khác thay đổi đáng kể, giống hình ảnh Sk={Ski}Ni =1 phương thức chuẩn hóa mà Ski với số có nghĩa thống phương sai Sự liên quan ban đầu điểm r0i chuẩn hóa theo cách Sau có điểm phù hợp cuối R={ri}Ni=1 hệ thống VQS trình bày hình ảnh xếp theo mức độ phù hợp với thứ tự giảm dần Thuật giải 2: Input: I, G Output: Ie Khởi tạo: đặt G(0)=G 1: for each t 2: Tạo Ie(t) với AP G(t-1), Ie=Ie(t); 3: Xây dựng G(t) dựa Ie(t) G(t-1) (1) for each Ii ∈Ie(t) Ii khuôn mẫu Ij cạnh Ii Ij thêm (2) for Ik, Il ∈ Ie(t), có điểm liệu Im, In điểm liền kề đáp ứng điều kiện e(Im)= Ik e(In)= xl Ik, Il kết nối cạnh (3) For Ik, Il ∈Ie(t), chúng đc kết nối (2), tất điểm liệu mà chọn Ik mẫu đc kết nối tới Il, ngược lại 4: end for Return Ie CHƯƠNG III THỬ NGHIỆM HỆ THỐNG Chúng tiến hành thử nghiệm rộng rãi đánh giá, bao gồm đánh giá chủ quan khách quan Cũng so sánh VQS ba công cụ tìm kiếm phổ biến khác Đầu tiền đánh giá hiệu suất câu lệnh cung cấp hệ thống VQS Sau đó, khảo sát hiệu suất tìm kiếm hình ảnh thông qua VQS Truy vấn A irshow A nimal A B uilding C amping C pple ar D isaster F lag Fl ight F lower Fr uit G ame P aris P lant P ortrait R oad S cenic S eason S ky S ports S unset T ralvel w eather Bảng 1: Mẫu truy vấn sử dụng thí nghiệm Dữ liệu phương pháp Để tạo gợi ý từ khóa hình ảnh, sử dụng Fickr images sở liệu Fickr hình ảnh chia sẻ phổ biến nhất, cho phép người dùng tải lên, chia sẻ tag hình họ Chúng thu thập triệu hình ảnh Fickr, kết hợp với khoảng 15 triệu từ khóa tổng số Để đánh giá khả tìm kiếm hình ảnh với VQS, công cụ tìm kiếm hình ảnh phổ biến thông qua công cụ tìm kiếm Chúng sử dụng Engine III để lấy hình ảnh với truy vấn ban đầu truy vấn tương ứng với Đó kết hợp truy vấn ban đầu gợi ý từ khóa 1000 kết hình ảnh trả truy vấn thu thập để xây dựng liệu thử nghiệm Để có mặt chung kết hình ảnh trả về, dùng thủ tục dán nhãn Cụ thể, hình ảnh dán nhãn với cấp độ: “cấp : không thích hợp”, “cấp : có liên quan”, “cấp : phù hợp” Chúng dùng 20 đối tượng để tự dán nhãn cho cấp độ phù hợp hình ảnh trả Mỗi hình ảnh dán nhãn đối tượng Mặt thu thông qua số lượng đối tượng gán nhãn Đại diện cho nội dung hình ảnh, lấy tính thực, bao gồm : 225 – chiều khối- thời điểm màu sáng dựa phận hình ảnh; 128 – kết cấu wavelet chiều; 75 – chiều cạnh phân phối biểu đồ Sự tương đồng hình ảnh tính exp(−||xi − xj ||2) xi vector hình ảnh I i Các đơn điệu tăng hàm f (•) phương trình (2) g (•) phương trình (6) định nghĩa hàm sigmoid, tức là, f (x) = g (x) = 1/(1+ e -x) Các tham số cân phương trình (7) thiết lập để thực nghiệm 0.7 Tất thông số cân phương trình (11) thiết lập đểlà nhau, nghĩa là, α0 = αk = 1/(K+1) Đánh giá gợi ý truy vấn Chúng tiến hành hai nghiên cứu dùng để đánh giá VQS Nghiên cứu nhằm mục đích so sánh VQS với hai dịch vụ gợi ý truy vấn cung cấp Engine I Engine II Trong nghiên cứu thứ hai đánh giá tính hữu ích VQS Đánh giá Đánh giá Hình : So sánh VQS tìm kiếm hình ảnh engine I II Chúng mời 30 người dùng thử tìm kiếm hình ảnh trung bình để đánh giá hệ thống VQS, có 28 sinh viên tốt nghiệp hai nhà nghiên cứu Tất số họ có kinh nghiệm sử dụng công cụ tìm kiếm hình ảnh nhiều lần tuần Chúng mời thêm 10 đối tượng không quen với tìm kiếm hình ảnh để tham gia nghiên cứu sử dụng Những đối tượng bao gồm loạt ngành nghề khác nhau, chẳng hạn người bán hàng, người tiếp thị, giáo viên, nhân viên văn phòng Vì thế, có 40 thẩm định tổng số, có 30 nam 10 nữ Độ tuổi từ 21 đến 55.Để tránh thiên vị việc đánh giá, tất người tham gia lựa chọn cho họ kiến thức cách tiếp cận cho gợi ý câu truy vấn tìm kiếm Để thuận lợi cho việc đánh giá so sánh, chọn 25 câu truy vấn đại diện (xem bảng 1) từ ghi truy vấn Engine III Các truy vấn thuộc loại khác khung cảnh, đối tượng, kiện Đối với truy vấn, chọn bốn đề xuất từ khoá ba đề nghị hình ảnh cho từ khóa Kết là, có 300 (25 × × 3) cặp truy vấn ban đầu gợi ý từ khóa hình ảnh để đánh giá a So sánh công cụ tìm kiếm Người tham gia yêu cầu phải nộp 25 truy vấn đến ba hệ thống hình ảnh tìm kiếm, ví dụ, Engine I, Engine II, hệ thống VQS Sau đó, họ yêu cầu cung cấp đánh giá sau đây: Đánh giá cá nhân : Chúng so sánh VQS với Engine I Engine II cách riêng biệt Dựa quan sát dịch vụ đề xuất VQS, Công cụ I (II) cho truy vấn, người tham gia yêu cầu cung cấp số từ "2" đển "-2", để VQS thực tốt hơn, chặt chẽ, nặng , tồi tệ nhiều so với Engine I (II), tương ứng Đánh giá chung: Tương tự vậy, đánh giá viên yêu cầu đưa so sánh tổng thể VQS công cụ tìm kiếm hình ảnh Họ yêu cầu chọn năm tùy chọn: VQS thực "tốt nhiều", "tốt hơn", "tương tự", "tệ hơn" "tệ nhiều" so với Engine I (II) Kết từ 30 hình ảnh mà người dùng tìm kiếm tường xuyên minh họa bảng Hình (a) cung cấp số trung bình truy vấn với tỷ số "2", "1", "0", "-1", "-2" từ 30 người tham gia So với Engine I, hệ thống VQS thực tốt nhiều so với 15 câu truy vấn, tốt truy vấn, chặt chẽ truy vấn, tệ có truy vấn So với Engine II, hệ thống VQS cung cấp gợi ý tốt cho 14 câu truy vấn gợi ý tốt cho câu truy vấn Hình (b) cho thấy việc đánh giá tổng thể Tất 30 người xem xét hệ thống VQS nhanh so với công cụ tìm kiếm hình ảnh Cụ thể, 60% 53% người dùng thông báo đề nghị truy vấn hệ thống VQS tốt nhiều so với Engine I Engine II, tương ứng Hình cho thấy kết đánh giá từ 10 đánh giá viên người không quen với tìm kiếm hình ảnh Họ cho hệ thống VQS thực tốt nhiều so với Engine I 17 câu truy vấn, tốt truy vấn, chặt chẽ truy vấn, họ nghĩ hệ thống VQS thực tốt nhiều so với động II 20 truy vấn, tốt truy vấn, chặt chẽ truy vấn Trong đánh giá tổng thể, tất số họ nghĩ hệ thống VQS nhanh so với công cụ tìm kiếm hình ảnh Đánh giá Đánh giá Hình : so sánh VQS hình ảnh tìm kiếm engine I II từ 10 người dùng không quen với tìm kiếm hình ảnh b Đánh giá tính hữu ích Để đánh giá tính hữu ích hệ thống VQS, người tham gia mời để trả lời câu hỏi "có phải VQS hữu dụng cho gợi ý tìm kiếm mục đích mình?" Họ yêu cầu chọn ba lựa chọn: "rất hữu ích", "phần hữu ích," "vô ích" Hình cho thấy kết đánh giá từ 30 người dùng tìm kiếm hình ảnh thường xuyên Hệ thống VQS coi hữu ích 30% người sử dụng có ích cho 70% lại người sử dụng Hình kết đánh giá từ 10 người dùng không quen với tìm kiếm hình ảnh Tám số 10 người xem hệ thống VQS hữu ích lại hai nghĩ phần hữu ích Từ nghiên cứu sử dụng trên, thấy đề xuất hệ thống VQS nhanh so với công cụ tìm kiếm hình ảnh phổ biến có hữu ích, gợi ý tốt ý nghĩa thực người sử dụng Chúng hiển thị số khuôn mẫu cho đề xuất hình ảnh từ khóa cho ba truy vấn ban đầu Hình 10 Nó tìm thấy lời đề nghị từ khóa hình ảnh cung cấp hệ thống VQS khía cạnh khác truy vấn ban đầu giải mơ hồ nó, họ giúp người sử dụng xác định mục đích tìm kiếm rõ ràng Hình 8: Kết đánh giá tính hữu ích VQS từ 30 người dùng thường xuyên tìm kiếm hình ảnh Hình 9: Kết đánh giá tính hữu ích VQS từ 10 người dùng không quen với tìm kiếm hình ảnh Hình 10: Mẫu đề xuất từ khoá-hình ảnh VQS cho ba truy vấn ban đầu Đánh giá tìm kiếm hình ảnh qua VQS Chúng đánh giá việc thực ba chiến lược tìm kiếm: - IQ: tìm kiếm hình ảnh cách sử dụng truy vấn ban đầu - IQ + KS: tìm kiếm hình ảnh cách sử dụng truy vấn tổng hợp bao gồm truy vấn ban đầu gợi ý từ khóa - IQ + KS + IS: tái xếp hạng hình ảnh trả số IQ + KS dựa đề xuất hình ảnh lựa chọn Hiệu suất trung bình 25 câu truy vấn báo cáo để đánh giá: Hình 11: So sánh NDCG @ k cho ba chiến lược tìm kiếm: tìm kiếm hình ảnh sử dụng IQ, IQ + KS, IQ + KS + IS Chúng áp dụng Normalized Discounted Cumulative Gain at top k (NDCG@k) đánh giá số liệu NDCG phiên bình thường biện pháp DCG Hai giả định biện pháp DCG kết có liên quan hữu dụng xuất danh sách kết trước (ví dụ, có cấp bậc cao hơn), mà chúng hữu dụng so kết không liên quan Kể từ so sánh hiệu suất công cụ tìm kiếm truy vấn không hoàn toàn sử dụng DCG, DCG bình thường thông qua NDCG@k tính bằng: Trong đó: s(p) chức đại diện cho phần gửi cho hình ảnh lấy vị trí p, Z thuật ngữ bình thường có nguồn gốc từ việc xếp hạng hoàn hảo hình ảnh đầu k để chuẩn hóa NDCG@k [0, 1] Ngược lại với biện pháp khác, chẳng hạn độ xác thu hồi mà đo lường độ xác kết lấy ra, NDCG@k đưa vào tài khoản có nhiều cấp độ phù hợp lấy kết xếp hạng cho phù hợp với trật tự liên quan Vì vậy, biện pháp đánh giá phản ánh tốt yêu cầu người sử dụng xếp hạng hình ảnh phù hợp đầu hệ thống tìm kiếm thực tế Hình 11 hiển thị so sánh hiệu suất ba phương pháp tiếp cận (ví dụ, IQ, số IQ + KS, số IQ + KS + IS) liên quan đến vị trí xếp hạng k.Hình 12 cho thấy 10 hình ảnh chiến lược tìm kiếm khác với hai truy vấn ban đầu Chúng ta thấy IQ dẫn đến hiệu suất không thỏa mãn nhập nhằng truy vấn ban đầu Bằng cách phụ thêm gợi ý từ khóa với truy vấn ban đầu tìm kiếm hình ảnh với truy vấn đổi mới, IQ + KS đại diện cho mục đích tìm kiếm rõ ràng nhanh so với chiến lược IQ Bằng cách xác định thêm mục đích tìm kiếm sử dụng hình ảnh gợi ý tận dụng thông tin trực quan, chiến lược IQ +KS + IS hiệu suất tốt Hình 12: Ví dụ kết serch IQ, IQ + KS, IQ + KS + IS (a) IQ: “building” IQ + KS: "building bridge" (b) IQ: "apple" IQ + KS: “apple smartphone " KẾT LUẬN Trong này, đề xuất kỹ thuật truy vấn đề nghị có tên Visual Query Suggestion (VQS), đồng thời cung cấp hai từ khóa đề xuất hình ảnh , giúp người dùng xác định cung cấp ý định tìm kiếm họ cách xác hiệu Nếu người sử dụng chọn gợi ý từ khóa hình ảnh, từ khóa tương ứng thêm vào để bổ sung cho truy vấn văn ban đầu Với truy vấn mới, hệ thống VQS thực tìm kiếm hình ảnh sử dụng kỹ thuật tìm kiếm văn Sau đó, hệ thống VQS liên quan đến việc đề nghị hình ảnh chọn làm ví dụ truy vấn lọc kết tìm kiếm ban đầu cách khai thác thông tin trực quan Thí nghiệm rộng rãi tiến hành để đánh giá hệ thống VQS đề xuất ba công cụ tìm kiếm hình ảnh phổ biến Kết thực nghiệm cho thấy hệ thống VQS nhanh so với công cụ chất lượng đề xuất truy vấn thực tìm kiếm TÀI LIỆU THAM KHẢO [1] Ask image search: http://www.ask.com/?tool=img [2] Flickr: http://www.flickr.com/ [3] Google image search: http://images.google.com/ [4] Microsoft bing image search: http://www.bing.com/?scope=images [5] Yahoo! image search: http://images.search.yahoo.com/ [6] D Beeferman and A Berger Agglomerative clustering of a search engine query log In Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 407–416, Boston, US, 2000 S Boyd and L Vandenberghe Convex optimization Cambridge University Press, 2004 [7] C Carpineto, R de Mori, G Romano, and B Bigi An information-theoretic approach to automatic query [8] expansion ACM transactions on Information Systems, 19(1):1–27, New York, US, 2001 R Datta, D Joshi, J Li, and J Z Wang Image retrieval: ideas, influences, and trends of the new age ACM [9] Computing Surveys, 40(2):1–60, New York, US, 2008 [10] B Frey and D Dueck Clustering by passing messages between data points Science, 319(5814):726, 2007 [11] R J Gerrig and P G Zimbardo Psychology and Life (16 Edition) Allyn & Bacon, 2001 [12] D Heesch and S R´zger Nnk networks for content-basedlimage retrieval In Proceedings of European Conference on Information Retrieval, pages 253–266, Sunderland, UK, 2004 [13] W Hsu, L Kennedy, and S.-F Chang Video search reranking via information bottleneck principle In Proceedings of ACM SIGMM International Conference on Multimedia, pages 35–44, Santa Barbara, USA, 2006 [14] Y Jia, J Wang, C Zhang, and X.-S Hua Finding image exemplars using fast sparse affinity propagation In Proceedings of ACM SIGMM International Conference on Multimedia, pages 639–642, Vancouver, Canada, 2008 [15] S Kullback and R A Leibler On information and sufficiency Annals of Mathematical Statistics, 22(1):79–86, 1951 [16] A M Lam-Adesina and G J F Jones Applying summarization techniques for term selection in relevance feedback In Proceedings of ACM SIGIR Internation Conference on Information Retrieval, pages 1–9, New Orleans, US,2001 [17] M S Lew, N Sebe, C Djeraba, and R Jain Content-based multimedia information retrieval: state of the art and challenges ACM Transactions on Multimedia Computing, Communications and Applications, 2(1):1–19, New York, USA, 2006 [18] Y Liu, T Mei, and X.-S Hua CrowdReranking: Exploring multiple search engines for visual search reranking In Proceedings of ACM SIGIR Internation Conference on Information Retrieval, Boston, USA, 2009 [19] T Mei, X.-S Hua, W Lai, L Yang, Z.-J Zha, Y Liu, Z Gu, G.-J Qi, M Wang, J Tang, X Yuan, Z Lu, and J Liu MSRA-USTC-SJTU at TRECVID 2007: High-level feature extraction and search In TREC Video Retrieval Evaluation Online Proceedings, 2007 [20] B.-Y Ricardo, H Carlos, and M Marcelo Query recommendation using query logs in search engines In Proceedings of International Conference on Extending Database Technology, pages 588–596, Heraklion, Greece, 2004 [21] B Sigurbjornsson and R van Zwol Flickr tag recommendation based on collective knowledge In Proceedings of International conference on World Wide Web, pages 327–336, Beijing, China, 2008 [22] A W M Smeulders, M Worring, S Santini, A Gupta, and R Jain Content-based image retrieval at the end of the early years IEEE Trans on Pattern Analysis and Machine Intelligence, 22(12):1349–1380, 2000 [23] K Weinberger, M Slaney, and R V Zwol Resolving tag ambiguity In Proceedings of ACM SIGMM International Conference on Multimedia, pages 111120, Vancouver, Canada, 2008 [24] J.-R Wen, J.-Y Nie, and H.-J Zhang Clustering user queries of a search engine In Proceedings of International Conference on World Wide Web, pages 162–168, Hong Kong, China, 2003 [25] J Xu and W B Croft Query expansion using local and global document analysis In Proceedings of ACM SIGIR Internation Conference on Information Retrieval, pages 4–11, Zurich, Switzerland, 1996 [26] S Yu, D Cai, J.-R Wen, and W.-Y Ma Improving pseudo-relevance feedback in web information retrieval using web page segmentation In Proceedings of International Conference on World Wide Web, pages 11–18, Budapest, Hungary, 2003 [...]... cấp các con số trung bình của các truy vấn với tỷ số "2", "1", "0", "-1", hoặc "-2" từ 30 người tham gia So với Engine I, hệ thống VQS thực hiện tốt hơn nhiều so với 15 câu truy vấn, tốt hơn 7 truy vấn, chặt chẽ hơn 2 truy vấn, và tệ hơn trên chỉ có 1 truy vấn So với Engine II, hệ thống VQS cung cấp gợi ý tốt hơn cho 14 câu truy vấn và gợi ý tốt hơn cho 8 câu truy vấn Hình 6 (b) cho thấy việc đánh... cho gợi ý câu truy vấn và tìm kiếm Để thuận lợi cho việc đánh giá và so sánh, chúng tôi đã chọn 25 câu truy vấn đại diện (xem bảng 1) từ các bản ghi truy vấn của Engine III Các truy vấn này thuộc về loại khác nhau như khung cảnh, đối tượng, và sự kiện Đối với mỗi truy vấn, chúng tôi chọn bốn đề xuất từ khoá và ba đề nghị hình ảnh cho mỗi từ khóa Kết quả là, đã có 300 (25 × 4 × 3) cặp truy vấn ban đầu... thống VQS thực hiện tốt hơn nhiều so với Engine I trên 17 câu truy vấn, tốt hơn trên 5 truy vấn, và chặt chẽ trên 3 truy vấn, trong khi họ nghĩ rằng hệ thống VQS thực hiện tốt hơn nhiều so với động cơ II hơn 20 truy vấn, tốt hơn 4 truy vấn, và chặt chẽ hơn 1 truy vấn Trong đánh giá tổng thể, tất cả trong số họ nghĩ rằng hệ thống VQS nhanh hơn so với công cụ tìm kiếm hình ảnh hiện tại Đánh giá Đánh giá... được thêm vào để bổ sung cho các truy vấn văn bản ban đầu Với các truy vấn mới, hệ thống VQS thực hiện tìm kiếm hình ảnh sử dụng kỹ thuật tìm kiếm văn bản Sau đó, hệ thống VQS liên quan đến việc đề nghị hình ảnh được chọn làm ví dụ truy vấn và lọc các kết quả tìm kiếm ban đầu bằng cách khai thác thông tin trực quan Thí nghiệm rộng rãi đã được tiến hành để đánh giá hệ thống VQS đề xuất đối với ba công... mỗi truy vấn ban đầu và truy vấn mới tương ứng với nó Đó là sự kết hợp giữa truy vấn ban đầu và gợi ý từ khóa 1000 kết quả hình ảnh trả về của mỗi truy vấn sẽ được thu thập để xây dựng bộ dữ liệu thử nghiệm Để có được một mặt bằng chung giữa các kết quả hình ảnh trả về, chúng tôi dùng một thủ tục dán nhãn Cụ thể, mỗi hình ảnh được dán nhãn với 3 cấp độ: “cấp 0 : không thích hợp”, “cấp 1 : có liên quan ,... với tìm kiếm hình ảnh Hình 10: Mẫu đề xuất từ khoá-hình ảnh của VQS cho ba truy vấn ban đầu 3 Đánh giá tìm kiếm hình ảnh qua VQS Chúng tôi đánh giá việc thực hiện ba chiến lược tìm kiếm: - IQ: tìm kiếm hình ảnh bằng cách sử dụng truy vấn ban đầu - IQ + KS: tìm kiếm hình ảnh bằng cách sử dụng truy vấn tổng hợp bao gồm các truy vấn ban đầu và gợi ý từ khóa - IQ + KS + IS: tái xếp hạng những hình ảnh trả... vấn ban đầu Chúng ta có thể thấy rằng IQ dẫn đến hiệu suất không thỏa mãn do sự nhập nhằng của các truy vấn ban đầu Bằng cách phụ thêm gợi ý từ khóa với truy vấn ban đầu và tìm kiếm hình ảnh với các truy vấn được đổi mới, IQ + KS đại diện cho mục đích tìm kiếm rõ ràng hơn và do đó nhanh hơn so với chiến lược IQ Bằng cách xác định thêm mục đích tìm kiếm sử dụng hình ảnh gợi ý và tận dụng thông tin trực. .. xem xét hệ thống VQS nhanh hơn so với công cụ tìm kiếm hình ảnh hiện tại Cụ thể, 60% và 53% người dùng thông báo rằng những đề nghị truy vấn của hệ thống VQS là tốt hơn nhiều so với các Engine I và Engine II, tương ứng Hình 7 cho thấy kết quả đánh giá từ 10 đánh giá viên những người không quen với tìm kiếm hình ảnh Họ cho rằng hệ thống VQS thực hiện tốt hơn nhiều so với Engine I trên 17 câu truy vấn, ... tham gia được yêu cầu phải nộp 25 truy vấn từng cái một đến ba hệ thống hình ảnh tìm kiếm, ví dụ, Engine I, Engine II, và hệ thống VQS của chúng tôi Sau đó, họ được yêu cầu cung cấp các đánh giá sau đây: Đánh giá cá nhân : Chúng tôi so sánh VQS với Engine I và Engine II một cách riêng biệt Dựa trên quan sát của các dịch vụ đề xuất của VQS, Công cụ I (II) cho mỗi truy vấn, người tham gia được yêu cầu... 4: end for Return Ie CHƯƠNG III THỬ NGHIỆM HỆ THỐNG Chúng tôi tiến hành thử nghiệm rộng rãi và đánh giá, bao gồm cả đánh giá chủ quan và khách quan Cũng như so sánh giữa VQS và ba công cụ tìm kiếm phổ biến khác Đầu tiền chúng tôi đánh giá hiệu suất các câu lệnh được cung cấp bởi hệ thống VQS Sau đó, khảo sát hiệu suất tìm kiếm hình ảnh thông qua VQS Truy vấn đầu tiên A irshow A nimal A B uilding C