Đang tải... (xem toàn văn)
Phương pháp tiếp cận thông thường để tra cứu hình ảnh được dựa trên giả định rằng hình ảnh có liên quan có thể chất gần hình truy vấn, một số tính năng không gian. Điều này là cơ sở của các giả thuyết cụm (phân vùng; khoanh vùng). Tuy nhiên, các hình ảnh có liên quan ngữ nghĩa thường nằm rải ráctrên một số thị giác cụm. Mặc dùtruyền thống phục hồi hình ảnh dựa trên nội dung (CBIR) công nghệ có thể sử dụng thông tin trong nhiềutruy vấn (nhận được trong một bướchoặc thông qua một quá trình phản hồi), đây là chỉ là một reformulationcủa các truy vấn ban đầu. Kết quả làn hững chiến lược chỉ nhận đượcnhững hình ảnh trong một số khu vực của các truy vấn ban đầu như làkết quả thu hồi. Điều này bị hạn chếhiệu năng hệ thống. Mức độ liên quan thông tin phản hồi kỹ thuậtthường được sử dụng để giảm nhẹvấn đề này. Trong bài này, chúng tôitrình bày một cách tiếp cận mới đểthông tin phản hồi liên quan mà có thể trả lại hình ảnh có liên quan ngữ nghĩa thành cụm hình ảnh khác nhau của việc sáp nhập các tập kết quả của nhiều truy vấn. Đề tàinghiên cứu hơn nữa, chẳng hạn nhưviệc đạt được sự đa dạng thị giáctruy vấn ứng cử viên, cũng đượcthảo luận. Chúng tôi cũng cung cấp các kết quả thử nghiệm để chứng minh hiệu quả của phương pháp tiếp cận của chúng tôi. hể loại và bộ mô tả chủ đề H.2.8 cơ sở dữ liệu quản lý: Cơ sở dữ liệu ứng dụngcơ sở dữ liệu hình ảnh; H.3.1 thông tin lưu trữ và truy:phân tích nội dung và chỉ mục; H.3.3thông tin lưu trữ và truy: tìm kiếmthông tin và phục hồiquá trình tìm kiếm. Tổng điều khoản: Thuật toán, đo lường, hiệu suất, thử nghiệm. Từ khoá: Hình ảnh dựa trên nội dung truy, đa kênh
TĨM TẮT Phương pháp tiếp cận thơng thường để tra cứu hình ảnh đượcdựa giả định hình ảnh có liên quan chất gần hình truy vấn, số tính khơng gian Điều sở giả thuyết cụm (phân vùng; khoanh vùng) Tuy nhiên, hình ảnh có liên quan ngữ nghĩa thường nằm rải ráctrên số thị giác cụm Mặc dùtruyền thống phục hồi hình ảnh dựa nội dung (CBIR) cơng nghệ sử dụng thơng tin nhiềutruy vấn (nhận bướchoặc thông qua trình phản hồi), là reformulationcủa truy vấn ban đầu Kết lànhững chiến lược nhận đượcnhững hình ảnh số khu vực truy vấn ban đầu làkết thu hồi Điều bị hạn chếhiệu hệ thống Mức độ liên quan thông tin phản hồi kỹ thuậtthường sử dụng để giảm nhẹvấn đề Trong này, chúng tơitrình bày cách tiếp cận đểthơng tin phản hồi liên quan mà trả lại hình ảnh có liên quan ngữ nghĩa thành cụm hình ảnh khác việc sáp nhập tập kết nhiều truy vấn Đề tàinghiên cứu nữa, chẳng hạn nhưviệc đạt đa dạng thị giáctruy vấn ứng cử viên, đượcthảo luận Chúng cung cấpcác kết thử nghiệm để chứng minh hiệu phương pháp tiếp cận hể loại mô tả chủ đề H.2.8 [cơ sở liệu quản lý]: Cơ sở liệu ứng dụng-cơ sở liệu hình ảnh; H.3.1 [thơng tin lưu trữ truy]:phân tích nội dung mục; H.3.3[thơng tin lưu trữ truy]: tìm kiếmthơng tin phục hồi-q trình tìm kiếm Tổng điều khoản: Thuật tốn, đo lường, hiệu suất, thử nghiệm Từ khố: Hình ảnh dựa nội dung truy, đa kênh CBIR, kết hợp GIỚI THIỆU Tải hình ảnh nội dung (CBIR),được đề nghị vào đầu năm 1990 [12], lĩnh vực nghiên cứu tích cực trongthập kỷ vừa qua Một khảo sáttốt tìm thấy [15,20] Nhiều tính trực quan,chẳng hạn màu sắc, cấu trúc vàhình dạng khám phá để mơ tả nội dung hình ảnh vànhiều hệ thống chế tạo Hầu hết hệ thống có CBIR tìm kiếm hình ảnh thơng qua Sự cho phép để làm cho kỹ thuật sốhoặc cứng tất hoặcmột phần công việc cho sử dụng cá nhân lớp học đượccấp mà khơng có lệ phí không thực hoặcphân phối cho lợi nhuận lợi thương mại saomang thông báo trích dẫnđầy đủ trang Để chép cách khác, phát hành lại, đăng máy chủ hoặcphân phối lại vào danh sách, yêu cầu cho phép trước cụ thểvà/hoặc khoản phí MMDB'03, tháng 11 năm 2003,New Orleans, Louisiana, Hoa Kỳ Bản quyền 2003 ACM 1-58113-726-5/03/0011 $5.00 Truy vấn ví dụ (QBE) [7, 12] giao diện Trong QBE, Hệ thống trình bàymột trang ban đầu đại diện hình ảnh thu nhỏ cho người dùng Ngườidùng sau đánh dấu hoặcnhiều hình ảnh có liên quan hoặckhơng liên quan đến ý định Những ví dụ lựa chọntích cực/tiêu cực sử dụng đểtạo trung tâm truy vấn re-trọng lượng không gian ảo trục[8] Thơng tin phản hồi q trìnhnày lặp lặp lại liên tục người sử dụng hài lòng với kết thu hồi, mộtngưỡng xác định trước đượcđáp ứng Khơng có vấn đề chiến lượcthơng tin phản hồi, tính năngthị giác, phép đo tương tựnhững sử dụng, tạiCBIR hệ thống trí giả định tất hình ảnh có liên quan ngữ nghĩa tập trung số khơng gian hình ảnh tính Các chức q trình thơng tin phản hồi để di chuyển truy vấn ví dụ tích cực khỏi ví dụtiêu cực để nâng caotầm quan trọng số tính thị giác số kích thước tính cụ thể trực quan Tuy nhiên, hình ảnh với khái niệm có liên quan lan truyền tồn khơng giantrực quan rải ráctrong số thị giác cụm chứkhông phải Trong trường hợp này, phương pháp tiếp cậntruyền thống dựa truy vấn-trung tâm thông tin phản hồi đảm bảo cải tiến hiệu suất chuyển trung tâm truy vấn.Thậm chí tệ hơn, Trung tâm truy vấncó thể nhận khơng có khinhững hình ảnh có liên quan đượcrộng rãi scatted Thông tin phản hồi liên quan lâu đãđược sử dụng để nâng cao hiệu suấtthu hồi hệ thống IR dựa văn Gần khái niệm đãđược áp dụng cho hệ thống CBIR.Một số kỹ thuật khảo sát trong[21] Ý tưởng chung để sử dụnghình ảnh xác định người sử dụng có liên quan để sửa đổitruy vấn tìmlặp lặp lại lần truy vấn có thểđược sử dụng hiệu hơn,có nghĩa là, lấy hình ảnh có liên quan Các truy vấn sửa đổibởi phong trào điểm truy vấn [8,19]hoặc cách mở rộng truy vấn[9, 10] Ngồi ra, hàm khoảng cáchcó thể reweighted [8, 18, 19] Mục tiêu phong tràođiểm truy vấn tìm truy vấn"tốt nhất" thường giả định mộtvùng lồi quan tâm [8, 19] nhưnghơn Phòng Khơng lồi cáckhu vực [9, 10] xem xét Cáckhái niệm khu vực bảnđể làm việc xây dựng truy vấn tương tự truy vấn ly phản [18] mức độtính chiếmmột nhu cầu thơng tin ởcấp độ cao ngữ nghĩa Chúng tơi đóng góp để mở rộng truy vấn kỹ thuật giới thiệu đa dạng thành hình ảnh thơng tin phản hồi sử dụng trongretrievals Trong này, đề xuấtmột chiến lược đa truy vấn truy(được gọi truy vấn đa trong[10]) để giải vấn đề Thay việc tìm kiếm trung tâm truy vấn cho ví dụ chọn tích cực, cách tiếp cận chúng tơinhững truy vấn tích cực vấn đềcá nhân sau nhập kết họ sau vào danh sách tổng hợp Cách tiếp cận thu thập thu hồi rải ráctrong khơng gian trực quan làhồn tồn khu phố Trung tâm truy vấn Cách tiếp cận để truy vấn reformulation tiềm ẩn, có nghĩa là, chúng tơi sử dụng hình ảnh thơng tin phản hồi truy vấnvà hợp kết họ cách rõ ràng sửa đổi truy vấn ban đầutrong tìm kiếm truy vấn"tốt nhất" Bằng cách chúng tơiđồng thời tìm kiếm dọc theo sốhnăm khơng gian tính năngvà hợp kết để hiển thịcho người dùng Chen et al [22] đãthực phương pháp việc sử dụng nhiều "hạt giống" truy vấn,nhưng họ sử dụng chúng để mở rộng biên giới xung quanh truy vấn "tốt nhất" bảnđang tìm kiếm khu vực khơng gian tính Làm để đạt đa dạng thị giác truy vấn ứng cử viên đề tài nghiên cứu quan trọng để thu hồi nhiều truy vấn.Chúng giới thiệu chúng tôiđại diện đa [6] nhiều hệ thốngthu hồi [5] để giúp tăng đa dạngthị giác kết truy, đóhiệu suất hệ thống cải thiệnhơn Các cơng nghệ có khả để cải thiện hiệu hệ thống cá nhân, họ đạt lợi ích thêm kết hợp với Một mơ hình tổng hợp thu hồi đưa kết thử nghiệm trình bày chohiệu cơng nghệ Phần lại giấy tổ chứcnhư sau Các giả thuyết cụm vàtruyền thống CBIR tìm vấn đề đượcthảo luận phần Chúng tơilấy nhiều truy vấn trình bàytrong phần Phần đề vớiviệc đạt đa dạng thị giáctrong truy vấn ứng cử viên trình bày chúng tơi mẫu tổng hợpthu hồi Sau đó, phân tích củacác kết thử nghiệm Hiển thịtrong phần Cuối cùng, chúng tôirút kết luận thảo luận tác phẩm tương lai chúng tôitrong phần VẤN ĐỀ TÌM KIẾM CBIR Giả thuyết cụm [16, trang 45] nóirằng "các tài liệu liên kết chặt chẽ có xu hướng có liên quan đến u cầu một." Cho CBIR chúng tơithay "hình ảnh" cho "tài liệu".Giả thuyết rộng rãi giả định vàtạo thành tảng tương tự dựa thu hồi Cơng nghệ CBIR giả địnhrằng hình ảnh có liên quan ngữ nghĩa thể chất tập trung sốkhơng gian hình ảnh tính Do thu hồi thực hiệnbằng cách nhận hình ảnh khu phố truy vấnnhất định khơng gian hình ảnh tính Hiện tượng kết cụm giữcho nhiều hình ảnh sở liệu hình ảnh, khơng có vấn đề nếuhọ sáng tác hình ảnhđược chụp từ cảnh tự nhiên,hình ảnh tạo đồ họamáy tính, tranh vẽ bởinghệ sĩ Nhiều hình ảnh với ngữ nghĩa tương tự nhiều giống có lẽ họ thực loạt lúc tương tự thời gian cảnh, tạo ratrong loạt mẫu đồ họatương tự máy tính, hoặcđược vẽ nghệ sĩ trongmột thời gian khoảng thời gian Cócơ sở liệu COREL ví dụ Hình ảnh bơng hoa(hình 1) thực mộtloạt tương tự thời gian vàđịa điểm, dẫn đến tính thị giáckhá tương tự, chẳng hạn ánh sáng, thành phần màu sắc, vv Hình Hình ảnh có liên quan ngữ nghĩa giống tính trực quan Tuy nhiên, khơng phải tất cáchình ảnh với ngữ nghĩa tương tự sẽgần gũi với khơng gianảo Hình ảnh có liên quan ngữ nghĩacó thể rải rác khơng gian ảo Vẫn xem xét hình ảnh Hoa Trong COREL sở liệu làmột ví dụ, Hoa hồng hoa màu vàng khác màu sắc biểu đồ (hình 2) Do đókhơng phải cụm nhấtcho ngữ nghĩa "Hoa" Trên thực tếcó tồn số cụm khơng gian ảo Hình cho thấy ví dụ.Khơng có hoa màu vàng, màu trắngvà đỏ sở liệu hình ảnh,và họ tạo ba cụm tự nhiêntrong khơng gian ảo Mỗi nhóm có chứa nhiều hình ảnh với tính nănghình ảnh tương tự (a) màu sắc biểu đồ hoa trắng (b) màu sắc biểu đồ hoa đỏ Hình Hình ảnh có liên quan ngữ nghĩa khác trongcác tính trực quan Hình Hình ảnh có liên quan ngữ nghĩa nằm rải rác số thị giác cụm Truyền thống CBIR cơng nghệthường cho có cụm Họ cố gắng để tìm thấy đại diện "tốt nhất" ý định người sử dụng khơng gian trực quan có nhữnghình ảnh khu phố truy vấnlạc quan Thật không may, cách tiếp cận không hoạt động tốt,trừ có cụm tồn Từcon số 3, thấy rằngkhơng có vấn đề làm bạnchọn truy vấn lạc quan làm bạn thay đổi hình dáng cáckhu phố truy vấn, không thực tế để trang trải tất cụm phân tán ba khu vực chặt chẽ.Kết hiệu suất củacông nghệ CBIR Một sốphương pháp tiếp cận thông tin phản hồi CBIR truyền thống cố gắngdi chuyển truy vấn tổ hợptuyến tính thơng tin phản hồi tích cực hình ảnh triy để điều chỉnh hình dạng khu phố liên quan thông tin phản hồi Một lần nữa, cách tiếp cận khơngcó hiệu tồn nhiều hơnmột cụm Hình cho thấy ví dụ.Trong hình (a), tất truy vấntích cực xảy để đặt trongmột cụm điều chỉnh truy vấncó thể cải thiện hiệu thu hồi.Điều tảng lý thuyết củatruyền thống liên quan công nghệthông tin phản hồi CBIR Tuy nhiên, điều không hoạt độngkhi truy vấn thông tin phản hồiđược đặt số cụm Hình (b)cho thấy truy vấnthơng tin phản hồi đặt số cụm, Trung tâm truy vấn khơng có cụm Kết khu dân cư Trung tâm truy vấn có khơng có ngườidùng muốn (a) truy vấn đặt trongcùng cụm, Trung tâm truy vấncó thể giúp cải thiện hiệu suất (b) truy vấn đặt trongcụm khác nhau, Trung tâm truy vấncó thể làm suy giảm hiệu suất Hình Thu hồi Trung tâm truy vấn nhiều truy vấn đạt đượchiệu ứng khác truy vấnđược đặt nhiều hơnmột cụm CBIR tìm vấn đề xảy vìCBIR nhiều phương pháp tiếp cận,khơng có vấn đề chiến lượcthơng tin phản hồi, tính năngthị giác, cơng thứckhoảng cách sử dụng, tất cảcó xu hướng để tìm thấy trung tâm truy vấn để thực hiệnnhiệm vụ thu hồi Trung tâm truy vấn không đầy đủ sử dụng thông tin số thông tin phản hồi truy vấn Để giải quyếtvấn đề này, phương pháp tiếp cậnbằng cách sử dụng nhiều truy vấnđã phát triển, ví dụ đa truy vấn [9,10], hỗ trợ cho disjointvùng (ly phản truy vấn) [18] Chúng đề xuất kỹ thuật tiểu thuyếtđa truy vấn phục hồi, trở lạihình ảnh có liên quan ngữ nghĩathành cụm hình ảnh khác củaviệc sáp nhập tập kết củanhiều truy vấn Cho nhiệm vụ thu hồi định, người dùng chọn truy vấn khác nhau, mà tất ngữ nghĩaliên quan đến hình ảnhngười dùng mong muốn Các truy vấn tạo kết khác nhautruy hệ thống CBIR.Các danh sách kết khác nhau(được gọi kênh giấy này) dùng quan điểm khác [3] liên quan đến việc thu hồitrong tâm trí người dùng Kết thu hồi quan điểmhai có khả sáp nhập vàomột kênh tổng hợp tốt Việc sáp nhập kênh nhiều truy vấn có hai lợi Trước tiên, cáckênh truy vấn cụm, gọi làintra-cụm sáp nhập, hợp có thểgiúp lọc số hình ảnh khơng liên quan danh sách, khả hình ảnh khơng liên quan tương tự tất truy vấn định có xu hướng rấtthấp, giốngvới số truy vấn Hiệu ứng nàycó thể cải thiện độ xác phục hồi Thứ hai, việc sáp nhập kênhtruy vấn cụm khác nhau, cụm khác vào kênh tổng hợp Do đó, hình ảnh cụmkhác có hội để xuất hiệntrong danh sách tổng hợp Hiệu ứng cải thiện truy thu hồi Do đó, độ xác phục hồi vàthu hồi cải thiện nếuchúng kết hợp kênh nhiềutruy vấn Trong cơng việc trước đó, chúng tơitiến hành điều tra sơ bộcủa ảnh hưởng truy vấnđa dạng hóa hệ thống CBIR[4] Việc báo cáo kéo dài cơng việc cách áp dụng đa dạng hóa truy vấn đến q trình truy vấn.Ý tưởng tương tự cáccông việc văn IR kết hợp chứng chiến lược vàngày trở lại vào đầu năm 90 hai cách tiếp cận nói chung đãđược sử dụng để nắm bắt nhu cầu thơng tin xác mộtsự đa dạng truy vấn [1, 2].Cách tiếp cận kết hợp truy vấn Q1 để Qm trước tìm kiếm,và sau gửi truy vấn tổng hợpđể cơng cụ tìm kiếm để có kếtquả R (hình 6(a)) Phương pháp thứ hai vấn đề tìm kiếm Q1 thơng quaQm riêng sau kết hợp kết truy vấn R1 đến Rm sau vào danh sách tổng hợp R(hình 6(b)) Phương pháp tiếp cận di chuyển điểm truy vấn có chiến lượcđầu tiên, cách tiếp cận thông qua thứ hai Q1 Q2 Q Search Engine R Q3 … Qm (a) Combine queries before search R1 Q1 arch Engine Q2 R2 Q3 R3 … Qm … R Rm truy vấn truy Chúng tơi làm việc trước [5, 6] đãcho thấy việc sáp nhập cáckênh khác đại diện hệ thốngkhác cải thiện hiệu quảtruy Trong báo này, chúng tôimở rộng công việc nhiều truy vấn.Điều cải thiện đáng kểhiệu thu hồi Và cải thiện chí cao kết hợpvới cơng nghệ thu hồi nhiều đại diện nhiều hệ thống ĐẠT ĐƯỢC SỰ ĐA DẠNG THỊ GIÁC CỦA CÁC TRUY VẤN ỨNG CỬ VIÊN Theo giả thuyết cụm, dễ dàngđể thấy chi tiết cụm truy vấn bao gồm, caotiềm cải thiện hiệu suất.Trong giao diện người dùng QBE,nhiều hình ảnh có liên quan đượclựa chọn người sử dụng nhưtruy vấn thông tin phản hồi sau khitruy vấn ban đầu thực hiện.Tuy nhiên, kênh nhấtCBIR hệ thống [6], truy vấn ứng cử viên cung cấp giao diệnngười dùng thường cụm,bởi họ tương tự truy vấn ban đầu khơng gian ảo Vídụ, người dùng lựa chọnứng cử viên truy vấn từ cụm hoahồng (xem Hình 3), làm hệ thống có hội để lấy hoa màu vàngvà trắng? Vì vậy, đa dạng thị giác cụm hình ảnhcung cấp cho người dùng yêu cầu Chúng phương pháp tiếp cận đa kênh truy, chẳng hạn nhưnhiều đại diện đa-hệ thống, cung cấp hội 3.1 đại diện đa truy Đại diện kết xử lý biến đổi định Khơng giống tính trích xuất, miêu tả sẽvẫn giữ định dạng phương tiện truyền thơng ban đầu có thểđược xử lý trực tiếp hệ thốngthu hồi Ví dụ, biểu đồ màu củamột hình ảnh định khơngmột đại diện định nghĩa nó, khơng phải mộthình ảnh xem vàkhơng thể xử lý hệ thốngtruy xuất hình ảnh trực tiếp Mộthình ảnh màu xám đại diệncủa hình ảnh màu sắc ban đầu Hình7 cho thấy bốn đại diện cho mộtbông hoa màu vàng, 84060.jpg, corel sở liệu Chúng tơisử dụng hình ảnh màu sắc ban đầu(c/C +) với hình ảnh màu xám (B +) haimàu sắc âm (C-) màu xám tiêu cực (B-) để tạo thành bốn đại diệnkhác báo Đại diện tạo thànhcác kênh hệ thốngCBIR tăng cường C+ B+ C- B- Hình Nhiều đại diện hình ảnh Thơng tin thêm muathơng qua kênh khác Bằng cáchđó, Hệ thống đạt cácbăng thông rộng lớn thông quađại diện khác Chúng tơi làm việc trước [6] việc sáp nhập kết thu hồi củanhiều đại diện giới thiệu số đa dạng hình ảnh trongkhơng gian ảo Chúng tơi yêu cầu bồi thường đặc tính giúp đạt đa dạng ứng cử viêntruy vấn tra cứu đa truy vấncủa 3.2 hệ thống đa truy Hệ thống thu hồi khác tạo quan điểm khác lấy cáckết khác cho nhiệm vụ thu hồi tương tự Một mặt, hai hệ thốngcó thể có ý kiến khác trênmột số hình ảnh cho dù họ cần phải trả lại cho người dùng.Mặt khác, hai hệ thốngcó thể đồng ý số hình ảnhnên trả lại cho người sử dụng.Sao chép phần có giá trị cho cho thấy việc sáp nhập kết thu hồi nhiều hệ thống có tiềm để đạt đượclợi ích thêm Nó giúp cải thiện hiệu thu hồi, cóđộ xác thu hồi Chúng tơilàm việc trước [5] thể hiệnthực tế Nó giới thiệu số đa dạng hình ảnh có liên quan khơng gian ảo 3.3 mơ hình tổng hợp thu hồi Đưa nhiều đại diện, đa hệ thống vàđa truy vấn công nghệ với nhau,chúng tơi nhận mơ hìnhCBIR synthetic1 (con số 10) mơ hình tổng hợp thu hồi nàybao gồm kênh khác cáccấp độ khác Mỗi kênh mộtquan điểm hình ảnhngười sử dụng dự định Các kênhnày hợp thành vàcung cấp cho người sử dụng mộtgiao diện tích hợp Thông tin phản hồi liên quan sử dụng đểcho phép người dùng chọn lên cáchình ảnh có liên quan từ kênhtổng hợp Trọng lượng kênhkhác điều chỉnh.Tích hợp hệ thống truy thu băng thông rộng lớn thông qua đại diện khác hệ thống, cải thiện hiệu suất cáchtruy vấn khác nhau, hiệu suấttốt đạt với bất kỳphương pháp tiếp cận cá nhân Hình 10 Khn khổ mơ hìnhtruy tổng hợp THỬ NGHIỆM KẾT QUẢ Trong phần này, báo cáovề thử nghiệm đánh giá tác động kết hợp đại diện đa, đa hệ thống thu hồi đa truy vấn truy với 4.1 kiểm tra môi trường Chúng chọn thể loại 34 từCOREL, với 100 hình ảnh, để tạo thành chúng tơi thử nghiệm với3.400 hình ảnh Các nguyên tắc lựa chọn cho dù hình ảnhchứa bật phía sau đối tượng Mục đích điều dođó thiết lập hình ảnh làm việctốt phân khúc dựa hình ảnh phục hồi hệ thống Chúng sử dụng thể loạiCOREL thật đất, tức là,chúng xem tất hình ảnhbên thể loại COREL cóliên quan Bốn hình ảnh đại diệnđược sử dụng thử nghiệmnày, màu sắc, màu sắc tiêu cực, màu xám màu xám-tiêu cực.Hai hệ thống CBIR điển hình đượcsử dụng đánh giá Một tồn cầu-tính năng-dựavà khác dựa khu vực Tồn cầu-tính năng-dựa hệ thốngđược gọi hệ thống CBIRtrong báo Nó xây dựng tương tự hệ thốngMiAlbum [11] với bảy tính thị giác, có ba màu sắc tính tính bốn kết cấu Tất tính so sánhtương ứng để có điểm giống sau tuyến tính kết hợp với trọng lượng bình đẳng.Vùng dựa hệ thống sử dụngtrong thử nghiệm đơn giản[17] Hệ thống thực hình ảnh phân khúc sau sử dụngmột cách tiếp cận (IRM) tích hợp khu vực-phù hợp tính tốnkhoảng cách 4.2 thơng tin phản hồi liên quan mơ Để bắt chước hành vi người dùngthích hợp, thực mô liên quan thông tin phản hồi thử nghiệm giường.Trước tiên, truy vấn ban đầuđược sử dụng để tạo kết ban đầu phục hồi Sau đó, chúng tơi mô phỏngtương tác người dùng cách chọn lên đến k hình ảnh có liên quan từ kết truy theo thậtđất Những hình ảnh có liên quanđã chọn phát hành riêng vàsau kết thu hồi họ đượcsáp nhập với để tạo mộtkênh tổng hợp Thông tin phản hồiliên quan thực theo cácchiến lược sau đây: • Ngẫu nhiên có liên quan tất k hình ảnh có liên quan (bao gồm cảhình ảnh truy vấn ban đầu) lựa chọn ngẫu nhiên từ hình ảnhcó liên quan Chiến lược thơng tin phản hồi khơng có để làm vớinhững hệ thống trả cho truy vấn ban đầu Nó giống cách ngẫu nhiên phân loại tất 3.400 hình ảnh hình ảnh thiết lập danh sách, sau đóyêu cầu người dùng để chọn knhững hình ảnh có liên quan từ nó,khơng có vấn đề hình ảnh anh/cơ cuối nhìn Thật khơng may, trường hợp lạc quannày không xảy trongmột ứng dụng thực tế, cho nhiệm vụ tìm kiếm hình ảnh có liên quan từ danh sách ngẫu nhiênlà hồn tồn khơng thực tế Tuy nhiên, chiến lược tốt để sử dụng để phân tíchhiệu suất ràng buộc, sẽcung cấp cho truy vấn đượcphân phối rộng rãi khơng gian ảo cho biết tiềm tốt nhiều truy vấn truy làm • Mù thông tin phản hồi Các k hàng đầu hình ảnh (bao gồmcác truy vấn ban đầu nó),khơng có vấn đề có liên quan hoặckhơng thích hợp, kênhtổng hợp truy vấn ban đầu,được sử dụng truy vấn thông tin phản hồi Nếu thông tin phản hồi mù cải thiệnhiệu hệ thống, chúng tơi cải thiện hiệu hệ thống mà không cần can thiệp người • Đầu có liên quan cắt ngắn Hình ảnh có liên quan k (bao gồm truy vấn ban đầu nó)được lựa chọn từ kênh tổng hợpcắt ngắn truy vấn ban đầu.Rõ ràng, trường hợp xấu làkhơng có liên quan ngoại trừ cáctruy vấn ban đầu Và trường hợptốt có nhiều k-1 hình ảnh có liên quan bên cạnh truy vấn ban đầu Do đó, số truy vấnthơng tin phản hồi khác nhautừ đến k (bao gồm truy vấnban đầu) Chiến lược sử dụng để mô giao diệnngười dùng thực tế Chỉ phầncủa kênh tổng hợp trả lại cho người dùng, người dùngsẽ tìm kiếm hình ảnh có liên quan thiết lập hình ảnhnhỏ nhiều Chúng tơi cho ngườidùng có xu hướng chọn k đầu tiênhình ảnh có liên quan từ danh sáchhình ảnh • Ngẫu nhiên có liên quan cắt ngắn Chiến lược thực kết hợp người thứ bachiến lược Trước tiên, chúng tôingẫu nhiên xếp kênh tổng hợp cắt ngắn, sau cho phépngười dùng chọn đến k hình ảnh có liên quan từ danh sách Chúng tơi cho người dùng có xu hướngchọn k hình ảnh có liên quan nhìn từ danh sách hình ảnh.Do k hàng đầu hình ảnh có liên quan (bao gồm truy vấn ban đầu nó) lựa chọn từcác kênh resorted tổng hợp Tương tự chiến lược thứ ba, số truy vấn thơng tin phản hồi khác từ k, bao gồm truy vấnban đầu Rõ ràng, mộtgiao diện người dùng thực tế.Không, giới thiệu cáccông việc nhiều cho người dùng để làm chiến lượctrước 4.3 kết hợp cơng nghệ Có nhiều loại hợp cơng nghệ Trong này, sử dụng trực quan hiệu quảkết hợp chiến lược gọi hợp xếp hạng [6] Trong chiến lược kết hợp, tất kênh sẽđược coi có tầm quan trọngtương tự, nghĩa là, họ có mộttrọng lượng Chiến lược khoản tiền xếp hạngđược điều chỉnh cho mối quan hệ.Mặc dù sử dụngmột chiến lược hợp phức tạp hơn,mà cải thiện hiệu suất nữa, chúng tơi muốn cho chí chiến lược đơn giảnmerging dẫn đến hiệu suất cải thiện nhiều lấy Mỗi truy vấn trình bày cho haihệ thống khác có đại diện(kênh) Kết kênh sáp nhập để nhận kênh tổng hợp cho truy vấn Sau đó, cáckênh tổng hợp độc lập sáp nhập thêm để tạo kênh tổng hợp Kênh trình bày cho người dùng kết quảthu hồi 4.4 số liệu đánh giá Tất hình ảnh 3.400 đượccấp cá nhân truy vấn Trung bình precision2 lúc 50 (P50) trung bình xác 100 (P100)được sử dụng số liệu đánh giá Chúng yêu cầu bồi thườngP50 P100 số liệu phù hợpnhất hình ảnh phục hồi, cho mỗimàn hình chứa khoảng 50hình thu nhỏ người sử dụng nhấp chuột nhiều hai lần đểchuyển trang để xem hình ảnh chi tiết Hơn nữa, chúng tơi lập luậnrằng bao gồm cấp bậc hình ảnh việc đánh giá vơ nghĩavì nội dung tất hình ảnh trang đượcxem nháy mắt vàkhơng đòi hỏi nhiều công việcđể kiểm tra (điều khác từ phục hồi văn bản) Cuối cùng, chúng tơi khơng sử dụngtrung bình interpolated phòng khơng xác số liệuđánh giá danh sách bị sáp nhập lâu dài, kết làkhơng công so sánh 4.5 đánh giá hiệu suất Hiệu hệ thống bị ảnh hưởngbởi nhiều yếu tố, chẳng hạn sốlượng truy vấn thông tin phản hồi, lặp lặp lại thông tin phản hồi,truncation độ dài kênh,chiến lược thông tin phản hồi, cácthành phần kênh tổng hợp,vv Trong phần này, chủ yếu phân tích ba yếu tố ảnh hưởng đến hiệu hệ thống: • Số lượng truy vấn thông tin phản hồi Sáu cài đặt khác sử dụngđể so sánh, truy vấn (chỉ ban đầu u cầu mà khơng cóbất kỳ thơng tin phản hồi), 4, 8,12, 16, 20 truy vấn Chúng mong đợinhiều truy vấn truy tốt so vớithu hồi truy vấn Các truy vấn thêm làm việc, tốt hiệu suất Do 20 truy vấn nên có hiệu suất cao truy vấn nên có thấp • Các thành phần tổng hợpkênh cài đặt khác sử dụngđể so sánh, bao gồm hệ thốngduy với đại diện nhất, cáchệ thống với nhiều đại diện, nhiều hệ thống với đa-đại diện Các cấu hình khác là:cơ C+, đơn giản C+, bản(với đại diện), đơn giản (với đại diện) tất (2 hệ thống với 4đại diện mỗi) Chúng mong đợinhiều đại diện công nghệ đa hệ thống thu hồiđể giúp cải thiện hiệu suất nữado đa dạng truy vấntrong khơng gian ảo Vì vậy, tất cảcác kênh nên có hiệu suất cao C+ đơn giảnC+ nên có thấp • Thông tin phản hồi chiến lược phản hồi chiến lược sử dụngđể so sánh Chúng mong đợingẫu nhiên có liên quan tất cóhiệu suất cao nhất, chiến lượcnày giới thiệu thêm đa dạng truy vấn truy vấn thơng tin phản hồi có khả cao cụmhình ảnh Và chúng tơi mong đợingẫu nhiên có liên quan cắt ngắn để có hiệu suất cao so vớiđầu có liên quan cắt ngắn vàgiảm hiệu suất ngẫu nhiên có liên quan tất Bởi nên bao gồm thêm cụm trực quan đầu trang có liên quan chiến lượccắt ngắn, trực quan cụmhơn ngẫu nhiên có liên quan trongtất chiến lược Như chúng tơi mơ tả trước khi, có là6 cài đặt khác số truy vấnthông tin phản hồi (1, 4, 8, 12, 16,20), cài đặt khác cácthành phần tổng hợp kênh (cơ bảnC+, đơn giản C+, 4, đơn giản, tất 8), cài đặt khác chiến lược thông tin phản hồi (cắt ngắn có liên quan tất cả, phản hồi mù, đầu trang có liên quan ngẫu nhiên, ngẫu nhiêncó liên quan cắt ngắn) Vì vậycó 120 cấu hình khác hồn tồn Trong thí nghiệm chúng tôi, chạy tất cáctruy vấn 3.400 theo cấu hình 120để có trung bình P50 P100.Kết hợp tất thực trêncác kênh cắt ngắn chiều dài 150 Vàcác kênh tổng hợp cắt ngắn 150 Do đó, người dùngcó thể tìm kiếm hình ảnh có liên quan từ hình ảnh 150 hàng đầutrong kênh tổng hợp Điều nàydựa giả định người sử dụng tìm kiếm hình ảnhsau ba hình đầy đủ, với50 hình thu nhỏ Hơn nữa, thời gianchỉ có thông tin phản hồi đượcsử dụng thử nghiệm tạicủa Do hạn chế space,chúng làm cho chúng tơiphân tích dựa P100, từP50, rút kết luậnkhá tương tự Các kết thử nghiệm hiển thị hình 11.Trục ngang hiển thị số truy vấnthông tin phản hồi, 1, và20 Trục dọc cho thấy độ xác ở100 Các cài đặt khác kênhtổng hợp tác phẩm thể hiệnbởi đường cong Và chiến lượcthông tin phản hồi hiển thịtrong bốn số phụ, tương ứng Chúng ta rút kết luận sau từ số 11 Multi-truy vấn truygiúp cải thiện hiệu hệ thống.Từ số 11(a)(b)(c), độ xáccủa hệ thống tăng với gia số trụcngang Các truy vấn thêm sử dụng việc cải thiện lớn hơnkhi số lượng truy vấn tăng từ 1-4 tăng từ tới Ví dụ, trongngẫu nhiên có liên quan tất cả(con số 11(a)), hiệu suất C+cải tiến tương đối 37,7% sáp nhập truy vấn, cải thiện 10,5%một lần sáp nhập truy vấn (do nhận truy vấn).Mặc dù việc sáp nhập nhiều truy vấn giúp cải thiện hiệu suất, cải tiến trở nên nhỏ nhỏ thêm truy vấn bổ sung, tất cụm đượcbảo hiểm Thông tin phản hồi mù không cải thiện hiệu suất tất truy vấn thơng tin phản hồi nóthường nằm cụm trực quan Tìm 11(d) cho thấycác đường cong tất cònphẳng với gia tăng số lượng truy vấn Thậm chí tệ hơn, số đường cong thực thả chút, điều nàylà thơng tin phản hồi hình ảnhcó thể khơng ngữ nghĩa có liên quan đến mục đích người dùng (thiếu sơ đồ phần này) Ngẫu nhiên có liên quan tất cóhiệu suất cao phạm vi bảo hiểm cao để cụm trực quan.Một tượng bất thường làviệc thực ngẫu nhiên cắt ngắn có liên quan tốt so vớihiệu suất đầu trang có liên quan cắt ngắn, đặc biệt khisố truy vấn nhỏ Điều trái với niềm tin chấp nhậnrộng rãi Trong nhiều năm giới CBIR hầu hết thông tin phản hồi chiến lược có xu hướng đểchọn lên hình ảnh có liên quan hàng đầu từ danh sách kết Nhưng kết chúng tôicho thấy điều khôngnhất thiết phải chiến lược tốt nhất.Khi ngẫu nhiên cải tổtrong danh sách kết cắt ngắn vàtrình bày cho người sử dụng, chúng tơi di chuyển số ví dụxấu phía trước đặt số vídụ điển hình lạc hậu Nhưng thực tế, chiến lược hoạt độngtốt nhiều môi trường phục hồi đa truy vấn chúng tơi vìnó giới thiệu hội chongười dùng để chọn tích cực ví dụtừ cụm hình ảnh khác Có nghĩa là, chiến lược có xu hướngtạo nhiều truy vấn đa dạng trongk hàng đầu hình ảnh có liên quan So sánh số 11(a), (b), (c),chúng ta thấy cácđường cong hiệu suất tăng cách khác Trong số 11(a)và (c), đường cong hiệu suất tăngmạnh từ truy vấn chocác truy vấn 8, sau tăng lêndần dần từ truy vấn đến 20 truy vấn Nhưng đường cong trongcon số 11 (b) khác Nólàm tăng mạnh từ truy vấn nhấtđể truy vấn 8, sau khơng thay đổi thêm cáctruy vấn thêm Trong ngẫu nhiên có liên quan tất cácchiến lược, thêm truy vấnđược thêm vào sau thêm cụmđược bảo hiểm, hiệu suất liên tục tăng Nhưng ngẫu nhiên có liên quan chiến lượccắt ngắn, hình ảnh cung cấpcho lựa chọn tập hợp concủa tất hình ảnh, đó, chỉbao gồm số cụm trực quan Sau thêm truy vấn 8, khơng có hội thêm truy vấn thêm để trang trải nhiều cụm.Đây lý đường conghầu không tăng sau truy vấn thêm Tuy nhiên, phía có liên quan chiến lược cắt ngắn,tình hình thay đổi lần nữa.Chiến lược trả lại hình ảnh,đặt trực quan tương tự truy vấnban đầu Do hình ảnhđược chọn có khả cao để cư trú số cụm bị hạn chế Do đó, theo chiến lược này, thêm nhiềutruy vấn khơng có nghi ngờ giúptruy vấn thiết lập để bao gồm thêmcụm Một thú vị chứng minh giả thuyếtcụm hành vi khác hai CBIR hệ thống, bảnvà đơn giản Chúng thấy rằngđơn giản C+ cải thiện tính baytốt nhiều so C+ Điều chúng tơi hệ thốngCBIR đơn dựa trêntồn cầu tính trực quan, vànó có xu hướng cao để có nólấy kết nằm mộtcụm trực quan Do đó, hình ảnhcó liên quan từ kênh C+ giúp đỡ nhiều để đạt đa dạng thị giác Nhưng cácngẫu nhiên có liên quan tất cảcác chiến lược, hình ảnh có liên quan lựa chọn rộng rãi từ cácthiết lập tồn hình ảnh, điều nàycó thể bù đắp cho dễ bị tổn thương Các kênh tổng hợp giúp cải thiệnhiệu suất Tìm 11(a)(b)(c)cho thấy tượng Nhưchúng tơi mơ tả trước đó, tra cứunhiều đại diện không cải thiện hiệu suất trực tiếp, giới thiệu số đa dạng thị giác Điều có thểnâng cao hiệu suất cải thiện theonhiều truy vấn truy Có hệ thốngCBIR ví dụ, C+ (0.2032) 4(0.2056) có độ xác tương tự thực truy vấn nhấttruy Khi thực truy vấn tải, cài đặt hai tăng hiệu suất chúng.Sự xác cải tiến để 0.2925 cải thiện C+ để 0.2564 theo ngẫu nhiêncó liên quan thơng tin phản hồi cắt ngắn (hình 11(b)) Mặc dù cài đặt hai tăng hiệu suất họ, cáckênh tổng hợp khơng có nghi ngờtăng thêm lợi từ đa truy vấn truycông nghệ Một ví dụ, tổng hợp Kênh tất kênh có độchính xác 0.2428, mà cao hơnmột kênh C+, có độ xác 0.2032 Nhưng sáp nhậptruy vấn nhiều, khác biệt hasbeen tăng Theo ngẫu nhiên có liên quan cắt ngắn thông tin phản hồi (con số 11(b)), thấy bảnC+ kênh cải thiện hiệu nóđể 0.2564, tương đối cải thiện 26,2%,trong kênh tổng hợp tất kênh cải thiện hiệu nóđể 0.3440, tương đối cải thiện41.7% Vì vậy, nhiều đại diện hệ thống đa truy không cải thiệnhiệu suất hệ thống trực tiếp, nhưngcũng đạt lợi íchtiềm ẩn, mà phát hành bởicông nghệ đa truy vấn truy Từ phân tích trên, chúng tơi kết luận xơ len đa-đại diện, công nghệ đa hệ thống, đa truy vấntruy với cải thiện đáng kểhiệu hệ thống Chúng tơi ngẫu nhiên có liên quan cắt ngắnphản hồi chiến lược thực hiệntốt so với đơn chọnlên hình ảnh có liên quantrên k Mặt khác, nhiều truy vấn cung cấp thêm thông tin vàđảm bảo hiệu suất tốt hơn, cũnggiới thiệu thêm tính tốn Cũngkhơng người dùng sẽchọn hình ảnh có liên quanrất nhiều giao diện người dùng Trong hệ thống chúng tơi, truy vấn mộtsự thỏa hiệp tốt hiệu suất vàtính tốn chi phí Khi sử dụng ngẫu nhiên có liên quan chiến lược thông tin phản hồi (thông tin phản hồi truy vấn) cắt ngắn, kênh tổng hợp sẽđạt độ xác 0.3440.Nếu sử dụng công nghệ CBIR truyền thống đường sở, CBIR 0.2032 đơn giảntại 0.2087, công nghệ chúng tôicải thiện hiệu suất tương đốikhoảng 67,0% Đây cải tiếnlớn hiệu suất phục hồi hình ảnh.Mặt khác, chúng tơi u cầu bồi thường shuffle ngẫu nhiên không tăng khối lượng cơng việc nhiều cho người dùng.Tổng hợp kênh có độ xácban đầu lúc 0.2428 thực hiệntruy vấn ban đầu Điều nàycó nghĩa trung bình khơng có24 hình ảnh có liên quan xếp hạng top 100 trở lại cáckênh tổng hợp Ngay khơngcó liên quan hình ảnh xuất hiệntrong hình ảnh 50, nhữnghình ảnh 24 đảm bảo ngẫu nhiên phân phối chúngtrong hình ảnh đầu trang150, trung bình hình ảnh có liên quan xuất top 50,tức là, trang Do đó, tronghầu hết trường hợp, người dùng tìm thấy đủ hình ảnh có liên quan (8 giấy này) trangđầu tiên kết thu hồi KẾT LUẬN VÀ LÀM VIỆC TRONG TƯƠNG LAI Trong này, chúng tơi trình bàymột tiểu thuyết đa truy vấntruy công nghệ để nâng cao hiệu thu hồi CBIR Và giới thiệu công nghệ tra cứu nhiều đại diện nhiều hệ thống để cải thiện đa dạng thị giáctrong truy vấn ứng cử viên, đóhiệu suất hệ thống cải thiệnhơn Chiến lược thông tin phản hồi khác so sánh.Chúng kết thử nghiệm chothấy cụm trực quan đượcbảo hiểm truy vấn ứng cử viên, cao tiềm cải thiện hiệu suất kết hợp truy vấn với Tahaghoghi et al [14] chứng minh hiệu suất cải thiện truykhi sử dụng hai hình ảnh câu hỏi tính hữu ích việc sử dụngnhiều hai tuyên bố "thêmcác cải tiến việc sử dụngnhiều hai ví dụ khơngbiện minh cho việc xử lý thêm cần thiết." [14, p 138] Chúng hiển thịkết có thêm lợi ích khitruy vấn hai sử dụng Sựkhác biệt rõ ràng do, tin rằng, thực tế kỹ thuật chúng tơi làm tăng đa dạng hình ảnh vàcho phép chúng tơi để tìm hình ảnh có liên quan từ phậnkhác không gian ảo Đạt đa dạng truy vấn ứng cử viên vấn đề quan trọng nghiên cứu chúng tơi làm việc tương lai Đó cân xác kếtquả thu hồi đa dạng thị giáctrong hình ảnh trình bày cho người dùng Nếu chúng tơi muốn giữ độchính xác tương đối cao cáckết trình bày cho người dùng,chúng tơi tốt hiển thị hình ảnh hàng đầu xếp hạng cho người dùng Nhưng chiến lược dẫn đến hình ảnh người dùng lựa chọn chăm sóc để đồng nhóm Ngược lại, giới thiệu số ngẫu nhiên kết thu hồi, chẳng hạn ngẫu nhiên phân loại phần họ,chúng tơi đạt thêm đa dạng thị giác, có lẽ với độchính xác thấp kết quảtruy Vì vậy, chúng tơi nên trình bàyhình ảnh có liên quan cụmhình ảnh khác cho người dùngtrước tốt Thích hợp sử dụng giao diện học tập clusteringcông nghệ vấn đề nghiên cứuthêm