Kỷ yếu Hội nghị Quốc gia lần thứ X Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Đà Nẵng, ngày 17-18/08/2017 DOI: 10.15625/vap.2017.00071 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN Đào Thị Thúy Quỳnh1, Nguyễn Hữu Quỳnh2, Phƣơng Văn Cảnh2, Ngô Quốc Tạo3 Trƣờng Đại học Khoa học, Đại học Thái Nguyên, Khoa Công nghệ thông tin, Trƣờng Đại học Điện lực, Viện Công nghệ thông tin, Viện Hàn Lâm Khoa học Công nghệ Việt Nam, quynhdtt@tnus.edu.vn, quynhnh@epu.edu.vn, canhpv@epu.edu.vn, nqtao@ioit.ac.vn TÓM TẮT: Nhiều kỹ thuật tra cứu ảnh dựa vào nội dung thiết kế để lấy ảnh lân cận ảnh truy vấn bỏ qua ảnh liên quan nằm tồn khơng gian đặc trưng Trong báo này, đề xuất phương pháp tra cứu ảnh, gọi SCRF (spectral clustering in relevant feedback) có ưu điểm không yêu cầu người dùng phải xây dựng truy vấn phức tạp mà lấy ảnh nằm rải rác tồn khơng gian đặc trưng Bên cạnh đó, phương pháp khai thác đầy đủ thông tin tương tự ảnh phản hồi người dùng hình thành cụm liên quan ngữ nghĩa để xây dựng truy vấn đa điểm lần truy vấn Hơn nữa, thời gian tra cứu phương pháp không tăng theo số lượng ảnh phản hồi từ người dùng Chúng cung cấp kết thực nghiệm để minh chứng độ xác phương pháp Từ khóa: Tra cứu ảnh dựa vào nội dung, phản hồi liên quan, truy vấn đa điểm, phân cụm phổ I GIỚI THIỆU Tra cứu ảnh dựa vào nội dung (CBIR-Content Based Image Retrieval) nhận đƣợc nhiều quan tâm thập kỷ qua, nhu cầu xử lý hiệu lƣợng liệu đa phƣơng tiện khổng lồ tăng nhanh chóng Nhiều hệ thống CBIR đƣợc phát triển, gồm QBIC, Photobook, MARS, NeTra, PicHunter, Blobworld, VisualSEEK, SIMPLIcity hệ thống khác Trong hệ thống CBIR tiêu biểu, đặc trƣng ảnh trực quan mức thấp (tức màu, kết cấu hình dạng) đƣợc trích rút tự động cho mục tiêu đánh số mô tả ảnh Đối với cách tiếp cấn truy vấn mẫu, ảnh truy vấn đƣa vào hệ thống đƣợc xử lý tƣơng tự nhƣ ảnh sở liệu để sinh véctơ thích hợp Tra cứu đƣợc thực việc sinh danh sách ảnh đƣợc phân hạng theo thứ tự giảm dần độ đo tƣơng tự so với ảnh truy vấn Là vấn đề quan trọng CBIR, độ đo tƣơng tự lƣợng hóa giống nội dung cặp ảnh Phụ thuộc vào kiểu đặc trƣng mà lựa chọn độ đo tƣơng tự thích hợp Tất kỹ thuật tra cứu dựa vào nội dung thừa nhận thông tin tƣơng hỗ độ đo tƣơng tự ảnh ngữ nghĩa ảnh Bằng cách khác nhau, độ đo tƣơng tự cố gắng nắm đƣợc khía cạnh nội dung ảnh, ngữ nghĩa kế thừa từ độ tƣơng tự hay đặc trƣng mức thấp Tuy nhiên, ngữ nghĩa kế thừa từ độ tƣơng tự nhiều không giống với khái niệm mức cao đƣợc truyền tải ảnh (ngữ nghĩa ảnh) Đó khoảng cách ngữ nghĩa [7], phản ánh khác biệt lực mô tả hạn chế đặc trƣng trực quan mức thấp khái niệm mức cao Cách tiếp cận dựa vào phản hồi liên quan tra cứu ảnh dựa vào nội dung lĩnh vực nghiên cứu tích cực năm qua nhằm rút ngắn khoảng cách ngữ nghĩa Một số nghiên cứu tốt theo cách tiếp cận tìm thấy [1; 3; 8; 10; 11; 13; 14; 16] Hầu hết hệ thống CBIR có biểu diễn ảnh véctơ đặc trƣng sử dụng đặc trƣng trực quan, hai véctơ đƣợc coi gần hai ảnh tƣơng ứng với hai véctơ tƣơng tự Khi hệ thống CBIR đƣa tập ảnh đƣợc xem tƣơng tự với ảnh truy vấn cho, ngƣời dùng lấy ảnh liên quan truy vấn cho hệ thống điều chỉnh lại truy vấn sử dụng ảnh liên quan mà ngƣời dùng vừa chọn Các kỹ thuật CBIR dựa vào phản hồi liên quan không yêu cầu ngƣời dùng cung cấp truy vấn khởi tạo xác nhƣng yêu cầu ngƣời dùng xây dựng truy vấn lý tƣởng thông qua đánh giá ảnh liên quan hay không Các cách tiếp cận CBIR giả thiết rằng, nguyên tắc ảnh liên quan gần với ảnh truy vấn khơng gian đặc trƣng Tuy nhiên, tƣơng tự ảnh mà ngƣời nhận thức lại có khác biệt với khoảng cách chúng không gian đặc trƣng Tức là, ảnh liên quan mặt ngữ nghĩa nằm phân tán tồn khơng gian đặc trƣng nằm rải rác số cụm cụm Trong trƣờng hợp này, cách tiếp cận phản hồi liên quan truyền thống [1; 3; 5; 6; 8; 10; 11; 14; 16; 18; 19] không làm việc tốt dịch chuyển tâm truy vấn Thực phản hồi liên quan đề cập đến việc tính tốn nhiều điểm truy vấn không gian đặc trƣng thay đổi hàm khoảng cách Nhƣ đƣợc Hình 1(a), nghiên cứu theo hƣớng tiếp cận ban đầu [1; 5; 8; 16] biểu diễn truy vấn điểm đơn thay đổi trọng số thành phần đặc trƣng để tìm điểm truy vấn tối ƣu hàm khoảng cách tối ƣu Trong trƣờng hợp này, điểm đơn đƣợc tính tốn sử dụng trung bình trọng số tất ảnh liên quan không gian đặc trƣng Các đƣờng viền biểu diễn đƣờng có độ tƣơng tự tƣơng đƣơng Trong đó, cách tiếp cận nghiên cứu sau [7; 20; 21; 22; 24] biểu diễn truy vấn nhiều điểm để xác định hình đƣờng viền nhƣ Hình 1(b) Cách tiếp cận sử dụng phƣơng pháp phân cụm [23] để tính tốn điểm truy vấn sử dụng các kết truy vấn (các ảnh liên quan) dựa vào đánh giá phản hồi ngƣời dùng Với giả thiết ảnh liên quan đƣợc ánh xạ sang điểm gần theo độ đo tƣơng tự Một đƣờng viền rộng đƣợc xây dựng để phủ tất điểm truy vấn hệ thống tìm ảnh tƣơng tự với MỘT PHƢƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN 596 truy vấn Tuy nhiên, không gian đặc trƣng hàm khoảng cách khác so với nhận thức ngƣời dùng, ảnh liên quan đƣợc ánh xạ sang vùng có hình dạng tách rời khơng gian đặc trƣng Tức là, ảnh liên quan đƣợc phân hạng dƣới ảnh đƣợc tra cứu khác theo truy vấn cho Để hội tụ nhanh đến nhu cầu thông tin mức ngữ nghĩa cao hơn, hệ thống tìm ảnh tƣơng tự với điểm truy vấn nhƣ Hình 1(c) Một truy vấn mà tra cứu ảnh tƣơng tự với điểm truy vấn đƣợc gọi truy vấn tách rời hay truy vấn đa điểm Đặc biệt, truy vấn ảnh phức tạp đƣợc biểu diễn nhiều vùng tách rời ảnh liên quan ngữ nghĩa nằm rải rác số vùng trực quan vùng Hình 1.1 Hình dạng truy vấn (a) Dịch chuyển điểm truy vấn (b) Hình dạng lồi (đa điểm) (c) Hình dạng lõm (đa điểm) Tất kỹ thuật CBIR chắn thừa nhận thông tin tƣơng hỗ độ đo tƣơng tự ngữ nghĩa ảnh Một hệ thống CBIR điển hình xếp hạng ảnh mục tiêu theo độ đo tƣơng tự ảnh truy vấn nên lấy đƣợc ảnh nằm lân cận ảnh truy vấn bỏ qua ảnh liên quan nằm rải rác tồn khơng gian đặc trƣng Các hạn chế động lực để đề xuất phƣơng pháp cải thiện đƣợc tƣơng tác ngƣời dùng với hệ thống tra cứu ảnh cách khai thác đầy đủ thông tin độ tƣơng tự ảnh tập phản hồi Bên cạnh khơng cần địi hỏi ngƣời dùng phải đƣa vào nhiều ảnh truy vấn đa dạng thích hợp để biểu diễn nhu cầu thơng tin Thời gian tra cứu không tăng theo số lƣợng ảnh phản hồi ngƣời dùng Phần lại báo đƣợc tổ chức nhƣ sau: phần 2, trình bày chi tiết phƣơng pháp tra cứu ảnh sử dụng phân cụm phổ phản hồi liên quan Phần 3, mô tả kết thực nghiệm cuối kết luận đƣợc đƣa phần II PHƢƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN Trong phần này, giới thiệu chung hệ thống đề xuất Tiếp theo, mô tả chi tiết thành phần hệ thống Cuối cùng, thuật toán tra cứu đề xuất đƣợc trình bày 2.1 Mơ tả chung phƣơng pháp Véctơ đặc trƣng Tập véctơ đặc trƣng Hình 2.1 Cấu trúc phƣơng pháp đề xuất Phƣơng pháp SCRF đƣợc mô tả sơ đồ hình 2.1 Quá trình tra cứu việc trích rút đặc trƣng ảnh truy vấn Các đặc trƣng ảnh sở liệu thƣờng đƣợc trích rút lƣu trữ thành tập véctơ đặc trƣng Sử dụng đặc trƣng với độ đo tƣơng tự đặc trƣng, tƣơng đồng ảnh truy vấn ảnh sở liệu đƣợc so sánh phân hạng Tiếp theo, tập ảnh lân cận với ảnh truy vấn khởi tạo đƣợc trả cho ngƣời dùng Ngƣời dùng chọn ảnh liên quan tới mong muốn họ để hình thành lên tập ảnh phản hồi Một thuật toán phân cụm Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phƣơng Văn Cảnh, Ngô Quốc Tạo 597 đƣợc áp dụng lên tập ảnh phản hồi để hình thành lên cụm liên quan ngữ nghĩa Với cụm vừa tìm đƣợc phƣơng pháp chúng tơi thực tìm đại diện cho cụm để hình thành truy vấn đa điểm đƣa vào thực tra cứu lần lặp sau Quá trình đƣợc lặp lại ngƣời dùng ngừng phản hồi phƣơng pháp đƣa tập kết 2.2 Phƣơng pháp đề xuất Phƣơng pháp thay tìm truy vấn trung tâm cho mẫu tích cực mà ngƣời dùng chọn, chúng tơi thực phân cụm tập ảnh phản hồi ngƣời dùng Sau có đƣợc cụm ngữ nghĩa đó, chúng tơi tìm đại diện cho cụm Mỗi đại diện đƣợc dùng để hình thành lên truy vấn đa điểm lần lặp tra cứu Phƣơng pháp tìm ảnh tƣơng tự với điểm hay đại diện truy vấn đa điểm để trả danh sách ảnh đa dạng nằm rải rác tồn khơng gian đặc trƣng Thuật tốn phân cụm tập ảnh phản hồi từ ngƣời dùng Trong tập ảnh lân cận đƣợc trả truy vấn khởi tạo ngƣời dùng chọn n ảnh liên quan Để khai thác thông tin tƣơng tự ảnh tập ảnh phản hồi gọi thuật toán CRISE để hình thành lên các cụm ngữ nghĩa Mỗi ảnh đƣợc chọn để đại diện cho cụm phải ảnh mà tƣơng tự với tất ảnh cụm Các đại diện cụm hình thành lên truy vấn đa điểm lần lặp tra cứu Quá trình đƣợc lặp lại ngƣời dùng dừng phản hồi Biểu diễn phân cụm tập ảnh phản hồi Dƣới biểu diễn đồ thị, phân cụm đƣợc phát biểu tự nhiên nhƣ toán phân hoạch đồ thị Trong số nhiều phƣơng pháp phân hoạch đồ thị phổ [4; 15; 9; 17] đƣợc áp dụng thành cơng với nhiều lĩnh vực thị giác máy tính gồm phân tích chuyển động [5], phân đoạn ảnh [9; 17] nhận dạng đối tƣợng [15] Trong báo này, sử dụng phƣơng pháp sử dụng k véctơ riêng tính trực tiếp phân hoạch k-way [2] So với phƣơng pháp sử dụng véctơ riêng thời điểm gọi đệ quy [9], phƣơng pháp sử dụng k véctơ riêng đƣợc tốt mặt thực hành Nói chung, phƣơng pháp phân hoạch đồ thị cố gắng tổ chức nút thành nhóm cho độ tƣơng tự phạm vi nhóm cao, và/hoặc độ tƣơng tự nhóm thấp Một đồ thị cho G=(V,E) với ma trận affinity A, cách đơn giản để định lƣợng giá cho nút phân hoạch thành hai tập rời C C2 (C1 C2= C1 C2=V) tổng có trọng số cạnh mà kết nối hai tập Tiếp theo, chúng tơi trình bày ngắn gọn phƣơng pháp dựa nghiên cứu A Y Ng cộng (xem chi tiết [2]) ‖ ‖ Đầu tiên, từ n điểm liệu ảnh, phƣơng pháp xây dựng ma trận affinity A theo (i ≠ j), aii=0) (1) Ở tham số tỉ lệ điều khiển mức độ lực aij giảm nhanh với khoảng cách si sj, phƣơng pháp chọn tự động xem [2] Một giá trị aij hai ảnh “cao” hai ảnh tƣơng tự Xây dựng ma trận đƣờng chéo D phần tử (i,i) tổng hàng thứ i ma trận A D ma trận chéo ∑ với Tính ma trận Laplace chuẩn hóa : L = D-1/2 A D-1/2 Tìm k véctơ riêng x1,x2,…xk lớn ma trận L, x1=(x11, x12, x13, …, x1n), x2=(x21, x22, x23, …, x2n), ….xk=(xk1, xk2, xk3, …, xkn) xây dựng ma trận X = [x1T ,x2T ,…,xkT ] Є Rn x k , cụ thể: x1T x11 x12 x13 … … … … x3n xkT xk1 xk2 xk3 … … x2n x3T x31 x32 x33 … … … x1n x2T x21 x22 x23 xkn Xây dựng ma trận Y từ X việc chuẩn hóa dịng X chiều dài đơn vị ma trận Y (Y ij = ) ∑ … … yk yn1 yn2 … … … y1k y2k y3k … y13 y32 y33 … y12 y22 y32 … y1 y11 y2 y21 y3 y31 ynk 598 MỘT PHƢƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN Mỗi dòng ma trận Y đƣợc xem nhƣ điểm không gian véctơ k chiều Đến đây, có n điểm khơng gian Rk, phân cụm (yi)i=1…n không gian Rk thành k cụm C1,C2,…,Ck thông qua K-Means Cuối cùng, gán điểm si tới cụm j hàng thứ i ma trận Y tƣởng ứng với cụm j Hình dƣới thuật toán phân cụm sử dụng k véctơ riêng CRISE (Clustering Relevant Images Set using Eigenvectors) thực việc phân cụm tập ảnh liên quan mà ngƣời dùng chọn thành k cụm Thuật toán CRISE Input: - Tập ảnh S={s1,s2,…,sn} với si Rn - Số cụm k Output: k cụm: C1, C2,…, Ck Bước 1: Xây dựng ma trận affinity for i to n for j to n ‖ ‖ if (i j) else Bước 2: Xây dựng ma trận đường chéo ma trận Laplace L for i to n ∑ L D-1/2 A D-1/2 Bước 3: Tìm k véctơ riêng lớn x1, x2,…, xk ma trận Laplace L for i to k X [x1T ,x2T ,…,xkT ] Bước 4: Xây dựng ma trận Y từ X for i to n for j to k yij xij/ ∑ )1/2 Y [y1 , y2 ,…, yk ] Bước 5: Phân thành k cụm thông qua K-Means for i to n K-Mean(P) Bước 6: Gán si vào cụm for i to n if Return C1, C2,…, Ck Hình 2.2 Thuật tốn CRISE Tìm ảnh đại diện cho cụm Để thực việc tra cứu ảnh hiệu quả, ảnh đại diện thích hợp phải thu đƣợc cho cụm Ở đây, ảnh đƣợc chọn đại diện cho cụm phải ảnh mà tƣơng tự với tất ảnh cụm Phát biểu đƣợc minh họa toán học nhƣ sau: Với biểu diễn đồ thị ảnh đƣợc cho G=(V,E) với ma trận affinity A, cho tập cụm ảnh {C1, C2,…, Ck} (tập cụm này phân hoạch V, tức Ci Cj = , i ) ảnh đại diện ⋃ ∑ (2) Nhƣ vậy, với cụm, ảnh đại diện ảnh mà có tổng độ tƣơng tự phạm vi cụm cực đại Khoảng cách từ ảnh đến truy vấn đa điểm Khác với phƣơng pháp tra cứu ảnh khác, phƣơng pháp chúng tơi hình thành lên truy vấn đa điểm MQ=(Q1, Q2, Qk) từ đại diện cụm Khi đó, khoảng cách từ ảnh đến truy vấn đa điểm MQ=(Q1, Q2, Qk) cực tiểu khoảng cách có trọng số từ ảnh đến Qj truy vấn đa điểm đƣợc tính theo cơng thức (3): (3) Trong công thức (3), với i=1…, N, j=1…, k khoảng cách từ ảnh đến điểm truy vấn Qj truy vấn đa điểm MQ Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phƣơng Văn Cảnh, Ngơ Quốc Tạo 599 Thuật tốn tra cứu ảnh sử dụng phân cụm phổ phản hồi liên quan Hình 2.2 dƣới mơ tả Thuật tốn tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi, có tên SCRF Khi ngƣời dùng thực truy vấn, phƣơng pháp sử dụng thuật toán MQMRBR [12] để tra cứu tập ảnh sở liệu DI cho kết tập ảnh S Ngƣời dùng thực việc chọn tập ảnh liên quan E tập S thông qua hàm , phƣơng pháp phân cụm tập E thành k cụm thơng qua thuật tốn CRIES tìm đại diện cho k cụm thơng qua hàm gán cho tập đại diện Khoảng cách ảnh sở liệu DIi truy vấn đa điểm MQ đƣợc tính theo cơng thức (3) Q trình tiếp tục ngƣời dùng dừng việc chọn ảnh liên quan Thuật toán tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi liên quan Input: Tập N ảnh sở liệu Ảnh truy vấn Ouput: Tập ảnh kết DI Q S’ MQMRBR(DI, Q, S) // Thực tập ảnh DI với truy vấn Q tập kết S Repeat // ngƣời dùng chọn ảnh liên quan từ tập ảnh S // phân tập ảnh liên quan E thành k cụm RI For i←1 to N For j to k Tính disi theo cơng thức sau : Sort(DI) // xếp ảnh tập ảnh sở liệu DI theo thứ tự tăng dần khoảng cách so với truy vấn đa điểm MQ Return S’ // danh sách ảnh có khoảng cách nhỏ với MQ Until (User dừng phản hồi) Hình 2.3 Thuật tốn tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi liên quan SCRF III THỰC NGHIỆM 3.1 Môi trƣờng thực nghiệm Cơ sở liệu ảnh: Cơ sở liệu đƣợc sử dụng cho thử nghiệm đƣợc tổ chức lại từ tập Corel Photo Gallery Tập gồm 80 loại1, ví dụ nhƣ là: mùa thu, hàng không, cảnh, lâu đài, đám mây, chó, voi, núi băng, linh trƣởng, tàu, nhũ đá, hỏa tiến, hổ, tàu hỏa, thác nƣớc,… Tất ảnh tập ảnh có tính chất chứa đối tƣợng tiền cảnh bật Đa số nhóm gồm 100 ảnh, có vài nhóm có 100 hình ảnh Cỡ ảnh có max(chiều rộng, chiều cao)=120 min(chiều rộng, chiều cao)=80 Véctơ đặc trƣng: Các đặc trƣng đƣợc chia làm hai loại là: đặc trƣng màu đặc trƣng kết cấu (xem Bảng dƣới) Bảng Các loại đặc trƣng Các loại đặc trƣng Lƣợc đồ màu Loại đặc trƣng màu Tƣơng quan màu Gắn kết màu Loại đặc trƣng kết Biến đổi wavelet cấu gabor Wavelet Tên đặc trƣng hsvHistogram color auto correlogram colorMoments waveletTransform gaborWavelet Độ dài 32 64 40 48 Biểu diễn ảnh: Mỗi ảnh đƣợc sử dụng biểu diễn năm đặc trƣng trực quan gồm ba đặc trƣng màu hai đặc trƣng kết cấu Các véctơ đặc trƣng tƣơng ứng với kênh bảng hai chiều gồm 10800 dòng (mỗi dòng chứa véctơ đặc trƣng ảnh) 190 cột (độ dài tổng véctơ đặc trƣng) https://sites.google.com/site/dctresearch/Home/content-based-image-retrieval (Download lúc 6:32 AM ngày 25/12/2016) MỘT PHƢƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN 600 Tập tin cậy (ground truth): Tập tin cậy Corel đƣợc sử dụng rộng rãi đánh giá CBIR, chúng tơi sử dụng phân loại Corel làm tin cậy nền, tức xem tất ảnh loại Corel liên quan Tập tin cậy gồm cột (có tiêu đề: ID ảnh truy vấn, ID ảnh Sự liên quan) gồm 1,981,320 dòng 3.2 Chiến lƣợc mô phản hồi liên quan Để bắt chƣớc hành vi ngƣời, thực mô phản hồi liên quan thử nghiệm Đầu tiên, truy vấn khởi tạo đƣợc thực để tạo kết truy vấn Chúng mô tƣơng tác ngƣời dùng việc chọn n ảnh liên quan từ kết tra cứu khởi tạo dựa vào tập tin cậy (ground truth) Những ảnh liên quan từ lần lặp phản hồi đƣợc phân thành k cụm thực tìm đại diện cho k cụm Sau k đại diện đƣợc dùng để xây dựng truy đa điểm phục vụ cho tra cứu Sau kết tra cứu đƣợc gộp lại để tạo danh sách kết tổng hợp theo chiến lƣợc truy vấn đa điểm tách rời Phản hồi liên quan đƣợc thực theo chiến lƣợc chọn ảnh liên quan (dựa vào tập tin cậy nền) danh sách kết Trong chiến lƣợc này, trƣờng hợp xấu khơng có ảnh liên quan ngồi ảnh truy vấn trƣờng hợp tốt có n-1 ảnh liên quan ngồi ảnh truy vấn Do đó, số lƣợng ảnh liên quan dao động từ đến n ảnh (bao gồm ảnh truy vấn) Chiến lƣợc đƣợc sử dụng để mô ngƣời dùng thực tế thực nghiệm 3.3 Thực truy vấn đánh giá Trong thực nghiệm chúng tôi, yếu tố đƣợc lựa chọn nhƣ sau: Một truy vấn khởi tạo đƣợc đƣa vào hệ thống, kết tƣơng ứng với truy vấn đƣợc hiển thị cho ngƣời dùng Sau đó, ngƣời dùng phản hổi danh sách kết tƣơng ứng với truy vấn khởi tạo để hình thành danh sách ảnh phản hồi Hệ thống thực phân cụm danh sách ảnh phản hồi tìm đại diễn cho cụm Đại diện cụm xây dựng lên truy vấn đa điểm lần lặp truy vấn Trong pha tính khoảng cách, khoảng cách từ ảnh sở liệu đến truy vấn đa điểm giá trị cực tiểu khoảng cách từ ảnh sở liệu tới đại diện truy vấn đa điểm để lấy đƣợc ảnh nằm rải rác tồn khơng gian đặc trƣng Q trình dừng lại ngƣời dùng không tiếp tục phản hồi Mơ hình hệ thống thực q trình đƣợc thể Hình 3.3 Q1 S Q Máy tìm kiếm Phân cụm ảnh phản hồi Q2 Máy tìm kiếm Tìm đại diện cụm R Qk Hình 3.3 Mơ hình hệ thống Độ xác trung bình mức 100 ảnh trả đƣợc sử dụng để đánh giá Bốn thiết lập phản hồi đƣợc sử dụng để so sánh 1, 2, 3, số đại diện truy vấn đa điểm chiến lƣợc phản hồi, có cấu hình Ba phƣơng pháp khác đƣợc sử dụng để so sánh bao gồm CCH (hệ thống CBIR truyền thống với biểu diễn C+ đặc trƣng toàn cục), hệ thống ERIN [12] với hệ thống SCRF mà đề xuất Bảng Bảng kết phƣơng pháp số đại diện truy vấn đa điểm lần phản hồi Phƣơng pháp CCH ERIN SCRF Độ xác theo số đại diện truy vấn đa điểm 0.20 0.22 0.23 0.24 0.24 0.29 0.31 0.33 0.35168 0.43178 0.48154 0.48278 Trong Bảng 2, thể độ xác trung bình ba phƣơng pháp CCH, ERIN phƣơng pháp SCRF mức 1, 2, , 6, 8, 10 số đại diện truy vấn đa điểm với phƣơng pháp chúng tơi số cụm số truy vấn Độ xác tỉ số số ảnh liên quan với ảnh truy vấn tập kết trả tổng số ảnh trả Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phƣơng Văn Cảnh, Ngô Quốc Tạo 601 IV KẾT LUẬN Chúng tập trung vào đề xuất phƣơng pháp, có tên SCRF, giải hai vấn đề là: (1) tìm ảnh liên quan ngữ nghĩa nằm rải rác tồn khơng gian đặc trƣng với độ xác cao (2) thời gian tra cứu không tăng theo số phản hồi ngƣời dùng Để giải đƣợc hai vấn đề này, tận dụng đánh giá ngƣời dùng để hình thành tập ảnh liên quan phân cụm chúng thành cụm ngữ nghĩa nằm rải rác toàn không gian đặc trƣng đại diện cụm hình thành lên truy vấn đa điểm Phƣơng pháp sử dụng thuật tốn phân cụm phổ có ƣu điểm phân cụm ảnh đƣợc kết nối với nhƣng khơng thiết phải nhóm vào đƣờng bao lồi nên thực tốt thuật toán phân cụm truyền thống Từ tra cứu đƣợc ảnh nằm rải rác tồn khơng gian đặc trƣng nâng cao độ xác Kết thực nghiệm sở liệu đặc trƣng gồm 10.800 ảnh phƣơng pháp đƣợc đề xuất SCRF cung cấp độ xác cao hẳn so với phƣơng pháp RIBR phƣơng pháp ERIN Chúng xin chân thành cảm ơn đề tài: “Nghiên cứu phƣơng pháp tra cứu ảnh dựa vào đa truy vấn”, mã số PTNTDD17.04 hộ trợ TÀI LIỆU THAM KHẢO [1] Andre B, Vercauteren T, Buchner AM, Wallace MB, Ayache N (2012) Learning semantic and visual similarity for endomicroscopy video retrieval IEEE Transactions on Medical Imaging 31(6):1276-88 [2] A Y Ng, M I Jordan, and Y Weiss On spectral clustering: Analysis and algorithm In Proceedings Of Neural Information Processing Systems (NIPS), 2001 [3] A W M Smeulders, M Worring, A Gupta, R Jain, Content-based image retrieval at the end of the early years, IEEE Trans Pattern Anal Mach Intell 22 (12) (2000) 1349-1380 [4] Bartolini, I., Ciacci, P., Waas, F., (2001) Feedbackbypass: A new approach to interactive similarity query processing In: Proceedings of the 27th VLDB Conference, Roma, Italy, pp 201-210 [5] J Costeira and T Kanade, “A multibody factorization method for motion analysis,” inProc Int Conf Computer Vision, 1995, pp 1071-1076 [6] D Liu, K A Hua, K Vu, and N Yu, (2009) “Fast Query Point Movement Techniques for Large CBIR Systems”, IEEE Transactions on Knowledge and Data Engineering, vol 21, No 5, pp 729-743 [7] K A Hua, N Yu, and D Liu (2006) Query Decomposition: A Multiple Neighborhood Approach to Relevance Feedback Processing in Content-based Image Retrieval InProceedings of the IEEE ICDE Conference [8] Ishikawa, Y., Subramanya, R., Faloutsos, C., (1998) Mind Reader: Querying databases through multiple examples In: Proceedings of the 24th VLDB Conference, New York, USA, pp 218-227 [9] J Shi and J Malik, “Normalized cuts and image segmentation,” IEEE Trans Pattern Anal Mach Intell., vol 22, no 8, pp 888-905, Aug 2000 [10] Norton, D.; Heath, D.; and Ventura, D (2016) Annotating images with emotional adjectives using features that summarize local interest points IEEE Transactions on Affective Computing, Under Review [11] M Ortega-Binderberger and S Mehrotra (2004) Relevance feedback techniques in the MARS image retrieval systems Multimedia Systems, 9(6):535-547 [12] Quynh N H., Quynh D T T., Tao N Q., Dung C V., Canh P V., Sơn A H (2016) Một phƣơng pháp tra cứu ảnh biểu diễn nhu cầu thông tin ngƣời dùng hiệu quả, Kỷ yếu hội nghị Quốc gia lần thứ Nghiên cứu ứng dụng Công nghệ thông tin (FAIR) [13] Rui, Y., Huang, T., Ortega, M., Mehrotra, S., (1998) Relevance feedback: A power tool for interactive contentbased image retrieval IEEE Transactions on Circuits and Systems for Video Technology (5), pp 644-655 [14] Rui, Y., Huang, T., Chang, S F., (1999) Image Retrieval: current techniques, promising directions and open issues Journal of Visual Communication and Image Representation 10, 39-62 [15] S Sarkar and P Soundararajan, “Supervised learning of large percep-tual organization: graph spectral partitioning and learning automata,” IEEE Trans Pattern Anal Mach Intell., vol 22, no 5, pp 504-525, May 2000 [16] T Gevers and A Smeulders (2004) Content-based image retrieval: An overview In G Medioni and S B Kang, editors, Emerging Topics in Computer Vision Prentice Hall [17] Y Weiss, “Segmentation using eigenvectors: a unifying view,” inProc Int Conf Computer Vision, 1999, pp 975-982 [18] Flickner, M., Sawhney, H., Niblack, W., et al., (1995) Query by image and video content: The QBIC system IEEE Computer Magazine 28 (9), 23-32 [19] Rocchio, J J., (1971) Relevance feedback in information retrieval In: Salton, G (Ed.), The SMART Retrieval System-Experiments in Automatic Document Processing Prentice Hall, Englewood Cliffs, NJ, pp 313-323 602 MỘT PHƢƠNG PHÁP TRA CỨU ẢNH HIỆU QUẢ SỬ DỤNG PHÂN CỤM PHỔ TRONG PHẢN HỒI LIÊN QUAN [20] O Chum, J Philbin, J Sivic, M Isard, and A Zisserman (2007) Total recall: Automatic query expansion with a generative feature model for object retrieval In Proc ICCV [21] Porkaew, K., Chakrabarti, K., (1999) Query refinement for multimedia similarity retrieval in MARS In: Proceedings of the 7th ACM Multimedia Conference, Orlando, Florida, pp 235-238 [22] R Arandjelovi´c and A Zisserman (2012) Three things everyone should know to improve object retrieval In Proc CVPR [23] Charikar, M., Chekuri, C., Feder, T., Motwani, R., (1997) Incremental clustering and dynamic information retrieval In: Proceedings of the ACM STOC Conference, pp 626-635 [24] Quynh Dao Thi Thuy, Quynh Nguyen Huu, Canh Phuong Van, Tao Ngo Quoc (2017), An efficient semantic Related image retrieval method, Expert Systems with Applications, Volume 72, pp 30-41 AN EFFICIENT IMAGE RETRIEVAL METHOD USING SPECTRAL CLUSTERING IN RELEVANT FEEDBACK Nguyen Huu Quynh, Dao Thi Thuy Quynh, Phƣơng Văn Canh, Ngo Quoc Tao ABSTRACT: Many previous techniques were designed to retrieve images in a certain neighborhood of the query image, thus bypassing the related images in the whole feature space Besides, some designed techniques only care about similarity between query image and data image that neglects similarities among data images In this paper, we propose an efficient image retrieval method using spectral clustering in relevant feedback (SCRF) which has advantages that not require the user to provide initial queries correctly but also retrieve relevant images in the entire feature space In addition, our method fully exploit the similarity information of feedback image and contrust multipoints query in next query Furthermore, the retrieval time of our method also is not increase with the number of user feedback We also provide experimental results to demonstrate the effectiveness of our method Keywords: Content based image retrieval, relevant feedback, multiponts query, spectral clustering