Học độ đo tương tự với ứng dụng tra cứu ảnh

Bài viết Học độ đo tương tự với ứng dụng tra cứu ảnh trình bày một giải pháp nhằm thu hẹp khoảng cách ngữ nghĩa trong CBIR bằng việc học độ đo tương tự từ thông tin phản hồi của người dùng dựa trên kỹ thuật lan truyền nhãn trên đồ thị.

Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 HỌC ĐỘ ĐO TƯƠNG TỰ VỚI ỨNG DỤNG TRA CỨU ẢNH Ngô Trường Giang1, Nguyễn Hữu Đức1 Khoa Công nghệ Thông tin, Trường đại học Thủy lợi, email: giangnt@tlu.edu.vn số lượng mẫu người dùng gán nhãn thường ít, điều ảnh hưởng độ xác phân lớp Các phương pháp tiếp cận theo học truyền dẫn khắc phục vấn đề cách khai thác liệu gán nhãn không gán nhãn [1] Những cách tiếp cận thường dựa học đa tạp để lan truyền điểm số xếp hạng định nghĩa mơ hình lan truyền sử dụng liệu chưa gán nhãn để đo độ liên quan ảnh truy vấn với ảnh sở liệu Một phương pháp điển hình theo tiếp cận đề xuất Rota [5] Tác giả đề xuất sử dụng bước ngẫu nhiên dùng ngữ cảnh phân đoạn ảnh để áp dụng vào tra cứu ảnh Những ảnh liên quan không liên quan gán nhãn người sử dụng vòng phản hồi sử dụng "hạt giống" cho bước ngẫu nhiên Xác suất để bước ngẫu nhiên ảnh tới ảnh có liên quan trước gặp phải ảnh không liên quan sử dụng để xếp hạng ảnh chưa gán nhãn sở liệu Do bước ngẫu nhiên với ràng buộc sử dụng phương pháp quy, nên phương pháp có hạn chế xuất phát từ hạn chế bước ngẫu nhiên Bài báo trình bày giải pháp nhằm thu hẹp khoảng cách ngữ nghĩa CBIR việc học độ đo tương tự từ thông tin phản hồi người dùng dựa kỹ thuật lan truyền nhãn đồ thị Giải pháp đề xuất gần với ý tưởng [5] chuyển tốn phản hồi liên quan tốn đồ thị, thay tập trung vào khác biệt bên nhãn, giải pháp tiếp cận giải toán theo hướng tìm mơ hình lan truyền GIỚI THIỆU Trong tra cứu ảnh dựa nội dung (Content Based Image Retrieval - CBIR), trở ngại lớn khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao Những ảnh có đặc trưng giống khái niệm ngữ nghĩa khác ngược lại [4] Để hạn chế trở ngại này, phản hồi liên quan (Relevance Feedback - RF) sử dụng để cải thiện hiệu hệ thống CBIR Nói chung, RF nhằm mục đích cải thiện hiệu tra cứu thông qua việc học điều chỉnh người dùng dựa kết tra cứu Theo cách này, hệ thống cần phải thực thông qua số vòng lặp Trong vòng lặp, hệ thống trả lại danh sách ngắn ảnh tương tự với ảnh truy vấn dựa khoảng cách Euclidean Sau đó, ảnh đưa cho người sử dụng gán nhãn liên quan không liên quan với ảnh truy vấn Sử dụng ảnh gán nhãn làm liệu huấn luyện, kỹ thuật học máy áp dụng để phân lớp tất ảnh sở liệu thành hai lớp liên quan không liên quan với ảnh truy vấn Hàm phân lớp sau sử dụng hàm xếp hạng để đo độ liên quan ảnh sở liệu xếp hạng chúng theo thứ tự liên quan với ảnh truy vấn [3,4,5] Có hai hướng tiếp cận dựa phản hồi liên quan cho CBIR: Quy nạp truyền dẫn[4] Các phương pháp tiếp cận quy nạp sử dụng phân lớp huấn luyện theo cách có giám sát để phân biệt ảnh có liên quan khơng liên quan, xếp hạng ảnh dựa mức độ liên quan chúng Hạn chế phương pháp 87 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 z số chuẩn hóa Likelihood ảnh định nghĩa phân bố hỗn hợp p  xi xmy , yk  từ ảnh phản hồi xmy với cho nhãn đồ thị Mỗi ảnh sở liệu xem đỉnh đồ thị trọng số cạnh độ tương tự hai ảnh Sau vòng lặp phản hồi, ảnh người dùng gán nhãn xem đỉnh khởi động bước ngẫu nhiên đồ thị Xác suất trạng thái ổn định bước ngẫu nhiên tính tốn, sau sử dụng để ước lượng likelihood đỉnh Ước lượng sau sử dụng để xếp hạng ảnh liên quan tới ảnh truy vấn k  theo (2) cuối thu xác suất hậu nghiệm p  yk xi  theo (1) đỉnh biểu diễn ảnh chưa gán nhãn có liên quan đến khái niệm truy vấn Xác suất hậu nghiệm sau xem độ tương tự ảnh chưa gán nhãn với ảnh truy vấn KẾT QUẢ NGHIÊN CỨU 3.1 Trích chọn đặc trưng (1) n 1 n Giả sử X y   x1y , x2y , , xMy  ( X y  X ) k k k k k k tập M k ảnh người dùng gán với nhãn yk Khi likelihood p  xi yk  thu bởi: p  xi yk    z *Mk   Mk  p xi xmyk , yk p xmyk yk z i 1  px Mk m 1 i xmyk , yk  bố Bước 3: Ước lượng likelihood p  xi yk  hậu nghiệm tính tốn bởi: n Phân k phát biểu riêng biết theo xác suất tiên nghiệm nhãn p  yk  likelihood p  xi yk  Xác suất  px y  p y   k nhãn, với xi  X   x1 , x2 , xL U  biểu diễn ảnh vec tơ d chiều Bài toán phản hồi liên quan hệ thống CBIR phát biểu dạng toán lan truyền nhãn đồ thị, ảnh xi  X đỉnh đồ thị gán nhãn yk  Y   y1 , y2 , yK  Từ quan điểm lý thuyết định, biết xác suất hậu nghiệm p  yk xi  , dễ dàng gán cho xi nhãn phù hợp Trong tiếp cận lan truyền, mơ hình phân bố liên hợp p  yk xi  ảnh nhãn p  xi yk  p  yk  yk m k L K  p xmyk , yk ảnh xi ảnh phản hồi xmy từ người dùng Xác suất trạng thái ổn định bước ngẫu nhiên sử dụng để mơ hình hóa phân bố Giải pháp mơ tả tóm tắt sau: Bước 1: Xây dựng đồ thị trọng số với đỉnh ảnh sở liệu Bước 2: Tính toán xác suất trạng thái ổn định bước ngẫu nhiên khởi động đỉnh gán nhãn người dùng xmy quay trở lại đỉnh xi đồ thị Xác suất trạng thái ổn định dùng để định nghĩa phân bố hỗn hợp p  xi xmy , yk  Kí hiệu  x1y , , xLy  ảnh gán nhãn thông tin phản hồi từ người dùng,  xL 1 , , xL U  ảnh chưa gán p  yk xi    bố p xi x , yk cho biết độ liên quan PHƯƠNG PHÁP NGHIÊN CỨU phân k  (2) 88 Nghiên cứu thử nghiệm tập liệu ảnh Wang[2] bao gồm 1000 ảnh chia thành 10 lớp, lớp gồm 100 ảnh liên quan Đây số tập liệu sử dụng rộng rãi cho đánh giá hệ thống tra cứu ảnh Trong thử nghiệm, ba kiểu đặc trưng màu, kết cấu hình dạng sử dụng Đặc trưng màu biểu diễn vecto chiều mô tả momen màu; Đặc trưng kết cấu biểu diễn vecto đặc trưng chiều; Đặc trưng hình dạng sử dụng biểu đồ hướng cạnh biểu diễn vecto đặc trưng 18 chiều Tất đặc trưng kết hợp thành vecto đặc trưng 36 chiều chuẩn hóa dạng phân phối chuẩn Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 giải pháp chuyển toán phản hồi liên quan toán đồ thị, thay tập trung vào khác biệt bên nhãn, giải pháp tiếp cận giải tốn theo hướng tìm mơ hình lan truyền cho nhãn đồ thị để ước lượng khả gán nhãn cho đỉnh Ước lượng xem độ tương tự ảnh chưa gán nhãn so với ảnh truy vấn Thực nghiệm thực tập liệu Wang tính hiệu giải pháp 3.2 Đánh giá hiệu Trong thí nghiệm, 50 ảnh truy vấn chọn ngẫu nhiên từ lớp sở liệu, lớp ảnh Với truy vấn, bốn vòng lặp phản hồi thực Tại vòng phản hồi, điều chỉnh người dùng liên quan mô cách tự động Hai mươi ảnh kết tra cứu tự động gán nhãn liên quan không liên quan dựa vào thông tin lớp Các ảnh lớp xem liên quan số cịn lại xem khơng liên quan Tất ảnh gán nhãn vòng lặp phản hồi sử dụng để cập nhật likelihood xác suất hậu nghiệm, dùng để làm độ đo tương tự dùng để xếp hạng ảnh Trong nghiên cứu này, độ đo Average Precision định nghĩa NISTTREC video sử dụng để đánh giá hiệu giải pháp Bảng biến thiên giá trị AP theo số vòng lặp phản hồi với số lượng ảnh trả khác 20, 40, 60, 80, 100 giải pháp đề xuất vịng phản hồi tương ứng (Hình 1) biểu diễn kết sau vòng phản hồi phạm vi 20 ảnh trả hai phương pháp Ở đây, giá trị AP thu vòng lặp phản hồi RF0 cho biết giá trị AP tính tốn kết tra cứu truy vấn trước trình phản hồi liên quan hoạt động Sau vòng lặp đầu tiên, so với kết tra cứu mà khơng có phản hồi liên quan, hiệu giải pháp cải thiện đáng kể, giải pháp đề xuất cho kết tốt hơn, đặc biệt vịng phản hồi sớm Hình So sánh kết trả sau vòng phản hồi liên quan, hai giải pháp TÀI LIỆU THAM KHẢO [1] Belahyane I., Mammass M., Abioui H., Idarrou A (2020) Graph-Based Image Retrieval: State of the Art In: Image and Signal Processing ICISP 2020 [2] James Z Wang, Jia Li, Gio Wiederhold (2001) SIMPLIcity: Semantics-sensitive Integrated Matching for Picture Libraries IEEE Trans on Pattern Analysis and Machine Intelligence [3] Kundu, Malay & Chowdhury, Manish & Rota Bulo, Samuel (2015) A Graph-Based Relevance Feedback Mechanism in Content-Based Image Retrieval Knowledge-Based Systems [4] Li J., Allinson N.M (2013) Relevance Feedback in Content-Based Image Retrieval: A Survey, Handbook on Neural Information Processing Intelligent Systems Reference Library Springer [5] S Rota Bu, M Rabbi, and M Pelillo (2011) Contentbased image retrieval with relevance feedback using random walks Pattern Recognition Bảng Giá trị AP cho vòng phản hồi RF0 RF1 RF2 RF3 RF4 20 0.52 0.75 0.80 0.85 0.88 40 0.40 0.60 0.66 0.70 0.75 60 0.30 0.35 0.50 0.55 0.61 80 0.22 0.27 0.44 0.46 0.55 100 0.19 0.23 0.38 0.43 0.51 KẾT LUẬN Bài báo trình bày giải pháp áp dụng mơ hình học lan truyền đồ thị để học độ đo tương tự cho ứng dụng tra cứu ảnh Ý tưởng 89 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 90 ... KẾT LUẬN Bài báo trình bày giải pháp áp dụng mơ hình học lan truyền đồ thị để học độ đo tương tự cho ứng dụng tra cứu ảnh Ý tưởng 89 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8... xem độ tương tự ảnh chưa gán nhãn với ảnh truy vấn KẾT QUẢ NGHIÊN CỨU 3.1 Trích chọn đặc trưng (1) n 1 n Giả sử X y   x1y , x2y , , xMy  ( X y  X ) k k k k k k tập M k ảnh người dùng gán với. .. nhiên từ lớp sở liệu, lớp ảnh Với truy vấn, bốn vòng lặp phản hồi thực Tại vòng phản hồi, điều chỉnh người dùng liên quan mô cách tự động Hai mươi ảnh kết tra cứu tự động gán nhãn liên quan không