Nghiên cứu phương pháp tra cứu ảnh sử dụng thông tin phản hồi từ người dùng (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Thị Tâm NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG THÔNG TIN PHẢN HỒI TỪ NGƯỜI DÙNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2014 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Nguyễn Hữu Quỳnh Phản biện 1: TS Hoàng Lê Minh Phản biện 2: PGS.TS Đặng Văn Chuyết Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: 14h15 ngày 15 tháng 02 năm 2014 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Trong thập kỷ số, hàng triệu ảnh lưu trữ sở liệu khổng lồ Internet, để tìm ảnh quan tâm tập ảnh đòi hỏi cách tiếp cận Hầu hết ảnh sở hữu, khơng có tri thức để hỗ trợ tìm kiếm ảnh quan tâm thuận lợi Nếu tìm kiếm ảnh sở liệu cách thủ cơng, tìm kiếm ảnh mong muốn khả nhận dạng nội dung ảnh người tuyệt vời (khơng có đối tượng sánh kịp) Tuy nhiên, thách thức lớn thực tìm kiếm ảnh sở liệu ảnh lớn người vấn đề tốc độ Nhiều hệ thống tra cứu ảnh dựa vào nội dung (CBIR – Content Based Image Retrieval) thực tra cứu dựa vào đặc trưng tồn cục Nhiều người dùng truy cập hệ thống CBIR để tìm đối tượng, hệ thống dường thất bại, dấu hiệu đơn tính cho tồn ảnh khơng thể thu đủ thuộc tính quan trọng đối tượng riêng biệt Các hệ thống tra cứu ảnh dựa vào vùng (RBIR – Rigon Based Image Retrieval) cố gắng khắc phục hạn chế đặc trưng toàn cục việc biểu diễn ảnh mức đối tượng dẫn tới gần với nhận thức người Các phương pháp CBIR cho phép máy tính có hiểu biết ảnh, thơng qua tạo biểu diễn nội dung ảnh nhóm biểu diễn dựa độ tương tự chúng Các phương pháp khó để trả kết thỏa mãn với người dùng, độ phức tạp biến đổi ảnh trực quan làm cho việc tra cứu ảnh thỏa mãn yêu cầu người dùng mò kim đáy biển Một kỹ thuật học tương tác phản hồi liên quan (RF – Relevance Feedback) phát triển ban đầu tra cứu văn RF đưa vào CBIR năm 1990 để cải tiến hiệu hệ thống tra cứu ảnh Ý tưởng RF để người dùng hướng dẫn hệ thống Trong trình tra cứu, người dùng tương tác với hệ thống đánh giá liên quan ảnh tra cứu (theo ý chủ quan người dùng) Với thông tin thêm vào này, hệ thống học quan tâm người dùng cho kết tốt Mục tiêu luận văn sử dụng thông tin mà người dùng quan tâm để nâng cao hiệu hệ thống Để thực điều này, thuật toán đánh lại trọng số vùng dựa thông tin quan tâm người dùng đề xuất Các trọng số vùng trùng với nhận thức người cải tiến độ xác Các trọng số vùng ghi nhớ lại để dùng cho truy vấn sau Nội dung luận văn tổ chức sau: Chương 1: Tổng quan tra cứu ảnh sử dụng phản hồi liên quan: Chương nêu nét tra cứu ảnh dựa vào nội dung, phản hồi liên quan tra cứu thông tin tra cứu ảnh Chương : Phương pháp tra cứu ảnh sử dụng thông tin phản hồi từ người dùng: Chương giới thiệu kỹ thuật sử dụng tra cứu ảnh dựa vào nội dung sử dụng phản hồi liên quan bao gồm kỹ thuật phân vùng ảnh, trích rút đặc trưng đánh lại trọng số vùng Chương 3: Chương trình thử nghiệm: Xây dựng mơ hình, chạy thử với tập sở liệu gồm 1000 ảnh đánh giá hiệu phương pháp tra cứu CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH SỬ DỤNG PHẢN HỒI LIÊN QUAN 1.1 Tra cứu thông tin Tra cứu thông tin (IR – Information Retrieval) việc thu thập nguồn thông tin liên quan tập nguồn tài nguyên Truy vấn hệ thống văn bản, hình ảnh, audio, đồ tư video 1.2 Phản hồi liên quan tra cứu thông tin Phản hồi liên quan (RF – Relevance Feedback) tra cứu thông tin chứa người dùng trình tra cứu để cải thiện tập kết cuối Thủ tục sở là: - Người dùng tạo truy vấn - Hệ thống trả lại tập kết tra cứu ban đầu - Người dùng đánh dấu số tài liệu trả liên quan không liên - Hệ thống tính tốn đại diện tốt nhu cầu thông tin dựa phản hồi quan người dùng - Hệ thống hiển thị tập kết tra cứu hiệu chỉnh  Véc tơ truy vấn mà muốn tìm biểu thị q , mà cực đại tương tự với tài liệu liên quan cực tiểu tương tự với tài liệu không liên quan mô tả: Véc tơ truy vấn tối ưu:  qopt   arg q max sim(q, Cr ) sim(q, Cnr ) (1.1)  Trong đó: Cr tập tài liệu liên quan, Cnr tập tài liệu không liên quan, sim(q, Cr )  độ tương tự cosin q Cr Véc tơ truy vấn tối ưu để tách tài liệu liên quan không liên quan:  qopt Cr  qm  q0  d Cr  dj C nr  dj (1.2)  d Cnr Thuật toán Rocchio Dr  dj  d j Dr Dnr  dj  d j Dnr (1.3) 1.3 Tra cứu ảnh dựa vào nội dung 1.3.1 Vấn đề tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung sử dụng nội dung thị giác màu sắc, hình dạng, kết cấu, khơng gian để biểu diễn ảnh Các nội dung thị giác ảnh trích rút mơ tả vector đặc trưng đa chiều 1.3.2 Các chức hệ thống tra cứu ảnh dựa vào nội dung tiêu biểu Chức hệ thống CBIR bao gồm: trích rút đặc trưng, phân tích truy vấn người dùng, so sánh độ tương tự, thực điều chỉnh cần thiết 1.3.3 Trích rút đặc trưng Trích rút đặc trưng trích rút thơng tin có ý nghĩa ảnh 1.3.3.1 Đặc trưng màu sắc Mỗi ảnh có biểu đồ màu riêng phản ánh tỷ lệ điểm ảnh màu ảnh Các phương pháp biểu diễn đặc trưng màu như: không gian màu ( bao gồm RGB, CIE, HSV); lược đồ màu 1.3.3.2 Đặc trưng kết cấu Dùng để phân lớp ảnh kết cấu từ ảnh khơng kết cấu sau kết hợp với thuộc tính đặc trưng khác màu để làm cho tra cứu hiệu 1.3.3.3 Đặc trưng hình dạng Hình dạng xem đặc trưng quan trọng mô tả đối tượng bật ảnh giúp phân biệt hai ảnh 1.3.4 Độ đo tương tự Là tính toán độ tương tự trực quan ảnh truy vấn ảnh sở liệu Được xác định khoảng cách Minkowski-Form: D( I , J ) ( fi ( I ) p fi ( J ) )1 / p Trong D(I,J) khoảng cách đo ảnh truy vấn I ảnh J sở liệu; fi(I) số pixel bin i ảnh I 1.3.5 Một số hệ thống CBIR tiêu biểu 1.3.5.1 Hệ thống Blobwold Hệ thống Blobwold khoa Khoa học máy tính, Đại học California, Berkeley Các đặc tính sử dụng cho truy vấn màu sắc, kết cấu, vị trí hình dạng vùng 1.3.5.2 Hệ thống Query By Image Content (QBIC) QBIC hỗ trợ truy vấn dựa vào ảnh mẫu, phác thảo vẽ người sử dụng xây dựng, mẫu kết cấu màu lựa chọn 1.3.5.3 Hệ thống VisualSeek VisualSEEk máy tìm kiếm đặc trưng trực quan WebSEEk máy tìm kiếm văn bản/ảnh web Các đặc trưng trực quan sử dụng hệ thống họ tập màu đặc trưng kết cấu dựa vào biến đổi sóng 1.4 Tra cứu ảnh sử dụng phản hồi liên quan Phản hồi liên quan giới thiệu CBIR nhằm giải số hạn chế CBIR: Khoảng trống đặc trưng mức thấp khái niệm mức cao (khoảng cách ngữ nghĩa); Sự nhận thức chủ quan người mà thực tế chủ yếu góp phần làm cho phản hồi liên quan chủ đề nghiên cứu tích cực CBIR độ xác máy tìm kiếm CBIR nói chung thấp Phản hồi liên quan giới thiệu CBIR người máy tính tương tác nhiều lần với để cải tiến truy vấn mức cao biểu diễn dựa đặc trưng ảnh mức thấp Một ngữ cảnh hệ thống phản hồi liên quan (Relevance Feedback - RF) là: Bước 1: Người dùng đưa ảnh mẫu truy vấn và/hoặc từ khóa mô tả đối hệ thống Bước 2: Hệ thống cung cấp kết tra cứu khởi tạo dựa độ đo tương tự xác định trước Bước 3: Người dùng đánh dấu ảnh tra cứu việc đánh giá chúng có liên quan đến truy vấn hay khơng Bước 4: Dựa thông tin phản hồi người dùng, hệ thống điều chỉnh truy vấn tra cứu danh sách ảnh cho người dùng Thuật toán lặp lại Bước 1.5 Đánh giá hiệu Để đánh giá hiệu suất hệ thống tra cứu sử dụng hai phép đo recall (độ triệu hồi) precision (độ xác): precision Q( q ) R( q ) Q( q ) (1.4) recall Q( q ) R(q ) R(q) (1.5) Trong R(q) tập liệu liên quan tới truy vấn q, Q(q) kết tra cứu truy vấn q 1.6 Kết luận chương Trong chương này, giới thiệu số khái niệm phản hồi liên quan tra cứu thông tin, tra cứu ảnh dựa vào nội dung, số hệ thống tra cứu ảnh dựa vào nội dung, phản hồi liên quan tra cứu ảnh đánh giá hiệu tra cứu Đặc biệt muốn nhấn mạnh vào phản hồi liên quan tra cứu thông tin tra cứu ảnh CHƯƠNG 2: PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG THÔNG TIN PHẢN HỒI TỪ NGƯỜI DÙNG 2.1 Giới thiệu Tra cứu ảnh dựa vào nội dung sử dụng đặc trưng mức thấp màu sắc, kết cấu, hình dạng…là lĩnh vực nghiên cứu tích cực vài năm qua Tuy nhiên, hệ thống thường cho kết không gần với nhận thức người Phần xin trình bày phương pháp tra cứu ảnh dựa vào nội dung sử dụng thông tin mà người dùng quan tâm để nâng cao hiệu hệ thống tra cứu Để thực điều này, thuật toán đánh lại trọng số vùng dựa thông tin quan tâm người dùng đề xuất Các trọng số vùng trùng với nhận thức người dùng cải tiến độ xác Các trọng số vùng ghi nhớ lại để dùng cho truy vấn sau 2.2 Phân vùng ảnh 2.2.1 Phân cụm dựa vào màu sắc (CBC – Color based Clustering) Ý tưởng kỹ thuật phân cụm dựa vào màu sắc là: ảnh chia thành vùng, vùng có véc tơ đặc trưng riêng có kích thước lớn ngưỡng cỡ s0, tất pixel vùng xác định trước độ tương tự màu theo ngưỡng khoảng cách màu d0 Ngưỡng d0, s0 vùng CBC(d0, s0) tham số xác định người dùng 2.2.2 Thuật toán phân cụm Thuật toán phân cụm với ảnh đầu vào I Thuật toán trả số vùng R ảnh I Thuật toán RS (Region Segmentation) Đầu vào: I - ảnh gồm n pixel d0 – ngưỡng khoảng cách T – ngưỡng cỡ vùng Đầu ra: R – tập vùng ảnh I G  ConvertGraph(I); VGetVertexSet(G); EGetEdgeSet(G); For đỉnh v E 4.1 CreateRegion(v) For (u,v) E 5.1 wu,v  Distance(u,v) ESortIncreasingOrder(E); For (u,v) E 7.1 If (d(Find-Region(u), Find-Region(v)