Một phương pháp tra cứu ảnh dựa vào độ tương tự nhận thức

Bài viết Một phương pháp tra cứu ảnh dựa vào độ tương tự nhận thức đề xuất phương pháp tra cứu ảnh dựa vào độ tương tự nhận thức bằng việc xây dựng truy vấn tối ưu từ phản hồi của người dùng và tự động điều chỉnh sự quan trọng của mỗi chiều dữ liệu trong không gian đặc trưng.

Kỷ yếu Hội nghị Quốc gia lần thứ VIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 9-10/7/2015 DOI: 10.15625/vap.2015.000181 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC Vũ Văn Hiệu1, Nguyễn Hữu Quỳnh2, Ngô Quốc Tạo3 Khoa Công nghệ Thông tin, Trường Đại học Hải Phòng Khoa Cơng nghệ Thơng tin, Trường Đại học Điện lực Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam hieuvvdhhp@gmail.com, quynhnh@epu.edu.vn, nqtao@ioit.ac.vn TÓM TẮT - Trong hệ thống tra cứu ảnh dựa vào nội dung, kết trả thường không thỏa mãn nhu cầu thông tin người dùng Có hạn chế do: (1) ảnh truy vấn không biểu diễn đầy đủ nhu cầu thông tin người dùng, (2) đặc trưng mức thấp không phản ánh thông tin ngữ nghĩa ảnh (3) hàm khoảng cách kết hợp với đặc trưng nhận thức người dùng Để khắc phục hạn chế đó, chúng tơi đề xuất phương pháp tra cứu ảnh dựa vào độ tương tự nhận thức việc xây dựng truy vấn tối ưu từ phản hồi người dùng tự động điều chỉnh quan trọng chiều liệu không gian đặc trưng Chúng thực nghiệm sở liệu ảnh gồm 10.800 ảnh Các kết thực nghiệm kỹ thuật cải tiến hiệu hệ thống tra cứu ảnh dựa vào nội dung so với phương pháp có cho kết gần với nhận thức người dùng Từ khóa - Tra cứu ảnh dựa vào nội dung, tương tự nhận thức, véc tơ đặc trưng I GIỚI THIỆU Các truy vấn lựa chọn “Top-k” trở nên phổ biến nhiều ứng dụng sở liệu đại Không hệ sở liệu quan hệ truyền thống, truy vấn gồm điều kiện lựa chọn xác người dùng kỳ vọng nhận lại tập đối tượng thỏa mãn xác điều kiện, truy vấn lựa chọn “Top-k”, người dùng rõ đối tượng mục tiêu không kỳ vọng nhận lại đối tượng thỏa mãn xác điều kiện Kết truy vấn danh sách đối tượng xếp hạng theo thứ tự giảm dần độ tương tự với truy vấn người dùng Do chất chủ quan truy vấn “Top-k”, đối tượng trả hệ thống so với truy vấn người dùng thường không thỏa mãn nhu cầu thông tin người dùng [1, 2, 3] Điều số lý do: ảnh truy vấn ban đầu ảnh tốt để biểu diễn nhu cầu thông tin người dùng đặc trưng mức thấp không phản ánh thông tin ngữ nghĩa ảnh hàm khoảng cách kết hợp với đặc trưng nhận thức người dùng Quá trình gọi điều chỉnh truy vấn truy vấn gọi “truy vấn điều chỉnh” Trong tra cứu ảnh dựa vào nội dung, người dùng điều chỉnh truy vấn việc tìm số ảnh trả về, nhiều ảnh mà gần với người dùng mong muốn [4, 5, 6] Dựa phản hồi người dùng, hệ thống tính ảnh truy vấn trọng số thực truy vấn điều chỉnh Một cách khác để điều chỉnh truy vấn người dùng điều chỉnh trọng số đặc trưng cách thủ công để biểu diễn tốt nhận thức độ tương tự người dùng [6] Trong hai trường hợp, người dùng tiếp tục điều chỉnh truy vấn nhiều vòng lặp thỏa mãn với kết Các nghiên cứu gần kỹ thuật điều chỉnh truy vấn cải tiến đáng kể chất lượng tập kết tập kết cải tiến qua lần lặp phản hồi [7, 8] Giới hạn nhiều cách tiếp cận dựa vào đặc trưng có giới hạn người dùng đặc trưng đơn sử dụng cho tra cứu [8] Các hệ thống hỗ trợ truy vấn đa đặc trưng cung cấp chế đặc biệt cho người dùng để độ quan trọng đặc trưng [5, 9, 10] Độ tương tự toàn đối tượng ảnh truy vấn tính tốn tổng có trọng số độ tương tự tập đặc trưng Có số hạn chế cách tiếp cận [1, 2, 3] Nó đặt nhiều gánh nặng lên người dùng xây dựng nhu cầu thơng tin xác Người dùng khó biểu diễn truy vấn họ dạng đặc trưng cung cấp ban đầu họ khơng có ý tưởng rõ ràng nhu cầu thông tin Với hạn chế thứ thứ hai người dùng gửi ảnh truy vấn ban đầu ảnh tốt để biểu diễn nhu cầu thông tin người dùng đặc trưng mức thấp không phản ánh thông tin ngữ nghĩa ảnh Hơn nữa, có không phù hợp nhận thức người dùng thuộc tính trực quan biểu diễn đặc trưng sử dụng cho tra cứu Những người dùng khác có nhận thức khác khái niệm tương tự thuộc tính ảnh Cuối cùng, chí khơng khả thi để biểu diễn nhu cầu thông tin người dùng kết hợp có trọng số đặc trưng ảnh truy vấn đơn Các cách tiếp cận cố định biểu diễn truy vấn hàm đối sánh tương tự làm cho hệ thống cứng nhắc Bài báo đưa cách khắc phục hạn chế trên, đề xuất phương pháp tra cứu ảnh dựa vào độ tương tự nhận thức việc xây dựng truy vấn tối ưu từ phản hồi người dùng tự động điều chỉnh quan trọng chiều liệu không gian đặc trưng Chúng cho phép người dùng chọn trọng số ảnh trả về, ảnh mà họ cho thỏa mãn nhu cầu thông tin họ sau tính lại biểu diễn truy vấn dựa phản hồi Phương pháp đề xuất tính tốn độ phân tán điểm liệu người dùng lựa chọn không gian đặc trưng để xác định mong muốn người dùng chiều liệu quan trọng Phần lại báo tổ chức sau: Trình bày chi tiết phương pháp đề xuất, mô tả kết thực nghiệm tương ứng phần hai ba, cuối kết luận đưa phần bốn 462 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC II PHƯƠNG PHÁP TRA CỨU ẢNH VỚI ĐIỀU CHỈNH TRUY VẤN A Mô hình đề xuất Trong số k ảnh trả việc thực truy vấn khởi tạo, người dùng chọn n ảnh liên quan Trên không gian đặc trưng F, tính giá trị trung bình n đối tượng ảnh (theo đặc trưng) thay biểu diễn không gian đặc trưng F truy vấn khởi tạo biểu diễn tương ứng với giá trị trung bình vừa tính Lặp lại q trình nhận điểm truy vấn tối ưu không gian đặc trưng F Đến đây, nhận truy vấn tối ưu độ quan trọng chiều liệu không gian đặc trưng F chưa theo mong muốn người dùng Do đó, tính phương sai liệu khơng gian đặc trưng F theo chiều liệu để xác định độ quan trọng chiều liệu không gian đặc trưng (phương sai lớn, độ phân tán liệu lớn chiều quan trọng) cần thiết Dưới chúng tơi đề cập tới ba thuật tốn thể ý tưởng trên, thuật tốn QRR tìm truy vấn tối ưu, thuật tốn SIDFS tính độ quan quan theo chiều liệu không gian đặc trưng thuật tốn IRuPS tính độ tương tự theo nhận thức Thuật toán 1: QRR (Query Representation Refinement) Đầu vào: S F m Kết quả: qopt /*Tập véc tơ đặc trưng ảnh sở liệu*/ /* Tập đặc trưng */ /*Chiều không gian đặc trưng*/ /*Véc tơ truy vấn tối ưu*/ For F∈F { QF= /* Thực truy vấn khởi tạo đơn điểm với k ảnh trả về*/ While User chưa dừng phản hồi { For j=1 to m */ m số chiều không gian đặc trưng*/ { SumF=0 SumwF=0 For i=1 to n { =User_Choose_RelevanceImage(QF, k) /* User chọn n đối tượng, E1,…Ei,…En liên quan số k đối tượng trả về*/ =User_Choose_RelevanceLevel({1,2,3}) SumF=SumF+ SumwF=SumwF+ } CF[j]= } } =CF /* véc tơ truy vấn tối ưu không gian đặc trưng F*/ } Return qopt Hình Thuật tốn điều chỉnh biểu diễn truy vấn QRR Thuật toán (QRR) điều chỉnh biểu diễn truy vấn thực sau: Trên không gian đặc trưng F, người dùng thực việc nhập vào ảnh truy vấn mẫu q0 thực truy vấn tập sở liệu đặc trưng S để k ảnh kết Quan sát k ảnh kết này, người dùng chọn n ảnh liên quan so với ảnh truy vấn gần với nhu cầu thơng tin mình, với ảnh liên quan chọn giá trị trọng số wi (một mức liên quan mức 0: không liên quan – mặc định không chọn, 1: liên quan 2: liên quan cao, 4: liên quan cao) Trên sở ảnh chọn giá trị wi nhập, thuật tốn tính trọng tâm C theo chiều chiều j Kết thúc lần lặp phản hồi người dùng véc tơ trọng tâm CF gồm m chiều, véc tơ truy vấn tối ưu khơng gian F lần lặp Lặp lại trình số lần, thuật toán cho véc tơ truy vấn tối ưu qopt Thuật tốn SIDFS (Hình 2) tính độ quan trọng chiều liệu không gian đặc trưng F Vũ Văn Hiệu, Nguyễn Hữu Quỳnh, Ngơ Quốc Tạo 463 Thuật tốn 2: SIDFS (Select Important Dimensions in Feature Space) Đầu vào: E F m Đầu ra: Weight_j /*Tập n ảnh User chọn*/ /*Tập đặc trưng*/ /*Chiều không gian đặc trưng*/ /*Độ quan trọng theo chiều j*/ For F∈F { For j=1 to m { ∑ / ∑ Weight_j = /* trọng số theo chiều j*/ } } Hình Thuật tốn tính độ quan trọng chiều liệu SIDFS Thuật tốn SIDFS tính độ quan trọng chiều liệu thực sau: Thuật toán lấy đầu vào n ảnh ,… ,… tương tự nhận thức với truy vấn tối ưu (đầu thuật tốn 1) khơng gian F Lúc này, theo ,… ,… thuật tốn tính phương sai n chiều thứ j không gian đặc trưng F có n điểm liệu điểm liệu theo chiều j khơng gian F Sau tính giá trị phương sai , thuật toán đưa độ quan trọng chiều liệu j khơng gian đặc trưng F lớn có nghĩa độ phân tán liệu theo chiều j khơng gian đặc trưng F lớn, có nghĩa độ quan trọng chiều j không gian đặc trưng F nhỏ Do độ quan trọng liệu theo chiều j tính gán cho Weight_j Thuật tốn IRuPS (Hình 3) tra cứu ảnh dựa vào độ tương tự nhận thức cho tập kết gồm ảnh có độ tương tự nhận thức cao với truy vấn Thuật toán IRuPS thực sau: Với đầu vào véc tơ truy vấn tối ưu qopt (đầu thuật toán 1) trọng số Weight_j (đầu thuật toán 2) chiều j không gian đặc trưng F, thuật tốn tính khoảng cách truy vấn tối ưu với ảnh Khoảng cách tính theo chiều j với độ quan trọng Weight_j đưa vào cơng thức tính khoảng cách Cuối thuật tốn trả lại k ảnh, k ảnh tương tự mặt nhận thức với qopt khoảng cách tính dựa vào hai yếu tố: (1) véc tơ truy vấn qopt có véc tơ đặc trưng gần với nhu cầu thông tin người dùng (2) độ quan trọng chiều liệu không gian đặc trưng cập nhật tự động Thuật toán 3: IRuPS (Image Retrieval using Perceived Similarity) Đầu vào: S qopt Weight_j Đầu ra: P /*Tập ảnh*/ /*Véc tơ truy vấn tối ưu*/ /*Trọng số chiều j không gian đặc trưng F*/ /* Tập k ảnh tương tự nhận thức với qopt */ For F∈F { For i=1 to ImageCount(S) { , )=0 Similarity( For j=1 to m , )=(Similarity( , )+(1-Weight_j* )1/2) /*cập nhật trọng số theo Similarity( chiều j*/ } } /*Sắp xếp ảnh si sở liệu theo thứ tự giảm dần độ tương tự so với qopt */ Return P /* k ảnh tương tự (về mặt nhận thức) với qopt */ Hình Thuật tốn tra cứu ảnh dựa vào độ tương tự nhận thức IRuPS 464 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC III THỰC NGHIỆM A Dữ liệu thực nghiệm Chúng sử dụng tập liệu tập Corel[11] gồm 10,800 ảnh Tập liệu chia thành 80 chủ đề gồm: biển, thẻ, ngựa, bướm, hoa, vận động viên thể thao, lướt ván, thuyền buồm, hoa quả, cờ, chim, nhà, thác nước, gấu, linh dương đầu bò, tơ, núi hồng hơn, cánh rừng, Các ảnh lưu trữ theo định dạng JPEG với cỡ 120×80 Cơ sở liệu sử dụng để minh chứng xác kỹ thuật Thực nghiệm cài đặt ngôn ngữ C# máy tính PC Core i3 M350 2.27 GHz 2.27 GHz chạy hệ điều hành Windows Để phân tích tính hiệu cho cách tiếp cận đề xuất chúng tôi, tiêu sử dụng độ xác triệu hồi, hai độ đo để đánh giá thực nghiệm, chúng định nghĩa là: recall = area ( R A ) area ( R A ) precision = area ( A ) area ( R ) Triệu hồi (Recall) tỷ số ảnh liên quan sở liệu tra cứu theo truy vấn Độ xác (Precision) tỷ số ảnh tra cứu mà liên quan đến ảnh truy vấn Trong độ xác tập ảnh tích cực với ảnh truy vấn vòng lặp phản hồi, tra cứu tập ảnh kết trả từ cách tiếp cận đề xuất phản hồi Ký hiệu R tập ảnh liên quan sở liệu, A tập ảnh tra cứu trả về, RA tập ảnh liên quan tập A (Hình 4) Hình Triệu hồi xác cho kết truy vấn B Kết thực nghiệm Trong thực nghiệm ba đặc trưng gồm Color Histogram, Color Intensity Textual sử dụng để tính độ tương tự ảnh truy vấn với ảnh sở liệu Trong lần lặp phản hồi, để tìm truy vấn tối ưu chúng tơi sử dụng trọng số w biểu diễn mối quan hệ quan trọng với truy vấn Để tìm truy vấn tối ưu trọng số quan trọng chiều, tập trung quan sát tập đối tượng liên quan Từ tập đối tượng liên quan, thuật toán thuật tốn áp dụng để tìm truy vấn tối ưu trọng số quan trọng chiều Do vậy, trọng số mức quan hệ đề xuất gồm mức: 0, 1, tương ứng với ý nghĩa không liên quan, liên quan, liên quan cao liên quan cao Chúng so sánh nghiên cứu với số nghiên cứu phản hồi liên quan tồn phương pháp Naïve QP[4] Naïve QR[5] Để cung cấp kết đáng tin cậy, sử dụng tập thử nghiệm gồm 1000 ảnh ngẫu nhiên 80 chủ đề nói Các ảnh tập thử nghiệm sử dụng ảnh truy vấn IRuPS, Naïve QR Naïve QP để hiệu IRuPS Bảng kết trung bình lần lặp phương pháp IRuPS, Naïve QR Naïve QP Bảng Trung bình độ xác cách tiếp cận khác tập thử nghiệm 1000 ảnh Vòng lặp IRuPS Naïve QR Naïve QP 0.7448 0.7448 0.7028 0.84985 0.7621 0.76535 0.90145 0.84765 0.79675 0.92935 0.8805 0.8225 0.94725 0.90125 0.84095 0.96015 0.91725 0.85645 0.96855 0.92625 0.8686 Kết bảng cho thấy trung bình độ xác phương pháp IRuPS, Nạve QR Naïve QP qua lần lặp phản hồi tương ứng 90.02%, 85.42% 80.76%, từ kỹ thuật đề xuất cải thiện độ xác đáng kể Hình cho biết lược đồ so sánh độ xác lần lặp phản hồi tương ứng phương pháp IRuPS, Naïve QR Naïve QP Vũ Văn Hiệu, Nguyễn Hữu Quỳnh, Ngô Quốc Tạo 465 1.2 0.8 Naïve QP 0.6 Naïve QR 0.4 IRuPS 0.2 Hình So sánh độ xác IRuPS, Nạve QR Naïve QP Để minh họa kết sau số lần lặp phản hồi, hình 6,7 chúng tơi minh họa ảnh hồng sử dụng làm ảnh truy vấn ba phương pháp IRuPS, Naïve QR Naïve QP tương ứng Kết lần lặp thứ sáu minh họa cho thấy kỹ thuật đề xuất cải thiện độ xác đáng kể Hình Những ảnh tìm thấy kỹ thuật Nạve QR Hình Những ảnh tìm thấy kỹ thuật Nạve QP 466 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC Hình Những ảnh tìm thấy kỹ thuật IRuPS IV KẾT LUẬN Chúng phát triển phương pháp tra cứu ảnh IRuPS dựa vào nhận thức người dùng phản hồi liên quan Phương pháp có hai ưu điểm: yêu cầu người dùng suy nghĩ tâm trí ảnh đối tượng cần tìm mà khơng cần miêu tả cụ thể đánh giá ảnh đối tượng lần tra cứu cách đưa vào mức độ liên quan Qua lần lặp phản hồi, dựa đối tượng mà người dùng lựa chọn, hệ thống tự động học thông tin việc đánh giá chiều quan trọng Dựa trọng số quan trọng chiều, hệ thống cho kết gần với nhu cầu tra cứu người dùng V TÀI LIỆU THAM KHẢO [1] Flickner, Myron, Et Al "Query by Image and Video Content: The QBIC System."Computer 28.9 (1995): 23-32 [2] Bach, Jeffrey R., Et Al "Virage Image Search Engine: An Open Framework For Image Management." Electronic Imaging: Science & Technology International Society For Optics And Photonics, 1996 [3] Rui, Yong, et al "Relevance feedback: a power tool for interactive content-based image retrieval." Circuits and Systems for Video Technology, IEEE Transactions on 8.5 (1998): 644-655 [4] Y Rui, T Huang, And S Mehrotra Content-Based Image Retrieval With Relevance Feedback in Mars Proc Of Ieee Int Conf On Image Processing, 1997 [5] K Porkaew, K Chakrabarti, And S Mehrotra Query Refinement For Content-Based Multimedia Retrieval in Mars Proceedings Of Acm Multimedia Conference, 1999 [6] Y Ishikawa, R Subramanya, and C Faloutsos Mindreader: Querying Databases Through Multiple Examples Proc of Vldb, 1998 [7] K Chakrabarti, K Porkaew, And S Mehrotra Efficient Query Refinement in Multimedia Databases Proceedings Of International Conference In Data Engineering(Icde), 2000 [8] Wu, Leejay, et al "Multimedia queries by example and relevance feedback." IEEE Data Engineering Bulletin 24.3 (2001): 14-21 [9] Chakrabarti, Kaushik, et al "Evaluating refined queries in top-k retrieval systems." Knowledge and Data Engineering, IEEE Transactions on 16.2 (2004): 256-270 [10] Luo, Xin, Guowen Wu, and Kenji Kita "Learning distance metrics with feature space performance for image retrieval." Proceedings of the 2013 International Conference on Electrical and Information Technologies for Rail Transportation (EITRT2013)-Volume II Springer Berlin Heidelberg, 2014 [11] http://wang.ist.psu.edu/docs/related/ AN IMAGE RETRIEVAL METHODS BASED ON PERCEIVED SIMILARITY Vu Van Hieu, Nguyen Huu Quynh, Ngo Quoc Tao ABSTRACT - Content-based image retrieval systems, the returned results are not satisfying the user's information needs This restriction is due to: (1) query image is not fully represent the information needs of users, (2) low level features does not reflect the semantic information of image and (3) distance function combined with the features can not be perceived by the user To overcome such limitations, we propose image retrieval method based on similarity perception by developing optimal query from user feedback We have experimental database includes 10,800 images from Corel subset The experimental results indicate that this technique improved content-based image retrieval system performance compared with the exit method and the results have been close to the perception of users  ... xếp ảnh si sở liệu theo thứ tự giảm dần độ tương tự so với qopt */ Return P /* k ảnh tương tự (về mặt nhận thức) với qopt */ Hình Thuật tốn tra cứu ảnh dựa vào độ tương tự nhận thức IRuPS 464 MỘT... ảnh tìm thấy kỹ thuật Nạve QP 466 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC Hình Những ảnh tìm thấy kỹ thuật IRuPS IV KẾT LUẬN Chúng phát triển phương pháp tra cứu ảnh IRuPS dựa. ..462 MỘT PHƯƠNG PHÁP TRA CỨU ẢNH DỰA VÀO ĐỘ TƯƠNG TỰ NHẬN THỨC II PHƯƠNG PHÁP TRA CỨU ẢNH VỚI ĐIỀU CHỈNH TRUY VẤN A Mơ hình đề xuất Trong số k ảnh trả việc thực truy vấn