Kết hợp cấu trúc R - Tree với đồ thị tri thức cho mô hình tìm kiếm ảnh.

Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.Phát triển mô hình tìm kiếm ảnh theo tiếp cận cây RTree.

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC LÊ THỊ VĨNH THANH KẾT HỢP CẤU TRÚC R-TREE VỚI ĐỒ THỊ TRI THỨC CHO MƠ HÌNH TÌM KIẾM ẢNH LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2023 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC LÊ THỊ VĨNH THANH KẾT HỢP CẤU TRÚC R-TREE VỚI ĐỒ THỊ TRI THỨC CHO MƠ HÌNH TÌM KIẾM ẢNH NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ MẠNH THẠNH TS VĂN THẾ THÀNH HUẾ, NĂM 2023 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác ngồi cơng trình tác giả Tác giả Lê Thị Vĩnh Thanh i LỜI CÁM ƠN Em xin gửi lời cảm ơn chân thành đến Thầy PGS TS Lê Mạnh Thạnh Thầy TS Văn Thế Thành tận tình hướng dẫn em để thực tốt nhiệm vụ nghiên cứu hoàn thành luận án Em xin gửi lời cảm ơn đến thầy cô khoa Công nghệ thông tin trường Đại học Khoa học chia sẻ góp ý xác đáng trình thực luận án Em xin gửi lời cảm ơn sâu sắc đến Phòng Đào tạo Sau Đại học, lãnh đạo Trường Đại học Khoa học, lãnh đạo Đại học Huế tạo điều kiện thuận lợi cho em suốt trình học tập thực luận án Tôi xin gửi lời cảm ơn đến Ban giám hiệu, đồng nghiệp cán bộ, giảng viên Trường Đại học Bà Rịa Vũng Tàu tạo điều kiện thuận lợi, động viên q trình học tập nghiên cứu Tơi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin gửi lời cảm ơn bày tỏ lịng biết ơn vơ hạn đến người thân yêu, ba mẹ, chồng hỗ trợ, ủng hộ suốt trình học tập, nghiên cứu Tác giả ii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT v DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU ix PHẦN MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM ẢNH, CẤU TRÚC R-TREE VÀ ĐỒ THỊ TRI THỨC 10 1.1 Giới thiệu 10 1.2 Tìm kiếm ảnh theo nội dung 11 1.2.1 Đặc trưng hình ảnh .12 1.2.2 Độ đo tương tự hai hình ảnh .17 1.3 Cấu trúc R-Tree biến thể cho tìm kiếm ảnh 19 1.4 Đồ thị tri thức 23 1.5 Đồ thị ngữ cảnh 24 1.6 Kiến trúc hệ thống tìm kiếm ảnh 26 1.7 Môi trường thực nghiệm độ đo đánh giá 28 1.8 Tổng kết chương 31 CHƯƠNG 2.TÌM KIẾM ẢNH DỰA TRÊN RS-TREE 32 2.1 Giới thiệu 32 2.2 Cấu trúc RS-Tree 35 2.2.1 Mô tả cấu trúc RS-Tree .35 2.2.2 Xây dựng cấu trúc RS-Tree .41 2.3 Các thao tác cấu trúc RS-Tree 44 2.3.1 Tiêu chí lựa chọn nút phù hợp 44 2.3.2 Thêm phần tử vào 47 2.3.3 Cập nhật tâm bán kính khối cầu 49 2.3.4 Tách nút 50 2.4 Tìm kiếm ảnh theo nội dung dựa RS-Tree 54 2.4.1 Mơ hình tìm kiếm ảnh dựa RS-Tree 54 2.4.2 Thuật toán tìm kiếm ảnh .55 2.5 Thực nghiệm đánh giá .56 2.6 Tổng kết chương 69 iii CHƯƠNG KẾT HỢP RS-TREE VÀ ĐỒ THỊ TRI THỨC TRONG TÌM KIẾM ẢNH 70 3.1 Giới thiệu 70 3.2 RS-Tree kết hợp đồ thị láng giềng 72 3.2.1 Khái niệm sở 72 3.2.2 Cấu trúc đồ thị cụm láng giềng 76 3.2.3 Thuật toán tạo đồ thị láng giềng 77 3.2.4 Tìm kiếm ảnh theo nội dung dựa cấu trúc NBGraphRST 79 3.3 Khung đồ thị tri thức cho liệu hình ảnh 80 3.3.1 Quy trình xây dựng đồ thị tri thức 80 3.3.2 Quá trình xây dựng đồ thị tri thức 83 3.3.3 Các thuật toán xây dựng đồ thị tri thức 91 3.4 Tìm kiếm ảnh kết hợp RS-Tree với đồ thị tri thức 94 3.4.1 Nhận dạng đối tượng Faster-RCNN 94 3.4.2 Mơ hình tìm kiếm ảnh kết hợp RS-Tree đồ thị tri thức 96 3.4.3 Thuật tốn tìm kiếm ảnh .99 3.5 Thực nghiệm đánh giá .101 3.5.1 Mô tả liệu Visual Genome .101 3.5.2 Thực nghiệm .102 3.5.3 Đánh giá thực nghiệm 114 3.6 Tổng kết chương 116 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 118 DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 120 TÀI LIỆU THAM KHẢO .121 iv DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Diễn giải tiếng Anh Diễn giải tiếng Việt ARN Attentive Relational Network Mạng mối quan hệ tập trung ARP Average Retrieval Precision Độ xác trung bình AUC Area Under the Curve Diện tích đường cong CBIR Content-Based Image Retrieval Tìm kiếm ảnh theo nội dung Content-based Image Retrieval CBIR_NBGraphRST on RS-Tree and Neighbor Graph Tìm ảnh theo nội dung dựa RS-Tree đồ thị láng giềng Content-Based Image Retrieval on RS-Tree Tìm kiếm ảnh theo nội dung dựa RS-Tree CCM Color Co-occurrence Matrix Ma trận đồng xuất màu CDH Color Difference Histogram Lược đồ màu CNN Convolutional Neural Network Mạng nơ-ron tích chập CRF Conditional Random Field Trường ngẫu nhiên có điều kiện CSD Color Structure Descriptor Bộ mô tả cấu trúc màu DCD Dominant Color Descriptor Bộ mô tả màu chủ đạo DWT Discrete Wavelet Transform Phép biến đổi Wavelet rời rạc EDH Edge Histogram Descriptor Bộ mô tả lược đồ biên FCM Fuzzy C-means Clustering Phân cụm mờ C-means GCN Graph Convolutional Network Mạng tích chập đồ thị GLCM Gray-level Co-occurrence Matrix Ma trận đồng xuất mức xám GMM Gaussian Mixture Models Mơ hình hỗn hợp Gauss HOG Histograms of Oriented Gradients Lược đồ theo hướng Gradient KG Knowledge Graph Đồ thị tri thức LBP Local Binary Pattern Mẫu nhị phân cục LD Linked Data Dữ liệu liên kết tài nguyên Mean Average Precision Độ xác trung bình CBIR-RST MAP v Ký hiệu Diễn giải tiếng Anh MBR Minimum Bounding Rectangle Hình chữ nhật bao đóng tối thiểu MBS Minimum Bounding Sphere Khối cầu bao đóng tối thiểu MLP Multi-layer Perceptron Mạng Perceptron đa tầng MRMD Multi-Resolution MultiDirectional Đa hướng đa độ phân giải Neighbor Graph on RS-Tree Đồ thị cụm láng giềng RSTree OLD Open Linked Data Dữ liệu liên kết mở OWL Web Ontology Language Ngôn ngữ ontology web RDF Resource Description Framework Ngôn ngữ mô tả khung tài nguyên RF Relevance Feedback Phương pháp phản hồi liên quan ROC Receiver Operating Characteristic Đồ thị mơ tả đặc tính RS-Tree Region Sphere Tree Cây phân cụm vùng khối cầu Semantic-Based Image Retrieval Tìm ảnh theo ngữ nghĩa NBGraphRST SBIR Semantic-based Image SBIR_GraphRSTKG Retrieval on RS-Tree and Knowledge Graph Diễn giải tiếng Việt Tìm ảnh theo ngữ nghĩa dựa RS-Tree đồ thị tri thức Scene Graph Đồ thị ngữ cảnh SIFT Scale Invariant Features Transform Đặt trưng hình ảnh SIFT SURF Speeded Up Robust Feature Đặc trưng hình ảnh SURF SVM Support Vector Machine Máy vec-tơ hỗ trợ TBIR Text-Based Image Retrieval Tìm kiếm ảnh dựa văn TTF Tamura Texture Feature Đặc trưng kết cấu Tamura TVG Textual Scene Graph Đồ thị ngữ cảnh theo văn VG Visual Genome Tập liệu ảnh Visual Genome VSG Visual Scene Graph Đồ thị ngữ cảnh theo thị giác SG vi DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình tìm kiếm ảnh tương tự theo nội dung 11 Hình 1.2 Đặc trưng màu sắc MPEG7 .16 Hình 1.3 Đặc trưng vị trí Shi-tomasi MPEG7 16 Hình 1.4 Đặc trưng vị trí kết cấu MaxPooling Sobel 16 Hình 1.5 Đặc trưng hình dạng kết cấu Sobel HOG .17 Hình 1.6 Cấu trúc R-Tree dạng phân cấp 19 Hình 1.7 Cấu trúc R-Tree dạng phẳng .20 Hình 1.8 Ví dụ đồ thị ngữ cảnh liệu VG [28] 25 Hình 1.9 Mơ hình tìm kiếm ảnh theo nội dung dựa cấu trúc RS-Tree 26 Hình 1.10 Mơ hình tìm kiếm ảnh kết hợp RS-Tree đồ thị tri thức 27 Hình 2.1 Cấu trúc RS-Tree dạng phẳng 35 Hình 2.2 Cấu trúc RS-Tree dạng phân cấp .36 Hình 2.3 Mơ tả cấu trúc khối cầu thực thể MBS 37 Hình 2.4 Mô tả nút cấu trúc RS-Tree .38 Hình 2.5 Mơ tả nút RS-Tree .39 Hình 2.6 Minh họa trình thêm phần tử vào cấu trúc RS-Tree 43 Hình 2.7 Mơ tả thao tác thêm phần tử vào nút 44 Hình 2.8 Minh họa giãn nở không gian thêm phần tử 44 Hình 2.9 Minh họa tiêu chí lựa chọn khơng gian phân bố phần tử 45 Hình 2.10 Mơ tả thuật toán tách nút dựa vào độ lệch sai biệt 50 Hình 2.11 Mơ hình tìm kiếm ảnh CBIR-RST dựa RS-Tree 54 Hình 2.12 Giao diện tạo cấu trúc RS-Tree 57 Hình 2.13 Giao diện tìm kiếm ảnh dựa cấu trúc RS-Tree 57 Hình 2.14 Một kết tìm kiếm dựa cấu trúc RS-Tree 58 Hình 2.15 Thời gian tìm kiếm trung bình tập ảnh COREL .60 Hình 2.16 Thời gian tìm kiếm trung bình tập ảnh OF17 60 Hình 2.17 Thời gian trung bình tìm kiếm tập ảnh OF102 60 Hình 2.18 Thời gian trung bình tìm kiếm tập ảnh CUB-2011-200 61 Hình 2.19 So sánh hiệu suất tập liệu ảnh cấu trúc RS-Tree 61 Hình 2.20 Precision-Recall ROC liệu COREL 62 Hình 2.21 Precision-Recall ROC liệu Oxford Flowers 17 62 Hình 2.22 Precision-Recall ROC liệu Oxford Flowers 102 (1-51) 62 Hình 2.23 Precision-Recall ROC liệu Oxford Flowers 102 (52-102) 63 Hình 2.24 Precision-Recall ROC liệu CUB-2011-200 (1-100) 63 Hình 2.25 Precision-Recall ROC liệu CUB-2011-200 (101-200) .63 Hình 3.1 Tách nút có vùng khơng gian chồng lấp 72 Hình 3.2 Tách nút có vùng khơng gian rời 73 Hình 3.3 Mơ tả tính chất chồng lấp khơng gian .73 Hình 3.4 Minh họa khoảng cách hai nút 74 vii Hình 3.5 Mơ tả đồ thị láng giềng nút .75 Hình 3.6 Cấu trúc đồ thị láng giềng NBGraphRST dạng phẳng .76 Hình 3.7 Cấu trúc đồ thị láng giềng NBGraphRST phân cấp 77 Hình 3.8 Một đồ thị ngữ cảnh ảnh 2371376.jpg 81 Hình 3.9 Tiến trình xây dựng đồ thị tri thức 82 Hình 3.10 Dữ liệu mẫu phân lớp ảnh 83 Hình 3.11 Mẫu liệu đối tượng ảnh 84 Hình 3.12 Mẫu liệu mối quan hệ đối tượng ảnh 84 Hình 3.13 Mơ hình đồ thị tri thức 85 Hình 3.14 Bộ ba định nghĩa lớp đồ thị tri thức .86 Hình 3.15 Bộ ba định nghĩa cá thể đồ thị tri thức 87 Hình 3.16 Bộ ba thể mối quan hệ cá thể .88 Hình 3.17 Thuộc tính liệu cá thể inclass 88 Hình 3.18 Thuộc tính liệu cá thể OBJ 89 Hình 3.19 Thuộc tính liệu đối tượng OBJ1068652 dạng OWL 89 Hình 3.20 Thuộc tính liệu cá thể IMG1 90 Hình 3.21 Thuộc tính liệu ảnh IMG3 dạng OWL 90 Hình 3.22 Các thích mối quan hệ opREL2 90 Hình 3.23 Các đối tượng hình ảnh liệu COCO 95 Hình 3.24 Minh họa trình phân lớp đối tượng mạng Faster-RCNN 95 Hình 3.25 Minh họa trích xuất đặc trưng cho ảnh đầu vào 96 Hình 3.26 Mơ hình tìm kiếm ảnh theo ngữ nghĩa sử dụng RS-Tree KG .97 Hình 3.27 Mơ hình tìm kiếm ảnh CBIR_NBGraphRST 103 Hình 3.28 Một kết tìm kiếm ảnh CBIR-NBGraphRST 103 Hình 3.29 Tạo KG cho liệu Visual Genome 104 Hình 3.30 Mô tả đồ thị ngữ cảnh ảnh 285618.jpg tập ảnh VG 105 Hình 3.31 Tìm kiếm trích xuất đồ thị ngữ cảnh hình ảnh KG 105 Hình 3.32 Mơ tả ngữ nghĩa hình ảnh .106 Hình 3.33 Một kết tìm kiếm ảnh SBIR-RSTKG 106 Hình 3.34 Precision-Recall ROC liệu COREL 110 Hình 3.35 Precision-Recall ROC liệu OF17 110 Hình 3.36 Precision-Recall ROC liệu OF102 111 Hình 3.37 Precision-Recall ROC liệu CUB-2011-20 .111 Hình 3.38 Precision-Recall ROC liệu MS-COCO 111 Hình 3.39 Precision-Recall ROC liệu Dataset 1-VG .112 Hình 3.40 Precision-Recall ROC liệu Dataset 2-VG .112 Hình 3.41 Precision-Recall ROC liệu MS-COCO 113 Hình 3.42 Precision-Recall ROC liệu Dataset -VG 113 Hình 3.43 Precision-Recall ROC liệu Dataset -VG 114 viii Hình 3.43 Precision-Recall ROC liệu Dataset -VG 3.5.3 Đánh giá thực nghiệm Để đánh giá thực nghiệm mơ hình đề xuất, kết thực nghiệm so sánh độ xác với cơng trình gần tập liệu ảnh mô tả Bảng 3.11-3.15 Bảng 3.11 Thực nghiệm tìm kiếm ảnh phương pháp cho tập ảnh Phương pháp CBIR_RST CBIR_NBGraphRST CBIR_RST CBIR_NBGraphRST CBIR_RST CBIR_NBGraphRST CBIR_RST CBIR_NBGraphRST SBIR_RSTKG CBIR_RST CBIR_NBGraphRST SBIR_RSTKG CBIR_RST CBIR_NBGraphRST SBIR_RSTKG Precision 76,29 88,98 78,69 89,76 68,17 79,86 73,16 80,52 88,71 66,38 75,49 81,19 Recall 68,75 88,59 71,69 77,47 61,55 72,99 65,36 71,83 74.49 58,75 60,36 70,95 69,66 59,00 77,66 87,67 67,22 77,99 114 F-measure Dataset 72,32 COREL 88,78 COREL 75,03 OxfordFlowers17 83,16 OxfordFlowers17 64,69 CUB-2011-200 76,27 CUB-2011-200 69,04 OxfordFlowers102 75,92 OxfordFlowers102 80,98 OxfordFlowers102 62,33 MS-COCO 67,08 MS-COCO 75,72 MS-COCO Visual Genome 63,89 72,06 Visual Genome 82,54 Visual Genome Bảng 3.11 trình bày kết thực nghiệm phương pháp đề xuất tập liệu ảnh khác Các phương pháp đề xuất bao gồm: tìm kiếm ảnh theo nội dung dựa cấu trúc RS-Tree (CBIR_RST), tìm kiếm ảnh theo nội dung dựa cấu trúc kết hợp RS-Tree đồ thị láng giềng (CBIR_NBGraphRST), tìm kiếm ảnh theo ngữ nghĩa dựa kết hợp RS-Tree đồ thị tri thức (SBIR_SRTKG) Từ bảng kết cho thấy việc kết hợp đồ thị láng giềng cấu trúc R S-Tree nâng cao độ xác tìm kiếm ảnh Kết độ xác nâng lên trình tìm kiếm ảnh thực qua hai giai đoạn: (1) Tìm kiếm dựa cấu trúc RS-Tree để tìm cụm nút gần nhất; (2) Thực tìm kiếm đồ thị láng giềng để tìm cụm nút gần Trong phương pháp SBIR_SRTKG đề xuất, tập hình ảnh tương tự theo nội dung cấp thấp tìm kiếm từ cấu trúc NBGraphRST, có độ xác cao Bên cạnh đó, tập ảnh tương tự mặt ngữ nghĩa đượ thực truy vấn đồ thị tri thức dựa vào đồ thị ngữ cảnh, nâng cao độ xác Tập ảnh tương tự thu từ phương pháp SBIR_SRTKG kết hợp tương tự nội dung tương tự ngữ nghĩa hình ảnh Do đó, phương pháp có độ xác cao phương pháp sử dụng để so sánh Vậy, phương pháp tìm kiếm ảnh dựa đồ thị tri thức đề xuất đắn hiệu Bảng 3.12 So sánh độ xác phương pháp tập ảnh COREL Phương pháp MAP (%) Ahmed, K T., 2019 [21] 72,10 Chhabra P., 2020 [95] 77,11 N.T.U Nhi, 2021 [96] 67,76 CBIR_RST 79,45 CBIR_NBGraphRST 88,98 Bảng 3.13 So sánh độ xác phương pháp tập ảnh OF17 Phương pháp MAP (%) Ahmed, 2019 [21] 77,10 S Gao, 2014 [97] 73,43 Gonỗalves, F.M.F., 2018 [14] 85.39 CBIR-RST 78,69 CBIR_NBGraphRST 89,76 115 Bảng 3.14 So sánh độ xác phương pháp tập nh OF102 Phng phỏp MAP (%) Gonỗalves, F.M.F., 2018 [14] 73,31 Ahmed, K T., 2019 [21] 71,40 Lin, H., 2021 [111] 77,93 CBIR_RST 73,16 CBIR_NBGraphRST 80,52 SBIR_RSTKG 88,71 Bảng 3.15 So sánh độ xác phương pháp tập ảnh CUB Phương pháp MAP (%) Wei, X S., 2016 [100] 65,80 Wang, Z., 2018 [101] 66,57 Zeng, H., 2019 [26] 70,10 CBIR_RST 68,17 CBIR_NBGraphRST 79,86 Bảng 3.16 So sánh độ xác phương pháp tập ảnh MS-COCO Các phương pháp MAP(%) Cao, Y., 2018 [112] 70,13 Cao, Z., 2017 [113] 73,62 Yan, C., 2020 [114] 80,62 CBIR_NBGraphRST 75,49 SBIR_RSTKG 81,19 Kết so sánh cho thấy độ xác hiệu mơ hình thuật toán đề xuất khả thi Do đó, mơ hình SBIR-RSTKG phát triển để nâng cao hiệu hệ thống tìm kiếm hình ảnh ngữ nghĩa 3.6 Tổng kết chương Trong chương này, mơ hình tìm kiếm ảnh tương tự theo nội dung ngữ nghĩa đề xuất dựa cấu trúc RS-Tree kết hợp với đồ thị láng giềng đồ thị tri thức Để thực việc tìm kiếm ảnh theo ngữ nghĩa, đồ thị tri thức xây dựng từ thành phần gồm đối tượng, thuộc tính, mối quan hệ chúng Với ảnh đầu vào, hệ thống thực phân lớp mạng R-CNN, tiếp 116 theo, trình tìm kiếm ảnh tương tự thực cấu trúc RS-Tree để tìm nút phù hợp tập ảnh tương tự tìm kiếm đồ thị láng giềng nhằm nâng cao độ xác Sau đó, đồ thị ngữ cảnh ảnh tìm kiếm trích xuất từ liệu Visual Genome dựa tập ảnh tương tự theo nội dung Cuối cùng, câu truy vấn SPARQL tạo từ đồ thị ngữ cảnh để tìm kiếm tập ảnh tương tự theo ngữ nghĩa KG Có hai đóng góp chương là: (1) xây dựng mơ hình tìm kiếm ảnh theo nội dung ngữ nghĩa; (2) xây dựng đồ thị tri thức để lưu trữ mô tả ngữ nghĩa cho ảnh đa dối tượng sử dụng liệu Visual Genome Kết thực nghiệm cho thấy tính hiệu phương pháp đề xuất 117 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận án tiếp cận mơ hình tìm kiếm ảnh dựa cấu trúc RS-Tree Đóng góp luận án (1) cải tiến phương pháp xây dựng dựa cấu trúc R-Tree, đồng thời cải tiến cấu trúc RS-Tree kết hợp đồ thị láng giềng để nâng cao độ xác tìm kiếm ảnh; (2) đề xuất mơ hình đồ thị tri thức để mô tả ngữ nghĩa đối tượng hình ảnh áp dụng cho tốn truy vấn theo ngữ nghĩa nhằm cải thiện độ xác tìm kiếm ảnh giảm độ sai lệch ngữ nghĩa Kết thực nghiệm cho thấy phương pháp đề xuất nâng cao độ xác tìm kiếm ảnh Đầu tiên, xấy dựng cấu trúc RS-Tree để lưu trữ phân cụm liệu ảnh áp dụng cho tốn tìm kiếm ảnh tương tự Các cải tiến cấu trúc RS-Tree bao gồm: (1) RS-Tree xây dựng dựa véc-tơ đặc trưng chuyển đổi thành dạng khối cầu giúp dễ lưu trữ giảm thời gian tính tốn; (2) Một ngưỡng θ đề xuất làm lọc để thực phân cụm ảnh tương tự nhằm nâng cao hiệu phân cụm liệu giảm chồng lấp không gian; (3) Thuật toán tách nút cải tiến dựa độ lệch sai biệt để nâng cao hiệu tách nút Trên sở lý thuyết đề xuất, xây dựng mơ hình tìm kiếm ảnh theo nội dung dựa cấu trúc RS-Tree Kết thực nghiệm minh chứng hiệu cấu trúc RS-Tree áp dụng cho tốn tìm kiếm ảnh Cấu trúc RS-Tree hình thành tăng trưởng dựa thuật tốn tách thêm phần tử vào Do sai số tính tốn q trình tách nút ảnh hưởng đến kết phân cụm dẫn đến phần tử tương tự nằm nút khác Để khắc phục nhược điểm này, đề xuất mơ hình dựa kết hợp RS-Tree đồ thị cụm láng giềng để nâng cao độ xác tìm kiếm ảnh Trong mơ hình này, đồ thị cụm láng giềng tạo tầng nút trình tạo cấu trúc RS-Tree Quá trình tìm kiếm ảnh thực sau: từ ảnh đầu vào, hệ thống thực tìm kiếm cấu trúc RS-Tree để tìm nút phù hợp; sau q trình tìm kiếm tiếp tục thực đồ thị láng giềng để tìm tập nút thuộc cụm láng giềng Kết thực nghiệm mơ hình nâng cao độ xác tìm kiếm ảnh thực hai quy trình tìm kiếm Cuối cùng, chúng tơi đề xuất mơ hình tìm kiếm theo tiếp cận ngữ nghĩa 118 sử dụng RS-Tree đồ thị tri thức để nâng cao hiệu tìm kiếm ảnh độ xác Trong mơ hình này, q trình tìm kiếm ảnh thực qua hai giai đoạn: hệ thống thực tìm kiếm ảnh tương tự theo nội dung dựa cấu trúc R STree kết hợp đồ thị láng giềng; từ tập ảnh tương tự theo nội dung, hệ thống tiếp tục thực tìm kiếm ảnh theo ngữ nghĩa dựa đồ thị tri thức để cải thiện độ xác tìm kiếm ảnh Luận án xây dựng thực nghiệm đánh giá tập liệu ảnh đơn đối tượng đa đối tượng, tập liệu ảnh đơn đối tượng bao gồm: COREL, Oxford Flowers 17, Oxford Flowers 102, CUB-2011-200; tập liệu ảnh đa đối tượng bao gồm: Visual Genome MS-COCO Kết thực nghiệm cho thấy, đề xuất cải tiến cấu trúc RS-Tree nâng cao độ xác giảm thời gian tìm kiếm ảnh Bên cạnh đó, thực nghiệm tìm kiếm ảnh dựa kết hợp RS-Tree đồ thị tri thức cho kết tốt hơn; đồng thời ngữ nghĩa cho ảnh đầu vào trích xuất nhằm nâng cao chất lượng tìm kiếm, đáp ứng nhu cầu người dùng Các kết thực nghiệm mơ hình tìm kiếm ảnh so sánh với cơng trình gần tập liệu ảnh Kết so sánh chứng tỏ phương pháp đề xuất đắn nâng cao hiệu độ xác tìm kiếm ảnh, đáp ứng mục tiêu đề luận án Trên sở lý thuyết thực nghiệm xây dựng, định hướng nghiên cứu tương lai bao gồm: (1) Nghiên cứu phương pháp tạo đồ thị ngữ cảnh tự động cho ảnh đầu vào dựa mạng R-CNN, GCN đồ thị tri thức; (2) Làm giàu đồ thị tri thức dựa phương pháp dự đoán nhãn đỉnh dự đoán mối quan hệ đỉnh đồ thị tri thức sử dụng mạng tích chập đồ thị GCN phép suy luận đồ thị tri thức; (3) Thực tạo thích hình ảnh dựa đồ thị tri thức có đánh trọng số thuật tốn tìm đường tối ưu đồ thị tri thức; (4) Xây dựng chương trình cho ứng dụng thực tế lĩnh vực khác như: chẩn đoán bệnh trồng dựa hình ảnh; chẩn đốn bệnh từ ảnh y khoa, tư vấn chăm sóc sức khỏe từ ảnh phần ăn ngày ứng dụng khác; 119 DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN A1 Lê Thị Vĩnh Thanh, Phan Thị Ngọc Mai, Văn Thế Thành, Lê Mạnh Thạnh, (2020), “Tìm kiếm ảnh theo ngữ nghĩa dựa phương pháp gom cụm ontology” Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR), ĐH Nha Trang, Nhà xuất Khoa học Tự nhiên Công nghệ, ISBN: 978-604-9985-77-5, tr 612-622 A2 Lê Thị Vĩnh Thanh, Văn Thế Thành, Lê Mạnh Thạnh, (2021), “Một phương pháp tìm kiếm ảnh hiệu dựa cấu trúc R-Tree”, Kỷ yếu Hội thảo Quốc gia Công nghệ thông tin ứng dụng lĩnh vực (CITA2021), Đại học Đà Nẵng, Nhà xuất Đà Nẵng, ISBN: 978-604-84-5998-7, tr 259-271 A3 Lê, M T., Lê, T V T., Lương, T T X., Nguyen, T D., & Văn, T T., (2022), “Một mơ hình tìm kiếm ảnh dựa cấu trúc R-Tree kết hợp KD-Tree Random Forest” Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ Thông tin Truyền thông, ISSN: 1859-3526, tr 29-41 A4 Le Thi Vinh Thanh, Van The Thanh, Le Manh Thanh, (2022), “An improvement of R-Tree for content-based image retrieval”, Annales Univ Sci Budapest Sect Comp., Vol 53, pp 29-55 A5 Thanh, L T V., & Thanh, L M, (2022), “Semantic-Based Image Retrieval using RS-Tree and Neighbor Graph” In World Conference on Information Systems and Technologies Springer, Cham pp 165-176 A6 Thanh, L.T.V., Van, T.T., Le, T.M., (2022), “Semantic-Based Image Retrieval Using RS-Tree and Knowledge Graph” In: Nguyen, N.T., Tran, T.K., Tukayev, U., Hong, TP., Trawiński, B., Szczerbicki, E (eds) Intelligent Information and Database Systems ACIIDS 2022 Lecture Notes in Computer Science(), vol 13757 Springer, Cham, pp 481-495 A7 Lê Thị Vĩnh Thanh, Văn Thế Thành, Lê Mạnh Thạnh, (2022), “Tìm kiếm ảnh theo ngữ nghĩa dựa cấu trúc iRS-Tree ontology”, Hue University Journal of Science: Techniques and Technology, T …, S … A8 Lê Thị Vĩnh Thanh, Văn Thế Thành, Lê Mạnh Thạnh, (2022),“Một khảo sát cấu trúc R-tree cho toán tìm kiếm ảnh”, Tạp chí khoa học cơng nghệ, Trường Đại học Khoa học, ĐH Huế, Tập …, Số … A9 Lê Thị Vĩnh Thanh, Văn Thế Thành, (2022),“Tìm kiếm ảnh dựa đồ thị láng giềng đồ thị ngữ nghĩa”, Kỷ yếu Hội tảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR), Học Viện Kỹ Thuật Mật Mã, Nhà xuất Khoa học Tự nhiên Công nghệ, ISBN: 978-604-357-119-6, tr 400-412 120 TÀI LIỆU THAM KHẢO 10 11 12 13 14 Huang, Z., et al Projection metric learning on Grassmann manifold with application to video based face recognition in Proceedings of the IEEE conference on computer vision and pattern recognition 2015 Zhang, Y., et al Visual search at alibaba in Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining 2018 Gupta, D., et al., Medical Image Retrieval via Nearest Neighbor Search on Pre-trained Image Features arXiv preprint arXiv:2210.02401, 2022 Song, W., et al., Asymmetric Hash Code Learning for Remote Sensing Image Retrieval IEEE Transactions on Geoscience and Remote Sensing, 2022 60: p 1-14 Alkhawlani, M., M Elmogy, and H El Bakry, Text-based, content-based, and semantic-based image retrievals: a survey Int J Comput Inf Technol, 2015 4(01): p 58-66 Li, W., et al Text-based image retrieval using progressive multi-instance learning in 2011 international conference on computer vision 2011 IEEE Akgül, C.B., et al., Content-based image retrieval in radiology: current status and future directions Journal of digital imaging, 2011 24(2): p 208-222 Hameed, I.M., S.H Abdulhussain, and B.M Mahmmod, Content-based image retrieval: A review of recent trends Cogent Engineering, 2021 8(1): p 1927469 Rajam, F and S Valli, A survey on content based image retrieval Life science journal, 2013 10(2): p 2475-2487 Bhoir, S.V and S Patil, A Review on Recent Advances in Content-Based Image Retrieval used in Image Search Engine Library Philosophy and Practice, 2021: p 1-45 Li, X., J Yang, and J Ma, Recent developments of content-based image retrieval (CBIR) Neurocomputing, 2021 452: p 675-689 Alzu’bi, A., A Amira, and N Ramzan, Semantic content-based image retrieval: A comprehensive study Journal of Visual Communication and Image Representation, 2015 32: p 20-54 Duan, J and C.-C.J Kuo, Bridging gap between image pixels and semantics via supervision: a survey APSIPA Transactions on Signal and Information Processing, 2022 11(1) Gonỗalves, F.M.F., I.R Guilherme, and D.C.G Pedronette, Semantic guided interactive image retrieval for plant identification Expert Systems with Applications, 2018 91: p 12-26 121 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 Jia, S., et al., Semantic and Context Based Image Retrieval Method Using a Single Image Sensor for Visual Indoor Positioning IEEE Sensors Journal, 2021 21(16): p 18020-18032 Shaaban, A.M., N.M Salem, and W.I Al-atabany, A semantic-based scene segmentation using convolutional neural networks AEU-International Journal of Electronics and Communications, 2020 125: p 153364 Begum, S.A.N and K Supreethi, A survey on spatial indexing Journal of Web Development and Web Designing, 2018 3(1) Guttman, A R-trees: A dynamic index structure for spatial searching in Proceedings of the 1984 ACM SIGMOD international conference on Management of data 1984 Manolopoulos, Y., et al., R-Trees: Theory and Applications: Theory and Applications 2006: Springer Science & Business Media Abd Aziz, D.N.A.B., N Higuchi, and T Shinohara, A Study on Optimization of Similarity Search by R-tree using Dimension Reduction Ahmed, K.T., S Ummesafi, and A Iqbal, Content based image retrieval using image features information fusion Information Fusion, 2019 51: p 76-99 Alfarrarjeh, A., et al A Class of R-tree Indexes for Spatial-Visual Search of Geo-tagged Street Images in 2020 IEEE 36th international conference on data engineering (ICDE) 2020 IEEE Haldurai, L and V Vinodhini, Parallel Indexing on Color and Texture Feature Extraction using R-Tree for Content Based Image Retrieval International Journal of Computer Sciences and Engineering, 2015 3: p 1115 Shama, P., K Badrinath, and A Tilugul, An Efficient Indexing Approach for Content based Image Retrieval International Journal of Computer Applications, 2015 117(15) Vanitha, J and M SenthilMurugan, An efficient content based image retrieval using block color histogram and color co-occurrence matrix Int J Appl Eng Res, 2017 12(24): p 15966-15971 Zeng, H., H Lai, and J Yin, Simultaneous region localization and hash coding for fine-grained image retrieval arXiv preprint arXiv:1911.08028, 2019 Kumar, V., V Tripathi, and B Pant Content based fine-grained image retrieval using convolutional neural network in 2020 7th International Conference on Signal Processing and Integrated Networks (SPIN) 2020 IEEE Johnson, J., et al Image retrieval using scene graphs in Proceedings of the IEEE conference on computer vision and pattern recognition 2015 Wang, S., et al Cross-modal scene graph matching for relationship-aware image-text retrieval in Proceedings of the IEEE/CVF winter conference on applications of computer vision 2020 122 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 Yoon, S., et al Image-to-image retrieval by learning similarity between scene graphs in Proceedings of the AAAI Conference on Artificial Intelligence 2021 Qi, M., Y Wang, and A Li Online cross-modal scene retrieval by binary representation and semantic graph in Proceedings of the 25th ACM international conference on Multimedia 2017 Quinn, M.H., et al Semantic image retrieval via active grounding of visual situations in 2018 IEEE 12th International Conference on Semantic Computing (ICSC) 2018 IEEE Qi, M., et al Attentive relational networks for mapping images to scene graphs in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2019 Yasmin, M., M Sharif, and S Mohsin, Neural networks in medical imaging applications: A survey World Applied Sciences Journal, 2013 22(1): p 8596 Liu, G.-H., J.-Y Yang, and Z Li, Content-based image retrieval using computational visual attention model pattern recognition, 2015 48(8): p 2554-2566 Chou, Y., D.J Lee, and D Zhang Semantic-Based Brain MRI Image Segmentation Using Convolutional Neural Network in International Symposium on Visual Computing 2016 Springer Sivakumar, M., N.S Kumar, and N Karthikeyan Content-Based Image Retrieval Techniques: A Survey in Journal of Physics: Conference Series 2021 IOP Publishing Pedronette, D.C.G., et al., Semi-supervised and active learning through manifold reciprocal kNN graph for image retrieval Neurocomputing, 2019 340: p 19-31 Yan, S., et al., Image retrieval for structure-from-motion via graph convolutional network Information Sciences, 2021 573: p 20-36 Zhou, X., et al., Cross-domain image retrieval: methods and applications International Journal of Multimedia Information Retrieval, 2022: p 1-20 Karthikeyan, T., P Manikandaprabhu, and S Nithya, A survey on text and content based image retrieval system for image mining International Journal of Engineering, 2014 Ping Tian, D., A review on image feature extraction and representation techniques International Journal of Multimedia and Ubiquitous Engineering, 2013 8(4): p 385-396 Patil, R.S and A.J Agrawal, Content-based image retrieval systems: A survey Advances in Computational Sciences and Technology, 2017 10(9): p 27732788 Liu, Y., et al., A survey of content-based image retrieval with high-level semantics Pattern recognition, 2007 40(1): p 262-282 123 45 46 47 48 49 50 51 52 53 54 55 56 57 58 Guisado-Gámez, J., D Dominguez-Sal, and J.-L Larriba-Pey Massive query expansion by exploiting graph knowledge bases for image retrieval in Proceedings of international conference on multimedia retrieval 2014 Allani, O., et al., A knowledge-based image retrieval system integrating semantic and visual features Procedia Computer Science, 2016 96: p 14281436 Marino, K., R Salakhutdinov, and A Gupta, The more you know: Using knowledge graphs for image classification arXiv preprint arXiv:1612.04844, 2016 Ashraf, R., et al., Content based image retrieval by using color descriptor and discrete wavelet transform Journal of medical systems, 2018 42(3): p 1-12 Patel, J.M and N.C Gamit A review on feature extraction techniques in content based image retrieval in 2016 international conference on wireless communications, signal processing and networking (WiSPNET) 2016 IEEE Wang, X.-Y., B.-B Zhang, and H.-Y Yang, Content-based image retrieval by integrating color and texture features Multimedia tools and applications, 2014 68(3): p 545-569 Irtaza, A and M.A Jaffar, Categorical image retrieval through genetically optimized support vector machines (GOSVM) and hybrid texture features Signal, Image and Video Processing, 2015 9(7): p 1503-1519 Li, C., Y Huang, and L Zhu, Color texture image retrieval based on Gaussian copula models of Gabor wavelets Pattern Recognition, 2017 64: p 118-129 Papakostas, G., D Koulouriotis, and V Tourassis, Feature extraction based on wavelet moments and moment invariants in machine vision systems Human-centric machine vision, 2012: p 31 Zenggang, X., et al., Research on image retrieval algorithm based on combination of color and shape features Journal of signal processing systems, 2021 93(2): p 139-146 Ashraf, R., et al., MDCBIR-MF: multimedia data for content-based image retrieval by using multiple features Multimedia tools and applications, 2020 79(13): p 8553-8579 Nazir, A., et al Content based image retrieval system by using HSV color histogram, discrete wavelet transform and edge histogram descriptor in 2018 international conference on computing, mathematics and engineering technologies (iCoMET) 2018 IEEE Bu, H.-H., et al., Content-based image retrieval using combined color and texture features extracted by multi-resolution multi-direction filtering Journal of information processing systems, 2017 13(3): p 464-475 Latif, A., et al., Content-based image retrieval and feature extraction: a comprehensive review Mathematical Problems in Engineering, 2019 2019 124 59 60 61 62 63 64 65 66 67 68 69 70 71 72 Belongie, S., et al Color-and texture-based image segmentation using EM and its application to content-based image retrieval in Sixth International Conference on Computer Vision (IEEE Cat No 98CH36271) 1998 IEEE Khosla, G., N Rajpal, and J Singh Evaluation of Euclidan and Manhanttan metrics in content based image retrieval system in 2015 2nd International Conference on Computing for Sustainable Global Development (INDIACom) 2015 IEEE Landré, J and F Truchetet, IMAGE RETRIEVAL WITH BINARY HAMMING DISTANCE Rubner, Y., C Tomasi, and L.J Guibas, The earth mover's distance as a metric for image retrieval International journal of computer vision, 2000 40(2): p 99-121 Afshani, P., et al (Approximate) uncertain skylines in Proceedings of the 14th International Conference on Database Theory 2011 Arslan, S., et al Comparison of multidimensional data access methods for feature-based image retrieval in 2010 20th International Conference on Pattern Recognition 2010 IEEE Iscen, A., et al., Memory vectors for similarity search in high-dimensional spaces IEEE transactions on big data, 2017 4(1): p 65-77 Liu, C.-M and S.-W Tang, An effective probabilistic skyline query process on uncertain data streams Procedia Computer Science, 2015 63: p 40-47 Nam, B and A Sussman A comparative study of spatial indexing techniques for multidimensional scientific datasets in Proceedings 16th International Conference on Scientific and Statistical Database Management, 2004 2004 IEEE Ng, R.T and A Sedighian Evaluating multidimensional indexing structures for images transformed by principal component analysis in Storage and Retrieval for Still Image and Video Databases IV 1996 SPIE Papadias, D., N Mamoulis, and Y Theodoridis Processing and optimization of multiway spatial joins using R-trees in Proceedings of the eighteenth ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems 1999 Wang, J., et al PL-Tree: An efficient indexing method for high-dimensional data in International Symposium on Spatial and Temporal Databases 2013 Springer Wu, J., L Shen, and L Liu, LSH-based distributed similarity indexing with load balancing in high-dimensional space The Journal of Supercomputing, 2020 76(1): p 636-665 Beckmann, N., et al The R*-tree: An efficient and robust access method for points and rectangles in Proceedings of the 1990 ACM SIGMOD international conference on Management of data 1990 125 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 Sellis, T., N Roussopoulos, and C Faloutsos, The R+-Tree: A Dynamic Index for Multi-Dimensional Objects 1987 White, D.A and R Jain Similarity indexing with the SS-tree in Proceedings of the Twelfth International Conference on Data Engineering 1996 IEEE Katayama, N and S.i Satoh, The SR-tree: An index structure for highdimensional nearest neighbor queries ACM Sigmod Record, 1997 26(2): p 369-380 Hubauer, T., et al Use Cases of the Industrial Knowledge Graph at Siemens in ISWC (P&D/Industry/BlueSky) 2018 Abu-Salih, B., Domain-specific knowledge graphs: A survey Journal of Network and Computer Applications, 2021 185: p 103076 Berners-Lee, T., J Hendler, and O Lassila, Web Semantic Scientific American, 2001 284(5): p 28-37 Bizer, C., T Heath, and T Berners-Lee, Linked data: The story so far, in Semantic services, interoperability and web applications: emerging concepts 2011, IGI global p 205-227 Schmachtenberg, M., C Bizer, and H Paulheim Adoption of the linked data best practices in different topical domains in International semantic web conference 2014 Springer Zhang, D., et al., Knowledge graph-based image classification refinement IEEE Access, 2019 7: p 57678-57690 Yang, X., et al Auto-encoding scene graphs for image captioning in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2019 Wu, H., et al Unified visual-semantic embeddings: Bridging vision and language with structured meaning representations in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2019 Zhang, C., W.-L Chao, and D Xuan, An empirical study on leveraging scene graphs for visual question answering arXiv preprint arXiv:1907.12133, 2019 Johnson, J., A Gupta, and L Fei-Fei Image generation from scene graphs in Proceedings of the IEEE conference on computer vision and pattern recognition 2018 Li, J and J.Z Wang, Automatic linguistic indexing of pictures by a statistical modeling approach IEEE Transactions on pattern analysis and machine intelligence, 2003 25(9): p 1075-1088 Nilsback, M.-E and A Zisserman Automated flower classification over a large number of classes in 2008 Sixth Indian Conference on Computer Vision, Graphics & Image Processing 2008 IEEE Wah, C., et al., The caltech-ucsd birds-200-2011 dataset 2011 Lin, T.-Y., et al Microsoft coco: Common objects in context in European conference on computer vision 2014 Springer 126 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 Krishna, R., et al., Visual genome: Connecting language and vision using crowdsourced dense image annotations International journal of computer vision, 2017 123(1): p 32-73 Müller, H., et al., Performance evaluation in content-based image retrieval: overview and proposals Pattern recognition letters, 2001 22(5): p 593-601 McClish, D.K., Analyzing a portion of the ROC curve Medical decision making, 1989 9(3): p 190-195 Boyd, K., K.H Eng, and C.D Page Area under the precision-recall curve: point estimates and confidence intervals in Joint European conference on machine learning and knowledge discovery in databases 2013 Springer Bibi, R., et al., Query-by-visual-search: multimodal framework for contentbased image retrieval Journal of Ambient Intelligence and Humanized Computing, 2020 11(11): p 5629-5648 Chhabra, P., N.K Garg, and M Kumar, Content-based image retrieval system using ORB and SIFT features Neural Computing and Applications, 2020 32(7): p 2725-2733 Nhi, N.T.U and T.M Le Semantic-based image retrieval using balanced clustering tree in World Conference on Information Systems and Technologies 2021 Springer Gao, S., I.W.-H Tsang, and Y Ma, Learning category-specific dictionary and shared dictionary for fine-grained image categorization IEEE Transactions on Image Processing, 2013 23(2): p 623-634 Yang, J., et al., A fast image retrieval method designed for network big data IEEE Transactions on Industrial Informatics, 2017 13(5): p 2350-2359 Unar, S., et al., A decisive content based image retrieval approach for feature fusion in visual and textual images Knowledge-Based Systems, 2019 179: p 8-20 Wei, X.-S., et al., Selective convolutional descriptor aggregation for finegrained image retrieval IEEE Transactions on Image Processing, 2017 26(6): p 2868-2881 Wang, Z., et al Selective convolutional features based generalized-mean pooling for fine-grained image retrieval in 2018 IEEE Visual Communications and Image Processing (VCIP) 2018 IEEE Cui, P., S Liu, and W Zhu, General knowledge embedded image representation learning IEEE Transactions on Multimedia, 2017 20(1): p 198-207 Zareian, A., S Karaman, and S.-F Chang Bridging knowledge graphs to generate scene graphs in European conference on computer vision 2020 Springer Chen, X., et al Iterative visual reasoning beyond convolutions in Proceedings of the IEEE conference on computer vision and pattern recognition 2018 127 105 106 107 108 109 110 111 112 113 114 Zeiler, M.D and R Fergus Visualizing and understanding convolutional networks in European conference on computer vision 2014 Springer Zheng, L., Y Yang, and Q Tian, SIFT meets CNN: A decade survey of instance retrieval IEEE transactions on pattern analysis and machine intelligence, 2017 40(5): p 1224-1244 Sequeda, J and O Lassila, Designing and building enterprise knowledge graphs Synthesis Lectures on Data, Semantics, and Knowledge, 2021 11(1): p 1-165 Zou, X A survey on application of knowledge graph in Journal of Physics: Conference Series 2020 IOP Publishing Ruizhen, Y.S.H., A visual analysis of the status quo and trend of knowledge mapping research Information and Documentation Services, 2012 33(4): p 22-28 Ren, S., et al., Faster r-cnn: Towards real-time object detection with region proposal networks Advances in neural information processing systems, 2015 28 Lin, H., et al Aggregating Object Features Based on Attention Weights for Fine-Grained Image Retrieval in 2020 25th International Conference on Pattern Recognition (ICPR) 2021 IEEE Cao, Y., et al Deep cauchy hashing for hamming space retrieval in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2018 Cao, Z., et al Hashnet: Deep learning to hash by continuation in Proceedings of the IEEE international conference on computer vision 2017 Yan, C., et al., Deep multi-view enhancement hashing for image retrieval IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020 43(4): p 1445-1451 128