Tìm kiếm ảnh dựa trên cấu trúc cây phân cụm phân cấp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM THÀNH PHỐ HỒ CHÍ MINH Thái Thế Anh TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC CÂY PHÂN CỤM PHÂN CẤP LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh – 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM THÀNH PHỐ HỒ CHÍ MINH Thái Thế Anh TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC CÂY PHÂN CỤM PHÂN CẤP Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS VĂN THẾ THÀNH Thành Phố Hồ Chí Minh - 2020 LỜI CAM ĐOAN Tơi xin cam đoan đề tài: “Tìm kiếm ảnh dựa cấu trúc phân cụm phân cấp” cơng trình nghiên cứu độc lập hướng dẫn giảng viên: TS Văn Thế Thành Ngoài ra, khơng có chép người khác Nội dung luận văn sản phẩm mà tơi nỗ lực nghiên cứu q trình học tập trường Đại học Sư Phạm Thành phố Hồ Chí Minh Các số liệu, kết trình bày luận văn hồn tồn trung thực, tơi xin chịu hồn tồn trách nhiệm, kỷ luật mơn nhà trường đề có vấn đề xảy Tác giả đề tài Thái Thế Anh LỜI CẢM ƠN Tôi xin cảm ơn giảng viên hướng dẫn luận văn tôi, TS Văn Thế Thành, người trực tiếp dẫn dắt cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Thầy cho phép tự bày tỏ quan điểm đồng thời đưa nhận xét, góp ý, dẫn dắt hướng suốt thời gian nghiên cứu, thực đề tài luận văn thạc sĩ Tơi xin cảm ơn thầy Phịng Sau Đại Học, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Thành phố Hồ Chí Minh tạo điều kiện cho học tập truyền đạt cho kiến thức chuyên sâu chuyên ngành suốt thời gian học tập để tơi có tảng kiến thức hỗ trợ lớn cho q trình làm luận văn thạc sĩ Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè ln hỗ trợ tơi khuyến khích liên tục suốt năm học tập qua trình nghiên cứu viết luận văn Xin chân thành cảm ơn! Tác giả đề tài Thái Thế Anh MỤC LỤC Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục bảng Danh mục hình Danh mục từ viết tắt MỞ ĐẦU Chƣơng TỔNG QUAN VỀ BÀI TỐN TÌM KIẾM ẢNH 1.1 Giới thiệu nhu cầu tìm kiếm ảnh 1.2 Các công trình liên quan 1.3 Tổng quan tốn tìm kiếm ảnh cấu trúc R-Tree 1.4 Đối tượng phương pháp nghiên cứu 10 1.4.1 Nội dung nghiên cứu 10 1.4.2 Đối tượng nghiên cứu 10 1.4.3 Phương pháp nghiên cứu 11 1.5 Tổng kết chương 12 Chƣơng CẤU TRÚC CÂY PHÂN CỤM PHÂN CẤP 13 2.1 Giới thiệu 13 2.2 Các kỹ thuật khai phá liệu 14 2.2.1 Gom cụm phân hoạch 14 2.2.2 Gom cụm phân cấp 15 2.2.3 Phương pháp láng giềng gần 16 2.3 Cấu trúc R-tree 17 2.3.1 Giới thiệu 17 2.3.2 Mô tả cấu trúc 19 2.3.3 Cấu trúc liệu cho R-Tree 21 2.3.4 Thuật toán cập nhật phần tử đại diện 24 2.3.5 Thuật toán chèn phần tử vào R-Tree 25 2.3.6 Thuật tốn xóa phần tử R-Tree 29 2.3.7 Truy vấn liệu 30 2.4 Tổng kết chương 31 Chƣơng MƠ HÌNH TÌM KIẾM ẢNH 32 3.1 Giới thiệu mơ hình tìm kiếm ảnh 32 3.2 Đề xuất mơ hình tìm kiếm ảnh 33 3.2.1 Cấu trúc mơ hình 33 3.2.2 Quá trình thực 34 3.3 Quá trình thực thi thành phần mơ hình 36 3.3.1 Trích xuất vec-tơ đặc trưng cho hình ảnh 36 3.3.2 Xây dựng R-Tree 40 3.3.3 Xây dựng Ontology 46 3.3.4 Phân lớp ảnh 48 3.3.5 Tạo câu truy vấn SPARQL 49 3.4 Tổng kết chương 50 Chƣơng THỰC NGHIỆM TÌM KIẾM ẢNH 51 4.1 Giới thiệu 51 4.2 Các liệu ảnh 51 4.2.1 Bộ ảnh COREL 51 4.2.2 Bộ ảnh Wang 51 4.2.3 Bộ ảnh ImageCLEF 52 4.2.4 Môi trường thực nghiệm 52 4.3 Thực nghiệm tìm kiếm ảnh 53 4.3.1 Các kết thuật tốn hệ tìm kiếm ảnh 53 4.3.2 Véc-tơ đặc trưng hình ảnh 56 4.3.3 Ứng dụng tìm kiếm ảnh 57 4.4 Kết thực nghiệm 60 4.4.1 Kết phân lớp hình ảnh 60 4.4.2 Hiệu suất tìm kiếm ảnh 63 4.5 Tổng kết chương 70 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC BẢNG BIỂU Bảng 4.1 Một kết trích xuất véc-tơ đặc trưng hình ảnh 57 Bảng 4.2 Độ xác theo phân lớp ảnh COREL 60 Bảng 4.3 Độ xác theo phân lớp ảnh Wang 61 Bảng 4.4 Độ xác theo phân lớp ảnh ImageCLEF 62 Bảng 4.5 Hiệu suất tìm kiếm trung bình ảnh COREL 64 Bảng 4.6 Hiệu suất truy vấn trung bình liệu WANG 66 Bảng 4.7 Hiệu suất truy vấn trung bình liệu ImageCLEF 68 Bảng 4.8 So sánh độ xác phương pháp liệu COREL 69 Bảng 4.9 So sánh độ xác phương pháp liệu WANG 69 Bảng 4.10 So sánh độ xác phương pháp liệu ImageCLEF 69 DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình truy vấn ảnh R-Tree Hình 2.1 Mơ tả gom cụm phân hoạch 14 Hình 2.2 Mơ tả phương pháp phân cụm phân cấp 15 Hình 2.3 Mơ tả phương pháp phân lớp dựa k láng giềng gần 17 Hình 2.4 Mơ tả cấu trúc R-Tree lưu trữ vùng liệu 18 Hình 2.5 Cấu trúc R-Tree dạng sơ đồ phân cấp 20 Hình 2.6 Cấu trúc phân cụm mục R-Tree 22 Hình 3.1 Mơ hình truy vấn SBIR_R-Tree 33 Hình 3.2 Một ví dụ Ontology tập imageCLEF Turtle 46 Hình 3.3 Ontology ImageCLEF Protégé 47 Hình 3.4 Một ví dụ Ontology imageCLEF RDF/XML 47 Hình 4.1 Một kết tạo mặt nạ phân đoạn dựa độ tương phản 53 Hình 4.2 Một kết phân đoạn ảnh màu 53 Hình 4.3 Một kết dị biên đối tượng theo phương pháp LoG 54 Hình 4.4 Một kết dị tìm đối tượng dựa phép lọc Sobel 55 Hình 4.5 Véc-tơ đặc trưng ảnh gốc 55 Hình 4.6 Véc-tơ đặc trưng ảnh Texture 55 Hình 4.7 Véc-tơ đặc trưng ảnh đối tượng 55 Hình 4.8 Véc-tơ đặc trưng ảnh đối tượng 56 Hình 4.9 Một kết truy vấn ảnh tương tự ảnh COREL 58 Hình 4.10 (a) Một mẫu mơ tả ngữ nghĩa ảnh liệu COREL 58 Hình 4.10 (b) Một mẫu truy vấn ảnh Ontology 59 Hình 4.11 Độ xác phân lớp theo thuật tốn Cluster_k-NN ảnh COREL60 Hình 4.12 Độ xác phân lớp theo thuật toán Cluster_k-NN ảnh Wang 61 Hình 4.13 Độ xác phân lớp theo thuật tốn Cluster_k-NN ảnh Wang 62 Hình 4.14 Precision-Recall đường cong ROC liệu COREL 63 Hình 4.15 Hiệu suất trung bình ảnh COREL 63 Hình 4.16 Thời gian truy vấn trung bình ảnh COREL 64 Hình 4.17 Precision-Recall đường cong ROC liệu WANG (00-40) 65 Hình 4.18 Precision-Recall đường cong ROC liệu WANG (41-80) 65 Hình 4.19 Hiệu suất truy vấn trung bình liệu Wang 66 Hình 4.20 Thời gian truy vấn trung bình ảnh Wang 66 Hình 4.21 Precision-Recall đường cong ROC liệu ImageCLEF (00-19)67 Hình 4.22 Precision-Recall đường cong ROC liệu ImageCLEF (20-40)67 Hình 4.23 Hiệu suất truy vấn trung bình liệu ImageCLEF 68 Hình 4.24 Thời gian truy vấn trung bình liệu ImageCLEF 68 DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Chữ viết đầy đủ tiếng Anh Dịch nghĩa tiếng Việt CBIR Semantic-based Image Retrieval Truy vấn ảnh theo nội dung IoT Internet of Things Kết nối vạn vật K-means K-means Clustering Phương pháp phân cụm K-Means KNN K-Nearest Neighbors LoG Laplace of Gaussian K láng giềng gần Phương pháp dò biên đối tượng theo tốn tử Laplace Một ngơn ngữ mơ tả liệu SBIR Resource Description Framework Semantic-based Image Retrieval SVM Support vector machine Máy véc-tơ hỗ trợ URI Uniform Resource Identifier Mhận diện tài nguyên thống WWW Word Wide Web Mạng toàn cầu RDF Truy vấn ảnh theo ngữ nghĩa 61 Bộ 1-20 Bộ 21-40 Bộ 41-60 Bộ 61-80 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 10 11 12 13 14 15 16 17 18 19 20 Hình 4.12 Độ xác phân lớp theo thuật tốn Cluster_k-NN ảnh Wang Bảng 4.3 Độ xác theo phân lớp ảnh Wang Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác 10 0.4917 0.6457 0.8016 0.8995 0.7666 0.6498 0.3855 0.6533 0.5244 0.2746 11 12 13 14 15 16 17 18 19 20 0.8554 0.873 0.8457 0.3964 0.4395 0.5813 0.5813 0.9175 0.5706 0.819 21 22 23 24 25 26 27 28 29 30 0.819 0.7716 0.7548 0.7611 0.8998 0.682 0.6704 0.8174 0.5384 0.2629 31 32 33 34 35 36 37 38 39 40 0.6853 0.8214 0.722 0.4362 0.5871 0.3951 0.60164 0.858 0.7718 0.7763 41 42 43 44 45 46 47 48 49 50 0.5107 0.6815 0.5431 0.5977 0.6323 0.7095 0.7391 0.6503 0.8728 0.4970 51 52 53 54 55 56 57 58 59 60 0.6776 0.7996 0.6350 0.4061 0.7268 0.2313 0.7765 0.5673 0.9031 0.7133 61 62 63 64 65 66 67 68 69 70 0.5057 0.39 0.5303 0.20283 0.7206 0.5721 0.4664 0.5142 0.7532 0.6159 71 72 73 74 75 76 77 78 79 80 0.6228 0.6587 0.7092 0.74311 0.614 0.7678 0.6665 0.8285 0.6227 0.5441 62 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 10 15 20 25 30 35 40 45 Hình 4.13 Độ xác phân lớp theo thuật tốn Cluster_k-NN ảnh Wang Bảng 4.4 Độ xác theo phân lớp ảnh ImageCLEF Bộ Độ xác Bộ Độ xác Bộ Độ xác Bộ Độ xác 0.6508 0.6335 0.6296 0.6778 0.7943 0.6421 0.7778 0.7401 0.5983 0.6065 10 11 12 13 14 15 16 17 18 19 0.5714 0.5985 0.7751 0.7324 0.5873 0.6016 0.5938 0.5901 0.6084 0.5989 20 21 22 23 24 25 26 27 30 31 0.7798 0.7022 0.7271 0.7418 0.6117 0.6104 0.6180 0.6152 0.6013 0.6189 32 33 34 35 36 0.5966 0.6594 0.6960 0.7911 0.7293 37 38 39 40 0.746 0.9011 0.8703 0.8180 Từ hình 4.11 đến hình 4.13 biểu diễn độ xác trình phân lớp cho ảnh đầu vào cho ảnh COREL, Wang, ImageCLEF Trong đó, điểm đồ thị biểu diễn giá trị độ xác chủ đề ảnh Từ bảng 4.2 đến bảng 4.4 số liệu tổng kết độ xác phân lớp tương ứng Kết phân lớp tiền đề để trích xuất ngữ nghĩa cho ảnh đầu vào độ xác việc phân lớp đóng vai trị quan trọng việc tạo câu truy vấn SPARQL kết truy vấn Ontology 63 4.4.2 Hiệu suất tìm kiếm ảnh Hình 4.14 Precision-Recall đƣờng cong ROC liệu COREL Hình 4.14 mơ tả hiệu suất truy vấn dựa độ xác độ phủ đường cong Precision-Recall liệu COREL, đường cong kết truy vấn chủ đề ảnh Trên sở đường cong cho thấy diện tích đường cong lớn 50% tức độ xác khả quan Mặt khác, đường cong đồ thị ROC nằm đường sở, nghĩa tỉ lệ nhiều tỉ lệ sai Hình 4.15 Hiệu suất trung bình ảnh COREL 64 Hình 4.16 Thời gian truy vấn trung bình ảnh COREL Bảng 4.5 Hiệu suất tìm kiếm trung bình ảnh COREL Thƣ mục Avg precision Avg recall Beach Bus Castle Dinosaur Elephant Flower Horse Meal Mountain Peoples Kết 0.711921 0.682076 0.781426 0.746024 0.779532 0.553546 0.780508 0.857193 0.819036 0.832161 0.754342 0.572527 0.538137 0.642032 0.6036 0.634077 0.426273 0.64263 0.710224 0.676612 0.683676 0.612979 Avg F-measure 0.63466 0.601617 0.704903 0.667297 0.699321 0.481644 0.70489 0.776818 0.741043 0.750646 0.676284 Avg query time (ms) 74.31392 74.19334 75.3531 74.64729 84.68269 70.67046 76.94954 84.34946 77.67639 84.7226 77.7558 Hình 4.15 giá trị trung bình độ xác, độ phủ, độ đo F-measure theo chủ đề ảnh COREL Từ cho thấy, giá trị độ xác trung bình tổng thể kết truy vấn ảnh COREL hiệu Ngoài ra, hình 4.16 cho thấy thời gian truy vấn trung bình ảnh dao động từ 70ms đến 85ms, điều cho thấy tính hiệu đáp ứng yêu cầu người dùng khả thi Bảng 4.5 tổng kết giá trị độ xác, độ phủ độ đo F-measure cho ảnh COREL cho thấy độ xác tổng thể q trình truy vấn ảnh COREL 75.43% tương ứng với thời gian truy vấn trung bình 77.75ms 65 Hình 4.17 Precision-Recall đƣờng cong ROC liệu WANG (00-40) Hình 4.17 hình 4.18 mơ tả hiệu suất truy vấn ảnh Wang dựa đường cong Precision-Recall ROC 80 chủ đề ảnh, với đường cong đánh giá độ xác tỉ lệ đắng chủ đề ảnh Wang Hình 4.19 hình 4.20 mơ tả độ xác trung bình nhóm ảnh ảnh Wang Trong bảng 4.6, độ xác trung bình tổng thể 70.85% tương ứng với thời gian truy vấn trung bình 133.7ms Hình 4.18 Precision-Recall đƣờng cong ROC liệu WANG (41-80) 66 Hình 4.19 Hiệu suất truy vấn trung bình liệu Wang Hình 4.20 Thời gian truy vấn trung bình ảnh Wang Bảng 4.6 Hiệu suất truy vấn trung bình liệu WANG Thƣ mục 0-10 11-20 21-30 31-40 41-50 51-60 61-70 71-80 Kết Avg precision 0.710615 0.708276 0.693729 0.680360 0.710659 0.699134 0.745693 0.719153 0.708452 Avg recall 0.596444 0.612389 0.577178 0.55973 0.645865 0.614094 0.693223 0.594381 0.611663 Avg.F-measure 0.648543 0.656851 0.630109 0.614178 0.676714 0.653860 0.718501 0.650840 0.656199 Avg.query time (ms) 121.3352 69.8144 115.5335 118.0478 136.3855 180.3458 174.4226 153.7889 133.7092 67 Hình 4.21 Precision-Recall đƣờng cong ROC liệu ImageCLEF (00-19) Hình 4.22 Precision-Recall đƣờng cong ROC liệu ImageCLEF (20-40) Hình 4.21 hình 4.22 mơ tả hiệu suất truy vấn ảnh ImageCLEF theo đồ thị Precision-Recall ROC, đường cong mơ tả thư mục ảnh với thư mục ảnh chứa hình ảnh thuộc chủ đề khác Hình 4.23 hình 4.24 mơ tả độ xác trung bình thời gian truy vấn ảnh ImageCLEF Trong bảng 4.7, độ xác truy vấn trung bình ảnh ImageCLEF 69.18% tương ứng với thời gian truy vấn 188.38ms 68 Hình 4.23 Hiệu suất truy vấn trung bình liệu ImageCLEF Hình 4.24 Thời gian truy vấn trung bình liệu ImageCLEF Bảng 4.7 Hiệu suất truy vấn trung bình liệu ImageCLEF Thƣ mục Avg precision Avg recall 00-09 10-20 21-30 31-40 Kết 0.670557 0.680131 0.712155 0.704485 0.691832 0.517678 0.534232 0.520334 0.547221 0.5298663 Avg F-measure 0.5842827 0.598417 0.6013173 0.6159737 0.5999977 Avg query time (ms) 282.6122 109.3821 187.1192 174.4411 188.38865 69 4.4.3 So sánh kết với cơng trình liên quan Bảng 4.8 So sánh độ xác phƣơng pháp liệu COREL Phƣơng pháp A Huneiti, 2015 [37] Bella M I T., 2019 [38] Phƣơng pháp đề xuất Mean Average Precision (MAP) 0.5588 0.6090 0.7543 Bảng 4.9 So sánh độ xác phƣơng pháp liệu WANG Phƣơng pháp P Chhabra, 2020 [39] Mean Average Precision (MAP) 0.6320 R Das, 2017 [40] X Tian, 2014 [41] 0.6524 0.6210 Phƣơng pháp đề xuất 0.7084 Bảng 4.10 So sánh độ xác phƣơng pháp liệu ImageCLEF Phƣơng pháp V Vijayarajan, 2016 [42] M Jiu, 2017 [43] Mean Average Precision (MAP) 0.4618 0.5970 Phƣơng pháp đề xuất 0.6918 Từ bảng 4.8 đến bảng 4.10 kết so sánh phương pháp đề xuất luận văn với số cơng trình khác công bố gần theo liệu COREL,Wang, ImageCLEF Đối với ảnh liệu COREL phương pháp đề xuất có độ xác 75.43% cao hai phương pháp công bố năm 2015 2019 Đối với liệu Wang, phương pháp đề xuất luận văn có độ xác 70.84% cao phương pháp công bố năm 2020, 2017 2014 Đối với ảnh ImageCLEF, hệ thống truy vấn ảnh đa đối tượng có độ xác 69.18% cao hai phương pháp công bố năm 2016 2017 Trên sở số liệu bảng so sánh cho thấy phương pháp đề xuất luận văn 70 khả thi hiệu với độ xác cao cơng trình cơng bố gần liệu 4.5 Tổng kết chƣơng Trong chương này, q trình thực nghiệm thực thi mơ tả liệu cụ thể, thuật toán minh họa đưa kết dựa liệu COREL, Wang, ImageCLEF Trên sở thuật toán xây dựng, ứng dụng truy vấn ảnh xây dựng sở mơ hình tiếp cận chương Kết thực nghiệm đánh giá đo đạc trực tiếp chương trình ứng dụng đánh giá độ xác, độ phủ độ đo F-measure Trên ảnh, đồ thị Precision-Recall thể hiệu suất truy vấn hình ảnh đồng thời đồ thị ROC mơ tả tính đắn tỉ lệ sai kết truy vấn Độ xác hệ truy vấn ảnh 75.43%, 70.84% 69.18% cho thấy tính hiệu phương pháp Dựa kết thực nghiệm, độ xác cho ảnh so sánh với cơng trình công bố gần Kết so sánh cho thấy phương pháp đề xuất luận văn khả thi để từ áp dụng phương pháp hệ thống truy tìm liệu đa phương tiện lĩnh vực khác 71 KẾT LUẬN Luận văn tiếp cận xây dựng hệ truy vấn ảnh dựa câu trúc liệu R-Tree đồng thời truy xuất ngữ nghĩa hình ảnh Ontology Mơ hình hệ thống thiết kế đề xuất để từ làm sở thực xây dựng hệ truy vấn ảnh Trên sở này, nội dung luận văn tiếp cận nghiên cứu thao tác xử lý ảnh trích xuất đặc trưng cấp thấp để từ thực ánh xạ thành ngữ nghĩa cấp cao Nhằm nâng cao tính hiệu việc truy vấn ảnh, cấu trúc R-Tree áp dụng nhằm lưu trữ tập liệu mơ tả cho hình ảnh nút Để xây dựng R-Tree, thuật tốn thêm, xóa, cập nhật, tìm kiếm đề xuất nhằm tạo cấu trúc liệu trung gian mơ tả tập hình ảnh tương tự Việc tra cứu tập hình ảnh tương tự thực cách tìm kiếm tập liệu mơ tả nút cây, sau tra cứu tập ảnh tương tự dựa định danh hình ảnh Từ đó, thuật tốn láng giềng gần k-NN áp dụng để phân lớp hình ảnh tạo thành từ mơ tả ngữ nghĩa cho hình ảnh truy vấn đầu vào; từ phân loại ngữ nghĩa sử dụng để tra cứu ngữ nghĩa Ontology nhằm mô tả ngữ nghĩa cho ảnh truy vấn Trên sở đề xuất, ứng dụng thực nghiệm xây dựng thực nghiệm đánh giá ảnh thông dụng gồm COREL, Wang, ImageCLEF Từ đó, kết so sánh với cơng trình khác cho thấy tính hiệu hệ thống thiết kế đề xuất Nội dung thực luận văn gồm có bốn phần chính: (1) thiết kế mơ hình truy vấn ảnh theo tiếp cận ngữ nghĩa; (2) đưa thuật toán thao tác R-Tree nhằm phân vùng liệu hình ảnh; (3) phân lớp hình ảnh ứng dụng Ontology cho việc truy xuất ngữ nghĩa hình ảnh; (4) xây dựng thực nghiệm truy vấn ảnh đồng thời đánh giá kết thực nghiệm ảnh thông dụng Hướng phát triển luận văn cải tiến cấu trúc R-Tree cách kết nối nút để tạo thành đồ thị liên kết nút có nhiều hình ảnh tương tự để từ tăng độ xác q trình tìm kiếm ảnh tương tự để từ ứng dụng truy xuất ngữ nghĩa cho hình ảnh lĩnh vực khác thực thi WWW 72 TÀI LIỆU THAM KHẢO [1] C Bobed, R Yus, F Bobillo, S Ilarri, J Bernad, E Mena, R Trillo-Lado, Á.L Garrido, "Emerging Semantic-Based Applications", Semantic Web, Cham, pp.3983, 2016 [2] BusinessInsider, "www.businessinsider.com ", 2018 [3] Y Cao, M Long, J Wang, Q Yang, P.S Yu, "Deep Visual-Semantic Hashing for Cross-Modal Retrieval", Proceedings of the 22nd ACM SIGKDD International Conf on Knowledge Discovery and Data Mining, San Francisco, California, USA, pp.1445-1454, 2016 [4] Y Chou, D.J Lee, D Zhang, "Semantic-Based Brain MRI Image Segmentation Using Convolutional Neural Network", ISVC: Advances in Visual Computing, Cham, pp.628-638, 2016 [5] L Deligiannidis, H.R Arabnia, "Emerging Trends in Image Processing, Computer Vision, and Pattern Recognition", ed S Elliot, Elsevier, USA: Morgan Kaufmann, Waltham, MA 02451, 2015 [6] Deloitte, "Photo sharing: trillions and rising", Deloitte Touche Tohmatsu Limited, Deloitte Global, 2016 [7] Deloitte, "https://www2.deloitte.com", 2018 [8] J Gantz, D Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digi tal Shadows, and Biggest Growth in the Far East", IDC iView, EMC Corporation, 2012 and 2014 [9] C Kurtz, A Depeursinge, C.F Beaulieu, A semantic framework for the retrieval of similar radiological images based on medical annotations, IEEE International Conf on Image Processing, Paris, France, 2014 [10] P Muneesawang, N Zhang, L Guan, "Multimedia Database Retrieval: Technology and Applications", Springer, New York Dordrecht London, 2014 [11] A.B Spanier, D Cohen, L Joskowicz, "A new method for the automatic retrieval of medical cases based on the RadLex ontology", International Journal of Computer Assisted Radiology and Surgery, vol 12, no 3, pp.471–484, 2017 [12] V Vijayarajan, M Dinakaran, P Tejaswin, M Lohani, "A generic framework for ontology‑ based information retrieval and image retrieval in web data", Humancentric Computing and Information Sciences, vol 6, no 18, pp.1-30, 2016 [13] X Xie, X Cai, J Zhou, N Cao, Y Wu, "A Semantic-based Method for Visualizing Large Image Collections", IEEE Transactions on Visualization and Computer 73 Graphics, IEEE Computer Society, vol xx, no xx, pp.xx-xx, 2018 [14] B.B.Z Yao, X Yang, L Lin, M.W Lee, S.-C Zhu, "I2T: Image Parsing to Text Description", Proceedings of the IEEE, pp.1485-1508, 2010 [15] H Xu, D Xu, and E Lin, „„An approach of hierarchical image index based on subspace cluster,‟‟ J Image Graph., vol 14, no 1, pp 142–147, Jan 2009 [16] Gurchetan Singh, "Introductory guide to Information Retrieval using kNN and KDTree", November 28, 2017 [17] Jayashree Das and Minakshi Gogoi, "Indexing of Voluminous Data Using K-D Tree with Reference to CBIR", International Journal of Computer Sciences and Engineering, Volume-4, Special Issue-7, Dec 2016 [18] Hasan Al-Jabbouli, "Data clustering using the Bees Algorithm and the Kd-Tree structure", Intelligent Systems Research Laboratory, Manufacturing Engineering Centre, Cardiff University, United Kingdom, 2009 [19] Vignesh Ramanathan, Shaunak Mishra and Pabitra Mitra, "Quadtree Decomposition based Extended Vector Space Model for Image Retrieval", Indian Institute of Technology, Kharagpur - 721302, 978-1-4244-9497-2/10/ IEEE, 2010 [20] Chandresh Pratap Singh, " R-Tree implementation of image databases " Signal & Image Processing : An International Journal (SIPIJ) Vol.2, No.4, December 2011 [21] Nam N.V, Bac L.H, " Simple Spatial Clustering Algorithm Based on R-Tree" C Sombattheera et al (Eds.): MIWAI 2012, LNCS 7694, pp 236–245, Berlin Heidelberg, 2012 [22] E T Khalaf, M N Mohammad, and K Moorthy, „„Robust partitioning and indexing for iris biometric database based on local features,‟‟ IET Biometrics, vol 7, no 6, pp 589–597, Nov 2018 [23] N Chen, X Zhong, and L Li, „„Research on optimized R-tree highdimensional indexing method based on video features,‟‟ in Proc IEEE 2nd Int Conf Cloud Comput Big Data Anal (ICCCBDA), Apr 2017, pp 93–97 [24] Intelligent Image Databases, Kluwer Academic Publishers, 1998 [25] F Duan and Q Zhang, "Stereoscopic Image Feature Indexing Based on Hybrid Grid Multiple Suffix Tree and Hierarchical Clustering," in IEEE Access, vol 8, pp 23531-23541, 2020 [26] Vanitha J., Senthilmurugan M “Multidimensional Image Indexing Using SR-Tree Algorithm for Content-Based Image Retrieval System” In: Shetty N., Patnaik L., Prasad N., Nalini N (eds) Emerging Research in Computing, Information, 74 Communication and Applications, pp.81-88, 2018 [27] Arpitha Y.C, Bhargavi A.G, Mahima K.T, Nagavi K.K, Meenakshi H.N*, “A Navigation Supporting System Using R-Tree”, Published by AIJR Publisher in Proceedings of the 3rd National Conference on Image Processing, Computing, Communication, Networking and Data Analytics, April 28, 2018 [28] Yang Yang, Pengwei Bai, Ningling Ge, “LAZY R-tree: The R-tree with lazy splitting algorithm” Journal of Information Science, pp 1–15, 2019 [29] Xinlu Wang, Weiming Meng, Mingchuan Zhang, “A novel information retrieval method based on R-tree index for smart hospital information system” International Journal of Advanced Computer Research, Vol 9(42), 2019 [30] F Duan and Q Zhang, "Stereoscopic Image Feature Indexing Based on Hybrid Grid Multiple Suffix Tree and Hierarchical Clustering," in IEEE Access, vol 8, pp 23531-23541, 2020 [31] T Kanimozhi and A Christy, "Incorporating ontology and SPARQL for semantic image annotation," 2013 IEEE Conference on Information & Communication Technologies, Thuckalay, Tamil Nadu, India, 2013, pp 26-31, doi: 10.1109/CICT.2013.6558056 [32] V Vijayarajan, M Dinakaran, P Tejaswin, M Lohani, "A generic framework for ontology‑ based information retrieval and image retrieval in web data", Humancentric Computing and Information Sciences, vol 6, no 18, pp.1-30, 2016 [33] Yu, Binbin "Research on information retrieval model based on ontology." EURASIP Journal on Wireless Communications and Networking 2019.1 (2019): 1-8 [34] Zhong, Botao, et al "Ontology-based semantic modeling of knowledge in construction: classification and identification of hazards implied in images." Journal of Construction Engineering and Management 146.4 (2020): 04020013 [35] A Guttman: “R-trees: a Dynamic Index Structure for Spatial Searching”, Proceedings ACM SIGMOD Conference on Management of Data, pp.47-57, Boston, MA, 1984 [36] Chandresh Pratap Singh, " R-Tree implementation of image databases " Signal & Image Processing : An International Journal (SIPIJ) Vol.2, No.4, December 2011 [37] Huneiti, A., & Daoud, M (2015) Content-based image retrieval using SOM and DWT Journal of software Engineering and Applications, 8(02), 51 [38] Bella, M I T., & Vasuki, A (2019) An efficient image retrieval framework using fused information feature Computers & Electrical Engineering, 75, 46-60 75 [39] Chhabra, P., Garg, N K., & Kumar, M (2020) Content-based image retrieval system using ORB and SIFT features Neural Computing and Applications, 32(7), 27252733 [40] Das, R., Thepade, S., & Ghosh, S (2017) Novel feature extraction technique for content-based image recognition with query classification International Journal of Computational Vision and Robotics, 7(1-2), 123-147 [41] Tian, X., Jiao, L., Liu, X., & Zhang, X (2014) Feature integration of EODH and Color-SIFT: Application to image retrieval based on codebook Signal Processing: Image Communication, 29(4), 530-545 [42] V Vijayarajan, M Dinakaran, P Tejaswin, M Lohani, "A generic framework for ontology‑ based information retrieval and image retrieval in web data", Humancentric Computing and Information Sciences, vol 6, no 18, pp.130, 2016 [43] M Jiu, H Sahbi, "Nonlinear Deep Kernel Learning for Image Annotation", IEEE Transactions on Image Processing, vol 26, no 4, pp.1820-1832, 2017 [44] Umar Manzoor, Mohammed A Balubaid, Bassam Zafar, Hafsa Umar, M Shoaib Khan, Semantic Image Retrieval: An Ontology Based Approach, International Journal of Advanced Research in AI, Volume Issue [45] Alzu‟bi A, Amira A, Ramzan N, Semantic content-based image retrieval: A comprehensive study, J Vis Commun Image Rep., 32, pp.20-54, 2015 [46] Amit Saxena et al., A Review of Clustering Techniques and Developments, Neurocomputing, Vol 267, pp 664-681, 2017 [47] Zahra Nazari et al., A New Hierarchical Clustering Algorithm, Artificial Intelligence, Robotics, and Human-Computer Interaction, Okinawa, Japan,pp.148-152, 2015 [48] Sanjib Kumar Sahu et al., Modified K-NN algorithm for classification problems with improved accuracy, Int j inf Tecnol, Vol 10, pp 65–70, 2018 [49] Van The Thanh, Do Quang Khoi, Le Huu Ha, Le Manh Thanh, SIR-DL: an Architecture of Semantic-based Image Retrieval using Deep Learning Technique and RDF Triple Language, Journal of Computer Science and Cybernetics, Vol 35, No 1, pp.39-56, 2019 ... dựng cấu trúc liệu phân cụm phân cấp Để tạo cấu trúc liệu này, kỹ thuật học bán giám sát kết hợp phương pháp phân cụm phân hoạch phân cụm phân cấp áp dụng Cây phân cụm phân cấp mô hình để phân. .. hình ảnh, chưa diễn tả đầy đủ ngữ nghĩa mong muốn người dùng 1.3 Tổng quan tốn tìm kiếm ảnh cấu trúc R-Tree Mục tiêu luận văn là: Xây dựng mơ hình tìm kiếm ảnh dựa cấu trúc liệu theo phân cụm phân. .. thuật tốn tìm kiếm Search O(M×logN) 2.4 Tổng kết chƣơng Trong chương này, cấu trúc phân cụm phân cấp dựa cấu trúc R-Tree đề xuất cải tiến để từ áp dụng cho việc tìm kiếm hình ảnh tương tự phân lớp