Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.
ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ ĐỊNH PHÁT TRIỂN MƠ HÌNH TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE Ngành: Khoa học máy tính Mã số: 9480101 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học PGS TS Lê Mạnh Thạnh TS Văn Thế Thành HUẾ, NĂM 2023 Cơng trình hồn thành tại: Khoa Cơng nghệ Thơng tin, Trường Đại học Khoa học, Đại học Huế Người hướng dẫn khoa học: PGS TS Lê Mạnh Thạnh TS Văn Thế Thành Phản biện 1: ………………………………………………… ……………………………………………………………… Phản biện 2: ………………………………………………… ……………………………………………………………… Phản biện 3: ………………………………………………… ……………………………………………………………… Luận án bảo vệ Hội đồng chấm luận án cấp Đại học Huế họp tại: ……………………………………… ……………………………………………………………… Vào hồi:….giờ… .ngày… .tháng… .năm Có thể tìm hiểu luận án thư viện:………………… ……………………………………………………………… ……………………………………………………………… MỞ ĐẦU Tính cấp thiết luận án Dữ liệu ảnh số ứng dụng số toán phân loại bệnh nhân qua hình ảnh MRI [2], nhận diện đối tượng hình ảnh [3], v.v Vì vậy, ảnh số trở nên cần thiết đóng vai trị quan trọng lĩnh vực tra cứu thông tin nhận diện đối tượng hình ảnh Điều thúc đẩy đời nhiều hệ tìm kiếm ảnh thực nhiều phương pháp khác nhằm nâng cao độ xác, tiết kiệm thời gian tìm kiếm nhằm đáp ứng nhu cầu người dùng [2], [3] Một cấu trúc liệu lưu trữ đề xuất đáp ứng nhu cầu gia tăng liệu cần thiết cho tốn tìm kiếm ảnh, chẳng hạn S-Tree [5], C-Tree [6], KD-Tree [13], v.v Trong luận án, cấu trúc liệu đa chiều KD-Tree nghiên cứu xây dựng cho tốn tìm kiếm ảnh mang lại kết khả quan, đáp ứng khả lưu trữ liệu tăng trưởng theo thời gian, phù hợp với liệu véc-tơ đặc trưng hình ảnh, thời gian tìm kiếm ổn định Quá trình đưa kỹ thuật học máy vào xây dựng cấu trúc KD-Tree mang lại hiệu cho tìm kiếm ảnh có độ xác cao so với số phương pháp khác trước Tổng quan tình hình nghiên cứu Tìm kiếm ảnh sử dụng kỹ thuật gom cụm phân lớp mang lại kết khả quan thập niên vừa qua; số cơng trình sử dụng kết hợp kỹ thuật học máy k-Means, k-NN, DNN, CNN, v.v [11], [13], [14] Hầu hết cơng trình sử dụng kỹ thuật phân lớp gom cụm thành nhóm liệu tương đồng trước thực tìm kiếm ảnh Tuy nhiên, trình kết hợp kỹ thuật học máy cho tốn tìm kiếm ảnh cịn hạn chế số yếu tố như: mở rộng khả lưu trữ theo nhu cầu liệu tăng trưởng, giảm thời gian tìm kiếm tập liệu ảnh lớn Bên cạnh đó, cấu trúc liệu áp dụng cho tốn tìm kiếm ảnh mang lại kết tốt cấu trúc S-Tree [5], C-Tree [6], KD-Tree [13], [14] Một số cơng trình sử dụng cấu trúc KD-Tree kết hợp kỹ thuật gom cụm, phân lớp mang lại độ xác tìm kiếm ảnh cao [16], [18] Bài tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa thực theo nhiều phương pháp khác Trong đó, tìm kiếm ảnh theo tiếp cận ngữ nghĩa sử dụng ontology hướng tiếp cận mang lại nhiều kết khả quan thập niên vừa qua Cụ thể Manzoor cộng (2015) [19] đề xuất phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa ontology để truy xuất ngữ nghĩa hình ảnh có liên quan đến nội dung tìm kiếm người dùng Olfa Allani cộng (2016) [20] đề xuất hệ thống tra cứu ảnh tích hợp ngữ nghĩa với đặc trưng thị giác để xây dựng ontology cho việc tra cứu tổ chức thông tin ngữ nghĩa hình ảnh Trên sở tổng quan tình hình nghiên cứu hướng tiếp cận tốn tìm kiếm ảnh; số định hướng đề xuất cải tiến nhằm nâng cao độ xác cho tốn tìm kiếm ảnh dựa cấu trúc KD-Tree Cuối cùng, kết hợp KD-Tree Ontology để tìm kiếm ảnh theo tiếp cận ngữ nghĩa thực Mục tiêu luận án Mục tiêu cụ thể luận án gồm: (1) nghiên cứu cấu trúc liệu đa chiều KD-Tree; xây dựng thuật toán thao tác KD-Tree tổ chức lưu trữ véc-tơ đặc trưng hình ảnh; (2) phát triển cấu trúc KD-Tree, đồng thời xây dựng bổ sung ngữ nghĩa cho liệu thực nghiệm nhằm thực mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa; (3) phát triển mơ hình tìm kiếm ảnh cách kết hợp phương pháp học có giám sát, bán giám sát để tạo mơ hình phân lớp hình ảnh, gom cụm liệu dựa cấu trúc KD-Tree Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: (1) phương pháp phân cụm phân lớp liệu; (2) cấu trúc phân cụm liệu đa chiều; (3) cấu trúc Ontology phát triển Ontology; (4) tập ảnh đơn đối tượng, đa đối tượng Phạm vi nghiên cứu: (1) phương pháp học máy: học có giám sát, bán giám sát; (2) cấu trúc liệu đa chiều KD-Tree; (3) cải tiến: iKD_Tree, KD-Tree lồng nhau, Re KD-Tree, RF KD-Tree; (4) cấu trúc Ontology ngôn ngữ truy vấn SPARQL; (5) tập ảnh COREL, Wang, Caltech-101, Caltech-256, MS-COCO, Flickr Phương pháp nghiên cứu Phương pháp lý thuyết: (1) Tổng hợp công trình nghiên cứu liên quan đến tìm kiếm ảnh thời gian gần đây, quan tâm đến kết cơng trình sử dụng mơ hình học máy, tìm kiếm ảnh theo ngữ nghĩa cấu trúc lưu trữ dạng Nghiên cứu phương pháp làm giàu Ontology phát triển mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa (2) Đề xuất mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa, đánh giá thực nghiệm, so sánh độ xác tìm kiếm ảnh với cơng trình lĩnh vực để có điều chỉnh cải tiến thích hợp Phương pháp thực nghiệm: (1) Các chương trình viết ngơn ngữ cấp cao cho thuật tốn hệ thống máy tính có cấu hình (2) Dữ liệu thực nghiệm liệu ảnh chuẩn công bố sử dụng cơng trình có kết Một số cơng việc gồm: trích xuất đặc trưng hình ảnh cho liệu ảnh tiêu chuẩn: COREL [24], Wang [25], Caltech-101 [26], Caltech-256 [27], phát hiện, phân đoạn ảnh đối tượng trích xuất véc-tơ đặc trưng ảnh MS-COCO [28], Flickr [29] (3) Xây dựng cấu trúc liệu, cài đặt thuật tốn mơ hình đề xuất để thực nghiệm liệu ảnh chuẩn; so sánh kết thực nghiệm liệu với cơng trình cơng bố, so sánh kết thực nghiệm liệu mơ hình đề xuất để minh chứng tính đắn hiệu sở lý thuyết Bố cục luận án Luận án trình bày 139 trang, mở đầu (08 trang), kết luận hướng phát triển (02 trang), danh mục cơng trình khoa học tác giả liên quan đến luận án (1 trang), tài liệu tham khảo (07 trang), luận án chia thành chương Chương (21 trang) trình bày sở lý thuyết cho tìm kiếm ảnh cấu trúc KD-Tree Chương (36 trang) trình bày số cải tiến cấu trúc KD-Tree cho tìm kiếm Chương (34 trang) phát triển KD-Tree theo tiếp cận ngữ nghĩa, xây dựng Ontology xây dựng thực nghiệm ảnh đa đối tượng Phần phụ lục (19 trang) hình ảnh chi tiết biểu đồ precision, recall đường cong ROC chi tiết cho ảnh thực nghiệm theo chương; biểu đồ thời gian truy vấn tập ảnh thực nghiệm Đóng góp luận án Đóng góp luận án phát triển cấu trúc KD-Tree phương pháp tích hợp mạng Nơ-ron vào nút để cải tiến KD-Tree nhằm nâng cao độ xác tìm kiếm ảnh, cụ thể bao gồm: - Xây dựng cấu trúc KD-Tree đa nhánh cân cấu trúc cải tiến iKD_Tree; cấu trúc KD-Tree lồng nhau, đồng thời đề xuất mơ hình tìm kiếm ảnh dựa cấu trúc - Phát triển cấu trúc KD-Tree theo tiếp cận ngữ nghĩa; xây dựng rừng ngẫu nhiên; phát triển Ontology cho tập ảnh thực nghiệm; đề xuất mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa kết hợp Ontology, Re KD-Tree RF KD-Tree Chương TỔNG QUAN VỀ TÌM KIẾM ẢNH VÀ CẤU TRÚC KDTREE 1.1 Giới thiệu Luận án tiếp cận phương pháp tìm kiếm ảnh dựa cải tiến cấu trúc KD-Tree gồm KD-Tree đa nhánh cân bằng, iKD_Tree KDTree lồng Sau xây dựng rừng ngẫu nhiên gồm nhiều KD-Tree, phát triển KD-Tree theo tiếp cận ngữ nghĩa phát triển Ontology để thực tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa kết hợp đặc trưng hình ảnh với đặc trưng ngữ nghĩa, đồng thời tìm kiếm Ontology nhằm nâng cao độ xác Như vậy, tốn tìm kiếm ảnh thực dựa cấu trúc KD-Tree Ontology 1.2 Tìm kiếm ảnh theo nội dung Phương pháp tìm kiếm ảnh theo nội dung thực cách trích xuất nội dung hình ảnh thành véc-tơ đặc trưng đa chiều, tổ chức lưu trữ thực tìm kiếm tập ảnh có độ tương tự gần dựa sở liệu ảnh có Một số độ đo tương tự hai hình ảnh sử dụng gồm độ đo Euclide [43], độ đo Minkowski [44], v.v Trong luận án này, độ đo Euclide để đánh giá độ tương tự hai hình ảnh Đặc trưng hình ảnh đặc điểm sử dụng để nhận diện xuất đối tượng trực quan ảnh, bao gồm hình dạng, màu sắc, kết cấu bề mặt, vị trí tương đối, chu vi diện tích đối tượng, v.v Trong luận án đặc trưng cấp thấp trích xuất gom nhóm thành 81, 183 255 chiều sử dụng cho thực nghiệm 1.3 Tìm kiếm ảnh theo ngữ nghĩa Một mơ hình tìm kiếm ảnh theo ngữ nghĩa, ngồi việc sử dụng đặc trưng hình ảnh cịn kết hợp đặc trưng ngữ nghĩa để tìm kiếm tập ảnh dựa mô tả ngữ nghĩa ảnh đầu vào Trong tìm kiếm ảnh theo tiếp cận ngữ nghĩa đối sánh độ tương tự hai hình ảnh thông qua đặc trưng ngữ nghĩa Ngữ nghĩa diễn đạt qua khái niệm, mô tả, nhận thức người đối tượng cần tìm kiếm Mối quan hệ ngữ nghĩa dựa đặc trưng không gian đối tượng hình ảnh ứng dụng phổ biến cơng trình tìm kiếm ảnh theo tiếp cận ngữ nghĩa [45], [46] Trên sở xác định trích xuất đối tượng ảnh đầu vào, mối quan hệ cặp đối tượng xác định thông qua tọa độ vị trí, khoảng cách tương đối trích xuất đối tượng ảnh Từ đó, mối quan hệ ngữ nghĩa cặp đối tượng hình ảnh (bên trái, bên phải, phía trước, phía sau, trên, dưới,, v.v.) xác định KD-Tree áp dụng cho tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa thực luận án Mối quan hệ ngữ nghĩa mô tả đặc trưng không gian cho ảnh đầu vào minh họa Hình 1.1 [CT5] Hình 1.1 Xác định mối quan hệ đối tượng KD-Tree 1.4 Tìm kiếm ảnh dựa cấu trúc KD-Tree Cấu trúc KD-Tree nguyên thủy Bentley (1975) [49] đề xuất dạng tìm kiếm nhị phân (BST) Trên sở phát triển BST với nút lưu trữ điểm không gian đa chiều hình thành nên cấu trúc mới, gọi KD-Tree Cấu trúc KD-Tree tìm kiếm nhị phân bao gồm nút gốc (𝑅𝑜𝑜𝑡), nút (𝑁𝑜𝑑𝑒) nhiều nút (𝐿𝑒𝑎𝑓) Cấu trúc KD-Tree có khả tăng trưởng số nhánh nút nên chiều cao giới hạn, thời gian tìm kiếm từ nút gốc đến nút ổn định [CT1] Trong phạm vi luận án cấu trúc KD-Tree cải tiến từ việc lưu trữ liệu tất nút thành cấu trúc KD-Tree lưu liệu hình ảnh nút lá; nút nút gốc đóng vai trị phân lớp chọn nhánh cho liệu thêm vào duyệt từ nút gốc đến nút Đề xuất cải tiến cấu trúc KD-Tree trình gom cụm nút cụm liệu tương đồng [CT3]; Ngoài ra, cấu trúc KD-Tree xây dựng theo phương pháp phân lớp hình ảnh, nút lưu trữ véc-tơ trọng số huấn luyện theo phương pháp học có giám sát để thu kết phân lớp nút Phân lớp cấu trúc KD-Tree trình phân lớp đối tượng qua tầng nút thực lần phân lớp Tại nút KD-Tree mạng nơ-ron nút dùng để phân lớp đối tượng hình ảnh lần Vì vậy, cấu trúc KD-Tree mang lại kết phân lớp hình ảnh cao sau huấn luyện Quá trình phân lớp nút phân lớp hình ảnh [CT2] 1.5 Phương pháp thực nghiệm đánh giá Để xác định hiệu mơ hình đề xuất, phương pháp tổ chức thực nghiệm đánh giá luận án bao gồm: môi trường thực nghiệm, tập ảnh giá trị đánh giá hiệu suất gồm độ xác (precision), độ phủ (recall) độ dung hoà (F-measure) [58] Kết phân lớp ảnh số đánh giá dựa mơ hình phân lớp Trong giai đoạn này, toán thực xây dựng cấu trúc KD-Tree, huấn luyện mơ hình phân lớp theo tiếp cận KD-Tree, tính kết phân lớp (P) dựa tổng số lượng hình ảnh phân loại so với tổng số hình ảnh thực nghiệm 1.6 Tổng kết chương Nội dung chương bao gồm vấn đề liên quan tìm kiếm ảnh đặc trưng cấp thấp, phương pháp trích xuất đặc trưng hình ảnh, đặc trưng ngữ nghĩa, mối quan hệ ngữ nghĩa đối tượng ảnh Cấu trúc liệu đa chiều cấu trúc KD-Tree cho tốn tìm kiếm ảnh mơ hình tìm kiếm ảnh dựa cấu trúc KD-Tree đề xuất Ngoài ra, phương pháp tổ chức thực nghiệm trình bày bao gồm: môi trường thực nghiệm, tập liệu thực nghiệm giá trị đánh giá kết tìm kiếm ảnh Chương TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KDTREE 2.1 Giới thiệu Chương trình bày số cải tiến cấu trúc KD-Tree cho tìm kiếm ảnh Đầu tiên cải tiến KD-Tree nhị phân thành KD-Tree đa nhánh cân bằng; sau đó, số cải tiến iKD_Tree, KD-Tree lồng đề xuất với thuật toán thao tác cải tiến thực nghiệm ảnh tiêu chuẩn 2.2 2.2.1 Cấu trúc KD-Tree đa nhánh cân Xây dựng cấu trúc KD-Tree Cấu trúc KD-Tree đa nhánh cân gồm thành phần: • Nút gốc (𝑅𝑜𝑜𝑡) nút khơng có nút cha, lưu trữ véc-tơ trọng số (w0), có tập nút trái {𝑙𝑒𝑓𝑡}, tập nút phải {𝑟𝑖𝑔ℎ𝑡} thuộc mức ℎ0 (𝑙𝑒𝑣𝑒𝑙 = ℎ0 ) Ký hiệu: 𝑅𝑜𝑜𝑡 = < 𝑤0 , {𝑙𝑒𝑓𝑡}, {𝑟𝑖𝑔ℎ𝑡}, ℎ0 >; • Nút (𝑁𝑜𝑑𝑒𝑖 ) nút có nút cha (parent), lưu trữ véc-tơ trọng số (𝑤𝑖 ), có tập nút trái {𝑙𝑒𝑓𝑡}, tập nút phải {𝑟𝑖𝑔ℎ𝑡} có mức (𝑙𝑒𝑣𝑒𝑙 = ℎ𝑖 ) Ký hiệu: 𝑁𝑜𝑑𝑒𝑖 = < 𝑝𝑎𝑟𝑒𝑛𝑡, 𝑤𝑖 , {𝑙𝑒𝑓𝑡}, {𝑟𝑖𝑔ℎ𝑡}, ℎ𝑖 >; • Nút (𝐿𝑒𝑎𝑓𝑘 ) nút có nút cha (𝑝𝑎𝑟𝑒𝑛𝑡), khơng có nút con, lưu trữ tập véc-tơ đặc trưng hình ảnh {𝑓1 , … , 𝑓𝑚 }, có mức (𝑙𝑒𝑣𝑒𝑙 = ℎ) gán nhãn (𝑙𝑎𝑏𝑒𝑙) Ký hiệu: 𝐿𝑒𝑎𝑓𝑘 = < 𝑝𝑎𝑟𝑒𝑛𝑡, {𝑓1 , … , 𝑓𝑚 }, 𝑙𝑒𝑣𝑒𝑙, 𝑙𝑎𝑏𝑒𝑙 >; • Hai nút 𝑁𝑜𝑑𝑒𝑖 𝑁𝑜𝑑𝑒𝑗 có quan hệ anh em 𝑁𝑜𝑑𝑒𝑖 𝑁𝑜𝑑𝑒𝑗 có nút cha: 𝑁𝑜𝑑𝑒𝑖 𝑝𝑎𝑟𝑒𝑛𝑡 = 𝑁𝑜𝑑𝑒𝑗 𝑝𝑎𝑟𝑒𝑛𝑡; 1.6 Chapter sub-summary The content of the chapter includes issues related to image retrievals such as low-level features, image feature extraction methods, semantic features, and semantic relationships between objects on the image Multidimensional data structure and KD-Tree structure for image retrieval problem and image retrieval model based on KD-Tree structure are proposed In addition, the experimental organization methods are presented, including the experimental environment, experimental data set, and evaluation values of image retrieval results Chapter KD-TREE STRUCTURE-BASED IMAGE RETRIEVAL 2.1 Introduction This chapter presents some improvements on the KD-Tree structure for image retrieval The first is to improve the binary KD-Tree to a balanced multi-branch KD-Tree; then, some improvements iKD_Tree, and Nested KD-Tree are proposed along with algorithms to manipulate these improvements and experiment on standard image sets 2.2 Balanced multi-branch KD-Tree structure 2.2.1 Building the KD-Tree structure The balanced multi-branch KD-Tree structure is composed of components: • The root is a node that has no parent, stores a weight vector (𝑤0 ), has a set of left child nodes {𝑙𝑒𝑓𝑡}, a set of right children {𝑟𝑖𝑔ℎ𝑡} and a level on the tree is ℎ0 (𝑙𝑒𝑣𝑒𝑙 = ℎ0 ) Notation: 𝑅𝑜𝑜𝑡 = < 𝑤0 , {𝑙𝑒𝑓𝑡}, {𝑟𝑖𝑔ℎ𝑡}, ℎ0 >; • The inner node (𝑁𝑜𝑑𝑒𝑖 ) is a node that has a parent node, stores a weight vector (𝑤𝑖 ), has a left child node set {𝑙𝑒𝑓𝑡}, a right child node set {𝑟𝑖𝑔ℎ𝑡}, and has a level in the tree (𝑙𝑒𝑣𝑒𝑙 = ℎ𝑖 ) Notation: 𝑁𝑜𝑑𝑒𝑖 = < 𝑝𝑎𝑟𝑒𝑛𝑡, 𝑤𝑖 , {𝑙𝑒𝑓𝑡}, {𝑟𝑖𝑔ℎ𝑡}, ℎ𝑖 >; • The leaf node (𝐿𝑒𝑎𝑓𝑘 ) is a node that has a parent node, has no children, stores the set of image feature vectors {𝑓1 , … , 𝑓𝑚 }, and has a level in the tree (𝑙𝑒𝑣𝑒𝑙 = ℎ) ) and is assigned a label Notation: 𝑁𝑜𝑑𝑒𝑖 = < 𝑝𝑎𝑟𝑒𝑛𝑡, {𝑓1 , … , 𝑓𝑚 }, ℎ, 𝑙𝑎𝑏𝑒𝑙 >; • Two nodes 𝑁𝑜𝑑𝑒𝑖 and 𝑁𝑜𝑑𝑒𝑗 are related if 𝑁𝑜𝑑𝑒𝑖 and 𝑁𝑜𝑑𝑒𝑗 have the same parent: 𝑁𝑜𝑑𝑒𝑖 𝑝𝑎𝑟𝑒𝑛𝑡 = 𝑁𝑜𝑑𝑒𝑗 𝑝𝑎𝑟𝑒𝑛𝑡 • Two nodes 𝑁𝑜𝑑𝑒𝑖 and 𝑁𝑜𝑑𝑒𝑗 are filiation if 𝑁𝑜𝑑𝑒𝑗 𝑝𝑎𝑟𝑒𝑛𝑡 = 𝑁𝑜𝑑𝑒𝑖 or 𝑁𝑜𝑑𝑒𝑖 𝑝𝑎𝑟𝑒𝑛𝑡 = 𝑁𝑜𝑑𝑒𝑗 • Two nodes 𝑁𝑜𝑑𝑒𝑖 and 𝑁𝑜𝑑𝑒𝑗 are counterparts if 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑣𝑒𝑙 = 𝑁𝑜𝑑𝑒𝑗 𝑙𝑒𝑣𝑒𝑙 • The number of left child nodes and the number of right child nodes at 𝑁𝑜𝑑𝑒𝑖 are different because the number of child nodes at each inner node can be odd Figure 2.1 KD-Tree structure illustration The KD-Tree structure is built to store data at the leaf; the root and the nodes store only the weight vector that plays the role of classifier and links to the next child node 2.2.2 Principles of building KD-Tree structure 10 Step Initialize the height of the KD-Tree with ℎ, and initialize the maximum number of branches at each inner node as 𝑏 Step Initialize the set of random weight vectors just enough to allocate to the nodes in 𝑊𝑘𝑡 =< 𝑤0 , … , 𝑤ℎ−1 >, 𝑤𝑖 = (𝑤𝑖0 , … , 𝑤𝑖𝑛 ); each vector 𝑤𝑖 is stored at 𝑁𝑜𝑑𝑒𝑖 Step At 𝑁𝑜𝑑𝑒𝑖 initialize the left and right thresholds 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 = 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 = 0.5 so that the KD-Tree is balanced Step In turn, let the vector 𝑓𝑗 enter the KD-Tree from the root; determine the output value of the vector 𝑓𝑗 at 𝑁𝑜𝑑𝑒𝑖 and the path for 𝑓𝑗 to the branch of the next layer according to rule (2) Step Repeat steps 3, and when encountering 𝑙𝑒𝑎𝑓𝑘 , and insert 𝑓𝑗 to 𝑙𝑒𝑎𝑓𝑘 The process of creating left and right child branches and finding the nearest branch is done according to rule (2) as follows: If 𝑦𝑖𝑗 > 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 then 𝑓𝑗 follows the right sub-branch; update 𝑁𝑜𝑑𝑒i right = yij ; If 𝑦𝑖𝑗 < 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 then 𝑓𝑗 follows the left sub-branch; update Nodei left = yij ; If 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 ≤ 𝑦𝑖𝑗 ≤ 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 then find the branch with the smallest distance (𝑑𝑚𝑖𝑛 ) from position 𝑦𝑖𝑗 to the threshold values left and right to determine the path for 𝑓𝑗 2.2.3 Leaf labeling process The process of assigning a label to a leaf is done in the following steps: Step 1: For each 𝑙𝑒𝑎𝑓𝑖 , count the frequency of occurrence of all vectors with the same label With 𝑛 is the number of leaves Step 2: Represent the frequency of occurrence of each label 𝑙𝑎𝑏𝑙𝑒𝑗 for each 𝑙𝑒𝑎𝑓𝑖 With 𝑚 is the number of labels 11 Step 3: Find the maximum value of matrix 𝑀𝑇(𝑛, 𝑚) which is 𝑉𝑇𝑖,𝑗 at row 𝑙𝑎𝑏𝑒𝑙𝑖 and column 𝑙𝑒𝑎𝑓𝑗 Labeling 𝑙𝑎𝑏𝑒𝑙𝑖 for 𝑙𝑒𝑎𝑓𝑗 as 𝑉𝑎𝑙𝑢𝑒(𝑉𝑇𝑖,𝑗 ) Step 4: Convert all values in row 𝑖, column 𝑗 to Step 5: Repeat steps 3, and when all labels are assigned to all leaves 2.2.4 Training weight vectors on the KD-Tree structure Initially, the set of weight vectors is randomly initialized, and the classification results on KD-Tree are not high Therefore, it is necessary to adjust the classification vector stored in the 𝑁𝑜𝑑𝑒𝑖 to improve the classification results at the leaf, this process is called training the weight vectors To reduce the cost of building KD-Tree and training the classifier vector set, the initial image dataset consisting of 𝑛 elements is divided into many random data epochs, and each 𝐸𝑝𝑜𝑐ℎ𝑖 contains 𝑚 elements (𝑚 < 𝑛) to construct the KD-Tree and trains the best classification vector 𝐹𝑚𝑎𝑥𝑖 From the set 𝐹𝑚𝑎𝑥𝑖 continue to build and train the KD-Tree for 𝐸𝑝𝑜𝑐ℎ(𝑖+1) to find 𝐹max(𝑖+1) The results obtained are the best classifier vector (𝐹𝑚𝑎𝑥 ) on each set of experimental images 2.2.5 Search on the KD-Tree structure The search process on KD-Tree is to find the leaf containing the input image vector So, for each input image (𝐼) extract the feature vector 𝑓𝑖 searching on the KD-Tree of height ℎ, number of branches 𝑏 If the image (𝐼) is found at the 𝑙𝑒𝑎𝑓𝑘 then a similar set of images is the set of images stored at 𝑙𝑒𝑎𝑓𝑘 2.2.6 Image retrieval system on KD-Tree structure 12 Figure 2.2 A model of image retrieval based on the KD-Tree Table 2.1 SB-KDT image retrieval results [CT2] Tập ảnh COREL Wang Caltech-101 Caltech-256 2.3 Precision Recall F-measure 0.7998 0.7810 0.7101 0.7020 0.7043 0.6508 0.6609 0.6291 0.7484 0.6869 0.6846 0.6627 Thời gian tìm kiếm (ms) 96.77 114.42 122.25 136.89 iKD-Tree structure The iKD_Tree structure is an improvement from the KD-Tree built by applying the k-Means algorithm at the nodes to extend the distance between two branches by a factor α in the process of determining the sub-branches relative to the distance between branches on the KD-Tree This expands the range of similar image vectors into the same cluster; and combines the k-NN classification algorithm at the leaf Based on the output value at each node determining the path for any vector 𝑓𝑗 in the next layer on iKD_Tree is done by the k-Means algorithm At each leaf, image classification is performed according to the k-NN algorithm [CT3] 2.3.1 Building iKD-Tree Structure 13 The k-Means algorithm determines the path for the vector 𝑓𝑗 inserted into iKD_Tree Each node on iKD_Tree is located by the center value 𝑦𝑖𝑗 that meets the condition when creating 𝑁𝑜𝑑𝑒𝑖 However, adding an element to iKD_Tree updates the center of 𝑁𝑜𝑑𝑒𝑖 by updating the left (𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡) and right (𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡) threshold values The number of clusters to which element 𝑓𝑗 belongs at each 𝑁𝑜𝑑𝑒𝑖 is the number of sub-branches of 𝑁𝑜𝑑𝑒𝑖 The 𝑦𝑖𝑗 value is the basis for determining the path of the next layer sub-branch according to the following rules: ▪ If 𝑦𝑖𝑗 > 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 + 𝛼 then 𝑓𝑗 follows the right sub-branch; update 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 = 𝑦𝑖𝑗 ▪ If 𝑦𝑖𝑗 − 𝛼 < 𝑤𝑖 𝑙𝑒𝑓𝑡 then 𝑓𝑗 follows to the left sub-branch; update 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 = 𝑦𝑖𝑗 ▪ If 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 − 𝛼 ≤ 𝑦𝑖𝑗 ≤ 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 + 𝛼 finds the branch with the shortest distance (𝑑𝑚𝑖𝑛 ) from position 𝑦𝑖𝑗 to the threshold values 𝑁𝑜𝑑𝑒𝑖 𝑙𝑒𝑓𝑡 − 𝛼 ; 𝑁𝑜𝑑𝑒𝑖 𝑟𝑖𝑔ℎ𝑡 + 𝛼 belongs to each 𝑁𝑜𝑑𝑒𝑖 to determine the path for the vector 𝑓𝑗 2.3.2 Hệ tìm kiếm ảnh dựa cấu trúc iKD_Tree Figure 2.3 A model of image retrieval based on iKD-Tree 14 Table 2.2 SB-iKDT image retrieval results [CT2] Tập ảnh Precision Recall F-measure Thời gian tìm kiếm (ms) Wang Caltech-101 Caltech-256 0.8010 0.7769 0.7228 0.7404 0.6915 0.5828 0.7695 0.7317 0.6453 101.36 109.84 134.91 2.4 Nested KD-Tree structure The process of building the Nested KD-Tree structure consists of two stages: (1) building the iKD_Tree structure from the initial data set; (2) some leaves are grown into a SubTree The combination of iKD_Tree and SubTree structures creates a Nested KD-Tree [CT4] Table 2.3 SB-NKDT image retrieval results [CT4] Image sets Precision Recall F-measure COREL Wang Caltech-101 0.8120 0.8029 0.7889 0.7164 0.7083 0.6688 0.7612 0.7526 0.7239 Query time (ms) 109.49 121.67 151.92 Figure 2.4 A model of image retrieval based on Nested KD-Tree Table 2.4 Comparison of average accuracy among experimental IR system COREL Wang Caltech-101 Caltech-256 15 SB-KDT SB-iKDT SB-NKDT 0.7998 0.8120 0.7810 0.8010 0.8029 0.7101 0.7769 0.7889 0.7020 0.7228 - Table 2.5 Compare average query time between improvements IR system COREL Wang Caltech-101 Caltech-256 SB-KDT 96.77 87.00 122.25 136.89 SB-iKDT 101.36 109.84 134.91 SB-NKDT 109.49 121.67 151.92 The graphs of precision, recall, and ROC curves of the experimental image sets on SB-KDT, SB-iKDT, and SB-NKDT systems are illustrated as shown in Figures 2.5 – 2.6 Figure 2.5 Comparison chart of precision-recall, ROC curve of COREL, Wang image sets on image retrieval systems Figure 2.6 Comparison chart of precision-recall, ROC curve of Caltech-101, and Caltech-256 image sets on image retrieval systems 2.5 Chapter sub-summary In this chapter, some of the results obtained are proposed to improve the KD-Tree structure for the image retrieval problem, including balanced multi-branch KD-Tree structure, iKD_Tree, and Nested KDTree structure Several construction, training, and search algorithms on Nested KD-Tree, iKD_Tree, and KD-Tree structures are also proposed From there, image retrieval systems SB-KDT, SB-iKDT, and SBNKDT are built 16 Chapter DEVELOPING KD-TREE STRUCTURE ACCORDING TO SEMANTIC APPROACH 3.1 Introduction This chapter presents the image retrieval model by semantic approach from multi-object image sets based on segmented images and object relationships To this, the KD-Tree structure is developed according to a semantic approach called Re KD-Tree to classify the relationship between objects, thereby serving as the basis for Ontology development Ontology structure is developed and added data based on object image attributes and relationships between objects 3.1.1 Building RF KD-Tree structure The RF KD-Tree [CT6] is built with the following steps: (1) generate 𝐷𝑎𝑡𝑎𝑖 tuples consisting of 𝑛𝑖 random elements from the original data set with 𝑛 elements; (2) build KD-Tree for each set of 𝐷𝑎𝑡𝑎𝑖 ; (3) synthesis of N KD-Tree structures to form RF KD-Tree 3.1.2 Training RF KD-Tree The weight training process on RF KD-Tree helps to get better image classification results KD-Tree RF training is performed by parallel weight training on multiple independent KD-Tree structures Each KD-Tree is trained according to the method to reduce the average error of image classification After training RF KD-Tree is the process of synthesizing into KD-Tree for image retrieval to improve image retrieval accuracy 3.2 Ontology for semantic-based image retrieval 3.2.1 Re KD-Tree structure The Re KD-Tree structure for object relationships classification on the image is illustrated in Figure 3.1 17 Figure 3.1 Description of Re KD-Tree structure 3.2.2 Classifying object relationships using Re KD-Tree Each image (𝐼) is segmented into object images (𝐼1 , , 𝐼𝑘 ) and feature vector extracted (𝑓𝐼1 , , 𝑓𝐼𝑘 ); combine each pair into a vector 𝑓𝐼𝑗𝑘 = (𝑓𝐼𝑗 , 𝑓𝐼𝑘 ) as input Re KD-Tree and store it at the leaf Each leaf stores a relationship word, which is the basis for extracting semantic relationships of objects on the image by Re KD-Tree [CT5] 3.2.3 Describe the structure and construction of Ontology Each image is segmented according to the number of objects on the image The Ontology structure is built to include object image attributes and relationships between objects The process of building and adding data to the Ontology is done with steps: (1) segment the image into an object image; (2) classify object images by classes and class hierarchy; (3) extract object image information (Object Properties); (4) add relationships between pairs of objects to Ontology 3.3 Image retrieval system based on Re KD-Tree and Ontology 18 Figure 3.2 Image retrieval model based on Re KD-Tre and Ontology Table 3.1 Results for images retrieval of the SR-KDT system Tập ảnh Precision Recall F-measure Thời gian tìm kiếm (ms) MS-COCO Flickr 0.6972 0.7794 0.6636 0.6788 0.6799 0.7256 215 126 3.4 Image retrieval system based on RF KD-Tree Figure 3.3 Image retrieval model based on RF KD-Tre (SR-KDF) 19 Table 3.2 Results for images retrieval of the SR-KDF system Image sets MS-COCO Flickr Precision 0.9028 0.9163 Recall 0.8273 0.8975 F-measure 0.8634 0.9068 Query time (ms) 101.61 72.28 3.5 Image retrieval system based on KD-Tree and Ontology Table 3.3 Results for images retrieval of the SO-KDT system Image sets Precision Recall F-measure MS-COCO Flickr 0.9218 0.9370 0.8372 0.8939 0.8774 0.9149 Query time (ms) 105.90 89.20 Figure 3.4 Image retrieval model based on KD-Tre and Ontology Table 3.4 Compare results between image retrieval systems Image retrieval system SR-KDT SR-KDF SO-KDT Image sets Precision MS-COCO MS-COCO MS-COCO 0.6972 0.9208 0.9218 Query time (ms) 215.00 101.61 105.90 20 SR-KDT SR-KDF SO-KDT Flickr Flickr Flickr 0.7794 0.9163 0.9370 126.00 72.28 89.20 The precision, recall, and ROC curves of MS-COCO, Flickr image sets on SR-KDT, SR-KDF, and SO-KDT systems are illustrated in Figure 3.5 Figure 3.5 Comparison chart of precision-recall and ROC curve on image retrieval systems 3.5 Chapter sub-summary In this chapter, RF KD-Tree, Re KD-Tree structures, and Ontology are proposed to apply to the semantic-based image retrieval problem on multi-object image sets Experimentally deployed on MS-COCO, Flickr images have proven the feasibility of proposed models and the effectiveness of deployed image retrieval systems CONCLUSIONS AND DEVELOPMENT ORIENTATION In the thesis, a multi-dimensional data structure KD-Tree has been built according to the improved method, which integrates machine learning into the KD-Tree construction process to organize the storage of image data The data stored on KD-Tree is the extracted feature vectors including color, shape, texture, and some other features The KD-Tree structure uses the data classification method according to the multi-layer classification model combined with clustering at the leaf to create a balanced multi-branched tree structure Therefore, the search time on image retrieval systems is stable and the accuracy is higher than in some other works 21 Some improvements on the KD-Tree structure have been proposed and implemented in the thesis, including (1) developing a balanced multi-branch KD-Tree structure for the image retrieval problem; (2) combining the KD-Tree structure and K-Means, k-NN algorithm is called iKD_Tree structure; (3) grow the leaf into a subtree to form a Nested KD-Tree structure; (4) building a Re KD-Tree structure that classifies relationships between objects, develops Ontology based on objects and relationships between objects; (5) develop many independent KD-Tree structures to form random forest called RF KDTree; (6) propose the combined model of Re KD-Tree, RF KD-Tree, and Ontology to improve the accuracy of the image retrieval problem by semantic approach Since then, algorithms for finding similar images on the proposed models are implemented and experimented on many sets of images with different properties The thesis builds experiments and evaluates image data sets: COREL, Wang, Caltech-101, Caltech-256, MS-COCO, and Flickr Experimental results show that improvement of the KD-Tree structure has improved the accuracy compared to previous methods The experimental results on the image retrieval models are also compared with some recent works on each image dataset, with different approaches and techniques At the same time, compare the results on the same set of images with the improvements proposed in the thesis This proves that the proposed methods are correct, and effective and improve the accuracy of image retrieval, meeting the objectives set out by the thesis Some of the things that could develop are: (1) Studying methods of combining KD-Tree with techniques of DNN, CNN, GCN, etc to compare with some results in the thesis (2) Continue to add data to the Ontology including object image attributes and object relationships to experiment on many sets of images; at the same time expanding the image semantic relationships such as defining the relationship of action, and color 22 (3) Research to improve the overall search time for image retrieval systems by improving feature extraction and feature selection suitable for each set of images REFERENCES [CT1] Nguyễn, T Đ., Văn, T T., & Lê, M T (2021), Phân lớp ảnh [CT2] [CT3] [CT4] [CT5] [CT6] [CT7] [CT8] [CT9] KD-Tree cho tốn tìm kiếm ảnh tương tự Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ Thông tin Truyền thông, 40 - 52 Nguyễn Thị Định, Thế Thành Văn, Mạnh Thạnh Lê, (2021), Một phương pháp phân lớp cấu trúc KD-Tree cho tốn tìm kiếm ảnh theo ngữ nghĩa, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR21), Nhà xuất Khoa học Tự nhiên Công nghệ, ISBN 978-604-9988-60-8 DOI: 10.15625/vap.2021.0075 Dinh, N T., and Le, T M., (2022), An Improvement Method of Kd-Tree Using k-Means and k-NN for Semantic-Based Image Retrieval System In World Conference on Information Systems and Technologies, Springer, Cham, 177 - 187 Dinh, N T., V T Thanh, Thanh, L M., (2022), A semantic-based image retrieval system using Nested KD-Tree Structure, Annales Univ Sci Budapest Sect Comp., Vol 53, - 31 Dinh, N T., & Le, T M (2022) Semantic Relationship-Based Image Retrieval Using KD-Tree Structure In Asian Conference on Intelligent Information and Database Systems, Springer, Cham, 455 - 468 Nguyễn Thị Định, Thế Thành Văn, (2022), Tìm kiếm ảnh sử dụng mạng học sâu YOLO cấu trúc KD-Tree Random Forest, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR22), ISBN: 978-604-357-119-6, DOI: 10.15625/vap.2022.0244 Nguyễn Thị Định, Văn Thế Thành, Lê Mạnh Thạnh (2022), Đánh giá hiệu suất truy vấn ảnh biến thể KD-Tree, Tạp chí Khoa học cơng nghệ, Trường Đại học Khoa học, Đại học Huế, Vol 18(2), (Accept) Nguyễn Thị Định, Thế Thành Văn, Mạnh Thạnh Lê, (2022), Một phương pháp phân lớp hình ảnh dựa cấu trúc KD-Tree, Hue University Journal of Science: Techniques and Technology, 132(2A), (Accept) Dinh, N T., V T Thanh, Thanh, L M., (2023), A Model of Image Retrieval based on KD-Tree Random Forest, Data Technologies and Applications (Accept)