Luận án Tiến sĩ Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTree

ửa ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ ĐỊNH PHÁT TRIỂN MƠ HÌNH TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2023 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ ĐỊNH PHÁT TRIỂN MÔ HÌNH TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ MẠNH THẠNH TS VĂN THẾ THÀNH HUẾ, NĂM 2023 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác ngồi cơng trình tác giả Tác giả Nguyễn Thị Định i LỜI CÁM ƠN Đầu tiên, xin chân thành gửi lời cảm ơn đến Thầy PGS TS Lê Mạnh Thạnh Thầy TS Văn Thế Thành tận tình hướng dẫn, động viên, giúp đỡ tơi suốt q trình nghiên cứu để hồn thành luận án Bên cạnh đó, tơi cịn nhận hỗ trợ đầy nhiệt tình Thầy, Cô Khoa Công nghệ Thông tin trang bị thêm kiến thức, góp ý cho tơi thực chuyên đề trao đổi ý kiến quý báu cho thảo luận án Tôi xin ghi nhận cảm ơn sâu sắc đến giúp đỡ quý báu Tôi xin chân thành cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu Trường Đại học Khoa học, Đại học Huế tạo điều kiện thuận lợi cho tơi suốt q trình học tập, nghiên cứu thực luận án Tôi xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Công nghiệp Thực phẩm Tp HCM; Ban Chủ nhiệm Khoa Công nghệ Thông tin, đồng nghiệp cán bộ, giảng viên Trường Đại học Công nghiệp Thực phẩm Tp HCM tạo điều kiện, cổ vũ động viên tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin bày tỏ lịng biết ơn vơ hạn đến gia đình thân u, Ba mẹ hai bên, chồng hỗ trợ, ủng hộ, động viên để con/em/mẹ yên tâm trình học tập, nghiên cứu Tác giả Nguyễn Thị Định ii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT v DANH MỤC HÌNH ẢNH viii DANH MỤC BẢNG BIỂU x PHẦN MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM ẢNH VÀ CẤU TRÚC KD-TREE 1.1 Giới thiệu 1.2 Tìm kiếm ảnh theo nội dung 11 1.2.1 Đặc trưng hình ảnh trích xuất véc-tơ đặc trưng 11 1.2.2 Độ tương tự hai hình ảnh 17 1.3 Tìm kiếm ảnh theo tiếp cận ngữ nghĩa 18 1.3.1 Đặc trưng ngữ nghĩa 18 1.3.2 Mối quan hệ ngữ nghĩa 20 1.3.3 Các phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa 21 1.4 Tìm kiếm ảnh dựa cấu trúc KD-Tree 22 1.4.1 Cấu trúc KD-Tree cho tìm kiếm ảnh 22 1.4.2 Phân lớp hình ảnh dựa cấu trúc KD-Tree 23 1.4.3 Phân lớp mối quan hệ ngữ nghĩa dựa cấu trúc KD-Tree 24 1.4.4 Tìm kiếm ảnh dựa cấu trúc KD-Tree 24 1.5 Phương pháp thực nghiệm đánh giá 26 1.5.1 Môi trường liệu thực nghiệm 26 1.5.2 Các đại lượng đánh giá hiệu suất 27 1.6 Tổng kết chương 29 CHƯƠNG TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE 30 2.1 Giới thiệu 30 2.2 Cấu trúc KD-Tree đa nhánh cân 31 2.2.1 Xây dựng cấu trúc KD-Tree 32 2.2.2 Thuật toán xây dựng cấu trúc KD-Tree 36 2.2.3 Quá trình gán nhãn nút 37 2.2.4 Huấn luyện trọng số cấu trúc KD-Tree 38 2.2.5 Tìm kiếm cấu trúc KD-Tree 41 2.2.6 Hệ tìm kiếm ảnh dựa cấu trúc KD-Tree 41 2.3 Cấu trúc iKD_Tree 46 iii 2.3.1 Mô tả cấu trúc iKD_Tree 46 2.3.2 Xây dựng cấu trúc iKD_Tree 47 2.3.3 Hệ tìm kiếm ảnh dựa cấu trúc iKD_Tree 50 2.4 Cấu trúc KD-Tree lồng 54 2.4.1 Mô tả cấu trúc KD-Tree lồng 54 2.4.2 Xây dựng cấu trúc KD-Tree lồng 55 2.4.3 Hệ tìm kiếm ảnh dựa cấu trúc KD-Tree lồng 56 2.5 Đánh giá hệ tìm kiếm ảnh 63 2.6 Tổng kết chương 66 CHƯƠNG NGHĨA PHÁT TRIỂN CẤU TRÚC KD-TREE THEO TIẾP CẬN NGỮ 67 3.1 Giới thiệu 67 3.1.1 Xây dựng cấu trúc RF KD-Tree 68 3.1.2 Huấn luyện RF KD-Tree 69 3.2 Ontology cho tìm kiếm ảnh theo tiếp cận ngữ nghĩa 70 3.2.1 Cấu trúc Re KD-Tree 70 3.2.2 Phân lớp mối quan hệ đối tượng Re KD-Tree 73 3.2.3 Mô tả cấu trúc xây dựng Ontology 73 3.2.4 Phân cấp bổ sung liệu vào Ontology 77 3.2.5 Tìm kiếm Ontology 79 3.3 Hệ tìm kiếm ảnh dựa Re KD-Tree Ontology 81 3.3.1 Mơ hình tìm kiếm ảnh dựa Re KD-Tree Ontology 81 3.3.2 Thực nghiệm đánh giá 83 3.4 Hệ tìm kiếm ảnh dựa RF KD-Tree 85 3.4.1 Mơ hình tìm kiếm ảnh dựa RF KD-Tree 85 3.4.2 Thực nghiệm đánh giá 87 3.5 Hệ tìm kiếm ảnh dựa KD-Tree Ontology 89 3.5.1 Mơ hình tìm kiếm ảnh dựa KD-Tree Ontology 89 3.5.2 Thực nghiệm đánh giá 91 3.6 Tổng kết chương 97 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 98 TÀI LIỆU THAM KHẢO 101 PHỤ LỤC 108 iv DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT Ký hiệu viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt BST Binary Search Tree Cây tìm kiếm nhị phân CBIR Content-Based Image Retrieval Tìm kiếm ảnh theo nội dung CDF Centroid Distance Function Hàm tính khoảng cách trọng tâm CEO Create Extended Ontology Hàm xây dựng Ontology mở rộng CiKDT Create iKD_Tree Thuật toán tạo iKD_Tree CKDT Create KD-Tree Thuật toán tạo KD-Tree CLiKD Classification on iKD_Tree Hàm phân lớp ảnh iKD_Tree CLRKD Classification Relationship Hàm phân lớp mối quan hệ Re KDusing Relationship KD-Tree Tree CNKDT Create Nested KD-Tree CNN Convolutional Neural Network Mạng nơ-ron tích chập CRFKD Create Random Forest KD- Thuật toán tạo RF KD-Tree Tree CSQ Create SPARQL Query Hàm tạo câu truy vấn SPARQL DCD Dominant Color Descriptor Bộ mô tả màu chủ đạo DCL Deep Convolutional Learning Mạng tích chập học sâu DNN Deep Neural Network Mạng nơ-ron học sâu DoG Difference of Gaussian Đạo hàm Gaussian GLCM Gray-level Matrix Co-occurrence Ma trận đồng xuất mức xám HOG Histograms Gradients of iKD_Tree Improvement Tree k-Dimensional Cấu trúc KD-Tree cải tiến IR Image Retrieval Tìm kiếm ảnh KD-Tree k-Dimensional Tree Cấu trúc đa chiều KG Knownledge Graph Đồ thị tri thức kMiKDT K-Means on iKD_Tree Hàm tích hợp K-Means iKD_Tree Thuật tốn tạo KD-Tree lồng Oriented Biểu đồ định hướng Gradients v k-NN k - Nearest Neighbors Thuật tốn tìm kiếm theo k láng giềng gần LoG Laplace of Gaussian Phép biến đổi Laplace Gaussian MAP Mean Average Precision Độ xác trung bình MRI Magnetic Resonance Imaging Ảnh y khoa MRI NN Nearest Neighbors Láng giềng gần R-CNN Region-based Convolutional Mạng Nơ-ron tích chập dựa vùng Neural Networks đối tượng Re KD-Tree Relationship Tree RF Relevance Feedback k-Dimensional Cấu trúc KD-Tree phân lớp mối quan hệ Phương pháp phản hồi liên quan RF KD-Tree Random Forest KD-Tree Cấu trúc rừng ngẫu nhiên KD-Tree RNN Range Nearest Neighbors Kỹ thuật tìm kiếm láng giềng theo vùng ROC Receiver Characteristic SB-iKDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng iKD_Tree Retrieval using iKD_Tree SBIR Semantic-Based Retrieval SB-KDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng KD-Tree Retrieval using KD-Tree SB-NKDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng KD-Tree lồng Retrieval using Nested KD- Tree SG Scene Graph SIFT Scale Invariant Transform SiKDT Search on iKD_Tree SKDO Search on Ontology SKDT Search on KD-Tree Hàm tìm kiếm KD-Tree SL2L Set Label To Leaf Hàm gán nhãn nút SNKDT Search on Nested KD-Tree Thuật tốn tìm kiếm KD-Tree lồng Operating Đồ thị đặc tính Image Tìm kiếm ảnh theo ngữ nghĩa Đồ thị ngữ cảnh Features Đặc trưng bất biến SIFT KD-Tree Thuật tốn tìm kiếm ảnh iKD_Tree and Thuật tốn tìm kiếm KD-Tree Ontology vi SO-KDT Semantic-based Image Hệ tìm kiếm ảnh theo ngữ nghĩa sử dụng Retrieval using KD-Tree and KD-Tree Ontology Ontology SR-KDF Semantic-based Image Hệ tìm kiếm ảnh sử dụng RF KD-Tree Retrieval using RF KD-Tree SR-KDT Semantic-based Image Hệ tìm kiếm ảnh theo ngữ nghĩa sử dụng Retrieval using Relationship Re KD-Tree KD-Tree SRKO Semantic-based Image Thuật toán tìm kiếm ảnh sử dụng Re Retrieval using KD-Tree and KD-Tree Ontology Ontology SRRE Semantic-based Image Thuật tốn tìm kiếm ảnh sử dụng Re Retrieval using Relationship KD-Tree KD-Tree SRRF Semantic-based Image Thuật tốn tìm kiếm ảnh sử dụng RF Retrieval using Random Forest KD-Tree KD-Tree SVM Support Vector Machine Máy véc-tơ hỗ trợ TBIR Text-Based Image Retrieval Tìm kiếm ảnh theo từ khóa TVKD Training Véc-tơ on KD-Tree Thuật toán huấn luyện véc-tơ trọng số KD-Tree TWRF Train Weight Random Forest Hàm huấn luyện trọng số RF KDKD-Tree Tree WWW Word Wide Web Mạng toàn cầu vii DANH MỤC HÌNH ẢNH Hình 1.1 Minh họa trích xuất véc-tơ đặc trưng 81 chiều [CT1] 15 Hình 1.2 Minh họa trích xuất véc-tơ đặc trưng 189, 225 513 chiều 17 Hình 1.3 Mơ tả đặc trưng ngữ nghĩa hình ảnh [48] 19 Hình 1.4 Xác định mối quan hệ không gian đối tượng SG [46] 20 Hình 1.5 Xác định mối quan hệ không gian đối tượng KD-Tree 21 Hình 1.6 Mơ hình tìm kiếm ảnh theo nội dung dựa cấu trúc KD-Tree 25 Hình 1.7 Mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa KD-Tree 25 Hình 2.1 Mơ tả thành phần nút gốc, nút nút KD-Tree 33 Hình 2.2 Minh họa trình tạo nhánh 𝐍𝐨𝐝𝐞𝐢 34 Hình 2.3 Cấu trúc KD-Tree đa nhánh, cân 35 Hình 2.4 Mơ hình xây dựng huấn luyện KD-Tree theo 𝐄𝐩𝐨𝐜𝐡 liệu 39 Hình 2.5 Minh họa tập véc-tơ phân lớp KD-Tree cho ảnh COREL 40 Hình 2.6 Mơ hình tìm kiếm ảnh dựa KD-Tree (SB-KDT) 42 Hình 2.7 Minh họa trình xây dựng tập từ thị giác 43 Hình 2.8 Minh họa câu truy vấn SPARQL 44 Hình 2.9 Hệ tìm kiếm ảnh SB-KDT 44 Hình 2.10 Kết tập ảnh tương tự ảnh COREL101.jpg hệ SB-KDT 45 Hình 2.11 Minh họa cấu trúc iKD_Tree 47 Hình 2.12 Minh họa thuật toán K-Means iKD_Tree 47 Hình 2.13 Mơ hình tìm kiếm ảnh dựa cấu trúc iKDTree [CT3] 50 Hình 2.14 Hệ tìm kiếm ảnh SB-iKDT 52 Hình 2.15 Kết tập ảnh tương tự với ảnh 52011.jpg (Wang) hệ SB-iKDT 52 Hình 2.16 Minh họa cấu trúc KD-Tree lồng [CT4] 54 Hình 2.17 Mơ hình tìm kiếm ảnh dựa KD-Tree lồng (SB-NKDT) [CT4] 56 Hình 2.18 Hệ tìm kiếm ảnh SB-NKDT 58 Hình 2.19 Tập ảnh tương tự với ảnh 500.jpg [20] hệ SB-NKDT 58 Hình 2.20 Biểu đồ so sánh precision-recall, đường cong ROC ảnh COREL hệ tìm kiếm ảnh SB-KDT SB-NKDT 61 Hình 2.21 Biểu đồ so sánh precision-recall, đường cong ROC ảnh Wang hệ tìm kiếm ảnh SB-KDT, SB-iKDT SB-NKDT 61 Hình 2.22 Biểu đồ so sánh precision-recall, đường cong ROC ảnh Caltech-101 hệ tìm kiếm ảnh SB-KDT, SB-iKDTvà SB-NKDT 62 viii PL7 Precision-Recall đường ROC ảnh Caltech-256 hệ SB-KDT 112 ( PL8 Thời gian tìm kiếm trung bình ảnh Caltech-256 hệ SB-KDT 113 PL9 Precision-Recall đường ROC ảnh Wang hệ SB-iKDT PL10 Thời gian tìm kiếm trung bình ảnh Wang hệ SB-iKDT 114 PL11 Precision-Recall đường cong ROC ảnh Caltech-101 hệ SB-iKDT PL12 Thời gian tìm kiếm trung bình ảnh Caltech-101 hệ SB-iKDT 115 PL13 Precision-Recall đường cong ROC ảnh Caltech-256 hệ SB-iKDT PL14 Thời gian tìm kiếm trung bình ảnh Caltech-256 hệ SB-iKDT 116 PL15 Precision-Recall, đường cong ROC, thời gian tìm kiếm ảnh COREL hệ SB-NKDT PL16 Thời gian tìm kiếm ảnh Wang hệ SB-NKDT 117 PL17 Thời gian tìm kiếm ảnh Caltech-101 hệ SB-NKDT 118 PL18 Precision-Recall đường ROC ảnh Wang hệ SB-NKDT PL19 Precision-Recall đường ROC ảnh Caltech-101 (1 - 68) hệ SB-NKDT 119 PL20 Precision-Recall đường ROC ảnh Caltech-101 (69 - 102) hệ SB-NKDT 120 PL21 Thời gian tìm kiếm ảnh Caltech-101 hệ SB-NKDT 121 PL22 Thời gian tìm kiếm trung bình ảnh MS-COCO hệ SR-KDT 122 PL23 Thời gian tìm kiếm trung bình ảnh Flickr hệ SR-KDT 123 PL24 Đồ thị precision, recall ROC ảnh MS-COCO hệ SR-KDT PL25 Đồ thị precision, recall ROC ảnh Flickr hệ SR-KDT 124 PL26 Đồ thị precision, recall ROC ảnh MS-COCO hệ SR-KDF PL27 Đồ thị precision, recall ROC ảnh Flickr hệ SR-KDF 125 PL28 Đồ thị precision, recall ROC ảnh MS-COCO hệ tìm kiếm ảnh SO-KDT PL29 Đồ thị precision, recall ROC ảnh Flickr hệ tìm kiếm ảnh SO-KDT 126