Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.Phát triển mô hình tìm kiếm ảnh dựa trên cấu trúc KDTREE.
ĐẠI HỌC HUẾ ửa TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ ĐỊNH PHÁT TRIỂN MƠ HÌNH TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2023 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ ĐỊNH PHÁT TRIỂN MÔ HÌNH TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ MẠNH THẠNH TS VĂN THẾ THÀNH HUẾ, NĂM 2023 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác ngồi cơng trình tác giả Tác giả Nguyễn Thị Định i LỜI CÁM ƠN Đầu tiên, xin chân thành gửi lời cảm ơn đến Thầy PGS TS Lê Mạnh Thạnh Thầy TS Văn Thế Thành tận tình hướng dẫn, động viên, giúp đỡ tơi suốt q trình nghiên cứu để hồn thành luận án Bên cạnh đó, tơi cịn nhận hỗ trợ đầy nhiệt tình Thầy, Cô Khoa Công nghệ Thông tin trang bị thêm kiến thức, góp ý cho tơi thực chuyên đề trao đổi ý kiến quý báu cho thảo luận án Tôi xin ghi nhận cảm ơn sâu sắc đến giúp đỡ quý báu Tôi xin chân thành cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu Trường Đại học Khoa học, Đại học Huế tạo điều kiện thuận lợi cho tơi suốt q trình học tập, nghiên cứu thực luận án Tôi xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Công nghiệp Thực phẩm Tp HCM; Ban Chủ nhiệm Khoa Công nghệ Thông tin, đồng nghiệp cán bộ, giảng viên Trường Đại học Công nghiệp Thực phẩm Tp HCM tạo điều kiện, cổ vũ động viên tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin bày tỏ lịng biết ơn vơ hạn đến gia đình thân u, Ba mẹ hai bên, chồng hỗ trợ, ủng hộ, động viên để con/em/mẹ yên tâm trình học tập, nghiên cứu Tác giả Nguyễn Thị Định MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT v DANH MỤC HÌNH ẢNH viii DANH MỤC BẢNG BIỂU x PHẦN MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM ẢNH VÀ CẤU TRÚC KD-TREE .9 1.1 Giới thiệu .9 1.2 Tìm kiếm ảnh theo nội dung .11 1.2.1 Đặc trưng hình ảnh trích xuất véc-tơ đặc trưng 11 1.2.2 Độ tương tự hai hình ảnh .17 1.3 Tìm kiếm ảnh theo tiếp cận ngữ nghĩa 18 1.3.1 Đặc trưng ngữ nghĩa 18 1.3.2 Mối quan hệ ngữ nghĩa 20 1.3.3 Các phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa 21 1.4 Tìm kiếm ảnh dựa cấu trúc KD-Tree 22 1.4.1 Cấu trúc KD-Tree cho tìm kiếm ảnh 22 1.4.2 Phân lớp hình ảnh dựa cấu trúc KD-Tree 23 1.4.3 Phân lớp mối quan hệ ngữ nghĩa dựa cấu trúc KD-Tree 24 1.4.4 Tìm kiếm ảnh dựa cấu trúc KD-Tree 24 1.5 Phương pháp thực nghiệm đánh giá .26 1.5.1 Môi trường liệu thực nghiệm .26 1.5.2 Các đại lượng đánh giá hiệu suất 27 1.6 Tổng kết chương 29 CHƯƠNG TÌM KIẾM ẢNH DỰA TRÊN CẤU TRÚC KD-TREE 30 2.1 Giới thiệu .30 2.2 Cấu trúc KD-Tree đa nhánh cân 31 2.2.1 Xây dựng cấu trúc KD-Tree 32 2.2.2 Thuật toán xây dựng cấu trúc KD-Tree .36 2.2.3 Quá trình gán nhãn nút 37 2.2.4 Huấn luyện trọng số cấu trúc KD-Tree 38 2.2.5 Tìm kiếm cấu trúc KD-Tree 41 2.2.6 Hệ tìm kiếm ảnh dựa cấu trúc KD-Tree .41 2.3 Cấu trúc iKD_Tree 46 2.3.1 Mô tả cấu trúc iKD_Tree .46 2.3.2 Xây dựng cấu trúc iKD_Tree 47 2.3.3 Hệ tìm kiếm ảnh dựa cấu trúc iKD_Tree .50 2.4 Cấu trúc KD-Tree lồng .54 2.4.1 Mô tả cấu trúc KD-Tree lồng .54 2.4.2 Xây dựng cấu trúc KD-Tree lồng .55 2.4.3 Hệ tìm kiếm ảnh dựa cấu trúc KD-Tree lồng 56 2.5 Đánh giá hệ tìm kiếm ảnh .63 2.6 Tổng kết chương 66 CHƯƠNG PHÁT TRIỂN CẤU TRÚC KD-TREE THEO TIẾP CẬN NGỮ NGHĨA 67 3.1 Giới thiệu .67 3.1.1 Xây dựng cấu trúc RF KD-Tree 68 3.1.2 Huấn luyện RF KD-Tree .69 3.2 Ontology cho tìm kiếm ảnh theo tiếp cận ngữ nghĩa 70 3.2.1 Cấu trúc Re KD-Tree 70 3.2.2 Phân lớp mối quan hệ đối tượng Re KD-Tree .73 3.2.3 Mô tả cấu trúc xây dựng Ontology 73 3.2.4 Phân cấp bổ sung liệu vào Ontology 77 3.2.5 Tìm kiếm Ontology 79 3.3 Hệ tìm kiếm ảnh dựa Re KD-Tree Ontology 81 3.3.1 Mơ hình tìm kiếm ảnh dựa Re KD-Tree Ontology 81 3.3.2 Thực nghiệm đánh giá 83 3.4 Hệ tìm kiếm ảnh dựa RF KD-Tree .85 3.4.1 Mơ hình tìm kiếm ảnh dựa RF KD-Tree 85 3.4.2 Thực nghiệm đánh giá 87 3.5 Hệ tìm kiếm ảnh dựa KD-Tree Ontology 89 3.5.1 Mơ hình tìm kiếm ảnh dựa KD-Tree Ontology .89 3.5.2 Thực nghiệm đánh giá 91 3.6 Tổng kết chương 97 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 98 TÀI LIỆU THAM KHẢO 101 PHỤ LỤC .108 DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT Ký hiệu viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt BST Binary Search Tree Cây tìm kiếm nhị phân CBIR Content-Based Image Retrieval Tìm kiếm ảnh theo nội dung CDF Centroid Distance Function Hàm tính khoảng cách trọng tâm CEO Create Extended Ontology Hàm xây dựng Ontology mở rộng CiKDT Create iKD_Tree Thuật toán tạo iKD_Tree CKDT Create KD-Tree Thuật toán tạo KD-Tree CLiKD Classification on iKD_Tree Hàm phân lớp ảnh iKD_Tree CLRKD Classification Relationship Hàm phân lớp mối quan hệ Re using Relationship KD-Tree KD- Tree CNKDT Create Nested KD-Tree CNN Convolutional Neural Network Mạng nơ-ron tích chập CRFKD Create Random Forest KDTree Thuật tốn tạo RF KD-Tree CSQ Create SPARQL Query Hàm tạo câu truy vấn SPARQL DCD Dominant Color Descriptor Bộ mô tả màu chủ đạo DCL Deep Convolutional Learning Mạng tích chập học sâu DNN Deep Neural Network Mạng nơ-ron học sâu DoG Difference of Gaussian Đạo hàm Gaussian GLCM Gray-level Matrix Co-occurrence Ma trận đồng xuất mức xám HOG Histograms Gradients of iKD_Tree Improvement Tree k-Dimensional Cấu trúc KD-Tree cải tiến IR Image Retrieval Tìm kiếm ảnh KD-Tree k-Dimensional Tree Cấu trúc đa chiều KG Knownledge Graph Đồ thị tri thức kMiKDT K-Means on iKD_Tree Hàm tích hợp K-Means iKD_Tree Thuật toán tạo KD-Tree lồng Oriented Biểu đồ định hướng Gradients k-NN k - Nearest Neighbors Thuật toán tìm kiếm theo k láng giềng gần LoG Laplace of Gaussian Phép biến đổi Laplace Gaussian MAP Mean Average Precision Độ xác trung bình MRI Magnetic Resonance Imaging Ảnh y khoa MRI NN Nearest Neighbors Láng giềng gần R-CNN Region-based Convolutional Mạng Nơ-ron tích chập dựa vùng Neural Networks đối tượng Re KD-Tree Relationship Tree RF Relevance Feedback k-Dimensional Cấu trúc KD-Tree phân lớp mối quan hệ Phương pháp phản hồi liên quan RF KD-Tree Random Forest KD-Tree Cấu trúc rừng ngẫu nhiên KD-Tree RNN Range Nearest Neighbors Kỹ thuật tìm kiếm láng giềng theo vùng ROC Receiver Characteristic SB-iKDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng iKD_Tree Retrieval using iKD_Tree SBIR Semantic-Based Retrieval SB-KDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng KD-Tree Retrieval using KD-Tree SB-NKDT Semantic-based Image Hệ tìm kiếm ảnh sử dụng KD-Tree lồng Retrieval using Nested KD- Tree SG Scene Graph SIFT Scale Invariant Transform SiKDT Search on iKD_Tree SKDO Search on Ontology SKDT Search on KD-Tree Hàm tìm kiếm KD-Tree SL2L Set Label To Leaf Hàm gán nhãn nút SNKDT Search on Nested KD-Tree Thuật toán tìm kiếm KD-Tree lồng Operating Đồ thị đặc tính Image Tìm kiếm ảnh theo ngữ nghĩa Đồ thị ngữ cảnh Features Đặc trưng bất biến SIFT KD-Tree Thuật tốn tìm kiếm ảnh iKD_Tree and Thuật tốn tìm kiếm KD-Tree Ontology SO-KDT Semantic-based Image Hệ tìm kiếm ảnh theo ngữ nghĩa sử dụng Retrieval using KD-Tree and KD-Tree Ontology Ontology SR-KDF Semantic-based Image Hệ tìm kiếm ảnh sử dụng RF KD-Tree Retrieval using RF KD-Tree SR-KDT Semantic-based Image Hệ tìm kiếm ảnh theo ngữ nghĩa sử dụng Retrieval using Relationship Re KD-Tree KD-Tree SRKO Semantic-based Image Thuật tốn tìm kiếm ảnh sử dụng Re Retrieval using KD-Tree and KD-Tree Ontology Ontology SRRE Semantic-based Image Thuật tốn tìm kiếm ảnh sử dụng Re Retrieval using Relationship KD-Tree KD-Tree SRRF Semantic-based Image Thuật tốn tìm kiếm ảnh sử dụng RF Retrieval using Random Forest KD-Tree KD-Tree SVM Support Vector Machine Máy véc-tơ hỗ trợ TBIR Text-Based Image Retrieval Tìm kiếm ảnh theo từ khóa TVKD Training Véc-tơ on KD-Tree Thuật toán huấn luyện véc-tơ trọng số KD-Tree TWRF Train Weight Random Forest KD-Tree Hàm huấn luyện trọng số RF KDTree WWW Word Wide Web Mạng tồn cầu DANH MỤC HÌNH ẢNH Hình 1.1 Minh họa trích xuất véc-tơ đặc trưng 81 chiều [CT1] 15 Hình 1.2 Minh họa trích xuất véc-tơ đặc trưng 189, 225 513 chiều 17 Hình 1.3 Mơ tả đặc trưng ngữ nghĩa hình ảnh [38] 19 Hình 1.4 Xác định mối quan hệ không gian đối tượng SG [46] .20 Hình 1.5 Xác định mối quan hệ không gian đối tượng KD-Tree 21 Hình 1.6 Mơ hình tìm kiếm ảnh theo nội dung dựa cấu trúc KD-Tree .25 Hình 1.7 Mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa KD-Tree 25 Hình 2.1 Mơ tả thành phần nút gốc, nút nút KD-Tree .33 Hình 2.2 Minh họa trình tạo nhánh Nodei 34 Hình 2.3 Cấu trúc KD-Tree đa nhánh, cân .35 Hình 2.4 Mơ hình xây dựng huấn luyện KD-Tree theo 𝐄𝐩𝐨𝐜𝐡 liệu 39 Hình 2.5 Minh họa tập véc-tơ phân lớp KD-Tree cho ảnh COREL 40 Hình 2.6 Mơ hình tìm kiếm ảnh dựa KD-Tree (SB-KDT) .42 Hình 2.7 Minh họa trình xây dựng tập từ thị giác 43 Hình 2.8 Minh họa câu truy vấn SPARQL .44 Hình 2.9 Hệ tìm kiếm ảnh SB-KDT 44 Hình 2.10 Kết tập ảnh tương tự ảnh COREL101.jpg hệ SB-KDT .45 Hình 2.11 Cấu trúc iKD_Tree 47 Hình 2.12 Minh họa thuật toán K-Means iKD_Tree 47 Hình 2.13 Mơ hình tìm kiếm ảnh dựa cấu trúc iKDTree [CT3] .50 Hình 2.14 Hệ tìm kiếm ảnh SB-iKDT .52 Hình 2.15 Kết tập ảnh tương tự với ảnh 52011.jpg (Wang) hệ SB-iKDT 52 Hình 2.16 Minh họa cấu trúc KD-Tree lồng [CT4] 54 Hình 2.17 Mơ hình tìm kiếm ảnh dựa KD-Tree lồng (SB-NKDT) [CT4].56 Hình 2.18 Hệ tìm kiếm ảnh SB-NKDT .58 Hình 2.19 Tập ảnh tương tự với ảnh 500.jpg (COREL) hệ SB-NKDT 58 Hình 2.20 Biểu đồ so sánh precision-recall, đường cong ROC ảnh COREL hệ tìm kiếm ảnh SB-KDT SB-NKDT 61 Hình 2.21 Biểu đồ so sánh precision-recall, đường cong ROC ảnh Wang hệ tìm kiếm ảnh SB-KDT, SB-iKDT SB-NKDT 61 Hình 2.22 Biểu đồ so sánh precision-recall, đường cong ROC ảnh Caltech-101 hệ tìm kiếm ảnh SB-KDT, SB-iKDTvà SB-NKDT 62