Nâng cao hiệu quả tìm kiếm dữ liệu ảnh theo tiếp cận ngữ nghĩa

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ UYÊN NHI NÂNG CAO HIỆU QUẢ TÌM KIẾM DỮ LIỆU ẢNH THEO TIẾP CẬN NGỮ NGHĨA LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH HUẾ, NĂM 2021 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ UYÊN NHI NÂNG CAO HIỆU QUẢ TÌM KIẾM DỮ LIỆU ẢNH THEO TIẾP CẬN NGỮ NGHĨA NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9.48.01.01 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ MẠNH THẠNH HUẾ, NĂM ii 2021 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác ngồi cơng trình tác giả Tác giả Nguyễn Thị Uyên Nhi i LỜI CÁM ƠN Đầu tiên, em xin chân thành gửi lời cảm ơn đến Thầy PGS TS Lê Mạnh Thạnh hướng dẫn tận tình khoa học Thầy hướng dẫn tận tâm phương pháp nghiên cứu, phương pháp viết báo khoa học phương pháp tổng hợp tri thức trình học tập, nghiên cứu Thầy động viên, khuyên bảo em đường học tập nghiên cứu khoa học Em xin chân thành gửi lời cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu Trường Đại học Khoa học, Đại học Huế tạo điều kiện thuận lợi cho em suốt trình học tập thực luận án Tôi xin gửi lời cảm ơn đến đồng nghiệp cán bộ, giảng viên Trường Đại học Sài Gòn, Tp.HCM, Đại học Kinh tế - Đại học Đà Nẵng cổ vũ động viên sát cánh bên tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin gửi lời cảm ơn bày tỏ lòng biết ơn vơ hạn đến gia đình thân u, ba mẹ hai bên, chồng hỗ trợ ủng hộ sống hàng ngày để con/em/mẹ thực trình học tập, nghiên cứu Nguyễn Thị Uyên Nhi ii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT v DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU ix PHẦN MỞ ĐẦU CHƯƠNG TỔNG QUAN TÌM KIẾM ẢNH THEO NGỮ NGHĨA 1.1 Giới thiệu 1.2 Tìm kiếm ảnh dựa theo nội dung 1.2.1 Đă ̣c trưng màu sắ c 1.2.2 Đă ̣c trưng kết cấu 11 1.2.3 Đă ̣c trưng hình dạng 12 1.2.4 Trích xuất đă ̣c trưng kết hợp 12 1.3 Tìm kiếm ảnh theo ngữ nghĩa 15 1.3.1 Khoảng cách ngữ nghĩa 15 1.3.2 Tìm kiếm ảnh theo ngữ nghĩa dựa kỹ thuật học máy 16 1.3.3 Tìm kiếm ảnh theo ngữ nghĩa dựa ontology 17 1.4 Kiến trúc chung hệ thống tìm kiếm ảnh theo ngữ nghĩa 19 1.5 Các phương pháp tổ chức thực nghiệm đánh giá 21 1.5.1 Môi trường thực nghiệm 21 1.5.2 Tập liệu ảnh thực nghiệm 21 1.5.3 Các giá trị đánh giá hiệu suất 22 1.6 Tiểu kết chương 23 CHƯƠNG TÌM KIẾM ẢNH TRÊN CÂY C-TREE 24 2.1 Giới thiệu 24 2.2 Cấu trúc C-Tree 26 2.3 Các nguyên tắ c thực thao tác C-Tree 27 2.3.1 Nguyên tắ c 1: Thêm phần tử liệu vào 28 2.3.2 Nguyên tắ c 2: Tách nút 29 2.3.3 Nguyên tắ c 3: Xóa phần tử hay nút 31 2.4 Mơ hình hệ tìm kiếm ảnh dựa C-Tree 32 2.5 Thực nghiệm đánh giá hệ tìm kiếm ảnh SBIR_CT 35 2.5.1 Thực nghiệm hệ tìm kiếm ảnh SBIR_CT 35 iii 2.5.2 Đánh giá thực nghiệm 35 2.6 Tiểu kết chương 50 CHƯƠNG CÁC PHƯƠNG PHÁP CẢI TIẾN CÂY C-TREE 51 3.1 Giới thiệu 51 3.2 Đồ thị cụm láng giềng Graph-CTree 52 3.2.1 Cấu trúc Graph-CTree 52 3.2.2 Mơ hình tìm kiếm ảnh Graph-CTree 55 3.3 Mơ hình kết hợp SgC-Tree 57 3.3.1 Cấu trúc SgC-Tree 57 3.3.2 Tìm kiếm ảnh mơ hình kết hợp SgC-Tree 61 3.4 Thực nghiệm đánh giá hệ tìm kiếm ảnh Graph-CTree SgC-Tree 62 3.4.1 Thực nghiệm 62 3.4.2 Đánh giá thực nghiệm 63 3.5 Tiểu kết chương 71 CHƯƠNG TÌM KIẾM ẢNH DỰA VÀO ONTOLOGY 73 4.1 Giới thiệu 73 4.2 Xây dựng ontology cho liệu ảnh 75 4.2.1 Mơ hình xây dựng khung ontology 76 4.2.2 Quy trình xây dựng khung ontology 77 4.2.3 Xây dựng khung ontology bán tự động cho tập liệu ảnh 82 4.2.4 Phương pháp bổ sung liệu cho khung ontology 90 4.2.5 Ứng dụng tạo khung ontology bổ sung liệu bán tự động 92 4.3 Hệ tìm kiếm ảnh dựa ontology 94 4.3.1 Mơ hình tìm kiếm ảnh dựa ontology 94 4.3.2 Thực nghiệm hệ tìm kiếm ảnh OnSBIR 95 4.3.3 Đánh giá thực nghiệm 96 4.4 Tiểu kết chương 103 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 104 DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 106 TÀI LIỆU THAM KHẢO 106 iv DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu ARP AUC CBIR CDH CNN CSD C-Tree DCD DoG DWT EC ED EDH FGIR GLCM GMM GraphCTree grSOM HOG LBP LoG LPP MAP MPL OnSBIR Diễn giải tiếng Anh Average Retrieval Precision Area Under the Curve Content-Based Image Retrieval Color Difference Histogram Convolutional Neural Network Color Structure Descriptor Balanced Clustering Tree Dominant Color Descriptor Difference of Gaussian Discrete Wavelet Transform Element Center Element Data Edge Histogram Descriptor Fine-Grained Image Retrieval Gray-level co-occurrence matrix Gaussian Mixture Models Diễn giải tiếng Việt Độ xác trung bình Diện tích đường cong Tìm kiếm ảnh theo nội dung Biểu đồ chênh lệch màu Mạng nơ-ron tích chập Bộ mơ tả cấu trúc màu Cây phân cụm cân Bộ mô tả màu chủ đạo Đạo hàm Gauss Phép biến đổi Wavelet rời rạc Phần tử trọng tâm Phần tử liệu Bộ mô tả biểu đồ biên Tìm kiếm ảnh chi tiết Neighbor Graph on C-Tree Đồ thị cụm láng giềng C-Tree Graph-Self Organizing Map Mơ hình kết hợp đồ thị cụm láng giềng đồ tự tổ chức Histograms of Oriented Gradients Local Binary Patterns Laplace of Gaussian Locality-Preserving Projection Mean Average Precision Multi-layer Perceptron Semantic-Based Image Retrieval on ontology v Ma trận đồng xuất mức xám Mơ hình hỗn hợp Gauss Biểu đồ định hướng Gradient Mẫu nhị phân cục Phép biến đổi Laplace Gauss Phép chiếu bảo tồn cục Độ xác trung bình Mạng perceptron nhiều lớp Tìm kiếm ảnh theo ngữ nghĩa dựa ontology ORB OWL RDF ROC RF SBIR SBIR_CT SBIR_grCT SBIR_grCT SgC-Tree SDCD SIFT SOFM SOM SURF SVM TBIR WWW Oriented Fast and Rotated BRIEF Web Ontology Language Resource Description Framework Receiver Operating Characteristic Relevance Feedback Semantic-Based Image Retrieval Semantic-Based Image Retrieval on C-Tree Semantic-Based Image Retrieval on Graph-CTree Semantic-Based Image Retrieval on SgC-Tree SOM-Graph-CTree Spatial Dominant Color Descriptor Scale Invariant Features Transform Self-Organized Feature Map Self Organizing Map Speeded Up Robust Feature Support Vector Machine Text-Based Image Retrieval World Wide Web vi Đă ̣c trưng định hướng xoay vịng nhanh Ngơn ngữ ontology web Khung mơ tả tài nguyên Đồ thị đă ̣c tính Phương pháp phản hồi liên quan Tìm ảnh theo ngữ nghĩa Tìm ảnh theo ngữ nghĩa dựa C-Tree Tìm ảnh theo ngữ nghĩa dựa Graph-CTree Tìm ảnh theo ngữ nghĩa dựa SgC-Tree Mơ hình kết hợp mạng SOM, đồ thị cụm láng giềng C-Tree Bộ mô tả màu trội khơng gian Đă ̣t trưng hình ảnh SIFT Bản đồ đă ̣c trưng tự tổ chức Bản đồ tự tổ chức Đă ̣c trưng hình ảnh SURF Máy vec-tơ hỗ trợ Tìm kiếm ảnh dựa văn Mạng tồn cầu WWW DANH MỤC HÌNH ẢNH Hình 1.1 Một ví dụ trích xuất đă ̣c trưng kết hợp 13 Hình 1.2 Kết tạo mă ̣t nạ phân vùng ảnh dựa độ tương phản 14 Hình 1.3 Kết phát biên đối tượng dựa phương pháp LoG 14 Hình 1.4 Một kết dị biên đối tượng dựa phép lọc Sobel 14 Hình 1.5 Khoảng cách ngữ nghĩa 15 Hình 1.6 Phân vùng ảnh theo đối tượng 17 Hình 1.7 Ảnh thích liên quan ảnh 17 Hình 1.8 Kiến trúc hệ thống tìm kiếm ảnh theo ngữ nghĩa 20 Hình 2.1 Minh họa cấu trúc C-Tree 26 Hình 2.2 Thêm phần tử liệu vào nút 28 Hình 2.3 Tách nút khơng có nút cha 30 Hình 2.4 Tách nút có nút cha 30 Hình 2.5 Mơ hình hệ tìm kiếm ảnh theo ngữ nghĩa SBIR_CT 33 Hình 2.6 Một ví dụ cho tập từ vựng thị giác 34 Hình 2.7 Một kết tìm kiếm ảnh C-Tree 35 Hình 2.8 Hiệu suất tìm kiếm ảnh dựa C-Tree tập COREL 38 Hình 2.9 Hiệu suất tìm kiếm ảnh dựa C-Tree tập WANG 38 Hình 2.10 Hiệu suất tìm kiếm ảnh dựa C-Tree tập ImageCLEF 38 Hình 2.11 Hiệu suất tìm kiếm ảnh dựa C-Tree tập Stanford Dogs 39 Hình 3.1 Cấu trúc đồ thị cụm láng giềng Graph–CTree 53 Hình 3.2 Ví dụ minh họa tập tin láng giềng 54 Hình 3.3 Ví dụ đồ thị cụm láng giềng nút Leaf37 55 Hình 3.4 Mơ hình tìm kiếm ảnh đồ thị cụm láng giềng Graph-CTree 56 Hình 3.5 Mơ hình kết hợp SgC-Tree 58 Hình 3.6 Lắ p ghép cụm Graph-CTree sang grSOM 59 Hình 3.7 Mơ trình tìm kiếm ảnh SgC-Tree 61 Hình 3.8 Một kết tìm kiếm ảnh hệ truy vấn SBIR_SgC 63 Hình 3.9 Hiệu suất tìm kiếm dựa C-Tree (a), Graph-CTree (b) SgC-Tree (c) tập ảnh COREL 66 Hình 3.10 Hiệu suất tìm kiếm dựa C-Tree (a), Graph-CTree (b) SgC-Tree (c) tập ảnh WANG 67 Hình 3.11 Hiệu suất tìm kiếm dựa Graph-CTree (a) SgC-Tree (b) tập ảnh ImageCLEF 67 Hình 3.12 Hiệu suất tìm kiếm dựa Graph-CTree (a) SgC-Tree (b) tập ảnh Stanford Dogs 67 Hình 4.1 Mơ hình xây dựng khung ontology 76 Hình 4.2 Các phân lớp tập ảnh ImageCLEF 77 Hình 4.3 Các lớp phân cấp lớp ontology với Protégé cho tập ảnh ImageCLEF78 vii Hình 4.4 Một ví dụ thuộc tính liệu Protégé 78 Hình 4.5 Một ví dụ thuộc tính đối tượng Protégé 79 Hình 4.6 Các cá thể ontology Protégé 79 Hình 4.7 Một mơ hình liệu ontology 80 Hình 4.8 Một ví dụ cho ontology trực quan OntoGraf 80 Hình 4.9 Một ontology hiển thị theo RDF/XML 81 Hình 4.10 Mơ hình xây dựng khung ontology bán tự động 82 Hình 4.11 Dữ liệu mẫu cho lớp phân cấp lớp tập ảnh ImageCLEF 84 Hình 4.12 Mẫu thuộc tính liệu ontology cho tập ảnh ImageCLEF 85 Hình 4.13 Quy trình tạo từ điển ngữ nghĩa cho ontology 85 Hình 4.14 Một ví dụ khái niệm từ vựng từ điển đồng nghĩa 86 Hình 4.15 Mẫu cá thể ảnh theo lớp 86 Hình 4.16 Mẫu literals cho lớp cá thể lớp 87 Hình 4.17 Các literals cá thể ảnh 87 Hình 4.18 Mơ hình bổ sung liệu khung ontology 90 Hình 4.19 Chương trình ứng dụng tạo ontology 92 Hình 4.20 Ontology theo định dạng N3 93 Hình 4.21 Phân cấp lớp trước (a) sau (b) bổ sung liệu vào ontology 94 Hình 4.22 Mơ hình hệ tìm kiếm OnSBIR 95 Hình 4.23 Tạo tự động câu lệnh SPARQL dựa vào tập từ vựng thị giác 95 Hình 4.24 Một kết hệ tìm kiếm OnSBIR từ ảnh đầu vào 96 Hình 4.25 Khái niệm ngữ nghĩa cho lớp 96 Hình 4.26 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh COREL 100 Hình 4.27 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh WANG 100 Hình 4.28 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh ImageCLEF 101 Hình 4.29 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh Stanford Dogs 101 viii Bảng 4.7 So sánh hiệu suất tìm kiếm ảnh tập ảnh ImageCLEF Chỉ số đánh giá SBIR_SgC OnSBIR Precision 0.874402 0.932574 Recall 0.864789 0.916225 F-measure 0.869484 0.926373 Query time (ms) 242.1663 248.5511 Bảng 4.8 So sánh hiệu suất tìm kiếm ảnh tập ảnh Stanford Dogs Chỉ số đánh giá SBIR_SgC OnSBIR Precision 0.842674 0.873852 Recall 0.837285 0.86537 F-measure 0.839827 0.86961 Query time (ms) 275.7742 284.3384 So sánh hiệu suất hệ thống tìm kiếm ảnh dựa ontology cho thấy độ xác tốt so với hệ thống không sử dụng ontology (SBIR_SgC) Cụ thể, với tập ảnh COREL, số lượng ảnh không lớn (1000 ảnh) với 10 chủ đề, độ xác dùng ontology tăng 3.0403%, tỷ lệ tăng không cao, số lớp ngữ nghĩa (chủ đề) ảnh không lớn Đối với tập ảnh WANG, số lượng ảnh nhiều (10.800 ảnh) số lớp ngữ nghĩa lớn (80 chủ đề), đồng thời, chất lượng ảnh WANG thấp, nên hiệu suất hệ tìm kiếm ảnh dựa SgC-Tree bị ảnh hưởng, sử dụng ontology hiệu suất tìm kiếm ảnh tăng vượt trội với 5.5255% Điều chứng tỏ, phương pháp tìm kiếm ảnh ontology đề xuất truy xuất tập ảnh không tương tự mă ̣t nội dung cấp thấp mà tương tự ngữ nghĩa cấp cao, khắ c phục vấn đề chất lượng thấp, tính phân tán liệu Hiệu suất tìm kiếm ảnh sử dụng ontology tập ảnh ImageCLEF Stanford Dogs tăng với tỷ lệ 5.8172% 3.1178% Các kết so sánh chứng tỏ, phương pháp tìm kiếm ảnh ontology nâng cao độ xác Tuy nhiên, phương pháp đề xuất chúng tơi kết hợp tìm kiếm ảnh từ đă ̣c trưng cấp thấp hệ thống CBIR (SgC-Tree) ontology, đó, thời gian tìm kiếm ảnh mà cao so với hệ SBIR_SgC Ngoài ra, đồ thị Precision-Recall ROC dựa ontology dựa SgC-Tree (Hình 4.26, Hình 4.27, Hình 4.28, Hình 4.29) biểu diễn Mỗi đường cong đồ thị Precision – Recall thư mục ảnh Diện tích đường cong lớn, độ xác truy vấn cao Đồng thời, đường cong ROC cho biết tỷ lệ kết truy vấn hoă ̣c sai, diện tích đường cong ROC lớn, tỷ lệ truy vấn cao 99 (a) (b) Hình 4.26 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh COREL (a) (b) Hình 4.27 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh WANG 100 (a) (b) Hình 4.28 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh ImageCLEF (a) (b) Hình 4.29 Hiệu suất tìm kiếm dư ̣a SBIR_SgC (a) OnSBIR (b) tập ảnh Stanford Dogs 101 Kết thực nghiệm thể đồ thị cho thấy, diện tích đường cong đồ thị Precision-Recall ROC OnSBIR lớn so với kết SBIR_SgC, chứng tỏ độ xác tỷ lệ phân loại tốt Vậy, phương pháp tìm kiếm ảnh dựa ontology nâng cao hiệu tìm kiếm ảnh Chúng thực so sánh kết tìm kiếm ảnh ontology với phương pháp khác tập ảnh ImageCLEF, mô tả Bảng 4.9 Bảng 4.9 So sánh độ xác tìm kiếm ảnh dựa theo ontology phương pháp tập ảnh ImageCLEF Phương pháp Image ontology model O-V-A [73] Pattern graph-based image on ontology [7] Phương pháp HDLA (hybrid deep learning architecture) [11] Phương pháp SDCH (Semantic Deep Cross-modal Hashing) [79] Phương pháp CPAH (Consistency Preserving Adversarial Hashing) [78] OnSBIR Năm 2016 2017 2018 Độ xác trung bình 0.46 0.3513 0.797 2019 0.803 2020 0.8324 0.932574 Trong Bảng 4.9, phương pháp sử dụng ontology cho tìm kiếm ảnh so sánh gồm: (1) Vijayarajan V cộng (2016) [73] thực tìm kiếm ontology dựa việc phân tích văn phạm văn để xác định từ khóa Hiệu suất tìm kiếm ảnh ontology phương pháp chưa cao phụ thuộc nhiều vào thích ảnh, thường có độ xác khơng tốt; (2) Nhóm nghiên cứu Allani O (2017) [7] thực kết hợp đă ̣c trưng cấp thấp đồ thị ngữ nghĩa cấp cao ontology Tuy nhiên, đă ̣c trưng cấp thấp trích xuất theo phương pháp SIFT không hiệu với tập ảnh đa đối tượng, đồng thời việc xây dựng ontology hồn tồn tự động, khơng có chỉnh sửa, cập nhật chuyên gia, đó, việc xây dựng ontology dễ sai sót, độ tin cậy khơng cao, nên độ xác cịn thấp Ngồi ra, phương pháp tìm kiếm ngữ nghĩa ảnh dựa vào kỹ thuật học máy đại so sánh với phương pháp đề xuất: (3) Phương pháp HDLA (Hybrid Deep Learning Architecture) mơ hình hóa 102 mối tương quan bậc cao từ trực quan nhằm giảm khoảng cách ngữ nghĩa tìm kiếm ảnh [11]; (4) Phương pháp SDCH (Semantic Deep Cross-modal Hashing) sử dụng mạng CNN để trích xuất đă ̣c trưng hàm băm sâu để lấy ngữ nghĩa ảnh [79]; Phương pháp CPAH (Consistency Preserving Adversarial Hashing) nhằm khai thác tính quán ngữ nghĩa, đă ̣c trưng trích xuất dựa mạng CNN [78] Trong phương pháp OnSBIR đề xuất, tập hình ảnh tương tự theo nội dung cấp thấp chọn lọc từ SgC-Tree, có độ xác cao Đồng thời, kết hợp với tập ảnh tương tự mă ̣t ngữ nghĩa dựa ontology, nâng cao độ xác Lúc này, tập ảnh tương tự thu không tương tự nội dung mà tương tự ngữ nghĩa cấp cao Do đó, phương pháp có độ xác cao phương pháp sử dụng để so sánh, kể phương pháp dựa mạng học sâu Vậy, phương pháp tìm kiếm ảnh dựa ontology đề xuất đắ n hiệu 4.4 Tiểu kết chương Một khung ontology bán tự động cho tập ảnh xây dựng nhằm nâng cao hiệu tìm kiếm ảnh theo ngữ nghĩa Khung ontology có khả mở rộng, bổ sung liệu từ tập ảnh khác để làm phong phú thêm hình ảnh ngữ nghĩa Thực nghiệm xây dựng khung ontology bán tự động triển khai tập ảnh ImageCLEF, bổ sung liệu với tập ảnh COREL, WANG Stanford Dogs Tìm kiếm ảnh dựa ontology từ ảnh đầu vào, thực truy vấn SgC-Tree phân lớp tập ảnh tương tự thu để tìm tập từ vựng thị giác Từ đó, câu lệnh SPARQL tạo tự động để tìm kiếm ontology Hệ tìm kiếm ảnh theo ngữ nghĩa dựa kết hợp kỹ thuật học máy ontology (OnSBIR) xây dựng Hệ truy vấn thực tìm kiếm tập hình ảnh tương tự nội dung ngữ nghĩa, đồng thời, kết xuất metadata, URI ngữ nghĩa cấp cao cho hình ảnh Độ xác phương pháp tìm kiếm ảnh ontology cao so phương pháp tìm kiếm ảnh dựa kỹ thuật học máy SgC-Tree cơng trình nghiên cứu khác Điều chứng tỏ đề xuất chương đắ n hiệu 103 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận án nghiên cứu phương pháp tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa Đóng góp luận án xây dựng phương pháp nhằm nâng cao độ xác tìm kiếm ảnh theo ngữ nghĩa Kết thực nghiệm cho thấy phương pháp đề xuất luận án đắ n nâng cao độ xác Trong luận án, cấu trúc phân cụm cân C-Tree xây dựng nhằm tổ chức lưu trữ liệu Dữ liệu tổ chức vec-tơ đă ̣c trưng cấp thấp trích xuất từ màu sắ c, hình dạng kết cấu hình ảnh, từ tạo kho liệu đă ̣c trưng nhỏ gọn cho tập liệu ảnh lớn Cấu trúc C-Tree sử dụng để liên kết đă ̣c trưng cấp thấp với từ vựng ngữ nghĩa (lớp ảnh) cho tốn tìm kiếm ảnh C-Tree sử dụng phương pháp phân cụm phân cấp phân cụm phân hoạch để tạo cấu trúc đa nhánh, cân bằng, lưu trữ liệu lớn, thời gian tìm kiếm nhanh độ xác tương đối cao Để nâng cao độ xác tìm kiếm ảnh theo ngữ nghĩa, phương pháp cải tiến C-Tree xây dựng luận án, bao gồm: (1) mơ hình kết hợp C-Tree đồ thị, gọi đồ thị phân cụm láng giềng Graph-CTree; (2) mơ hình mạng kết hợp SOM đồ thị cụm láng giềng (SgC-Tree); (3) mơ hình kết hợp phương pháp học máy dựa đă ̣c trưng cấp thấp ngữ nghĩa cấp cao dựa ontology bán tự động Ontology xây dựng để tìm kiếm ảnh theo ngữ nghĩa cấp cao, đảm bảo tính tin cậy, đắ n tối ưu hóa thời gian Các quy tắ c bổ sung liệu cho khung ontology đề xuất nhằm đảm bảo tính quán cấu trúc ontology Từ đó, thuật tốn tìm kiếm ảnh đề xuất để xây dựng chương trình tìm kiếm ảnh theo tiếp cận ngữ nghĩa Luận án xây dựng thực nghiệm đánh giá tập liệu ảnh: COREL, WANG, ImageCLEF Stanford Dogs Kết thực nghiệm cho thấy, đề xuất cải tiến C-Tree nâng cao độ xác, tìm kiếm ảnh ontology có độ 104 xác cao phương pháp tìm kiếm ảnh dựa nội dung Các kết thực nghiệm mơ hình tìm kiếm ảnh so sánh với số cơng trình gần liệu ảnh, với tiếp cận kỹ thuật đại khác Độ xác mơ hình tìm kiếm ảnh theo ngữ nghĩa dựa SgC-Tree ontology vượt trội so với phương pháp khác Điều chứng tỏ phương pháp đề xuất đắ n nâng cao hiệu tìm kiếm liệu ảnh theo ngữ nghĩa, đáp ứng mục tiêu đề luận án Trên sở lý thuyết thực nghiệm xây dựng, định hướng nghiên cứu tương lai bao gồm: (1) Nghiên cứu phương pháp dựa DNN, CNN, R-CNN, GCN… để so sánh với phương pháp đề xuất luận án; (2) Xây dựng chương trình ứng dụng cho lĩnh vực cụ thể như: xác định địa điểm du lịch từ ảnh, chẩn đoán bệnh từ ảnh y khoa, phân biệt loại đá thổ nhưỡng địa lý, tìm kiếm ảnh từ thơng tin mạng xã hội, (3) Làm giàu ngữ nghĩa cho ontology với mối quan hệ ngữ nghĩa ảnh chă ̣t chẽ mở rộng xác định vị trí đối tượng ảnh, xác định mối quan hệ hành động ảnh… (4) Hướng đến ontology cho tìm kiếm ảnh theo ngữ nghĩa tiếng việt 105 DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 1) Nhi, N T U., & Hạnh, H H., Thanh, M L (2017), Khảo sát đánh giá hướng tiếp cận ngữ nghĩa nâng cao hiệu tìm kiếm ảnh, Hue University Journal of Science: Techniques and Technology, 126(2A), tr 153-161 2) Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2018), Nâng cao hiệu truy vấn ảnh theo ngữ nghĩa phân cụm C-Tree, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR-2018), tr 370-378, Đại học Thăng Long Hà Nội 3) Nhi, N T U., Thanh, V.T., Thanh, L.M (2020), A self-balanced clustering tree for semantic-based image retrieval, Journal of Computer Science and Cybernetics, 36(1), pp 49-67 4) Thanh, L M., N T U Nhi, V T Thanh (2020), A semantic-based image retrieval system using a hybrid method K-means and K-nearest-neighbor, Annales Univ Sci Budapest Sect Comp., Vol 51, pp 253-274 5) Huỳnh Thị Châu Lan, Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2020), Một phương pháp kết hợp K-Means k-NN cho tốn tìm kiếm phân tích ngữ nghĩa, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR-2020), tr 274-284, Đại học Nha Trang 6) Nhi, N T U., Van, T T., & Le, T M (2021), Semantic-Based Image Retrieval Using Balanced Clustering Tree, In Trends and Applications in Information Systems and Technologies, vol 2, pp 416-427, Springer International Publishing 7) Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2021), Tìm kiếm ảnh dựa vào ontology, Chun san Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông, vol 1, tr 22-32 106 8) Nguyễn Thị Uyên Nhi, Văn Thế Thành (2021), Một phương pháp trích xuất đă ̣c trưng cho tốn tìm kiếm ảnh, Tạp chí Khoa học cơng nghệ, trường đại học Khoa học, Đại học Huế, Vol 18(1), tr 33-46 9) Nhi, N T U., Van, T T., & Le, T M (2021 – accept), Improving the efficiency of semantic-based image retrieval based on a model combining neighbor graph and SOM, International Journal on Semantic Web and Information Systems, Vol 18(2), IGI Global Publishing 107 TÀI LIỆU THAM KHẢO Tiếng việt Hạnh, H H (2012), RDF Ứng dụng, Đại học Huế Hồng Hữu Hạnh Lê Mạnh Thạnh (2012), Giáo trình Web ngữ nghĩa, Giáo dục Hiệu, V V., Hoàng, N H., Tạo, N Q., Quỳnh, N H (2016) Một phương pháp chuẩn hoá liệu hiệu chỉnh trọng số cho tổ hợp đă ̣c trưng tra cứu ảnh theo nội dung Chun san Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông, tr 63-63 Tiếng Anh Ahmad J., Sajjad M., Mehmood I., Rho S., Baik S W (2017), Saliency-weighted graphs for efficient visual content description and their applications in real-time image retrieval systems, Journal of Real-Time Image Processing, 13(3), pp 431-447 Alaoui K., Bahaj M (2019), Semantic Oriented Data Modeling Based on RDF, RDFS and OWL, In International Conference on Advanced Intelligent Systems for Sustainable Development, pp 411-421, Springer, Cham Alkhawlani M., Elmogy M., El Bakry H (2015), Text-based, content-based, and semantic-based image retrievals: A survey, Int J Comput Inf Technol, 4(01), pp 5866 Allani O., Zghal H B., Mellouli N., Akdag H (2017), Pattern graph-based image retrieval system combining semantic and visual features, Multimedia Tools and Applications, 76(19), pp 20287-20316 Alzu’bi A., Amira A., Ramzan N (2015), Semantic content-based image retrieval: A comprehensive study, Journal of Visual Communication and Image Representation, 32, pp 20-54 Alzubaidi M A (2017), A new strategy for bridging the semantic gap in image retrieval, International Journal of Computational Science and Engineering, 14(1), pp 27-43 10 Arp R., Smith B., Spear A D (2015), Building ontologies with basic formal ontology, Mit Press 11 Arun K S., Govindan V K (2018), A hybrid deep learning architecture for latent topic-based image retrieval, Data Science and Engineering, 3(2), pp 166-195 12 Ashraf R., Ahmed M., Jabbar S., Khalid S., Ahmad A., Din S., Jeon G (2018), Content based image retrieval by using color descriptor and discrete wavelet transform, Journal of medical systems, 42(3), pp 1-12 13 Ayech M B H., Amiri H (2016), A content-based image retrieval using PCA and SOM, International Journal of Signal and Imaging Systems Engineering, 9(4-5), pp 276-282 108 14 Bai C., Chen J N., Huang L., Kpalma K., Chen S (2018), Saliency-based multifeature modeling for semantic image retrieval, Journal of Visual Communication and Image Representation, 50, pp 199-204 15 Barz B., Denzler J (2019), Hierarchy-based image embeddings for semantic image retrieval, In 2019 IEEE Winter Conference on Applications of Computer Vision (WACV), pp 638-647, IEEE 16 Bayer R., McCreight E (2002), Organization and maintenance of large ordered indexes In Software pioneers (pp 245-262), Springer, Berlin, Heidelberg 17 Bchir O., Ismail M M B., Aljam H (2018), Region-based image retrieval using relevance feature weights, International Journal of Fuzzy Logic and Intelligent Systems, 18(1), pp 65-77 18 Bouchakwa M., Ayadi Y., Amous I (2020), Multi-level diversification approach of semantic-based image retrieval results, Progress in Artificial Intelligence, 9(1), pp 130 19 Boulemden A., Tlili Y., Jalab H A (2018), Content-based image retrieval with pachinko allocation model and a combination of colour, texture and text features, International Journal of Computational Vision and Robotics, 8(2), pp 122139 20 Boyd K., Eng K H., Page C D (2013), Area under the precision-recall curve: point estimates and confidence intervals, In Joint European conference on machine learning and knowledge discovery in databases, pp 451-466, Springer, Berlin, Heidelberg 21 Buvana M., Muthumayil K., Jayasankar T (2021), Content-Based Image Retrieval based on Hybrid Feature Extraction and Feature Selection Technique Pigeon Inspired based Optimization, Annals of the Romanian Society for Cell Biology, pp 424-443 22 Cao Y., Liu B., Long M., Wang J (2018), Cross-modal hamming hashing, In Proceedings of the European Conference on Computer Vision (ECCV), pp 202-218 23 Chaki J., Dey N (2019), A beginner’s guide to image shape feature extraction techniques, CRC Press 24 Chaki J., Dey N (2020), Image Color Feature Extraction Techniques: Fundamentals and Applications, Springer Nature 25 Chang C., Yu G., Liu C., Volkovs M (2019), Explore-exploit graph traversal for image retrieval, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 9423-9431 26 COREL Dataset, https://www.kaggle.com/elkamel/corel-images, 2020 27 Dhingra S., Bansal P (2021), Relative examination of texture feature extraction techniques in image retrieval systems by employing neural network: an experimental review, In Proceedings of International Conference on Artificial Intelligence and Applications, pp 337-349, Springer, Singapore 28 Escalante H J., Hernández C A., Gonzalez,J A., López-López A., Montes M., Morales E F., Grubinger M (2010), The segmented and annotated IAPR TC-12 benchmark, Computer vision and image understanding, 114(4), pp 419-428 109 29 Erin Liong V., Lu J., Tan Y P., Zhou J (2017), Cross-modal deep variational hashing, In Proceedings of the IEEE International Conference on Computer Vision, pp 4077-4085 30 Erwin M F (2017), Content Based Image Retrieval for Multi-Objects Fruits Recognition using k-Means and k-Nearest Neighbor, International Conference on Data and Software Engineering, pp 326-332 31 Filali J., Zghal H., Martinet J (2016), Towards visual vocabulary and ontologybased image retrieval system, In International Conference on Agents and Artificial Intelligence, 2, pp 560-565 32 Garg M., Dhiman G (2021), A novel content-based image retrieval approach for classification using GLCM features and texture fused LBP variants, Neural Computing and Applications, 33, pp 1311-1328 33 Gonỗalves F M F., Guilherme I R., Pedronette D C G (2018), Semantic guided interactive image retrieval for plant identification, Expert Systems with Applications, 91, pp 12-26 34 ImageCLEF Dataset, https://www.imageclef.org/photodata, 2020 35 Jian M., Yin Y., Dong J., Lam K M (2018), Content-based image retrieval via a hierarchical-local-feature extraction scheme, Multimedia Tools and Applications, 77(21), pp 29099-29117 36 Jin S., Yao H., Sun X., Zhou S., Zhang L., Hua X (2018), Deep saliency hashing, arXiv preprint arXiv:1807.01459 37 Jodelet Q., Gripon V., Hagiwara M (2019), Transfer learning with sparse associative memories, In International Conference on Artificial Neural Networks, pp 497-512, Springer, Cham 38 Kanwal K., Ahmad K T., Khan R., Abbasi A T., Li, J (2020), Deep learning using symmetry, fast scores, shape-based filtering and spatial mapping integrated with CNN for large scale image retrieval, Symmetry, 12(4), pp 612 39 Kohonen T (2013), Essentials of the self-organizing map, Neural networks, 37, pp 52-65 40 Kurtz C., Depeursinge A., Napel S., Beaulieu C F., Rubin D L (2014), On combining image-based and ontological semantic dissimilarities for medical image retrieval applications, Medical image analysis, 18(7), pp 1082-1100 41 Li C., Deng C., Wang L., Xie D., Liu X (2019), Coupled cyclegan: Unsupervised hashing network for cross-modal retrieval, In Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), pp 176-183 42 Liu G H., Yang J Y (2021), Deep-seated features histogram: A novel image retrieval method, Pattern Recognition, 116, pp 107926 43 Liu H., Lang B (2019), Machine learning and deep learning methods for intrusion detection systems: A survey, Applied sciences, 9(20), pp 4396 110 44 Liu Y., Huang Y., Zhang S., Zhang D., Ling N (2017), Integrating object ontology and region semantic template for crime scene investigation image retrieval, In 12th IEEE Conference on Industrial Electronics and Applications (ICIEA), pp 149-153, IEEE 45 Manzoor U., Balubaid M A., Zafar B., Umar H., Khan M S (2015), Semantic image retrieval: An ontology based approach, International Journal of Advanced Research in Artificial Intelligence, 4(4), pp 1-8 46 Mazo C., Alegre E., Trujillo M (2020), Using an ontology of the human cardiovascular system to improve the classification of histological images, Scientific Reports, 10(1), pp 1-14 47 McClish D K (1989), Analyzing a portion of the ROC curve, Medical decision making, 9(3), pp 190-195 48 Mishra S., Panda M (2018), Medical image retrieval using self-organising map on texture features, Future Computing and Informatics Journal, 3(2), pp 359-370 49 MK Y I A., Noah S A M (2017), Semantic text-based image retrieval with multimodality ontology and DBpedia, The Electronic Library, 35(6), pp 1191-1214 50 Müller H., Müller W., Squire D M., Marchand-Maillet S., Pun T (2001), Performance evaluation in content-based image retrieval: overview and proposals Pattern recognition letters, 22(5), pp 593-601 51 Ouni A., Royer E., Chevaldonné M., Dhome M (2021), Leveraging semantic segmentation for hybrid image retrieval methods, Neural Computing and Applications, pp 1-19 52 Pattanaik S., Bhalke D G (2012), Efficient content based image retrieval system using MPEG-7 features, International Journal of Computer Applications, 53(5), pp 1924 53 Pavithra L K., Sharmila T S (2019), An efficient seed points selection approach in dominant color descriptors (DCD), Cluster Computing, 22(4), pp 1225-1240 54 Petrou M M., Kamata S I (2021), Image processing: dealing with texture, John Wiley Sons 55 Punitha P., Guru D S (2008), Symbolic image indexing and retrieval by spatial similarity: An approach based on B-tree, Pattern Recognition, 41(6), pp 2068-2085 56 Qazanfari H., Hassanpour H., Qazanfari K (2019), Content-based image retrieval using HSV color space features, International Journal of Computer and Information Engineering, 13(10), 537-545 57 Qiang Y., Sheng C., Yin D (2020), Method of tire pattern image retrieval based on wavelet transform and Siamese network, In Proceedings of the 2020 International Conference on Aviation Safety and Information Technology, pp 587-592 58 Qureshi M N., Ahamad M V (2018), An improved method for image segmentation using K-means clustering with neutrosophic logic, Procedia computer science, 132, pp 534-540 111 59 Raja R., Kumar S., Mahmood M R (2020), Color object detection based image retrieval using ROI segmentation with multi-feature method, Wireless Personal Communications, 112(1), pp 169-192 60 Rejeb I B., Ouni S., Zagrouba E (2017), Image retrieval using spatial dominant color descriptor, In 2017 IEEE/ACS 14th International Conference on Computer Systems and Applications (AICCSA), pp 788-795, IEEE 61 Saritha R R., Paul V., Kumar P G (2019), Content based image retrieval using deep learning process, Cluster Computing, 22(2), pp 4187-4200 62 Schaeffer S E (2007), Graph clustering, Computer science review, 1(1), pp 27-64 63 Shao H B., Chu L Y., Shao M A., Jaleel C A., Hong-mei M (2008), Higher plant antioxidants and redox signaling under environmental stresses, Comptes rendus biologies, 331(6), pp 433-441 64 Sharma M K., Siddiqui T J (2016), An ontology based framework for retrieval of museum artifacts, Procedia Computer Science, 84, pp 169-176 65 Shen Y., Liu L., Shao L., Song J (2017), Deep binaries: Encoding semantic-rich cues for efficient textual-visual cross retrieval, In Proceedings of the IEEE international conference on computer vision, pp 4097-4106 66 Singh V P., Gupta A., Srivastava R (2017), Fast and effective image retrieval using colour and texture features with self-organising map, International Journal of Computational Systems Engineering, 3(3), pp 133-143 67 Singh, V P., Srivastava R (2018), Automated and effective content-based mammogram retrieval using wavelet based CS-LBP feature and self-organizing map, Biocybernetics and Biomedical Engineering, 38(1), pp 90-105 68 Song J., He T., Gao L., Xu X., Hanjalic A., Shen H T (2020), Unified Binary Generative Adversarial Network for Image Retrieval and Compression, Int J Comput Vis., 128(8), pp 2243-2264 69 Song K., Li F., Long F., Wang J., Ling Q (2018), Discriminative deep feature learning for semantic-based image retrieval, IEEE Access, 6, pp 44268-44280 70 Stanford Dogs Dataset, http://vision.stanford.edu/aditya86/ImageNetDogs, 2020 71 Sun H., Fan Y., Shen J., Liu N., Liang D., Zhou H (2020), A Novel SemanticsPreserving Hashing for Fine-Grained Image Retrieval, IEEE Access, 8, pp 2619926209 72 Van T T., Le T M (2018), Content‐based image retrieval based on binary signatures cluster graph, Expert Systems, 35(1), e12220 73 Vijayarajan V., Dinakaran M., Tejaswin P., Lohani M (2016), A generic framework for ontology-based information retrieval and image retrieval in web data, Human-centric Computing and Information Sciences, 6(1), pp 1-30 74 Vinayak V., Jindal S (2017), CBIR system using color moment and color autoCorrelogram with block truncation coding, International Journal of Computer Applications, 161(9), pp 1-7 112 75 Wang H., Lei Z., Zhang X., Zhou B., Peng J (2019), A review of deep learning for renewable energy forecasting, Energy Conversion and Management, 198, pp 111799 76 WANG dataset, http://wang.ist.psu.edu/docs/home.shtml, 2020 77 Wei X S., Luo J H., Wu J., Zhou, Z H (2017), Selective convolutional descriptor aggregation for fine-grained image retrieval, IEEE Transactions on Image Processing, 26(6), pp 2868-2881 78 Xie L., Wang J., Zhang B., Tian Q (2015), Fine-grained image search, IEEE Transactions on Multimedia, 17(5), pp 636-647 79 Yang A., Yang X., Wu W., Liu H., Zhuansun Y (2019), Research on feature extraction of tumor image based on convolutional neural network, IEEE access, 7, pp 24204-24213 80 Zeng H., Lai H., Yin J (2019), Simultaneous region localization and hash coding for fine-grained image retrieval, arXiv preprint arXiv:1911.08028 81 Zhang H., Wang S., Xu X., Chow T W., Wu Q J (2018), Tree2Vector: learning a vectorial representation for tree-structured data, IEEE transactions on neural networks and learning systems, 29(11), pp 5304-5318 113