(Luận án tiến sĩ) nâng cao hiệu quả tìm kiếm dữ liệu ảnh theo tiếp cận ngữ nghĩa

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ UYÊN NHI NÂNG CAO HIỆU QUẢ TÌM KIẾM DỮ LIỆU ẢNH THEO TIẾP CẬN NGỮ NGHĨA NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9.48.01.01 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ MẠNH THẠNH HUẾ, NĂM ii 2021 PHẦN MỞ ĐẦU Tính cấp thiết luận án Trong năm gần đây, phát triển công nghệ di động ứng dụng đa phương tiện tạo sở liệu ảnh số khổng lồ Ảnh số đóng vai trị quan trọng nhiều lĩnh vực sống hệ thống y tế, hệ thống thông tin địa lý, thư viện số, giáo dục, giải trí, [6] Vì vậy, tìm kiếm ảnh tương tự nhanh chóng, xác kho ảnh lớn thách thức nhiệm vụ cấp thiết lĩnh vực thị giác máy tính Các phương pháp tìm kiếm ảnh thường phân thành hai loại [6]: tìm kiếm ảnh dựa văn TBIR (Text-Based Image Retrieval) tìm kiếm ảnh dựa nội dung CBIR (Content-Based Image Retrieval) Ưu điểm phương pháp TBIR đơn giản, nhanh chóng hiệu quả; nhiên ảnh thích thủ cơng nên thường thiếu xác chủ quan nhận thức người Để khắc phục nhược điểm này, hệ thống CBIR giới thiệu vào đầu năm 1980 Trong CBIR, ảnh lập mục theo nội dung trực quan chúng để mơ tả ảnh [6] CBIR q trình tìm kiếm truy xuất hình ảnh dựa đặc trưng (màu sắc, kết cấu, hình dạng, bố cục khơng gian,…) trích xuất kỹ thuật thị giác máy tính từ sở liệu hình ảnh Tuy nhiên, phương pháp tra cứu ảnh theo nội dung không phân tích ngữ nghĩa, khơng mơ tả nội dung hình ảnh ngữ nghĩa cấp cao, hiệu suất tìm kiếm chưa thỏa mãn yêu cầu người dùng Phương pháp tìm kiếm ảnh theo ngữ nghĩa SBIR [8,31] (Semantic-Based Image Retrieval) nhằm mô tả khái niệm ngữ nghĩa đề xuất kết hợp với CBIR để nâng cao hiệu tìm kiếm Việc giải thích ngữ nghĩa ảnh máy tính nhiệm vụ phức tạp, nên vấn đề SBIR chuyển đổi ảnh có kích thước lớn thành đặc trưng cấp thấp, liên kết nội dung cấp thấp với nội dung ngữ nghĩa cấp cao ảnh Từ tạo mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa mà máy hiểu ngữ nghĩa thực tế mong muốn người dùng Vì vậy, tốn tìm kiếm ảnh theo ngữ nghĩa có hiệu suất tốt nhận nhiều quan tâm nhà nghiên cứu toàn giới Với mong muốn đóng góp phương pháp tìm kiếm ảnh theo ngữ nghĩa hiệu quả, luận án thực đề tài: “Nâng cao hiệu tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa” Tổng quan tình hình nghiên cứu Tìm kiếm ảnh theo nội dung [6] phương pháp tìm kiếm từ sở liệu đặc trưng cấp thấp, trích xuất từ hình ảnh gốc có kích thước lớn, nhằm lập mục, giảm chiều ảnh, giúp dung lượng lưu trữ nhỏ gọn gia tăng tốc độ xử lý Việc lựa chọn đặc trưng hình ảnh ảnh hưởng phần lớn đến hiệu suất tìm kiếm hình ảnh Có nhiều phương pháp để trích xuất đặc trưng hình ảnh phương pháp trích xuất đặc trưng cấp thấp màu sắc, hình dạng, kết cấu, … hay phương pháp trích xuất đặc trưng sâu dựa kỹ thuật học sâu [42, 71] Mơ hình học sâu bao gồm nhiều mạng sâu đa dạng mạng nơ-ron sâu DNN (deep neural networks), mạng nơ-ron tích chập CNN (convolutional neural networks) mạng nơ-ron hồi quy RNN (recurrent neural networks), Các mơ hình học sâu mang lại hiệu cao cho tốn trích xuất đặc trưng, giảm chiều, giảm nhiễu hay phân loại hình ảnh, [75] Tuy nhiên, độ phức tạp cao mơ hình sâu, thời gian đào tạo kiểm tra liệu mơ hình học sâu lâu nhiều so với mơ hình học máy truyền thống; ngồi ra, cấu trúc mơ hình học sâu phức tạp với số lượng lớn tham số, nên yêu cầu lượng liệu lớn cho trình huấn luyện để có hiệu suất cao; khả diễn giải mơ hình học sâu khơng mạnh mẽ mơ hình học máy truyền thống, coi hộp đen, khó giải thích cấu trúc [43] Do đó, phương pháp trích xuất đặc trưng cấp thấp thủ cơng có vai trị định xử lý tìm kiếm ảnh Các nghiên cứu phương pháp truyền thống nhằm trích xuất đặc trưng cho hệ thống CBIR như: Trích xuất đặc trưng theo khơng gian màu (color space) với hệ tọa độ chiều RGB, HSV, YCbCr CIELab [12], biểu đồ tương quan màu [21], mơ men màu [74], Ngồi ra, mô tả màu sắc tiêu chuẩn MPEG-7 sử dụng rộng rãi như: Bộ mô tả màu chủ đạo DCD (Dominant Color Descriptor) [53], Bộ mô tả cấu trúc màu CSD (Color Structure Descriptor) [52],… Ngoài trích xuất đặc trưng màu, việc kết hợp nhiều đặc trưng màu sắc, kết cấu, hình dạng nhiều nhóm nghiên cứu quan tâm [12, 32, 66] Nhằm tổ chức liệu cho hệ thống CBIR, nhiều cấu trúc lưu trữ nghiên cứu: sử dụng phương pháp học không giám sát hoặc bán giám sát để phân cụm [12, 35], phân loại liệu [32], tổ chức liệu tìm kiếm ảnh dựa cấu trúc cây, đồ thị, mạng tự tổ chức SOM (Self Organizing Map) [48, 67, 72], hay kỹ thuật học sâu [61, 68], Các phương pháp có ưu nhược điểm khác nhau, tùy thuộc vào tốn tìm kiếm ảnh đặt để lựa chọn kỹ thuật phù hợp Các phương pháp dựa kỹ thuật phân cụm, phân lớp đơn giản, dễ triển khai, nhiên dành cho tập ảnh thử nghiệm nhỏ, liệu ảnh lớn, hiệu suất hệ thống tìm kiếm chưa đạt hiệu mong muốn [58] Các phương pháp dựa đồ thị, mạng SOM, học sâu cho độ xác cao với liệu lớn, nhiên phức tạp tính tốn thời gian học lâu Các phương pháp lưu trữ dựa cây, sử dụng kỹ thuật học máy phân cụm, phân lớp cho thấy tính hiệu lưu trữ liệu lớn xác tìm kiếm, độ phức tạp tính tốn thời gian thực nghiệm khơng q cao Mặc dù có số kỹ thuật tìm kiếm ảnh giúp cho hệ thống CBIR có độ xác cao, thường không mô tả khái niệm ngữ nghĩa cấp cao [8, 73] Do đó, hiệu suất CBIR chưa đáp ứng với mong muốn người dùng Vấn đề CBIR “khoảng cách ngữ nghĩa” [9] khái niệm cấp cao nội dung cấp thấp ảnh Để giải vấn đề này, tìm kiếm ảnh dựa ngữ nghĩa SBIR (Semantic-based image retrieval) [14, 15] phương pháp hiệu để chuyển từ tìm kiếm dựa từ khóa, nội dung sang việc thu thập ảnh theo khái niệm Có nhiều hướng tiếp cận cho tốn tìm kiếm ảnh theo ngữ nghĩa, nhiên phổ biến là: dựa phương pháp học máy để liên kết đặc trưng cấp thấp ngữ nghĩa trực quan hình ảnh [7, 67]; dựa ontology [31, 44] Các phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa phương pháp học máy liên kết đặc trưng cấp thấp với văn bản, từ vựng thị giác xung quanh ảnh để lấy ngữ nghĩa cho ảnh truy vấn Phương pháp hiệu quả, nhiên phụ thuộc vào thông tin mô tả tập ảnh, chưa đáp ứng ngữ nghĩa cấp cao theo yêu cầu người sử dụng Với phương pháp tìm kiếm ảnh dựa ontology, ngữ nghĩa cấp cao hình ảnh truy xuất, định nghĩa chung cho đối tượng ảnh mô tả Tuy nhiên, đa số nghiên cứu, vấn đề xây dựng ontology chủ yếu đưa mơ hình hay thực nghiệm ảnh nhỏ, chưa triển khai quy mô tập ảnh lớn, đồng thời, ontology đa số tạo thủ công nên nhiều công sức phụ thuộc nhiều vào khả chuyên gia lĩnh vực hẹp Các nghiên cứu năm qua cho thấy, tốn tìm kiếm ảnh nhận nhiều quan tâm nhà nghiên cứu giới Thách thức lớn tốn tìm kiếm ảnh là: (1) Lựa chọn phương pháp trích xuất đặc trưng cấp thấp ảnh phù hợp để lập mục ảnh, tạo sở liệu nhỏ gọn; (2) xây dựng cấu trúc liệu, kỹ thuật học máy nhằm lưu trữ tìm kiếm hiệu tập liệu lớn; (3) nghiên cứu phương pháp nhằm giảm “khoảng cách ngữ nghĩa” nội dung cấp thấp với khái niệm cấp cao theo ngữ nghĩa tìm kiếm người dùng Trong đó, tìm kiếm ảnh theo ngữ nghĩa SBIR với hướng tiếp cận dựa ontology hiệu khả thi Từ cơng trình nghiên cứu công bố, luận án đánh giá ưu, nhược điểm để làm động lực nghiên cứu Đây định hướng nghiên cứu phù hợp với xu nghiên cứu chung giới, mang tính cấp thiết cao có khả ứng dụng hiệu thực tiễn Định hướng nghiên cứu Bài tốn tìm kiếm ảnh theo ngữ nghĩa thực cách trích xuất đặc trưng ảnh để xác định nội dung; sau tra cứu ảnh liên quan theo ngữ nghĩa thị giác trích xuất mơ tả nội dung ảnh Trong kỹ thuật nhằm giảm “khoảng cách ngữ nghĩa”, tìm kiếm ngữ nghĩa ảnh dựa ontology coi phương pháp hiệu gần gũi với ngữ nghĩa cấp cao người nhất, tập trung vào việc nắm bắt nội dung ngữ nghĩa, điều giúp hệ thống đáp ứng yêu cầu người dùng cách tốt Vì vậy, luận án tập trung vào việc nâng cao hiệu tìm kiếm ảnh theo tiếp cận ngữ nghĩa, bao gồm:  Nghiên cứu cấu trúc lưu trữ mục ảnh;  Xây dựng mơ hình, phương pháp, kỹ thuật cấu trúc liệu nghiên cứu để nâng cao hiệu tìm kiếm ảnh;  Xây dựng ngữ nghĩa tập ảnh cho mơ hình tìm kiếm ảnh Mục tiêu nghiên cứu luận án Mục tiêu chung luận án nghiên cứu phương pháp để nâng cao hiệu tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa Hiệu tìm kiếm ảnh tập trung nâng cao độ xác Luận án có mục tiêu cụ thể sau:  Nghiên cứu cấu trúc phân cụm cân đề xuất nguyên tắc xây dựng phân cụm (C-Tree) cho tốn tìm kiếm ảnh;  Nghiên cứu mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa đồ thị cụm láng giềng, mạng SOM kết hợp dựa ontology nhằm nâng cao độ xác;  Nghiên cứu tính hiệu mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa cho tập ảnh thực nghiệm Phương pháp nghiên cứu Phương pháp lý thuyết: Tổng hợp, phân tích số cơng bố liên quan đến tìm kiếm ảnh theo nội dung theo ngữ nghĩa; đánh giá ưu khuyết điểm cơng trình cơng bố để đề xuất mơ hình phù hợp Phương pháp thực nghiệm: Tìm kiếm kho liệu ảnh tin cậy công bố sử dụng rộng rãi: COREL, WANG, ImageCLEF, Stanford Dogs Thực trích xuất đặc trưng cấp thấp, xây dựng cấu trúc liệu lưu trữ, cài đặt mô hình thuật tốn đề xuất kho liệu nhằm minh chứng tính hiệu Đồng thời xây dựng ontology bán tự động cho kho liệu Thực nghiệm tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa ontology Trên sở số liệu thực nghiệm, luận án thực phân tích, đánh giá so sánh với cơng trình khác Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu:   Các phân cụm thuật toán phân cụm;  Cấu trúc liệu để lưu trữ đặc trưng nội dung hình ảnh;  Các thuật tốn tạo cấu trúc liệu tìm kiếm ảnh;  Ontology;  Các tập ảnh phổ biến Phạm vi nghiên cứu:  Cây phân cụm cân cấu trúc, thuật tốn xây dựng nó;  Các phương pháp cải tiến phân cụm với đồ thị cụm láng giềng, mạng SOM;  Ontology truy vấn SPARQL;  Các tập ảnh: COREL, WANG, ImageCLEF Stanford Dogs Giải thích thuật ngữ Thuật ngữ “tìm kiếm” có nhiều cách sử dụng khác tìm kiếm, tra cứu, truy hồi Bài tốn tìm kiếm ảnh luận án tìm tập hình ảnh tương tự tập ảnh lớn kỹ thuật tra cứu cấu trúc liệu lưu trữ đặc trưng cấp thấp Theo từ điển Tiếng Việt, “tìm kiếm” có nghĩa tìm cho thấy, tìm được, “tra cứu” tìm tịi qua sách báo nhằm đạt kết Trong luận án, “tìm kiếm ảnh” dịch từ tiếng anh thuật ngữ “image retrieval” “Image retrieval” có nghĩa ảnh đầu vào tìm kiếm, tra cứu hình ảnh từ cở sở liệu lớn để truy xuất hình ảnh dựa tương đồng nội dung Vì vậy, thống sử dụng thuật ngữ “tìm kiếm” cho luận án: “Nâng cao hiệu tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa” Nội dung bố cục luận án Luận án tổ chức thành bốn chương sau: Chương trình bày sở lý thuyết cho tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa; đối tượng sở (các đặc trưng cấp thấp ảnh, khái niệm tìm kiếm ảnh, ngữ nghĩa ảnh ontology); môi trường thực nghiệm, liệu thực nghiệm giá trị đánh giá hiệu suất Chương trình bày số cấu trúc phân cụm nghiên cứu liên quan đến cấu trúc cây; kỹ thuật thiết kế cấu trúc phân cụm cân C-Tree để lưu trữ liệu ảnh lớn thao tác thêm, sửa, tách xóa cây; đề xuất mơ hình, thuật tốn thực nghiệm tìm kiếm ảnh C-Tree với tập liệu ảnh đề xuất Chương trình bày phương pháp cải tiến phân cụm C-Tree nhằm nâng cao hiệu tìm kiếm ảnh: Đồ thị cụm láng giềng Graph-CTree mạng kết hợp SgCTree Để minh chứng cho tính đắn hiệu phương pháp đề xuất, thực nghiệm tập liệu ảnh thực thi Chương trình bày phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa Trong chương này, khung ontology bán tự động xây dựng cho tập ảnh, sau khung ontology bổ sung liệu với tập ảnh khác Một mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa ontology kết hợp với cấu trúc SgC-Tree đề xuất thực nghiệm để đánh giá kết Đóng góp luận án Đóng góp luận án xây dựng phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa nhằm nâng cao hiệu tìm kiếm Các đóng góp cụ thể bao gồm:  Xây dựng cấu trúc phân cụm cân C-Tree đề xuất mơ hình tìm kiếm ảnh C-Tree;  Cải tiến C-Tree nhằm nâng cao độ xác: (1) cấu trúc đồ thị cụm láng giềng Graph-CTree; (2) cấu trúc mạng tự lắp ghép SgC-Tree dựa kết hợp đồ thị cụm láng giềng Graph-CTree mạng SOM; (3) đề xuất mơ hình, phương pháp tìm kiếm ảnh dựa Graph-CTree, SgC-Tree;  Xây dựng khung ontology bán tự động cho tập ảnh mục tiêu phương pháp bổ sung làm giàu khung ontology với tập ảnh khác; đề xuất mơ hình phương pháp tìm kiếm ảnh dựa ontology So sánh kết tìm kiếm ảnh tập ảnh có ontology khơng có ontology CHƯƠNG TỔNG QUAN TÌM KIẾM ẢNH THEO NGỮ NGHĨA Trong chương này, tổng quan tìm kiếm ảnh theo ngữ nghĩa trình bày Các sở lý thuyết tìm kiếm ảnh theo nội dung mô tả bao gồm đặc trưng màu sắc, hình dạng, kết cấu đặc trưng kết hợp Ngoài ra, phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa kỹ thuật học máy dựa ontology tìm hiểu nghiên cứu Từ đó, kiến trúc chung hệ thống tìm kiếm ảnh theo ngữ nghĩa đề xuất Bên cạnh đó, phương pháp tổ chức thực nghiệm trình bày bao gồm mơi trường thực nghiệm, tập liệu thực nghiệm giá trị đánh giá 1.1 Giới thiệu Phân tích nội dung hình ảnh kỹ thuật số áp dụng nhiều ứng dụng thị giác máy tính Những năm gần đây, mức độ phức tạp nội dung hình ảnh tăng lên hàng triệu hình ảnh tải lên kho lưu trữ đa phương tiện Để tìm kiếm hình ảnh có liên quan từ kho lưu trữ khổng lồ nhiệm vụ đầy thách thức cộng đồng nghiên cứu thị giác máy tính Do đó, địi hỏi phải có cơng cụ hỗ trợ cho việc tìm kiếm ảnh hiệu Tìm hình ảnh dựa nội dung CBIR nhận quan tâm nghiên cứu năm gần Trong CBIR, hình ảnh lập mục dựa nội dung trực quan hình ảnh đó, tạo thành vectơ đặc trưng cấp thấp màu sắc, kết cấu hình dạng [32, 53] Quá trình tìm kiếm ảnh theo nội dung tìm kiếm sở liệu đặc trưng cấp thấp phần tử tương tự truy xuất kết Tuy nhiên, thử nghiệm hệ thống CBIR cho thấy tồn khoảng cách ngữ nghĩa đáng kể đặc trưng cấp thấp hình ảnh ngữ nghĩa cấp cao người Vì vậy, tìm kiếm ảnh theo ngữ nghĩa SBIR giải pháp nhằm giảm khoảng cách ngữ nghĩa Có nhiều phương pháp tìm kiếm ảnh theo ngữ nghĩa [8] như: (1) sử dụng phương pháp học máy để liên kết đặc trưng cấp thấp với từ vựng trực quan để mơ tả đối tượng hình ảnh [32, 56]; (2) sử dụng ontology để xác định khái niệm cấp cao hình ảnh [31, 44]; (3) sử dụng phản hồi liên quan để xác định mức độ quan trọng ngữ nghĩ a truy vấn [3], Các phương pháp tìm kiếm ảnh theo ngữ nghĩa có ưu nhược điểm riêng Cách tiếp cận theo phương pháp học máy tạo tập ảnh tương tự dựa nội dung hình ảnh, liên kết với ngữ nghĩa từ từ vựng lớp ảnh Tuy nhiên, phương pháp có khả tìm hình ảnh tương tự nội dung, lại khác xa theo ngữ nghĩa người dùng, tạo “khoảng cách ngữ nghĩa” lớn Cách tiếp cận tìm kiếm ảnh dựa vào ontology giúp tìm kiếm hình ảnh gần với ngữ nghĩa cấp cao người, phụ thuộc vào văn text tìm kiêm Trong luận án này, phương pháp tìm kiếm ảnh dựa nội dung cấp thấp phương pháp kết hợp đặc trưng cấp thấp với ontology nghiên cứu, với mục đích nâng cao độ xác tìm kiếm ảnh theo tiếp cận ngữ nghĩa Như vậy, tốn tìm kiếm ảnh thực theo hai tiếp cận: tìm kiếm ảnh theo nội dung CBIR tìm kiếm ảnh theo ngữ nghĩa SBIR 1.2 Tìm kiếm ảnh dựa theo nội dung Hiệu hệ thống tìm kiếm ảnh dựa nội dung phụ thuộc vào việc trích xuất đặc trưng cấp thấp đo độ tương tự Trong CBIR đặc trưng trực quan cấp thấp (ví dụ: màu sắc, hình dạng, kết cấu bố cục khơng gian) trích xuất từ sở liệu ảnh tạo thành vec-tơ đặc trưng ảnh, nhằm lập mục làm gọn tập liệu ảnh, giảm chi phí nhớ thời gian đối sánh tìm kiếm ảnh 1.2.1 Đặc trưng màu sắc Một đặc trưng quan trọng hệ thống tìm kiếm hình ảnh dựa nội dung đặc trưng màu sắc Đặc trưng ổn định không bị ảnh hưởng việc dịch chuyển, tỷ lệ xoay hình ảnh Đồng thời, màu sắc có quan hệ với đối tượng ảnh, nền, cho biết thay đổi vị trí, thời gian… Các biểu diễn màu phổ biến mô tả màu chủ đạo, không gian màu, lược đồ màu, mô men màu, ma trận đồng xuất màu, Bảng 4.7 So sánh hiệu suất tìm kiếm ảnh tập ảnh ImageCLEF Chỉ số đánh giá SBIR_SgC OnSBIR Precision 0.874402 0.932574 Recall 0.864789 0.916225 F-measure 0.869484 0.926373 Query time (ms) 242.1663 248.5511 Bảng 4.8 So sánh hiệu suất tìm kiếm ảnh tập ảnh Stanford Dogs Chỉ số đánh giá SBIR_SgC OnSBIR Precision 0.842674 0.873852 Recall 0.837285 0.86537 F-measure 0.839827 0.86961 Query time (ms) 275.7742 284.3384 So sánh hiệu suất hệ thống tìm kiếm ảnh dựa ontology cho thấy độ xác tốt so với hệ thống không sử dụng ontology (SBIR_SgC) Cụ thể, với tập ảnh COREL, số lượng ảnh không lớn (1000 ảnh) với 10 chủ đề, độ xác dùng ontology tăng 3.0403%, tỷ lệ tăng không cao, số lớp ngữ nghĩa (chủ đề) ảnh không lớn Đối với tập ảnh WANG, số lượng ảnh nhiều (10.800 ảnh) số lớp ngữ nghĩa lớn (80 chủ đề), đồng thời, chất lượng ảnh WANG thấp, nên hiệu suất hệ tìm kiếm ảnh dựa SgC-Tree bị ảnh hưởng, sử dụng ontology hiệu suất tìm kiếm ảnh tăng vượt trội với 5.5255% Điều chứng tỏ, phương pháp tìm kiếm ảnh ontology đề xuất truy xuất tập ảnh không tương tự mặt nội dung cấp thấp mà tương tự ngữ nghĩa cấp cao, khắc phục vấn đề chất lượng thấp, tính phân tán liệu Hiệu suất tìm kiếm ảnh sử dụng ontology tập ảnh ImageCLEF Stanford Dogs tăng với tỷ lệ 5.8172% 3.1178% Các kết so sánh chứng tỏ, phương pháp tìm kiếm ảnh ontology nâng cao độ xác Tuy nhiên, phương pháp đề xuất chúng tơi kết hợp tìm kiếm ảnh từ đặc trưng cấp thấp hệ thống CBIR (SgC-Tree) ontology, đó, thời gian tìm kiếm ảnh mà cao so với hệ SBIR_SgC Ngoài ra, đồ thị Precision-Recall ROC dựa ontology dựa SgC-Tree (Hình 4.26, Hình 4.27, Hình 4.28, Hình 4.29) biểu diễn Mỗi đường cong đồ thị Precision – Recall thư mục ảnh Diện tích đường cong lớn, độ xác truy vấn cao Đồng thời, đường cong ROC cho biết tỷ lệ kết truy vấn hoặc sai, diện tích đường cong ROC lớn, tỷ lệ truy vấn cao 99 (a) (b) Hình 4.26 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh COREL (a) (b) Hình 4.27 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh WANG 100 (a) (b) Hình 4.28 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh ImageCLEF (a) (b) Hình 4.29 Hiệu suất tìm kiếm dựa SBIR_SgC (a) OnSBIR (b) tập ảnh Stanford Dogs 101 Kết thực nghiệm thể đồ thị cho thấy, diện tích đường cong đồ thị Precision-Recall ROC OnSBIR lớn so với kết SBIR_SgC, chứng tỏ độ xác tỷ lệ phân loại tốt Vậy, phương pháp tìm kiếm ảnh dựa ontology nâng cao hiệu tìm kiếm ảnh Chúng tơi thực so sánh kết tìm kiếm ảnh ontology với phương pháp khác tập ảnh ImageCLEF, mô tả Bảng 4.9 Bảng 4.9 So sánh độ xác tìm kiếm ảnh dựa theo ontology phương pháp tập ảnh ImageCLEF Phương pháp Image ontology model O-V-A [73] Pattern graph-based image on ontology [7] Phương pháp HDLA (hybrid deep learning architecture) [11] Phương pháp SDCH (Semantic Deep Cross-modal Hashing) [79] Phương pháp CPAH (Consistency Preserving Adversarial Hashing) [78] OnSBIR Năm 2016 2017 2018 Độ xác trung bình 0.46 0.3513 0.797 2019 0.803 2020 0.8324 0.932574 Trong Bảng 4.9, phương pháp sử dụng ontology cho tìm kiếm ảnh so sánh gồm: (1) Vijayarajan V cộng (2016) [73] thực tìm kiếm ontology dựa việc phân tích văn phạm văn để xác định từ khóa Hiệu suất tìm kiếm ảnh ontology phương pháp chưa cao phụ thuộc nhiều vào thích ảnh, thường có độ xác khơng tốt; (2) Nhóm nghiên cứu Allani O (2017) [7] thực kết hợp đặc trưng cấp thấp đồ thị ngữ nghĩa cấp cao ontology Tuy nhiên, đặc trưng cấp thấp trích xuất theo phương pháp SIFT không hiệu với tập ảnh đa đối tượng, đồng thời việc xây dựng ontology hoàn toàn tự động, khơng có chỉnh sửa, cập nhật chun gia, đó, việc xây dựng ontology dễ sai sót, độ tin cậy khơng cao, nên độ xác cịn thấp Ngồi ra, phương pháp tìm kiếm ngữ nghĩa ảnh dựa vào kỹ thuật học máy đại so sánh với phương pháp đề xuất: (3) Phương pháp HDLA (Hybrid Deep Learning Architecture) mơ hình hóa 102 mối tương quan bậc cao từ trực quan nhằm giảm khoảng cách ngữ nghĩa tìm kiếm ảnh [11]; (4) Phương pháp SDCH (Semantic Deep Cross-modal Hashing) sử dụng mạng CNN để trích xuất đặc trưng hàm băm sâu để lấy ngữ nghĩa ảnh [79]; Phương pháp CPAH (Consistency Preserving Adversarial Hashing) nhằm khai thác tính quán ngữ nghĩa, đặc trưng trích xuất dựa mạng CNN [78] Trong phương pháp OnSBIR đề xuất, tập hình ảnh tương tự theo nội dung cấp thấp chọn lọc từ SgC-Tree, có độ xác cao Đồng thời, kết hợp với tập ảnh tương tự mặt ngữ nghĩa dựa ontology, nâng cao độ xác Lúc này, tập ảnh tương tự thu khơng tương tự nội dung mà cịn tương tự ngữ nghĩa cấp cao Do đó, phương pháp có độ xác cao phương pháp sử dụng để so sánh, kể phương pháp dựa mạng học sâu Vậy, phương pháp tìm kiếm ảnh dựa ontology đề xuất đắn hiệu 4.4 Tiểu kết chương Một khung ontology bán tự động cho tập ảnh xây dựng nhằm nâng cao hiệu tìm kiếm ảnh theo ngữ nghĩa Khung ontology có khả mở rộng, bổ sung liệu từ tập ảnh khác để làm phong phú thêm hình ảnh ngữ nghĩa Thực nghiệm xây dựng khung ontology bán tự động triển khai tập ảnh ImageCLEF, bổ sung liệu với tập ảnh COREL, WANG Stanford Dogs Tìm kiếm ảnh dựa ontology từ ảnh đầu vào, thực truy vấn SgC-Tree phân lớp tập ảnh tương tự thu để tìm tập từ vựng thị giác Từ đó, câu lệnh SPARQL tạo tự động để tìm kiếm ontology Hệ tìm kiếm ảnh theo ngữ nghĩa dựa kết hợp kỹ thuật học máy ontology (OnSBIR) xây dựng Hệ truy vấn thực tìm kiếm tập hình ảnh tương tự nội dung ngữ nghĩa, đồng thời, kết xuất metadata, URI ngữ nghĩa cấp cao cho hình ảnh Độ xác phương pháp tìm kiếm ảnh ontology cao so phương pháp tìm kiếm ảnh dựa kỹ thuật học máy SgC-Tree cơng trình nghiên cứu khác Điều chứng tỏ đề xuất chương đắn hiệu 103 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận án nghiên cứu phương pháp tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa Đóng góp luận án xây dựng phương pháp nhằm nâng cao độ xác tìm kiếm ảnh theo ngữ nghĩa Kết thực nghiệm cho thấy phương pháp đề xuất luận án đắn nâng cao độ xác Trong luận án, cấu trúc phân cụm cân C-Tree xây dựng nhằm tổ chức lưu trữ liệu Dữ liệu tổ chức vec-tơ đặc trưng cấp thấp trích xuất từ màu sắc, hình dạng kết cấu hình ảnh, từ tạo kho liệu đặc trưng nhỏ gọn cho tập liệu ảnh lớn Cấu trúc C-Tree sử dụng để liên kết đặc trưng cấp thấp với từ vựng ngữ nghĩa (lớp ảnh) cho tốn tìm kiếm ảnh C-Tree sử dụng phương pháp phân cụm phân cấp phân cụm phân hoạch để tạo cấu trúc đa nhánh, cân bằng, lưu trữ liệu lớn, thời gian tìm kiếm nhanh độ xác tương đối cao Để nâng cao độ xác tìm kiếm ảnh theo ngữ nghĩa, phương pháp cải tiến C-Tree xây dựng luận án, bao gồm: (1) mơ hình kết hợp C-Tree đồ thị, gọi đồ thị phân cụm láng giềng Graph-CTree; (2) mơ hình mạng kết hợp SOM đồ thị cụm láng giềng (SgC-Tree); (3) mơ hình kết hợp phương pháp học máy dựa đặc trưng cấp thấp ngữ nghĩa cấp cao dựa ontology bán tự động Ontology xây dựng để tìm kiếm ảnh theo ngữ nghĩa cấp cao, đảm bảo tính tin cậy, đắn tối ưu hóa thời gian Các quy tắc bổ sung liệu cho khung ontology đề xuất nhằm đảm bảo tính quán cấu trúc ontology Từ đó, thuật tốn tìm kiếm ảnh đề xuất để xây dựng chương trình tìm kiếm ảnh theo tiếp cận ngữ nghĩa Luận án xây dựng thực nghiệm đánh giá tập liệu ảnh: COREL, WANG, ImageCLEF Stanford Dogs Kết thực nghiệm cho thấy, đề xuất cải tiến C-Tree nâng cao độ xác, tìm kiếm ảnh ontology có độ 104 xác cao phương pháp tìm kiếm ảnh dựa nội dung Các kết thực nghiệm mơ hình tìm kiếm ảnh so sánh với số cơng trình gần liệu ảnh, với tiếp cận kỹ thuật đại khác Độ xác mơ hình tìm kiếm ảnh theo ngữ nghĩa dựa SgC-Tree ontology vượt trội so với phương pháp khác Điều chứng tỏ phương pháp đề xuất đắn nâng cao hiệu tìm kiếm liệu ảnh theo ngữ nghĩa, đáp ứng mục tiêu đề luận án Trên sở lý thuyết thực nghiệm xây dựng, định hướng nghiên cứu tương lai bao gồm: (1) Nghiên cứu phương pháp dựa DNN, CNN, R-CNN, GCN… để so sánh với phương pháp đề xuất luận án; (2) Xây dựng chương trình ứng dụng cho lĩnh vực cụ thể như: xác định địa điểm du lịch từ ảnh, chẩn đoán bệnh từ ảnh y khoa, phân biệt loại đá thổ nhưỡng địa lý, tìm kiếm ảnh từ thông tin mạng xã hội, (3) Làm giàu ngữ nghĩa cho ontology với mối quan hệ ngữ nghĩa ảnh chặt chẽ mở rộng xác định vị trí đối tượng ảnh, xác định mối quan hệ hành động ảnh… (4) Hướng đến ontology cho tìm kiếm ảnh theo ngữ nghĩa tiếng việt 105 DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 1) Nhi, N T U., & Hạnh, H H., Thanh, M L (2017), Khảo sát đánh giá hướng tiếp cận ngữ nghĩa nâng cao hiệu tìm kiếm ảnh, Hue University Journal of Science: Techniques and Technology, 126(2A), tr 153-161 2) Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2018), Nâng cao hiệu truy vấn ảnh theo ngữ nghĩa phân cụm C-Tree, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR-2018), tr 370-378, Đại học Thăng Long Hà Nội 3) Nhi, N T U., Thanh, V.T., Thanh, L.M (2020), A self-balanced clustering tree for semantic-based image retrieval, Journal of Computer Science and Cybernetics, 36(1), pp 49-67 4) Thanh, L M., N T U Nhi, V T Thanh (2020), A semantic-based image retrieval system using a hybrid method K-means and K-nearest-neighbor, Annales Univ Sci Budapest Sect Comp., Vol 51, pp 253-274 5) Huỳnh Thị Châu Lan, Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2020), Một phương pháp kết hợp K-Means k-NN cho tốn tìm kiếm phân tích ngữ nghĩa, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR-2020), tr 274-284, Đại học Nha Trang 6) Nhi, N T U., Van, T T., & Le, T M (2021), Semantic-Based Image Retrieval Using Balanced Clustering Tree, In Trends and Applications in Information Systems and Technologies, vol 2, pp 416-427, Springer International Publishing 7) Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh (2021), Tìm kiếm ảnh dựa vào ontology, Chun san Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông, vol 1, tr 22-32 106 8) Nguyễn Thị Uyên Nhi, Văn Thế Thành (2021), Một phương pháp trích xuất đặc trưng cho tốn tìm kiếm ảnh, Tạp chí Khoa học cơng nghệ, trường đại học Khoa học, Đại học Huế, Vol 18(1), tr 33-46 9) Nhi, N T U., Van, T T., & Le, T M (2021 – accept), Improving the efficiency of semantic-based image retrieval based on a model combining neighbor graph and SOM, International Journal on Semantic Web and Information Systems, Vol 18(2), IGI Global Publishing 107 TÀI LIỆU THAM KHẢO Tiếng việt Hạnh, H H (2012), RDF Ứng dụng, Đại học Huế Hoàng Hữu Hạnh Lê Mạnh Thạnh (2012), Giáo trình Web ngữ nghĩa, Giáo dục Hiệu, V V., Hoàng, N H., Tạo, N Q., Quỳnh, N H (2016) Một phương pháp chuẩn hoá liệu hiệu chỉnh trọng số cho tổ hợp đặc trưng tra cứu ảnh theo nội dung Chun san Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông, tr 63-63 Tiếng Anh Ahmad J., Sajjad M., Mehmood I., Rho S., Baik S W (2017), Saliency-weighted graphs for efficient visual content description and their applications in real-time image retrieval systems, Journal of Real-Time Image Processing, 13(3), pp 431-447 Alaoui K., Bahaj M (2019), Semantic Oriented Data Modeling Based on RDF, RDFS and OWL, In International Conference on Advanced Intelligent Systems for Sustainable Development, pp 411-421, Springer, Cham Alkhawlani M., Elmogy M., El Bakry H (2015), Text-based, content-based, and semantic-based image retrievals: A survey, Int J Comput Inf Technol, 4(01), pp 5866 Allani O., Zghal H B., Mellouli N., Akdag H (2017), Pattern graph-based image retrieval system combining semantic and visual features, Multimedia Tools and Applications, 76(19), pp 20287-20316 Alzu’bi A., Amira A., Ramzan N (2015), Semantic content-based image retrieval: A comprehensive study, Journal of Visual Communication and Image Representation, 32, pp 20-54 Alzubaidi M A (2017), A new strategy for bridging the semantic gap in image retrieval, International Journal of Computational Science and Engineering, 14(1), pp 27-43 10 Arp R., Smith B., Spear A D (2015), Building ontologies with basic formal ontology, Mit Press 11 Arun K S., Govindan V K (2018), A hybrid deep learning architecture for latent topic-based image retrieval, Data Science and Engineering, 3(2), pp 166-195 12 Ashraf R., Ahmed M., Jabbar S., Khalid S., Ahmad A., Din S., Jeon G (2018), Content based image retrieval by using color descriptor and discrete wavelet transform, Journal of medical systems, 42(3), pp 1-12 13 Ayech M B H., Amiri H (2016), A content-based image retrieval using PCA and SOM, International Journal of Signal and Imaging Systems Engineering, 9(4-5), pp 276-282 108 14 Bai C., Chen J N., Huang L., Kpalma K., Chen S (2018), Saliency-based multifeature modeling for semantic image retrieval, Journal of Visual Communication and Image Representation, 50, pp 199-204 15 Barz B., Denzler J (2019), Hierarchy-based image embeddings for semantic image retrieval, In 2019 IEEE Winter Conference on Applications of Computer Vision (WACV), pp 638-647, IEEE 16 Bayer R., McCreight E (2002), Organization and maintenance of large ordered indexes In Software pioneers (pp 245-262), Springer, Berlin, Heidelberg 17 Bchir O., Ismail M M B., Aljam H (2018), Region-based image retrieval using relevance feature weights, International Journal of Fuzzy Logic and Intelligent Systems, 18(1), pp 65-77 18 Bouchakwa M., Ayadi Y., Amous I (2020), Multi-level diversification approach of semantic-based image retrieval results, Progress in Artificial Intelligence, 9(1), pp 130 19 Boulemden A., Tlili Y., Jalab H A (2018), Content-based image retrieval with pachinko allocation model and a combination of colour, texture and text features, International Journal of Computational Vision and Robotics, 8(2), pp 122139 20 Boyd K., Eng K H., Page C D (2013), Area under the precision-recall curve: point estimates and confidence intervals, In Joint European conference on machine learning and knowledge discovery in databases, pp 451-466, Springer, Berlin, Heidelberg 21 Buvana M., Muthumayil K., Jayasankar T (2021), Content-Based Image Retrieval based on Hybrid Feature Extraction and Feature Selection Technique Pigeon Inspired based Optimization, Annals of the Romanian Society for Cell Biology, pp 424-443 22 Cao Y., Liu B., Long M., Wang J (2018), Cross-modal hamming hashing, In Proceedings of the European Conference on Computer Vision (ECCV), pp 202-218 23 Chaki J., Dey N (2019), A beginner’s guide to image shape feature extraction techniques, CRC Press 24 Chaki J., Dey N (2020), Image Color Feature Extraction Techniques: Fundamentals and Applications, Springer Nature 25 Chang C., Yu G., Liu C., Volkovs M (2019), Explore-exploit graph traversal for image retrieval, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 9423-9431 26 COREL Dataset, https://www.kaggle.com/elkamel/corel-images, 2020 27 Dhingra S., Bansal P (2021), Relative examination of texture feature extraction techniques in image retrieval systems by employing neural network: an experimental review, In Proceedings of International Conference on Artificial Intelligence and Applications, pp 337-349, Springer, Singapore 28 Escalante H J., Hernández C A., Gonzalez,J A., López-López A., Montes M., Morales E F., Grubinger M (2010), The segmented and annotated IAPR TC-12 benchmark, Computer vision and image understanding, 114(4), pp 419-428 109 29 Erin Liong V., Lu J., Tan Y P., Zhou J (2017), Cross-modal deep variational hashing, In Proceedings of the IEEE International Conference on Computer Vision, pp 4077-4085 30 Erwin M F (2017), Content Based Image Retrieval for Multi-Objects Fruits Recognition using k-Means and k-Nearest Neighbor, International Conference on Data and Software Engineering, pp 326-332 31 Filali J., Zghal H., Martinet J (2016), Towards visual vocabulary and ontologybased image retrieval system, In International Conference on Agents and Artificial Intelligence, 2, pp 560-565 32 Garg M., Dhiman G (2021), A novel content-based image retrieval approach for classification using GLCM features and texture fused LBP variants, Neural Computing and Applications, 33, pp 1311-1328 33 Gonỗalves F M F., Guilherme I R., Pedronette D C G (2018), Semantic guided interactive image retrieval for plant identification, Expert Systems with Applications, 91, pp 12-26 34 ImageCLEF Dataset, https://www.imageclef.org/photodata, 2020 35 Jian M., Yin Y., Dong J., Lam K M (2018), Content-based image retrieval via a hierarchical-local-feature extraction scheme, Multimedia Tools and Applications, 77(21), pp 29099-29117 36 Jin S., Yao H., Sun X., Zhou S., Zhang L., Hua X (2018), Deep saliency hashing, arXiv preprint arXiv:1807.01459 37 Jodelet Q., Gripon V., Hagiwara M (2019), Transfer learning with sparse associative memories, In International Conference on Artificial Neural Networks, pp 497-512, Springer, Cham 38 Kanwal K., Ahmad K T., Khan R., Abbasi A T., Li, J (2020), Deep learning using symmetry, fast scores, shape-based filtering and spatial mapping integrated with CNN for large scale image retrieval, Symmetry, 12(4), pp 612 39 Kohonen T (2013), Essentials of the self-organizing map, Neural networks, 37, pp 52-65 40 Kurtz C., Depeursinge A., Napel S., Beaulieu C F., Rubin D L (2014), On combining image-based and ontological semantic dissimilarities for medical image retrieval applications, Medical image analysis, 18(7), pp 1082-1100 41 Li C., Deng C., Wang L., Xie D., Liu X (2019), Coupled cyclegan: Unsupervised hashing network for cross-modal retrieval, In Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), pp 176-183 42 Liu G H., Yang J Y (2021), Deep-seated features histogram: A novel image retrieval method, Pattern Recognition, 116, pp 107926 43 Liu H., Lang B (2019), Machine learning and deep learning methods for intrusion detection systems: A survey, Applied sciences, 9(20), pp 4396 110 44 Liu Y., Huang Y., Zhang S., Zhang D., Ling N (2017), Integrating object ontology and region semantic template for crime scene investigation image retrieval, In 12th IEEE Conference on Industrial Electronics and Applications (ICIEA), pp 149-153, IEEE 45 Manzoor U., Balubaid M A., Zafar B., Umar H., Khan M S (2015), Semantic image retrieval: An ontology based approach, International Journal of Advanced Research in Artificial Intelligence, 4(4), pp 1-8 46 Mazo C., Alegre E., Trujillo M (2020), Using an ontology of the human cardiovascular system to improve the classification of histological images, Scientific Reports, 10(1), pp 1-14 47 McClish D K (1989), Analyzing a portion of the ROC curve, Medical decision making, 9(3), pp 190-195 48 Mishra S., Panda M (2018), Medical image retrieval using self-organising map on texture features, Future Computing and Informatics Journal, 3(2), pp 359-370 49 MK Y I A., Noah S A M (2017), Semantic text-based image retrieval with multimodality ontology and DBpedia, The Electronic Library, 35(6), pp 1191-1214 50 Müller H., Müller W., Squire D M., Marchand-Maillet S., Pun T (2001), Performance evaluation in content-based image retrieval: overview and proposals Pattern recognition letters, 22(5), pp 593-601 51 Ouni A., Royer E., Chevaldonné M., Dhome M (2021), Leveraging semantic segmentation for hybrid image retrieval methods, Neural Computing and Applications, pp 1-19 52 Pattanaik S., Bhalke D G (2012), Efficient content based image retrieval system using MPEG-7 features, International Journal of Computer Applications, 53(5), pp 1924 53 Pavithra L K., Sharmila T S (2019), An efficient seed points selection approach in dominant color descriptors (DCD), Cluster Computing, 22(4), pp 1225-1240 54 Petrou M M., Kamata S I (2021), Image processing: dealing with texture, John Wiley Sons 55 Punitha P., Guru D S (2008), Symbolic image indexing and retrieval by spatial similarity: An approach based on B-tree, Pattern Recognition, 41(6), pp 2068-2085 56 Qazanfari H., Hassanpour H., Qazanfari K (2019), Content-based image retrieval using HSV color space features, International Journal of Computer and Information Engineering, 13(10), 537-545 57 Qiang Y., Sheng C., Yin D (2020), Method of tire pattern image retrieval based on wavelet transform and Siamese network, In Proceedings of the 2020 International Conference on Aviation Safety and Information Technology, pp 587-592 58 Qureshi M N., Ahamad M V (2018), An improved method for image segmentation using K-means clustering with neutrosophic logic, Procedia computer science, 132, pp 534-540 111 59 Raja R., Kumar S., Mahmood M R (2020), Color object detection based image retrieval using ROI segmentation with multi-feature method, Wireless Personal Communications, 112(1), pp 169-192 60 Rejeb I B., Ouni S., Zagrouba E (2017), Image retrieval using spatial dominant color descriptor, In 2017 IEEE/ACS 14th International Conference on Computer Systems and Applications (AICCSA), pp 788-795, IEEE 61 Saritha R R., Paul V., Kumar P G (2019), Content based image retrieval using deep learning process, Cluster Computing, 22(2), pp 4187-4200 62 Schaeffer S E (2007), Graph clustering, Computer science review, 1(1), pp 27-64 63 Shao H B., Chu L Y., Shao M A., Jaleel C A., Hong-mei M (2008), Higher plant antioxidants and redox signaling under environmental stresses, Comptes rendus biologies, 331(6), pp 433-441 64 Sharma M K., Siddiqui T J (2016), An ontology based framework for retrieval of museum artifacts, Procedia Computer Science, 84, pp 169-176 65 Shen Y., Liu L., Shao L., Song J (2017), Deep binaries: Encoding semantic-rich cues for efficient textual-visual cross retrieval, In Proceedings of the IEEE international conference on computer vision, pp 4097-4106 66 Singh V P., Gupta A., Srivastava R (2017), Fast and effective image retrieval using colour and texture features with self-organising map, International Journal of Computational Systems Engineering, 3(3), pp 133-143 67 Singh, V P., Srivastava R (2018), Automated and effective content-based mammogram retrieval using wavelet based CS-LBP feature and self-organizing map, Biocybernetics and Biomedical Engineering, 38(1), pp 90-105 68 Song J., He T., Gao L., Xu X., Hanjalic A., Shen H T (2020), Unified Binary Generative Adversarial Network for Image Retrieval and Compression, Int J Comput Vis., 128(8), pp 2243-2264 69 Song K., Li F., Long F., Wang J., Ling Q (2018), Discriminative deep feature learning for semantic-based image retrieval, IEEE Access, 6, pp 44268-44280 70 Stanford Dogs Dataset, http://vision.stanford.edu/aditya86/ImageNetDogs, 2020 71 Sun H., Fan Y., Shen J., Liu N., Liang D., Zhou H (2020), A Novel SemanticsPreserving Hashing for Fine-Grained Image Retrieval, IEEE Access, 8, pp 2619926209 72 Van T T., Le T M (2018), Content‐based image retrieval based on binary signatures cluster graph, Expert Systems, 35(1), e12220 73 Vijayarajan V., Dinakaran M., Tejaswin P., Lohani M (2016), A generic framework for ontology-based information retrieval and image retrieval in web data, Human-centric Computing and Information Sciences, 6(1), pp 1-30 74 Vinayak V., Jindal S (2017), CBIR system using color moment and color autoCorrelogram with block truncation coding, International Journal of Computer Applications, 161(9), pp 1-7 112 75 Wang H., Lei Z., Zhang X., Zhou B., Peng J (2019), A review of deep learning for renewable energy forecasting, Energy Conversion and Management, 198, pp 111799 76 WANG dataset, http://wang.ist.psu.edu/docs/home.shtml, 2020 77 Wei X S., Luo J H., Wu J., Zhou, Z H (2017), Selective convolutional descriptor aggregation for fine-grained image retrieval, IEEE Transactions on Image Processing, 26(6), pp 2868-2881 78 Xie L., Wang J., Zhang B., Tian Q (2015), Fine-grained image search, IEEE Transactions on Multimedia, 17(5), pp 636-647 79 Yang A., Yang X., Wu W., Liu H., Zhuansun Y (2019), Research on feature extraction of tumor image based on convolutional neural network, IEEE access, 7, pp 24204-24213 80 Zeng H., Lai H., Yin J (2019), Simultaneous region localization and hash coding for fine-grained image retrieval, arXiv preprint arXiv:1911.08028 81 Zhang H., Wang S., Xu X., Chow T W., Wu Q J (2018), Tree2Vector: learning a vectorial representation for tree-structured data, IEEE transactions on neural networks and learning systems, 29(11), pp 5304-5318 113 ... nâng cao độ xác tìm kiếm ảnh theo tiếp cận ngữ nghĩa Như vậy, tốn tìm kiếm ảnh thực theo hai tiếp cận: tìm kiếm ảnh theo nội dung CBIR tìm kiếm ảnh theo ngữ nghĩa SBIR 1.2 Tìm kiếm ảnh dựa theo. .. luận án Mục tiêu chung luận án nghiên cứu phương pháp để nâng cao hiệu tìm kiếm liệu ảnh theo tiếp cận ngữ nghĩa Hiệu tìm kiếm ảnh tập trung nâng cao độ xác Luận án có mục tiêu cụ thể sau: ... thống tìm kiếm ảnh theo ngữ nghĩa Trong luận án này, hệ thống tìm kiếm ảnh đề xuất (Hình 1.8) Hệ thống bao gồm hai giai đoạn: tìm kiếm ảnh theo ngữ nghĩa dựa vào phương pháp học máy tìm kiếm ảnh theo