Một trong những vấn đề chính cần giải quyết đối với bài toán tìm kiếm ảnh là trích xuất đặc trưng cấp thấp của hình ảnh để có thể xử lý tính toán dựa trên các phương pháp khai phá dữ liệ
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU - ĐỖ XUÂN HIỆP MỘT MƠ HÌNH TÌM KIẾM ẢNH KẾT HỢP MẠNG R-CNN VÀ ONTOLOGY LUẬN VĂN THẠC SĨ Bà Rịa-Vũng Tàu, tháng năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU - ĐỖ XUÂN HIỆP MỘT MƠ HÌNH TÌM KIẾM ẢNH KẾT HỢP MẠNG R-CNN VÀ ONTOLOGY LUẬN VĂN THẠC SĨ Chuyên ngành: Công nghệ thông tin Mã số ngành: 8480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS Văn Thế Thành Bà Rịa-Vũng Tàu, tháng năm 2023 i LỜI CAM ĐOAN Tôi Đỗ Xuân Hiệp, MSHV 18110037 học viên lớp MIT20K2, ngành Công nghệ thông tin Tôi xin cam đoan cơng trình nghiên cứu riêng tơi dẫn đắt, hướng dẫn Tiến sĩ Văn Thế Thành Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình khác Tơi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực Luận văn Đỗ Xuân Hiệp ii LỜI CÁM ƠN Tôi xin gửi lời cảm ơn chân thành đến Tiến sĩ Văn Thế Thành người nhiệt tình giúp đỡ tơi q trình làm Đề tài hồn thành luận văn Thầy ln quan tâm, bảo giúp đỡ suốt thời xây dựng luận văn Tôi xin gửi lời cảm ơn chân thành đến Ban Giám hiệu trường Đại học Bà Rịa–Vũng Tàu, Viện sau Đại học Thầy, Cô trường giúp đỡ, hỗ trợ, truyền đạt kiến thức cho học viên lớp MIT20K2, giúp cho học viên hồn thành khóa học tốt Đỗ Xuân Hiệp iii MỤC LỤC MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ TÌM KIẾM ẢNH 1.1 Tổng quan tìm kiếm ảnh 1.1.1 Các tốn tìm kiếm ảnh 1.1.2 Các mơ hình tìm kiếm ảnh 1.1.3 Ứng dụng tìm kiếm ảnh 10 1.2 Đối tượng phương pháp nghiên cứu 13 1.2.1 Đối tượng nghiên cứu 13 1.2.2 Phương pháp nghiên cứu 13 1.3 Các kỹ thuật tìm kiếm ảnh 14 1.3.1 Gom cụm hình ảnh 14 1.3.2 Phương pháp láng giềng gần 15 1.4 Khảo sát cơng trình liên quan 16 1.5 Tổng kết chương 18 CHƯƠNG MẠNG NƠ-RON CHO BÀI TỐN TÌM KIẾM ẢNH 19 2.1 Mạng nơ-ron lớp 19 2.1.1 Mạng nơ-ron truyền thẳng 19 2.1.2 Mạng SOM 19 2.2 Mạng nơ-ron đa tầng 21 2.2.1 Kiến trúc mạng 21 2.2.2 Ưu nhược điểm mạng nơ-ron nhiều lớp 21 2.3 Mạng nơ-ron học sâu 22 2.4 Phân lớp hình ảnh dựa mạng nơ-ron học sâu 23 2.4.1 Phân lớp hình ảnh 23 2.4.2 Khai thác đặc trưng ảnh phân lớp hình ảnh 24 2.4.3 Phân lớp hình ảnh dựa mạng nơ-ron học sâu 25 2.5 Tổng kết chương 26 CHƯƠNG MƠ HÌNH TÌM KIẾM ẢNH TRÊN ONTOLOGY 27 iv 3.1 Giới thiệu ontology 27 3.2 Ngôn ngữ xây dựng Ontology 28 3.2.1 RDF RDF Schema 28 3.2.2 Ngôn ngữ ontology web (OWL) 29 3.3 Ontology cho tìm kiếm ảnh 29 3.4 Đề xuất mơ hình tìm kiếm ảnh dựa R-CNN ontology 30 3.4.1 Kiến trúc mơ hình 30 3.4.2 Phát đối tượng phân lớp đối tượng dựa vào mạng R-CNN 32 3.4.3 Xây dựng khung Ontology dựa vào túi từ thị giác 34 3.5 Tổng kết chương 40 CHƯƠNG THỰC NGHIỆM TÌM KIẾM ẢNH 41 4.1 Giới thiệu 41 4.2 Môi trường thực nghiệm 41 4.3 Các liệu ảnh sử dụng để thực nghiệm mơ hình 42 4.4 Cài đặt tốn tìm kiếm ảnh 43 4.4.1 Phân bố hình ảnh vào túi từ thị giác 43 4.4.2 Phân bố túi từ vào Ontology 43 4.4.3 Tạo câu truy vấn SPARQL 44 4.4.4 Tìm kiếm ảnh ontolody 45 4.5 Phân tích đánh giá thực nghiệm 46 4.5.1 Quy trình ứng dụng thực nghiệm 46 4.5.2 Ứng dụng thực nghiệm 52 4.5.3 Kết tìm kiếm ảnh 55 4.5.4 So sánh kết với cơng trình liên quan 63 4.6 Tổng kết 64 PHẦN KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 66 TÀI LIỆU THAM KHẢO 68 v DANH MỤC CÁC TỪ VIẾT TẮT CBIR (Content-based Image Retrieval) Truy vấn ảnh theo nội dung CNN (Convolutional Neural Network) Mạng nơ-ron tích chập K-NN (K-Nearest Neighbors) K láng giềng gần R-CNN (Region CNN) Mạng nơ-ron phân lớp theo vùng TBIR Tìm kiếm ảnh dựa văn CBIR Tìm kiếm ảnh dựa nội dung SBIR Tìm kiếm ảnh dựa ngữ nghĩa vi DANH MỤC CÁC BẢNG BIỂU Bảng 4.1 Các tập liệu ảnh thực nghiệm luận văn 42 Bảng 4.2 Hiệu suất tìm kiếm hệ RCNNOnIR tập ảnh COREL 55 Bảng 4.3 Hiệu suất tìm kiếm hệ RCNNOnIR tập ảnh Flowers 17 56 Bảng 4.4 Hiệu suất tìm kiếm hệ RCNNOnIR tập ảnh MS-COCO 57 Bảng 4.5 Hiệu suất tìm kiếm hệ RCNNOnIR tập ảnh Flickr 30k 57 Bảng 4.6 So sánh độ xác tìm kiếm ảnh ảnh COREL 63 Bảng 4.7 So sánh độ xác tìm kiếm ảnh ảnh Flowers 17 63 Bảng 4.8 So sánh độ xác tìm kiếm ảnh ảnh MS-COCO 63 Bảng 4.9 So sánh độ xác tìm kiếm ảnh ảnh Flickr 30k 64 vii DANH MỤC CÁC HÌNH VẼ Hình 0.1 Kiến trúc mạng nơ-ron học sâu để phân lớp hình ảnh Hình 0.2 Mơ tả việc xây dựng ontology để tìm kiếm ảnh Hình 0.3 Quy trình xây dựng ontology Hình 1.1 Một mơ hình tìm kiếm ảnh theo từ khóa Hình 1.2 Một mơ hình truy vấn ảnh theo tiếp cận CBIR Hình 1.3 Một mơ hình truy vấn dựa tiếp cận SBIR 10 Hình 1.4 Ví dụ phát đối tượng [11] 11 Hình 1.5 Tìm kiếm đối tượng video 12 Hình 1.6 Tìm tem MICHELscope 12 Hình 1.7 Một KNN đơn giản 15 Hình 1.8 Dữ liệu chưa gắn nhãn 16 Hình 2.1 Mô tả mạng nơron truyền thẳng 19 Hình 3.1 Một đồ thị mơ tả ba RDF 28 Hình 3.2 Mơ hình tìm kiếm ảnh dựa mạng R-CNN Ontology 31 Hình 3.3 Minh hoạ thực nghiệm phân lớp đối tượng Faster R-CNN 33 Hình 3.4 Tiến trình xây dựng làm giàu ontology 34 Hình 3.5 Cây phân lớp cho liệu MS-COCO Fickr 30k 35 Hình 3.6 Cây phân lớp cho liệu COREL Oxford Flowers 17 36 Hình 3.7 Ví dụ thuộc tính liệu Oxford Flowers 17 Protégé 37 Hình 3.8 Một ví dụ thuộc tính đối tượng Protégé 37 Hình 3.9 Các cá thể ảnh ảnh COREL Protégé 38 Hình 3.10 Các cá thể ảnh ảnh MS-COCO Protégé 38 Hình 3.11 Các cá thể đối tượng ảnh MS-COCO Protégé 38 Hình 3.12 Một ví dụ cho ontology trực quan OntoGraf 39 Hình 3.13 Một ontology hiển thị theo RDF/XML COREL 39 Hình 3.14 Một ontology hiển thị theo RDF/XML MS-COCO 40 Hình 4.1 Giao diện hệ tìm kiếm ảnh dựa R-CNN Ontoloy 47 Hình 4.2 Tiến trình thực nghiệm tạo ontology 48 Hình 4.3 Các phân lớp ảnh MS-COCO sử dụng để tạo ontology 48 Hình 4.4 Ontology cho lớp cá thể lớp tạo 49 Hình 4.5 Các liệu thuộc tính đối tượng tạo 49 Hình 4.6 Các cá thể đối tượng ảnh cá thể ảnh tạo 49 Hình 4.7 Phân lớp hình ảnh tạo 49 Hình 4.8 Ontology cho ảnh MS-COCO tải lên 50 Hình 4.9 Minh hoạ câu lệnh SPARQL tạo 50 Hình 4.10 Tập ID ảnh tương tự tạo 51 viii Hình 4.11 Thực nghiệm tìm kiếm ảnh hệ RCNNOnIR MS-COCO 52 Hình 4.12 Kết tìm kiếm ảnh “000000000019”.jpg MS-COCO 53 Hình 4.13 Thực nghiệm tìm kiếm ảnh hệ RCNNOnIR Flickr 30k 53 Hình 4.14 Kết tìm kiếm ảnh “10815824”.jpg MS-COCO 54 Hình 4.15 Một kết tìm kiếm ảnh 300.jpg COREL 54 Hình 4.16 Một kết tìm kiếm ảnh image_0641.jpg Flowers 17 55 Hình 4.17 Hiệu suất truy vấn trung bình liệu COREL 59 Hình 4.18 Hiệu suất truy vấn trung bình liệu Oxford Flowers 17 59 Hình 4.19 Hiệu suất truy vấn trung bình liệu MS-COCO 60 Hình 4.20 Hiệu suất truy vấn trung bình liệu Flickr 30k 60 Hình 4.21 Thời gian tìm kiếm trung bình tập ảnh COREL 61 Hình 4.22 Thời gian tìm kiếm trung bình tập ảnh Oxford Flowers 17 61 Hình 4.23 Thời gian tìm kiếm trung bình tập ảnh MS-COCO 62 Hình 4.24 Thời gian tìm kiếm trung bình tập ảnh Flickr 30k 62