Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân

1. Tính cấp thiết của luận án Ngày nay, dữ liệu đa phương tiện (văn bản, hình ảnh, âm thanh, video) được lưu trữ và ứng dụng rộng rãi trong nhiều hệ thống như: hệ thống thông tin WWW, hệ thống thư viện số, hệ thống tra cứu video, hệ thống thông tin địa lý, các nghiên cứu thiên văn học, hệ thống quan sát vệ tinh, hệ thống điều tra hình sự, ứng dụng y sinh, giáo dục đào tạo, giải trí, v.v. Lyman và cộng sự ước tính dung lượng thông tin toàn cầu có hơn 4 exabyte (1 exabyte = 1 tỷ gigabyte) vào năm 2000 [71]. Hilbert và López ước tính dung lượng thông tin toàn cầu năm 2007 khoảng 1,15 zettabyte (1 zettabyte = 1.000 exabyte) [37]. Bohn và Short ước tính dung lượng thông tin toàn cầu năm 2008 khoảng 3,6 zettabyte và kích thước gia tăng trong năm 2011 khoảng 1.800 exabyte, gấp 700 lần so với dung lượng gia tăng năm 2002 (khoảng 2-3 exabyte) [78]. Theo số liệu của hiệp hội ACI (Airports Council International), trong năm 2014, trung bình mỗi phút có 2,5 triệu nội dung được chia sẻ trên Facebook, gần 300.000 tin nhắn trên Twitter, khoảng 220.000 hình ảnh mới trên Instagram, khoảng 72 giờ nội dung video được đăng tải mới trên YouTube, gần 50.000 ứng dụng được tải từ Apple, trên 200 triệu Email mới [3]. Theo tập đoàn dữ liệu thế giới IDC (International Data Corporation), dung lượng dữ liệu gia tăng trong năm 2012 là 2.800 exabyte và ước tính dung lượng gia tăng đến năm 2020 là 40 zettabyte [42]. Dữ liệu đa phương tiện, đặc biệt là ảnh số đã trở nên thân thuộc với cuộc sống hàng ngày và được sử dụng trên nhiều thiết bị khác nhau như camera, mobile, smartphone, v.v. Theo báo cáo của IDC, năm 2015 thế giới đã tạo và chia sẻ hơn 1,6 nghìn tỷ hình ảnh, trong đó 70% hình ảnh được tạo ra từ thiết bị mobile [25]. Việc số hóa dữ liệu đa phương tiện đã tạo ra các cơ sở dữ liệu khổng lồ làm cho bài toán tìm kiếm đối tượng trở nên phức tạp và có nhiều thách thức như : truy xuất theo nội dung đối tượng, tìm kiếm nhanh các đối tượng liên quan, v.v. Trong vấn đề truy vấn dữ liệu, đặc biệt là dữ liệu ảnh, bài toán tìm kiếm hình ảnh tương tự là một bài toán quan trọng [2, 28]. Các kết quả khảo sát và dự báo của các nghiên cứu gần đây cho thấy việc tìm kiếm các hình ảnh liên quan với yêu cầu người dùng là bài toán phù hợp với nhu cầu xã hội hiện đại [3].

ĐẠI HỌC HỌC HUẾ HUẾ ĐẠI TRƯỜNG ĐẠI ĐẠI HỌC HỌC KHOA KHOA HỌC HỌC TRƯỜNG KHOA CÔNG NGHỆ THÔNG TIN VĂN THẾ THÀNH CHUYÊN ĐỀ 01 Ngành: Khoa học máy tính Mã ngành: 62.48.01.01 TÌM KIẾM ẢNH NGHIÊN CỨU TRUY TRÊN DỰA TRÊN ĐỒ THỊVẤN CHỮẢNH KÝ DỰA NHỊ PHÂN CHỮ KÝ NHỊ PHÂN VÀ CÂY S-Tree Học viên thực hiện: Văn Thế Thành Người hướng dẫn khoa học: PGS TS Lê Mạnh Thạnh LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Huế HUẾ - NĂM 2017 MỤC LỤC Lời cảm ơn i DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH v DANH MỤC BẢNG BIỂU vii PHẦN MỞ ĐẦU Chương Tổng quan tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân 1.1 Mở đầu 1.2 Tổng quan công trình nghiên cứu 1.3 Định hướng nghiên cứu 12 1.4 Các đối tượng sở 12 1.4.1 Tạo dải màu sở 12 1.4.2 Thực nghiệm tạo dải màu sở 13 1.4.3 Trích xuất lược đồ màu 16 1.4.4 Trích xuất đặc trưng SIFT 16 1.4.5 Thực nghiệm trích xuất đặc trưng SIFT 19 1.4.6 Trích xuất đối tượng đặc trưng .19 1.4.7 Chữ ký nhị phân 22 1.4.8 Chữ ký nhị phân hình ảnh 24 1.4.9 Các giá trị đánh giá hiệu suất 25 1.4.10 Môi trường thực nghiệm 25 1.5 Tổng kết chương 27 Chương Cải tiến phương pháp tìm kiếm ảnh dựa S-Tree 28 2.1 Giới thiệu 28 2.2 Tạo chữ ký nhị phân hình ảnh 30 2.2.1 Tạo chữ ký nhị phân dựa đặc trưng màu toàn cục 30 2.2.2 Tạo chữ ký nhị phân dựa đặc trưng màu cục 32 2.3 Độ đo EMD 32 2.3.1 Tổng quan độ đo EMD 32 2.3.2 Áp dụng độ đo EMD cho chữ ký nhị phân 32 2.4 Độ đo Hamming áp dụng cho chữ ký nhị phân 36 2.5 Cây S-Tree 36 2.6 Cây Sig-Tree 37 2.6.1 Giới thiệu Sig-Tree 37 2.6.2 Thiết kế cấu trúc liệu Sig-Tree 37 ii 2.6.3 Phép tổ hợp chữ ký Sig-Tree 38 2.6.4 Phép tách nút Sig-Tree 39 2.6.5 Phép loại bỏ chữ ký Sig-Tree 41 2.6.6 Phép chèn chữ ký Sig-Tree 42 2.6.7 Tìm kiếm Sig-Tree 43 2.7 Tìm kiếm ảnh dựa Sig-Tree 44 2.7.1 Mô hình tìm kiếm ảnh dựa lược đồ màu toàn cục 44 2.7.2 Tìm kiếm ảnh dựa lược đồ màu cục 45 2.7.3 Các chương trình tìm kiếm ảnh dựa Sig-Tree 46 2.7.4 Thời gian tìm kiếm phương pháp theo thực nghiệm 50 2.7.5 Đánh giá phương pháp thực nghiệm 50 2.8 Tổng kết chương 53 Chương Đề xuất phương pháp tìm kiếm ảnh dựa đồ thị chữ ký 54 3.1 Giới thiệu 54 3.2 Chữ ký nhị phân hình ảnh 54 3.3 Độ đo tương tự 56 3.4 Tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 57 3.4.1 Gom cụm chữ ký nhị phân 57 3.4.2 Thuật toán tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.4.3 Thực nghiệm tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.5 Xây dựng đồ thị S-kGraph 68 3.5.1 Cấu trúc đồ thị S-kGraph 68 3.5.2 Thuật toán tạo đồ thị S-kGraph 72 3.5.3 Thuật toán tìm kiếm ảnh đồ thị S-kGraph 74 3.5.4 Phân rã cụm đồ thị S-kGraph 75 3.5.5 Thực nghiệm tìm kiếm ảnh đồ thị S-kGraph 76 3.6 Xây dựng đồ thị S-kGraph dựa mạng Sig-SOM 88 3.6.1 Xây dựng cấu trúc mạng Sig-SOM 88 3.6.2 Thuật toán huấn luyện mạng Sig-SOM 91 3.6.3 Thuật toán tìm kiếm ảnh mạng Sig-SOM 94 3.6.4 Thực nghiệm tìm kiếm ảnh mạng Sig-SOM 95 3.7 Tổng kết chương 107 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 108 Danh mục công trình tác giả liên quan đến luận án 110 TÀI LIỆU THAM KHẢO 112 iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu BSSF CBIR CBMIR CBSSF DoG DWF DWT EMD IPT JPEG KMCC LoG GIS RBIR ROC RF SSF SOM SIFT Sig-SOM Sig-Tree S-kGraph SG S-Tree SURF SVM TBIR WWW Diễn giải tiếng Anh Bit-Slice Signature File Content-Based Image Retrieval Content-Based Medical Image Retrieval Compressed Bit-Sliced Signature File Difference of Gaussian Discrete Wavelet Frame Discrete Wavelet Transform Earth Mover’s Distance Image Processing Toolbox Joint Photographic Experts Group K-Means with Connectivity Constraint Laplace of Gaussian Geographic Information System Region-Based Image Retrieval Receiver Operating Characteristic Relevance Feedback Sequential Signature File Self Organizing Map Scale Invariant Features Transform Signature - Self Organizing Map Signature - Tree Signature -kGraph Signature Graph Signature Tree Speeded Up Robust Feature Support Vector Machine Text-Based Image Retrieval World Wide Web iv Diễn giải tiếng Việt Tập tin chữ ký phân mảnh Tìm kiếm ảnh theo nội dung Tìm kiếm ảnh y khoa theo nội dung Tập tin chữ ký phân mảnh dạng nén Đạo hàm Gauss Phép biến đổi DWF Phép biến đổi Wavelet rời rạc Độ đo EMD Công cụ xử lý ảnh Matlab Chuẩn nén ảnh JPEG Gom cụm K-mean miền liên thông Phép biến đổi Laplace Gauss Hệ thống thông tin địa lý Tìm kiếm ảnh vùng cục Đồ thị đặc tính Phương pháp phản hồi liên quan Tập tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm kiếm ảnh dựa văn Mạng toàn cầu WWW DANH MỤC HÌNH ẢNH Hình 1.1 Mô hình tổng quát cho tìm kiếm ảnh dựa chữ ký nhị phân Hình 1.2 Kết tạo dải màu gồm: 32 màu, 64 màu, 128 màu, 256 màu 15 Hình 1.3 Một số kết trích xuất lược đồ màu hình ảnh 16 Hình 1.4 Một số kết trích xuất đặc trưng SIFT 19 Hình 1.5 Ví dụ ảnh tách thành 11 khối 20 Hình 1.6 Một số ví dụ mặt nạ phân đoạn 22 Hình 1.7 Một số kết phân đoạn ảnh, gồm: ảnh gốc, mặt nạ ảnh phân đoạn 22 Hình 1.8 Mô tả chữ ký nhị phân đối tượng liệu 23 Hình 1.9 Mô tả chữ ký nhị phân hình ảnh 24 Hình 1.10 Độ phủ recall độ xác precision 25 Hình 2.1 Minh họa cấu trúc liệu Sig-Tree 37 Hình 2.2 Minh họa nút gốc nút Sig-Tree 38 Hình 2.3 Mô hình tìm kiếm ảnh dựa lược đồ màu toàn cục 45 Hình 2.4 Mô hình tìm kiếm ảnh dựa đặc trưng cục 45 Hình 2.5 Một kết tìm kiếm chương trình H-MPEG7 48 Hình 2.6 Một kết tìm kiếm chương trình HR-MPEG7 48 Hình 2.7 Một kết tìm kiếm chương trình E-MPEG7 48 Hình 2.8 Một kết tìm kiếm chương trình ER-MPEG7 49 Hình 2.9 Một kết tìm kiếm chương trình EP-64 49 Hình 2.10 Một kết tìm kiếm chương trình EP-256 49 Hình 2.11 Thời gian tìm kiếm phương pháp tập ảnh COREL 50 Hình 2.12 Thời gian tìm kiếm phương pháp tập ảnh WANG 50 Hình 2.13 Thời gian tìm kiếm phương pháp tập ảnh ImgColl01 50 Hình 2.14 Hiệu suất tìm kiếm Sig-Tree tập ảnh COREL 51 Hình 2.15 Hiệu suất tìm kiếm Sig-Tree tập ảnh WANG 51 Hình 2.16 Hiệu suất tìm kiếm Sig-Tree tập ảnh ImgColl01 51 Hình 3.1 Minh họa chữ ký nhị phân đối tượng đặc trưng 55 Hình 3.2 Mô hình tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 61 Hình 3.3 Một kết gom cụm tập ảnh COREL 61 Hình 3.4 Dữ liệu cụm sau phân hoạch tập ảnh COREL 61 Hình 3.5 Một kết tìm kiếm dựa gom cụm tập ảnh COREL 63 Hình 3.6 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh COREL 63 Hình 3.7 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh WANG 64 Hình 3.8 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh CBIRimages 64 v Hình 3.9 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 64 Hình 3.10 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL WANG 65 Hình 3.11 Minh họa đồ thị S-kGraph 69 Hình 3.12 Minh họa quy tắc phân bố hình ảnh vào đồ thị S-kGraph 70 Hình 3.13 Minh họa cụm lớn phân rã thành nhiều cụm nhỏ 76 Hình 3.14 Mô hình tìm kiếm ảnh dựa đồ thị S-kGraph 77 Hình 3.15 Một kết tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 77 Hình 3.16 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh COREL 78 Hình 3.17 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh WANG 78 Hình 3.18 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.19 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.20 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL WANG 79 Hình 3.21 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.22 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.23 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 80 Hình 3.24 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 81 Hình 3.25 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 81 Hình 3.26 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 82 Hình 3.27 Mô hình mạng Sig-SOM 88 Hình 3.29 Mô hình tìm kiếm ảnh dựa mạng Sig-SOM 95 Hình 3.30 Một kết tìm kiếm mạng Sig-SOM tập ảnh MSRDI 95 Hình 3.31 Thời gian tìm kiếm mạng Sig-SOM tập ảnh COREL 96 Hình 3.32 Thời gian tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.33 Thời gian tìm kiếm mạng Sig-SOM tập ảnh WANG 96 Hình 3.34 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.35 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL WANG 97 Hình 3.36 Thời gian tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.37 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.38 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 98 Hình 3.39 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 99 Hình 3.39 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 99 Hình 3.41 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 100 vi DANH MỤC BẢNG BIỂU Bảng 1.1 Một kết gom cụm dải màu không gian CIE-L*a*b* RGB 14 Bảng 1.2 Các tập liệu ảnh thực nghiệm luận án 26 Bảng 2.1 Mô tả chương trình tìm kiếm ảnh dựa Sig-Tree 46 Bảng 2.2 Đánh giá hiệu suất phương pháp tập liệu ảnh 52 Bảng 2.3 So sánh hiệu suất tìm kiếm phương pháp 52 Bảng 3.1 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL 66 Bảng 3.2 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 66 Bảng 3.3 Hiệu suất tìm kiếm dựa gom cụm tập ảnh WANG 66 Bảng 3.4 Hiệu suất tìm kiếm trung bình dựa gom cụm tập ảnh 67 Bảng 3.5 So sánh độ xác tìm kiếm tập ảnh COREL 67 Bảng 3.6 So sánh thời gian tìm kiếm tập ảnh COREL 67 Bảng 3.7 So sánh hiệu suất tìm kiếm tập ảnh CBIRimages 67 Bảng 3.8 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL 83 Bảng 3.9 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 83 Bảng 3.10 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh WANG 83 Bảng 3.11 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 84 Bảng 3.12 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 84 Bảng 3.13 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 85 Bảng 3.14 Hiệu suất tìm kiếm đồ thị S-kGraph tập liệu ảnh 86 Bảng 3.15 So sánh độ xác tìm kiếm tập ảnh COREL 86 Bảng 3.16 So sánh thời gian tìm kiếm tập ảnh COREL 86 Bảng 3.17 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL 101 Bảng 3.18 Hiệu suất tìm kiếm mạng Sig-SOM tập CBIRimages 101 Bảng 3.19 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh WANG 101 Bảng 3.20 Hiệu suất tìm kiếm mạng Sig-SOM tập ImgColl02 102 Bảng 3.21 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 103 Bảng 3.22 Hiệu suất tìm kiếm mạng Sig-SOM tập ImageCLEF 103 Bảng 3.23 Hiệu suất tìm kiếm mạng Sig-SOM tập liệu ảnh 104 Bảng 3.24 So sánh độ xác tìm kiếm mạng Sig-SOM tập ảnh COREL 104 Bảng 3.25 So sánh hiệu suất phương pháp đề xuất 105 vii PHẦN MỞ ĐẦU Tính cấp thiết luận án Ngày nay, liệu đa phương tiện (văn bản, hình ảnh, âm thanh, video) lưu trữ ứng dụng rộng rãi nhiều hệ thống như: hệ thống thông tin WWW, hệ thống thư viện số, hệ thống tra cứu video, hệ thống thông tin địa lý, nghiên cứu thiên văn học, hệ thống quan sát vệ tinh, hệ thống điều tra hình sự, ứng dụng y sinh, giáo dục đào tạo, giải trí, v.v Lyman cộng ước tính dung lượng thông tin toàn cầu có exabyte (1 exabyte = tỷ gigabyte) vào năm 2000 [71] Hilbert López ước tính dung lượng thông tin toàn cầu năm 2007 khoảng 1,15 zettabyte (1 zettabyte = 1.000 exabyte) [37] Bohn Short ước tính dung lượng thông tin toàn cầu năm 2008 khoảng 3,6 zettabyte kích thước gia tăng năm 2011 khoảng 1.800 exabyte, gấp 700 lần so với dung lượng gia tăng năm 2002 (khoảng 2-3 exabyte) [78] Theo số liệu hiệp hội ACI (Airports Council International), năm 2014, trung bình phút có 2,5 triệu nội dung chia sẻ Facebook, gần 300.000 tin nhắn Twitter, khoảng 220.000 hình ảnh Instagram, khoảng 72 nội dung video đăng tải YouTube, gần 50.000 ứng dụng tải từ Apple, 200 triệu Email [3] Theo tập đoàn liệu giới IDC (International Data Corporation), dung lượng liệu gia tăng năm 2012 2.800 exabyte ước tính dung lượng gia tăng đến năm 2020 40 zettabyte [42] Dữ liệu đa phương tiện, đặc biệt ảnh số trở nên thân thuộc với sống hàng ngày sử dụng nhiều thiết bị khác camera, mobile, smartphone, v.v Theo báo cáo IDC, năm 2015 giới tạo chia sẻ 1,6 nghìn tỷ hình ảnh, 70% hình ảnh tạo từ thiết bị mobile [25] Việc số hóa liệu đa phương tiện tạo sở liệu khổng lồ làm cho toán tìm kiếm đối tượng trở nên phức tạp có nhiều thách thức như: truy xuất theo nội dung đối tượng, tìm kiếm nhanh đối tượng liên quan, v.v Trong vấn đề truy vấn liệu, đặc biệt liệu ảnh, toán tìm kiếm hình ảnh tương tự toán quan trọng [2, 28] Các kết khảo sát dự báo nghiên cứu gần cho thấy việc tìm kiếm hình ảnh liên quan với yêu cầu người dùng toán phù hợp với nhu cầu xã hội đại [3] Động lực nghiên cứu Từ thập niên 1980 nay, nhiều công trình ứng dụng chữ ký nhị phân vào toán khác như: truy vấn đối tượng liệu [13, 30], tra cứu liệu đa phương tiện dựa chữ ký nhị phân [91], tra cứu ảnh theo nội dung dựa chữ ký nhị phân [22], tìm kiếm ảnh dựa cấu trúc tập tin chữ ký đa cấp [33], tra cứu ảnh dựa độ đo Hamming chữ ký nhị phân [14, 55], tra cứu ảnh dựa chữ ký nhị phân mô tả đặc trưng SIFT cho hình ảnh [94], gom nhóm liệu video qua chữ ký nhị phân [85],… Bên cạnh đó, cấu trúc liệu lưu trữ chữ ký nhị phân đề nghị S-Tree, SD-Tree, v.v [24, 26, 47, 79, 107], Bài toán tìm kiếm ảnh chia thành hai lớp [2, 74, 78, 113]: (1) Tìm kiếm ảnh dựa văn TBIR (Text-Based Image Retrieval) tốn thời gian mô tả mục hình ảnh dạng văn có nhiều hạn chế định tính chủ quan người; (2) Tìm kiếm ảnh dựa nội dung CBIR (Content-Based Image Retrieval), tức tìm tập hình ảnh tương tự với nội dung hình ảnh cho trước Phương pháp CBIR thực tìm kiếm dựa đặc trưng thị giác hình ảnh, vượt qua hạn chế phương pháp tìm kiếm TBIR Tuy nhiên, phương pháp tìm kiếm CBIR đối diện với vấn đề khó khăn như: trích xuất tự động đặc trưng thị giác, tạo mục đa chiều đưa phương pháp tìm kiếm ảnh tương tự Vì vậy, phương pháp tìm kiếm ảnh theo nội dung kết hợp lĩnh vực như: xử lý ảnh, thị giác máy tính, truy hồi thông tin, v.v [58, 74] Việc thiết kế mục, xây dựng cấu trúc liệu đưa thuật toán tìm kiếm tập ảnh tương tự trọng tâm toán tìm kiếm ảnh [77, 78, 89, 113] Vấn đề đặt xây dựng phương pháp tìm kiếm ảnh hiệu quả, nghĩa tìm kiếm nhanh hình ảnh tương tự tập liệu ảnh lớn với độ xác cao Vì nội dung hình ảnh có tính chất trực quan [2] nên toán khai phá liệu ảnh có nhiều thách thức động lực để truy tìm thông tin hữu ích từ tập liệu ảnh lớn Động lực luận án xây dựng phương pháp tìm kiếm hình ảnh tương tự qua nội dung dựa mục nhị phân, gọi chữ ký nhị phân (binary signature) Thách thức phương pháp tạo chữ ký nhị phân phải mô tả đặc trưng thị giác hình ảnh để từ làm sở đối sánh tìm tập hình ảnh tương tự Thách thức thứ hai thiết kết cấu trúc liệu phù hợp để lưu trữ chữ ký nhị phân, từ tạo thuận lợi trình tìm kiếm ảnh tương tự Thách thức thứ ba áp dụng phương pháp khai thác liệu thuật toán phù hợp cấu trúc liệu để tìm tập hình ảnh tương tự Với mong muốn đóng góp phương pháp tìm kiếm ảnh hiệu quả, luận án giải thách thức để làm định hướng nghiên cứu lĩnh vực Mục tiêu luận án Mục tiêu luận án tìm kiếm ảnh tương tự theo nội dung dựa chữ ký nhị phân nhằm tăng tốc độ tìm kiếm đảm bảo độ xác cao Vì vậy, luận án thực mục tiêu cụ thể gồm: (1) Tạo chữ ký nhị phân để mô tả đặc trưng thị giác hình ảnh; (2) Đánh giá độ tương tự hai hình ảnh dựa chữ ký nhị phân; (3) Xây dựng cấu trúc liệu để lưu trữ chữ ký nhị phân; (4) Đề xuất thuật toán cho toán tìm kiếm ảnh tương tự; (5) Xây dựng thực nghiệm tìm kiếm ảnh dựa chữ ký nhị phân Phƣơng pháp nghiên cứu Phương pháp lý thuyết: Tổng hợp số công bố liên quan đến tìm kiếm ảnh; nghiên cứu chữ ký nhị phân mô tả nội dung ảnh, cấu trúc liệu lưu trữ chữ ký nhị phân, độ đo tương tự chữ ký nhị phân thuật toán tìm kiếm ảnh theo nội dung Trên sở phân tích, đánh giá ưu khuyết điểm công trình công bố, luận án phát triển phương pháp tạo chữ ký nhị phân mô tả nội dung hình ảnh đề xuất cấu trúc liệu lưu trữ chữ ký nhị phân Một số thuật toán xây dựng cấu trúc liệu tìm kiếm ảnh phát triển Phương pháp thực nghiệm: Thực việc cài đặt thuật toán luận án nhằm minh chứng tính hiệu độ xác tốc độ tìm kiếm Các tập liệu ảnh sử dụng cho cài đặt thực nghiệm bao gồm: COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02 Trên sở số liệu thực nghiệm, luận án thực phân tích, đánh giá so sánh với công trình khác Nội dung bố cục luận án Nội dung luận án tổ chức thành ba chương sau: Chƣơng trình bày sở lý thuyết cho tìm toán kiếm ảnh dựa chữ ký nhị phân Chương tiếp cận toán tìm kiếm ảnh theo nội dung; khảo sát, phân tích công trình nghiên cứu liên quan; đưa mô hình tìm kiếm ảnh dựa chữ ký nhị phân Các đối tượng sở cho tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân nghiên cứu gồm: Các đặc trưng hình ảnh; chữ ký nhị phân hình Tương tự phương pháp tìm kiếm ảnh dựa đồ thị S-kGraph, phương pháp tìm kiếm ảnh dựa mạng Sig-SOM mô tả Hình 3.29 gồm hai giai đoạn tiền xử lý để tạo đồ thị S-kGraph tìm kiếm ảnh dựa mạng Sig-SOM Trong giai đoạn tiền xử lý thực huấn luyện vec-tơ đặc trưng cho cụm để từ dựa vec-tơ đặc trưng trung gian thực trình tìm kiếm Vec-tơ đặc trưng thể tính chất chữ ký nhị phân để làm sở gom cụm tìm kiếm ảnh không ảnh hưởng đến cấu trúc chung đồ thị S-kGraph Hình 3.30, Hình 3.31, Hình 3.32, Hình 3.35 Hình 3.37 trình bày đồ thị biểu diễn thời gian tìm kiếm theo chủ đề hình ảnh ứng với tập liệu ảnh Từ đồ thị cho thấy phương pháp tìm kiếm Sig-SOM có thời gian tìm kiếm chậm so với phương pháp S-kGraph không đáng kể Điều cho thấy trình tìm kiếm ảnh mạng Sig-SOM không ảnh hưởng nhiều đến tốc độ tìm kiếm Từ số liệu Bảng 3.14 Bảng 3.23 cho thấy thời gian tạo cấu trúc đồ thị S-kGraph từ mạng Sig-SOM chậm so với phương pháp tạo trực tiếp trình dựa vec-tơ đặc trưng trung gian để phân hoạch chữ ký nhị phân hình ảnh Tuy nhiên, độ xác phương pháp tìm kiếm mạng Sig-SOM cao so với phương pháp tìm kiếm trực tiếp đồ thị S-kGraph Điều minh chứng tính hiệu trình huấn luyện vec-tơ đặc trưng cụm mạng Sig-SOM Vì vậy, phương pháp tìm kiếm mạng Sig-SOM cải thiện độ xác so với phương pháp S-kGraph đảm bảo tốc độ tìm kiếm không làm cấu trúc đồ thị S-kGraph Do đó, cải tiến đáp ứng mục tiêu ban đầu đề mạng Sig-SOM đóng góp phương pháp tìm kiếm ảnh hiệu Hình 3.33, Hình 3.34, Hình 3.36, Hình 3.38 Hình 3.40 mô tả chi tiết độ xác phương pháp tìm kiếm ảnh dựa mạng Sig-SOM theo chủ đề tập liệu ảnh COREL, CBIRimages, WANG, MSRDI, ImageCLEF, ImgColl02 Các đường cong đồ thị mô tả độ xác phương pháp mạng Sig-SOM Điều minh chứng tính đắn thực nghiệm cải tiến phương pháp tìm kiếm ảnh mạng Sig-SOM Cấu trúc mạng Sig-SOM tác giả đăng tạp chí International Journal of Applied Mathematics and Computer Science (AMCS) – Tạp chí có mục ISI (Bài báo số danh mục công trình tác giả) 106 3.7 Tổng kết chƣơng Chương trình bày phương pháp tạo chữ ký nhị phân dựa màu sắc hình dạng đối tượng đặc trưng ảnh Dựa chữ ký nhị phân này, luận án đề xuất phương pháp gom cụm chữ ký nhị phân nhằm xây dựng phương pháp tìm kiếm ảnh theo nội dung Để cải tiến phương pháp gom cụm phân cấp dựa cấu trúc Sig-Tree gom cụm phân hoạch dựa K-mean, chương đưa cấu trúc đồ thị S-kGraph nhằm cải tiến tốc độ gom cụm xây dựng phương pháp tìm kiếm ảnh dựa nội dung Nhằm cải tiến phương pháp tạo đồ thị S-kGraph, chương thiết kế mạng Sig-SOM với đầu vào chữ ký nhị phân hình ảnh đầu đồ thị S-kGraph Trên sở lý thuyết đề xuất, chương trình tìm kiếm ảnh xây dựng, bao gồm: tìm kiếm ảnh dựa gom cụm chữ ký nhị phân, tìm kiếm ảnh dựa đồ thị S-kGraph, tìm kiếm ảnh dựa mạng Sig-SOM Tất chương trình tìm kiếm ảnh thực nghiệm đo đạc số liệu tảng dotNet Framework ngôn ngữ lập trình C# Các kết thực nghiệm trích xuất trực tiếp từ chương trình ứng dụng, đồ thị mô tả số liệu thực ngôn ngữ Matlab Kết thực nghiệm cho thấy, phương pháp gom cụm chữ ký nhị phân tốn nhiều chi phí tạo cụm ban đầu Tuy nhiên, hai phương pháp cải tiến gồm đồ thị S-kGraph mạng Sig-SOM giảm đáng kể chi phí thời gian tạo liệu ban đầu Hơn nữa, theo số liệu so sánh với phương pháp khác, ba phương pháp đề xuất xây dựng chương trình tìm kiếm ảnh hiệu quả, nghĩa thời gian tìm kiếm nhanh có độ xác cao Điều minh chứng tính đắn theo thực nghiệm phương pháp đề xuất đáp ứng mục tiêu đề ban đầu luận án Từ cho thấy phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân giải pháp hữu hiệu để xây dựng công cụ tìm kiếm ảnh đáp ứng yêu cầu người dùng 107 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Luận án tiếp cận phương pháp tìm kiếm ảnh dựa chữ ký nhị phân Đóng góp luận án xây dựng phương pháp tìm kiếm nhanh hình ảnh dựa nội dung Kết thực nghiệm cho thấy phương pháp đề xuất tăng tốc độ tìm kiếm đảm bảo độ xác cao Luận án mô tả phương pháp tạo chữ ký nhị phân cho hình ảnh dựa lược đồ màu, vùng đặc trưng đối tượng đặc trưng Để thực điều này, luận án thực tiền xử lý ảnh để trích xuất đặc trưng thị giác từ tạo chữ ký nhị phân để mô tả đặc trưng thị giác Luận án tạo độ đo tương tự ứng dụng vào mô hình tìm kiếm ảnh khác gồm: tìm kiếm ảnh Sig-Tree, tìm kiếm ảnh dựa gom cụm chữ ký nhị phân, tìm kiếm ảnh đồ thị S-kGraph, tìm kiếm ảnh mạng Sig-SOM Luận án đề xuất độ đo tương tự, cấu trúc liệu Sig-Tree, cấu trúc đồ thị S-kGraph mạng Sig-SOM Từ đó, luận án đưa thuật toán nhằm xây dựng chương trình tìm kiếm ảnh dựa chữ ký nhị phân phương pháp khác nhau, bao gồm: (1) Tìm kiếm ảnh theo đặc trưng màu sắc toàn cục vùng cục dựa chữ ký nhị phân Sig-Tree; (2) Tìm kiếm ảnh dựa phương pháp gom cụm chữ ký nhị phân; (3) Tìm kiếm ảnh dựa chữ ký nhị phân đồ thị S-kGraph; (4) Tìm kiếm ảnh dựa chữ ký nhị phân mạng SigSOM Luận án xây dựng thực nghiệm đánh giá kết tập liệu ảnh gồm: COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02 Theo thực nghiệm cho thấy, phương pháp tìm kiếm ảnh dựa chữ ký nhị phân thực mục tiêu ban đầu luận án tức tăng tốc độ tìm kiếm với độ xác cao Luận án so sánh kết với số công trình gần mô tả Bảng 2.3, Bảng 3.5, Bảng 3.6, Bảng 3.7, Bảng 3.15, Bảng 3.16, Bảng 3.24 Trong Bảng 3.25, tác giả so sánh phương pháp đề xuất cho thấy phương pháp gom cụm chữ ký nhị phân theo phân hoạch cải tiến so với phương pháp tạo cụm theo phân cấp dựa Sig-Tree thời gian tạo cụm, độ xác thời gian tìm kiếm Hơn nữa, phương pháp tìm kiếm đồ thị S-kGraph cải thiện thời gian tạo cụm so với phương pháp phân cụm; mạng Sig-SOM cải tiến trình 108 tạo cấu trúc đồ thị S-kGraph Từ cho thấy phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân giải pháp hữu hiệu nhằm đóng góp công cụ tìm kiếm ảnh cho cộng đồng Trên sở lý thuyết thực nghiệm xây dựng, luận án xác định hướng phát triển sau: (1) Kết hợp phương pháp trích xuất đặc tính thông tin thị giác khai phá liệu để xây dựng phương pháp khai phá liệu ảnh dựa chữ ký nhị phân (2) Xây dựng phương pháp tìm kiếm ảnh dựa chữ ký nhị phân xử lý song song đồng thời thực thi hệ thống trực tuyến phân tán (3) Xây dựng phương pháp tìm kiếm ảnh dựa chữ ký nhị phân qua ngữ nghĩa hình ảnh nhằm tạo ứng dụng thân thiện với người dùng (4) Xây dựng chương trình tìm kiếm ảnh dựa chữ ký nhị phân ứng dụng vào lĩnh vực cụ thể như: thư viện số đa phương tiện, tìm kiếm ảnh y khoa, hệ thống GIS, v.v (5) Ứng dụng phương pháp tìm kiếm ảnh dựa chữ ký nhị phân xây dựng phương pháp định danh đối tượng kết xuất thông tin liên quan đến hình ảnh 109 DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN Văn Thế Thành, Lê Mạnh Thạnh, Một số cải tiến cho Hệ truy vấn ảnh dựa S-Tree, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR), Đại học Cần Thơ, Nhà xuất Khoa học Tự nhiên Công nghệ, tr 459-470, 2016 Thanh The Van, Thanh Manh Le, Content-Based Image Retrieval Using A Signature Graph and A Self-Organizing Map, International Journal of Applied Mathematics and Computer Science, 26(2), pp 423-438, 2016 Thanh The Van, Thanh Manh Le, Clustering Binary Signature applied in Content-Based Image Retrieval, World Conference on Information Systems and Technologies (WorldCist’16), published in Springer, Advances in Intelligent Systems and Computing (AISC), Vol 444 (1), pp 233-242, 2016 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh sử dụng Chữ ký nhị phân Ảnh phân đoạn, Hội nghị Quốc gia lần thứ XVIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông (@CNTT-2015), Trường ĐH Nguyễn Tất Thành, Tp.HCM, 05-06/11/2015, Nhà xuất Khoa học Kỹ thuật, tr 324329, 2016 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh tri thức dựa chữ ký nhị phân, Tạp chí Khoa học Đại học Huế, Chuyên san Kỹ thuật Công nghệ, Tập 106, Số 07, tr 215-228, 2015 Văn Thế Thành, Ng M Hải, Ng T.T Tâm, Ng P Hạc, Lê Mạnh Thạnh, Hệ truy vấn ảnh sử dụng Chữ ký nhị phân Bản đồ tự tổ chức Bi-SOM, Hội nghị Quốc gia lần thứ XVIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông (@CNTT-2014), Đại học Tây Nguyên, Nhà xuất Khoa học Kỹ thuật, tr 95-100, 2014 Thanh The Van, Thanh Manh Le, Image retrieval Based on Binary signature and S-kGraph, Annales Universitatis Scientiarum Budapestinensis de Rolando Eötvös Nominatae, Sectio Computatorica, 43(2), pp.105-122, 2014 110 Thanh The Van, Thanh Manh Le, RBIR using Interest Regions and Binary Signature, Annales Universitatis Scientiarum Budapestinensis de Rolando Eötvös Nominatae, Sectio Computatorica, 43(2), pp.89-103, 2014 Thanh The Van, Thanh Manh Le, RBIR Based on Signature Graph, ICCCI2014, published in IEEE Xplore, pp.1-4, Coimbatore, India, 03-05-Jan-2014 10 Thanh The Van, Thanh Manh Le, Color Image Retrieval Using Fuzzy Measure Hamming and S-Tree, CSA-2013, published in Springer Verlag, Lecture Notes in Electrical Engineering (LNEE), Vol 279, pp 615-620, 2014 11 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh dựa chữ ký nhị phân S-Tree, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR-2013), Nhà xuất Khoa học tự nhiên Công nghệ, tr 586-593, Đại học Huế, 20-21/6/2013 12 Thanh Manh Le, Thanh The Van, Image Retrieval System Based on EMD Similarity Measure and S-Tree, ICITES-2012, published in Springer Verlag, Lecture Notes in Electrical Engineering (LNEE), Vol 234, pp 139-146, 2013 13 Văn Thế Thành, Trần Minh Bảo, Lê Mạnh Thạnh, Truy vấn liệu văn dựa chữ ký nhị phân, Kỷ yếu Hội thảo Khoa học Quốc gia lần XV CNTT (@CNTT-2012), Nhà xuất Khoa học Kỹ thuật, tr 460-465, Hà Nội, 0304/12/2012 14 Văn Thế Thành, Trần Minh Bảo, Truy vấn liệu dựa chữ ký khối văn bản, Tạp chí Đại Học Huế, Chuyên san Khoa học Tự nhiên, Tập 74B, Số 5, tr 157-165, 2012 111 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] A Abdesselam, H.H Wang, N Kulathuramaiyer, Spiral Bit-string Representation of Color for Image Retrieval, The International Arab Journal of Information Technology, 7(3), pp.223-230, 2010 T Acharya, A.K Ray, Image Processing: Principles and Applications, Hoboken, New Jersey: John Wiley & Sons Inc Publishers, 2005 ACI, http://www.aci.aero/, 2015 I Ahmad, W.I Grosky, Indexing and retrieval of images by spatial constraints, J Vis Commun Image R., 14, pp.291-320, 2003 M Aly, M Munich, P Perona, CompactKdt: Compact Signatures for Accurate Large Scale Object Recognition, Workshop on Applications of Computer Vision, IEEE, pp.505-512, Breckenridge, CO, 2012 A Alzu’bi, A Amira, N Ramzan, Semantic content-based image retrieval: A comprehensive study, Journal of Visual Communication and Image Representation, 32, pp.20-54, 2015 N.V An, Truyền ảnh nén dùng Wavelet qua mạng vô tuyến, ĐHBK HN, 2007 Y An, J Baek, S Shin, M Chang, J Park, Classification of Feature Set Using K-means Clustering from Histogram Refinement Method, Fourth International Networked Computing and Advanced Information Management (NCM '08) IEEE, pp.320-324, Gyeongju, 2008 M Banerjee, S Bandyopadhyay, S.K Pal, A Clustering Approach to Image Retrieval Using Range Based Query and Mahalanobis Distance, in Rough Sets and Intelligent Systems, A SkowronZ Suraj, Editors, Springer Berlin Heidelberg, pp.79-91, 2013 H.K Bhuravarjula, V.N.S.V Kumar, A Novel Content Based Image Retrieval Using Variance Color Moment, International Journal of Computational Engineering Research, 1, pp.93-99, 2012 M.Z Bober, S Paschalakis, Chapter 5-MPEG Image and Video Signature, in The MPEG Representation of Digital Media, L Chiariglione, Editor, Springer Science+Business Media, pp.81-95, 2012 J Cai, Q Liu, F Chen, D Joshi, Q Tian, Scalable Image Search with Multiple Index Tables, Proceedings of International Conference on Multimedia Retrieval, ACM, pp.4-7, 2014 W.W Chang, H.J Schek, A Signature Access Method for the Starburst Database System, International Conference on Very Large Data Bases, pp.145154, Amsterdam, 1989 T Chappell, S Geva, Efficient Top-K Retrieval with Signatures, ACM: Brisbane, QLD, Australia, pp.10-17, 2013 Y Chen, On the cost of searching signature trees, Information Processing Letters, 99, pp.19-26, 2006 112 [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] Y Chen, On the General Signature Trees, Database and Expert Systems Applications, DEXA 2005, Springer Berlin Heidelberg, pp.207-219, Copenhagen, Denmark, 2005 Y Chen, On the signature trees and balanced signature trees, 21st International Conference on Data Engineering, ICDE'05, IEEE, pp.742-753, 2005 Y Chen, Signature files and signature trees, Information Processing Letters, 82, pp.213-221, 2002 Y Chen, Y Chen, On the Signature Tree Construction and Analysis, IEEE Transactions On Knowledge And Data Engineering, 18(9), pp.1-18, 2006 Y Chen, Y Chen, On the Signature Tree Construction and Analysis, IEEE Transactions On Knowledge And Data Engineering, 18(6), pp.1-18, 2006 Y Chen, J.Z Wang, R Krovetz, CLUE: cluster-based retrieval of images by unsupervised learning, IEEE Trans on Image Pro., 14(8), pp.1187-1201, 2005 V Chitkara, M.A Nascimento, C Mastaller, Content-Based Image Retrieval Using Binary Signatures, Department Of Computing Science, University of Alberta: Edmonton, Alberta, Canada, 2000 T.W.S Chow, M.K.M Rahman, S Wu, Content-based image retrieval by using tree-structured features and multi-layer self-organizing map, Pattern Analysis and Applications, 9(1), pp.1-20, 2006 K.-L Chung, J.-G Wu, Improved Image Compression Using S-Tree and Shading Approach, IEEE Transactions On Comm., 48(5), pp.748-751, 2000 C Chute, Worldwide Digital Image 2015–2019 Forecast: The Image Capture and Share Bible, Inter Data Corp., pp.13 pages, (February 2015 # 254256) A Davidson, J Anvik, M.A Nascimento, Parallel Traversal of Signature Trees for Fast CBIR, Proceedings of the 2001 ACM workshops on Multimedia: multimedia information retrieval, ACM, pp.6-9, Ottawa, Canada 2001 W Dejonge, P Scheuermann, A Schijf, S+-Trees: An Efficient Structure for the Representation of Large Pictures, Image Under., 59(3), pp.265-280, 1994 L Deligiannidis, H.R Arabnia, Emerging Trends in Image Processing, Computer Vision, and Pattern Recognition, ed S Elliot, Elsevier, Waltham, MA 02451, USA: Morgan Kaufmann, 2015 M.F Demirci, Graph-based shape indexing, Machine Vision and Applications, 23(3), pp.541-555, 2012 U Deppisch, S-tree: a dynamic balanced signature index for office retrieval, the 9th annual international conference on Research and development in information retrieval, SIGIR, ACM, pp.77-87, New York, NY, USA, 1986 Đ.V Đức, N.T Thành, Một phương pháp tiến tìm kiếm ảnh sở hình dạng ứng dụng GIS, Tạp chí TH ĐKH, 26(3), tr.213-224, 2010 E.A El-Kwae, Signature-Based Indexing for Retrieval by Spatial Content in Large 2D-String Image Databases, 12th International Symposium, Springer Berlin Heidelberg, pp.97-108, Charlotte, NC, USA, 2000 113 [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] E.A El-Kwae, M.R Kabuka, Efficient Content-Based Indexing of Large Image Databases, ACM Trans on Information Systems, 18(2), pp.171-210, 2000 M.E ElAlami, A novel image retrieval model based on the most relevant features, Knowledge-Based Systems, 24(1), pp.23-32, 2011 N.T Giang, N.Q Tạo, N.Đ Dũng, Ứng dụng học đồ thị cho tra cứu ảnh, Hội thảo Quốc gia Một số vấn đề chọn lọc CNTT Truyền thông, NXB Khoa học Kỹ thuật, tr.378-383, Đại học Tây Nguyên, 2014 N.T Giang, N.Q Tạo, N.Đ Dũng, Ứng dụng phương pháp bước ngẫu nhiên cho đối sánh hình dạng ảnh, Hội thảo Quốc gia số vấn đề chọn lọc CNTT truyền thông, NXB Khoa học Kỹ thuật, pp.25-31, Hà Nội, 2012 M Hilbert, A review of large-scale 'How much information?' inventories: variations, achievements and challenges, Infor Re., 20(4), pp.paper 688, 2015 A Hlaoui, S.-R Wang, A graph clustering algorithm with applications to content-based image retrieval, International Conference on Machine Learning and Cybernetics, IEEE, pp.1855-1861, 2003 N.Đ Hoàng, Truy vấn ảnh theo nội dung sử dụng đặc trưng Wavelet, Trường ĐH Bách Khoa Tp.HCM, 2013 M.M.V Hulle, Chapter 19-Self-Organizing Maps, in Handbook of Natural Computing, G Rozenberg, T BäckJ.N Kok, Editors, Springer Berlin Heidelberg, pp.585-622, 2012 A Huneiti, M Daoud, Content-Based Image Retrieval Using SOM and DWT, Journal of Software Engineering and Applications, 8(2), pp.51-61, 2015 IDC, https://www.idc.com, 2016 M Imran, R Hashim, N.E.A Khalid, Content Based Image Retrieval Using MPEG-7 and Histogram, The First International Conference on Soft Computing and Data Mining (SCDM), Springer International Publishing, Universiti Tun Hussein Onn Malaysia, Johor, Malaysia, 2014 A.K Jain, Data clustering: 50 years beyond K-means, Pattern Recognition Letters, 31(8), pp.651-666, 2010 H Jegou, M Douze, C Schmid, Hamming Embedding and Weak Geometric Consistency for Large Scale Image Search, 10th European Conference on Computer Vision, Springer Berlin Heidelberg, Marseille, France, 2008 K Jenni, S Mandala, M.S Sunar, Content Based Image Retrieval Using Colour Strings Comparison, Procedia Computer Science, 50, pp.374-379 2015 W.d Jonge, P Scheuermann, A Schijf, Encoding and manipulating pictorial data with S+-trees, Advances in Spatial Databases, SSD '91, Springer Berlin Heidelberg, pp.401-419, Zurich, Switzerland, 1991 P.N Khang, A Morin, Tăng tốc độ tìm kiếm ảnh theo nội dung sử Phân tích tương ứng GPU, Hội thảo Quốc gia số vấn đề chọn lọc CNTT truyền thông, NXB Khoa học Kỹ thuật, pp.428-435, Hà Nội, 2012 114 [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] S Kim, S Park, M Kim, Central Object Extraction for Object-Based Image Retrieval, CIVR 2003 Springer Berlin Heidelberg, pp.39-49, UrbanaChampaign, 2003 A Kojima, T Ozeki, Color Palette Generation for Image Classification by Bagof-Colors, 21st Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV), IEEE, pp.1-5, Mokpo, 2015 I Kompatsiaris, M.G Strintzis, Spatiotemporal Segmentation and Tracking of Objects for Visualization of Videoconference Image Sequences, IEEE Trans on Circuits and Systems for Video Technology, 10(8), pp.1388-1402, 2000 M Kontaki, Y Manolopoulos, A Nanopoulos, Compressing Large Signature Trees, Advances in Databases and Information Systems, ADBIS 2003, Springer Berlin Heidelberg, pp.163-177, Dresden, Germany, 2003 H.C.S Kumar, K.B Raja, V.K R, L.M Patnaik, Automatic Image Segmentation using Wavelets, International Journal of Computer Science and Network Security, 9(2), pp.305-313, 2009 M.K Kundu, M Chowdhury, S.R Bulò, A graph-based relevance feedback mechanism in content-based image retrieval, Knowledge-Based Systems, 73, pp.254-264, 2015 J Landre, F Truchetet, Fast Image Retrieval Using Hierarchical Binary Signatures, 9th International Symposium on Signal Processing and Its Applications, IEEE, pp.1-4, Sharjah, 2007 C.-H Lee, M.-F Lin, Ego-similarity measurement for relevance feedback, Expert Systems with Applications, 37(1), pp.871-877, 2010 S.-Y Lee, M.-C Yang, J.-W Chen, Signature File as a Spatial Filter for Iconic Image Database Jour of Vis Lang and Comp., 3, pp.373-397, 1992 M.S Lew, Principles of Visual Information Retrieval, Advances in Pattern Recognition, ed S Singh, Springer-Verlag London: Springer, 366, 2001 C.-H Li, Z.-M Lu, Graph-based Features for Image Retrieval, Seventh International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), IEEE, pp.193-195, Dalian, 2011 J Li, M Zhang, H Pan, Q Han, X Feng, Graph-based medical image clustering, International Conference on Computing and Networking Technology (ICCNT), IEEE, pp.153-158, Gueongju, 2012 Y Li, J.S Jin, X Zhou, Video matching using binary signature, Proceedings of International Symposium on Intelligent Signal Processing and Communication Systems, IEEE, pp.317-320, Hong Kong, 2005 C.-H Lin, C.-C Chen, H.-L Lee, J.-R Liao, Fast K-means algorithm based on a level histogram for image retrieval, Expert Systems with Applications, 41(7), pp.3276-3283, 2014 C.-H Lin, R.-T Chen, Y.-K Chan, A smart content-based image retrieval system based on color and texture feature, Image and Vision Computing, 27(6), pp.658-665, 2009 115 [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] T Lindblad, J.M Kinser, Chapter 10-Image Signatures, in Image Processing Using Pulse-Coupled Neural Networks, Springer-Verlag Berlin Heidelberg, pp.187-199, 2013 T Lindblad, J.M Kinser, Image Processing Using Pulse-Coupled Neural Networks, ed, Springer Heidelberg New York Dordrecht London: SpringerVerlag Berlin Heidelberg, 2013 L Liu, Y Lu, C.Y Suen, Variable-Length Signature for Near-Duplicate Image Matching, IEEE Transactions on Image Processing, 24(4), pp.1282-1296, 2015 P Liu, K Jia, Z Lv, An Effective and Fast Retrieval Algorithm for ContentBased Image Retrieval, Congress on Image and Signal Processing (CISP '08) IEEE, pp.471-474, Sanya, China, 2008 Y Liu, D Zhang, G Lu, W.-Y Ma, A survey of content-based image retrievalwith high-level semantics, Pattern Recognition, 40, pp.262-282, 2007 Z Liu, H Li, W Zhou, Q Tian, Embedding Spatial Context Information into Inverted File for Large-Scale Image Retrieval, Proceedings of the 20th ACM international conference on Multimedia, ACM, pp.199-208, Nara, Japan, 2012 X Lv, Z.J Wang, Compressed Binary Image Hashes Based on Semisupervised Spectral Embedding, IEEE Transactions On Information Forensics And Security, 8(11), pp.1838-1849, 2013 P Lyman, H.R Varian, J Dunn, A Strygin, K Swearingen, How much information 2000: Berkeley, CA: University of California, 2000 N Mamoulis, D.W Cheung, W Lian, Similarity Search in Sets and Categorical Data Using the Signature Tree, Proceedings of the 19th International Conference on Data Engineering (ICDE’03), IEEE, pp.75-86, 2003 Y Manolopoulos, A Nanopoulos, E Tousidou, Advanced Signature Indexing for Multimedia and Web Applications, Advances In Database Systems, ed A.K Elmagarmid, Springer Science New York: Kluwer Academic Publishers, 2003 O Marques, B Furht, Content-Based Image and Video Retrieval, Multimedia Systems And Applications Series, ed, Springer Science+Business Media New York: Kluwer Academic Publishers, 2002 V Mezaris, I Kompatsiaris, M.G Strintzis, Still Image Segmentation Tools for Object-based Multimedia Applications, Int Journal Of Pattern Recognition And Artificial Intelligence, 18(4), pp.701-725, 2004 R Mostafa, E.M Mohsen, A Texture Based Image Retrieval Approach Using Self-Organizing Map Pre-Classification IEEE Inter Symposium on Signal Processing and Infor Technology (ISSPIT), IEEE, pp.415-420, Bilbao, 2011 P Muneesawang, L Guan, Multimedia Database Retrieval: A Human-Centered Approach, Signals And Communication Technology, ed, New York, NY 10013, USA: Springer Scicnce+Busincss Media, 2006 P Muneesawang, N Zhang, L Guan, Multimedia Database Retrieval: Technology and Applications, ed B Furht, Springer Cham Heidelberg New York Dordrecht London: Springer International Publishing Switzerland, 2014 116 [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] E Nardelli, G Proietti, S*-Tree: An Improved S+-Tree for Coloured Images, Third East European Conference, Springer Berlin Heidelberg, pp.156-168, Maribor, Slovenia, 1999 M.A Nascimento, V Chitkara, Color-Based Image Retrieval Using Binary Signatures, ACM: Madrid, Spain, pp.687-692, 2002 M.A Nascimento, E Tousidou, V Chitkara, Y Manolopoulos, Image indexing and retrieval using signature trees, Data & Knowledge Engineering, 43(1), pp.57-77, 2002 L.Q Ngọc, Mô hình truy tìm thông tin hình ảnh dựa vào nội dung phương pháp gán nhãn ngữ nghĩa cho ảnh, Tạp chí Phát Triển Khoa học Công Nghệ Đại học Quốc Gia Tp.HCM, 7(4&5), tr.99-106, 2004 L.Q Ngọc, Xây dựng hệ thống truy vấn thông tin thị giác dựa vào nội dung, Đại học Khoa học Tự Nhiên Tp.HCM, 2008 L.Q Ngọc, N Lãm, D.A Đức, D.N.T Thảo, N.Đ Thành, Kết hợp đặc trưng thị giác ngữ nghĩa truy vấn thông tin thị giác dựa vào nội dung, Hội thảo Quốc gia số vấn đề chọn lọc CNTT truyền thông, NXB Khoa học Kỹ thuật, pp.110-120, Đà Lạt, 2007 S Ozkan, E Esen, G.B Akar, Visual Group Binary Signature for Video Copy Detection, International Conference on Pattern Recognition, pp.3945-3950, Stockholm, 2014 D Picard, P.-H Gosselin, Efficient image signatures and similarities using tensor products of local descriptors, Computer Vision and Image Understanding, 117(6), pp.680-687, 2013 J Platos, P Kromer, V Snasel, A Abraham, Searching similar images - Vector Quantization with S-tree, Fourth Inter Conference on Computational Aspects of Social Networks, CASoN 2012, IEEE, pp.384-388, Sao Carlos, 2012 B.G Prasad, K.K Biswas, S.K Gupta, Region-based image retrieval using integrated color, shape, and location index, Computer Vision and Image Understanding, 94, pp.193-233, 2004 R Priya, T.N Shanmugam, A comprehensive review of significant researches on content based indexing and retrieval of visual information, Front Comput Sci., 7(5), pp.782-799, 2013 N.H Quỳnh, Nghiên cứu cải tiến số phương pháp tra cứu ảnh sử dụng đặc trưng ảnh, Đại học Quốc gia Hà Nội, 2011 F Rabitti, P Zezulu, A dynamic signature technique for multimedia databases, Proceedings of the 13th annual international conference on Research and development in information retrieval, ACM SIGIR, pp.193-210, 1990 G Rafiee, S.S Dlay, W.L Woo, Region-of-interest extraction in low depth of field images using ensemble clustering and difference of Gaussian approaches, Pattern Recognition, 46, pp.2685-2699, 2013 V.P.S Rallabandi, S.K Sett, Image retrieval system using R-tree selforganizing map, Data & Knowledge Engineering, 61, pp.524-539, 2007 117 [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] G Ren, J Cai, S Li, N Yu, Q Tian, Scalable Image Search with Reliable Binary Code, Proceedings of the 22nd ACM international conference on Multimedia, ACM, pp.769-772, Orlando, Florida, USA, 2014 P.D.K Ruby, E.H Enrique, N.M Mariko, P.M.H Manuel, G.S Perez, Interest Points Image Detectors: Performance Evaluation, Electronics, Robotics and Automotive Mechanics Conf., IEEE, pp.137 - 142, Cuernavaca, Morelos, 2011 M.M Saboorian, M Jamzad, H.R Rabiee, User Adaptive Clustering for Large Image Databases, International Conference on Pattern Recognition (ICPR), IEEE, pp.4271-4274, Istanbul, 2010 H Shahbazkia, A.d Anjos, Quick Invariant Signature Extraction from Binary Images, International Symposium on Signal Processing and Information Technology, IEEE, pp.172-177, Ajman, 2009 I.E Shanthi, Y Izaaz, R Nadarajan, On the SD-tree construction for optimal signature operations, Proceedings of the 1st Bangalore Annual Compute Conference, COMPUTE '08, ACM, New York, NY, USA, 2008 P Shrinivasacharya, M.V Sudhamani, Content Based Image Retrieval Using Self Organizing Map, the Fourth International Conference on Signal and Image Processing (ICSIP), Springer India, pp.535-546, Coimbatore, India, 2013 N Shrivastava, V Tyagi, An efficient technique for retrieval of color images in large databases, Computers & Electrical Engineering, 46, pp.314-327, 2014 SitaoWu, M.K.M Rahman, T.S Chow, Content-based image retrieval using growing hierarchical self-organizing quadtree map, Pattern Recognition, 38, pp.707-722, 2005 V Snášel, Fuzzy Signatures for Multimedia Databases, Advances in Information Systems, ADVIS 2000, Springer Berlin Heidelberg, pp.257-264, Izmir, Turkey, 2000 V Snasel, Z Horak, M Kudelka, A Abraham, Fuzzy Signatures Organized Using S-Tree, IEEE International Conference on Systems, Man, and Cybernetics (SMC), IEEE, pp.633 - 637, Anchorage, AK, 2011 E.S Tellez, E Chavez, A Camarena-Ibarrola, A Brief Index for Proximity Searching, Iberoamerican Conference on Pattern Recognition, CIARP 2009, Springer Berlin Heidelberg, pp.529-536, Guadalajara, Jalisco, Mexico, 2009 V.S Thakare, N.N Patil, Image texture classification and retrieval using selforganizing map, International Conference on Information Systems and Computer Networks (ISCON), IEEE, pp.25-29, Mathura, 2014 S Thirunavukkarasu, R.A Priyadharshini, S Arivazhagan, C Mahalakshmi, Content Based Image Retrieval Based on Dual Tree Discrete Wavelet Transform, International Journal of Research in Computer and Communication Technology, 1, pp.473-477, 2013 E Tousidou, P Bozanis, Y Manolopoulos, Signature-based structures for objects with set-valued attributes, Information Systems, 27, pp.93-121, 2002 118 [108] E Tousidou, A Nanopoulos, Y Manolopoulos, Improved methods for signature-tree construction, The Computer Journal, 43(4), pp.300-313, 2000 [109] L.Q Tuấn, Một số phương pháp nâng cao hiệu nén ảnh, Trường ĐH Bách Khoa Tp.HCM, 2003 [110] M Unser, Texture classification and segmentation using wavelet frames, IEEE Transactions on Image Processing, 4(11), pp.1549-1560, 1995 [111] R.C Veltkamp, H Burkhardt, H.-P Kriegel, State-of-the-Art in Content-Based Image and Video Retrieval, Comp Imaging and Vision, ed, Vol 22, Springer Science+Business Media Dordrecht: Kluwer Academic Publishers, 2001 [112] G Wang, K Gao, J Li, A Novel Image Signature based on Local Representative Pattern Mining, Proc of Inter Conf on Internet Multimedia Computing and Service, ACM, pp.1-38, Xiamen, Fujian, China, 2014 [113] J.Z Wang, Integrated Region-Based Image Retrieval, The Kluwer International Series on Information Retrieval, ed W.B Croft, Springer Science Business Media New York: Kluwer Academic Publishers, 2001 [114] X.-Y Wang, J.-F Wu, H.-Y Yang, Robust Image Retrieval Based on Color Histogram of Local Feature Regions, Springer Science, Multimed Tools Appl, 49, pp.323-345, 2010 [115] X.-Y Wang, H.-Y Yang, Y.-W Li, F.-Y Yang, Robust color image retrieval using visual interest point feature of significant bit-planes, Digital Signal Processing, 23(4), pp.1136-1153, 2013 [116] X.-Y Wang, Y.-J Yua, H.-Y Yanga, An effective image retrieval scheme using color, texture and shape features, Computer Standards & Interfaces, 33(1), pp.59-68, 2011 [117] C Wengert, M Douze, H Jégou, Bag-of-colors for Improved Image Search, Proceedings of the 19th ACM international conference on Multimedia, ACM, pp.1437-1440, Scottsdale, Arizona, USA, 2011 [118] B Xu, J Bu, C Wang, X He, EMR: A Scalable Graph-based Ranking Model for Content-based Image Retrieval, IEEE Transactions On Knowledge And Data Engineering, 27(1), pp.102-114, 2015 [119] J Xue, L Wang, N Zheng, G Hua, Automatic salient object extraction with contextual cue and its applications to recognition and alpha matting, Pattern Recognition, 46, pp.2874-2889, 2013 [120] Y Yan, G Liu, S Wang, J Zhang, K Zheng, Graph-based clustering and ranking for diversified image search, Multimedia Systems, Special Issue Paper, pp.1-12, 2014 [121] Y Yang, F Nie, D Xu, J Luo, Y Zhuang, Y Pan, A Multimedia Retrieval Framework Based on Semi-Supervised Ranking and Relevance Feedback, IEEE Trans On Pattern Analysis And Machine Intelligence, 34(4), pp.723-742, 2012 [122] S.M Zakariya, R Ali, N Ahmad, Combining visual features of an image at different precision value of unsupervised content based image retrieval, IEEE 119 [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] International Conference on Computational Intelligence and Computing Research (ICCIC), IEEE, pp.1-4, Coimbatore, 2010 S Zhang, Q Tian, K Lu, Q Huang, W Gao, Edge-SIFT: Discriminative Binary Descriptor for Scalable Partial-Duplicate Mobile Search, IEEE Transactions on Image Processing, 22(7), pp.2889-2902, 2013 N Zhao, Y Dong, H Bai, L Wang, C Huang, S Cen, J Zhao, A semantic graph-based algorithm for image search reranking, IEEE International Conference on Acoustics, Speech and Signal Processing, IEEE, pp.1666-1670, Vancouver, BC, 2013 W Zhou, H Li, Y Lu, Visual word expansion and BSIFT verification for largescale image search, Multimedia Systems, 21(3), pp.245-254, 2015 W Zhou, H Li, Y Lu, Q Tian, Large Scale Image Search with Geometric Coding, Proceedings of the 19th ACM international conference on Multimedia, ACM, pp.1349-1352, Scottsdale, Arizona, USA, 2011 W Zhou, H Li, Y Lu, Q Tian, SIFT Match Verification by Geometric Coding for Large-Scale Partial-Duplicate Web Image Search, ACM Transactions on Multimedia Computing, Communications and App., 9(1), pp.1-18, 2013 W Zhou, H Li, Q Tian, Chapter 12- Multimedia Content-Based Visual Retrieval, in Academic Press Library in signal Processing Image and Video Compression and Multimedia, Elsevier, pp.383-416, 2014 W Zhou, H Li, M Wang, Y Lu, Q Tian, Binary SIFT: Towards Efficient Feature Matching Verification for Image Search Proceedings of the 4th International Conference on Internet Multimedia Computing and Service, ACM, pp.1-6, Wuhan, Hubei, China, 2012 W Zhou, Y Lu, H Li, Q Tian, Scalar Quantization for Large Scale Image Search, Proceedings of the 20th ACM international conference on Multimedia, ACM, pp.169-178, Nara, Japan, 2012 D Zhuang, D Zhang, J Li, Improved Binary Feature Matching through Fusion of Hamming Distance and Fragile Bit Weight, Proceedings of the 3rd ACM international workshop on Interactive multimedia on mobile & portable devices, ACM, pp.13-18, Barcelona, Spain, 2013 H zouaki, B abdelkhalak, Indexing and content-based image retrieval, International Conference on Multimedia Computing and Systems (ICMCS), IEEE, pp.1-5, Ouarzazate, 2011 120 ... tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm. .. dung dựa chữ ký nhị phân; - Đề xuất thuật toán dựa sở lý thuyết cho phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân Chƣơng TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO NỘI DUNG DỰA TRÊN CHỮ KÝ NHỊ PHÂN... quan đến tìm kiếm ảnh; nghiên cứu chữ ký nhị phân mô tả nội dung ảnh, cấu trúc liệu lưu trữ chữ ký nhị phân, độ đo tương tự chữ ký nhị phân thuật toán tìm kiếm ảnh theo nội dung Trên sở phân tích,