Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (tt)

ĐẠI HỌC HỌC HUẾ HUẾ ĐẠI TRƯỜNG ĐẠI ĐẠI HỌC HỌC KHOA KHOA HỌC HỌC TRƯỜNG KHOA CÔNG NGHỆ THÔNG TIN VĂN THẾ THÀNH CHUYÊN ĐỀ 01 Ngành: Khoa học máy tính Mã ngành: 62.48.01.01 TÌM KIẾM ẢNH NGHIÊN CỨU TRUY TRÊN DỰA TRÊN ĐỒ THỊVẤN CHỮẢNH KÝ DỰA NHỊ PHÂN CHỮ KÝ NHỊ PHÂN VÀ CÂY S-Tree Học viên thực hiện: Văn Thế Thành Người hướng dẫn khoa học: PGS TS Lê Mạnh Thạnh LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Huế HUẾ - NĂM 2017 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC VĂN THẾ THÀNH TÌM KIẾM ẢNH DỰA TRÊN ĐỒ THỊ CHỮ KÝ NHỊ PHÂN Chuyên ngành: Khoa học máy tính Mã ngành: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS TS Lê Mạnh Thạnh HUẾ - NĂM 2017 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố công trình khác ngồi cơng trình tác giả Tác giả Văn Thế Thành Lời cảm ơn Đầu tiên, em xin chân thành gửi lời cảm ơn Thầy PGS TS Lê Mạnh Thạnh hướng dẫn tận tình khoa học Thầy dẫn dắt em bước đường nghiên cứu khoa học; Thầy hướng dẫn tận tình phương pháp nghiên cứu, phương pháp viết báo khoa học phương pháp tổng hợp tri thức trình học tập, nghiên cứu Em xin chân thành gửi lời cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu Trường Đại học Khoa học - Đại học Huế tạo điều kiện thuận lợi cho em suốt trình học tập thực luận án Em xin chân thành gửi lời cảm ơn đến tập thể thầy cô giáo Khoa Công nghệ Thông tin, Trường Đại học Khoa học - Đại học Huế có góp ý, giúp đỡ động viên kịp thời trình học tập nghiên cứu Em xin chân thành gửi lời cảm ơn đến Giáo sư Đại học Eötvös Loránd, Hungary phản biện ẩn danh có đề nghị khoa học giá trị nội dung nghiên cứu Tôi xin gửi lời cảm ơn đến đồng nghiệp cán bộ, giảng viên Trường Đại học Công nghiệp Thực phẩm Tp.HCM cổ vũ động viên sát cánh bên tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin gửi lời cảm ơn đến người vợ thân yêu hỗ trợ chu toàn sống hàng ngày để anh thực trình học tập, nghiên cứu Cuối cùng, xin bày tỏ lòng biết ơn vơ hạn cha mẹ gia đình ln ủng hộ, giúp đỡ suốt trình thực luận án i MỤC LỤC Lời cảm ơn i DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH v DANH MỤC BẢNG BIỂU vii PHẦN MỞ ĐẦU Chương Tổng quan tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân 1.1 Mở đầu 1.2 Tổng quan công trình nghiên cứu 1.3 Định hướng nghiên cứu 12 1.4 Các đối tượng sở 12 1.4.1 Tạo dải màu sở 12 1.4.2 Thực nghiệm tạo dải màu sở 13 1.4.3 Trích xuất lược đồ màu 16 1.4.4 Trích xuất đặc trưng SIFT 16 1.4.5 Thực nghiệm trích xuất đặc trưng SIFT 19 1.4.6 Trích xuất đối tượng đặc trưng .19 1.4.7 Chữ ký nhị phân 22 1.4.8 Chữ ký nhị phân hình ảnh 24 1.4.9 Các giá trị đánh giá hiệu suất 25 1.4.10 Môi trường thực nghiệm 25 1.5 Tổng kết chương 27 Chương Cải tiến phương pháp tìm kiếm ảnh dựa S-Tree 28 2.1 Giới thiệu 28 2.2 Tạo chữ ký nhị phân hình ảnh 30 2.2.1 Tạo chữ ký nhị phân dựa đặc trưng màu toàn cục 30 2.2.2 Tạo chữ ký nhị phân dựa đặc trưng màu cục 32 2.3 Độ đo EMD 32 2.3.1 Tổng quan độ đo EMD 32 2.3.2 Áp dụng độ đo EMD cho chữ ký nhị phân 32 2.4 Độ đo Hamming áp dụng cho chữ ký nhị phân 36 2.5 Cây S-Tree 36 2.6 Cây Sig-Tree 37 2.6.1 Giới thiệu Sig-Tree 37 2.6.2 Thiết kế cấu trúc liệu Sig-Tree 37 ii 2.6.3 Phép tổ hợp chữ ký Sig-Tree 38 2.6.4 Phép tách nút Sig-Tree 39 2.6.5 Phép loại bỏ chữ ký Sig-Tree 41 2.6.6 Phép chèn chữ ký Sig-Tree 42 2.6.7 Tìm kiếm Sig-Tree 43 2.7 Tìm kiếm ảnh dựa Sig-Tree 44 2.7.1 Mơ hình tìm kiếm ảnh dựa lược đồ màu tồn cục 44 2.7.2 Tìm kiếm ảnh dựa lược đồ màu cục 45 2.7.3 Các chương trình tìm kiếm ảnh dựa Sig-Tree 46 2.7.4 Thời gian tìm kiếm phương pháp theo thực nghiệm 50 2.7.5 Đánh giá phương pháp thực nghiệm 50 2.8 Tổng kết chương 53 Chương Đề xuất phương pháp tìm kiếm ảnh dựa đồ thị chữ ký 54 3.1 Giới thiệu 54 3.2 Chữ ký nhị phân hình ảnh 54 3.3 Độ đo tương tự 56 3.4 Tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 57 3.4.1 Gom cụm chữ ký nhị phân 57 3.4.2 Thuật tốn tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.4.3 Thực nghiệm tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.5 Xây dựng đồ thị S-kGraph 68 3.5.1 Cấu trúc đồ thị S-kGraph 68 3.5.2 Thuật toán tạo đồ thị S-kGraph 72 3.5.3 Thuật tốn tìm kiếm ảnh đồ thị S-kGraph 74 3.5.4 Phân rã cụm đồ thị S-kGraph 75 3.5.5 Thực nghiệm tìm kiếm ảnh đồ thị S-kGraph 76 3.6 Xây dựng đồ thị S-kGraph dựa mạng Sig-SOM 88 3.6.1 Xây dựng cấu trúc mạng Sig-SOM 88 3.6.2 Thuật toán huấn luyện mạng Sig-SOM 91 3.6.3 Thuật tốn tìm kiếm ảnh mạng Sig-SOM 94 3.6.4 Thực nghiệm tìm kiếm ảnh mạng Sig-SOM 95 3.7 Tổng kết chương 107 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 108 Danh mục cơng trình tác giả liên quan đến luận án 110 TÀI LIỆU THAM KHẢO 112 iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu BSSF CBIR CBMIR CBSSF DoG DWF DWT EMD IPT JPEG KMCC LoG GIS RBIR ROC RF SSF SOM SIFT Sig-SOM Sig-Tree S-kGraph SG S-Tree SURF SVM TBIR WWW Diễn giải tiếng Anh Bit-Slice Signature File Content-Based Image Retrieval Content-Based Medical Image Retrieval Compressed Bit-Sliced Signature File Difference of Gaussian Discrete Wavelet Frame Discrete Wavelet Transform Earth Mover’s Distance Image Processing Toolbox Joint Photographic Experts Group K-Means with Connectivity Constraint Laplace of Gaussian Geographic Information System Region-Based Image Retrieval Receiver Operating Characteristic Relevance Feedback Sequential Signature File Self Organizing Map Scale Invariant Features Transform Signature - Self Organizing Map Signature - Tree Signature -kGraph Signature Graph Signature Tree Speeded Up Robust Feature Support Vector Machine Text-Based Image Retrieval World Wide Web iv Diễn giải tiếng Việt Tập tin chữ ký phân mảnh Tìm kiếm ảnh theo nội dung Tìm kiếm ảnh y khoa theo nội dung Tập tin chữ ký phân mảnh dạng nén Đạo hàm Gauss Phép biến đổi DWF Phép biến đổi Wavelet rời rạc Độ đo EMD Công cụ xử lý ảnh Matlab Chuẩn nén ảnh JPEG Gom cụm K-mean miền liên thông Phép biến đổi Laplace Gauss Hệ thống thơng tin địa lý Tìm kiếm ảnh vùng cục Đồ thị đặc tính Phương pháp phản hồi liên quan Tập tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm kiếm ảnh dựa văn Mạng tồn cầu WWW DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình tổng qt cho tìm kiếm ảnh dựa chữ ký nhị phân Hình 1.2 Kết tạo dải màu gồm: 32 màu, 64 màu, 128 màu, 256 màu 15 Hình 1.3 Một số kết trích xuất lược đồ màu hình ảnh 16 Hình 1.4 Một số kết trích xuất đặc trưng SIFT 19 Hình 1.5 Ví dụ ảnh tách thành 11 khối 20 Hình 1.6 Một số ví dụ mặt nạ phân đoạn 22 Hình 1.7 Một số kết phân đoạn ảnh, gồm: ảnh gốc, mặt nạ ảnh phân đoạn 22 Hình 1.8 Mơ tả chữ ký nhị phân đối tượng liệu 23 Hình 1.9 Mơ tả chữ ký nhị phân hình ảnh 24 Hình 1.10 Độ phủ recall độ xác precision 25 Hình 2.1 Minh họa cấu trúc liệu Sig-Tree 37 Hình 2.2 Minh họa nút gốc nút Sig-Tree 38 Hình 2.3 Mơ hình tìm kiếm ảnh dựa lược đồ màu tồn cục 45 Hình 2.4 Mơ hình tìm kiếm ảnh dựa đặc trưng cục 45 Hình 2.5 Một kết tìm kiếm chương trình H-MPEG7 48 Hình 2.6 Một kết tìm kiếm chương trình HR-MPEG7 48 Hình 2.7 Một kết tìm kiếm chương trình E-MPEG7 48 Hình 2.8 Một kết tìm kiếm chương trình ER-MPEG7 49 Hình 2.9 Một kết tìm kiếm chương trình EP-64 49 Hình 2.10 Một kết tìm kiếm chương trình EP-256 49 Hình 2.11 Thời gian tìm kiếm phương pháp tập ảnh COREL 50 Hình 2.12 Thời gian tìm kiếm phương pháp tập ảnh WANG 50 Hình 2.13 Thời gian tìm kiếm phương pháp tập ảnh ImgColl01 50 Hình 2.14 Hiệu suất tìm kiếm Sig-Tree tập ảnh COREL 51 Hình 2.15 Hiệu suất tìm kiếm Sig-Tree tập ảnh WANG 51 Hình 2.16 Hiệu suất tìm kiếm Sig-Tree tập ảnh ImgColl01 51 Hình 3.1 Minh họa chữ ký nhị phân đối tượng đặc trưng 55 Hình 3.2 Mơ hình tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 61 Hình 3.3 Một kết gom cụm tập ảnh COREL 61 Hình 3.4 Dữ liệu cụm sau phân hoạch tập ảnh COREL 61 Hình 3.5 Một kết tìm kiếm dựa gom cụm tập ảnh COREL 63 Hình 3.6 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh COREL 63 Hình 3.7 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh WANG 64 Hình 3.8 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh CBIRimages 64 v Hình 3.9 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 64 Hình 3.10 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL WANG 65 Hình 3.11 Minh họa đồ thị S-kGraph 69 Hình 3.12 Minh họa quy tắc phân bố hình ảnh vào đồ thị S-kGraph 70 Hình 3.13 Minh họa cụm lớn phân rã thành nhiều cụm nhỏ 76 Hình 3.14 Mơ hình tìm kiếm ảnh dựa đồ thị S-kGraph 77 Hình 3.15 Một kết tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 77 Hình 3.16 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh COREL 78 Hình 3.17 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh WANG 78 Hình 3.18 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.19 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.20 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL WANG 79 Hình 3.21 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.22 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.23 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 80 Hình 3.24 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 81 Hình 3.25 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 81 Hình 3.26 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 82 Hình 3.27 Mơ hình mạng Sig-SOM 88 Hình 3.29 Mơ hình tìm kiếm ảnh dựa mạng Sig-SOM 95 Hình 3.30 Một kết tìm kiếm mạng Sig-SOM tập ảnh MSRDI 95 Hình 3.31 Thời gian tìm kiếm mạng Sig-SOM tập ảnh COREL 96 Hình 3.32 Thời gian tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.33 Thời gian tìm kiếm mạng Sig-SOM tập ảnh WANG 96 Hình 3.34 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.35 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL WANG 97 Hình 3.36 Thời gian tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.37 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.38 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 98 Hình 3.39 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 99 Hình 3.39 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 99 Hình 3.41 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 100 vi DANH MỤC BẢNG BIỂU Bảng 1.1 Một kết gom cụm dải màu không gian CIE-L*a*b* RGB 14 Bảng 1.2 Các tập liệu ảnh thực nghiệm luận án 26 Bảng 2.1 Mơ tả chương trình tìm kiếm ảnh dựa Sig-Tree 46 Bảng 2.2 Đánh giá hiệu suất phương pháp tập liệu ảnh 52 Bảng 2.3 So sánh hiệu suất tìm kiếm phương pháp 52 Bảng 3.1 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL 66 Bảng 3.2 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 66 Bảng 3.3 Hiệu suất tìm kiếm dựa gom cụm tập ảnh WANG 66 Bảng 3.4 Hiệu suất tìm kiếm trung bình dựa gom cụm tập ảnh 67 Bảng 3.5 So sánh độ xác tìm kiếm tập ảnh COREL 67 Bảng 3.6 So sánh thời gian tìm kiếm tập ảnh COREL 67 Bảng 3.7 So sánh hiệu suất tìm kiếm tập ảnh CBIRimages 67 Bảng 3.8 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL 83 Bảng 3.9 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 83 Bảng 3.10 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh WANG 83 Bảng 3.11 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 84 Bảng 3.12 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 84 Bảng 3.13 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 85 Bảng 3.14 Hiệu suất tìm kiếm đồ thị S-kGraph tập liệu ảnh 86 Bảng 3.15 So sánh độ xác tìm kiếm tập ảnh COREL 86 Bảng 3.16 So sánh thời gian tìm kiếm tập ảnh COREL 86 Bảng 3.17 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL 101 Bảng 3.18 Hiệu suất tìm kiếm mạng Sig-SOM tập CBIRimages 101 Bảng 3.19 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh WANG 101 Bảng 3.20 Hiệu suất tìm kiếm mạng Sig-SOM tập ImgColl02 102 Bảng 3.21 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 103 Bảng 3.22 Hiệu suất tìm kiếm mạng Sig-SOM tập ImageCLEF 103 Bảng 3.23 Hiệu suất tìm kiếm mạng Sig-SOM tập liệu ảnh 104 Bảng 3.24 So sánh độ xác tìm kiếm mạng Sig-SOM tập ảnh COREL 104 Bảng 3.25 So sánh hiệu suất phương pháp đề xuất 105 vii PHẦN MỞ ĐẦU Tính cấp thiết luận án Ngày nay, liệu đa phương tiện (văn bản, hình ảnh, âm thanh, video) lưu trữ ứng dụng rộng rãi nhiều hệ thống như: hệ thống thông tin WWW, hệ thống thư viện số, hệ thống tra cứu video, hệ thống thông tin địa lý, nghiên cứu thiên văn học, hệ thống quan sát vệ tinh, hệ thống điều tra hình sự, ứng dụng y sinh, giáo dục đào tạo, giải trí, v.v Lyman cộng ước tính dung lượng thơng tin tồn cầu có exabyte (1 exabyte = tỷ gigabyte) vào năm 2000 [71] Hilbert López ước tính dung lượng thơng tin tồn cầu năm 2007 khoảng 1,15 zettabyte (1 zettabyte = 1.000 exabyte) [37] Bohn Short ước tính dung lượng thơng tin tồn cầu năm 2008 khoảng 3,6 zettabyte kích thước gia tăng năm 2011 khoảng 1.800 exabyte, gấp 700 lần so với dung lượng gia tăng năm 2002 (khoảng 2-3 exabyte) [78] Theo số liệu hiệp hội ACI (Airports Council International), năm 2014, trung bình phút có 2,5 triệu nội dung chia sẻ Facebook, gần 300.000 tin nhắn Twitter, khoảng 220.000 hình ảnh Instagram, khoảng 72 nội dung video đăng tải YouTube, gần 50.000 ứng dụng tải từ Apple, 200 triệu Email [3] Theo tập đoàn liệu giới IDC (International Data Corporation), dung lượng liệu gia tăng năm 2012 2.800 exabyte ước tính dung lượng gia tăng đến năm 2020 40 zettabyte [42] Dữ liệu đa phương tiện, đặc biệt ảnh số trở nên thân thuộc với sống hàng ngày sử dụng nhiều thiết bị khác camera, mobile, smartphone, v.v Theo báo cáo IDC, năm 2015 giới tạo chia sẻ 1,6 nghìn tỷ hình ảnh, 70% hình ảnh tạo từ thiết bị mobile [25] Việc số hóa liệu đa phương tiện tạo sở liệu khổng lồ làm cho tốn tìm kiếm đối tượng trở nên phức tạp có nhiều thách thức như: truy xuất theo nội dung đối tượng, tìm kiếm nhanh đối tượng liên quan, v.v Trong vấn đề truy vấn liệu, đặc biệt liệu ảnh, toán tìm kiếm hình ảnh tương tự tốn quan trọng [2, 28] Các kết khảo sát dự báo nghiên cứu gần cho thấy việc tìm kiếm hình ảnh liên quan với yêu cầu người dùng toán phù hợp với nhu cầu xã hội đại [3] Động lực nghiên cứu Từ thập niên 1980 nay, nhiều cơng trình ứng dụng chữ ký nhị phân vào toán khác như: truy vấn đối tượng liệu [13, 30], tra cứu liệu đa phương tiện dựa chữ ký nhị phân [91], tra cứu ảnh theo nội dung dựa chữ ký nhị phân [22], tìm kiếm ảnh dựa cấu trúc tập tin chữ ký đa cấp [33], tra cứu ảnh dựa độ đo Hamming chữ ký nhị phân [14, 55], tra cứu ảnh dựa chữ ký nhị phân mô tả đặc trưng SIFT cho hình ảnh [94], gom nhóm liệu video qua chữ ký nhị phân [85],… Bên cạnh đó, cấu trúc liệu lưu trữ chữ ký nhị phân đề nghị S-Tree, SD-Tree, v.v [24, 26, 47, 79, 107], Bài tốn tìm kiếm ảnh chia thành hai lớp [2, 74, 78, 113]: (1) Tìm kiếm ảnh dựa văn TBIR (Text-Based Image Retrieval) tốn thời gian mô tả mục hình ảnh dạng văn có nhiều hạn chế định tính chủ quan người; (2) Tìm kiếm ảnh dựa nội dung CBIR (Content-Based Image Retrieval), tức tìm tập hình ảnh tương tự với nội dung hình ảnh cho trước Phương pháp CBIR thực tìm kiếm dựa đặc trưng thị giác hình ảnh, vượt qua hạn chế phương pháp tìm kiếm TBIR Tuy nhiên, phương pháp tìm kiếm CBIR đối diện với vấn đề khó khăn như: trích xuất tự động đặc trưng thị giác, tạo mục đa chiều đưa phương pháp tìm kiếm ảnh tương tự Vì vậy, phương pháp tìm kiếm ảnh theo nội dung kết hợp lĩnh vực như: xử lý ảnh, thị giác máy tính, truy hồi thông tin, v.v [58, 74] Việc thiết kế mục, xây dựng cấu trúc liệu đưa thuật tốn tìm kiếm tập ảnh tương tự trọng tâm tốn tìm kiếm ảnh [77, 78, 89, 113] Vấn đề đặt xây dựng phương pháp tìm kiếm ảnh hiệu quả, nghĩa tìm kiếm nhanh hình ảnh tương tự tập liệu ảnh lớn với độ xác cao Vì nội dung hình ảnh có tính chất trực quan [2] nên tốn khai phá liệu ảnh có nhiều thách thức động lực để truy tìm thơng tin hữu ích từ tập liệu ảnh lớn Động lực luận án xây dựng phương pháp tìm kiếm hình ảnh tương tự qua nội dung dựa mục nhị phân, gọi chữ ký nhị phân (binary signature) Thách thức phương pháp tạo chữ ký nhị phân phải mơ tả đặc trưng thị giác hình ảnh để từ làm sở đối sánh tìm tập hình ảnh tương tự Thách thức thứ hai thiết kết cấu trúc liệu phù hợp để lưu trữ chữ ký nhị phân, từ tạo thuận lợi q trình tìm kiếm ảnh tương tự Thách thức thứ ba áp dụng phương pháp khai thác liệu thuật toán phù hợp cấu trúc liệu để tìm tập hình ảnh tương tự Với mong muốn đóng góp phương pháp tìm kiếm ảnh hiệu quả, luận án giải thách thức để làm định hướng nghiên cứu lĩnh vực Mục tiêu luận án Mục tiêu luận án tìm kiếm ảnh tương tự theo nội dung dựa chữ ký nhị phân nhằm tăng tốc độ tìm kiếm đảm bảo độ xác cao Vì vậy, luận án thực mục tiêu cụ thể gồm: (1) Tạo chữ ký nhị phân để mô tả đặc trưng thị giác hình ảnh; (2) Đánh giá độ tương tự hai hình ảnh dựa chữ ký nhị phân; (3) Xây dựng cấu trúc liệu để lưu trữ chữ ký nhị phân; (4) Đề xuất thuật tốn cho tốn tìm kiếm ảnh tương tự; (5) Xây dựng thực nghiệm tìm kiếm ảnh dựa chữ ký nhị phân Phƣơng pháp nghiên cứu Phương pháp lý thuyết: Tổng hợp số công bố liên quan đến tìm kiếm ảnh; nghiên cứu chữ ký nhị phân mô tả nội dung ảnh, cấu trúc liệu lưu trữ chữ ký nhị phân, độ đo tương tự chữ ký nhị phân thuật tốn tìm kiếm ảnh theo nội dung Trên sở phân tích, đánh giá ưu khuyết điểm cơng trình cơng bố, luận án phát triển phương pháp tạo chữ ký nhị phân mô tả nội dung hình ảnh đề xuất cấu trúc liệu lưu trữ chữ ký nhị phân Một số thuật toán xây dựng cấu trúc liệu tìm kiếm ảnh phát triển Phương pháp thực nghiệm: Thực việc cài đặt thuật toán luận án nhằm minh chứng tính hiệu độ xác tốc độ tìm kiếm Các tập liệu ảnh sử dụng cho cài đặt thực nghiệm bao gồm: COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02 Trên sở số liệu thực nghiệm, luận án thực phân tích, đánh giá so sánh với cơng trình khác Nội dung bố cục luận án Nội dung luận án tổ chức thành ba chương sau: Chƣơng trình bày sở lý thuyết cho tìm tốn kiếm ảnh dựa chữ ký nhị phân Chương tiếp cận toán tìm kiếm ảnh theo nội dung; khảo sát, phân tích cơng trình nghiên cứu liên quan; đưa mơ hình tìm kiếm ảnh dựa chữ ký nhị phân Các đối tượng sở cho tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân nghiên cứu gồm: Các đặc trưng hình ảnh; chữ ký nhị phân hình ảnh; giá trị đánh giá hiệu suất, mơi trường thực nghiệm Từ đó, luận án đưa định hướng xây dựng phương pháp tìm kiếm ảnh dựa chữ ký nhị phân Chƣơng đưa số cải tiến cho tìm kiếm ảnh dựa S-Tree Nội dung chương mô tả phương pháp tạo chữ ký nhị phân từ đặc tính thị giác hình ảnh, ứng dụng độ đo EMD, Hamming để đánh giá độ tương tự hình ảnh Dựa cấu trúc S-Tree, chương thiết kế cấu trúc Sig-Tree để xây dựng phương pháp tìm kiếm ảnh dựa đặc trưng thị giác toàn cục cục hình ảnh Để minh họa sở lý thuyết xây dựng, chương xây dựng thực nghiệm tập liệu ảnh COREL, WANG, ImgColl01 Phần cuối chương đưa kết luận định hướng cải tiến Chƣơng đề xuất phương pháp tìm kiếm ảnh đồ thị chữ ký nhị phân Chương đưa phương pháp tạo chữ ký nhị phân mơ tả vị trí, hình dạng, màu sắc đối tượng đặc trưng hình ảnh; tiếp cận độ đo tương tự chữ ký nhị phân, xây dựng cấu trúc liệu đồ thị S-kGraph mạng Sig-SOM Nội dung chương mơ tả thuật tốn xây dựng cấu trúc liệu đồ thị S-kGraph mạng Sig-SOM để xây dựng phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân Nhằm minh chứng sở lý thuyết xây dựng, phần thực nghiệm đánh giá kết tập liệu ảnh COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl02 trình bày tương ứng Đóng góp luận án Đóng góp luận án xây dựng phương pháp tìm kiếm nhanh hình ảnh tương tự theo nội dung với độ xác cao Các đóng góp cụ thể bao gồm: - Đề xuất số cải tiến cho S-Tree thiết kế cấu trúc Sig-Tree nhằm xây dựng phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân; - Xây dựng cấu trúc liệu đồ thị chữ ký S-kGraph phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân; - Xây dựng cấu trúc mạng Sig-SOM phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân; - Đề xuất thuật toán dựa sở lý thuyết cho phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân Chƣơng TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO NỘI DUNG DỰA TRÊN CHỮ KÝ NHỊ PHÂN 1.1 Mở đầu Tìm kiếm ảnh tra cứu hình ảnh liên quan từ tập liệu hình ảnh [113] Tìm kiếm ảnh theo nội dung gồm tập kỹ thuật tìm kiếm hình ảnh liên quan từ tập liệu hình ảnh dựa trích xuất tự động đặc trưng hình ảnh màu sắc, cấu trúc, hình dạng, v.v [111, 113] Luận án xây dựng phương pháp tìm kiếm ảnh dựa chữ ký nhị phân theo mơ hình tổng qt Hình 1.1 Mơ hình tìm kiếm ảnh gồm hai giai đoạn: tiền xử lý tìm kiếm ảnh tương tự Bước giai đoạn tiền xử lý chuyển đổi tập liệu ảnh trở thành tập chữ ký nhị phân; bước thứ hai xây dựng cấu trúc liệu để lưu trữ tập chữ ký nhị phân Bước giai đoạn tìm kiếm ảnh chuyển đổi hình ảnh trở thành chữ ký nhị phân; bước giai đoạn tìm kiếm ảnh tương tự dựa thuật toán cấu trúc liệu thiết kế; bước cuối đưa tập ảnh tương tự với ảnh tra cứu Có bốn cơng việc quan trọng mơ hình là: (1) Tạo chữ ký nhị phân mô tả đặc trưng hình ảnh; (2) Đánh giá độ tương tự hai hình ảnh dựa chữ ký nhị phân; (3) Thiết kế cấu trúc liệu lưu trữ chữ ký nhị phân; (4) Đề xuất thuật tốn tìm kiếm ảnh Hình 1.1 Mơ hình tổng qt cho tìm kiếm ảnh dựa chữ ký nhị phân 1.2 Tổng quan cơng trình nghiên cứu Tìm kiếm ảnh theo nội dung giới thiệu vào thập niên 1980 [6, 68] Một số ứng dụng tìm kiếm ảnh theo nội dung công bố như: QBIC, Photobook, Visual-Seek, CIRES, PicSOM, PicHunter, Virage, SIMPLIcity, v.v [6, 77, 113] Từ năm 1980 có nhiều nghiên cứu ứng dụng chữ ký nhị phân cho tốn tìm kiếm đối tượng liệu Các cơng trình hạn chế độ xác kết truy vấn tốn nhiều chi phí xử lý cấu trúc liệu lưu trữ chữ ký nhị phân, tiêu biểu sau:  Uwe Deppisch tiếp cận cấu trúc S-Tree thao tác sở nhằm thực tìm kiếm đối tượng liệu thông qua chữ ký nhị phân [30] Trong cơng trình này, S-Tree kế thừa từ cấu trúc B+-Tree giải toán tra cứu đối tượng liệu nút Thao tác tra cứu S-Tree thực theo cấu trúc đệ quy duyệt theo nhiều hướng nhánh khác Phép hiệu chỉnh nút tốn nhiều chi phí phải thực phép tìm kiếm nút cha tương ứng  Walter W Chang Hans J Schek tiếp cận phương pháp tạo chữ ký nhị phân cho tốn tìm kiếm sở liệu lớn dựa cấu trúc tập tin chữ ký đa cấp (multi-level signature file) [13] Trong cấu trúc liệu này, chữ ký nút cha liên kết đến nút đến nút Thao tác truy vấn liệu thực từ nút cha đến nút Nếu liệu tăng trưởng nút tăng số lượng phần tử Khi đó, chữ ký nút cha cập nhật lại cách hội chữ ký nút dẫn đến chữ ký nút cha chứa nhiều bit ‘1’ Do đó, lần truy vấn theo nhiều nhánh kết bị nhầm lẫn (false drop) Trong thập niên 1990, nhiều nghiên cứu sử dụng chữ ký nhị phân cho tốn tìm kiếm liệu đa phương tiện dựa cấu trúc liệu cải tiến Tuy nhiên, cơng trình tốn nhiều chi phí tính tốn độ xác hạn chế, tiêu biểu sau:  F Rabitti P Zezulu tiếp cận kỹ thuật tạo chữ ký nhị phân cho đối tượng liệu đa phương tiện dựa hàm băm mã hóa, từ thực tìm kiếm đối tượng dựa cấu trúc tập tin chữ ký [91] Trong phương pháp này, chữ ký nhị phân chia thành nhiều phần mơ tả đặc tính khác đối tượng văn hình ảnh Việc truy vấn thực qua hàm lọc liệu để xác định tập tin chứa đối tượng liệu Phương pháp phải phân loại đối tượng theo nhóm, nhóm lưu trữ vào tập tin mục Nếu liệu thay đổi đặc trưng nhóm đối tượng thay đổi dẫn đến tốn chi phí tính tốn để tạo thành điều kiện lọc cho tập tin nhóm đối tượng  Wiebren de Jonge cộng xây dựng cấu trúc S +-tree nhằm lưu trữ mục nhị phân cho tốn tìm kiếm liệu hình ảnh [47] Trong cấu trúc liệu này, nút liên kết với để tăng tốc độ truy vấn Mỗi phần tử nút gồm chữ ký nhị phân kết hợp với số thuộc tính, điều giúp xác định đối tượng cần tra cứu Nếu tra cứu nhóm đối tượng tương tự phương pháp tốn chi phí tìm kiếm dựa liên kết nút Độ xác phụ thuộc vào điều kiện đánh giá độ tương tự đối tượng liệu  Suh-Yin Lee cộng xây dựng tập tin chữ ký nhị phân dựa chuỗi đối tượng sở để từ xây dựng ứng dụng tìm kiếm ảnh [57] Phương pháp tốn nhiều chi phí cho việc nhận diện đối tượng sở hình ảnh Vì tập đối tượng sở thay đổi theo tập liệu hình ảnh nên ứng với tập ảnh khác phải xây dựng lại đối tượng sở để từ tạo chữ ký cho hình ảnh Trong giai đoạn từ năm 2000 đến 2012, nhiều cơng trình sử dụng chữ ký nhị phân để mơ tả đặc trưng hình ảnh ứng dụng cấu trúc liệu khác cho tốn tìm kiếm ảnh chưa tập trung nghiên cứu cải tiến cấu trúc liệu nhằm tra cứu nhanh hình ảnh tương tự theo nội dung, tiêu biểu sau:  Vishal Chitkara cộng cơng bố tài liệu kỹ thuật tìm kiếm ảnh theo nội dung sử dụng chữ ký nhị phân Đại học Alberta, Canada [22] Cơng trình đề xuất phương pháp tạo chữ ký nhị phân cho ảnh màu đưa độ đo tương tự chữ ký nhị phân nhằm phục vụ cho tốn tìm kiếm ảnh Cơng trình đánh giá độ xác thực nghiệm tập liệu ảnh lớn để minh chứng tính khả thi phương pháp Chữ ký nhị phân tạo dựa tỉ lệ phần trăm theo tập màu ưu hình ảnh Độ đo tương tự tổng bình phương độ lệch vị trí bit ‘1’ theo nhóm bit hai chữ ký nhị phân Nếu hai hình ảnh có tỉ lệ màu chiếm ưu giống vị trí phân bố màu sắc khác phương pháp có kết khơng xác  Essam A El-Kwae cộng đưa phương pháp tìm kiếm ảnh dựa chữ ký nhị phân cấu trúc tập tin chữ ký đa cấp [32, 33] Cấu trúc tập tin lưu trữ chuỗi đối tượng nút lá, nút lại lưu trữ chữ ký để tra cứu đối tượng ảnh Trong cơng trình này, tác giả phân tích sở lý thuyết đồng thời mơ tả thực nghiệm tìm kiếm sở liệu ảnh lớn Tuy nhiên, cơng trình chưa cải tiến cấu trúc liệu nhằm giảm chi phí tìm kiếm ảnh tập tin chữ ký  Václav Snášel ứng dụng chữ ký mờ cấu trúc S-Tree cho tốn tìm kiếm ảnh tương tự Thực nghiệm so sánh với phương pháp khác cho thấy tính hiệu thời gian truy vấn phương pháp đề xuất [102] Trong cơng trình này, phép xóa phần tử S-Tree tốn nhiều chi phí tái tạo lại tồn chữ ký nhị phân chưa mơ tả đặc tính hình ảnh  Aaron Davidson cộng sử dụng S-Tree lưu trữ chữ ký nhị phân kết hợp xử lý song song để tìm kiếm ảnh theo nội dung nhằm tăng tốc độ tìm kiếm hình ảnh tương tự [26] Thực nghiệm báo cho thấy tốc độ tìm kiếm cải thiện đáng kể độ xác hạn chế chữ ký nhị phân tạo từ tỉ lệ màu ưu cấu trúc liệu S-Tree chưa cải tiến  Nascimento Chitkara tiếp cận kỹ thuật tìm kiếm ảnh dựa chữ ký nhị phân Thực nghiệm cho thấy tính hiệu thời gian tập liệu ảnh lớn [80] Cơng trình đưa phương pháp tạo chữ ký nhị phân dựa tỉ lệ màu ưu Độ đo tương tự hai chữ ký nhị phân đánh giá dựa vị trí bit ‘1’ Tuy nhiên, cơng trình chưa đưa cấu trúc liệu cho toán tra cứu ảnh mà chủ yếu dựa vào việc truy xuất tập tin chữ ký Một cải tiến cơng trình ứng dụng cấu trúc liệu S-Tree lưu trữ chữ ký nhị phân nhằm tăng tốc độ tra cứu hình ảnh [81] Trong phân tích tính hiệu quả, phương pháp giảm nhớ lưu trữ tăng tốc độ tra cứu hình ảnh Cả hai cơng trình sử dụng tỉ lệ màu sắc để tạo chữ ký nhị phân dẫn đến kết thiếu xác hình ảnh có màu sắc phân bố rải rác Độ đo tương tự dựa vị trí bit ‘1’ nên đánh giá sai phân bố vị trí màu sắc hình ảnh Các phép tốn cấu trúc liệu S-Tree sử dụng cơng trình chủ yếu thực qua phép toán đệ quy tốn nhiều chi phí ngược từ nút đến nút cha Cây S-Tree phân phối liệu nút dựa phân cấp nút cha nút Do đó, S-Tree phân thành nhiều cấp việc truy vấn theo nhiều nhánh kết trình tra cứu bị sai lệch so với yêu cầu người dùng  Yannis Manolopoulos mô tả chữ ký nhị phân cho đối tượng liệu ứng dụng cấu trúc S-Tree cho tốn tìm kiếm liệu đa phương tiện, đặc biệt liệu ảnh [73] Thao tác tách nút S-Tree thực theo phương pháp tách nút bậc hai, bậc ba gom cụm theo phân cấp Thao tác truy xuất phần tử thực từ nút gốc đến nút dẫn đến việc tách nút theo hướng ngược lại (từ nút đến nút gốc) tốn nhiều chi phí xác định phần tử cha nút Vì vậy, thao tác khác tổ hợp, chèn phần tử, xóa phần tử,… tốn nhiều chi phí truy tìm phần tử  Imran Ahmad William I Grosky sử dụng chữ ký nhị phân để làm mục ứng dụng cho tốn tìm kiếm ảnh dựa tứ phân [4] Chữ ký nhị phân không mô tả màu sắc cấu trúc ảnh mà dựa đối tượng sở theo vị trí hình dạng Do đó, áp dụng phương pháp cho ảnh màu độ xác có nhiều hạn chế Hơn nữa, chi phí độ xác phương pháp phụ thuộc nhiều vào toán nhận diện đối tượng sở tập ảnh cho trước  B.G Prasad cộng cơng bố cơng trình tìm kiếm ảnh sử dụng mục nhị phân nhằm mô tả đặc trưng cấp thấp hình ảnh [88] Theo thực nghiệm cho thấy tính hiệu độ xác sử dụng chữ ký nhị phân để làm mục mô tả đặc trưng màu sắc đối tượng đặc trưng cho tốn tìm kiếm ảnh tương tự Tuy nhiên, cơng trình chưa nêu rõ cấu trúc liệu lưu trữ chữ ký nhị phân nhằm giải vấn đề tốc độ tra cứu ảnh  J Landre F Truchetet cơng bố cơng trình tìm kiếm ảnh dựa cấu trúc chữ ký nhị phân phân cấp độ đo tương tự Hamming [55] Chữ ký nhị phân sử dụng để mô tả đặc trưng cấu trúc, hình dạng màu sắc hình ảnh Cơng trình thực tốn tìm kiếm ảnh dựa đối sánh trực tiếp tập chữ ký nhị phân độ đo Hamming chưa tập trung nghiên cứu cấu trúc liệu lưu trữ nhằm tra cứu nhanh hình ảnh tương tự theo nội dung  Abdelhamid Abdesselam cộng tìm kiếm ảnh theo nội dung dựa chuỗi bit nhị phân mô tả đối tượng đặc trưng ảnh Cơng trình đề xuất độ đo tương tự dựa độ khác biệt chuỗi bit Thực nghiệm cơng trình đánh giá tính hiệu q trình tìm kiếm theo độ xác [1] Tuy nhiên, cơng trình chưa tập trung nghiên cứu ứng dụng cấu trúc liệu lưu trữ chữ ký nhị phân nhằm giải tốn tăng tốc độ tìm kiếm ảnh tương tự Năm 2013, Timothy Chappell Shlomo Geva tiếp cận tìm kiếm ảnh tương tự dựa chữ ký nhị phân [14] Cơng trình đưa tính hiệu tốc độ tìm kiếm hình ảnh ứng dụng độ đo Hamming để đánh giá độ tương tự chữ ký nhị phân Cơng trình chưa áp dụng cấu trúc liệu để lưu trữ chữ ký nhị phân nhằm phục vụ tốn tìm kiếm ảnh Năm 2014, Guangxin Ren cộng đề xuất phương pháp tìm kiếm ảnh tương tự dựa chuỗi nhị phân mô tả đặc trưng SIFT để tạo mục cho hình ảnh [94] Phương pháp tra cứu hình ảnh dựa việc đối sánh hai chữ ký nhị phân tập tin dạng văn chưa cải tiến cấu trúc liệu lưu trữ Năm 2014, Junjie Cai cộng sử dụng chuỗi nhị phân để tạo mục cho đặc trưng thị giác hình ảnh Phương pháp tăng tốc độ tìm kiếm ảnh tương tự [12] Cấu trúc liệu sử dụng cơng trình bảng tra cứu phân đoạn chữ ký nhị phân để tìm kiếm hình ảnh Cấu trúc bảng dùng để lưu trữ khơng có thao tác bảng liệu thay đổi Phương pháp không thực qua độ đo tương tự mà đối sánh chữ ký nhị phân Năm 2015, Li Liu cộng sử dụng phương pháp chữ ký ảnh dựa chuỗi nhị phân dùng độ đo EMD để đối sánh hình ảnh Cơng trình chứng minh tính hiệu độ xác ứng với chữ ký ảnh có kích thước thay đổi thực nghiệm với nhiều dạng hình ảnh khác [66] Trong cơng trình này, cấu trúc liệu lưu trữ chữ ký nhị phân chưa nghiên cứu nhằm phục vụ cho toán tìm kiếm ảnh tương tự Vào năm 2012, 2013, 2014, 2015, Wengang Zhou cộng công bố cơng trình tìm kiếm ảnh tương tự dựa chữ ký nhị phân mơ tả đặc trưng SIFT hình ảnh Thực nghiệm chứng minh tính hiệu mặt thời gian độ xác tốn tìm kiếm tập liệu ảnh lớn [125-130] Các cơng trình lưu trữ chữ ký nhị phân dạng tập tin mục nhị phân, chưa tập trung nghiên cứu cấu trúc liệu độ đo tương tự cho chữ ký nhị phân Vào năm 2012, 2013, 2014, 2015 có nhiều cơng trình liên quan đến tìm kiếm ảnh dựa chữ ký nhị phân [5, 69, 70, 85, 123, 127, 131] Năm 2012, 2013, 2014, nhiều cơng trình liên quan đến chữ ký ảnh công bố kết thực nghiệm cho thấy tính hiệu phương pháp độ xác thời gian truy vấn [11, 64, 65, 86, 112] 10 ... tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm. .. dung dựa chữ ký nhị phân; - Đề xuất thuật toán dựa sở lý thuyết cho phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân Chƣơng TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO NỘI DUNG DỰA TRÊN CHỮ KÝ NHỊ PHÂN... quan đến tìm kiếm ảnh; nghiên cứu chữ ký nhị phân mô tả nội dung ảnh, cấu trúc liệu lưu trữ chữ ký nhị phân, độ đo tương tự chữ ký nhị phân thuật tốn tìm kiếm ảnh theo nội dung Trên sở phân tích,