Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)

Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân (Luận án tiến sĩ)

ĐẠI HỌC HỌC HUẾ HUẾ ĐẠI TRƯỜNG ĐẠI ĐẠI HỌC HỌC KHOA KHOA HỌC HỌC TRƯỜNG KHOA CÔNG NGHỆ THÔNG TIN VĂN THẾ THÀNH CHUYÊN ĐỀ 01 Ngành: Khoa học máy tính Mã ngành: 62.48.01.01 TÌM KIẾM ẢNH NGHIÊN CỨU TRUY TRÊN DỰA TRÊN ĐỒ THỊVẤN CHỮẢNH KÝ DỰA NHỊ PHÂN CHỮ KÝ NHỊ PHÂN VÀ CÂY S-Tree Học viên thực hiện: Văn Thế Thành Người hướng dẫn khoa học: PGS TS Lê Mạnh Thạnh LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Huế HUẾ - NĂM 2017 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC VĂN THẾ THÀNH TÌM KIẾM ẢNH DỰA TRÊN ĐỒ THỊ CHỮ KÝ NHỊ PHÂN Chuyên ngành: Khoa học máy tính Mã ngành: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS TS Lê Mạnh Thạnh HUẾ - NĂM 2017 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Nội dung tham khảo từ cơng trình khác trích dẫn rõ ràng Các kết viết chung với tác giả khác đồng ý trước đưa vào luận án Các kết luận án trung thực chưa công bố công trình khác ngồi cơng trình tác giả Tác giả Văn Thế Thành Lời cảm ơn Đầu tiên, em xin chân thành gửi lời cảm ơn Thầy PGS TS Lê Mạnh Thạnh hướng dẫn tận tình khoa học Thầy dẫn dắt em bước đường nghiên cứu khoa học; Thầy hướng dẫn tận tình phương pháp nghiên cứu, phương pháp viết báo khoa học phương pháp tổng hợp tri thức trình học tập, nghiên cứu Em xin chân thành gửi lời cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám hiệu Trường Đại học Khoa học - Đại học Huế tạo điều kiện thuận lợi cho em suốt trình học tập thực luận án Em xin chân thành gửi lời cảm ơn đến tập thể thầy cô giáo Khoa Công nghệ Thông tin, Trường Đại học Khoa học - Đại học Huế có góp ý, giúp đỡ động viên kịp thời trình học tập nghiên cứu Em xin chân thành gửi lời cảm ơn đến Giáo sư Đại học Eötvös Loránd, Hungary phản biện ẩn danh có đề nghị khoa học giá trị nội dung nghiên cứu Tôi xin gửi lời cảm ơn đến đồng nghiệp cán bộ, giảng viên Trường Đại học Công nghiệp Thực phẩm Tp.HCM cổ vũ động viên sát cánh bên tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn đến tất bạn bè người xung quanh chia sẻ, động viên lúc khó khăn Xin gửi lời cảm ơn đến người vợ thân yêu hỗ trợ chu toàn sống hàng ngày để anh thực trình học tập, nghiên cứu Cuối cùng, xin bày tỏ lòng biết ơn vơ hạn cha mẹ gia đình ln ủng hộ, giúp đỡ suốt trình thực luận án i MỤC LỤC Lời cảm ơn i DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH v DANH MỤC BẢNG BIỂU vii PHẦN MỞ ĐẦU Chương Tổng quan tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân 1.1 Mở đầu 1.2 Tổng quan công trình nghiên cứu 1.3 Định hướng nghiên cứu 12 1.4 Các đối tượng sở 12 1.4.1 Tạo dải màu sở 12 1.4.2 Thực nghiệm tạo dải màu sở 13 1.4.3 Trích xuất lược đồ màu 16 1.4.4 Trích xuất đặc trưng SIFT 16 1.4.5 Thực nghiệm trích xuất đặc trưng SIFT 19 1.4.6 Trích xuất đối tượng đặc trưng .19 1.4.7 Chữ ký nhị phân 22 1.4.8 Chữ ký nhị phân hình ảnh 24 1.4.9 Các giá trị đánh giá hiệu suất 25 1.4.10 Môi trường thực nghiệm 25 1.5 Tổng kết chương 27 Chương Cải tiến phương pháp tìm kiếm ảnh dựa S-Tree 28 2.1 Giới thiệu 28 2.2 Tạo chữ ký nhị phân hình ảnh 30 2.2.1 Tạo chữ ký nhị phân dựa đặc trưng màu toàn cục 30 2.2.2 Tạo chữ ký nhị phân dựa đặc trưng màu cục 32 2.3 Độ đo EMD 32 2.3.1 Tổng quan độ đo EMD 32 2.3.2 Áp dụng độ đo EMD cho chữ ký nhị phân 32 2.4 Độ đo Hamming áp dụng cho chữ ký nhị phân 36 2.5 Cây S-Tree 36 2.6 Cây Sig-Tree 37 2.6.1 Giới thiệu Sig-Tree 37 2.6.2 Thiết kế cấu trúc liệu Sig-Tree 37 ii 2.6.3 Phép tổ hợp chữ ký Sig-Tree 38 2.6.4 Phép tách nút Sig-Tree 39 2.6.5 Phép loại bỏ chữ ký Sig-Tree 41 2.6.6 Phép chèn chữ ký Sig-Tree 42 2.6.7 Tìm kiếm Sig-Tree 43 2.7 Tìm kiếm ảnh dựa Sig-Tree 44 2.7.1 Mơ hình tìm kiếm ảnh dựa lược đồ màu tồn cục 44 2.7.2 Tìm kiếm ảnh dựa lược đồ màu cục 45 2.7.3 Các chương trình tìm kiếm ảnh dựa Sig-Tree 46 2.7.4 Thời gian tìm kiếm phương pháp theo thực nghiệm 50 2.7.5 Đánh giá phương pháp thực nghiệm 50 2.8 Tổng kết chương 53 Chương Đề xuất phương pháp tìm kiếm ảnh dựa đồ thị chữ ký 54 3.1 Giới thiệu 54 3.2 Chữ ký nhị phân hình ảnh 54 3.3 Độ đo tương tự 56 3.4 Tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 57 3.4.1 Gom cụm chữ ký nhị phân 57 3.4.2 Thuật tốn tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.4.3 Thực nghiệm tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 60 3.5 Xây dựng đồ thị S-kGraph 68 3.5.1 Cấu trúc đồ thị S-kGraph 68 3.5.2 Thuật toán tạo đồ thị S-kGraph 72 3.5.3 Thuật tốn tìm kiếm ảnh đồ thị S-kGraph 74 3.5.4 Phân rã cụm đồ thị S-kGraph 75 3.5.5 Thực nghiệm tìm kiếm ảnh đồ thị S-kGraph 76 3.6 Xây dựng đồ thị S-kGraph dựa mạng Sig-SOM 88 3.6.1 Xây dựng cấu trúc mạng Sig-SOM 88 3.6.2 Thuật toán huấn luyện mạng Sig-SOM 91 3.6.3 Thuật tốn tìm kiếm ảnh mạng Sig-SOM 94 3.6.4 Thực nghiệm tìm kiếm ảnh mạng Sig-SOM 95 3.7 Tổng kết chương 107 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 108 Danh mục cơng trình tác giả liên quan đến luận án 110 TÀI LIỆU THAM KHẢO 112 iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu BSSF CBIR CBMIR CBSSF DoG DWF DWT EMD IPT JPEG KMCC LoG GIS RBIR ROC RF SSF SOM SIFT Sig-SOM Sig-Tree S-kGraph SG S-Tree SURF SVM TBIR WWW Diễn giải tiếng Anh Bit-Slice Signature File Content-Based Image Retrieval Content-Based Medical Image Retrieval Compressed Bit-Sliced Signature File Difference of Gaussian Discrete Wavelet Frame Discrete Wavelet Transform Earth Mover’s Distance Image Processing Toolbox Joint Photographic Experts Group K-Means with Connectivity Constraint Laplace of Gaussian Geographic Information System Region-Based Image Retrieval Receiver Operating Characteristic Relevance Feedback Sequential Signature File Self Organizing Map Scale Invariant Features Transform Signature - Self Organizing Map Signature - Tree Signature -kGraph Signature Graph Signature Tree Speeded Up Robust Feature Support Vector Machine Text-Based Image Retrieval World Wide Web iv Diễn giải tiếng Việt Tập tin chữ ký phân mảnh Tìm kiếm ảnh theo nội dung Tìm kiếm ảnh y khoa theo nội dung Tập tin chữ ký phân mảnh dạng nén Đạo hàm Gauss Phép biến đổi DWF Phép biến đổi Wavelet rời rạc Độ đo EMD Công cụ xử lý ảnh Matlab Chuẩn nén ảnh JPEG Gom cụm K-mean miền liên thông Phép biến đổi Laplace Gauss Hệ thống thơng tin địa lý Tìm kiếm ảnh vùng cục Đồ thị đặc tính Phương pháp phản hồi liên quan Tập tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm kiếm ảnh dựa văn Mạng tồn cầu WWW DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình tổng qt cho tìm kiếm ảnh dựa chữ ký nhị phân Hình 1.2 Kết tạo dải màu gồm: 32 màu, 64 màu, 128 màu, 256 màu 15 Hình 1.3 Một số kết trích xuất lược đồ màu hình ảnh 16 Hình 1.4 Một số kết trích xuất đặc trưng SIFT 19 Hình 1.5 Ví dụ ảnh tách thành 11 khối 20 Hình 1.6 Một số ví dụ mặt nạ phân đoạn 22 Hình 1.7 Một số kết phân đoạn ảnh, gồm: ảnh gốc, mặt nạ ảnh phân đoạn 22 Hình 1.8 Mơ tả chữ ký nhị phân đối tượng liệu 23 Hình 1.9 Mơ tả chữ ký nhị phân hình ảnh 24 Hình 1.10 Độ phủ recall độ xác precision 25 Hình 2.1 Minh họa cấu trúc liệu Sig-Tree 37 Hình 2.2 Minh họa nút gốc nút Sig-Tree 38 Hình 2.3 Mơ hình tìm kiếm ảnh dựa lược đồ màu tồn cục 45 Hình 2.4 Mơ hình tìm kiếm ảnh dựa đặc trưng cục 45 Hình 2.5 Một kết tìm kiếm chương trình H-MPEG7 48 Hình 2.6 Một kết tìm kiếm chương trình HR-MPEG7 48 Hình 2.7 Một kết tìm kiếm chương trình E-MPEG7 48 Hình 2.8 Một kết tìm kiếm chương trình ER-MPEG7 49 Hình 2.9 Một kết tìm kiếm chương trình EP-64 49 Hình 2.10 Một kết tìm kiếm chương trình EP-256 49 Hình 2.11 Thời gian tìm kiếm phương pháp tập ảnh COREL 50 Hình 2.12 Thời gian tìm kiếm phương pháp tập ảnh WANG 50 Hình 2.13 Thời gian tìm kiếm phương pháp tập ảnh ImgColl01 50 Hình 2.14 Hiệu suất tìm kiếm Sig-Tree tập ảnh COREL 51 Hình 2.15 Hiệu suất tìm kiếm Sig-Tree tập ảnh WANG 51 Hình 2.16 Hiệu suất tìm kiếm Sig-Tree tập ảnh ImgColl01 51 Hình 3.1 Minh họa chữ ký nhị phân đối tượng đặc trưng 55 Hình 3.2 Mơ hình tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 61 Hình 3.3 Một kết gom cụm tập ảnh COREL 61 Hình 3.4 Dữ liệu cụm sau phân hoạch tập ảnh COREL 61 Hình 3.5 Một kết tìm kiếm dựa gom cụm tập ảnh COREL 63 Hình 3.6 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh COREL 63 Hình 3.7 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh WANG 64 Hình 3.8 Thời gian tìm kiếm trung bình dựa gom cụm tập ảnh CBIRimages 64 v Hình 3.9 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 64 Hình 3.10 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL WANG 65 Hình 3.11 Minh họa đồ thị S-kGraph 69 Hình 3.12 Minh họa quy tắc phân bố hình ảnh vào đồ thị S-kGraph 70 Hình 3.13 Minh họa cụm lớn phân rã thành nhiều cụm nhỏ 76 Hình 3.14 Mơ hình tìm kiếm ảnh dựa đồ thị S-kGraph 77 Hình 3.15 Một kết tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 77 Hình 3.16 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh COREL 78 Hình 3.17 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh WANG 78 Hình 3.18 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.19 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 78 Hình 3.20 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL WANG 79 Hình 3.21 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.22 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 80 Hình 3.23 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 80 Hình 3.24 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 81 Hình 3.25 Thời gian tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 81 Hình 3.26 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 82 Hình 3.27 Mơ hình mạng Sig-SOM 88 Hình 3.29 Mơ hình tìm kiếm ảnh dựa mạng Sig-SOM 95 Hình 3.30 Một kết tìm kiếm mạng Sig-SOM tập ảnh MSRDI 95 Hình 3.31 Thời gian tìm kiếm mạng Sig-SOM tập ảnh COREL 96 Hình 3.32 Thời gian tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.33 Thời gian tìm kiếm mạng Sig-SOM tập ảnh WANG 96 Hình 3.34 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh CBIRimages 96 Hình 3.35 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL WANG 97 Hình 3.36 Thời gian tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.37 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 98 Hình 3.38 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 98 Hình 3.39 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF 99 Hình 3.39 Thời gian tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 99 Hình 3.41 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 100 vi DANH MỤC BẢNG BIỂU Bảng 1.1 Một kết gom cụm dải màu không gian CIE-L*a*b* RGB 14 Bảng 1.2 Các tập liệu ảnh thực nghiệm luận án 26 Bảng 2.1 Mơ tả chương trình tìm kiếm ảnh dựa Sig-Tree 46 Bảng 2.2 Đánh giá hiệu suất phương pháp tập liệu ảnh 52 Bảng 2.3 So sánh hiệu suất tìm kiếm phương pháp 52 Bảng 3.1 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL 66 Bảng 3.2 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 66 Bảng 3.3 Hiệu suất tìm kiếm dựa gom cụm tập ảnh WANG 66 Bảng 3.4 Hiệu suất tìm kiếm trung bình dựa gom cụm tập ảnh 67 Bảng 3.5 So sánh độ xác tìm kiếm tập ảnh COREL 67 Bảng 3.6 So sánh thời gian tìm kiếm tập ảnh COREL 67 Bảng 3.7 So sánh hiệu suất tìm kiếm tập ảnh CBIRimages 67 Bảng 3.8 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh COREL 83 Bảng 3.9 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh CBIRimages 83 Bảng 3.10 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh WANG 83 Bảng 3.11 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh MSRDI 84 Bảng 3.12 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImageCLEF 84 Bảng 3.13 Hiệu suất tìm kiếm đồ thị S-kGraph tập ảnh ImgColl02 85 Bảng 3.14 Hiệu suất tìm kiếm đồ thị S-kGraph tập liệu ảnh 86 Bảng 3.15 So sánh độ xác tìm kiếm tập ảnh COREL 86 Bảng 3.16 So sánh thời gian tìm kiếm tập ảnh COREL 86 Bảng 3.17 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL 101 Bảng 3.18 Hiệu suất tìm kiếm mạng Sig-SOM tập CBIRimages 101 Bảng 3.19 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh WANG 101 Bảng 3.20 Hiệu suất tìm kiếm mạng Sig-SOM tập ImgColl02 102 Bảng 3.21 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI 103 Bảng 3.22 Hiệu suất tìm kiếm mạng Sig-SOM tập ImageCLEF 103 Bảng 3.23 Hiệu suất tìm kiếm mạng Sig-SOM tập liệu ảnh 104 Bảng 3.24 So sánh độ xác tìm kiếm mạng Sig-SOM tập ảnh COREL 104 Bảng 3.25 So sánh hiệu suất phương pháp đề xuất 105 vii ... tin chữ ký Bản đồ tự tổ chức Đặt trưng hình ảnh SIFT Bản đồ chữ ký nhị phân Cây chữ ký Sig-Tree Đồ thị chữ ký gom cụm Đồ thị chữ ký Cây chữ ký S-Tree Đặc trưng hình ảnh SURF Vec-tơ hỗ trợ SVM Tìm. .. đến tìm kiếm ảnh; nghiên cứu chữ ký nhị phân mô tả nội dung ảnh, cấu trúc liệu lưu trữ chữ ký nhị phân, độ đo tương tự chữ ký nhị phân thuật tốn tìm kiếm ảnh theo nội dung Trên sở phân tích, đánh... phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân; - Đề xuất thuật toán dựa sở lý thuyết cho phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân Chƣơng TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO