Đánh giá các phương pháp tìm kiếm ảnh dựa trên nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ HỒNG NHUNG ĐÁNH GIÁ CÁC PHƢƠNG PHÁP TÌM KIẾM ẢNH DỰA TRÊN NỘI DUNG LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN Hà Nội, năm 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ THỊ HỒNG NHUNG ĐÁNH GIÁ CÁC PHƢƠNG PHÁP TÌM KIẾM ẢNH DỰA TRÊN NỘI DUNG Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã ngành: 60 48 05 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS LƢƠNG CHI MAI Hà Nội, năm 2013 VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY VU THI HONG NHUNG EVALUATING SEVERAL CONTENT-BASED IMAGE RETRIEVAL METHODS Department: Information Technology Major: Information System Major code: 60 48 05 MASTER THESIS IN INFORMATION TECHNOLOGY SUPPERVISION: ASSOC PROF PHD LUONG CHI MAI Hanoi, 2013 MỤC LỤC MỞ ĐẦU _1 Giới thiệu toán Mục tiêu nghiên cứu Bố cục luận văn CHƯƠNG GIỚI THIỆU 1.1 Tìm kiếm ảnh dựa nội dung 1.2 Ứng dụng tìm kiếm ảnh dựa nội dung 1.3 Các đặc trưng thường dùng tìm kiếm ảnh theo nội dung 1.4 Độ tương tự 12 1.5 Đánh giá kết tìm kiếm _13 1.6 Kết luận _14 CHƯƠNG MỘT SỐ PHƯƠNG PHÁP TÌM KIẾM DỰA TRÊN ẢNH TRONG VỊNG MƯỜI NĂM 15 2.1 Phương pháp lược đồ màu _15 2.2 Dựa túi từ BOW _16 2.3 Dựa không gian 16 2.4 Ứng dụng tổng hợp hoàn thiện ảnh _18 2.5 Ứng dụng phân tích ảnh 19 2.6 Kết luận _19 CHƯƠNG TÌM KIẾM DỰA TRÊN LƯỢC ĐỒ MÀU VỚI ẢNH PHÁC THẢO 20 3.1 Giới thiệu 20 3.2 Phương pháp Swain Ballard 1991 21 3.3 Phương pháp 23 3.4 Thử nghiệm 24 3.5 Kết luận _41 CHƯƠNG TÌM KIẾM DỰA TRÊN LƯỢC ĐỒ KHÁI NIỆM 43 4.1 Giới thiệu 43 4.2 Các phương pháp dựa lược đồ điểm đặc trưng 44 4.3 Giao diện truy vấn _45 4.4 Phương pháp so sánh lược đồ 45 4.5 Hệ thống tìm kiếm dựa khái niệm 46 4.6 Thử nghiệm 48 4.7 Kết luận _50 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM _52 5.1 Giới thiệu chương trình _52 5.2 Cấu hình hệ thống 52 5.3 Bộ liệu thử nghiệm _52 5.4 Hướng dẫn cài đặt 53 5.5 Chương trình thử nghiệm với phương pháp tìm kiếm dựa lược đồ màu 54 5.6 Chương trình thử nghiệm với phương pháp tìm kiếm dựa lược đồ khái niệm 56 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 59 Kết đạt luận văn _59 Hướng phát triển 59 TÀI LIỆU THAM KHẢO _61 Tài liệu tiếng Anh _61 Tài liệu tiếng Việt _63 DANH MỤC CÁC THUẬT TỐN, CƠNG THỨC Cơng thức 1.1 Cơng thức tính độ tương tự lược đồ màu [1] _12 Công thức 1.2 Cơng thức tính độ tương tự khoảng cách Euclidean lược đồ màu 13 Công thức 1.3 Khả nhớ lại (Recall) _13 Công thức 1.4 Khả nhớ lại trung bình (Average Recall) _13 Cơng thức 1.5 Độ xác hệ thống (Precision) _14 Cơng thức 1.6 Độ xác trung bình hệ thống (Average Precision) _14 Công thức 3.1: Xác định ô nhớ cho màu lược đồ màu _22 Thuật toán 3.1: Thuật tốn tính lược đồ màu cho ảnh màu 22 Thuật toán 3.2: Thuật tốn tìm kiếm dựa lược đồ màu _23 Công thức 3.2: Định nghĩa mặt nạ so sánh độ đo dựa mặt nạ Mục đích tập trung vào ô nhớ có màu lược đồ đầu vào bỏ qua điểm nhiễu _23 Thuật toán 3.3: Thuật toán thêm cấp xám vào ảnh tổng hợp để có lược đồ màu gần với lược đồ màu ảnh tự nhiên, nhằm tăng khả tìm thấy (recall) hệ thống tìm kiếm. 24 Bảng 3.1: Chia tập dữ liê ̣u SIFT flow theo chủ đề 24 Bảng 3.2: Tìm kiếm ảnh tự nhiên sử dụng lược đồ màu Chỉ số Recall thực nghiệm với ảnh tự nhiên 25 Bảng 3.3: Thử nghiệm ảnh màu Chỉ số Avarage Recall với phương phá _29 Bảng 3.4: Tìm kiếm ảnh phác thảo nhiều màu sử dụng lược đồ màu Chỉ số Avarage Recall với phương pháp 36 Thuật toán 4.1: Hình thành lược đồ khái niệm _44 Thuật toán 4.2: Đánh nhãn tự động cách chọn láng giềng gần 47 Thuật toán 4.3: Lọc ảnh/nhãn gần với ảnh đầu vào 48 Bảng 4.1 Chỉ số Avarage Recall sử dụng khoảng cách Euclidean Hamming 49 Bảng 5.1 Các tham số truyền vào chạy tập tin querywithcolplus.exe _54 Bảng 5.2 Các tham số truyền vào chạy tập tin querywithmask.exe 57 DANH MỤC CÁC HÌNH VẼ Hình 1.1: Tìm kiếm hình ảnh dựa từ khóa Mỗi ảnh gắn với số từ khóa định, khơng gian ảnh chuyển hóa thành khơng gian từ Do việc tìm kiếm ảnh so khớp từ khóa với từ khóa (tài liệu từ với tài liệu từ) Hình 1.2: Tìm kiếm ảnh ảnh đầu vào Khi dùng phần mềm tạo ảnh (mspaint, photoshop) để tạo ảnh kích thước 256x256 với màu đỏ dùng ảnh làm đầu vào q trình tìm kiếm, ta không kết mong muốn Chưa kể, ta có gợi ý "black color" thay cho "red color" _4 Hình 1.3: Hồn thiện ảnh (image completion) cách tìm kiếm lượng lớn ảnh để tìm phần cịn thiếu tương thích với phần có [12] _5 Hình 1.4 Tổng hợp ảnh cách vẽ phần tử ảnh (núi, cây, nhà) tìm kiếm phần tử sở liệu ghép chúng lại thành ảnh tổng hợp [13] _5 Hình 1.5: Tổng hợp ảnh cách vẽ phác thảo ảnh, chọn thành phần từ kết tìm kiếm, sau ghép lại thành tổng hợp [14] Hình 1.6: Phân tích ảnh cách sử dụng ánh xạ điểm đặc trưng (SIFT flow) ảnh ví dụ đánh nhãn [10] Hình 1.7: Phân tích ảnh diện rộng cách tìm kiếm ảnh ví dụ sở liệu chép nhãn từ ảnh ví dụ sử dụng thơng tin cục bộ, thông tin không gian [22] _6 Hình 1.8 Ví dụ tìm kiếm dựa màu sắc _7 Hình 1.9 Ví dụ tìm kiếm dựa kết cấu _8 Hình 1.10 Sử dụng blobworld để tìm kiếm ảnh hổ Kết tìm kiếm đưa với hình ảnh liệu vùng tương ứng ảnh Trong 50 ảnh tìm thấy có 28% hình hổ [21] Hình 1.11 Hình dạng lược đồ hình dạng đặc trưng Ảnh bị biến đổi hình dạng thay đổi [23] 10 Hình 1.12 Hệ thống nhận ảnh từ góc nhìn khác Nếu ta cho đầu vào hình bên trái, hệ thống tìm hình bên phải [24] _11 Hình 1.13 Hệ thống tìm ảnh gốc ảnh đầu vào bị che lấp (occlusion) phần Mặc dù đầu vào bên trái bị che khuất, hệ thống tìm lại vật nguyên vẹn bên phía phải [24] _11 Hình 1.14 Hình ảnh bên phải tìm thấy xác sử dụng hình bên trái để tìm kiếm Các ảnh hình bên trái hình bị thay đổi tỉ lệ, bị quay, thay đổi hình hiển thị phần so với ảnh bên trái [24] 12 Hình 2.1: Thông tin không gian không phản ánh lược đồ màu Phân bố điểm ảnh không gian không quan trọng tần xuất chúng quan trọng _15 Hình 2.2: Giới thiệu thơng tin khơng gian vào mơ hình túi từ Chia nhỏ ảnh thành phần theo nhiều mức khác so khớp thành phần tương ứng phương pháp đơn giản để giới thiệu thông tin không gian [5] 17 Hình 2.3: Biểu diễn hình dạng (shape) đồ vật dựa kim tự tháp không gian [7] _17 Hình 3.1: Tìm kiếm sử dụng lược đồ màu (a) Phương pháp Swain Ballard (b) Tập trung vào màu đầu vào để tránh nhiễu (c) Sinh thêm điểm màu để khớp với lược đồ tự nhiên _21 Hình 3.2: Thí nghiệm ảnh tự nhiên Cả hai phương pháp tìm ảnh gốc, ảnh gốc bị xoay 90, 180, 270 độ Việc tăng cấp xám phương pháp không ảnh hưởng tới kết tìm kiếm 26 Hình 3.3: Phương pháp hoạt động ảnh tự nhiên Việc thêm cấp xám cho ảnh tự nhiên không làm ảnh hưởng nhiều tới kết tìm kiếm _27 Hình 3.4: Khi thay đổi số cấp xám sinh ra, có kết tìm kiếm khác Số cấp xám từ 0-16 cho kết gần với thuật toán nguyên thủy Số cấp xám từ 16-32 cho ta dải màu phù hợp Khi tăng ba kênh lên 50 tới 100 cấp xám, gặp nhiều điểm màu đen cấp xám gần _28 Hình 3.5: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập Coast 30 Hình 3.6: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập coast 31 Hình 3.7: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập forest 32 Hình 3.8: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập insidecity _33 Hình 3.9: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập opencountry _34 Hình 3.10: Tìm kiếm ảnh phác thảo màu sử dụng lược đồ màu Thử nghiệm tập tallbuilding _35 Hình 3.11: Tìm kiếm ảnh phác thảo nhiều màu màu sử dụng lược đồ màu Thí nghiệm tập coast _37 Hình 3.12: Tìm kiếm ảnh phác thảo nhiều màu màu sử dụng lược đồ màu Thí nghiệm tập forest _38 Hình 3.13: Tìm kiếm ảnh phác thảo nhiều màu màu sử dụng lược đồ màu Thí nghiệm tập opentcountry _39 Hình 3.14: Tìm kiếm ảnh phác thảo nhiều màu màu sử dụng lược đồ màu Thí nghiệm tập opentcountry _40 Hình 3.15: Tìm kiếm ảnh phác thảo nhiều màu màu sử dụng lược đồ màu Thí nghiệm tập street _41 Hình 4.1: Tìm kiếm dựa màu sắc (color) dựa khái niệm (concept) Nếu người dùng thực muốn tìm cảnh núi trời, dùng màu sắc túy (hình trái) có kết gồm hình với màu sắc tương tự Nhưng cung cấp thêm nhãn (trời, núi, mặt trời) cho hình vẽ, hình tương tự _43 Hình 4.2 Phương pháp sinh ảnh dựa lược đồ [3] _44 Hình 4.3: Từ ảnh phác thảo tới lược đồ khái niệm Chúng cung cấp giao diện cho phép người dùng đánh nhãn số điểm hình Sau chúng tơi có thuật tốn tự động để đánh nhãn điểm lại Cuối cùng, chúng tơi chuyển tồn lược đồ ảnh đánh nhãn thành lược đồ khái niệm 45 Hình 4.4: So sánh khoảng cách Euclidean hai lược đồ khoảng cách Hamming hai lược đồ nhị phân Khi tìm khái niệm nhỏ có số lược (thuyền biển, xe đường, chim trời, mặt trời) khái niệm có số lượng lớn (trời, nước, cây) thường lấn át khó có kết mong muốn (hình trái) Nhưng sử dụng lược đồ nhị phân (có/khơng có mặt trời, có khơng có xe) so sánh hai lược đồ nhị phân, có kết ý định tìm kiếm (hình phải) 46 Hình 4.5: Hệ thống tìm kiếm _47 Hình 4.6: Kết ảnh vẽ (a) Sử dụng khoảng cách Euclideanan (b) Sử dụng khoảng cách Hamming 50 Hình 5.1 Cấu trúc thư mục liệu SIFT flow _52 Hình 5.2 Truyền tham số chạy chương trình theo phương pháp Swain Ballard _55 Hình 5.3 Truyền tham số chạy chương trình theo phương pháp đề xuất 55 Hình 5.4: Kết chương trình chạy với tập tin querywithcolor.exe _56 Hình 5.5 Truyền tham số chạy khoảng cách Euclidean _57 Hình 5.6 Truyền tham số chạy khoảng cách Hamming _57 Hình 5.7 Giao diện gán nhãn cho người dùng 58 MỞ ĐẦU Giới thiệu toán Ngày nay, với phát triển kỹ thuật số, lượng ảnh lưu trữ sở liệu ngày cao Do đó, nhu cầu tìm ảnh mong muốn tập sở liệu lớn lớn Để giải vấn đề này, có nhiều phương pháp tìm kiếm ảnh dựa nội dung đề xuất Vấn đề tìm kiếm thơng tin (Information Retrieval), [16] kết nối tài liệu đầu vào (query document) tài liệu lưu trữ (stocked document) Trong trường hợp cụ thể tìm kiếm ảnh, cần so sánh ảnh đầu vào (query image) với ảnh lưu trữ (stocked image) để lựa chọn ảnh phù hợp Nếu đầu vào từ khóa, cần chuyển ảnh lưu trữ thành từ khóa Nhưng đầu vào ảnh tổng hợp (synthetic image), cần tìm cách xử lý ảnh để khớp với ảnh tự nhiên (natural image) lưu sở liệu Thực tế, có nhiều trường hợp người dùng muốn tìm ảnh họ khơng có ảnh tương tự để đưa vào tìm kiếm Trong trường hợp đó, họ mơ tả ảnh cần tìm cách đánh từ khóa vẽ phác thảo để làm đầu vào cho trình tìm kiếm Như biết, dùng từ khóa để tìm kiếm kết thường khơng xác từ khóa khơng thể mơ tả hết nội dung ảnh Vậy làm để so khớp ảnh phác thảo người dùng vẽ với ảnh tự nhiên lưu trữ sở liệu? Chúng nghiên cứu số phương pháp tìm kiếm ảnh dựa nội dung để tập trung so khớp tài liệu đầu vào ảnh phác thảo với tài liệu lưu trữ ảnh tự nhiên Mục tiêu nghiên cứu Trong luận văn này, chúng tơi tìm hiểu tổng quan tìm kiếm ảnh dựa nội dung, số phương pháp tìm kiếm ảnh theo nội dung năm gần Chúng nghiên cứu, thử nghiệm đánh giá với hai phương pháp tìm kiếm dựa lược đồ màu tìm kiếm dựa lược đồ khái niệm toán cụ thể nêu Đồng thời đưa đề xuất cho hai phương pháp nhằm nâng cao hiệu tìm kiếm 49 Cảnh Khái niệm nhỏ ảnh Recall Recall (Euclidean) (Hamming) coast-sun-sea sun 0.166666667 0.533333333 coast-boat-sea boat 0.066666667 0.2 highway-tree-car car 0.2 0.833333333 Avarage Recall 0.144444444 0.522222222 Bảng 4.1 Chỉ số Avarage Recall sử dụng khoảng cách Euclidean Hamming 50 (a) Sử dụng khoảng cách Euclideanan (b) Sử dụng khoảng cách Hamming Hình 4.6: Kết ảnh vẽ (a) Sử dụng khoảng cách Euclideanan (b) Sử dụng khoảng cách Hamming 4.7 Kết luận Trong chương này, luận văn trình bày phương pháp tìm kiếm ảnh dựa lược đồ khái niệm Vogel Shielle 2004 Luận văn đưa hai đề xuất cho phương pháp - Thứ đề xuất giao diện tìm kiếm Luận văn dựa việc thêm tương tác vào ảnh phác thảo cộng với sử dụng ảnh đánh nhãn để tăng tính hiệu thuật tốn tìm kiếm Kết tìm phù hợp 51 mặt ngữ nghĩa so với ảnh dùng đặc trưng vật lý (màu sắc, cạnh) - Thứ hai đề xuất phương pháp so sánh lược đồ khái niệm cách sử dụng khoảng cách Hamming nhằm tăng khả tìm thấy khái niệm có diện tích nhỏ ảnh Kết đạt cho thấy phương pháp luận văn có nhiều khả tìm thấy khái niệm có diện tích nhỏ ảnh 52 CHƢƠNG CHƢƠNG TRÌNH THỬ NGHIỆM Trong chương giới thiệu hướng dẫn sử dụng chương trình thử nghiệm tương ứng với hai phương pháp tìm kiếm lược đồ màu lược đồ khái niệm 5.1 Giới thiệu chƣơng trình Chương trình gồm file querywithcolplus.exe querywithmask.exe File querywithcolplus.exe để thử nghiệm với phương pháp tìm kiếm dựa màu File querywithmask.exe để thử nghiệm với phương pháp tìm kiếm dựa lược đồ khái niệm Để chạy chương trình này, cần chạy tập tin định dạng file *.bat để đưa tham số đầu vào Kết qủa chương trình danh sách ảnh tìm hiển thị file *.html, đồng thời file hình ảnh đầu vào kết lưu trữ thư mục kết 5.2 Cấu hình hệ thống Hệ điều hành: Windows XP/Vista/2007 Ngôn ngữ phát triển: C# sử dụng công cụ Visual Studio 2012 Yêu cầu môi trƣờng: Cài đặt môi trường Net FrameWork 4.0 5.3 Bộ liệu thử nghiệm Các ảnh tập sở liệu lấy từ sở liệu SIFT flow [26] Hình 5.1 mơ tả cấu trúc thư mục liệu SIFT flow Hình 5.1 Cấu trúc thư mục liệu SIFT flow 53 Thư mục Images\spatial_envelope_256x256_static_8outdoorcategories lưu 2688 ảnh tự nhiên kích thước 256X256 Các ảnh chia làm cảnh tự nhiên (coast, forest, mountain, highway, street, open country, tall building, inside city) Chúng sử dụng ảnh thư mục để làm ảnh lưu trữ trình thực nghiệm với phương pháp lược đồ màu lược đồ khái niệm Thư mục lưu thông tin nhãn cho ảnh tương tứng SemanticLabels\spatial_envelope_256x256_static_8outdoorcategories Chúng sử dụng nhãn phương pháp tìm kiếm dựa lược đồ khái niệm Ví dụ: - Đường dẫn tới ảnh: E:\7.LV\siftflow\Images\spatial_envelope_256x256_static_8outdoorcategories\c oast_arnat59.jpg - Đường dẫn tới nhãn: E:\7.LV\siftflow\SemanticLabels\spatial_envelope_256x256_static_8outdoorcat egories\coast_arnat59.mat.textgl 5.4 Hƣớng dẫn cài đặt Bƣớc 1: Copy SIFT-flow vào máy tính, ví dụ E:\7.LV\siftflow Bƣớc 2: Copy hai file querywithcolplus.exe querywithmask.exe vào máy tính, ví dụ để thư mục E:\7.LV Bƣớc 3: Tạo mục tới ảnh nhãn tập SIFT flow lưu dạng file text - Tạo mục tới ảnh cách tạo file định dạng *.bat sử dụng lệnh: dir /b/s *.jpg >E:\7.LV\dataset\view2688-ip.txt - Tạo mục tới nhãn cách tạo file định dạng *.bat sử dụng lệnh sau: dir /b/s *.textgl >E:\7.LV\dataset\view2688-lp.txt 54 5.5 Chƣơng trình thử nghiệm với phƣơng pháp tìm kiếm dựa lƣợc đồ màu Trong mục giới thiệu bước để chạy phương pháp tìm kiếm dựa lược đồ màu Trong lần chạy đầu tiên, hệ thống tạo mục cho toàn ảnh lưu trữ, ví dụ view2688-ip.txt.colorindex Chúng tơi thử nghiệm thấy thời gian để đánh toàn mục cho 2688 ảnh khoảng 15 phút Từ lần chạy sau, hệ thống khoảng giây có kết Bƣớc 1: Tạo file định dạng *.bat để đưa tham số đầu vào Chú ý file thư mục với file querywithcolplus.exe Ví dụ, tạo file: E:\7.LV\test_querywithcolplus.bat Bƣớc 2: Truyền tham số Các tham số cần truyền Bảng 5.1 Sau điền tham số xong, lưu tập tin Tham số querywithcolplus inf outf indexf nbest dist Ý nghĩa Tập tin chạy Đường dẫn tới ảnh đầu vào Đường dẫn, tên file kết Đường dẫn tới mục file ảnh, E:\7.LV\dataset\view2688-ip.txt ví dụ Số kết muốn tìm Phương pháp tìm kiếm - Nếu dist = normal: phương pháp Swain Ballar 1991 - Nếu dist = focus: phương pháp đề xuất chúng tơi msgb Lựa chọn có hiển thị thông báo chạy hay không (yes/no) red, green, blue Số cấp xám thêm vào lược đồ Bảng 5.1 Các tham số truyền vào chạy tập tin querywithcolplus.exe Phƣơng pháp Swain Ballard 1991 Chọn tham số dist = normal, không truyền giá trị vào red, green, blue Xem Hình 5.1 để thấy cách truyền tham số 55 Hình 5.2 Truyền tham số chạy chương trình theo phương pháp Swain Ballard Phƣơng pháp đề xuất Chọn dist = focus, điền giá trị vào red, green, bue muốn tăng cấp xám Xem Hình 5.2 để thấy cách truyền tham số Hình 5.3 Truyền tham số chạy chương trình theo phương pháp đề xuất Bƣớc 3: Chạy chương trình Kích đúp chuột vào file *.bat lưu Bƣớc 4: Xem kết Kết chương trình ảnh kết trình bày tập tin *.html mà người dùng điền thư mục tương ứng chứa file ảnh đầu vào ảnh kết Ví dụ, kết sau trình bày tập tin E:\7.LV\test-colorindex\mountain-sun@querywithcol@focus.html xem Hình 5.3, thư mục E:\7.LV\test-colorindex\mountain-sun@querywithcol@focus_file 56 Hình 5.4: Kết chương trình chạy với tập tin querywithcolor.exe 5.6 Chƣơng trình thử nghiệm với phƣơng pháp tìm kiếm dựa lƣợc đồ khái niệm Trong mục giới thiệu bước để chạy phương pháp tìm kiếm dựa lược đồ màu Trong lần chạy đầu tiên, hệ thống tạo mục cho tồn nhãn ảnh lưu trữ, ví dụ view2688-lp.txt.conceptindex Chúng thử nghiệm thấy thời gian để đánh toàn mục cho nhãn 2688 ảnh khoảng 17 phút Từ lần chạy sau, hệ thống khoảng giây có kết Hệ thống kiểm tra xem ảnh đầu vào gán nhãn chưa Nếu chưa gán nhãn (chưa có tập tin *.masklabel *.pointlable) hiển thị giao diện cho người dùng gán nhãn Nếu có hệ thống khơng giao diện cho người dùng đánh nhãn lấy nhãn gán để tìm kiếm Bƣớc 1: Tạo file định dạng *.bat để đưa tham số đầu vào Chú ý file thư mục với file querywithmask.exe Ví dụ, tạo file: E:\7.LV\test_querywithmask.bat Bƣớc 2: Truyền tham số Các tham số cần truyền Bảng 5.2 57 Tham số querywithmask inf outf indexf nbest dist Ý nghĩa Tập tin chạy Đường dẫn tới ảnh đầu vào Đường dẫn, tên file kết Đường dẫn tới mục nhãn ảnh, tập E:\7.LV\dataset\view2688-lp.txt ví dụ Số kết muốn tìm Phương pháp tìm kiếm - Nếu dist=normal: Sử dụng khoảng cách Euclidean - Nếu dist = bool: Sử dụng khoảng cách Hamming msgb Lựa chọn có hiển thị thơng báo chạy hay không (yes/no) Bảng 5.2 Các tham số truyền vào chạy tập tin querywithmask.exe Sử dụng khoảng cách Euclidean Chọn dist = normal, xem Hình 5.5 Hình 5.5 Truyền tham số chạy khoảng cách Euclidean Sử dụng khoảng cách Hamming Chọn dist = bool, xem Hình 5.6 Hình 5.6 Truyền tham số chạy khoảng cách Hamming Bƣớc 3: Chạy chương trình Kích đúp chuột vào file *.bat lưu 58 Bƣớc 4: Gán nhãn Hệ thống kiểm tra thấy ảnh đầu vào chưa gán nhãn (chưa có tập tin *.masklabel *.pointlable) hiển thị giao diện cho người dùng gán nhãn Xem Hình 5.8 Hình 5.7 Giao diện gán nhãn cho người dùng Bƣớc 4: Xem kết tương tự Bước Mục 5.4 59 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết đạt đƣợc luận văn Luận văn trình bày tổng quan tìm kiếm ảnh dựa nội dung, số phương pháp tìm kiếm ảnh dựa nội dung Luận văn trình bày, cài đặt thành cơng hai phương pháp tìm kiếm dựa lược đồ màu tìm kiếm dựa lược đồ khái niệm toán cụ thể với đầu vào ảnh phác thảo Trong luận văn này, có đề xuất thêm với hai phương pháp tìm kiếm (tìm kiếm dựa lược đồ màu tìm kiếm dựa lược đồ khái niệm) nhằm nâng cao hiệu tìm kiếm Đề xuất chúng tơi dựa vấn đề tìm kiếm, thiết lập cầu nối tài liệu truy vấn (query document) tài liệu có sẵn (stocked document) Đề xuất thứ nhằm tăng cường giống ảnh tổng hợp ảnh tự nhiên cách tăng cấp xám cho lược đồ ảnh tổng hợp Việc gây nhiễu ảnh tổng hợp cách đơn giản để thêm cấp xám cho lược đồ ảnh tổng hợp Chúng nhận thấy việc so sánh hai ảnh tập trung vào màu có ảnh truy vấn mang lại kết tốt việc so sánh toàn lược đồ Khi so sánh tập trung vào màu truy vấn, ta loại bỏ nhiễu gây màu không truy vấn Đề xuất thứ hai phương pháp so sánh lược đồ khái niệm nhằm tăng khả tìm thấy khái niệm nhỏ ảnh cách sử dụng khoảng cách Hamming lược đồ nhị phân Kết phương pháp nhấn mạnh vào khái niệm ảnh, không phụ thuộc vào diện tích chúng ảnh Chúng tơi đề xuất thêm giao diện truy vấn ảnh cách cung cấp giao diện cho phép người dùng đánh nhãn số điểm hình phác thảo Chúng tơi có thuật tốn tự động để đánh nhãn điểm cịn lại chuyển toàn lược đồ ảnh đánh nhãn thành lược đồ khái niệm Việc cung cấp giao diện truy vấn thuận tiện cho người sử dụng, giúp họ dễ dàng mơ tả xác ảnh mà họ mong muốn tìm kiếm Hƣớng phát triển Các thuật tốn chúng tơi hầu hết tìm kiếm tuyến tính khơng thể thực sở liệu lên tới hàng triệu ảnh Hướng phát triển 60 chúng tôi, đó, cài đặt cải thiện thuật toán với liệu lớn (hàng triệu) thời gian thực Một mặt, kết hợp nhiều CPU lúc làm giảm thời gian tính tốn Nhưng, mặt khác, xem xét đến giải pháp mềm hàm băm (hashing) mục (indexing) để cải thiện tốc độ Chúng tập trung cải tiến phương pháp chúng tơi trình bày giới thiệu hàm băm mục tìm kiếm Câu hỏi đặt "liệu tạo khóa băm chứa thông tin khái niệm không gian hay không" Nếu có, thay việc tìm kiếm ảnh tuyến tính cách băm ảnh đầu vào tra ảnh tìm dựa khóa băm Và câu hỏi tương tự "liệu tìm kiếm xấp xỉ chiều khác lược đồ màu, sau kết hợp kết lại để đạt kết tìm kiếm xấp xỉ nhanh có thể" 61 TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh [1] Michael J Swain , Dana H Ballard (1991), “Color indexing”, International Journal of Computer Vision [2] Jutta Willamowski, Damian Arregui, Gabriela Csurka, Chris Dance, Lixin (2004), “Categorizing Nine Visual Classes using Local Appearance Descriptors”, ICPR 2004 Workshop Learning for Adaptable Visual Systems Cambridge, United Kingdom 22 August, 2004 [3] Julia Vogel, Bernt Schiele (2004), “A Semantic Typicality Measure for Natural Scene Categorization”, Pattern Recognition Symposium, DAGM [4] Julia Vogel, Bernt Schiele (IJCV 2006), “Semantic modeling of natural scenes for content-based image retrieval”, [5] S Lazebnik, C Schmid, and J Ponce (CVPR 2006), “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories” [6] L Fei-Fei and P Perona (2005), “A Bayesian Hierarchical Model for Learning Natural Scene Categories” [7] A Bosch (2007), “Image Classification for a largre number of object categories”, Departament d'Electrònica, Informàtica i Automàtica Universitat de Girona [8] A.Bosch, A.Zisserman, X.Muñoz (2007), “Image Classification Using Random Forests and Ferns, IEEE International Conference on Computer Vision” Rio de Janeiro, Brazil [9] A.Bosch, A.Zisserman, X.Muñoz (2007), “Representing Shape with a Spatial Pyramid Kernel” International Conference on Image and Video Retrieval Amsterdam, The Netherlands [10] C Liu, J Yuen, A Torralba (2009), “Nonparametric scene parsing: label transfer via dense scene alignmen” 62 [11] Joseph Tighe, Svetlana Lazebnik (2013), “SuperParsing: Scalable Nonparametric Image Parsing with Superpixels”, IJCV, Vol 101, I 2, pp 329-349 [12] James Hays, Alexei A Efros (2007), “Scene Completion Using Millions of Photographs”, Compter graphics processings, annual conference series [13] Mathias Eitz, Kristian Hildebrand, Tamy Boubekeur, Marc Alexa (2009) “PhotoSketch: A Sketch Based Image Query and Compositing System” [14] Tao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir, Shi-Min Hu (2009) “Sketch2Photo: Internet Image Montage” [15] M Jonson, G.J Brostow, J Shotton, O Arandjeovic, V.Kwatra, R.Cipolla (2006), “Semantic photo synthesis”, Eurographics 2006/E.Groller and L.Szirmay-Kalos, volume 25, number [16] http://nlp.stanford.edu/IR-book/ [17] G Salton, A Wong, C S Yang (1975), “A Vector Space Model for Automatic Indexing” [18] http://en.wikipedia.org/wiki/Vector_space_model [19] http://en.wikipedia.org/wiki/Content-based_image_retrieval [20] A Criminisi, P.Pérez, Toyama (2004), “Region Filling and Object Removal by Exempla-Based Image Inpainting”, IEEE transaction on image processing, vol.13 [21] Serge Belongie, Chad Carson, Hayit Greenspan, Jitendra Malik (1998), “Color- and Texture-Based Image Segmentation Using EM and Its Application to Content-Based Image Retrieval” [22] Joseph Tighe, Svetlana Lazebnik (2013), “ SuperParsing: Scalable Nonparametric Image Parsing with Superpixels”, IJCV, Vol 101, I 2, pp 329-349 [23] Anil K Jain, Adittya Vailaya (1995), “Image Retrieval using color and shape” 63 [24] Cordelia Schmid, Roger Mohr (1997), “Local grayvalue invariants for image retrieval”, IEEE transactions on pattern analysis and machine intelligence, vol 19, no [25] Alexei A Efros, Thomas K Leung (1999), “Texture Synthesis by Nonparametric Sampling”, IEEE International conference on computer Vision, Corfu, Greece [26] Ce Liu, Yenny Yuen, Antonio Torralba, Josef Sivic, William T Freeman (2009), “SIFT Flow: Dense Correspondence across Different Scenes” Tài liệu tiếng Việt [27] http://www.google.com.vn/imghp ... THIỆU 1.1 Tìm kiếm ảnh dựa nội dung 1.2 Ứng dụng tìm kiếm ảnh dựa nội dung 1.3 Các đặc trưng thường dùng tìm kiếm ảnh theo nội dung 1.4 Độ tương tự ... trữ ảnh tự nhiên Mục tiêu nghiên cứu Trong luận văn này, chúng tơi tìm hiểu tổng quan tìm kiếm ảnh dựa nội dung, số phương pháp tìm kiếm ảnh theo nội dung năm gần Chúng nghiên cứu, thử nghiệm đánh. .. lớp ảnh, thơng qua vị trí, không gian, định lượng màu ảnh Màu sắc đặc trưng bật sử dụng phổ biến tìm kiếm ảnh theo nội dung Trong tìm kiếm ảnh dựa vào màu sắc phương pháp phổ biến để tìm kiếm ảnh