tìm kiếm ảnh theo nội dung sử dụng bộ lọc gabor

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH KHOA HOC MÁY TÍNH ĐỀ TÀI TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BỘ LỌC GABOR Sinh viên thực hiện: Nguyễn Tiến Đạt MSSV: 1111492 Khóa: 37 Cần Thơ, 5/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BỘ MÔN KHOA HỌC MÁY TÍNH LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH KHOA HOC MÁY TÍNH ĐỀ TÀI TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BỘ LỌC GABOR Giáo viên hướng dẫn: Sinh viên thực hiện: Ths Phạm Nguyên Hoàng Nguyễn Tiến Đạt MSSV: 1111492 Khóa: 37 Cần Thơ, 5/2015 Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN  Cần Thơ, ngày tháng năm 2015 Giáo viên hướng dẫn GVHD: Ths Phạm Nguyên Hoàng - Trang i - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN  Cần Thơ, ngày tháng năm 2015 Giáo viên phản biện GVHD: Ths Phạm Nguyên Hoàng - Trang ii - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor LỜI CÁM ƠN Để hoàn thành tốt đề tài luân văn: “Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor” thiếu giúp đỡ, hướng dẫn tận tình quý Thầy, Cô Khoa Công nghệ thông tin & Truyền thông Trường Đại học Cần Thơ nói chung Thầy, Cô môn Khoa Học Máy Tính nói riêng Thầy, Cô truyền đạt cho em kiến thức bản, cốt yếu kinh nghiệm quý báu thông qua môn học, giúp em vận dụng hoàn thành đề tài cách tốt Em xin gửi lời cám ơn chân thành, sâu sắc đến Thầy, Cô… Và đặc biệt em xin chân thành cám ơn Ths Phạm Nguyên Hoàng, Thầy tận tình hướng dẫn, giúp đỡ đóng góp ý kiến cho em suốt trình thực đề tài luận văn Mặc dù trình thực đề tài gặp nhiều khó khăn, nhờ ân cần, bảo, hướng dẫn tận tình thông qua buổi thảo luận với Thầy mà em hoàn đề tài cách tốt Cuối cùng, em muốn gửi lời cảm ơn đến gia đình bạn bè, người thân yêu bên cạnh, động viên em suốt trình học tập thực đề tài luận văn Em xin chân thành cám ơn.! Cần Thơ, ngày 10 tháng năm 2015 Sinh viên thực Nguyễn Tiến Đạt GVHD: Ths Phạm Nguyên Hoàng - Trang iii - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor MỤC LỤC NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN i NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ii LỜI CÁM ƠN iii MỤC LỤC iv DANH MỤC CÁC HÌNH vi DANH SÁCH CÁC TỪ VIẾT TẮT vii TÓM TẮT viii ABSTRACT ix PHẦN I: GIỚI THIỆU TỔNG QUAN 1 ĐẶT VẤN ĐỀ LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ MỤC TIÊU ĐỀ TÀI ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU NỘI DUNG NGHIÊN CỨU NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI PHẦN II: NỘI DUNG LUẬN VĂN .3 CHƯƠNG 1: MÔ TẢ BÀI TOÁN MÔ TẢ CHI TIẾT ĐỀ TÀI PHÂN TÍCH, ĐÁNH GIÁ CÁC GIẢI PHÁP CÓ LIÊN QUAN CHƯƠNG 2: THIẾT KẾ VÀ CÀI ĐẶT HỆ THỐNG THIẾT KẾ HỆ THỐNG CÀI ĐẶT HỆ THỐNG 11 CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ 12 KẾT QUẢ NGHIÊN CỨU 12 KIẾM THỬ VÀ ĐÁNH GIÁ 15 PHẦN III: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 19 KẾT LUẬN 19 HƯỚNG PHÁT TRIỂN 20 DANH MỤC TÀI LIỆU THAM KHẢO .21 GVHD: Ths Phạm Nguyên Hoàng - Trang iv - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Phụ Lục 22 Hướng dẫn cài đặt 22 Sử dụng chương trình 22 GVHD: Ths Phạm Nguyên Hoàng - Trang v - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor DANH MỤC CÁC HÌNH Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng lọc Gabor Hình 2: Ví dụ số loại kết cấu Hình 3: Phần thực (xanh) phần ảo (đỏ) sóng Gabor Hình 4: Phần thực (a) biên độ (b) lọc Gabor Hình Tạo sở liệu đặc trưng ảnh Hình 6: Rút trích vector đặc trưng theo vùng ảnh ảnh Hình 7: Rút trích vector đặc trưng theo kênh màu ảnh Hình 8: Một số ảnh tập Caltech-4 12 Hình 9: Một số ảnh tập liệu Caltech-101 13 Hình 10: Một số ảnh tập liệu Unbench 14 Hình 11: Mô hình tổng quát hệ thống tìm kiếm ảnh 15 Hình 12: Biểu đồ đường cong PR (Precision – Recall) 18 Hình 13: Giao diện chương trình demo 22 Hình 14: Hiển thị thông tin chi tiết ảnh 24 GVHD: Ths Phạm Nguyên Hoàng - Trang vi - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor DANH SÁCH CÁC TỪ VIẾT TẮT Từ viết tắt CBIR DFT GUI IDE SM AP MAP Mô tả Content Based Image Retrieval – Tìm kiếm ảnh theo nội dung Dicrete Fourier Transform – Biến đổi Fourier rời rạc Graphic user interface Integrated Development Environment Similarity – Độ đồng dạng, giống Average Precision – Độ xác trung bình Mean Average Precision – Độ xác trung bình AP GVHD: Ths Phạm Nguyên Hoàng - Trang vii - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor TÓM TẮT Sự phát triển mạnh mẽ công nghệ ảnh số làm số lượng ảnh lưu trữ thiết bị lưu trữ web tăng lên cách nhanh chóng, đòi hỏi cần phải có công cụ hỗ trợ tìm kiếm ảnh hiệu Mặc dù công cụ tìm kiếm ảnh theo văn kèm với ảnh đời cho phép người dùng tìm kiếm ảnh với thời gian đáp ứng nhanh Tuy nhiên, công cụ hạn chế việc giải khó khăn nội dung ảnh tìm kiếm nội dung ảnh trả Sự đời công cụ tìm kiếm ảnh theo nội dung giải nhập nhằng Mục tiêu đề tài nghiên cứu sử dụng lọc Gabor để phân tích đặc trưng ảnh giúp nâng cao hiệu tìm kiếm ảnh, trả ảnh có độ tương đồng nhiều với ảnh cần tìm kiếm, đáp ứng nhu cầu tìm kiếm người dùng GVHD: Ths Phạm Nguyên Hoàng - Trang viii - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor 𝑠𝑚(𝑖, 𝑗) = ∑𝑀,𝑁 𝑚=0,𝑛=0 (| (𝑖) (𝑗) (𝑖) (𝑗) (𝑖) (𝑗) 𝜇𝑚𝑛 −𝜇𝑚𝑛 𝜎(𝜇𝑚𝑛 ) |+ | (𝑖) (𝑗) 𝜎𝑚𝑛 −𝜎𝑚𝑛 𝜎(𝜎𝑚𝑛 ) |) (8) Trong đó: + 𝜇𝑚𝑛 , 𝜇𝑚𝑛 giá trị trung bình điểm ảnh ảnh I, I ứng với tỉ lệ m hướng xoay n + 𝜎𝑚𝑛 , 𝜎𝑚𝑛 độ lệch chuẩn giá trị điểm ảnh ảnh I, J ứng với tỉ lệ m hướng xoay n + 𝜎(𝜇𝑚𝑛 ) độ lệch chuẩn giá trị trung bình toàn vector đặc trưng sở liệu theo tỉ lệ m hướng xoay n + 𝜎(𝜎𝑚𝑛 ) độ lệch chuẩn giá trị độ lệch chuẩn toàn tập vector đặc trưng sở liệu ứng với tỉ lệ m hướng xoay n 2.1.5 Trả kết cho tìm kiếm ảnh - Để trả kết cho lượt tìm kiếm ảnh với ảnh sở liệu có độ tương đồng gần giống với ảnh cần tìm kiếm, ta cần tính khoảng cách Euclidean vector đặc trưng ảnh cần tìm kiếm với tất vector đặc trưng sở liệu theo công thức (8), ta có ảnh tìm kiếm I L ảnh sở liệu: - Sau tính, ta thu tập giá trị khoảng cách vector đặc trưng ảnh cần tìm kiếm với vector đặc trưng sở liệu 𝐷 = {𝑠𝑚(𝐼, 𝑓0 ), 𝑠𝑚(𝐼, 𝑓1 ), 𝑠𝑚(𝐼, 𝑓2 ), … , 𝑠𝑚(𝐼, 𝑓𝐿−1 ), } (9) - Sau đó, lấy k phần tử tập D có giá trị nhỏ (sm nhỏ, độ tương đồng lớn), ánh xạ đến sở liệu ảnh theo mục lập cho vector đặc trưng sở liệu vector đặc trưng ảnh GVHD: Ths Phạm Nguyên Hoàng - Trang 10 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor CÀI ĐẶT HỆ THỐNG - Dựa vào sở lý thuyết ta tiến hành thực nghiệm việc rút trích vector đặc trưng Gabor ảnh cần tìm kiếm ảnh sở liệu, đo độ tương đồng chúng trả kết ảnh có độ tương đồng gần với ảnh tìm kiếm Hệ thống xây dựng IDE Qt Creator, viết ngôn ngữ C++ kết hợp với thư viện hỗ trợ xử lý ảnh OpenCV số thư viện Qt Creator + Qt Creator toolkit xây dựng C++ dùng để tạo giao diện người dùng (GUI – Graphic User Interface) Trolltech thiết kế trì Qt hỗ trợ đa hệ điều hành (mutiplatform), cung cấp cho nhà phát triển ứng dụng đầy đủ chức cần thiết để xây dựng ứng dụng GUI Qt hỗ trợ đầy đủ cho lập trình hướng đối tượng, truy xuất database, file system, socket… điều đặt biệt cho phép lập trình component Từ giới thiệu vào đầu năm 1996, Qt sử dụng để tạo hàng nghìn ứng dụng thành công khắp giới, phần lõi (core) KDE – môi trường desktop tiếng Linux (KDE Linux desktop environment), component chuẩn phân phối (distro) Linux chuyên nghiệp khác Qt Creator hỗ trợ hệ điều hành sau: * MS/Windows: 95, 98, NT 4.0, ME, 2000, and XP * Unix/X11: Linux, Sun Solaris, HP-UX, Compaq Tru64 UNIX, IBM AIX, SGI IRIX… * Macintosh: Mac OS X * Embedded - Các platform Linux hỗ trợ framebuffer + OpenCV thư viện mã nguồn mở Intel, phục vụ cho việc nghiên cứu hay phát triển thị giác máy tính Tối ưu hóa xử lí ứng dụng thời gian thực Giúp cho việc xây dựng ứng dụng xử lí ảnh, thị giác máy tính, cách nhanh OpenCV có 500 hàm khác nhau, chia làm nhiều phần phục vụ côngviệc như: xử lí hình ảnh y tế, an ninh, camera quan sát, nhận dạng, robots Ngoài thư viện này, có nhiều thư viện hỗ trợ cho việc xử lý ảnh như: EmguCV, Aforge + Ngoài ra, số thư viện Qt Creator sử dụng - Đầu vào hệ thống: Một ảnh cần tìm kiếm người dùng chọn - Đầu hệ thống: Tập k ảnh gần giống với ảnh cần tìm kiếm GVHD: Ths Phạm Nguyên Hoàng - Trang 11 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ KẾT QUẢ NGHIÊN CỨU 3.1.1 Kết điều tra, thu thập thông tin Các tập liệu thực nghiệm cho hệ thống cung cấp giảng viên hướng dẫn đề tài, bao gồm ba tập: - Tập thứ tập Caltech-4: tập có 4090 ảnh, gồm lớp là: mặt người, xe môtô, máy bay, cảnh thiên nhiên xe ôtô Tập liệu tương đối ổn định đối tượng lớp có hình dạng kết cấu rõ ràng Một số ảnh tập liệu: Hình 8: Một số ảnh tập Caltech-4 - Tập thứ hai tập Caltech-101: tập chứa 5532 ảnh, gồm 54 lớp khác nhau, tập liệu khó ba tập liệu thử nghiệm số lượng lớp nhiều đồng thời đối tượng lớp hình dạng kết cấu định GVHD: Ths Phạm Nguyên Hoàng - Trang 12 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Hình 9: Một số ảnh tập liệu Caltech -101 - Tập liệu cuối tập Unbench: tập gồm 10200 ảnh số lớp lên đến 2550 lớp, điều đặc biệt tập liệu lớp đối tượng gồm có bốn ảnh chụp với góc độ khác GVHD: Ths Phạm Nguyên Hoàng - Trang 13 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Hình 10: Một số ảnh tập liệu Unbench 3.1.2 Sơ đồ mô hình hệ thống CBIR sử dụng loc Gabor Mục tiêu cuối đề tài xây dựng hệ thống tìm kiếm ảnh theo nội dung sử dụng lọc Gabor sơ đồ hệ thống xây dựng được: GVHD: Ths Phạm Nguyên Hoàng - Trang 14 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Rút trích đặc trưng Ảnh tìm kiếm Lập mục Đặc trưng ảnh tìm kiếm CSDL vector đặc trưng Đo độ tương đồng xếp độ đo tương đồng Người dùng Cơ sở liệu ảnh Kết ảnh trả Hình 11: Mô hình tổng quát hệ thống tìm kiếm ảnh Mô hình hệ thống tìm kiếm ảnh gồm giai đoạn: - Đầu tiên, tiến hành việc xây dựng vector đặc trưng ảnh sở liệu ảnh lập mục cho vector đặc trưng này, lưu lại thành sở liệu vector đặc trưng dạng file nhị phân với tên “texture_base.dat” Giai đoạn thực sở liệu ảnh thay đổi, ta cần cập nhật lại sở vector đặc trưng ảnh - Tiếp đến, người dùng cần tìm kiếm ảnh hệ thống trích vector đặc trưng ảnh cần tìm kiếm tính toán khoảng với vector tập sở liệu vector đặc trưng lưu Tập k ảnh có độ tương đồng gần với ảnh cần tìm kiếm trả Ảnh tương đồng ảnh có độ đo khoảng cách vector đặc trưng với ảnh cần tìm kiếm nhỏ KIẾM THỬ VÀ ĐÁNH GIÁ 3.2.1 Phương pháp kiểm thử a Lựa chọn mẫu thử nghiệm GVHD: Ths Phạm Nguyên Hoàng - Trang 15 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor - Mẫu thử nghiệm chọn ba tập sở liệu giới thiệu là: tập Caltech-4, Caltech-101 tập Unbench b Phương pháp đánh giá - Ba tập liệu thực nghiệm hệ thống tìm kiếm ảnh theo nội dung, hiệu suất hệ thống đánh giá thông qua kết trả theo nghi thức kiểm tra repeated hold-out (Giáo trình “Khai mỏ liệu” TS Đỗ Thanh Nghị - 2011) lấy ngẫu nhiên 2/3 tập liệu làm tập học (hay sở liệu hệ thống), 1/3 tập liệu lại làm tập kiểm tra Ta thực việc kiểm thử lần, sau tính trung bình cộng để xác định giá trị lỗi tổng thể - Tìm kiếm hình ảnh theo nội dung vấn đề tra cứu thông tin Để đánh giá kết trả hệ thống ta sử dụng thông số sau: + Precision (độ xác): Thông số đề cập đến tỷ lệ hình ảnh kết trả có liên quan đến ảnh truy vấn + Recall (độ phủ): tỷ lệ hình ảnh kết trả có liên quan đến ảnh truy vấn với tất ảnh có liên quan đến ảnh truy vấn sở liệu + Độ xác trung bình AP (Average Precicion) MAP (Mean Average Precicion) - Hầu hết hệ thống tìm kiếm hình ảnh trả danh sách hình ảnh xếp theo mức độ giảm dần độ tương đồng Precision Recall thường tính toán tập hợp hình ảnh k kết trả về, k gọi phạm vi - Thông số Precision tính sau: ảnh có liên quan tập k ảnh kết trả về, ta tính giá trị t = tổng số ảnh có liên quan thời điểm / thứ hạng ảnh Precision = tổng giá trị t / tổng số ảnh tập k - Thông thường, hiệu suất hệ thống truy vấn thông tin thể đường cong precision – recall (PR) F-measure Trong phần đánh giá vẽ đường cong PR, tính cho kết trả hệ thống xác định cách nội suy 21 điểm chuẩn độ xác độ bao phủ, điểm có độ bao phủ bằng: 0, 0.05, 0.1, 0.15, 0.2… - Độ xác hệ thống trung bình cộng độ xác tập kiểm tra nghi thức hold-out kí hiệu MAP (Mean Average Precision) 3.2.2 Kết thực nghiệm đánh giá - Qua trình thực nghiệm tập sợ liệu ảnh cho, hệ thống cho kết khả quan Dưới bảng kết thể độ xác phạm vi k kí hiệu P@k tất kết trả hệ thống theo nghi thức kiểm tra hold-out ba tập liệu thực nghiệm: GVHD: Ths Phạm Nguyên Hoàng - Trang 16 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor MAP P@k10 0.984624 0.984708 0.984229 0.98452 P@k20 0.976169 0.975232 0.975649 0.975683 P@k50 0.958896 0.958486 0.95744 0.958274 Caltech-4 P@k100 P@k200 0.938852 0.909036 0.937351 0.907335 0.936674 0.906305 0.937626 0.907559 P@k500 0.847529 0.846389 0.843557 0.845825 P@k1000 0.788164 0.787021 0.782397 0.785861 AP 0.716507 0.717934 0.709767 0.714736 MAP P@k10 0.588992 0.58948 0.603459 0.593977 P@k20 0.562392 0.56151 0.577846 0.567249 P@k50 0.517839 0.512399 0.53209 0.520776 Caltech-101 P@k100 P@k200 0.47721 0.434401 0.47196 0.430028 0.493344 0.451879 0.480838 0.438769 P@k500 0.370416 0.367644 0.386985 0.375015 P@k1000 0.3244 0.323002 0.341379 0.329594 AP 0.269298 0.267959 0.28544 0.274232 - Do tính chất đặc biệt tập Unbench có tối đa ảnh kết trả có liên quan đến ảnh tìm kiếm nên có giá trị P@k3 MAP Unbench P@k3 0.639926 0.653015 0.645637 0.646193 MAP 0.544841 0.556591 0.548996 0.550143 - Độ xác AP theo dòng bảng hiểu độ xác tập làm tập kiểm tra nghi thức kiểm tra hold-out (vd: độ xác AP dòng độ xác tập thứ làm tập kiểm tra tập 2, làm tập sở liệu cho hệ thống, tương tự cho dòng khác) - Độ xác MAP trung bình cộng độ xác AP ba tập làm tập kiểm tra theo phạm vi k tương ứng toàn bô tập kiểm tra - Qua bảng trên, ta thấy độ xác hệ thống tập liệu thực nghiệm không giống Đối với tâp Caltect-4 cho kết tốt với độ xác trung bình MAP = 0.714736 sau đến tập Unbench (MAP = 0.550143) tập Caltect-101 cho kết không khả quan (MAP = 0.274232) Sự chênh lệch tập Caltect-4 tập dễ, có độ ổn định tập khác - Độ xác bảng mà biểu diễn đường cong PR Đường cong thể độ xác độ ổn định giải thuật GVHD: Ths Phạm Nguyên Hoàng - Trang 17 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor BIỂU ĐỒ THỂ HIỆN ĐỘ CHÍNH XÁC VÀ ĐỘ ỔN ĐỊNH CỦA GIẢI THUẬT 0.9 0.8 PRECISION 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 RECALL Caltech-4 Caltech-101 Unbench Hình 12: Biểu đồ đường cong PR (Precision – Recall) - Từ biểu đồ trên, ta thấy tập liệu thử nghiệm đạt hiệu cao tập Caltech-4 tập thấp tập Caltech-101 Tuy nhiên tập có hiệu suất ổn định lại tập Unbench, nói tập có tính chất đặc biệt hai tập nên hiệu suất tập đạt ổn định cao Nhận xét: Thông qua thực nghiệm, hệ thống cho kết tương đối khả quan ba tập liệu kiểm nghiệm, giải vần đề đề tài nghiên cứu đáp ứng nhu cầu người sử dụng GVHD: Ths Phạm Nguyên Hoàng - Trang 18 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor PHẦN III: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT LUẬN 1.1 Các kết đạt - Cải tiến giải thuật trích chọn đặc trưng màu sắc, hình dạng, kết cấu ảnh sử dụng lọc Gabor - Khảo sát thực nghiệm tập phổ biến sử dụng thông số đánh giá phổ biến để đánh giá bước đầu độ xác giải thuật - Xây dựng chương trình demo hệ thống tìm kiếm ảnh theo nội dung sử dụng lọc Gabor đáp ứng yêu cầu đề tài đưa ra, giải vấn đề tìm kiếm ảnh sở liệu với độ xác cao tập liệu ổn định, giao diện ứng dụng đơn giản, dễ sử dụng, dễ dàng cài đặt tương thích - Bên cạnh điều thực được, hệ thống số hạn chế cần khắc phục như: + Đối với ảnh có hình dạng, kết cấu đối tương không ổn định ảnh hưởng kết trả hệ thống có độ xác không cao, chí ảnh trả khác hoàn toàn với ảnh cần tìm kiếm + Việc cập nhật sở liệu nhiều thời gian, phải tính toán lại giá trị vector đặc trưng 1.2 Kết luận chung Tìm kiếm ảnh dựa nội dung đến lĩnh vực nghiên cứu đáng quan tâm với nhiều phương pháp cách tiếp cận khác Cùng với nhiều ứng dụng hữu ích phát triển như: ứng dụng nhằm ngăn ngừa tội phạm, hệ thống tìm kiếm vân tay, hệ thống tìm kiếm thuốc nam, hệ thống nhận dạng khuôn mặt hay ứng dụng quân đội (tìm kiếm có máy bay hình rada hay không, có máy bay loại nào) Tính khoa học đề tài thể qua phương pháp tìm kiếm ảnh dùng kết hợp kỹ thuật xử lý trích chọn đặc trưng nội dung ảnh Đầu vào toán ảnh cần tìm kiếm, truy vấn, qua kỹ thuật xử lý, trích chọn, đánh giá để đưa kết ảnh tương đồng Xây dựng hệ thống tìm kiếm ảnh dựa đặc trưng Gabor đồng thời tính khả thi hệ thống so với hệ thống khác thông qua kết thực nghiệm Giá trị thực tiễn đề tài luận văn chứng minh qua ứng dụng tìm kiếm, tra cứu ảnh Tuy nhiên, đề tài hạn chế định như: kết số ảnh tìm kiếm chưa thật đáp ứng nhu cầu tìm kiếm người dùng ảnh hưởng GVHD: Ths Phạm Nguyên Hoàng - Trang 19 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor nhiễu, trình xây dựng sở liệu vector đặc trưng nhiều thời gian HƯỚNG PHÁT TRIỂN Tìm giải pháp tối ưu tốt để nâng cao hiệu ứng dụng tìm kiếm, tra cứu ảnh Hiện ứng dụng phát triển desktop, mong muốn phát triển đề tài có hệ thống tìm kiếm ảnh web giúp cho thiết bị di động tìm ảnh chụp từ camera thiết bị, để đâu người dùng tra cứu, tìm kiếm hình ảnh vật, tượng sống Tạo thân thiện, tiện lợi cho người sử dụng hệ thống hướng phát triển đề tài muốn hướng đến GVHD: Ths Phạm Nguyên Hoàng - Trang 20 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor DANH MỤC TÀI LIỆU THAM KHẢO [1] Mislav Grgic, Mohammed Ghanbari, Sonja Grgic Texture-based Image Retrieval in MPEG-7 Multimedia System Mục 2, trang 366, muc 4, trang 367 [2] B.S Manjunath and W.Y Ma Texture Features for Browsing and Retrieval of Image Data 8, August 1996 Phần – mục 2.1, 2.2, 2.3 trang 837839 [3] S Mangijao Singh, K Hemachandran Content ContentContent ContentBased Image Retrieval using Color Moment and Gabor Based Image Retrieval using Color Moment and Gabor 1, September 2012 Phần – mục 2.1, 2.2 trang 34 [4] T Chang and C Kuo Texture analysis and classificatrion with tree structuredwavelet transform.IEEE Trans Image Proc., 2(4):429–441, 1993 [5] Nguyễn Thị Hoàn Luận văn tốt nghiệp đại học: “Phương pháp trích trọn đặc trưng ảnh thuật toán học máy tìm kiếm ảnh áp dụng vào toán tìm kiếm sản phẩm” Hà Nội, 2010 Chương trang 3, Chương – mục 2.1, 2.2, 2.3 trang 10 [6] Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu Content-based Image Retrieval Using Gabor Texture Features Churchill, Victoria, 3842, Australia [7] Nguyễn Xuân Tình Luận Văn Thạc Sĩ: “Tăng cường chất lượng ảnh vân tay cho kĩ thuật in” Chương 2, mục 2.3, trang 18 GVHD: Ths Phạm Nguyên Hoàng - Trang 21 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Phụ Lục Hướng dẫn cài đặt Để chạy chương trình demo hệ thống tìm kiếm ảnh sử dụng theo nội dung sử dụng lọc Gabor Ta cần cài đặt phần mềm, thư viên sau: - IDE Qt Creator - Thư viện OpenCV - Đồng thời ta cần Installation configuration OpenCV vào Qt Các bước hướng dẫn tham khảo link sau: + http://blog.sanjaya.me/opencv-with-qt-installation-configuration-problemsand-solutions/ + https://www.youtube.com/watch?v=csxkdGQQgNg Sử dụng chương trình - Giao diện chương trình demo hình sau: GVHD: Ths Phạm Nguyên Hoàng - Trang 22 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Hình 13: Giao diện chương trình demo - Giao diện ứng dụng thiết kế đơn giản, dễ sử dụng, thể đầy đủ yêu cầu đề tài đưa - Giao diện gồm có thành phần chức sau: + Khung “Path” textbox dùng để thể đường dẫn file ảnh cần tìm kiếm, người dùng nhập đường dẫn đến file ảnh cần tìm kiếm vào khung + Nút button “Browse” sử dụng người dùng không nhớ đường dẫn đến file ảnh cần tìm kiếm không muốn nhập đường dẫn vào khung “Path” dùng nút để tìm đến nơi chứa file ảnh cần tìm kiếm + Nút button “Search” dùng để thực chức tìm kiếm ảnh sở liệu ảnh + Nút button “Update” dùng để tạo cở sở vector đặc trưng Gabor tập liệu ảnh + Nút button “Close” dùng để thoát ứng dụng + Khung label góc bên phải dùng để hiển thị ảnh cần tìm kiếm + Khung “Result Images” dùng để hiển thị ảnh kết tìm kiếm - Để chạy chương trình demo, người dùng phải có tập hình ảnh làm sơ liệu sau trích vetor đặc trưng ảnh button “Update Database”, khung dialog lên, người dùng tìm đến tập liệu ảnh chọn tất ảnh đó, sau chọn xong click open, người dùng phải đợi khoảng thời gian để chương trình trích xuất vector đặc trưng ảnh, thời gian chờ tùy thuộc vào số lượng ảnh tập sở liệu ảnh - Khi chương trình tạo xong sở liệu vetor đặc trưng, người dùng thực truy vấn ảnh cách click vào button “Browse” tìm đến ảnh cần truy vấn Ảnh cần truy vấn hiển thị khung label góc bên phải chương trình Sau người dùng click button “Search” để tìm kiếm ảnh có độ tương đồng với ảnh truy vấn sở liệu ảnh, kết tìm kiếm thị khung bên với số lượng mặc định 50 ảnh có độ tương đồng gần nhất, ảnh trả có hiển thị số thứ tự ảnh tập sở liệu độ đo tương đồng với ảnh truy vấn GVHD: Ths Phạm Nguyên Hoàng - Trang 23 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Hình 14: Hiển thị thông tin chi tiết ảnh - Một điều cần lưu ý ứng dụng demo tập sở liệu ảnh có thay đổi ta cần phải cập nhật lại sở liệu vector đặc trưng Gabor, ứng dụng tìm kiếm cho kết xác không bị lỗi - Ngoài ra, để biết thêm thông tin chi tiết ảnh kết ảnh tìm kiếm tên, kích thước, định dạng, dung lượng ảnh người dùng click double vào ảnh đó, khung hiển thị thông tin chi tiết ảnh bên trái hình Để đóng khung hiển thị ta click vào dấu “[...]... Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor 3 MỤC TIÊU ĐỀ TÀI Nghiên cứu áp dụng bộ lọc Gabor vào trong thiết kế hệ thống tìm kiếm ảnh theo nội dung mà cụ thể là xây dựng các thuật toán trích chọn các đặc trưng về màu sắc, hình dạng, kết cấu của ảnh bằng bộ lọc Gabor 4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU - Nghiên cứu cơ sở lý thuyết về đặc trưng nội dung ảnh và tìm kiếm ảnh theo đặc trưng nội dung, ... Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor PHẦN II: NỘI DUNG LUẬN VĂN CHƯƠNG 1: MÔ TẢ BÀI TOÁN 1 MÔ TẢ CHI TIẾT ĐỀ TÀI Tìm kiếm ảnh theo nội dung (Content Based Images Retrieval CBIR) hay truy vấn theo nội dung ảnh (Query Based Image Content QBIC) là một ứng dụng của thị giác máy tính đối với bài toán tìm kiếm ảnh “Dựa vào nội dung ảnh (Content Based Image)” nghĩa là việc tìm kiếm sẽ phân... theo nội dung sử dụng bộ lọc Gabor hay nói cách khác là tìm hiểu các phương pháp trích chọn đặc trưng ảnh bằng bộ lọc Gabor và đo sự tương đồng của ảnh theo phương pháp Minkowski bằng phép đo Euclidean để tìm kiếm tập ảnh kết quả gần với ảnh cần tìm kiếm nhất trong tập cơ sở dữ liệu ảnh GVHD: Ths Phạm Nguyên Hoàng - Trang 5 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor CHƯƠNG... Hình 10: Một số ảnh trong tập dữ liệu Unbench 3.1.2 Sơ đồ mô hình hệ thống CBIR sử dụng bộ loc Gabor Mục tiêu cuối cùng của đề tài là xây dựng được hệ thống tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor và dưới đây là sơ đồ hệ thống đã xây dựng được: GVHD: Ths Phạm Nguyên Hoàng - Trang 14 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor Rút trích đặc trưng Ảnh tìm kiếm Lập chỉ... bằng bộ lọc Gabor, sau đó đem so sánh độ tương đồng với các vector đặc trưng của ảnh trong cơ sở dữ liệu và trả về kết quả những ảnh có độ tương đồng gần nhất với ảnh cần tìm kiếm Sơ đồ sau thể hiện khái quát cách thức hoạt động của hệ thống tìm kiếm ảnh sử dụng bộ lọc Gabor Đặc trưng của ảnh tìm kiếm Matching Feature Bộ CSDL đặc trưng ảnh Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng bộ lọc Gabor. .. Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor Hình 9: Một số ảnh trong tập dữ liệu Caltech -101 - Tập dữ liệu cuối cùng là tập Unbench: tập này gồm 10200 ảnh và số lớp lên đến 2550 lớp, điều đặc biệt của tập dữ liệu này là mỗi lớp đối tượng gồm có bốn ảnh chụp với góc độ khác nhau GVHD: Ths Phạm Nguyên Hoàng - Trang 13 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor. .. số trung tâm) của hàm Gabor Wavelets + θ là góc xoay của bộ lọc Gabor - Sóng Gabor wavelets có hình dạng: Hình 3: phần thực (xanh) và phần ảo (đỏ) của sóng Gabor GVHD: Ths Phạm Nguyên Hoàng - Trang 6 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor 2.1.2 Bộ lọc Gabor Wavelets - Trong thực tế, người ta sử dụng công thức (2.1 hoặc 2.2) để tạo ra các bộ lọc Gabor với hướng n và tần... ảnh vân tay cho kĩ thuật in” Chương 2, mục 2.3, trang 18 GVHD: Ths Phạm Nguyên Hoàng - Trang 21 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor Phụ Lục 1 Hướng dẫn cài đặt Để chạy được chương trình demo hệ thống tìm kiếm ảnh sử dụng theo nội dung sử dụng bộ lọc Gabor Ta cần cài đặt các phần mềm, thư viên sau: - IDE Qt Creator - Thư viện OpenCV - Đồng thời ta cần Installation configuration... Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor - Đầu tiên, tập cơ sở dữ liệu ảnh sẽ được rút trích đặc trưng tạo thành bộ cơ sở dữ liệu đặc trưng ảnh Sau đó ảnh tìm kiếm cũng sẽ được rút trích đặc trưng và đem so sánh, tính toán khoảng cách với các đặc trưng trong bộ cơ sở dữ liệu đặc trưng ảnh Cuối cùng, trả về những ảnh có nét tương đồng nhiều nhất so với ảnh tìm kiếm cho người dùng... ứng được nhu cầu của người sử dụng GVHD: Ths Phạm Nguyên Hoàng - Trang 18 - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor PHẦN III: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 1 KẾT LUẬN 1.1 Các kết quả đạt được - Cải tiến được giải thuật trích chọn đặc trưng về màu sắc, hình dạng, kết cấu của ảnh sử dụng bộ lọc Gabor - Khảo sát thực nghiệm trên các tập phổ biến và sử dụng các thông số đánh giá ... SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor Phụ Lục Hướng dẫn cài đặt Để chạy chương trình demo hệ thống tìm kiếm ảnh sử dụng theo nội dung sử dụng lọc Gabor Ta cần cài đặt... Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor 2.1.2 Bộ lọc Gabor Wavelets - Trong thực tế, người ta sử dụng công thức (2.1 2.2) để tạo lọc Gabor với hướng n tần số m khác Sau áp dụng lọc lên ảnh. .. Trang ii - SVTH: Nguyễn Tiến Đạt Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor LỜI CÁM ƠN Để hoàn thành tốt đề tài luân văn: Tìm kiếm ảnh theo nội dung sử dụng lọc Gabor thiếu giúp đỡ, hướng dẫn