tìm kiếm ảnh theo nội dung sử dụng bộ lọc gabor

GVHD: Ths Phạm Nguyên Hoàng - Trang iii - SVTH: Nguyễn Tiến Đạt LỜI CÁM ƠN Để hoàn thành tốt đề tài luân văn: “Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor” này không thể thiếu sự gi

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH KHOA HOC MÁY TÍNH

Cần Thơ, 5/2015

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BỘ MÔN KHOA HỌC MÁY TÍNH

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH KHOA HOC MÁY TÍNH

GVHD: Ths Phạm Nguyên Hoàng - Trang i - SVTH: Nguyễn Tiến Đạt

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN



Cần Thơ, ngày tháng năm 2015 Giáo viên hướng dẫn

GVHD: Ths Phạm Nguyên Hoàng - Trang ii - SVTH: Nguyễn Tiến Đạt

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN



Cần Thơ, ngày tháng năm 2015

Giáo viên phản biện

GVHD: Ths Phạm Nguyên Hoàng - Trang iii - SVTH: Nguyễn Tiến Đạt

LỜI CÁM ƠN

Để hoàn thành tốt đề tài luân văn: “Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor” này không thể thiếu sự giúp đỡ, hướng dẫn tận tình của các quý Thầy, Cô Khoa Công nghệ thông tin & Truyền thông Trường Đại học Cần Thơ nói chung và các Thầy, Cô trong bộ môn Khoa Học Máy Tính nói riêng Thầy, Cô đã truyền đạt cho em những kiến thức căn bản, cốt yếu nhất và những kinh nghiệm quý báu thông qua từng môn học, giúp em vận dụng và hoàn thành đề tài một cách tốt nhất Em xin được gửi lời cám ơn chân thành, sâu sắc đến các Thầy, các Cô…

Và đặc biệt em xin chân thành cám ơn Ths Phạm Nguyên Hoàng, Thầy đã tận tình hướng dẫn, giúp đỡ và đóng góp ý kiến cho em trong suốt quá trình thực hiện đề tài luận văn Mặc dù trong quá trình thực hiện đề tài còn gặp nhiều khó khăn, nhưng nhờ sự ân cần, chỉ bảo, hướng dẫn tận tình thông qua các buổi thảo luận với Thầy mà

em đã hoàn đề tài này một cách tốt nhất

Cuối cùng, em muốn gửi lời cảm ơn đến gia đình và bạn bè, những người thân yêu luôn bên cạnh, động viên em trong suốt quá trình học tập và thực hiện đề tài luận văn này Em xin chân thành cám ơn.!

Cần Thơ, ngày 10 tháng 5 năm 2015

Sinh viên thực hiện

Nguyễn Tiến Đạt

GVHD: Ths Phạm Nguyên Hoàng - Trang iv - SVTH: Nguyễn Tiến Đạt

MỤC LỤC

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN i

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ii

LỜI CÁM ƠN iii

MỤC LỤC iv

DANH MỤC CÁC HÌNH vi

DANH SÁCH CÁC TỪ VIẾT TẮT vii

TÓM TẮT viii

ABSTRACT ix

PHẦN I: GIỚI THIỆU TỔNG QUAN 1

1 ĐẶT VẤN ĐỀ 1

2 LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ 1

3 MỤC TIÊU ĐỀ TÀI 2

4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 2

5 NỘI DUNG NGHIÊN CỨU 2

6 NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI 2

PHẦN II: NỘI DUNG LUẬN VĂN 3

CHƯƠNG 1: MÔ TẢ BÀI TOÁN 3

1 MÔ TẢ CHI TIẾT ĐỀ TÀI 3

2 PHÂN TÍCH, ĐÁNH GIÁ CÁC GIẢI PHÁP CÓ LIÊN QUAN 4

CHƯƠNG 2: THIẾT KẾ VÀ CÀI ĐẶT HỆ THỐNG 6

1 THIẾT KẾ HỆ THỐNG 6

2 CÀI ĐẶT HỆ THỐNG 11

CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ 12

1 KẾT QUẢ NGHIÊN CỨU 12

2 KIẾM THỬ VÀ ĐÁNH GIÁ 15

PHẦN III: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 19

1 KẾT LUẬN 19

2 HƯỚNG PHÁT TRIỂN 20

DANH MỤC TÀI LIỆU THAM KHẢO 21

GVHD: Ths Phạm Nguyên Hoàng - Trang v - SVTH: Nguyễn Tiến Đạt

Phụ Lục 22

1 Hướng dẫn cài đặt 22

2 Sử dụng chương trình 22

GVHD: Ths Phạm Nguyên Hoàng - Trang vi - SVTH: Nguyễn Tiến Đạt

DANH MỤC CÁC HÌNH

Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng bộ lọc Gabor 3

Hình 2: Ví dụ về một số loại kết cấu 4

Hình 3: Phần thực (xanh) và phần ảo (đỏ) của sóng Gabor 5

Hình 4: Phần thực (a) và biên độ (b) của bộ lọc Gabor 7

Hình 5 Tạo bộ cơ sở dữ liệu các đặc trưng của ảnh 8

Hình 6: Rút trích vector đặc trưng theo 4 vùng ảnh con của ảnh 9

Hình 7: Rút trích vector đặc trưng theo kênh màu của ảnh 9

Hình 8: Một số ảnh trong tập Caltech-4 12

Hình 9: Một số ảnh trong tập dữ liệu Caltech-101 13

Hình 10: Một số ảnh trong tập dữ liệu Unbench 14

Hình 11: Mô hình tổng quát của hệ thống tìm kiếm ảnh 15

Hình 12: Biểu đồ đường cong PR (Precision – Recall) 18

Hình 13: Giao diện chương trình demo 22

Hình 14: Hiển thị thông tin chi tiết của ảnh 24

GVHD: Ths Phạm Nguyên Hoàng - Trang vii - SVTH: Nguyễn Tiến Đạt

DANH SÁCH CÁC TỪ VIẾT TẮT

CBIR Content Based Image Retrieval – Tìm kiếm ảnh theo

nội dung DFT Dicrete Fourier Transform – Biến đổi Fourier rời rạc GUI Graphic user interface

IDE Integrated Development Environment

SM Similarity – Độ đồng dạng, giống nhau

AP Average Precision – Độ chính xác trung bình

MAP Mean Average Precision – Độ chính xác trung bình của

AP

GVHD: Ths Phạm Nguyên Hoàng - Trang viii - SVTH: Nguyễn Tiến Đạt

TÓM TẮT

Sự phát triển mạnh mẽ của công nghệ ảnh số đã làm số lượng ảnh lưu trữ trên các thiết bị lưu trữ cũng như trên web tăng lên một cách nhanh chóng, đòi hỏi cần phải có các công cụ hỗ trợ tìm kiếm ảnh hiệu quả Mặc dù các công cụ tìm kiếm ảnh theo văn bản đi kèm với ảnh ra đời cho phép người dùng tìm kiếm ảnh với thời gian đáp ứng khá nhanh Tuy nhiên, các công cụ này vẫn còn hạn chế trong việc giải quyết khó khăn giữa nội dung ảnh tìm kiếm và nội dung ảnh trả về Sự ra đời của các công

cụ tìm kiếm ảnh theo nội dung đã giải quyết được những nhập nhằng trên Mục tiêu của đề tài là nghiên cứu sử dụng bộ lọc Gabor để phân tích các đặc trưng của ảnh giúp nâng cao hiệu quả tìm kiếm ảnh, trả về những ảnh có độ tương đồng nhiều nhất với ảnh cần tìm kiếm, đáp ứng được nhu cầu tìm kiếm của người dùng

GVHD: Ths Phạm Nguyên Hoàng - Trang ix - SVTH: Nguyễn Tiến Đạt

ABSTRACT

The development of the digital image technology has made the number of images stored on the device as well as the web grows quickly, requires the need to have the tools to support effective images search Though the image search engine according to the text accompanying the image released to allow users to search for images with fairly rapid response time However, these tools are still limited in resolving difficult between image content search and contents of the image returns The introduction of the image search tool base on content image has solved the above ambiguity The goal of the subject is studied using Gabor filter to analyze the image feature to improve the effectiveness of searching images, returns the similar images with image search, meet the needs of user’s searches

GVHD: Ths Phạm Nguyên Hoàng - Trang 1 - SVTH: Nguyễn Tiến Đạt

PHẦN I: GIỚI THIỆU TỔNG QUAN

1 ĐẶT VẤN ĐỀ

Trong suốt những thâp niên vừa qua, ngành khoa học và công nghệ đã phát triển không ngừng, các nhà khoa học đã không ngừng nghiên cứu, tìm tòi, phát minh ra các thiết bị, công nghệ có ích, góp phần làm cho cuộc sống con người trở nên sinh động, thú vị hơn Trong đó, với việc phát minh ra máy ảnh kĩ thuật số cùng với nhu cầu chụp ảnh của con người ngày càng cao nên đã làm số lượng ảnh trên các thiết bị lưu trữ cũng như trên web tăng lên một cách nhanh chóng Theo dữ liệu trên trang

“Tổng cục thống kê” về “Internet năm 2008 qua những con số thống kê” thì có 10 tỉ ảnh trên Facebook (tính đến tháng 10/2008), 3 tỉ ảnh trên Flickr (tính đến tháng 11/2008), 6.2 tỉ ảnh trên Photobucket (tính đến tháng 10/2008)

Song song với nhu cầu tìm kiếm văn bản thì nhu cầu tìm kiếm ảnh cũng là vấn

đề được nhiều người quan tâm đến Tuy nhiên, với một số lượng ảnh quá lớn trên Internet như vậy thì công việc tìm kiếm trở nên vô cùng khó khăn Để giải quyết vấn

đề này một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện nay là phương pháp “Tìm kiếm ảnh dựa theo nội dung” (Content Based Image Retrieval - CBIR) Ý tưởng phương pháp này là trích chọn các đặc trưng dựa vào nội dung trực quan của ảnh như màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh Hiện nay có nhiều hệ thống cho phép tra cứu thông tin theo nội dung hình ảnh như như Google Image Swirl, Bing, Tiltomo, Tineye, Pixolution…Các hệ thống trên đã đưa ra các kết quả tìm kiếm rất tốt dựa trên ảnh mẫu

2 LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ

Tìm kiếm, truy vấn ảnh theo màu sắc, hình dạng, cấu trúc của ảnh không phải

là vấn đề mới mẻ, xa lạ, đã có khá nhiều người bỏ công sức để nghiên cứu, tìm hiểu, giải quyết vấn đề này, họ đã xây dựng được các ứng dụng hữu ích cho các lĩnh vực trong đời sống như: hệ thống tra cứu cây thuốc trong y học, nhận dạng khuôn mặt, nhận dạng biển số xe, tìm kiếm sản phẩm…các hệ thống này khi đưa vào thực nghiệm cho kết quả rất khả quan Ngoài ra, còn có các bài báo khoa học nổi tiếng trình bày chi tiết về vấn đề này như: “Texture - based Image Retrieval in MPEG - 7 Muitimedia System”, “Computer Vision and Image Search Engines”, “Texture Features for Browsing and Retrieval of Image Data”…nội dung, ý tưởng của các bài báo khoa học này đã được nhiều người triển khai và cho ra kết quả gần như mong đợi

GVHD: Ths Phạm Nguyên Hoàng - Trang 2 - SVTH: Nguyễn Tiến Đạt

3 MỤC TIÊU ĐỀ TÀI

Nghiên cứu áp dụng bộ lọc Gabor vào trong thiết kế hệ thống tìm kiếm ảnh theo nội dung mà cụ thể là xây dựng các thuật toán trích chọn các đặc trưng về màu sắc, hình dạng, kết cấu của ảnh bằng bộ lọc Gabor

4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU

- Nghiên cứu cơ sở lý thuyết về đặc trưng nội dung ảnh và tìm kiếm ảnh theo đặc trưng nội dung, sóng Gabor và việc trích xuất vector đặc trưng của ảnh, các kĩ thuật xử lý ảnh và các phương pháp đo độ tương đồng giữa hai ảnh

- Xây dựng cơ sở dữ liệu ảnh, cơ sở dữ liệu các vector đặc trưng Gabor của tập

dữ liệu ảnh và xây hệ thống tìm kiếm ảnh theo nội dung

5 NỘI DUNG NGHIÊN CỨU

Do tính đa dạng, phong phú về các đặc trưng của ảnh nên nội dung đề tài luận văn chỉ tập trung nghiên cứu các vấn đề sau:

- Nghiên cứu về thuật toán biến đổi sóng Gabor và tạo ra các bộ lọc Gabor với hướng và tần số khác nhau

- Nghiên cứu cách trích trọn các vector đặc trưng về màu sắc, hình dạng và cấu trúc của ảnh thông qua bộ lọc Gabor theo các hướng và tần số tương ứng

- Nghiên cứu phương pháp đo độ tương đồng thông qua việc tính khoảng cách Euclidean giữa các vector đặc trưng của ảnh

- Nghiên cứu xây dựng hệ thống tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor tương tác với người dùng thông qua giao diện đồ họa

6 NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI

Đề tài đã đưa ra được cách thức áp dụng bộ lọc Gabor để trích trọn đặc trưng của ảnh, đồng thời đề xuất được phương pháp cải tiến giúp tăng số đặc trưng của ảnh Thông qua đó, triển khai thực nghiệm trên các tập dữ liệu khác nhau, kết quả đạt được

đã chứng minh mức độ hiệu quả của giải thuật đề xuất

GVHD: Ths Phạm Nguyên Hoàng - Trang 3 - SVTH: Nguyễn Tiến Đạt

PHẦN II: NỘI DUNG LUẬN VĂN CHƯƠNG 1: MÔ TẢ BÀI TOÁN

1 MÔ TẢ CHI TIẾT ĐỀ TÀI

Tìm kiếm ảnh theo nội dung (Content Based Images Retrieval CBIR) hay truy vấn theo nội dung ảnh (Query Based Image Content QBIC) là một ứng dụng của thị giác máy tính đối với bài toán tìm kiếm ảnh “Dựa vào nội dung ảnh (Content Based Image)” nghĩa là việc tìm kiếm sẽ phân tích nội dung thực sự của các bức ảnh Nội dung ảnh ở đây được thể hiện bằng màu sắc, hình dạng, kết cấu (texture), các đặc trưng cục bộ (local features)… hay bất cứ thông tin nào có từ chính nội dung ảnh Cụm từ CBIR được T.Kato đưa ra vào năm 1992 trong quá trình thu thập ảnh một cách tự động từ cơ sở dữ liệu dựa trên biểu diễn màu sắc, hình dạng và kết cấu của ảnh Đối với hệ thống CBIR, trích chọn đặc trưng ảnh là bước tiền xử lý đây cũng là bước quan trọng nhất và khó nhất trong hệ thống CBIR trước khi thực hiện các bước tiếp theo là đo độ tương đồng, ghi chú và cuối cùng là hiển thị kết quả Trong đề tài này sẽ sử dụng những bộ lọc Garbor theo hướng và tần số khác nhau để trích các đặc trưng trên, các bộ lọc này được xây dựng dựa trên hàm Gabor Ảnh cần tìm kiếm sẽ được rút trích vector đặc trưng bằng bộ lọc Gabor, sau đó đem so sánh độ tương đồng với các vector đặc trưng của ảnh trong cơ sở dữ liệu và trả về kết quả những ảnh có

độ tương đồng gần nhất với ảnh cần tìm kiếm Sơ đồ sau thể hiện khái quát cách thức hoạt động của hệ thống tìm kiếm ảnh sử dụng bộ lọc Gabor

Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng bộ lọc Gabor

Đặc trưng của ảnh tìm kiếm

Bộ CSDL đặc trưng ảnh Matching

Feature

GVHD: Ths Phạm Nguyên Hoàng - Trang 4 - SVTH: Nguyễn Tiến Đạt

- Đầu tiên, tập cơ sở dữ liệu ảnh sẽ được rút trích đặc trưng tạo thành bộ cơ sở

dữ liệu đặc trưng ảnh Sau đó ảnh tìm kiếm cũng sẽ được rút trích đặc trưng và đem

so sánh, tính toán khoảng cách với các đặc trưng trong bộ cơ sở dữ liệu đặc trưng ảnh Cuối cùng, trả về những ảnh có nét tương đồng nhiều nhất so với ảnh tìm kiếm cho người dùng

2 PHÂN TÍCH, ĐÁNH GIÁ CÁC GIẢI PHÁP CÓ LIÊN QUAN

Đặc trưng ảnh và các kĩ thuật trích chọn đặc trưng

- Đặc trưng về kết cấu hay cấu trúc nhằm tìm ra mô hình trực quan của ảnh và cách thức chúng được xác định trong không gian Kết cấu được biểu diễn bởi các texel, sau đó được đặt vào một số các tập phụ thuộc vào số kết cấu được phát hiện trong ảnh Các tập này không chỉ xác định các kết cấu mà còn chỉ rõ vị trí các kết cấu trong ảnh Việc xác định các kết cấu đặc biệt trong ảnh đạt được chủ yếu bằng cách

mô hình các kết cấu như những biến thể cấp độ xám 2 chiều Ví dụ một số loại kết cấu:

Hình 2: Ví dụ về một số loại kết cấu

GVHD: Ths Phạm Nguyên Hoàng - Trang 5 - SVTH: Nguyễn Tiến Đạt

- Hình dạng của một ảnh hay một vùng là một đặc trưng quan trọng trong việc xác định và phân biệt ảnh trong nhận dạng mẫu Mục tiêu chính của biểu diễn hình dạng trong nhận dạng mẫu là đo thuộc tính hình học của một đối tượng được dùng trong phân lớp, so sánh và nhận dạng đối tượng

đặc thù, đặc trưng dựa trên kết hợp biến đổi wavelets

Kĩ thuật đo sự tương đồng giữa hai đặc trưng

Hệ thống truy vấn, tìm kiếm ảnh theo nội dung yêu cầu những phương pháp dựa trên những đặc điểm nguyên thủy để so sánh độ tương đồng giữa ảnh cần tìm kiếm

và tất cả những hình ảnh trong tập ảnh Mặc dù vậy sự tương tự hoặc sự khác nhau giữa các ảnh không chỉ được xác định theo một cách Số lượng của ảnh tương tự sẽ thay đổi khi yêu cầu tìm kiếm thay đổi Để đo độ tương đồng giữa hai ảnh, cần có một phép đo sự tượng tự giữa các vector đặc trưng của hai ảnh Hiện nay, có nhiều phương pháp để đo độ tương đồng như: Minkowski (gồm phép đo city block hoặc Manhattan và Euclidean), chi-square, đo theo lý thuyết thông tin (gồm phép đo Kullback-Leibler divergence và Jensen Shannon divergence), Bhattacharyya, Mahalanobis, Chebyshev, Cosine, Correlation, Spearman

Tiếp cận, chọn lựa giải pháp

Trong đề tài này tập trung vào bài toán tìm kiếm ảnh dựa theo nội dung sử dụng

bộ lọc Gabor hay nói cách khác là tìm hiểu các phương pháp trích chọn đặc trưng ảnh bằng bộ lọc Gabor và đo sự tương đồng của ảnh theo phương pháp Minkowski bằng phép đo Euclidean để tìm kiếm tập ảnh kết quả gần với ảnh cần tìm kiếm nhất trong tập cơ sở dữ liệu ảnh

GVHD: Ths Phạm Nguyên Hoàng - Trang 6 - SVTH: Nguyễn Tiến Đạt

CHƯƠNG 2: THIẾT KẾ VÀ CÀI ĐẶT HỆ THỐNG

1 THIẾT KẾ HỆ THỐNG

2.1.1 Sóng Gabor Wavelets

- Hàm Gabor Wavelets được đề xuất lần đầu tiên bởi Dennis Gabor, đây cũng

là một công cụ để phát hiện tín hiệu từ tạp nhiễu và để phục vụ như một cơ sở cho việc biến đổi Fourier trong các ứng dụng lý thuyết thông tin Hàm Gabor dạng một chiều có công thức như sau:

𝑔𝜎,𝑓0(𝑥) = 1

√2𝜋𝜎 exp [−1

2(𝑥

𝜎)2] exp [2𝜋𝑗𝑓0𝑥] (1)

- Sau đó, hàm Gabor Wavelets được tổng quát hóa thành dạng hai chiều và được

sử dụng rộng rãi trong nhiều ứng dụng xử lý ảnh trong máy tính Hàm Gabor dạng 2 chiều có công thức như sau: