Tìm kiếm ảnh trên cơ sở hoa văn

Nguyễn Xuân Khải BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đảm bảo toán học cho máy tính hệ thơng tính tốn NGUYỄN XUÂN KHẢI NHẬN DẠNG ẢNH TRÊN CƠ SỞ HOA VĂN Luận văn thạc sĩ: Tốn tin ứng dụng Khóa 2006-2008 Hà Nội 2009 Nguyễn Xuân Khải BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN XN KHẢI Đảm bảo tốn học cho máy tính hệ thơng tính tốn NHẬN DẠNG ẢNH TRÊN CƠ SỞ HOA VĂN Luận văn thạc sĩ: Toán tin ứng dụng NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Đặng Văn Đức Khóa 2006-2008 Hà Nội 2009 Mục lục Mục lục LỜI NÓI ĐẦU CHƯƠNG – KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN – CƠ SỞ DỮ LIỆU ẢNH 1.1 Dữ liệu đa phương tiện 1.2 Cơ sở liệu đa phương tiện 1.2.1 Khái niệm 1.2.2 Cấu trúc sở liệu đa phương tiện 10 1.2.3 Truy tìm thơng tin văn 13 1.2.4 Truy xuất số hóa liệu đa phương tiện 13 1.2.5 Trích rút đặc trưng biểu diễn nội dung 14 1.2.6 Hệ thống IR vai trị việc truy xuất đa phương tiện 14 1.3 Tổng quan sở liệu ảnh 15 1.3.1 Hạn chế sở liệu truyền thống 15 1.3.2 Kiến trúc chung hệ quản sở liệu ảnh 16 1.3.3 Các đặc trưng ảnh 17 CHƯƠNG – HOA VĂN ẢNH VÀ CÁC KỸ THUẬT TÌM KIẾM DỰA TRÊN HOA VĂN ẢNH 28 2.1 Khái niệm hoa văn ảnh 28 2.2 Mơ hình hóa hoa văn 30 2.2.1 Các phương pháp thống kê 32 2.2.2 Các phương pháp hình học 35 2.2.3 Các phương pháp xử lý tín hiệu 37 2.3 Các tốn phân tích hoa văn 39 2.3.1 Mục đích phân tích hoa văn 39 2.3.2 Phân đoạn hoa văn 41 2.3.3 Phân lớp hoa văn 42 2.3.4 Tổng hợp hoa văn 43 2.3.5 Hình dạng từ hoa văn 44 2.4 Phân tích ảnh sử dụng lọc Gabor 45 2.4.1 Các khái niệm 45 2.4.2 Bộ lọc Gabor 47 2.4.3 Biểu diễn đặc hoa văn ảnh 51 CHƯƠNG – XÂY DỰNG ỨNG DỤNG TRUY TÌM ẢNH DỰA TRÊN NỘI DUNG SỬ DỤNG BỘ LỌC GABOR 53 3.1 Trích chọn đặc trưng hoa văn 54 3.1.1 Hàm Gabor 54 3.1.2 Biểu diễn đặc trưng hoa văn 57 3.1.3 Biểu diễn bất biến biểu diễn Gabor 58 3.2 Cài đặt ứng dụng 62 3.3 Kết minh họa 66 KẾT LUẬN 79 TÀI LIỆU THAM KHẢO 80 BẢNG THUẬT NGỮ Thuật ngữ Ý nghĩa Blob Khối (một đơn vị thông tin) CSDL Cơ sở liệu DBMS Hệ quản trị sở liệu Media Phương tiện Multimedia Đa phương tiện Pixel Điểm ảnh Texture Hoa văn (cũng có tài liệu gọi vân) Texel Hoa văn sở IR Truy tìm thơng tin văn MIRS Hệ thống truy xuất thông tin đa phương tiện LỜI NÓI ĐẦU Ngày với phát triển mạnh mẽ công nghệ kỹ thuật số, dạng liệu đa phương tiện ngày phổ biến, chất lượng liệu ngày cải thiện Song song với phát triển gia tăng dung lượng số lượng liệu đa phương tiện Các liệu lưu trữ nhiều định dạng khác nhau, chẳng hạn như: hình ảnh, âm thanh, Video, hay liệu văn bản,… Các dạng liệu lưu trữ nhiều thiết bị lưu trữ khác dạng offline như: Ổ cứng, băng từ, CD-ROM, DVD, lưu trữ trực tuyến (online) mạng mạng… Cùng với gia tăng mạnh mẽ liệu media, yêu câu lưu trữu tìm kiếm liệu media trở nên ngày cấp thiết Các kỹ thuật tìm kiếm truyền thống khơng cịn đủ mạnh để đáp ứng khả tìm kiếm liệu đa phương tiện Chẳng hạn có sở liệu vân tay, khn mặt, hay đơn giản sở liệu động vật tự nhiên Việc tìm kiếm dựa văn đơn đáp ứng yêu cầu, ví dụ nhân viên cảnh sát có dấu vân tay tên tội phạm, muốn tìm xem có thơng tin tên tội phạm khơng Như đầu vào hệ thống ảnh dấu vân tay, trường hợp khơng thể sử dụng việc tìm kiếm dựa văn Những năm gần đây, hệ thống tìm kiếm sở liệu đa phương tiện nghiên cứu ngày nhiều, kỹ thuật tìm kiếm ngày tinh tế xác Cơ sở liệu ảnh ngoại lệ Có nhiều kỹ thuật tìm kiếm xây dựng cho sở liệu ảnh Các kỹ thuật tìm kiếm dựa đặc trưng ảnh chẳng hạn như: đặc trưng màu sắc ảnh, đặc trưng hình dạng ảnh, đặc trưng hoa văn ảnh Mỗi đặc trưng có kỹ thuật tìm kiếm khác Trong giới hạn luận văn tập trung vào nghiên cứu sở liệu ảnh kỹ thuật tìm kiếm ảnh dựa hoa văn ảnh Nội dung luận văn bao gồm chương: Chương - Khái quát vê sở liệu đa phương tiện sở liệu ảnh Chương nêu lên khái niệm liệu đa phương tiện, sở liệu đa phương tiện, sở liệu ảnh, đặc trưng ảnh thường dùng trích chọn đặc trưng tìm kiếm ảnh Chương – Hoa văn ảnh kỹ thuật tìm kiếm hoa văn ảnh Chương sâu nghiên cứu đặc trưng ảnh, đặc trưng hoa văn ảnh Chương nêu lên khái niệm hoa văn ảnh, mơ hình hoa văn ảnh, phương pháp phân tích hoa văn ảnh nghiên cứu chi tiết phương pháp phân tích ảnh ứng dụng toán ứng dụng Chương – Xây dựng ứng dụng truy tìm ảnh dựa nội dung sử dụng lọc Gabor Chương xây dựng sở lý thuyết cho tìm tốn tìm kiếm ảnh dựa nội dung sử dụng lọc Gabor, cài đặt thử nghiệm ứng dụng đánh giá kết phương pháp CHƯƠNG – KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN – CƠ SỞ DỮ LIỆU ẢNH 1.1 Dữ liệu đa phương tiện Dữ liệu đa phương tiện ngày trở lên phổ biến, chúng chia thành hai lớp liệu liên tục liệu không liên tục Các liệu liên tục bao gồm liệu âm thanh, video dạng liệu thay đổi theo thời gian Các liệu không liên tục liệu không phục thuộc vào thời gian, loại liệu đặc trưng cho dạng liệu văn (có khơng có định dạng), hình ảnh tĩnh đối tượng đồ họa Như kiểu liệu thông thường CSDL đa phương tiện bao gồm: - Dữ liệu văn (có khơng có định dạng), - Đồ họa: vẽ, minh họa mã hóa tệp postscript, - Hình ảnh: hình ảnh mã hóa sử dụng dạng thức chuẩn JPEG, MPEG…, - Các hoạt hình, - Âm thanh, - Video Các loại liệu đa phương tiện khác định dạng, hình thức lưu trữ, dung lượng, cấu trúc,…Tuy nhiên chúng có đặc tính chung sau: - Thiếu cấu trúc: Các liệu đa phương tiện có khuynh hướng phi cấu trúc, tác nghiệp quản trị liệu chuẩn số hố, tìm kiếm nội dung, truy vấn liệu thường không áp dụng - Tính tạm thời: Một vài kiểu liệu đa phương tiện Video, âm hoạt hình phụ thuộc vào yếu tố thời gian yếu tố liên quan mật thiết đến việc lưu trữ, thao tác mơ tả chúng - Có dung lượng lớn: liệu video âm thường đòi hỏi thiết bị lưu trữ lớn - Các ứng dụng hỗ trợ: liệu phi chuẩn địi hỏi quy trình xử lý phức tạp việc sử dụng thuật toán nén liệu ứng dụng CSDL đa phương tiện 1.2 Cơ sở liệu đa phương tiện 1.2.1 Khái niệm Cơ sở liệu đa phương tiện loại sở liệu giống sở liệu khác chứa tập hợp liệu đa phương tiện Đa phương tiện định nghĩa kết hợp nhiều phương tiện truyền thơng Thơng thường có hai dạng sở liệu đa phương tiện: sở liệu đa phương tiện liên kết sở liệu đa phương tiên nhúng Cơ sở liệu đa phương tiện liên kết : Cơ sở liệu đa phương tiện tổ chức sở liệu siêu liệu (metadata) Các siêu liệu liên kết tới liệu thực như: đồ họa, hình ảnh, hoạt hình, âm thanh, … Các liệu lưu trữ thiết bị lưu trữ khác như: ổ cứng, CD-ROM, DVD lưu trữ trực tuyến (online) Trong sở liệu phần tử đa phương tiện tổ chức hình ảnh, âm thanh, video … Trong hệ thống sở liệu liệu lưu trữ off-line chẳng hạn như: ổ cứng, CD-ROM, DVD, … trực tuyến Một ưu điểm loại sở liệu kích thước sở liệu giảm nhiều thành phần đa phương tiện (thường có dung lượng lớn) khơng nhúng trực tiếp vào sở liệu mà sở liệu lưu trữ liên kết tới chúng Online Cơ sở liệu đa phương tiện Dữ liệu đa phương tiện CD-Rom, DVD, ổ cứng Hình 1.1 – Cơ sở liệu đa phương tiện liên kết 66 3.3 Kết minh họa Bộ ảnh sử dụng để kiểm tra lấy từ sở liệu ảnh phổ biến hoa văn sở liệu ảnh Brodatz [9] Cơ sở liệu bao gồm 112 ảnh hoa văn với 52 kiểu hoa văn khác Minh họa 1: Các ảnh quay, phóng to để thực kiểm tra ngữ cảnh bất biến quay bất biến tỷ lệ - Kết tìm kiểm ảnh khơng theo bất biến quay tỷ lệ  Ảnh đầu vào: 67  Kết trả ra(5 ảnh kết xác nhất): 68 69 70 71 72 - Kết tìm kiếm ảnh theo bất biến quay  Ảnh đầu vào: 73  Kết trả ra: 74 75 76 77 78 79 KẾT LUẬN Với mục đích tìm hiểu sở liệu ảnh, hoa văn ảnh đặc biệt nghiên cứu phân tích ảnh dựa lọc Gabor Đề tài giải số vấn đề sau: - Nghiên cứu khái niệm liệu đa phương tiện, sở liệu đa phương tiện - Tìm hiểu sở liệu ảnh, kiến trúc chung sở liệu ảnh - Nghiên cứu khái niệm hoa văn ảnh - Nghiên cứu phương pháp mơ hình hóa hoa văn ảnh - Phân tích hoa văn ảnh dựa vào lọc Gabor - Xây dựng chương trình tìm kiếm ảnh dựa nội dung sử dụng lọc Gabor Trong luận văn trình bày ứng dụng lọc Gabor tìm kiếm ảnh, “Tìm kiếm ảnh dựa nội dung” Bộ lọc Gabor cịn có nhiều ứng dụng khác Định hướng tương lai tìm hiểu áp dụng lọc Gabor cho tìm kiếm sở liệu vân tay, sở liệu khuôn mặt người Nội dung luận văn đáp ứng yêu cầu đặt đề cương luận văn 80 TÀI LIỆU THAM KHẢO I Sách tiếng việt PGS.TS Đặng Văn Đức (2008), Bài giảng sở liệu đa phương tiện Nguyễn Thị Hoàng Lan, Xử lý ảnh, Đại học Bách Khoa Hà Nội II Sách tiếng anh C H Chen, L F Pau, P S P Wang (1998), The Handbook of Pattern Recognition and Computer Vision (2nd Edition), World Scientific Publishing Co Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Contentbased Image Retrieval Using Gabor Texture Features Monash , Gippsland School of Computing and Information Technology, by University Churchill, Victoria, 3842, Australia Kai-Kuang Ma, Ju Han (2007), Rotation-invariant and scale-invariant Gabor features for texture image retrieval, School of Electrical and Electronic Engineering, Nanyang Technological University, Nanyang 639798, Singapore Samir Kumar Jalal (2001), Multimedia Database: Content and Structure, Documentation Research and Training Center, Bangalore-59 W.Y Ma and B.S Manjunath (1996), Texture Features for Browsing and Retrieval of Image Data, IEEE transaction on pattern analysis and machine intelligence http://www.ux.uis.no/~tranden/brodatz.html ... văn, phân lớp hoa văn, tổng hợp hoa văn tạo hình từ hoa văn 2.3.2 Phân đoạn hoa văn Phân đoạn hoa văn tốn khó thường khơng biết ảnh tồn kiểu hoa văn gì, có hoa văn khác miền ảnh có hoa văn Trong... tiện, sở liệu đa phương tiện, sở liệu ảnh, đặc trưng ảnh thường dùng trích chọn đặc trưng tìm kiếm ảnh Chương – Hoa văn ảnh kỹ thuật tìm kiếm hoa văn ảnh Chương sâu nghiên cứu đặc trưng ảnh, đặc... phân đoạn ảnh hoa văn 2.2.2.2 Các phương pháp cấu trúc Mơ hình cấu trúc hoa văn giả thiết hoa văn hợp thành từ hoa văn nguyên thủy (hay gọi hoa văn gốc) Các hoa văn tạo cách xếp hoa văn gốc theo