Tìm hiểu phương pháp tra cứu ảnh theo nội dung

DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Dạng đầy đủ Nghĩa tiếng Việt Pyramid-structured Wavelet Transform Biến đổi dạng sóng kiểu hình chóp Tree-structure Wavelet Transform Biến đổi dạng sóng kiểu hình SAR Simultaneous Auto Regressive Tự thoái lui đồng thời MRF Markov Random Field Trường ngẫu nhiên Markov DC Direct Current Thành phần chiều AVR Average Rank Thứ hạng trung bình MRR Modified Retrieval Rank Thứ hạng tra cứu sửa đổi ANMRR Average Normalized Modified Retrieval Rank Thứ hạng tra cứu sửa đổi chuẩn hoá trung bình GCH Global Color Histogram Biểu đồ màu toàn cục LCH Local Color Histogram Biểu đồ màu cục PWT TWT MỞ ĐẦU Những năm gần đây, ảnh số ngày thu hút quan tâm nhiều người, phần thiết bị thu nhận ảnh số ngày phổ biến có giá phù hợp, cho phép nhiều người sở hữu sử dụng Mặt khác công nghệ chế tạo thiết bị lưu trữ cải tiến đời thiết bị lưu trữ có dung lượng lớn giá thành hạ làm cho việc lưu trữ ảnh dạng file trở nên phổ biến Thêm phát triển mạng Internet làm cho số lượng ảnh số đưa lên lưu trữ trao đổi qua Internet lớn Tuy nhiên số lượng ảnh lưu trữ trở nên lớn vấn đề phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Khi số lượng ảnh sưu tập ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, đòi hỏi phải có phương pháp hiệu xác Trong thực tế, toán tra cứu ảnh số có nhiều ứng dụng quan trọng Ví dụ lĩnh vực ngân hàng việc so sánh chữ ký khách hàng với mẫu chữ ký lưu trữ sẵn thực nhanh xác có phần mềm so sánh mẫu chữ ký tốt Thực tế ngân hàng Việt nam người ta phải sử dụng phương pháp so sánh mắt thường việc so sánh chữ ký phần mềm chưa thực Một ví dụ khác toán quản lý biểu trưng (logo) lĩnh vực sở hữu trí tuệ Khi đơn vị muốn đăng ký logo riêng cho đơn vị quan quản lý phải tiến hành đánh giá xem mẫu logo sử dụng hay chưa có tương tự với mẫu logo sử dụng hay không Trong trường hợp sử dụng mắt thường để duyệt tốn nhiều thời gian, có phần mềm cho phép tìm kiếm sở liệu ảnh có sẵn biểu trưng tương tự với biểu trưng mẫu việc đánh giá tương tự dễ dàng nhiều Các ứng dụng phức tạp so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v toán tra cứu ảnh áp dụng ngành khoa học hình Vì vậy, việc xây dựng hệ thống tìm kiếm xếp hạng ảnh cần thiết thực tế có nhiều công cụ tìm kiếm ảnh thương mại xuất Các công cụ tìm kiếm ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách người ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc tra cứu ảnh thực dựa lời thích Phương pháp đơn giản Tuy nhiên, việc tìm kiếm dựa vào văn kèm có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh trình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt người dùng muốn tìm hình ảnh táo hay logo hãng Apple Bên cạnh phương pháp tra cứu ảnh dựa theo văn áp dụng để tra cứu sở liệu ảnh có số lượng ảnh lớn kết tra cứu mang tính chủ quan cảm ngữ cảnh Một số công cụ tìm kiếm ảnh theo văn kèm như: google Image Search, Yahoo!, MSN,… Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục không gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Một số hệ thống tra cứu ảnh tiếng QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University) áp dụng thành công phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung Trên sở tiến hành thử nghiệm phương pháp cụ thể để xây dựng chương trình phần mềm tra cứu ảnh cho phép đọc vào ảnh mẫu tìm kiếm ảnh tương tự với ảnh mẫu tập hợp ảnh cho trước theo hai đặc điểm hình dạng màu sắc ảnh Nội dung luận văn phần mở đầu gồm có ba chương: Chương 1: Trình bày tổng quan vấn đề tra cứu ảnh, giới thiệu sơ lược số phương pháp tra cứu ảnh số hệ thống tra cứu ảnh tiêu biểu Chương 2: Giới thiệu chi tiết số phương pháp trích chọn đặc trưng ảnh Chương 3: Giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung; hạn chế khả mở rộng chương trình ứng dụng CHƯƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh Những năm gần đây, vấn đề tra cứu ảnh số nhận quan tâm ngày lớn Nguyên nhân phần phát triển công nghệ chế tạo thiết bị thu nhận lưu trữ ảnh số phát triển mạnh mẽ mạng Internet Người sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lưu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên người ta nhận thấy việc tìm ảnh mong muốn sưu tập ảnh đa dạng có kích thước lớn khó khăn Tra cứu ảnh trình tìm kiếm sở liệu ảnh ảnh thoả mãn yêu cầu Ví dụ, người sử dụng tìm kiếm tất ảnh chủ đề biển sở liệu ảnh người sử dụng khác lại muốn phân loại sở ảnh thành sưu tập có chủ đề khác Một ví dụ khác tra cứu ảnh người muốn tìm tất ảnh tương tự với ảnh mẫu sở liệu ảnh Vấn đề tra cứu ảnh nhìn nhận rộng rãi việc tìm kiếm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu phát triển Những kỹ thuật tra cứu ảnh số nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức sở liệu cho ứng dụng đồ hoạ" tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý sở liệu ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mô hình hệ thống tra cứu ảnh theo nội dung Phương pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh màu sắc, hình dạng, kết cấu (texture) phân bố không gian để thể đánh số ảnh [7] Trong hệ thống tra cứu ảnh theo nội dung điển hình (hình vẽ 1.1) nội dung trực quan ảnh trích chọn mô tả véctơ đặc trưng nhiều chiều Tập hợp véctơ đặc trưng ảnh sở liệu ảnh tạo thành sở liệu đặc trưng Quá trình tra cứu ảnh tiến hành sau: người sử dụng cung cấp cho hệ thống tra cứu ảnh mẫu cụ thể hình vẽ phác thảo đối tượng ảnh cần tìm Sau hệ thống chuyển mẫu thành véc tơ đặc trưng tính toán giống (hay độ tương tự) véc tơ đặc trưng ảnh mẫu véc tơ đặc trưng ảnh sở liệu Sau việc tra cứu tiến hành với trợ giúp sơ đồ đánh số Sử dụng sơ đồ đánh số cách hiệu để tìm kiếm sở liệu ảnh Một số hệ thống tra cứu ảnh phát triển gần tích hợp chức xử lý phản hồi người sử dụng để cải tiến qui trình tra cứu kết tra cứu tốt Phản hồi thích hợp Người sử dụng Tạo truy vấn Cơ sở Dữ liệu ảnh Mô tả Nội dung Trực quan Mô tả Nội dung Các Vector Đặc trưng Đánh giá độ tương tự Cơ sở Dữ liệu Đặc trưng Tra cứu Đánh số Trực quan Đầu Kết tra cứu Hình 1.1: Mô hình hệ thống Tra cứu ảnh theo nội dung Trong mô hình này, người sử dụng tạo truy vấn cách chọn ảnh mẫu sở liệu ảnh cho trước phác thảo hình vẽ mô tả đối tượng ảnh cần tìm cách sử dụng giao diện đồ hoạ hệ thống Ảnh mẫu đưa qua khối mô tả nội dung trực quan, người ta sử dụng phương pháp mô tả nội dung trực quan để trích chọn đặc điểm nội dung trực quan để xây dựng thành véc tơ đặc trưng Véc tơ đặc trưng ảnh mẫu so sánh với véc tơ đặc trưng tương ứng ảnh sở liệu ảnh Kết phép so sánh số đánh giá độ tương tự ảnh mẫu ảnh lấy để so sánh Dựa vào số độ tương tự tính toán trên, hệ thống xếp ảnh tìm sở liệu ảnh theo sơ đồ đánh số Danh sách ảnh tìm (đã xếp) đưa đầu hệ thống 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1 Hệ thống QBIC (Query By Image Content) Hệ thống QBIC hãng IBM hệ thống tra cứu ảnh thương mại tiếng số hệ thống tra cứu ảnh dựa nội dung Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng kết cấu QBIC cung cấp số phương pháp: Simple, Multi-feature, Multi-pass Trong phương pháp truy vấn Simple sử dụng đặc điểm Truy vấn Multi-feature bao gồm nhiều đặc điểm đặc điểm có trọng số suốt trình tìm kiếm Truy vấn Multi-pass sử dụng đầu truy vấn trước làm sở cho bước Người sử dụng vẽ định màu, kết cấu mẫu hình ảnh yêu cầu Trong hệ thống QBIC màu tương tự tính toán độ đo bình phương sử dụng biểu đồ màu k phần tử màu trung bình sử dụng lọc để cải tiến hiệu truy vấn [4] 1.3.2 Hệ thống Photobook Hệ thống phát triển viện kỹ thuật Massachusetts Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, hình dạng kết cấu Hệ thống cung cấp tập thuật toán đối sánh gồm: Euclidean, mahalanobis, vector space angle, histogram, Fourier peak, wavelet tree distance độ đo khoảng cách Hệ thống công cụ bán tự động sinh mẫu truy vấn dựa vào ảnh mẫu cung cấp người sử dụng Điều cho phép người sử dụng trực tiếp đưa yêu cầu truy vấn họ với lĩnh vực khác nhau, lĩnh vực họ thu mẫu truy vấn tối ưu [4] 1.3.3 Hệ thống VisualSEEK WebSEEK Cả hai hệ thống phát triển Trường Đại học Colombia VisualSEEK hệ thống sở liệu ảnh Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, không gian miền đặc điểm kết cấu Thêm vào VisualSEEK cho phép người sử dụng tạo truy vấn việc định vùng màu không gian vị trí chúng WebSEEK catalog ảnh công cụ tìm kiếm website [4] 1.3.4 Hệ thống RetrievalWare Hệ thống phát triển tập đoàn công nghệ Excalibur cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu, độ sáng, kết cấu màu hệ số co Người sử dụng điều chỉnh tỷ trọng đặc điểm suốt trình tìm kiếm [4] 1.3.5 Hệ thống Imatch Hệ thống cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu Nó cung cấp số phương pháp để tra cứu ảnh tương tự: Màu tương tự, màu hình dạng, màu hình dạng mờ, phân bố màu Màu tương tự để tra cứu ảnh tương tự với ảnh mẫu dựa phân bố màu toàn cục Màu hình dạng thực tra cứu việc kết hợp hình dạng, kết cấu màu Màu hình dạng mờ thực thêm bước xác định đối tượng ảnh mẫu Phân bố màu cho phép người sử dụng vẽ phân bố màu xác định tỷ lệ phần trăm màu hình ảnh mong muốn Imatch cung cấp đặc điểm khác nội dung để xác định ảnh: ảnh nhị phân, lưu trữ định dạng khác ảnh có tên tương tự [4] 1.4 Một số ứng dụng tra cứu ảnh Tra cứu ảnh ứng dụng nhiều lĩnh vực, lĩnh vực thành công bao gồm: Ngăn chặn tội phạm Quân Quản lý tài sản trí tuệ Thiết kế kiến trúc máy móc Thiết kế thời trang nội thất Báo chí quảng cáo Chuẩn đoán y học Hệ thống thông tin địa lý Di sản văn hóa Giáo dục đào tạo Giải trí Tìm kiếm trang web 10 CHƯƠNG II: MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại phân làm hai loại nội dung tổng quan nội dung đặc tả Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng quan hệ không gian đối tượng ảnh vùng ảnh Nội dung đặc tả tuỳ vào ứng dụng cụ thể, ví dụ với ứng dụng tra cứu ảnh người mặt người mắt nội dung đặc tả; với ứng dụng tra cứu ảnh ô tô bánh xe nội dung đặc tả Nội dung ngữ nghĩa phát thông qua thích sử dụng phương pháp suy diễn từ nội dung trực quan Trong khuôn khổ luận văn tập trung vào việc mô tả nội dung trực quan tổng quan ảnh Một phương pháp mô tả nội dung trực quan thiết kế tốt phải có tính bất biến biến đổi bất thường sinh trình xử lý ảnh (ví dụ biến đổi bất thường độ sáng cảnh vật) Tuy nhiên cần phải ý tới cân tính bất biến khả đáp ứng thay đổi tuỳ ý đặc trưng trực quan ảnh, hệ thống có tính bất biến lớn thường tính nhạy cảm, khả phản ánh thay đổi nhỏ quan trọng Một phương pháp mô tả nội dung trực quan phương pháp toàn cục phương pháp cục Phương pháp mô tả nội dung toàn cục sử dụng đặc trưng trực quan toàn ảnh phương pháp mô tả nội dung cục lại sử dụng đặc trưng trực quan vùng ảnh đối tượng ảnh để mô tả nội dung ảnh Sơ đồ thể khối chức modul chương trình: Đọc ảnh: sử dụng thư viện chuẩn Windows để đọc ảnh mẫu ảnh sở liệu vào cấu trúc DIB Trích chọn đặc điểm: tuỳ thuộc vào đặc điểm cần trích chọn màu sắc hay hình dạng mà khối sử dụng thuật toán trích chọn tương ứng Tạo véc tơ đặc trưng: đặc điểm trích chọn dạng véc tơ đặc trưng nhiều chiều Tính khoảng cách: dựa vào số phương pháp tính khoảng cách trình bày chương để tính khoảng cách tương ứng véc tơ đặc trưng ảnh mẫu ảnh sở liệu Cuối dựa theo khoảng cách tính được, chương trình xếp kết theo chiều giảm dần độ tương tự véc tơ đặc trưng 3.3.2 Tra cứu theo hình dạng Đọc ảnh mẫu Đọc ảnh từ sở DL Dò biên Dò biên Resample 256x256 Resample 256x256 FFT FFT Tạo Véc tơ đặc trưng Tạo Véc tơ đặc trưng Tính k/c Euclide Thêm vào danh sách vị trí thích hợp Hình 3.2: Sơ đồ khối phần tra cứu ảnh theo hình dạng  Ảnh mẫu đọc vào cấu trúc DIB hàm DisplayImage  Sử dụng thuật toán dò biên gián tiếp để phân vùng ảnh  Thực co/giãn (resample) để chuẩn hoá kích thước (cả hai kích thước luỹ thừa 2) trước chép sang ma trận số phức làm đầu vào hàm biến đổi Fourier nhanh FFT  Hàm FFT trả lại ma trận số phức  Việc tạo véc tơ đặc trưng ảnh thực ma trận số phức Véc tơ đặc trưng vector có 256 chiều  Đọc ảnh sở liệu, thực bước giống với ảnh mẫu để vector đặc trưng ảnh vừa đọc  So sánh vector đặc trưng ảnh mẫu ảnh đọc từ sở liệu cách tính khoảng cách Euclide vector đặc trưng hàm GetShapeDistance  Thêm ảnh vừa đọc vào danh sách ảnh tìm thấy, ảnh có sai khác so với ảnh mẫu nhỏ xếp lên 3.3.2.1 Đọc ảnh Ảnh đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage, đầu vào tên đường dẫn đến file cần đọc, đọc ảnh thành công thủ tục DisplayImage hiển thị ảnh lên khung ảnh định Việc thao tác với cấu trúc DIB thực thông qua cấu trúc DIBSection định nghĩa thư viện GDI32 Windows [14],[18] 3.3.2.2 Dò biên đối tượng ảnh Phần dò biên đối tượng ảnh sử dụng thuật toán dò biên gián tiếp cách xác định chu tuyến đối tượng ảnh trình bày chương 3.3.2.3 Resample Chúng ta biết để thực biến đổi Fourier nhanh kích thước dãy số đầu vào phải luỹ thừa Tuy nhiên ảnh cần đọc lại có số điểm ảnh khác thường không thoả mãn yêu cầu này, thủ tục Resample phải thực phép nội suy để thêm/bớt điểm ảnh để ảnh có số điểm ảnh thoả mãn yêu cầu mà không làm thay đổi chất lượng ảnh Các điểm ảnh thêm vào theo nguyên tắc nội suy Màu mật độ điểm ảnh nội suy tính toán dựa giá trị điểm ảnh có sẵn ảnh Có nhiều cách để xây dựng thủ tục Resample, có phương pháp thông dụng nhất: Nearest Neighbor: điểm ảnh sinh dựa vào thông tin điểm ảnh phía điểm ảnh mới, phương pháp resample nhanh độ xác thấp (trong phương pháp) Bilinear: lấy thông tin từ điểm ảnh phía bên cạnh điểm ảnh Chất lượng ảnh tốt so với phương pháp Nearest Neighbor Bicubic: Là phương pháp xác thông tin điểm ảnh suy từ điểm ảnh xung quanh Trong chương trình sử dụng phương pháp đơn giản Nearest Neighbor Kích thước mảng liệu đầu 256×256 phần tử 3.3.2.4 Biến đổi Fourier nhanh Hàm biến đổi FFT cải tiến từ chương trình Randy Crane liệt kê "A Simplified Approach to Image Processing" [4] Đầu vào ma trận số phức chiều sinh từ ma trận điểm ảnh đọc cách gán phần ảo tất số phức 0, phần thực gán giá trị điểm ảnh Đầu ma trận số phức hai chiều biểu diễn khai triển Fourier ma trận đầu vào Trong hàm FFT chiều (hàm twoD_FFT() ), hàng ma trận đầu vào biến đổi Fourier hàm biến đổi 1chiều (hàm oneD_FFT() ), sau tính FFT chiều cho cột Hai hàm sở để xây dựng oneD_FFT Scramble() Butterflies() Trong Scramble() sử dụng để xếp lại dãy đầu vào theo thứ tự đảo bit, hàm Butterflies() thuật toán sở, gọi đệ qui để tính FFT 3.2.2.5 Tạo véc tơ đặc trưng hình dạng cho ảnh Véc tơ đặc trưng ảnh vector 256 chiều, chứa 256 giá trị số double double* m_Signature; m_Signature = new double[256]; Hàm sinh chữ ký GenerateSignature(): Đầu vào: Ma trận vuông kích thước 256x256 số phức (sinh hàm biến đổi FFT chiều twoD_FFT()) biểu diễn ảnh miền tần số Đầu ra: vector chữ ký 256 chiều mảng 256 số double signature ảnh Thuật toán: Tính modul (magnitude) phần tử mảng hai chiều 256x256 phần tử theo công thức: Magnitude(i, j ) = Re(i, j ) + Im(i, j ) đó: Magnitude(i,j) modul số phức vị trí hàng i, cột j ma trận, Re(i,j) phần thực số phức vị trí hàng i cột j, Im(i,j) phần ảo số phức vị trí hàng i, cột j Chia ảnh đầu vào thành khối kích thước 16x16 Khởi tạo mảng image_Signature[] gồm 256 phần tử Tính signature cho khối theo công thức: block _ Signature = 15 15 ∑∑ Mag[ (iBlockRow + i), (iBlockCol + j )] i =0 j =0 Trong đó: block_Signature giá trị signature khối, iBlockRow (0 - 255) số hàng phần tử khối, iBlockCol (0 - 255) số cột phần tử khối, i hàng phần tử khối (i = 0, ,15) , j số cột phần tử khối (j = 0, ,15) Mag[i,j] modul số phức vị trí hàng i, cột j ma trận đầu vào Lưu chữ ký block_Signature lưu vào mảng image_Signature[]; Sau tính xong signature cho 256 khối, tiến hành chuẩn hóa mảng image_Signature[] 3.3.2.6 So sánh ảnh cách tính khoảng cách Euclide Khoảng cách ảnh Query_Image ảnh Found_Image định nghĩa khoảng cách Euclide hai chữ ký query_Signature[] found_Signature[] theo công thức: diff = 255 ∑ ( found _ Signature[i] − query _ Signature[i]) i =0 Khoảng cách diff nhỏ hai ảnh coi giống 3.3.3 Tra cứu theo màu sắc Đọc ảnh mẫu Đọc ảnh từ sở DL Chuyển đổi 256 màu Chuyển đổi 256 màu Tính histogram màu Tính histogram màu Tính k/c Euclide Thêm vào danh sách vị trí thích hợp Hình 3.3: Sơ đồ khối phần tra cứu ảnh theo màu sắc Sử dụng phương pháp histogram màu trình bày chương Ảnh mẫu đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage Giảm số lượng bin màu xuống 256 cách chuyển đổi màu thực điểm ảnh thành số màu bảng màu chuẩn Windows hàm GetClosetIndex Tính toán số điểm ảnh bin màu hàm GenerateColorSignature, thu véc tơ 256 chiều véc tơ đặc trưng màu sắc ảnh Làm bước tương tự với ảnh sở liệu Tính khoảng cách Euclide véc tơ đặc trưng ảnh mẫu ảnh sở liệu hàm GetColorDistance xếp vào danh sách với khoảng cách nhỏ xếp trước tiên 3.3.4 Sử dụng chương trình Content based image retrieval Khởi động chương trình, chọn file ảnh mẫu, ảnh mẫu hiển thị ô khung "Query Image" Chọn phương pháp so sánh: hình dạng hay màu sắc, nhập số đo khoảng cách tối đa (giá trị ngưỡng) hộp Similarity Distance Nhấn nút Find, chương trình yêu cầu người dùng chọn thư mục chứa file ảnh cần tìm Chương trình sau liệt kê tất ảnh có khoảng cách Euclide nhỏ giá trị ngưỡng theo thứ tự tăng dần khoảng cách Euclide, ảnh coi giống xếp trước Khi chọn ảnh danh sách ảnh tìm thấy (Found Image List), chương trình hiển thị ảnh khung Results Image Hình 3.4 số kết chạy chương trình để tìm kiếm ảnh tương tự với ảnh mẫu HìHình 3.4: Một số kết chạy thử chương trình 3.4 Khả mở rộng chương trình 3.4.1 Những hạn chế chương trình Chương trình giới thiệu đưa thuật toán đơn giản để trích chọn đặc điểm (sinh véc tơ đặc trưng) nên chắn cho kết so sánh tốt Các ảnh ban đầu chưa xử lý “sơ chế” lọc nhiễu yêu cầu định dạng đơn giản nên phạm vi so sánh bị hạn chế Chương trình thiết lập kích thước cố định cho ảnh trước xử lý 256×256, kích thước khối 16×16, số chiều vector đặc trưng 256 làm hạn chế tính mềm dẻo chương trình 3.4.2 Khả mở rộng Kỹ thuật “tra cứu ảnh theo nội dung” có nhiều hướng nghiên cứu phát triển tạo thuật toán hiệu làm cho máy tính “hiểu” nội dung ảnh Chúng ta hoàn toàn xây dựng thuật toán tốt để trích chọn đặc điểm đặc trưng khác màu sắc, kết cấu, hình dạng đối tượng ảnh để phát triển cho toán nhận dạng vật thể Thuật toán resample chương trình sử dụng phương pháp đơn giản để thực nội suy, sử dụng thuật toán cho độ xác cao chắn cải thiện đáng kể chất lượng chương trình Sử dụng phương pháp làm giảm số chiều véc tơ đặc trưng làm tăng đáng kể tốc độ tra cứu Đối với hệ thống máy tính có trang bị nhiều vi xử lý có xủ lý lõi kép xây dựng thuật toán cho phép phân phối tác vụ cho nhiều vi xử lý đồng thời giải pháp tốt để tăng tốc độ tra cứu Sử dụng phương pháp tính toán độ tương tự phù hợp cho loại đặc điểm để có kết so sánh gần với trực giác KẾT LUẬN Bản luận văn trình bày vài kỹ thuật tảng hệ thống tra cứu ảnh theo nội dung bao gồm mô tả nội dung trực quan, đánh giá độ tương tự đánh giá hiệu hệ thống, nhấn mạnh vào kỹ thuật mô tả đặc điểm trực quan Các đặc điểm trực quan tổng quát sử dụng nhiều hệ tra cứu ảnh theo nội dung màu sắc, kết cấu, hình dạng Màu sắc thường biểu diễn thông quan histogram màu, sơ đồ tương quan màu, véc tơ gắn kết màu moment màu không gian màu định Kết cấu biểu diễn thông qua đặc điểm Tamura, phân tích Wold, mô hình SAR, biến đổi Gabor biến đổi dạng sóng Hình dạng biểu diễn thông qua mô tả Fourier Ngoài đặc điểm trực quan điểm ảnh lại sử dụng để phân tách ảnh thành vùng đồng đối tượng ảnh Các đặc điểm cục vùng ảnh đối tượng ảnh dùng hệ thống tra cứu ảnh theo vùng Có nhiều cách để đánh giá khoảng cách đặc điểm trực quan, số cách sử dụng phổ biến khoảng cách Minkowski, khoảng cách toàn phương, khoảng cách Mahalanobis, độ phân kỳ Kullback-Leibler độ phân kỳ Jeffrey Đến thời điểm phương pháp tính khoảng cách Minkowski khoảng cách toàn phương sử dụng rộng rãi hệ thống tra cứu ảnh Mặc dù kỹ thuật tra cứu ảnh theo nội dung đưa giải pháp thông minh tự động để tìm kiếm ảnh cách hiệu vấn đề kỹ thuật dựa đặc điểm mức thấp Nói chung đặc điểm mức thấp phản ánh đựơc khía cạnh ảnh Không có đặc điểm phản ánh ngữ nghĩa ảnh, kể sử dụng kết hợp nhiều đặc điểm Ngoài đánh giá độ tương tự đặc điểm trực quan lại chưa liên quan đến đặc điểm sinh lý thị giác người Người sử dụng thường quan tâm đến giống ngữ nghĩa nên kết truy vấn dựa đặc điểm mức thấp thường không thoả mãn yêu cầu nói chung khó đoán trước Mặc dù phản hồi thích hợp cách để bù đắp vào khoảng cách tìm kiếm theo ngữ nghĩa việc xử lý liệu mức thấp vấn đề tồn cần phải có kỹ thuật khác đáp ứng Những vấn đề giải luận văn: Giới thiệu chi tiết phương pháp tra cứu ảnh theo nội dung Sơ lược cách đánh giá hiệu hệ thống tra cứu ảnh Xây dựng chương trình thử nghiệm theo hai đặc điểm là: hình dạng màu sắc Những vấn đề tồn tại: Do thời gian tìm hiểu đề tài chưa nhiều hạn chế khả lập trình đồ hoạ nên số mục tiêu đặt từ bắt tay nghiên cứu chưa thực chương trình chạy thử này, bao gồm: Chưa xây dựng chức tra cứu ảnh theo kết cấu (Texture) Chưa có chức tra cứu ảnh cách kết hợp nhiều đặc điểm Chưa cài đặt kỹ thuật đánh số hiệu Chưa cài đặt kỹ thuật tăng hiệu hệ thống cách giảm số chiều véc tơ đặc trưng Trong thời gian tới, hy vọng giải vấn đề tồn để xây dựng chương trình thực hữu ích, đáp ứng yêu cầu toán TÀI LIỆU THAM KHẢO Tiếng Việt Lương Mạnh Bá, Nguyễn Thanh Thuỷ (2003), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật Đỗ Năng Toàn (2002), The boundaries of the region and properties, Science and Technology Journal, Vol.40, Special No, pp 41-48 Tiếng Anh Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval base on region shape similarity, Microsoft Research China, www.eecs.berkeley.edu/~cchang/docs/Spie01.pdf Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems, http://www.jtap.ac.uk/reports/htm/jtap-054.html Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Contentbased Image Retrieval Using Gabor Texture Features, personal.gscit.monash.edu.au/~dengs/resource/papers/pcm00.pdf Eva M.van Rikxoort (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 J.Eakins, M.Graham (2004), “Content-based Image Retrieval”: A report to the JISC Technology Applications Programme, University of Northumbria at Newcastle 10 Longin J Latecki, R Lamkaemper, D Wolter (2005), “Optimal Partial Shape Similarity”, Dept of Computer and Infomation Sciences Temple University 11 Low (1991), A introductory Computer Vision and Image Processin, McGrawhill, 244p ISBN 0077074033 12 M A Stricker and M Orengo (1995), “Similarity of color images In Proc of the SPIE conference on the Storage and Retrieval for Image and Video Databases III”, pages 381–392 13 M Partio, B Cramariuc, M Gabbouj, and A Visa (2002), “Rock Texture Retrieval using Gray Level Co-occurrence Matrix”, NORSIG-2002, 5th Nordic Signal Processing Symposium, On Board Hurtigruten M/S Trollfjord, Norway 14 Mike D Sutton (2005), Using Device Independent Bitmaps (DIBs) in Visual Basic, Part 1, EDAIS, http://edais.mvps.org/ 15 Palaniraja Sivakumar (2004), “Image Similarity Based on Color and Texture”, Report for CIS751 MS Project 16 Sebe N, Lew (2001), “Texture Features for Content-based Retrieval”: Principles of visual Information Retrieval 17 Shengjiu Wang (2001),"A Robust CBIR Approach Using Local Color Histogram", Technique Repost TR 01-13, Edmonton, Alberta, Canada 18 Tanner Helland, Graphics Programming in Visual Basic, tannerhelland.tripod.com/VBGraphicsTutorial.htm 19 Vishal Chitkara (2001) “Color-based image retrieval using compact binary signatures”, Master’s thesis, University of Alberta 20 Vittorio Castelli and Lawrence D Bergman (2002) “Image Database Search and Retrieval of Digital Imagery”, John Wiley & Sons, Inc., New York MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT CHƯƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh .5 1.2 Mô hình hệ thống tra cứu ảnh theo nội dung 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu .7 1.3.1 Hệ thống QBIC (Query By Image Content) 1.3.2 Hệ thống Photobook 1.3.3 Hệ thống VisualSEEK WebSEEK .8 1.3.4 Hệ thống RetrievalWare 1.3.5 Hệ thống Imatch 1.4 Một số ứng dụng tra cứu ảnh CHƯƠNG II: MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH .10 2.1 Phương pháp trích chọn theo mầu sắc tổng thể cục [6],[7],[11] 11 2.1.1 Không gian mầu 12 2.1.2 Lượng tử hoá màu .15 2.1.3 Các moment màu .16 2.1.4 Biểu đồ màu (Color Histogram) 17 2.2 Phương pháp trích chọn đặc trưng theo kết cấu [6],[7],[16] 21 2.2.1 Các đặc trưng Tamura .22 2.2.2 Các đặc trưng Wold 25 2.2.3 Mô hình tự thoái lui đồng thời (mô hình SAR) 25 2.2.4 Ma trận đồng khả (Co-occurrence matrix) [16] 26 2.2.5 Lọc Gabor [5],[7],[16] .28 2.2.6 Biến đổi dạng sóng (wavelet transform) 29 2.3 Phương pháp trích chọn đặc trưng theo hình dạng [3],[6],[7] 30 2.3.1 Biên phương pháp phát biên 32 2.3.2 Xử lý ảnh miền tần số biến đổi Fourier [1] 35 2.4 Độ đo khoảng cách độ đo tương tự [6],[7],[16],[17] 42 2.4.1 Độ đo khoảng cách 42 2.4.2 Độ đo tương tự 45 2.5 Đánh giá hiệu hệ thống tra cứu ảnh 49 CHƯƠNG III: CÀI ĐẶT CHƯƠNG TRÌNH ỨNG DỤNG 52 3.1 Giới thiệu toán tra cứu ảnh 52 3.2 Phân tích toán 52 3.3 Xây dựng chương trình Content based image retrieval 53 3.3.1 Mô hình tổng quát .53 3.3.2 Tra cứu theo hình dạng 54 3.3.3 Tra cứu theo màu sắc .59 3.3.4 Sử dụng chương trình Content based image retrieval 59 3.4 Khả mở rộng chương trình 62 3.4.1 Những hạn chế chương trình 62 3.4.2 Khả mở rộng 62 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 65 Tiếng Việt 65 MỤC LỤC .67 ... dụng thành công phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung Trên sở tiến... ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mô hình hệ thống tra cứu ảnh theo nội dung Phương pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh. .. thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung; hạn chế khả mở rộng chương trình ứng dụng 5 CHƯƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh Những năm gần đây, vấn đề tra cứu ảnh số nhận