Tìm hiểu phương pháp tra cứu ảnh theo nội dung

Đại học Thái Nguyên Khoa công nghệ thông tin Lê Hồng Phong Tìm hiểu ph-ơng pháp tra cứu ảnh theo nội dung Luận văn thạc sĩ công nghệ thông tin Thái Nguyên - 2010 Đại học Thái Nguyên Khoa công nghệ thông tin Lê Hồng Phong Tìm hiểu ph-ơng pháp tra cứu ảnh theo nội dung Chuyên ngành : Khoa học máy tính MÃ số : 60.48.01 Luận văn thạc sĩ công nghệ thông tin Ng-ời h-ớng dẫn khoa học PGS.TS Ngô Quốc Tạo Thái Nguyên - 2010 LI CAM ĐOAN Tơi xin cam đoan tồn nội dung luận văn theo nội dung đề cương nội dung mà cán hướng dẫn giao cho Nội dung luận văn tự sưu tầm, tra cứu xếp cho phù hợp với nội dung yêu cầu đề tài Nội dung luận văn chưa công bố hay xuất hình thức khơng chép từ cơng trình nghiên cứu Tất phần mã nguồn chương trình tơi tự thiết kế xây dựng, có sử dụng số thư viện chuẩn thuật tốn tác giả xuất cơng khai miễn phí mạng Internet Nếu sai tơi xin tơi xin hồn tồn chịu trách nhiệm Thái Ngun, tháng 10 năm 2010 Người cam đoan Lê Hồng Phong Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC CHỮ VIẾT TẮT Chữ Dạng đầy đủ viết tắt PWT TWT Nghĩa tiếng Việt Pyramid-structured Wavelet Biến đổi dạng sóng kiểu hình Transform chóp Tree-structure Wavelet Transform Biến đổi dạng sóng kiểu hình SAR Simultaneous Auto Regressive Tự thoái lui đồng thời MRF Markov Random Field Trƣờng ngẫu nhiên Markov DC Direct Current Thành phần chiều AVR Average Rank Thứ hạng trung bình MRR Modified Retrieval Rank Thứ hạng tra cứu sửa đổi Average Normalized Modified Thứ hạng tra cứu sửa đổi Retrieval Rank chuẩn hố trung bình GCH Global Color Histogram Biểu đồ màu toàn cục LCH Local Color Histogram Biểu đồ màu cục ANMRR Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Những năm gần đây, ảnh số ngày thu hút đƣợc quan tâm nhiều ngƣời, phần thiết bị thu nhận ảnh số ngày phổ biến có giá phù hợp, cho phép nhiều ngƣời sở hữu sử dụng Mặt khác công nghệ chế tạo thiết bị lƣu trữ đƣợc cải tiến đời thiết bị lƣu trữ có dung lƣợng lớn giá thành hạ làm cho việc lƣu trữ ảnh dƣới dạng file trở nên phổ biến Thêm phát triển mạng Internet làm cho số lƣợng ảnh số đƣợc đƣa lên lƣu trữ trao đổi qua Internet lớn Tuy nhiên số lƣợng ảnh đƣợc lƣu trữ trở nên lớn vấn đề phải có phƣơng pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm đƣợc ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Khi số lƣợng ảnh sƣu tập cịn ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực đƣợc mắt thƣờng, nhiên có số lƣợng lớn ảnh việc so sánh mắt thƣờng khó khăn, địi hỏi phải có phƣơng pháp hiệu xác Trong thực tế, toán tra cứu ảnh số có nhiều ứng dụng quan trọng Ví dụ nhƣ lĩnh vực ngân hàng việc so sánh chữ ký khách hàng với mẫu chữ ký đƣợc lƣu trữ sẵn thực nhanh xác có đƣợc phần mềm so sánh mẫu chữ ký tốt Thực tế ngân hàng Việt nam ngƣời ta phải sử dụng phƣơng pháp so sánh mắt thƣờng việc so sánh chữ ký phần mềm chƣa thực đƣợc Một ví dụ khác tốn quản lý biểu trƣng (logo) lĩnh vực sở hữu trí tuệ Khi đơn vị muốn đăng ký logo riêng cho đơn vị quan quản lý phải tiến hành đánh giá xem mẫu logo đƣợc sử dụng hay chƣa có tƣơng tự với mẫu logo đƣợc sử dụng hay khơng Trong trƣờng hợp sử dụng mắt thƣờng để duyệt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tốn nhiều thời gian, có phần mềm cho phép tìm kiếm sở liệu ảnh có sẵn biểu trƣng tƣơng tự với biểu trƣng mẫu việc đánh giá tƣơng tự dễ dàng nhiều Các ứng dụng phức tạp nhƣ so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v toán tra cứu ảnh đƣợc áp dụng ngành khoa học hình Vì vậy, việc xây dựng hệ thống tìm kiếm xếp hạng ảnh cần thiết thực tế có nhiều cơng cụ tìm kiếm ảnh thƣơng mại xuất Các cơng cụ tìm kiếm ảnh thƣờng dựa vào hai đặc trƣng văn kèm ảnh nội dung ảnh Trƣớc năm 1990, ngƣời ta thƣờng sử dụng phƣơng pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách ngƣời ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc tra cứu ảnh đƣợc thực dựa lời thích Phƣơng pháp đơn giản Tuy nhiên, việc tìm kiếm dựa vào văn kèm cịn có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh q trình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt đƣợc ngƣời dùng muốn tìm hình ảnh táo hay logo hãng Apple Bên cạnh phƣơng pháp tra cứu ảnh dựa theo văn áp dụng để tra cứu sở liệu ảnh có số lƣợng ảnh lớn kết tra cứu mang tính chủ quan cảm ngữ cảnh Một số cơng cụ tìm kiếm ảnh theo văn kèm nhƣ: google Image Search, Yahoo!, MSN,… Một phƣơng pháp đƣợc nhiều ngƣời quan tâm nghiên cứu phƣơng pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tƣởng phƣơng pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh nhƣ màu sắc, kết cấu, hình dạng bố cục không gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Một số hệ thống tra cứu ảnh tiếng nhƣ QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn VisualSEEK (Columbia University) áp dụng thành công phƣơng pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phƣơng pháp tra cứu ảnh, sâu vào giới thiệu phƣơng pháp tra cứu ảnh theo nội dung Trên sở tiến hành thử nghiệm phƣơng pháp cụ thể để xây dựng chƣơng trình phần mềm tra cứu ảnh cho phép đọc vào ảnh mẫu tìm kiếm ảnh tƣơng tự với ảnh mẫu tập hợp ảnh cho trƣớc theo hai đặc điểm hình dạng màu sắc ảnh Nội dung luận văn phần mở đầu gồm có ba chƣơng: Chương 1: Trình bày tổng quan vấn đề tra cứu ảnh, giới thiệu sơ lƣợc số phƣơng pháp tra cứu ảnh số hệ thống tra cứu ảnh tiêu biểu Chương 2: Giới thiệu chi tiết số phƣơng pháp trích chọn đặc trƣng ảnh Chương 3: Giới thiệu ứng dụng phƣơng pháp tra cứu ảnh theo nội dung; hạn chế khả mở rộng chƣơng trình ứng dụng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh Những năm gần đây, vấn đề tra cứu ảnh số nhận đƣợc quan tâm ngày lớn Nguyên nhân phần phát triển công nghệ chế tạo thiết bị thu nhận lƣu trữ ảnh số nhƣ phát triển mạnh mẽ mạng Internet Ngƣời sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lƣu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên ngƣời ta nhận thấy việc tìm đƣợc ảnh mong muốn sƣu tập ảnh đa dạng có kích thƣớc lớn khó khăn Tra cứu ảnh trình tìm kiếm sở liệu ảnh ảnh thoả mãn yêu cầu Ví dụ, ngƣời sử dụng tìm kiếm tất ảnh chủ đề biển sở liệu ảnh ngƣời sử dụng khác lại muốn phân loại sở ảnh thành sƣu tập có chủ đề khác Một ví dụ khác tra cứu ảnh ngƣời muốn tìm tất ảnh tƣơng tự với ảnh mẫu sở liệu ảnh Vấn đề tra cứu ảnh đƣợc nhìn nhận rộng rãi việc tìm kiếm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu phát triển Những kỹ thuật tra cứu ảnh số đƣợc nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức sở liệu cho ứng dụng đồ hoạ" đƣợc tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý sở liệu ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mơ hình hệ thống tra cứu ảnh theo nội dung Phƣơng pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh nhƣ màu sắc, hình dạng, kết cấu (texture) phân bố không gian để thể đánh số ảnh [7] Trong hệ thống tra Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn cứu ảnh theo nội dung điển hình (hình vẽ 1.1) nội dung trực quan ảnh đƣợc trích chọn mơ tả véctơ đặc trƣng nhiều chiều Tập hợp véctơ đặc trƣng ảnh sở liệu ảnh tạo thành sở liệu đặc trƣng Quá trình tra cứu ảnh đƣợc tiến hành nhƣ sau: ngƣời sử dụng cung cấp cho hệ thống tra cứu ảnh mẫu cụ thể hình vẽ phác thảo đối tƣợng ảnh cần tìm Sau hệ thống chuyển mẫu thành véc tơ đặc trƣng tính tốn giống (hay độ tƣơng tự) véc tơ đặc trƣng ảnh mẫu véc tơ đặc trƣng ảnh sở liệu Sau việc tra cứu đƣợc tiến hành với trợ giúp sơ đồ đánh số Sử dụng sơ đồ đánh số cách hiệu để tìm kiếm sở liệu ảnh Một số hệ thống tra cứu ảnh phát triển gần cịn tích hợp chức xử lý phản hồi ngƣời sử dụng để cải tiến qui trình tra cứu kết tra cứu tốt Phản hồi thích hợp Người sử dụng Tạo truy vấn Cơ sở Dữ liệu ảnh Mô tả Nội dung Trực quan Mô tả Nội dung Các Vector Đặc trƣng Đánh giá độ tƣơng tự Cơ sở Dữ liệu Đặc trƣng Tra cứu Đánh số Trực quan Đầu Kết tra cứu Hình 1.1: Mơ hình hệ thống Tra cứu ảnh theo nội dung Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn Trong mơ hình này, ngƣời sử dụng tạo truy vấn cách chọn ảnh mẫu sở liệu ảnh cho trƣớc phác thảo hình vẽ mơ tả đối tƣợng ảnh cần tìm cách sử dụng giao diện đồ hoạ hệ thống Ảnh mẫu đƣợc đƣa qua khối mơ tả nội dung trực quan, ngƣời ta sử dụng phƣơng pháp mô tả nội dung trực quan để trích chọn đặc điểm nội dung trực quan để xây dựng thành véc tơ đặc trƣng Véc tơ đặc trƣng ảnh mẫu đƣợc so sánh với véc tơ đặc trƣng tƣơng ứng ảnh sở liệu ảnh Kết phép so sánh số đánh giá độ tƣơng tự ảnh mẫu ảnh lấy để so sánh Dựa vào số độ tƣơng tự tính tốn đƣợc trên, hệ thống xếp ảnh tìm đƣợc sở liệu ảnh theo sơ đồ đánh số Danh sách ảnh tìm đƣợc (đã đƣợc xếp) đƣợc đƣa đầu hệ thống 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1 Hệ thống QBIC (Query By Image Content) Hệ thống QBIC hãng IBM hệ thống tra cứu ảnh thƣơng mại tiếng số hệ thống tra cứu ảnh dựa nội dung Nó cho phép ngƣời sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng kết cấu QBIC cung cấp số phƣơng pháp: Simple, Multi-feature, Multi-pass Trong phƣơng pháp truy vấn Simple sử dụng đặc điểm Truy vấn Multi-feature bao gồm nhiều đặc điểm đặc điểm có trọng số nhƣ suốt q trình tìm kiếm Truy vấn Multi-pass sử dụng đầu truy vấn trƣớc làm sở cho bƣớc Ngƣời sử dụng vẽ định màu, kết cấu mẫu hình ảnh yêu cầu Trong hệ thống QBIC màu tƣơng tự đƣợc tính tốn độ đo bình phƣơng sử dụng biểu đồ màu k phần tử màu trung bình đƣợc sử dụng nhƣ lọc để cải tiến hiệu truy vấn [4] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Sơ đồ thể khối chức modul chƣơng trình: Đọc ảnh: sử dụng thƣ viện chuẩn Windows để đọc ảnh mẫu ảnh sở liệu vào cấu trúc DIB Trích chọn đặc điểm: tuỳ thuộc vào đặc điểm cần trích chọn màu sắc hay hình dạng mà khối sử dụng thuật tốn trích chọn tƣơng ứng Tạo véc tơ đặc trƣng: đặc điểm đƣợc trích chọn dƣới dạng véc tơ đặc trƣng nhiều chiều Tính khoảng cách: dựa vào số phƣơng pháp tính khoảng cách đƣợc trình bày chƣơng để tính khoảng cách tƣơng ứng véc tơ đặc trƣng ảnh mẫu ảnh sở liệu Cuối dựa theo khoảng cách tính đƣợc, chƣơng trình xếp kết theo chiều giảm dần độ tƣơng tự véc tơ đặc trƣng 3.3.2 Tra cứu theo hình dạng Đọc ảnh mẫu Đọc ảnh từ sở DL Dò biên Dò biên Resample 256x256 Resample 256x256 FFT FFT Tạo Véc tơ đặc trƣng Tạo Véc tơ đặc trƣng Tính k/c Euclide Thêm vào danh sách vị trí thích hợp Hình 3.2: Sơ đồ khối phần tra cứu ảnh theo hình dạng  Ảnh mẫu đƣợc đọc vào cấu trúc DIB hàm DisplayImage  Sử dụng thuật tốn dị biên gián tiếp để phân vùng ảnh  Thực co/giãn (resample) để chuẩn hố kích thƣớc (cả hai kích thƣớc luỹ thừa 2) trƣớc chép sang ma trận số phức làm đầu vào hàm biến đổi Fourier nhanh FFT  Hàm FFT trả lại ma trận số phức  Việc tạo véc tơ đặc trƣng ảnh đƣợc thực ma trận số phức Véc tơ đặc trƣng vector có 256 chiều  Đọc ảnh sở liệu, thực bƣớc giống nhƣ với ảnh mẫu để đƣợc vector đặc trƣng ảnh vừa đọc  So sánh vector đặc trƣng ảnh mẫu ảnh đọc từ sở liệu cách tính khoảng cách Euclide vector đặc trƣng hàm GetShapeDistance  Thêm ảnh vừa đọc vào danh sách ảnh tìm thấy, ảnh có sai khác so với ảnh mẫu nhỏ đƣợc xếp lên 3.3.2.1 Đọc ảnh Ảnh đƣợc đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage, đầu vào tên đƣờng dẫn đến file cần đọc, đọc ảnh thành công thủ tục DisplayImage hiển thị ảnh lên khung ảnh đƣợc định Việc thao tác với cấu trúc DIB đƣợc thực thông qua cấu trúc DIBSection đƣợc định nghĩa thƣ viện GDI32 Windows [14],[18] 3.3.2.2 Dò biên đối tƣợng ảnh Phần dò biên đối tƣợng ảnh sử dụng thuật tốn dị biên gián tiếp cách xác định chu tuyến đối tƣợng ảnh nhƣ đƣợc trình bày chƣơng 3.3.2.3 Resample Chúng ta biết để thực biến đổi Fourier nhanh kích thƣớc dãy số đầu vào phải luỹ thừa Tuy nhiên ảnh cần đọc lại có số điểm ảnh khác thƣờng khơng thoả mãn yêu cầu này, thủ tục Resample phải thực phép nội suy để thêm/bớt điểm ảnh để đƣợc ảnh có số điểm ảnh thoả mãn yêu cầu mà không làm thay đổi chất lƣợng ảnh Các điểm ảnh đƣợc thêm vào theo nguyên tắc nội suy Màu mật độ điểm ảnh nội suy đƣợc tính tốn dựa giá trị điểm ảnh có sẵn ảnh Có nhiều cách để xây dựng thủ tục Resample, có phƣơng pháp thơng dụng nhất: Nearest Neighbor: điểm ảnh đƣợc sinh dựa vào thông tin điểm ảnh phía điểm ảnh mới, phƣơng pháp resample nhanh nhƣng độ xác thấp (trong phƣơng pháp) Bilinear: lấy thơng tin từ điểm ảnh phía bên cạnh điểm ảnh Chất lƣợng ảnh tốt so với phƣơng pháp Nearest Neighbor Bicubic: Là phƣơng pháp xác thơng tin điểm ảnh đƣợc suy từ điểm ảnh xung quanh Trong chƣơng trình chúng tơi sử dụng phƣơng pháp đơn giản Nearest Neighbor Kích thƣớc mảng liệu đầu 256×256 phần tử 3.3.2.4 Biến đổi Fourier nhanh Hàm biến đổi FFT đƣợc cải tiến từ chƣơng trình Randy Crane liệt kê "A Simplified Approach to Image Processing" [4] Đầu vào ma trận số phức chiều đƣợc sinh từ ma trận điểm ảnh đọc cách gán phần ảo tất số phức 0, phần thực đƣợc gán giá trị điểm ảnh Đầu ma trận số phức hai chiều biểu diễn khai triển Fourier ma trận đầu vào Trong hàm FFT chiều (hàm twoD_FFT() ), hàng ma trận đầu vào đƣợc biến đổi Fourier hàm biến đổi 1chiều (hàm oneD_FFT() ), sau tính FFT chiều cho cột Hai hàm sở để xây dựng oneD_FFT Scramble() Butterflies() Trong Scramble() sử dụng để xếp lại dãy đầu vào theo thứ tự đảo bit, cịn hàm Butterflies() thuật tốn sở, đƣợc gọi đệ qui để tính FFT 3.2.2.5 Tạo véc tơ đặc trƣng hình dạng cho ảnh Véc tơ đặc trƣng ảnh vector 256 chiều, chứa 256 giá trị số double double* m_Signature; m_Signature = new double[256]; Hàm sinh chữ ký GenerateSignature(): Đầu vào: Ma trận vng kích thƣớc 256x256 số phức (sinh hàm biến đổi FFT chiều twoD_FFT()) biểu diễn ảnh miền tần số Đầu ra: vector chữ ký 256 chiều mảng 256 số double signature ảnh Thuật tốn: Tính modul (magnitude) phần tử mảng hai chiều 256x256 phần tử theo công thức: Magnitude(i, j )  Re(i, j )  Im(i, j ) đó: Magnitude(i,j) modul số phức vị trí hàng i, cột j ma trận, Re(i,j) phần thực số phức vị trí hàng i cột j, Im(i,j) phần ảo số phức vị trí hàng i, cột j Chia ảnh đầu vào thành khối kích thƣớc 16x16 Khởi tạo mảng image_Signature[] gồm 256 phần tử Tính signature cho khối theo công thức: block _ Signature  15 15  Mag(iBlockRow  i), (iBlockCol  j ) i 0 j 0 Trong đó: block_Signature giá trị signature khối, iBlockRow (0 - 255) số hàng phần tử khối, iBlockCol (0 - 255) số cột phần tử khối, i hàng phần tử khối (i = 0, ,15) , j số cột phần tử khối (j = 0, ,15) Mag[i,j] modul số phức vị trí hàng i, cột j ma trận đầu vào Lƣu chữ ký block_Signature đƣợc lƣu vào mảng image_Signature[]; Sau tính xong signature cho 256 khối, tiến hành chuẩn hóa mảng image_Signature[] 3.3.2.6 So sánh ảnh cách tính khoảng cách Euclide Khoảng cách ảnh Query_Image ảnh Found_Image đƣợc định nghĩa khoảng cách Euclide hai chữ ký query_Signature[] found_Signature[] theo công thức: diff  255  ( found _ Signature[i]  query _ Signature[i]) i 0 Khoảng cách diff nhỏ hai ảnh đƣợc coi giống 3.3.3 Tra cứu theo màu sắc Đọc ảnh mẫu Đọc ảnh từ sở DL Chuyển đổi 256 màu Chuyển đổi 256 màu Tính histogram màu Tính histogram màu Tính k/c Euclide Thêm vào danh sách vị trí thích hợp Hình 3.3: Sơ đồ khối phần tra cứu ảnh theo màu sắc Sử dụng phƣơng pháp histogram màu nhƣ trình bày chƣơng Ảnh mẫu đƣợc đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage Giảm số lƣợng bin màu xuống 256 cách chuyển đổi màu thực điểm ảnh thành số màu bảng màu chuẩn Windows hàm GetClosetIndex Tính tốn số điểm ảnh bin màu hàm GenerateColorSignature, thu đƣợc véc tơ 256 chiều véc tơ đặc trƣng màu sắc ảnh Làm bƣớc tƣơng tự nhƣ với ảnh sở liệu Tính khoảng cách Euclide véc tơ đặc trƣng ảnh mẫu ảnh sở liệu hàm GetColorDistance xếp vào danh sách với khoảng cách nhỏ đƣợc xếp trƣớc tiên 3.3.4 Sử dụng chƣơng trình Content based image retrieval Khởi động chƣơng trình, chọn file ảnh mẫu, ảnh mẫu đƣợc hiển thị ô khung "Query Image" Chọn phƣơng pháp so sánh: hình dạng hay màu sắc, nhập số đo khoảng cách tối đa (giá trị ngƣỡng) hộp Similarity Distance Nhấn nút Find, chƣơng trình yêu cầu ngƣời dùng chọn thƣ mục chứa file ảnh cần tìm Chƣơng trình sau liệt kê tất ảnh có khoảng cách Euclide nhỏ giá trị ngƣỡng theo thứ tự tăng dần khoảng cách Euclide, ảnh đƣợc coi giống đƣợc xếp trƣớc Khi chọn ảnh danh sách ảnh tìm thấy (Found Image List), chƣơng trình hiển thị ảnh khung Results Image Hình 3.4 số kết chạy chƣơng trình để tìm kiếm ảnh tƣơng tự với ảnh mẫu HìHình 3.4: Một số kết chạy thử chƣơng trình 3.4 Khả mở rộng chƣơng trình 3.4.1 Những hạn chế chƣơng trình Chƣơng trình đƣợc giới thiệu đƣa thuật toán đơn giản để trích chọn đặc điểm (sinh véc tơ đặc trƣng) nên chắn cho kết so sánh tốt Các ảnh ban đầu chƣa đƣợc xử lý “sơ chế” nhƣ lọc nhiễu yêu cầu định dạng đơn giản nên phạm vi so sánh bị hạn chế Chƣơng trình thiết lập kích thƣớc cố định cho ảnh trƣớc xử lý 256×256, kích thƣớc khối 16×16, số chiều vector đặc trƣng 256 làm hạn chế tính mềm dẻo chƣơng trình 3.4.2 Khả mở rộng Kỹ thuật “tra cứu ảnh theo nội dung” có nhiều hƣớng nghiên cứu phát triển tạo thuật toán hiệu làm cho máy tính “hiểu” đƣợc nội dung ảnh Chúng ta hồn tồn xây dựng thuật tốn tốt để trích chọn đƣợc đặc điểm đặc trƣng khác nhƣ màu sắc, kết cấu, hình dạng đối tƣợng ảnh để phát triển cho toán nhận dạng vật thể Thuật tốn resample chƣơng trình sử dụng phƣơng pháp đơn giản để thực nội suy, sử dụng thuật toán cho độ xác cao chắn cải thiện đáng kể chất lƣợng chƣơng trình Sử dụng phƣơng pháp làm giảm số chiều véc tơ đặc trƣng làm tăng đáng kể tốc độ tra cứu Đối với hệ thống máy tính có trang bị nhiều vi xử lý có xủ lý lõi kép xây dựng thuật tốn cho phép phân phối tác vụ cho nhiều vi xử lý đồng thời giải pháp tốt để tăng tốc độ tra cứu Sử dụng phƣơng pháp tính tốn độ tƣơng tự phù hợp cho loại đặc điểm để có đƣợc kết so sánh gần với trực giác KẾT LUẬN Bản luận văn trình bày vài kỹ thuật tảng hệ thống tra cứu ảnh theo nội dung bao gồm mô tả nội dung trực quan, đánh giá độ tƣơng tự đánh giá hiệu hệ thống, nhấn mạnh vào kỹ thuật mơ tả đặc điểm trực quan Các đặc điểm trực quan tổng quát đƣợc sử dụng nhiều hệ tra cứu ảnh theo nội dung màu sắc, kết cấu, hình dạng Màu sắc thƣờng đƣợc biểu diễn thông quan histogram màu, sơ đồ tƣơng quan màu, véc tơ gắn kết màu moment màu khơng gian màu định Kết cấu đƣợc biểu diễn thơng qua đặc điểm Tamura, phân tích Wold, mơ hình SAR, biến đổi Gabor biến đổi dạng sóng Hình dạng biểu diễn thơng qua mơ tả Fourier Ngoài đặc điểm trực quan điểm ảnh lại đƣợc sử dụng để phân tách ảnh thành vùng đồng đối tƣợng ảnh Các đặc điểm cục vùng ảnh đối tƣợng ảnh dùng hệ thống tra cứu ảnh theo vùng Có nhiều cách để đánh giá khoảng cách đặc điểm trực quan, số cách đƣợc sử dụng phổ biến nhƣ khoảng cách Minkowski, khoảng cách toàn phƣơng, khoảng cách Mahalanobis, độ phân kỳ Kullback-Leibler độ phân kỳ Jeffrey Đến thời điểm phƣơng pháp tính khoảng cách Minkowski khoảng cách toàn phƣơng đƣợc sử dụng rộng rãi hệ thống tra cứu ảnh Mặc dù kỹ thuật tra cứu ảnh theo nội dung đƣa đƣợc giải pháp thông minh tự động để tìm kiếm ảnh cách hiệu vấn đề kỹ thuật dựa đặc điểm mức thấp Nói chung đặc điểm mức thấp phản ánh đựơc khía cạnh ảnh Khơng có đặc điểm phản ánh đƣợc ngữ nghĩa ảnh, kể sử dụng kết hợp nhiều đặc điểm Ngoài đánh giá độ tƣơng tự đặc điểm trực quan lại chƣa liên quan đến đặc điểm sinh lý thị giác ngƣời Ngƣời sử dụng thƣờng quan tâm đến giống ngữ nghĩa nên kết truy vấn dựa đặc điểm mức thấp thƣờng khơng thoả mãn đƣợc u cầu nói chung khó đốn trƣớc Mặc dù phản hồi thích hợp cách để bù đắp vào khoảng cách tìm kiếm theo ngữ nghĩa việc xử lý liệu mức thấp nhƣng vấn đề tồn cần phải có kỹ thuật khác đáp ứng đƣợc Những vấn đề đƣợc giải luận văn: Giới thiệu chi tiết phƣơng pháp tra cứu ảnh theo nội dung Sơ lƣợc cách đánh giá hiệu hệ thống tra cứu ảnh Xây dựng đƣợc chƣơng trình thử nghiệm theo hai đặc điểm là: hình dạng màu sắc Những vấn đề cịn tồn tại: Do thời gian tìm hiểu đề tài chƣa đƣợc nhiều hạn chế khả lập trình đồ hoạ nên số mục tiêu đặt từ bắt tay nghiên cứu chƣa thực đƣợc chƣơng trình chạy thử này, bao gồm: Chƣa xây dựng đƣợc chức tra cứu ảnh theo kết cấu (Texture) Chƣa có chức tra cứu ảnh cách kết hợp nhiều đặc điểm Chƣa cài đặt kỹ thuật đánh số hiệu Chƣa cài đặt kỹ thuật tăng hiệu hệ thống cách giảm số chiều véc tơ đặc trƣng Trong thời gian tới, tơi hy vọng giải đƣợc vấn đề tồn để xây dựng đƣợc chƣơng trình thực hữu ích, đáp ứng đƣợc yêu cầu toán TÀI LIỆU THAM KHẢO Tiếng Việt Lƣơng Mạnh Bá, Nguyễn Thanh Thuỷ (2003), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật Đỗ Năng Toàn (2002), The boundaries of the region and properties, Science and Technology Journal, Vol.40, Special No, pp 41-48 Tiếng Anh Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval base on region shape similarity, Microsoft www.eecs.berkeley.edu/~cchang/docs/Spie01.pdf Research China, Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems, http://www.jtap.ac.uk/reports/htm/jtap-054.html Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Content-based Image Retrieval Using Gabor Texture Features, personal.gscit.monash.edu.au/~dengs/resource/papers/pcm00.pdf Eva M.van Rikxoort (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 J.Eakins, M.Graham (2004), “Content-based Image Retrieval”: A report to the JISC Technology Applications Programme, University of Northumbria at Newcastle 10 Longin J Latecki, R Lamkaemper, D Wolter (2005), “Optimal Partial Shape Similarity”, Dept of Computer and Infomation Sciences Temple University 11 Low (1991), A introductory Computer Vision and Image Processin, McGrawhill, 244p ISBN 0077074033 12 M A Stricker and M Orengo (1995), “Similarity of color images In Proc of the SPIE conference on the Storage and Retrieval for Image and Video Databases III”, pages 381–392 13 M Partio, B Cramariuc, M Gabbouj, and A Visa (2002), “Rock Texture Retrieval using Gray Level Co-occurrence Matrix”, NORSIG-2002, 5th Nordic Signal Processing Symposium, On Board Hurtigruten M/S Trollfjord, Norway 14 Mike D Sutton (2005), Using Device Independent Bitmaps (DIBs) in Visual Basic, Part 1, EDAIS, http://edais.mvps.org/ 15 Palaniraja Sivakumar (2004), “Image Similarity Based on Color and Texture”, Report for CIS751 MS Project 16 Sebe N, Lew (2001), “Texture Features for Content-based Retrieval”: Principles of visual Information Retrieval 17 Shengjiu Wang (2001),"A Robust CBIR Approach Using Local Color Histogram", Technique Repost TR 01-13, Edmonton, Alberta, Canada 18 Tanner Helland, Graphics Programming in Visual Basic, tannerhelland.tripod.com/VBGraphicsTutorial.htm 19 Vishal Chitkara (2001) “Color-based image retrieval using compact binary signatures”, Master’s thesis, University of Alberta 20 Vittorio Castelli and Lawrence D Bergman (2002) “Image Database Search and Retrieval of Digital Imagery”, John Wiley & Sons, Inc., New York MỤC LỤC MỞ ĐẦU .1 CHƢƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh 1.2 Mơ hình hệ thống tra cứu ảnh theo nội dung .4 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1 Hệ thống QBIC (Query By Image Content) .6 1.3.2 Hệ thống Photobook 1.3.3 Hệ thống VisualSEEK WebSEEK .7 1.3.4 Hệ thống RetrievalWare 1.3.5 Hệ thống Imatch 1.4 Một số ứng dụng tra cứu ảnh .8 CHƢƠNG II: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH 2.1 Phƣơng pháp trích chọn theo mầu sắc tổng thể cục [6],[7],[11] 10 2.1.1 Không gian mầu 11 2.1.2 Lƣợng tử hoá màu 14 2.1.3 Các moment màu 15 2.1.4 Biểu đồ màu (Color Histogram) 16 2.2 Phƣơng pháp trích chọn đặc trƣng theo kết cấu [6],[7],[16] 20 2.2.1 Các đặc trƣng Tamura .21 2.2.2 Các đặc trƣng Wold .24 2.2.3 Mơ hình tự thối lui đồng thời (mơ hình SAR) 24 2.2.4 Ma trận đồng khả (Co-occurrence matrix) [16] .25 2.2.5 Lọc Gabor [5],[7],[16] 27 2.2.6 Biến đổi dạng sóng (wavelet transform) 28 2.3 Phƣơng pháp trích chọn đặc trƣng theo hình dạng [3],[6],[7] 29 2.3.1 Biên phƣơng pháp phát biên 31 2.3.2 Xử lý ảnh miền tần số biến đổi Fourier [1] .34 2.4 Độ đo khoảng cách độ đo tƣơng tự [6],[7],[16],[17] 41 2.4.1 Độ đo khoảng cách 41 2.4.2 Độ đo tƣơng tự 44 2.5 Đánh giá hiệu hệ thống tra cứu ảnh 48 CHƢƠNG III: CÀI ĐẶT CHƢƠNG TRÌNH ỨNG DỤNG 51 3.1 Giới thiệu toán tra cứu ảnh 51 3.2 Phân tích tốn .51 3.3 Xây dựng chƣơng trình Content based image retrieval 52 3.3.1 Mơ hình tổng qt 52 3.3.2 Tra cứu theo hình dạng 53 3.3.3 Tra cứu theo màu sắc 58 3.3.4 Sử dụng chƣơng trình Content based image retrieval 58 3.4 Khả mở rộng chƣơng trình 61 3.4.1 Những hạn chế chƣơng trình 61 3.4.2 Khả mở rộng 61 KẾT LUẬN .62 TÀI LIỆU THAM KHẢO 64 ... ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mơ hình hệ thống tra cứu ảnh theo nội dung Phƣơng pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh. .. thành công phƣơng pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phƣơng pháp tra cứu ảnh, sâu vào giới thiệu phƣơng pháp tra cứu ảnh theo nội dung Trên sở tiến... PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại đƣợc phân làm hai loại nội dung tổng quan nội dung