Có hai kỹ thuật thường được sử dụng trong tra cứu ảnh theo nội dung dựa trên đặc trưng màu đó là lược đồ màu toàn cục và lược đồ màu cụ bộ.
3.3.1. Lƣợc đồ màu toàn cục
Lược đồ màu toàn cục mô tả sự phân bố màu sử dụng tập các bin màu. Sử dụng lược đồ màu toàn cục, một ảnh sẽ được mã hóa với lược đồ màu của nó và khoảng cách giữa hai ảnh sẽ được xác định bởi khoảng cách giữa những lược đồ màu của chúng. Với kỹ thuật này ta có thể sử dụng các độ đo khác nhau để tính toán khoảng cách giữa hai lược đồ màu. Ví dụ:
Image A White Gray Red
Image B White Gray Red
Image C White Gray Red
Hình 3.3 : Ba ảnh và biểu đồ màu tương ứng.
33,3% 25% 41,7% 25% 41,7% 33,3% 50% 16,7% 33,3%
Trong biểu đồ có ba màu: White, Gray anh Red. Ta có kí hiệu lược đồ màu như sau: Image A { 25%, 41.7%, 33.3% }.
Image B { 50%, 16.7%, 33.3% }. Image C { 33.3%, 25%, 41.7% }
Ta có độ đo khoảng cách giữa hai ảnh A và B (sử dụng độ đo khoảng cách Euclid) cho lược đồ màu toàn cục là:
829 . 0 333 . 0 333 . 0 167 . 0 417 . 0 5 . 0 25 . 0 ,B 2 2 2 A d 203 . 0 ,C A d và d B,C 0.204
Lược đồ màu toàn cục là phương pháp truyền thống cho việc tra cứu ảnh dựa theo màu sắc. Mặt khác, nó không chứa các thông tin liên quan đến sự phân bố màu của các vùng. Do vậy, khoảng cách giữa các ảnh đôi khi chưa thể chỉ ra được sự khác nhau thực sự giữa chúng. Điều này chính là hạn chế của lược đồ màu toàn cục.
3.3.2. Lƣợc đồ màu cục bộ
Phương pháp lược đồ màu cục bộ bao gồm thông tin liên quan đến sự phân bố màu của các vùng. Trước tiên nó phân đoạn ảnh thành nhiều khối và sau đó biểu diễn biểu đồ màu cho mỗi khối, mỗi ảnh sẽ được biểu diễn bởi những biểu đồ này. Khi so sánh hai ảnh, khoảng cách được tính toán bằng cách sử dụng những biểu đồ của chúng giữa một vùng trong ảnh và một vùng tương ứng trong ảnh khác. Khoảng cách giữa hai ảnh được xác định bằng tổng tất cả các khoảng cách này. Khi sử dụng căn bậc hai của độ đo khoảng cách Euclid để tính toán khoảng cách biểu đồ thì khoảng cách giữa hai ảnh Q và I cho biểu đồ cục bộ là: 10 . 3 , 1 1 2 m k n i k I k Q i H i H I Q d
Trong đó, m: là số vùng được phân đoạn trong ảnh. n: là số mức trong biểu đồ màu.
Chƣơng 4: TRIỂN KHAI & THỰC NGHIỆM
4.1. Quy trình xây dựng phần mềm tra cứu ảnh tổng hợp
Hình 4.1: Quy trình huấn luyện tập dữ liệu ảnh ban đầu
Hình 4.2 Mô hình của ứng dụng Lựa chọn tập ảnh tổng hợp CSDL Ảnh cần truy vấn Tính độ đo khoảng cách Kết quả truy vấn
4.2. Lựa chọn tập mẫu
Hình 4.3: Tập ảnh cơ sở dữ liệu
- Tập ảnh mẫu mà em sử dụng gồm 1.491 ảnh thuộc các thể loại:
o Các kỳ quan
o Động vật hoang dã
o Phong cảnh tự nhiên
o Dân cư một số vùng ở Châu Phi
o …
Được sưu tầm từ trang: http://www.fuzzywobble.com
4.3. Lựa chọn phƣơng pháp truy vấn ảnh
Sau khi nghiên cứu các phương pháp truy vấn ảnh theo nội dung (đã trình bày ở chương 3), em nhận thấy phương pháp tra cứu ảnh theo nội dung dựa trên đặc trưng về màu sắc phù hợp với chúng em vì các lý do:
o Dễ tiếp cận
o Dễ cài đặt
o Kết quả tương đối tốt trong một số trường hợp nhất định Các độ đo lược đồ màu mà em sử dụng là:
- Độ đo khoảng cách toàn phương - Độ đo khoảng cách min-max
Trong đó, với độ đo khoảng cách toàn phương, em sử dụng thư viện xử lý ảnh OpenCV – với wrapper cho C#.NET là EmguCV để thao tác một số hàm như Tính lược đồ màu, nạp ảnh ... Với độ đo khoảng cách min-max, em không sử dụng thư viện bên ngoài.
4.4. Xây dựng ứng dụng
Hình 4.4: Kiến trúc của ứng dụng
- Interface IImageCompare: Là giao diện định nghĩa ra các phương thức cần
triển khai chung cho các lớp sử dụng để so sánh các lược đồ màu.
Phương thức cần triển khai là:
o double GetSimilarity(Bitmap a, Bitmap b): Phương thức truyền vào 2
lớp Bitmap (là 2 ảnh cần so sánh). Kết quả trả về từ [0-1] là giá trị độ tương tự giữa 2 ảnh.
- Xây dựng một struct RBGHistogram để lưu trữ các thông tin về lược đồ màu. - Triển khai 2 lớp: RGBHistogram_ToanPhuong và RBGHistogram_MIN kế
thừa từ IImageCompare để thực thi việc so sánh lược đồ màu nhằm thực hiện mục tiêu bài toán.
Class tính độ đo khoảng cách min/max
RGBHistogram_MIN
Class tính độ đo khoảng cách toàn phương
RGBHistogram_TOANPHUONG
GIAO DIỆN NGƢỜI SỬ DỤNG
- Xây dựng các phương thức xử lý giao diện, nạp ảnh, hiện thị kết quả … Môi trường triển khai:
- Phần cứng: Cấu hình tối thiểu để cài đặt .NET Framework 3.5 - Hệ điều hành: Windows XP, Windows 7
- Môi trường cần: .NET Framework 3.5
4.5. Kết quả - Giao diện ứng dụng: - Giao diện ứng dụng: Hình 4.5: Giao diện ứng dụng Ảnh cần tra cứu kết quả DS ảnh trong CSDL
- Kết quả thử nghiệm
Hình 4.6: Tiến trình tra cứu
Hình 4.7: Kết quả tra cứu
- Thực nghiệm và so sánh giữa kết quả khi sử dụng độ đo khoảng cách min/max và độ đo khoảng cách toàn phương.
Độ đo khoảng cách toàn phương Độ đo khoảng cách min/max
Hình 4.8: So sánh giữa hai kỹ thuật sử dụng
Theo kết quả chủ quan, thực nghiệm từ 21 ví dụ. Chúng em nhận thấy, độ đo khoảng cách toàn phương cho phép tìm ảnh tương tự tốt hơn. Nhưng lại tìm ảnh chính xác kém hơn. Nghĩa là nếu có nhiều ảnh giống nhau, chỉ khác nhau về kích thước, độ sáng thì kết quả của kỹ thuật sử dụng độ đo khoảng cách toàn phương cho kết quả kém chính xác hơn. ĐỘ ĐO KHOẢNG CÁCH TOÀN PHƢƠNG ĐỘ ĐO KHOẢNG CÁCH MIN/MAX Tìm ảnh có đặc trưng màu
khá tương tự nhau Tốt hơn
Tìm những ảnh chỉ khác nhau
về kích thước, độ sáng… Tốt hơn
Độ phức tạp thuật toán Cao hơn
Tốc độ thực nghiệm trong ứng dụng
Nhanh hơn (vì sử dụng thư viện OpenCV với kiểu dữ liệu con trỏ mạnh mẽ)
Chậm hơn vì em chưa tận dụng được các kỹ thuật con trỏ trong C#
KẾT LUẬN
Đánh giá
Bài đồ án đã trình bày được một số kỹ thuật nền tảng của hệ thống tra cứu ảnh theo nội dung. Bao gồm, mô tả nội dung trực quan, đánh giá độ tương tự, sơ đồ đánh chỉ số, tương tác với người sử dụng và đánh giá hiệu năng hệ thống. Trong đó, nhấn mạnh vào kỹ thuật vào các kỹ thuật mô tả các đặc trưng trực quan.
Những mục tiêu đã đạt đƣợc
Giới thiệu tổng quan về tra cứu ảnh theo nội dung
Áp dụng phương pháp tra cứu ảnh theo nội dung vào bài toán tra cứu ảnh theo đặc trưng màu.
Những mục tiêu không khả thi
Chưa có chức năng tra cứu ảnh bằng cách kết hợp nhiều đặc điểm. Chưa cài đặt được kỹ thuật đánh chỉ số.
Hƣớng nghiên cứu trong tƣơng lai
Cài đặt kỹ thuật truy vấn dựa trên đặc trưng kết cấu Taumura, lọc Garbor. Xây dựng ứng dụng web đáp ứng yêu cầu bài toán.
TÀI LIỆU THAM KHẢO
[1]Guttman, A. (1984). R-Tree: A dynamic index structure for spatial searching. In Proc. of ACM SIGMOD.
[2]Flickner, M., Sawhney, H., Niblack, W., Ashley, J., Huang, Q., Dom, B., Gorkani, M., Hafner, J., Lee, D., Petkovic, D., Steele, D., and Yanker, P. (1995). Query by image and video content: The QBIC project. IEEE Computer, 28(9). [3]G. Pass, and R. Zabith, "Histogram refinement for content-based image
retrieval," IEEE Workshop on Applications of Computer Vision, pp. 96-102, 1996.
[4]A.K. Jain, and F. Farroknia, "Unsupervised texture segmentation using Gabor filters," Pattern Recognition, Vo.24, No.12, pp. 1167-1186, 1991.
[5]Beckmann, N., Kriegel, H.-P., Schneider, R., and Seeger, B. (1990). The R*Tree: An efficient and robust access method for points and rectangles. In Proc. of ACM SIGMOD.y h v nbsasaA`
[6]Daubechies, "The wavelet transform, time-frequency localization and signal analysis," IEEE Trans. on Information Theory, Vol. 36, pp. 961-1005, Sept. 1990.
[7]J. M. Francos. "Orthogonal decompositions of 2D random fields and their applications in 2D spectral estimation," N. K. Bose and C. R. Rao, editors,
Signal Processing and its Application, pp.20-227. North Holland, 1993.
[8]Jones, K. S. and Willett, P. (1977). Reading in Information Retrieval. Morgan Kaufmann Pub. Inc.