Hình 3.1 là mơ hình một hệ thống tra cứu ảnh theo nội dung điển hình, nĩ gồm cĩ các module cơ bản nhƣ sau:
Hình 3.1 Mơ hình hệ thống tra cứu ảnh
XỬ LÝ TRƢỚC XỬ LÝ TRỰC TUYẾN trích chọn đặc trƣng ảnh Phân cụm
Bộ mơ tả nội dung trực quan CSDL vector đặc trƣng ảnh chỉ số hố trích chọn đặc trƣng ảnh ảnh số tra cứu
Bộ mơ tả nội dung trực quan Bộ so sánh độ tƣơng tự Kết quả nguồn các ảnh số sƣu tập Phân cụm
42
Các Module của hình trên đƣợc thực hiện nhƣ sau:
- Quá trình phân cụm gồm các bước:
B1. Phân ảnh thành các cụm cĩ độ tƣơng tự nhau. B2. Tính tâm của các cụm.
B3. Tối ƣu các tâm cụm tức là cĩ một số ảnh khơng nằm đúng cụm cần phải di chuyển các ảnh về đúng cụm của nĩ.
- Trích chọn đặc trưng ảnh: Tuỳ thuộc vào đặc điểm cần trích chọn là màu sắc hay hình dạng mà khối này sử dụng các thuật tốn trích chọn tƣơng ứng.
- Bộ mơ tả nội dung trực quan
Nội dung một ảnh cĩ thể bao gồm cả về mặt ngữ nghĩa và trực quan. Nội dung trực quan cĩ thể mang tính tổng thể hoặc cũng cĩ thể mang tính vùng miền. Phần nội dung trực quan tổng thể bao gồm màu sắc, hình dạng, cấu trúc, quan hệ khơng gian… Phần nội dung vùng miền thì tuỳ theo ứng dụng độc lập, cĩ thể bao gồm các tri thức miền. Nội dung ngữ nghĩa đƣợc mơ tả bởi hoặc các cụm từ văn bản ghi chú hoặc cũng cĩ thể bởi các hàm mơ tả phức tạp nĩi nên nội dung trực quan.
Trong hệ tra cứu ảnh theo nội dung, bộ mơ tả nội dung trực quan đƣợc sử dụng khi lƣu trữ ảnh vào cơ sở dữ liệu ảnh của hệ thống và khi đƣa một ảnh mới vào tra cứu. Chức năng của bộ mơ tả nội dung trực quan chính là xây dựng nên các vector đặc trƣng từ việc trích chọn các đặc tính của ảnh, các đặc tính đĩ cĩ thể là màu sắc, hình dạng, cấu trúc… tuỳ theo hệ thống cụ thể nào đĩ. Các đặc tính của ảnh đƣợc trích chọn và đƣợc mơ tả nhƣ là các bộ vector đặc trƣng theo các phƣơng pháp đã đề cập ở chƣơng trƣớc, giá trị của chúng sẽ đƣợc hoặc là lƣu vào trong cơ sở dữ liệu hoặc dùng để tính tốn tra cứu độ tƣơng tự.
Một bộ mơ tả nội dung trực quan tốt phải mang tính bất biến đối với các biến đổi thƣờng thấy trong xử lý ảnh (chẳng hạn nhƣ sự bất biến đối với độ sáng chĩi của cảnh quan). Tuy nhiên phải cĩ sự cân bằng giữa sự bất biến với sự phân biệt đặc tính trực quan, bởi vì một lớp rất rộng của tính bất biến sẽ làm mất đi khả năng phân biệt những điểm khác nhau mang tính cơ bản. Mơ tả tính bất biến đã đƣợc nghiên
43
cứu rộng rãi trong khoa học máy tính (giống nhƣ nhận dạng đối tƣợng) và đã đƣợc ứng dụng cho lĩnh vực tra cứu ảnh. Một bộ mơ tả nội dung trực quan cĩ thể hoặc là trên phƣơng diện tổng thể, hoặc là trên phƣơng diện cục bộ. Bộ mơ tả tổng thể sử dụng cá đặc tính trực quan cho tồn bộ bức ảnh, trong khi bộ mơ tả cục bộ sử dụng các đặc tính trực quan mang tính vùng-miền hay tính đối tƣợng. Thực hiện việc mơ tả cục bộ tức là phân mảnh ảnh hoặc chia ảnh thành các phần nhỏ. Cách đơn giản nhất để chia nhỏ một ảnh là sử dụng phân bảng, đĩ là cắt bức ảnh thành các mảnh nhỏ bằng nhau về kích cỡ và hình dạng. Một cách phân chia đơn giản thƣờng khơng sinh ra các vùng cĩ đầy đủ ý nghĩa trực quan nhƣng nĩ là cách thể hiện đặc tính tổng thể của ảnh ở độ phân giải tốt hơn. Một phƣơng pháp tốt hơn để chia nhỏ ảnh là chia thành các vùng đồng nhất tuỳ theo một số tiêu chuẩn dùng trong thuật tốn phân đoạn mảnh đã cĩ trong nghiên cứu. Cũng cĩ thể chia ảnh phức tạp hơn bằng cách phân chia ảnh thành các đối tƣợng hồn chỉnh hịng thu đƣợc các đối tƣợng mang đầy đủ ý nghĩa và ngữ nghĩa (chẳng hạn nhƣ quả bĩng, xe ơtơ, con ngựa…). Vệc phân chia đối tƣợng tự động trong một vùng rộng của ảnh cho đến nay vẫn chƣa thu đƣợc những thành cơng nào đáng kể.
- Bộ so sánh đánh giá độ tương tự
Sau khi đã cĩ vector đặc trƣng mơ tả ảnh, việc đánh giá so sánh vector đặc trƣng của ảnh mẫu cần tra cứu so với vector đặc trƣng của ảnh trong cơ sở dữ liệu sẽ đƣợc thực hiện bởi bộ so sánh đánh giá độ tƣơng tự. Thực chất bộ so sánh đánh giá độ tƣơng tự hoạt động đúng nhƣ chức năng của một hàm đánh giá độ tƣơng tự (tuỳ chọn theo mục đích ứng dụng khác nhau) nhƣ đã đề cập trong chƣơng 2, nĩ cĩ thể là hàm đánh giá qua khoảng cách Euclidean hay khoảng cách Minkowski, khoảng cách Mahalanobis .v.v.
- Tạo véc tơ đặc trưng: Các đặc điểm đƣợc trích chọn ra dƣới dạng các véc tơ đặc trƣng nhiều chiều.
44