Nếu tìm hình ảnh dựa vào từ khóa thì hoặc hình cần đƣợc chỉ số hóa, hay các đối tƣợng trong hình cần tự động ghi nhận và có từ khóa tƣơng ứng trong chỉ số. Tuy nhiên khi dùng chỉ số hóa thủ công hay tự động, các từ mô tả đƣợc thêm vào chỉ số có thể phù hợp hay không phù hợp với các từ khóa đã đƣợc ngƣời dùng sử dụng.
Hình 2.4 Mô hình tìm kiếm thông tin tổng quát.
ONO đã đề nghị hệ thống dùng hai hệ thống chỉ số khác nhau để tìm hình trong cơ sở dữ liệu. Đó là chỉ số theo khóa khái niệm và khóa miêu tả cảnh.
Chỉ số theo từ khóa khái niệm đƣợc tạo tự động với mô hình chuyển trạng thái. Bắt đầu từ màu cơ bản của đối tƣợng, các luật định trên đƣờng viền ngoài, hƣớng trục chính.
1. Nếu đoạn của của hình đối tƣợng thỏa mãm các chỉ tiêu về luật chuyển trạng thái, có thể chuyến sang trạng thái tiếp trên cây phân cấp.
2. Nếu luật đối với hai đoạn đƣợc tích hợp thì tất cả đều đƣợc chuyển trên cây phân cấp.
3. Khi không còn luật có thể sử dụng, ngƣời ta đã đến mức mịn nhất.
Theo mô hình trạng thái: Trạng thái hiện tại trên cây trở thành điểm truy cập theo khóa khái niệm đối với cây chỉ số, mức ghi nhận đƣợc phát hiện tự động mà không phải là khóa ngƣời dùng đã chọn để tìm đối tƣợng, thì không tìm ra hình.
Hình 2.5 Tìm kiếm theo nội dung, dựa vào từ khóa, trên mô hình chuyển trạng thái
Với cách chỉ số dùng từ khóa mƣu tả cảnh, các đặc tính của cảnh đƣợc xác định. Ngƣời ta có thể dùng đến 6 từ khóa, xác định vị trí ngang, dọc của đối tƣợng, vùng mà đối tƣợng chiếm, màu chính, hƣớng trục chính và hình dạng của đối tƣợng.
Các câu hỏi dựa trên loại từ khóa mƣu tả gần giống với việc tìm kiếm các đối tƣợng, nhƣng số phần trăm tìm đƣợc là thấp hơn.