Sau khi xác định kích thước nhúng của các vectơ đặc trưng, ta cần lựa chọn các thuật toán lập chỉ mục đa chiều phù hợp với chỉ số vectơđặc trưng.
Lịch sử của các kỹ thuật đánh chỉ số nhiều chiều có thể quay lại giữa những năm 1970, khi các phương pháp khối, cây tứ phân, và cây k-d được giới thiệu lần đầu tiên, tuy nhiên hiệu quả chưa thật sự tốt so với mong muốn. Bị thúc đẩy bởi nhu cầu cấp bách của đánh chỉ số không gian từ các hệ thống thông tin địa lý (GIS) và CAD, Beckmann [13] và cộng sựđã đề xuất cấu trúc đánh chỉ mục R-tree trong năm 1990. Dựa trên nghiên cứu của ông, nhiều biến thể khác của R-tree đã được phát triển như R+ tree, R* tree [13], tuy nhiên R* tree không thực hiện tốt với số chiều lớn hơn 20.
Rất khó thực hiện việc so sánh các kỹ thuật lập chỉ mục khác nhau trong tra cứu ảnh [12], [17]. Thúc đẩy bởi cây kd và R-tree, White và Jain nghiên cứu các thuật toán lập chỉ mục cho các lĩnh vực khác nhau, và qua đó đề xuất VAM kd tree và VAMSplit R-tree. Họ thấy rằng các VAMSplit R-tree cung cấp hiệu suất tốt nhất, việc cân bằng lại làm mất tính chất động của R-tree. Trong [17], Ng và Sedighian đề xuất một chiến lược ba bước hướng tới chỉ mục tra cứu ảnh là giảm số chiều, đánh giá các phương pháp lập chỉ mục hiện có, và tuỳ biến của phương pháp lập chỉ mục được chọn. Sau khi giảm kích thước bằng cách sử dụng các phương pháp tiếp cận eigenimage, kích thước mới hoặc số chiều của ảnh có thể được dùng để chọn thuật toán lập chỉ mục tốt hơn. Trên bộ dữ liệu thử nghiệm của họ, họ thấy rằng các BA-KD-tree đã cho hiệu suất tốt nhất.
Cho đến nay, các phương pháp trên chỉ tập trung vào việc làm thế nào để xác định và cải thiện các kỹ thuật lập chỉ mục được mở rộng bằng chiều cao của vectơ đặc trưng trong tra cứu ảnh. Các tính chất khác của vectơ đặc trưng trong tra cứu ảnh, ví dụ như các độ đo tương tự phi Euclide, chưa được khai thác tốt. Có hai kỹ
thuật đầy hứa hẹn đối với việc giải quyết vấn đề này là phân cụm (clustering) và mạng nơron. Trong [11], Charikar và cộng sựđã đề xuất kỹ thuật phân cụm gia tăng cho thu hồi thông tin năng động, còn trong [6], Zhang và Zhong đã đề xuất sử dụng sơ đồ tự tổ chức (SOM) lưới thần kinh như là công cụđể xây dựng cấu trúc chỉ mục cây trong tra cứu ảnh. Kết quả thực nghiệm của họ trong bộ sưu tập kết cấu Brodatz chứng minh rằng SOM là một kỹ thuật lập chỉ mục đầy hứa hẹn.