Từ tập dữ liệu học – tập dữ liệu được gán nhãn do con người xây dựng, hệ thống có thể học để thực hiện việc phân lớp cho một lượng vô hạn các ảnh mới cần được gán nhãn. Nói cách khác, ta chỉ thực hiện gán nhãn thủ công trên một số lượng nhỏ ảnh (xây dựng tập dữ liệu học) hay có thể xem thao tác này như sự định nghĩa về
mặt ngữ nghĩa cho hệ thống hoạt động sau này, từđó hệ thống sẽ giúp ta gán nhãn tựđộng cho số lượng ảnh mới tùy ý.
Phân loại ảnh là một phần quan trọng trong việc xây dựng hệ thống truy vấn ảnh dựa trên thông tin ảnh. Đây là một trong những ứng dụng quan trọng, do số lượng
ảnh càng ngày càng lớn, phát triển theo cấp số mũ như có thể thấy qua các website chia sẽ ảnh như Flickr, Picasa v.v…, trong khi ở thời điểm luận văn được viết, các máy tìm kiếm như Google, Bing, Yahoo v.v… chỉ có thể dựa trên thông tin văn bản (text), các hỗ trợ truy vấn trên ảnh thực ra chỉ được thực hiện bằng cách truy vấn văn bản trên những đánh dấu ngữ nghĩa (tag) bằng văn bản của người sử dụng tạo cho ảnh, hoặc tên của tập tin ảnh thay vì nội dung mà ảnh chứa.
Hơn nữa, giải quyết bài toán phân loại ảnh tức giải quyết bài toán làm thế nào để
biểu diễn đối tượng trong ảnh tốt, cũng như tìm được độ đo tương đồng thích hợp giữa các đối tượng, do vậy nó có thể mở rộng để giải các bài toán quan trọng khác trong lĩnh vực thị giác máy tính như phát hiện đối tượng, nhận dạng đối tượng v.v…