Phân đoạn là quá trình phân ảnh ra thành các vùng mà về lý tƣởng nó sẽ tƣơng ứng với các đối tƣợng xuất hiện trong ảnh. Đây là bƣớc rất quan trọng đối với tra cứu ảnh. Cả đặc trƣng hình và đặc trƣng bố cục phụ thuộc vào phân đoạn tốt. Trong phần này chúng tôi sẽ mô tả một số kỹ thuật phân đoạn đã có đƣợc sử dụng trong cả thị giác máy và tra cứu ảnh.
Trong, Lybanon và các cộng sự đã nghiên cứu một cách tiếp cận phép toán hình thái học (mở và đóng) trong phân đoạn ảnh. Họ đã kiểm tra cách tiếp cận của
họ với các loại ảnh khác nhau, gồm các ảnh thiên văn và các ảnh hồng ngoại. Trong khi cách tiếp cận này là hiệu quả trong xử lý các loại ảnh khoa học ở trên, hiệu năng của nó cần đƣợc tiếp tục đánh giá cho các ảnh tự nhiên phức tạp hơn. Li và cộng sự đã đề xuất một cách tiếp cận phân đoạn dựa vào entropy mờ. Cách tiếp cận này dựa trên thực tế rằng entropy cực đại địa phƣơng tƣơng ứng với sự không rõ ràng giữa các vùng khác nhau trong ảnh. Cách tiếp cận này rất hiệu quả cho các ảnh có lƣợc đồ không có các đỉnh và các rãnh rõ ràng. Các kỹ thuật phân đoạn khác dựa trên phép đạc tam giác Delaunay (Delaunay triangulation), fractals, và luồng biên (edge flow).
Tất cả các thuật toán đƣợc đề cập ở trên là tự động. Một ƣu điểm chính của các thuật toán phân đoạn loại này là nó trích rút các đƣờng bao từ một số lƣợng lớn các ảnh mà không chiếm thời gian và nỗ lực của con ngƣời. Tuy nhiên, trong một lĩnh vực tự nhiên, với các ảnh không có điều kiện tiên quyết, phân đoạn tự động không luôn luôn tin cậy. Một thuật toán có thể phân đoạn trong trƣờng hợp này chỉ là các vùng, mà không là các đối tƣợng. Để thu đƣợc các đối tƣợng mức cao, nó cần có sự trợ giúp của con ngƣời.
Samadani và Han đã đề xuất một cách tiếp cận trích rút đƣờng bao đƣợc trợ giúp bởi máy tính, nó kết hợp các đầu vào thủ công từ ngƣời sử dụng với các biên ảnh đƣợc sinh ra bởi máy tính. Trong, Daneel và cộng sự đã phát triển một phƣơng pháp cải tiến của các chu tuyến thiết thực. Dựa trên đầu vào của ngƣời sử dụng, đầu tiên thuật toán sử dụng một thủ tục tham lam để cung cấp sự hội tụ ban đầu nhanh. Thứ hai, nét ngoài đƣợc lọc bằng việc sử dụng quy hoạch động. Trong, Rui và cộng sự đã đề xuất một thuật toán dựa vào phân cụm và nhóm trong không gian - màu - kết cấu. Ngƣời sử dụng định nghĩa đối tƣợng quan tâm là ở đâu, và thuật toán nhóm các vùng thành các đối tƣợng có ý nghĩa.
Giá trị đáng chú ý sau cùng đề cập trong phân đoạn là các yêu cầu chính xác phân đoạn là rất khác nhau cho các đặc trƣng hình và các đặc trƣng bố cục. Với các
đặc trƣng hình, phân đoạn chính xác là mong muốn cao trong khi các đặc trƣng bố cục, một phân đoạn thô có thể là đủ.