Mục đích của đánh dấu đối tượng là thiết lập sự tương ứng giữa các đối tượng và các phần của đối tượng trong các frame liên tục và để trích rút thông tin theo thời gian về các đối tượng như đường đi, tư thế, tốc độ và phương hướng. Đánh dấu các đối tượng được phát hiện từ frame này đến frame khác trong Video là nhiệm vụ khó khăn và mang nhiều ý nghĩa. Nó là phần chủ yếu của các hệ thống giám sát thông minh, trong khi các đối tượng chưa được đánh dấu, hệ thống không thể trích rút thông tin đi kèm theo thời gian về các đối tượng và các bước phân tích điều khiển ở mức cao hơn sẽ không thể thực hiện. Mặt khác, phân đoạn đối tượng nổi bật không đúng do các bóng, sự
phản xạ ánh sáng và các tình trạng bị chồng chéo làm cho việc đánh dấu là một vấn đề nghiên cứu khó khăn.
Ta sử dụng một thuật toán đánh dấu mức đối tượng trong hệ thống này. Tức là, ta không đánh dấu các phần đối tượng, như là các chi của người, nhưng ta đánh dấu đối tượng nguyên vẹn từ frame đến frame. Các thông tin trích rút được ở mức này đều đầy đủ cho hầu hết các ứng dụng giám sát thông minh.
Hướng tiếp cận này sử dụng các đặc điểm của đối tượng như kích thước, tâm của khối, hộp bao xung quanh và lược đồ màu sắc được trích rút từ các bước trước để xác minh sự liên hệ giữa đối tượng trong các frame liên tiếp [1]. Hơn nữa, thuật toán này phát hiện đối tượng bị bít kín và phân biệt các đặc điểm của đối tượng sau khi chia nhỏ các đối tượng bị bít kín. Bằng cách phân tích thông tin về đường đi của đối tượng, hệ thống phát hiện này có thể phát hiện các đối tượng rời đi và biến mất rất tốt. Lược đồ của hệ thống theo phương pháp đánh dấu này thể hiện trong lược đồ 2.2
Lược đồ 2.2: Lược đồ hệ thống đánh dấu đối tượng