Biểu đồ hoạt động của thuật toán tham chiếu đối tượng thích hợp cơ bản được thể hiện trong lược đồ 2.3. Bước đầu tiên trong thuật toán đánh dấu đối tượng này là tham chiếu đến các đối tượng (Op’s) trong ảnh trước (In-1) đến các đối tượng mới (Oi’s) phát hiện được trong ảnh hiện thời (In).
Lược đồ 2.3: Phương pháp tham chiếu đối tượng phù hợp cơ bản
Op có gần giống với Oi không? Đối tượng tiếp theo của In?
Op có tương tự với Oi không? Kết thúc Có tương tự mới tốt hơn của Oi không? Cập nhật tất cả các tương tự Có Với tất cả các Op Với tất cả các Oi trong In Không Có Khai báo một khởi tạo tương tự Không Có Có Không Giữ lại tương tự cũ Không Có Không Op có thực sự tương tự với Ok không? So sánh sự tương tự của Oi và Ok với Op
Hình 2.9: Ví dụ về đồ thị tham chiếu đối tượng
Ta lưu tham chiếu của các đối tượng trong đồ thị chia làm hai phần gốc (Bi – partite) G(m,n). Trong đồ thị này, các đỉnh biểu diễn các đối tượng (một lớp đỉnh biểu diễn các đối tượng trước Op’s và phần còn lại biểu diễn các đối tượng mới Oi’s) và các đường nối biểu diễn một tham chiếu giữa hai đối tượng. Trong G(m,n), m là kích cỡ của các đối tượng trước và n là kích cỡ của các đối tượng mới. Một đồ thị tham chiếu đơn giản thể hiện trong hình 3.13. Để thực hiện việc tham chiếu đối tượng, ta lặp đi lặp lại trên một danh sách của các đối tượng trước và các đối tượng mới để đánh giá sự tương tự của chúng. Với mỗi đối tượng trước, Op, ta đánh giá với tất cả các đối tượng mới và bắt đầu kiểm tra xem một đối tượng mới Oi trong danh sách các đối tượng mới có thể thành một cặp với Op hay không. Ngưỡng để kiểm tra sự tương thích được định nghĩa như là khoảng cách giữa điểm chính giữa của khối của hai đối tượng (Op và Oi) là nhỏ hơn một hằng đã được định nghĩa trước. Việc kiểm tra này được thúc đẩy bởi thực tế rằng sự thay đổi chỗ của một đối tượng giữa các ảnh liên tiếp chỉ nên xẩy ra rất nhỏ. Nói một cách khác, hai đối tượng với các điểm trọng tâm cp và ci được coi là gần nhau nếu thỏa mãn:
τ < ) , (cp ci Dist (2.19)
Trong đó hàm Dist() được định nghĩa như là khoảng cách Euclidean giữa hai điểm:
2 2 ( ) ) ( ) , ( i p i p c c c c i p c x x y y c Dist = − + − (2.20)
Trong khi mỗi cặp đối tượng tạo thành một đôi thuộc về một ngưỡng không đảm cần thiết là một sự tham chiếu thành công, trong bước tiếp theo, ta kiểm tra sự tương tự của các cặp đó để cải thiện việc tham chiếu chính xác hơn. Tiêu chuẩn để so sánh tượng tự là tỉ lệ kích cỡ của các đối tượng. Hai đối tượng khác biệt được coi là tương tự nếu nó thỏa mãn:
μ < i p s s hoặc < μ p i s s (2.21)
Trong đó si là kích cỡ của đối tượng Oi và μ là một ngưỡng được định nghĩa trước. Việc kiểm tra các đối tượng theo kích thước là rất hữu ích nếu một đối tượng trong frame trước tách ra thành một vùng lớn và một vùng rất nhỏ thì phân đoạn không đúng. Việc kiểm tra này loại trừ khả năng tham chiếu giữa một vùng lớn và một vùng nhỏ.
Nếu chúng ta chỉ thực hiện hai bước trên, ta sẽ tới gần với các trường hợp mà ở đó đối tượng trước được tham chiếu đến nhiều hơn một đối tượng mới.. Như vậy, sau bước thứ hai ta kiểm tra khả năng đối tượng Op có thực sự tham chiếu/ tương tự thêm nữa hay không. Nếu đối tượng Op không có sự tương ứng đầu tiên, ta kết nối đến đỉnh tương ứng trong đồ thị bi-partite
G(m,n) và tiếp tục với đối tượng mới tiếp theo là Oi, nhưng nếu Op có một tương tự đầu tiên là Ok, ta thực hiện thêm một bước để giải quyết sự xung đột.
Trong việc giải quyết xung đột tham chiếu ta so sánh các sự tương tự của các đối tượng Oi và Ok với Op, ta cố gắng lựa chọn một trong hai là Oihoặc Ok
là tham chiếu đúng của đối tượng Op. Sự tương ứng này được so sánh bằng cách sử dụng khoảng cách giữa điểm trọng tâm của các khối của Op và Oi
hoặc Ok. Đặt dpi là khoảng cách giữa trọng tâm của Op và Oi, dpk là khoảng cách giữa điểm trọng tâm của Op và Ok. Sự tương ứng này được giải quyết với
sự thiên về Ok nếu dpk<dpi hoặc ngược lại sẽ chọn Oi. Chúng ta có thể sử dụng các chuẩn mạnh hơn trong tham chiếu, như là so sánh lược đồ màu sắc,…
Một trường hợp xung đột khác nảy sinh trong trường hợp nếu Oi có một đối tượng tương ứng từ đầu đã được xác lập trong danh sách các đối tượng trước đó. Chẳng hạn, Op-1 có thể là tham chiếu của Oi, và trong khi lặp lại việc tìm kiếm tham chiếu lần tiếp theo cho Op, rất có thể rằng Oi sẽ trở thành tham chiếu của Op. Nhưng ta biết Oi đã có đối tượng tương ứng là Op-1. Do đó, nguyên nhân xung đột đối tượng tương ứng tương tự như trường hợp này đòi hỏi ta phải đưa ra cách giải quyết bằng cách sử dụng phối hợp khoảng cách cơ sở thể hiện trong đồ thị trước.
Trong khi xác lập tham chiếu giữa các đối tượng trước và các đối tượng mới có 5 trường hợp tham chiếu khác nhau, ta có thể nêu ra như sau:
- One – to – one: Mỗi đối tượng trước Op được tham chiếu với một đối tượng đơn Oi. Các đặc điểm của Op được cập nhật thêm thông tin từ
Oi
- One – to – many: Mỗi đối tượng trước Op được tham chiếu với nhiều hơn một đối tượng mới. Trường hợp xung đột này sẽ được giải quyết bởi việc so sánh khoảng cách cơ sở và nó quay về trường hợp thứ nhất.
- One – to – none: Mỗi đối tượng trước Op không tham chiếu đến bất kỳ đối tượng mới nào. Trường hợp này xảy ra nếu một đối tượng biến mất từ cảnh hoặc nếu đối tượng này được bị che khuất bởi các đối tượng khác. Trong trường hợp bị che khuất, đối tượng này sẽ được giữ lại trong quá trình phát hiện của đối tượng tương ứng bị bít kín tách ra, nếu không thì đối tượng này sẽ bị xóa khỏi danh sách trước.
- None – to – one: Trường hợp một đối tượng mới Oi không tham chiếu đến bất kỳ một đối tượng nào trong các đối tượng đã tồn tại. Trường hợp này xảy ra nếu một đối tượng mới được thêm vào trong cảnh hoặc các đối tượng bị che khuất tách ra. Trong trường hợp một đối tượng bị che khuất tách ra (sẽ được mô tả ở phần tiếp theo) nếu nó là một đối tượng mới được thêm vào, đối tượng Oi được thêm vào danh sách các đối tượng được đánh dấu.
- Many – to – one: Trường hợp một đối tượng mới Oi được tham chiếu với nhiều hơn một đối tượng trước đó. Trường hợp xung đột này được giải quyết bởi việc so sánh sự tương ứng về khoảng cách cơ bản và trở thành trường hợp 1
Hình 2.10: Ví dụ về trường hợp phát hiện đối tượng bị che khuất