Trích xuất các đặc trưng của đối tượng

2. Mục đích nghiên cứu

3.1.5 Trích xuất các đặc trưng của đối tượng

Khi đã phân đoạn được các đối tượng, ta cần phải trích xuất các đặc trưng của các đối tượng tương ứng trong ảnh hiện tại. Những đặc tính là kích

cỡ (S), điểm trung tâm của đối tượng (Cm), lược đồ màu (Hc) và đường viền

của các đối tượng. Việc tính toán kích thước của đối tượng rất đơn giản, chúng ta chỉ cần đếm số lượng điểm ảnh foreground được chứa trong khung của đối tượng. Để tính toán điểm trung tâm của một loạt điểm, Cm=

n y y n x x n i ⁱ Cm n i ⁱ Cm ₌

∑

∑

3.2. BÀI TOÁN PHÂN LOẠI ĐỐI TƯỢNG

Phân loại đối tượng theo mẫu trong video được xem một bước quan trọng để thực hiện mục đích trên. Với sự trợ giúp của thông tin mẫu sẵn có của đối tượng, thêm những phương pháp chính xác và riêng biệt có thể được phát triển để nhận ra các hành động ở cấp độ cao hơn của các đối tượng video. Vì vậy, phát triển phương pháp phân loại đối tượng video mới dựa trên sự tương đồng (sự giống nhau) như một phần trong hệ thống theo dõi trực quan.

Những cảnh video thông thường chứa các loại đối tượng như: người, xe cộ, động vật, các hiện tượng tự nhiên (mưa, tuyết..), cây cối, … Tuy nhiên sự quan tâm chủ yếu của ứng dụng theo dõi là người và xe cộ và yêu cầu của việc theo dõi đối tượng là thời gian thực và môi trường thực tế của vấn đề. Để thoả mãn tất cả những yêu cầu trên thì phải thực thi một giản đồ phân loại có khả năng nhóm các đối tượng phát hiện được vào các nhóm định nghĩa trước: người, nhóm người và xe cộ sử dụng những đặc trưng ảnh của đối tượng.

Hình 3.7. Sơ đồ khối của phương pháp phân loại dựa trên hình chiếu

3.2.1. Phân loại dựa trên các mẫu hình chiếu

Độ đo phân loại được sử dụng trong phương pháp của tôi đo sự giống nhau (sự tương đồng) của đối tượng dựa trên sự so sánh của hình chiếu của các vùng đối tượng phát hiện được trích rút từ bản đồ điểm ảnh cận cảnh với mẫu đối tượng hình chiếu xác định trước (phân loại thủ công) được lưu trữ trong cơ sở dữ liệu. Toàn bộ tiến trình của phương pháp phân loại đối tượng bao gồm hai bước:

- Bước offline: Tạo một mẫu cơ sở dữ liệu của các hình chiếu đối tượng mẫu bằng cách phân loại thủ công các loại đối tượng.

Trích rút hình chiếu của dối tượng

Cơ sở dữ liệu hình

chiếu mẫu Tính toán các dấu hiệu

khoảng cách của O

So sánh các dấu hiệu khoảng cách của đối tượng

O với dấu hiệu khoảng cách của các đối tượng trong cơ sở dữ liệu mẫu

Nếu đối tượng I trong cơ sở dữ liệu

mẫu

Các dấu hiệu khoảng cách của O

Các dấu hiệu khoảng cách của các đối

tượng mẫu

Kiểu của O được gán cho P

- Bước online: Trích rút hình chiếu của mỗi đối tượng phát hiện được trong mỗi khung hình và nhận ra loại của nó bằng cách so sánh hình chiếu dựa trên đặc trưng với các hình chiếu trong cơ sở dữ liệu mẫu trong thời gian thực khi theo dõi. Sau khi so sánh đối tượng đó với đối tượng trong cơ sở dữ liệu, một hình mẫu với khoảng cách nhỏ nhất được tìm thấy. Loại của đối tượng này được gán cho loại của đối tượng mà chúng ta muốn phân loại. Trong bước này kết quả của việc theo dõi đối tượng được tận dụng để thu được các kết quả phân loại nhất quán theo thời gian.

3.2.2. Trích rút hình chiếu của đối tượng

Trong cả hai bước online và offline của thuật toán phân loại, các hình chiếu của các vùng đối tượng phát hiện được từ bản đồ điểm ảnh cận cảnh được trích rút bằng cách sử dụng một thuật toán theo vết đường viền.

3.2.3 Cơ sở dữ liệu mẫu các hình chiếu

Cơ sở dữ liệu hình chiếu mẫu được tạo offline bằng cách trích rút một vài đường viền đối tượng từ các cảnh khác nhau. Do giản đồ phân loại sử dụng sự giống nhau (sự tương đồng), các hình dạng của các đối tượng trong cơ sở dữ liệu nên thể hiện các dáng điệu của các loại đối tượng khác nhau.

Xem xét kiểu người, chúng ta thêm các hình dạng người trong các tư thế khác

nhau vào cơ sở dữ liệu mẫu nhằm tăng khả năng của một đối tượng truy vấn

của kiểu người được phân loại đúng. Ví dụ, nếu chúng ta có tất cả hình người

trong tư thế thẳng đứng; chúng ta có thể không phân loại được một người đang ngồi trên ghế. Hoặc nếu chúng ta có các hình chiếu của ô tô được nhìn theo phương ngang từ camera, có thể sẽ phân loại sai các phương tiện chuyển động theo chiều dọc với góc nhìn của camera. Hình 3.8 là một cơ sở dữ liệu mẫu nhỏ cỡ 24 chứa các dáng điệu khác nhau cho người, nhóm người và xe cộ.

Hình 3.8. Hình chiếu mẫu trong cơ sở dữ liệu mẫu với các nhãn

Trong bước phân loại, phương pháp của chúng ta không sử dụng hình chiếu trong định dạng thô, đúng hơn là so sánh các dấu hiệu khoảng cách của hình chiếu đã được chuyển đổi. Vì vậy, trong cơ sở dữ liệu khuôn mẫu chúng ta chỉ lưu trữ dấu hiệu khoảng cách của hình chiếu và thông tin tương ứng cho cả việc tính toán và lưu trữ sao cho hiệu quả.

Để S ={p₁,p_2,...,p_n} là hình chiếu của một đối tượng O bao gồm n điểm

sắp xếp từ điểm tâm phía trên của vùng được phát hiện theo chiều kim đồng hồ và cm là tâm của của khối điểm của O. Dấu hiệu khoảng cách

} ,

{d₁ d_2,...,d_n

DS = được sinh ra bằng cách tính khoảng cách giữa cm và mỗi pi

bắt đầu từ 1 tới n như sau:

Trong đó hàm Dist là khoảng cách Ơclit giữa hai điểm a và b: Dist(a,b)= (x_a −x_b)2 +(y_a −y_b)2 (3.3)

Các đối tượng khác nhau có hình dạng khác nhau trong video và do đó có hình chiếu khác nhau về kích cỡ. Thậm chí cùng một đối tượng cũng có đường viền thay đổi qua các khung hình. Để so sánh các dấu hiệu tương ứng với các đối tượng có kích cỡ khác nhau một cách chính xác và để tạo độ đo so

sánh không đổi chúng ta sẽ cố định kích cỡ của dấu hiệu khoảng cách. Để N

là độ lớn của một dấu hiệu khoảng cách DS và C là hằng số cho độ dài dấu

hiệu cố định. Dấu hiệu khoảng cách có độ lớn cố định ∧

DS sau đó được tính

toán bằng lấy mẫu con (sub-sampling) hoặc siêu lấy mẫu (super-sampling) dấu hiệu gốc DS như sau:

^{^}

][ [ * ], i 1[...C]

C

N

i

DS

i

DS = ∀ ∈

Trong bước tiếp theo, dấu hiệu khoảng cách được co dãn ∧

DS được

chuẩn hoá để có vùng đơn vị toàn vẹn. Dấu hiệu khoảng cách được chuẩn hoá

DS được tính bằng phương trình sau:

∑

=

i

DS

i

DS

i

DS

][

][

][

3.2.4. Độ đo phân loại

Độ đo phân loại của chúng ta dựa trên sự giống nhau của các hình dạng đối tượng. Có rất nhiều phương pháp so sánh các hình.

Đòi hỏi quan trọng của một độ đo so sánh các hình là sự bất biến co dãn, sự dịch chuyển, sự quay. Phương pháp của chúng ta thoả mãn ba thuộc tính trên.

- Sự bất biến co giãn: Do chúng ta sử dụng một độ dài cố định cho dấu hiệu khoảng cách của các hình dạng đối tượng, dấu hiệu được chuẩn hoá và co dãn sẽ gần như giống nhau cho hai sự thể hiện khác nhau (trong các tỉ lệ co dãn khác nhau) của cùng tư thế của một đối tượng.

- Sự bất biến dịch chuyển: dấu hiệu khoảng cách là độc lập với vị trí hình học của hình dạng đối tượng bởi vì dấu hiệu khoảng cách được tính đối với tâm của khối hình đối tượng. Thực tế là sự dịch chuyển của hình đối tượng sẽ không thay đổi vị trí tương đối của của tâm khối điểm đối với đối tượng, độ đo so sánh sẽ không bị ảnh hưởng bởi sự dịch chuyển.

- Sự bất biến quay: Chúng ta không sử dụng thuộc tính bất biến phép quay của độ đo phân loại của chúng ta bởi vì chúng ta muốn phân biệt cả các tư thế khác nhau của một đối tượng đơn cho các bước tiếp theo trong hệ thống theo dõi. Tuy nhiên, bằng cách chọn một điểm bắt đầu khác ps trên hình chiếu của đối tượng trong bước theo vết đường viền, chúng ta có thể tính toán các dấu hiệu khoảng cách của đối tượng cho các dịch chuyển quay cho mỗi điểm bắt đầu ps.

Độ đo phân loại của chúng ta so sánh sự giống nhau giữa các hình của hai đối tượng A và B, bằng cách tìm kiếm khoảng cách giữa các dấu hiệu khoảng cách tương ứng, DSA và DSB . Khoảng cách giữa hai dấu hiệu

khoảng cách gốc và co dãn, DSA và DSB được tính như sau:

∑

Để tìm kiểu TO của đối tượng O, chúng ta so sánh dấu hiệu khoảng

cách của nó DSOvới tất cả dấu hiệu khoảng cách của đối tượng trong cơ sở

dữ liệu khuôn mẫu. Kiểu TPcủa đối tượng khuôn mẫu P được gán là kiểu của

đối tượng truy vấn O, TO =TP nếu P thoả mãn:

∀

≤ _OI,

OP Dist

Hình 3.9 chỉ ra các hình chiếu, dấu hiệu hình chiếu và dấu hiệu khoảng cách của một đối tượng truy vấn mẫu và đối tượng cơ sở dữ liệu mẫu cho phân loại kiểu.

Hình 3.9 Ví dụ phân loại đối tượng

(a) Đối tượng truy vấn mẫu (b) Các đối tượng trong cơ sở dữ liệu mẫu với các dấu hiệu khoảng cách. Kiểu của mỗi đối tượng ( H: Người, HG: Nhóm Người, V: Xe cộ) và khoảng cách (D) giữa đối tượng truy vấn và mỗi đối tượng trong cơ sở dữ liệu được chỉ ra phía dưới các đối tượng.

3.2.5. Sự nhất quán thời gian

Hiệu quả của của phương pháp phân loại đối tượng phụ thuộc vào chất lượng của đầu ra trong bước phân đoạn đối tượng. Do các nhân tố môi trường, như các đối tượng bị chồng chéo bởi các đối tượng cận cảnh tĩnh( vật thể nào

đó chắn trước camera) hoặc do thực tế chỉ có một phần đối tượng xâm nhập vào cảnh, hình của vùng phát hiện được không phản ánh một hình chiếu đúng của đối tượng. Trong những trường hợp như thế, thuật toán phân loại sẽ sai trong việc phân loại đối tượng. Ví dụ, phần của phương tiện xâm nhập vào cảnh có thể trông giống một người, hoặc phần người chồng chéo có thể giống một nhóm người. Vì thế tôi sử dụng một giản đồ nhiều giả thuyết để tăng độ chính xác cho phương pháp phân loại.

Trong tiến trình này, một loại lưu đồ (histogram) được khởi tạo và đảm bảo cho một đối tượng O được phát hiện trong cảnh. Kích cỡ của lưu đồ bằng với số loại đối tượng khác nhau( ví dụ: trong hệ thống chúng ta biểu diễn người (H), nhóm người (HG) và phương tiện (V)) và nhóm i của lưu đồ này

giữ số lần đối tượng O được tìm thấy là loại Ti (một trong H, HG, V). Hình

3.10 chỉ ra một đối tượng mẫu và biểu đồ kiểu của nó cho ba loại khung hình khác nhau.

((a), (c), (e)) Đối tượng phát hiện được((b), (d),(f)) Lưu đồ kiểu đối tượng tương ứng

Với sự trợ giúp của giản đồ đa giả thuyết này, các kiểu có thể của một đối tượng có thể được tích luỹ qua một khoảng thời gian định nghĩa trước và quyết định đúng cho loại của nó có thể được làm thêm chính xác bằng cách chọn kiểu trong nhóm với giá trị lớn nhất với kiểu của đối tượng.