Các vector được mô tả là những mảng 3D của mức xám hoặc các giá trị pixcel hồng ngoại đơn sắc gi, j, t tại thời điểm t, vị trí pixcel (i,j). Một video được đặc trưng bởi chiều thời gian là Z tương ứng với số khung, và hai chiều không gian đặc trưng số vector trong phương ngang và phương thẳng đứng của mỗi frame. Các ảnh trong video được chia thành chuỗi những hình vuông rời rạc NBLOCK x NBLOCK (chẳng hạn hình vuông 8x8), những hình vuông này bảo trùm toàn bộ ảnh. Những khối spationtemporal 3D có được là do sự kết hợp của nhiều hình vuông liên tiếp trên các frame tại cùng một vị trí của video. Ví dụ sử dụng 8x8x3 khối rời rạc trong không gian nhưng chồng lấp về thời gian khi đó, hai khối ở cùng một vị trí và tại thời điểm t và t+1 có chung một hình vuông. Thực tế là những khối 3D nối tiếp nhau cho phép chúng ta phát hiện được chuyển động trong video với tần số thời gian thấp. Những khối 3D thu được được biểu diễn thành các vector 192 chiều của mức xám hoặc là nững giá trị điểm ảnh hồng ngoại đơn sắc.
Các khối được biểu diễn bằng các vector N chiều bi,j,t với chỉ số không gian (i,j) và tại thời điểm t. Các vector bi,j,t bao gồm các giá trị mức xám gi,j,t
43
của các pixcel trong khối 3D tương ứng. Như vậy, những khối đã cho với chỉ số không gian (i,j) và tại thời điểm t, tương ứng với vector khối bi,j,t chứa đựng những giá trị điểm ảnh gi,j,t từ những tọa độ không gian:
và từ khung t-T...t+T. Với T là tổng số khung.
Như vậy chiều dài N của vector khối sẽ bằng NBLOCK x NBLOCK x (2T+1).
Để rụt gọn chiều của bi,j,t trong khi vẫn duy trì được thông tin trong phạm vi lớn nhất có thể, ta tính một phép chiếu của vector khối được chuẩn hóa thành một vector có độ dài thấp hơn K (K<<N) bởi việc sử dụng ma trận chiếu PCA Pki,j để tính cho tất cả bi,j,t tại vị trí không gian (i,j) của video. Kết quả vector kết cấu không gian b*i,j,t=Pi,jK *bi,j,t cung cấp mối quan hệ giữa biểu diễn kết cấu và mô hình chuyển động trong video, và chúng được sử dụng là phần đầu vào của giải thuật phát hiện chuyển động và sự di chuyển của đối tượng.
Để tính toán PKI,J các tác giả đã sử dụng các giá trị phân tích trong các tài liệu [11,12]. Ma trận của tất cả các vector khối được chuẩn hóa bi,j,t trong vị trí (i,j) được sử dụng để tính mà trận hiệp phương sai NxN chiều Si,j. Ma trận chiếu PCA Pi,j cho vị trí không gian (i,j) được tính từ ma trận hiệp phương Si,j . Ma trận chiếu P(i,j) kích thước NxN biểu diễn cho N thành phần chính. Bằng việc chỉ đưa ra những thành phần chính tương ứng với K giá trị riếng lớn nhất, ta thu được PKi,j.