Chương 2 CƠ SỞ LÝ THUYẾT
2.4. Lọc theo mức độ tương quan của hàm nhân
2.4.2. Phương pháp theo dõi đối tượng bằng lọc theo mức độ tương
quan của hàm nhân
Phương pháp lọc theo mức độ tương quan của hàm nhân dựa vào các tính chất của ma trận tuần hoàn, công thức hồi quy ridge, nhân Gauss đưa ra giải pháp theo dõi đối tượng hiệu quả.
2.4.2.1. Lọc theo mức độ tương quang của hàm nhân
Trong bộ lọc theo mức độ tương quan của hàm nhân mục tiêu mong muốn là làm giảm hàm lỗi; hàm (2.6); đạt đến tối thiểu.
𝑆(𝑥𝑖) = 𝑓𝑇𝑥𝑖 (2.6)
Trong đó 𝑥𝑖là mẫu thứ i và kết quả hồi quy của nó tại 𝑦𝑖. Tập mẫu huấn luyện là các mẫu được thay đổi tuần hoàn trên mẫu cơ sở x.
Giả sử dữ liệu mẫu một chiều 𝑥 = [𝑥1, 𝑥2, … , 𝑥𝑛] thì sự thay đổi tuần hoàn của nó với một phần tử sẽ là 𝑃𝑥 = [𝑥𝑛, 𝑥1, … , 𝑥𝑛−1]. Vậy từ tập mẫu ban đầu hình thành tập mẫu thay đổi tuần hoàn sẽ là (2.7)
{𝑃𝑢𝑥|𝑢 = 0,1, … , 𝑛 − 1} (2.7)
Trong ứng dụng theo dõi, mẫu cơ sở là một ánh xạ đặc trưng được trích xuất từ vùng hình ảnh trung tâm. Các mẫu huấn luyện có kích thước không gian M×N, kích thước này lớn hơn kích thước vùng bao quanh đối tượng . Trong KCF, kích thước không gian lớn gấp 2,5 lần kích thước mục tiêu ban đầu. Tại mỗi vị trí không gian (𝑚, 𝑛) ∈ Ω ≔ {0, … , 𝑀 − 1}𝑥{0, … , 𝑁 − 1} các mẫu huấn luyện có vectơ đặc trưng d chiều 𝑥𝑖(𝑚, 𝑛) ∈ ℝ𝑑. Bằng cách áp dụng bộ mẫu huấn luyện này, qua theo dõi lấy được các mẫu phong phú để huấn luyện bộ phân loại chính xác. Mục tiêu hồi quy 𝑦𝑖 là M×N hàm Gauss phân rã từ 1 đến 0. Công thức KCF của hồi quy tuyến tính có thể được xây dựng như (2.8)
min
𝑓 ∑(𝑆(𝑥𝑖) − 𝑦𝑖)2 + 𝜆‖𝑓‖2
𝑛
𝑖=1
(2.8) Trong đó 𝜆 là tham số để kiểm soát việc huấn luyện có bị quá khớp hay không.
Hàm được viết dưới dạng tổ hợp tuyến tính của các mẫu huấn luyện là
𝑆(𝑥) = 𝑓𝑇𝑥. Với 𝑓 được tính theo công thức (2.9)
𝑓 = (𝑋𝐻𝑋 + 𝜆𝐼)−1𝑋𝐻𝑦 (2.9)
Trong đó, X và XH là ma trận tuần hoàn. X là một ma trận được tạo ra từ tất cả các mẫu huấn luyện có các thay đổi theo chu kỳ từ mẫu cơ sở (base sample). XH là sự chuyển hóa của ma trận Hermitian.
𝑋 = 𝐶(𝑥) = [ 𝑥1 𝑥2 𝑥3 … 𝑥𝑛 𝑥𝑛 𝑥1 𝑥2 … 𝑥𝑛−1 𝑥𝑛−1 ⋯ 𝑥2 𝑥𝑛 ⋯ 𝑥3 𝑥1 … 𝑥𝑛−2 ⋯ ⋱ ⋯ 𝑥4 … 𝑥1 ] (2.10)
Tất cả các ma trận tuần hoàn được thực hiện theo đường chéo bởi phép biến đổi Fourier rời rạc (Discrete Fourier Transform - DFT). Các đặc trưng nổi trội được biểu diễn bằng (2.11)
𝑋 = 𝐹𝑑𝑖𝑎𝑔(𝑋̂)𝐹𝐻 (2.11)
Trong đó, F là một ma trận liên tục biến đổi dữ liệu trong miền Fourier và FH là sự chuyển đổi của Hermitian F. 𝑋̂ là biến đổi Fourier rời rạc (Discrete Fourier Transform -DFT) của vectơ tạo ra từ mẫu cơ sở trong KCF. Khi phân rã ma trận tuần hoàn có thể được sử dụng để việc tính toán cho giải pháp hồi quy ridge đơn giản hơn.
Với ⊙ là biểu diễn tích từng phần tử. Trong trường hợp hồi quy không tuyến tính, kỹ thuật nhân được áp dụng để có trình phân loại mạnh hơn. Giải pháp của công thức hồi quy có thể được biểu diễn dưới dạng kết hợp tuyến tính của các mẫu, công thức (2.13)
𝑓 = ∑ 𝛼𝑖𝜑(𝑥𝑖)
𝑛
𝑖=1
(2.13)
𝜑(𝑥𝑖)là tập giá trị phi tuyến đầu vào. Và thành phần nổi trội của 𝜑(𝑥𝑖) có thể được tính bằng hàm nhân, 𝜑𝑇(𝑥𝑖)𝜑(𝑥𝑗) = 𝜅(𝑥𝑖, 𝑥𝑗). 𝑆(𝑥𝑘) có thể được biểu diễn bằng (2.14)
𝑆𝑓(𝑥) = 𝑓𝑇𝑥 = ∑ 𝛼𝑖𝜅(𝑥𝑖, 𝑥𝑗)
𝑛
𝑖,𝑗=1
(2.14) Và một giải pháp khác của (2.9) được tính toán như (2.15)
𝛼 = (𝐾 + 𝜆𝐼)−1𝑦 (2.15)
Trong đó K là ma trận nhân và phần tử của nó là tích các phần tử của hai mẫu, 𝐾𝑖𝑗 = 𝜅(𝑥𝑖, 𝑥𝑗). α là vector của các hệ số 𝛼𝑖. (2.15) có thể được viết lại như (2.16) dưới đây
𝛼̂ = 𝑦̂/(𝜅̂𝑥𝑥 + 𝜆) (2.16)
KCF đã đạt được kết quả rất tốt về việc theo vết đối tượng trong ảnh. Tuy nhiên, khi áp dụng các thay đổi theo chu kỳ của một mẫu cơ sở thì các mẫu huấn luyện và các mẫu phát hiện ứng viên gặp vấn đề, hình 2.12. Những vấn đề này làm giảm khả năng phân biệt của phân loại được huấn luyện và phát hiện đối tượng. Giải pháp chuẩn hóa về không gian được đưa ra [26] nhằm giúp phân loại tốt hơn.
2.4.2.2 Lọc theo mức độ tương quan được chuẩn hóa không gian
Để khắc phục các nhược điểm khi biến đổi theo chu kỳ có thể xảy ra thay thế λ trong (2.8) với ma trận chuẩn hóa không gian 𝑟. Ma trận chuẩn hóa không gian (hình 2.13) kích thước không gian của nó giống như bộ phân loại 𝑓. Ma trận này được sử dụng để kiểm soát độ lớn của các hệ số lọc trong quá trình học. Vị trí không gian của các hệ số bộ lọc trong 𝑟 xác định tầm quan trọng của chúng. Các hệ số nằm ngoài khu vực mục tiêu bị chặn bởi giá trị cao hơn trong
𝑟, có thể mở rộng kích thước mẫu để kèm theo nhiều mẫu “negative” hơn dẫn đến phân loại phân biệt rõ ràng hơn. Trong khi đó, nhiều mẫu phát hiện ứng cử viên cho phép nhận được diện tích lớn hơn các giá trị phản hồi chính xác gần trung tâm của vùng tìm kiếm nhằm khắc phục vấn đề bị che khuất và đối tượng chuyển động nhanh.
Chúng ta nhân √𝜆 trực tiếp với f. Công thức hồi quy được biểu diễn bằng (2.17) min 𝑓 ∑(𝑆𝑓(𝑥𝑖) − 𝑦𝑖)2+ ‖√𝜆𝑓‖2 𝑛 𝑖=1 (2.17) 𝑆𝑓(𝑥𝑖) = 𝑓𝑇𝑥𝑖 (2.18)
Hình 2.13. Ma trận chuẩn hóa không gian.
Số lượng trong (2.17) , (2.18) giống như (2.8) . Thay thế √𝜆 thành 𝑟 vào (2.17) và (2.18). Sau đó chúng ta có thể nhận được phương trình mới, (2.19)
min
𝑓 ∑(𝑆𝑓(𝑥𝑖) − 𝑦𝑖)2+ ‖𝑟⨀𝑓‖2
𝑛
𝑖=1
(2.19)
Giống như KCF, (2.19) có thể được giải quyết dưới dạng như (2.20)
𝑓 = (𝑋𝑇𝑋 + 𝑅2)−1𝑋𝐻𝑦 (2.20)
Trong (2.20), 𝑋 tương tự như trong (2.9). Ma trận điều chỉnh không gian có thể giúp mở rộng khu vực nhận được các mẫu huấn luyện và các mẫu phát hiện ứng cử viên. Khi chúng ta khoanh tròn mẫu cơ sở để lấy mẫu mới, vị trí của đối tượng và nền được thay đổi. Do đó, để đánh giá độ lớn của các hệ số
đổi theo vòng tròn. 𝑅 trong (2.20) là ma trận tuần hoàn được tạo ra từ ma trận chuẩn hóa không gian 𝑟. Mỗi thay đổi theo chu kỳ của ma trận chuẩn hóa không gian 𝑟 tương ứng với việc dịch chuyển tuần hoàn của mẫu cơ sở. Áp dụng các tính chất của ma trận tuần hoàn, tất cả các phép toán trong (2.20) có thể được thực hiện các phần tử nằm trên đường chéo.
Lấy 𝑋𝑇𝑋 thay thế X trong (2.11), ta được (2.21)
𝑋𝑇𝑋 = 𝐹𝑑𝑖𝑎𝑔(𝑥̂∗)𝐹𝐻𝐹𝑑𝑖𝑎𝑔(𝑥̂)𝐹𝐻 (2.21)
Trong (2.21) , 𝑥̂∗ là các trường hợp phức tạp của 𝑥̂ . Áp dụng tính chất
𝐹𝐻𝐹 = 𝐼, chúng ta có thể viết lại (2.20) với miền tần số là (2.22)
𝑓̂ = 𝑑𝑖𝑎𝑔(𝑥̂∗)𝑦̂/(𝑑𝑖𝑎𝑔(𝑥̂∗⨀𝑥̂) + 𝑑𝑖𝑎𝑔(𝑟̂∗⨀ 𝑟̂)) (2.22) Sử dụng cùng một tính chất của nhân như KCF để có được α , (2.23)
𝛼̂ = 𝑦̂/(𝑘̂𝑥𝑥+ 𝑟̂∗ ⨀ 𝑟̂) (2.23)
Trong (2.23) , 𝑘̂𝑥𝑥là ma trận nhân trong miền tần số và phần tử của ma trận là tích các phần tử của hai mẫu. Đối với các hàm nhân như nhân Gauss, nhân tuyến tính và nhân đa thức thì tính chất ma trận tuần hoàn cũng có thể được áp dụng [27] .
Sử dụng nhân Gauss và ma trận nhân có thể thu được bằng phương trình (2.24)
𝑘𝑥𝑥′ = exp (− 1
𝜎2(‖𝑥‖2 + ‖𝑥′‖2) − 2𝐹−1(𝑥̂ ⨀ 𝑥̂′∗)) (2.24) Sau khi nhận được bộ lọc α có thể sử dụng bộ lọc này để phát hiện đối tượng được theo dõi bằng cách áp dụng tính chất của ma trận tuần hoàn và ánh xạ đặc trưng z từ hình ảnh tại cùng một vị trí nơi đối tượng theo dõi được phát hiện trong khung trước đó. Ánh xạ đặc trưng z được coi là mẫu cơ bản của mẫu
𝑠̂(𝑧) = 𝑘̂𝑥𝑥⨀𝛼̂ (2.25) Trong đó, x là mô hình được học từ khung ảnh trước đó. Vị trí của giá trị tối đa được coi là vị trí của mục tiêu được theo dõi. Trong quá trình huấn luyện và phát hiện thì việc theo vết đối tượng mới chỉ cần tính tích các phần tử và chia cho các phần tử với chi phí độ phức tạp tính toán O(nlogn).
2.4.2.3 Sử dụng đặc trưng và chia nhỏ tỉ lệ
Nhân Gauss được sử dụng trong (2.24) dựa trên tích các phần tử và đặc điểm của vectơ, nhiều phần có thể được áp dụng trong nhân Gauss. Ánh xạ đặc trưng x ghép các vectơ riêng lẻ trong C như 𝑥 = [𝑥1, 𝑥2, … , 𝑥𝑐]. (2.24) có thể được viết lại dưới dạng (2.26):
𝑘𝑥𝑥′ = exp (− 1
𝜎2(‖𝑥‖2+ ‖𝑥′‖2) − 2𝐹−1(∑ 𝑥̂ ⨀ 𝑥̂′∗
𝑐
)) (2.26)
Trong (2.26) cho phép sử dụng những đặc trưng nổi trội để biểu diễn mục tiêu và áp dụng biểu đồ Gradient [49] và đặt tên màu (Color-naming) [50] để mô tả các đặc điểm của mục tiêu khắc phục được vấn đề lỗi khi mục tiêu lẫn trong nền.
Biểu đồ của Gradient là một trong những đặc trưng hình ảnh phổ biến nhất trong thị giác máy tính vì nó rất hiệu quả trong các ứng dụng thực tế và có thể tính rất chính xác. Đặc trưng này trích xuất thông tin gradient từ ô - phạm vi pixel. HOG đếm định hướng rời rạc để tạo thành biểu đồ.
Đặt tên màu hay còn gọi là thuộc tính màu chính là không gian bối cảnh,
nhãn màu được gán bởi con người để mô tả màu sắc. Sử dụng phương pháp ánh xạ để biến đổi từ không gian RGB sang color-naming có không gian biểu diễn 11 chiều, dựa vào tên màu để nhận biết đối tượng.
Kỹ thuật chia nhỏ tỉ lệ là một phương pháp thường được sử dụng để cải thiện hiệu suất của các thuật toán theo dõi bộ lọc theo mức độ tương quan. Đặt 7 kích thước mẫu khác nhau dựa trên kích thước mục tiêu trong khung đầu tiên. Ở vị trí mục tiêu tạo mẫu có kích thước khác nhau, được định nghĩa là
{𝑧𝑟}𝑟∈(1,2,…,7). Thay {𝑧𝑟}𝑟∈(1,2,…,7) vào (2.25) ta nhận được 7 ma trận tương ứng. Trong đó, tất cả {𝑧𝑟}𝑟∈(1,2,…,7) cần phải được thay đổi với kích thước tương tự như các bộ lọc theo mức độ tương quan. Tìm giá trị lớn nhất trong số các ma trận tương ứng này, mục tiêu được tìm thấy chính là vị trí mới và kích thước mới.
2.4.2.4 Cập nhật mô hình
Trong quá trình theo dõi, thuật toán cập nhật mô hình mục tiêu và bộ lọc theo mức độ tương quan với phương trình (2.27).
{𝑥̂
𝑡 = (1 − 𝜂)𝑥̂𝑡−1+ 𝜂𝑥̂𝑡
𝛼̂𝑡 = (1 − 𝜂)𝛼̂𝑡−1+ 𝜂𝛼̂𝑡 (2.27)
𝑥̂𝑡là ánh xạ đặc trưng trong miền tần số được tạo từ vị trí mới trong khung hiện tại.
𝛼̂𝑡 là bộ lọc theo mức độ tương quan mới được học trong miền tần số. Sơ đồ 2.1 cho chúng ta thấy thuật toán lọc theo mức độ tương quan.
Khung hình đầu tiên và vị trí ban đầu của mục tiêu
Nhân tương quan
𝑘𝑥𝑥 = 𝐾(𝑥̂, 𝑥̂)
Mô hình huấn luyện
𝛼̂ = 𝑦̂/(𝑘̂𝑥𝑥+ 𝑟̂∗ ⨀ 𝑟̂) Cập nhật mô hình {𝑥̂ 𝑡+1= (1 − 𝜂)𝑥̂𝑡+ 𝜂𝑥̂ 𝛼̂𝑡+1 = (1 − 𝜂)𝛼̂𝑡+ 𝜂𝛼̂ Nạp khung hình thứ t+1 và phần ứng cử viên z
Nhân tương quan chéo
𝑘𝑥𝑧 = 𝐾(𝑥̂𝑡+1, 𝑧̂) Tính toán 𝑦 = 𝐹−1(𝛼̂𝑡+1⨀𝑘𝑥𝑧) Lấy vị trí mục tiêu 𝑃𝑡+1 Theo dõi kết thúc? End Đ S