C. Phương pháp pháp dựa trên sự chênh lệnh tạm thời giữa các khung hình
2.2.2.Theo vết đối tượng dựa trên biên
Một phương pháp khác để theo vết đối tượng là biểu diễn đối tượng sử dụng các thông tin đường biên, do đó có thể thu được cả vị trí và hình dạng. Các thuật toán dựa trên đường biên thường mạnh mẽ hơn vì nó có thểđiều chỉnh để giải quyết vấn đề che khuất một phần đối tượng và trong đa số trường hợp nó nhạy cảm hơn với các biến đổi độ sáng.
Các đường viền tích cực, còn gọi là "các con rắn", được sử dụng để thực hiện phân tách đối tượng và theo dõi. Một thuật toán linh động sẽ tạo ra một đường viền để "khóa" các đặc trưng hình ảnh như đường nét, góc cạnh, ranh giới,vv. Các con rắn bao gồm các đường cong tham số có sự biến dạng tùy thuộc vào gradient của cường độ hình ảnh và vị trí của các đặc trưng hình ảnh (do nội dung hình ảnh và ràng buộc khác). Một lợi thế của mô hình con rắn là nó có thể dễ dàng kết hợp với các thay đổi linh động của hình ảnh theo thời gian. Các đường viền hình rắn thường được tham số hóa và không gian giải pháp được hạn chếđể có một số hình dạng xác định trước. Vì vậy, những phương pháp này đòi hỏi một bước khởi tạo chính xác từ đường viền ban đầu hội tụđến nghiệm của một phương trình vi phân từng phần.
Các mô hình đường viền dựa trên đo đạc, những mô hình này không phải tham số hóa và có thểđược sử dụng để theo dõi các đối tượng với chuyển động biến đổi. Một phương pháp tiếp cận gồm ba bước đã được đề xuất, bắt đầu bằng cách phát hiện các đường viền của đối tượng cần theo vết. Sau đó thực hiện dự toán của trường vector vận tốc dọc theo các đường viền. Tại bước này, có thể thu được kết quảđo lường rất không ổn định. Sau đó, một phương trình vi phân từng phần được thiết kế để di chuyển các đường viền đến biên của các vật thể di động. Những
đường viền này được sử dụng như là giá trị ước lượng ban đầu trong hình ảnh tiếp theo và quá trình này được lặp lại.
2.2.3. Theo vết đối tượng dựa trên điểm đặc trưng
Theo vết đối tượng dựa trên điểm đặc trưng là phương pháp cố gắng xây dựng lại các tham số chuyển động của một điểm đặc trưng nào đó trong chuỗi video, cụ thể hơn là các tham số gắn liền với mặt phẳng dịch chuyển vì các đối tượng theo vết ởđây là 2D, không liên quan đến các phép xoay hình cũng như chiều sâu ảnh. Theo vết đối tượng dựa trên điểm đặc trưng có thể định nghĩa như sự cố gắng khôi phục các tham số chuyển động của một điểm đặc trưng trong một chuỗi video, đặc biệt hơn các tham số có liên quan đến sự dịch chuyển hai chiều của một điểm, bởi vì các điểm trong không gian 2D không phải xoay và cũng không phải dịch chuyển đối với chiều sâu. Đặt A={A0, A1, …, AN-1} là N khung hình của một chuỗi video và mi(xi, yi), i=0,…,N-1 là vị trí của cùng điểm đặc trưng trong các khung hình đó. Công việc cần thực hiện là xác định một vector chuyển động di(xi, yi) mô tả chính xác nhất vị trí của điểm đặc trong trong khung hình tiếp theo: mi(xi, yi) như vậy: mi+1 = mi + di. Đối tượng được theo vết thường được định nghĩa bằng hộp giới hạn hoặc đường bao lồi quanh các điểm đặc trưng.
Theo vết đối tượng dựa trên điểm đặc trưng có thểđược thực thi rất hiệu quả. Một vấn đề quan trọng trong theo vết đối tượng dựa trên điểm đặc trưng đó là xác định và theo dõi các điểm nổi bật trong một ảnh. Các điểm đặc trưng tiềm năng để theo vết là những điểm mà có các đặc trưng cục bộđể phân biệt, ví dụ như: độ sáng, độ tương phản, kết cấu, v.v. Những điểm như vậy có thể liên kết với thông tin vềđộ cong cục bộ như là các góc, các cạnh, v.v. Tính chất của các điểm lân cận ( hay của các mô tả tương ứng) đến sự biến đổi độ rọi và thay đổi khung nhìn là các đặc trưng mong muốn khác của các điểm đặc trưng tốt. Rất nhiều các phương pháp phát hiện điểm đặc trưng (còn được gọi là các điểm khóa hay các điểm quan tâm) đã được đề xuất, bao gồm: Harris, SIFT,…
Rất nhiều các hướng tiếp cận theo vết đối tượng dựa trên điểm đặc trưng đã tồn tại, hầu hết chúng đều là một phần của các hệ thống lớn hơn ví dụ hệ thống theo dõi khuôn mặt hoặc hệ thống đánh giá tư thế. Shi và Tomasi đã đề xuất một phương pháp tìm các điểm đặc trưng tốt. Đối với mỗi ứng viên điểm đặc trưng, một ma trận 2x2 được xây dựng:
Trong đó Jx và Jy là các giá trị gradient được tính trên các điểm theo các hướng x và y riêng biệt và W là một cửa sổ kích thước n x n với tâm được đặt tại điểm đặc trưng. Một điểm đặc trưng tốt được định nghĩa là điểm là giá trị của ma trận Z của nó lớn hơn một ngưỡng cho trước. Những điểm như vậy biểu diễn các góc hoặc các kết cấu dạng muối-hạt tiêu. Đểđo chất lượng các điểm đặc trưng của hình ảnh trong quá trình theo vết và đểđảm bảo rằng cùng các điểm được theo dõi qua chuỗi video, các tác giảứng dụng một phép đo sự khác biệt của đặc trưng xác định số lượng thay đổi của một điểm đặc trưng giữa khung hình đầu tiên và khung hình hiện tại.
Hình 2-14.Điểm đặc trưng được trích xuất từ các đối tượng
Phương pháp tương quan chéo cũng được sử dụng để theo vết các điểm đặc trưng từ khung hình này sang khung hình khác. Giả thiết rằng sự dịch chuyển tương đối giữa các khung hình liền kề nhau là nhỏ, giải thuật bắt đầu bằng một tập các điểm đặc trưng được lựa chọn từ khung hình khởi tạo. Mỗi n khung hình, các điểm đặc trưng mới lại được lựa chọn để duy trì tống sốđiểm. Với mỗi điểm đặc trưng trong khung hình hiện thời, thuật toán tìm kiếm trong một cửa sổ cho vị trí mới của nó tại
khung hình tiếp theo. Tiêu chuẩn được sử dụng là giá trị lớn nhất của độ tương quan chéo bình phương các điểm lân cận giữa khung hình đầu tiên và khung hình hiện thời. Do đó, việc tính chỉnh vị trí của mỗi điểm đặc trưng được thực hiện dựa trên thực tế là tất cả các đặc trưng thuộc về cùng đối tượng và do đó di chuyển theo một hướng nhất định.
Một mô hình bề mặt có thể biến dạng đã được tận dụng để lựa chọn và theo vết các đặc trưng. Bề mặt này được làm méo để xấp xỉ bề mặt cường độ ảnh cục bộ quanh điểm cần theo vết. Phương pháp phân tích được sử dụng để mô tả sự biến dạng bề mặt và sinh ra vector dịch chuyển được sử dụng như là vector đặc trưng mô tả các ảnh lân cận quanh một điểm. Vị trí của điểm trong khung hình tiếp theo là một trong các điểm có vector dịch chuyển được tạo ra tương xứng nhất với điểm trong khung hình hiện tại.
2.2.4. Theo vết đối tượng dựa trên mẫu
Các kỹ thuật theo vết đối tượng dựa trên mẫu được sử dụng bởi nhiều nhà nghiên cứu để thực hiện theo dõi các đối tượng hai chiều. Theo vết đối tượng dựa trên mẫu rất gần với theo vết dựa trên vùng bởi vì một mẫu về cơ bản là mô hình của một vùng ảnh (và theo đó của một đối tượng tương ứng) được theo vết. Các cách tiếp cận này tuân theo các nguyên lý tương tự nhau với việc các kỹ thuật đối sánh mẫu được sử dụng nhận dạng và phát hiện đối tượng. Bước đầu tiên (bước khởi tạo) là lựa chọn mẫu được sử dụng. Các mẫu có thể thu được theo một số cách. Đầu tiên một mẫu là xác định cho một thể hiện cụ thể trong một lớp các đối tượng có thể được tạo ra. Ví dụ trong modul theo vết khuôn mặt ứng dụng trong video phone, người dùng có thể nói chuyện đối mặt với camera trong một khoảng thời gian cho phép hệ thống phát hiện khuôn mặt và sử dụng vùng ảnh tương ứng như là một mẫu. Một mẫu cũng có thể được tạo ra bằng cách áp dụng các phương pháp thống kê. Ví dụ trong ứng dụng theo vết khuôn mặt, một mẫu khuôn mặt tổng quát được tạo ra bằng cách tổng hợp các thông tin về rất nhiều cơ sở dữ liệu khuôn mặt
Đối sánh mẫu có thể được định nghĩa là quá trình tìm kiếm ảnh đích (khung hình hiện thời của chuỗi video) để xác định vùng ảnh tương ứng với mẫu, dựa trên độđo tương tự hay khoảng cách. Các vùng mẫu cần thực hiện các biến đổi về hình học đểđặt nó lên trên ảnh địch theo cách mà giúp tối thiểu độđo khoảng cách được sử dụng. Mục tiếu của thuật toán đối sánh mẫu là đánh giá các tham số của một phép biến đổi như vậy. Một cách hình thức, gọi Y(t) là vùng ảnh tương ứng với đối tượng được theo vết tại thời điểm t. Đối với một đối tượng cứng, Y(t) có thể được tìm thấy từ mẫu Y0 bằng cách áp dụng một phép biến đổi hình học phù hợp. Ước lượng các tham số của phép biến đổi được thực hiện bằng cách xác định vùng hình ảnh phù hợp nhất với mẫu. Để tránh sự bùng nổ tìm kiếm khi đối sánh mẫu trong các khung hình, có thể áp dụng nhiều kỹ thuật khác nhau. Phép trừ nền có thể ứng dụng để xác định vùng hình ảnh có chuyển động xuất hiện và giới hạn tìm kiếm trong vùng này. Một cách khác, các mô hình dựđoán như bộ lọc kalman có thể sử dụng để ước lượng vị trí của đối tượng được theo vết trong khung hình tiếp theo và sử dụng như là trung tâm của vùng tìm kiếm.
2.2.5. Theo vết đối tượng phụ thuộc vào các lớp không gian trạng thái (Bayesian object tracking) (Bayesian object tracking)
Khá nhiều kỹ thuật theo vết đối tượng thực hiện việc dò vết dưới nền tảng lý thuyết Bayesian. Kỹ thuật gần đây nhất theo hướng tiếp cận lớp không gian trạng thái, cố gắng ước lượng trạng thái của hệ thống qua các thời điểm cụ thể, giả sử rằng độ đo nhiễu là sẵn có tại các thời điểm. Vector trạng thái chứa tất cả các dữ liệu cần thiết để mô tả hệ thống. Hai kỹ thuật nổi bật của phương pháp theo vết này là bộ lọc Kalman và bộ lọc Particle.
2.2.5.1. Bộ lọc Kalman
Bộ lọc Kalman được đặt tên theo tên người phát minh ra bộ lọc này, R.E Kalman. Vào năm 1960, R.E Kalman đã công bố bài báo nổi tiếng về một giải pháp truy hồi để giải quyết bài toán lọc thông tin rời rạc tuyến tính (discrete data linear
filtering)[32]. Từđó đến nay cùng với sự phát triển của tính toán kỹ thuật số, bộ lọc Kalman đã trở thành chủđề nghiên cứu sôi nổi và được ứng dụng trong nhiều ngành kỹ thuật công nghệ khác nhau : trong tự động hóa, trong định vị cũng như trong viễn thông và nhiều lĩnh vực khác nữa.
Một cách khái quát, bộ lọc Kalman là một tập hợp các phương trình toán học mô tả một phương pháp tính toán truy hồi hiệu qủa cho phép ước đoán trạng thái của một quá trình sao cho trung bình phương sai của độ lệch (giữa giá trị thực và giá trịước đoán) là nhỏ nhất. Bộ lọc Kalman rất hiệu quả trong việc ước đoán các trạng thái trong quá khứ, hiện tại và tương lai thậm chí ngay cả khi tính chính xác của hệ thống mô phỏng không được khẳng định.
NGUYÊN LÝ HOẠT ĐỘNG CỦA BỘ LỌC KALMAN
Hình 2-15. Thông tin vào ra bộ lọc
A. Khái niệm vềước lượng
Giả sử chúng ta có một chiếc xe di chuyển với vận tốc 20m/s theo một phương x. Vị trí ban đầu của xe là 0.
Khi đó, vận tốc của xe sẽ là:
Kết quả, nếu bây giờ chúng ta cần xác định vị trí của xe sau 2 phút. Và giả sử chúng ta chỉ quan tâm đến cảm biến đo vị trí hoặc cảm biến đo vận tốc của xe. Chúng ta sẽ chỉ ra 2 phương pháp ước lượng như sau:
a) Phương pháp 1:
(thời điểm tiếp theo) (thời điểm tiếp theo nữa) ....
Đây là ước lượng vị trí của xe, chỉ nhờ vào cảm biến vị trí của xe, trong đó, là các giá trị vị trí xe đo được.
b) Phương pháp 2:
(vị trí ban đầu của xe)
(1 giây sau nếu giả sử x di chuyển với vận tốc 20m/s) (1 giây sau nữa)
...
Như vậy, cả hai phương pháp trên, cũng đều là một cách để chúng ta ước lượng vị trí của xe. Chúng ta thấy rằng, nếu dùng hai phương pháp ước lượng khác nhau, sẽ thu được các giá trịước lượng khác nhau. Chúng ta sẽ tin cách ước lượng nào?
c) Phương pháp 3:
Chúng ta tìm hiểu xem phương pháp ước lượng thứ ba như sau:
nhiệm vụ của bộ lọc Kalman là tìm ra hệ số alpha tối ưu để tìm gần đúng với x(t) nhất. Nói rõ hơn một chút, đó là tìm ước lượng gần đúng với x(t) nhất (giá trịước lượng gần đúng với giá trị thực tế nhất) thông qua hiểu biết của chúng ta về mô hình của hệ thống.
Hình 2-16. Mô hình hóa hoạt động của mạch lọc Kalman.
Hoạt động mạch lọc như sau: từ tín hiệu đo được và mô hình đòi hỏi tuyến tính của tín hiệu đo được ta áp dụng vào trong hệ thống phương trình của mạch lọc để ước lượng trạng thái quan tâm. Thực ra tín hiệu đo là không khó, phương trình đã có sắn, cái chung ta cần chính là mô hình hoá hệ thống. Để có thể ứng dụng một cách hiệu quả mạch lọc Kalman thì chúng ta phải mô hình hóa được một cách tuyến tính sự thay đổi của trạng thái cần ước lượng (estimate) hoặc ước đoán (predict).
C. Bộ lọc Kalman rời rạc
Bộ lọc Kalman đề cập đến bài toán tổng quát đi ước lượng trạng thái của một quá trình được mô hình hóa một cách rời rạc theo thời gian bằng một phương trình ngẫu nhiên tuyến tính như sau
(1) và kết quảđo đạc
(2)
Trong đó w và v là 2 vector biến ngẫu nhiên đại diện cho nhiễu hệ thống và nhiễu đo đạc. Hai biến ngẫu nhiên này độc lập và được giả sử là tuân theo phân bố Gauss với trung bình =0 và ma trận hiệp phương sai (covariance) lần lượt là Q và R
w ~N(0,Q)
v ~N(0,R)
Nếu vector trạng thái x có kích thước là n, thì ma trận A sẽ có kích thước là n x n. B (n x l) là ma trận phụ thuộc vào điều khiển tối ưu u với u là vector có kích thước là l. Vector đo đạc z có kích thước là m nên ma trận H sẽ là m x n. Chú ý rằng các ma trận Q, R, A, H có thể thay đổi theo thời gian (từng bước k), nhưng ởđây chúng được giả sử không đổi.
Hình 2-17. Cơ chế lọc Kalman với ô vuông thể hiện cho ma trận (F~A), các hình elip biểu diễn cho phân bố chuẩn Gauss (với trung bình=0 và ma trận hiệp phương sai), các giá trị không đóng khung là các vector.
Bài toán lọc Kalman chính là đi tìm giá trịước lượng và ước đoán của trạng thái x khi ta biết được sự biến thiên của nó và ta đo được một đại lượng z mà phụ
thuộc tuyến tính vào x.
Ví dụ trong bài toán chuyển động, ta biết được qui luật thay đổi của vận tốc, ta lại có thể đo được sự thay đổi của vị trí. Sử dụng bộ lọc Kalman để tìm vận tốc ước lượng.
Nếu ta giả sửxk và lần lượt là tiên nghiệm và tiền nghiệm ước lượng của giá trị x tại thời điểm k. Giá trị tiên nghiệm thu được chỉ dựa vào mô hình hệ thống CT(1), còn giá trị hậu nghiệm là giá trị thu được sau khi đã có kết quảđo đạc CT(2). Khi đó sai số của ước đoán tiên nghiệm và hậu nghiệm lần lượt là
Ma trận hiệp biến của 2 sai số trên được tính lần lượt theo công thức
Mục đích của chúng ta bây giờ là đi tìm hệ số K sao cho thỏa mãn phương trình sau: (3)
Như vậy, ta thấy K cũng chính là alpha giới thiệu ở trên. Phương trình (3) có nghĩa là giá trị hậu nghiệm của ước lượng x sẽ được tính bằng giá trị tiên nghiệm