Sử dung bộ lọc Kalman trong bài toán bám mục tiêu

Thời gian gần đây việc ứng dụng bộ lọc Kalman để ước lượng quỹ đạo của đối tượng qua các khung hình được sử dụng nhiều trong các thiết bị điện tử dân dụng như Camera giám sát, điều hướng

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

LƯU VĂN QUYỀN

SỬ DỤNG BỘ LỌC KALMAN TRONG BÀI TOÁN BÁM MỤC TIÊU

CHUYÊN NGÀNH: KỸ THUẬT VIỄN THÔNG

Mãsố: 60.52.02.08

TÓM TẮT LUẬN VĂN THẠC SĨ

HÀ NỘI - NĂM 2013

Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: GS.TSKH NGUYỄN NGỌC SAN

Có thể tìm hiểu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

MỞ ĐẦU

Với sự phát triển của khoa học kỹ thuật Nhu cầu sử dụng hệ thống định vị và dẫn đường đã trở thành một nhu cầu không thể thiếu trong cuộc sống ngày nay Từ nguồn gốc đó việc theo dõi bám sát mục tiêu hiện đại ngày nay là sự kết hợp của các khoa học kỹ thuật nhận dạng mục tiêu và phương pháp theo dõi đối tượng, bao gồm

vị trí, kích thước, hình dáng vận tốc của đối tượng Bám mục tiêu sử dụng cho nhiều mục đích khác nhau như vệ tinh giám sát không gian được sử dụng theo dõi các chuyển động của mục tiêu nhất định

Thời gian gần đây việc ứng dụng bộ lọc Kalman để ước lượng quỹ đạo của đối tượng qua các khung hình được sử dụng nhiều trong các thiết bị điện tử dân dụng như Camera giám sát, điều hướng Robot, dò tìm mìn, thiết bị kiểm tra hành lý… Cho đến nay đã có nhiều công trình nghiên cứu về lĩnh vực bám bắt mục tiêu trên cơ sở xử lý ảnh và các thuật toán bám theo đối tượng chuyển động như: So khớp mẫu, Mean-shift, Camshift, Particle, Kalman… Mỗi phương pháp có các ưu điểm và nhược điểm khác nhau và cho hiệu quả nhất định với từng loại đối tượng và mục tiêu theo dõi khác nhau

Nội dung của luận văn được cấu trúc thành các phần như sau:

Chương I Tổng quát về lý thuyết bám mục tiêu

Chương II Sử dụng bộ lọc Kalman trong bài toán bám mục tiêu

Chương III Ví dụ minh hoạ

CHƯƠNG I: TỔNG QUÁT VỀ LÝ THUYẾT

BÁM MỤC TIÊU

1.1 Những khái niệm cơ bản

1.1.1 Định nghĩa về bài toán bám mục tiêu

Hình 1.1 Sơ đồ của đối tượng điều khiển với đầu vào và đầu ra

Bài toán bám mục tiêu cần phải tìm tín hiệu điều khiển ở đầu vào sao cho tín hiệu ở đầu ray tˆ( )bám theo mục tiêu

1.1.2 Định nghĩa về sai số

Hầu như các phương pháp đánh giá, ước lượng tham số mô hình được xây dựng trên cơ sở áp dụng nguyên lý về kỹ thuật tham chiếu, trong đó xác định một

hàm sai số để phản ánh sự khác lệch giữa mô hình và hệ động học thực

1.1.2.1 Phương pháp sai số đầu ra

Hàm sai số được định nghĩa:

0 ( ) ( ) ˆ ( )

1.1.2.2 Phương pháp sai số đầu vào

Trong phương pháp sai số đầu vào không sử dụng trực tiếp dữ liệu đo lường về đạo hàm các bậc theo thời gian của tín hiệu đầu vào hệ động học nên không cần phải quan tâm đến đặc tính kích thích liên tục nên bài toán ước lượng tham số mô hình nói riêng, nhận dạng hệ động học nói chung bao giờ cũng có nghiệm

1.1.2.3 Phương pháp sai số phương trình

Sai số phương trình được định nghĩa trực tiếp từ phương trình động học của

mô hình như sau:

( ) ( ) ( ) ( ) ( )

c

1.1.2.4 Phương pháp sai số dự báo

Sai số dự báo được định nghĩa như sau:

ˆ ( ) ˆ ( )

( ) ( )

Chỉ tiêu chất lượng J của một hệ thống có thể được đánh giá theo sai lệch của

đại lượng điều khiển, thời gian quá độ hay theo một chỉ tiêu hỗn hợp trong điều kiện làm việc như hạn chế về công suất, tốc độ, gia tốc…

1.1.3.2 Tiêu chí tối ưu tác động nhanh (thời gian tối thiểu)

Đối với bài toán tối ưu tác động nhanh thì chỉ tiêu chất lượng J có dạng

0 1

T

1.1.3.3 Tiêu chí năng suất tối ưu

Năng suất ở đây được xác định bởi chất lượng của hệ thống bám theo mục tiêu

trong thời gian T nhất định Khi đó chỉ tiêu chất lượng J có dạng

1.1.3.4 Tiêu chí năng lượng tối ưu

Chỉ tiêu chất lượng J đối với tiêu chi năng lượng tối thiểu có dạng

2 0 ( )

T

1.1.4 Xây dựng khâu phản hồi

Xét một hệ thống được mô tả bởi các phương trình đầu ra và trạng thái:

Hình 1.3: Điều khiển sử dụng phản hồi biến trạng thái

1.1.5 Xây dựng điều khiển bám bằng phản hồi trạng thái

Bài toán đặt ra là điều khiển đối tượng được mô tả:

A

T

dx

x bu dt

n n

dx

z u dt

1.1.6 Bài toán tổng hợp hệ thống

Bài toán tổng hợp hệ thống là toàn bộ quá trình tính toán, lựa chọn bổ sung thêm các khâu phù hợp vào hệ thống Để hệ thống đó khi hoạt động đạt được những yêu cầu chất lượng đã đề ra về độ sai lệch, thời gian đáp ứng quá độ…

1.2 Phương pháp bám mục tiêu truyền thống

1.2.1 Thảo luận phương pháp

Điều khiển truyền thống sử dụng thông tin, dữ liệu của tín hiệu đầu ra của đối

tượng điều khiển làm tín hiệu đầu vào để đưa ra tín hiệu điều khiển đối tượng

Hệ thống này được biểu diễn bởi các phương trình sau:

( ) ( ) ( ) ( ) ( )

x t& = A t x t +B t u t (1.25)

' ( ) ( ) ( )

y t =C t x t (1.26)

Hình 1.8 Hệ thống điều khiển cổ điển

1.2.2 Bộ điều khiển PID: (Proportional-Integral-Derivative)

Tên gọi PID là chữ viết tắt của ba thành phần cơ bản có trong bộ điều khiển (hình 1.10a) gồm khâu khuếch đại (P), khâu tích phân (I), khâu vi phân (D)

Hình 1.10 Điều khiển với bộ điều khiển PID

Bộ điều khiển PID được mô tả có dạng tổng quát sau

1 ( ) P[1 Ds]

I

R s k T

T s

1.2.3 Chọn tham số PID tối ưu theo sai lệch bám

trong công thức (1.29) hoặc k p , T I , T D trong công thức (1.31) sao cho tín hiệu ra y(t)

“bám” được vào hiệu lệnh ω(t) một cách tốt nhất theo nghĩa

1.3 Phương pháp bám mục tiêu hiện đại

1.3.1 Thảo luận phương pháp

Lý thuyết điều khiển hiện đại sử dụng mô tả không gian trạng thái trong miền thời gian, một mô hình toán học của một hệ thống vật lý như là một cụm đầu vào, đầu

ra và các biến trạng thái quan hệ với phương trình trạng thái bậc một

Xuất phát từ quan điểm dễ triển khai đó là trường hợp luật điều khiển tuyến

tính, được cho bởi:

u(t) = K’(x(t),t) (1.36)

Hình 1.12: Mô hình phương pháp điều khiển hiện đại

ˆy

ˆx

ˆx

Hình 1.14 Bộ quan sát trạng thái Luenberger bậc đầy đủ

Hệ thống trong hình 1.14 được định nghĩa bởi:

1.3.3 Điều chỉnh trạng thái (LQR) (Linear Quadratic Regulator)

Khảo sát vấn đề duy trì trạng thái của hệ thống ở giá trị là 0, chống tác động nhiễu, đồng thời với cực tiểu tiêu hao năng lượng

0 , (0)

1.3.4 Giải thuật thiết kế LQG (Linear Quadratic Gausian)

Giả sử phương trình đo lường ngõ ra được cho bởi

1.3.5 Mô tả bộ ước lượng trạng thái giảm bậc

Cho một hệ động học S tuyến tính bậc n mô tả bởi

1.3.6 Giảm bậc phần tử điều khiển

Các bài toán liên quan đến phần tử điều khiển dựa vào tín hiệu phản hồi để làm

cơ sở đề ra chiến lược điều khiển và cần phải xử lý trong khâu khép kín Từ vị trí xuất phát của tín hiệu phản hồi mà trong lý thuyết hệ thống chia ra thành điều khiển truyền thống và điều khiển hiện đại

1.4 Vai trò của bộ lọc Kalman

ˆx ˆy

Hình1.15 Bộ quan sát trạng thái của Kalman

Phương trình trạng thái của khâu lọc Kalman:

ưu trong sự hiện diện của nhiễu w(t) và v(t)

Sai số ước lượng:

ˆ ( ) ( ) ˆ ( )

1.4.2 Mô hình toán học

1.4.3 Quá trình ước lượng trạng thái

Quá trình ước lượng sử dụng phương pháp mạch lọc Kalman trong giám sát bám mục tiêu dược chia thành hai giai đoạn

P =( −K H )P−

Thực chất của giải thuật Kalman tuyến tính là một phương pháp ước tính đệ quy tuyến tính cho phép ước lượng trạng thái của một hệ thống có nhiễu sao cho độ lệch giữa giá trị ước lượng và giá trị thực tế là bé nhất

1.4.4 Vai trò của bộ lọc Kalman

Lọc Kalman nhằm ước lượng giá trị đích thực của một cái gì đó, bằng cách dự đoán giá trị của nó và tính độ tin cậy (hay độ bất định) của dự đoán đó, đồng thời đo đạc giá trị (nhưng bị sai số vì có các nhiễu), sau đó lấy một trung bình có trọng giữa giá trị dự đoán và giá trị đo đạc được, làm giá trị ước lượng Có thể coi nó là một trường hợp của “suy diễn có điều kiện kiểu bayes” Các thuộc tính cơ bản của bộ lọc Kalman được bắt nguồn từ các yêu cầu của ước lượng trạng thái

1.5 Kết luận chương

mục tiêu, trên những khái niệm cơ bản đó nêu ra được phương pháp bám mục tiêu truyền thống, phương pháp bám mục tiêu hiện đại Từ đó tìm ra vai trò của bộ lọc Kalman trong bài toán bám mục tiêu

CHƯƠNG II: SỬ DỤNG BỘ LỌC KALMAN TRONG BÀI TOÁN BÁM MỤC TIÊU

2.1 Các biến thể của bộ lọc Kalman

2.1.1 Nguyên tắc cơ bản

Trong ứng dụng giám sát, bám mục tiêu di động, mạch lọc Kalman là quá trình lặp đi

lặp lại bước dự đoán và hiệu chỉnh trạng thái của hệ thống [13] Xét một hệ thống đại

diện bởi một không gian trạng thái như phương trình (2.1) và (2.2)

2.1.2 Mạch lọc Kalman tuyến tính

Mạch lọc Kalman tuyến tính đưa ra một ước lượng tối ưu cho trạng thái kế -tiếp sử

dụng công thức tuyến tính, giả sử các biến cố phân bố xác suất Gaussian

- Giá trị trung bình cho trạng thái kế tiếp:

Bộ lọc Kalman mở rộng thực hiện theo các bước ước lượng

- Giá trị trung bình cho trạng thái kế tiếp:

- Tính toán độ lợi mạch lọc Kalman:

Nguyên tắc cơ bản của Unscented Kalman là biến đổi Unscent Về cơ bản, đây là một

phương pháp tính toán thống kê một biến ngẫu nhiên sau khi biến đổi không tuyến

tính Cho biến ngẫu nhiên n chiều: x k-1 với giá trị trung bình x$k−1 và ma trận hiệp

phương sai P k-1

Mạch lọc Unscented Kalman mô tả trạng thái với một tập hợp tối thiểu các điểm

(sigma) mẫu được chọn lọc cẩn thận 2n+1 điểm sigma được chọn xung quanh ước

lượng trước đó, với n là kích thước của không gian trạng thái Sau đó một trọng số

xác suất được gán cho những điểm sigma Tiếp theo, các điểm sigma này biến đổi

bằng cách sử dụng biến đổi Unscent để đưa ra một ước lượng mới cho biến trạng thái

Biến trạng thái sau đó được hiệu chỉnh bằng cách biến đổi các điểm sigma thông qua

các mô hình đo lường để tính toán độ lợi Kalman Cuối cùng, ước lượng được hiệu

chỉnh sử dụng độ lợi Kalman

2.2 Lọc Kalman trong bài toán bám mục tiêu theo phương pháp

phân đoạn

2.2.1 Thảo luận bài toán

2.2.2 Mô hình bài toán

Đầu vào là một chuỗi các khung hình, giả định rằng không có sự thay đổi về

cường độ ánh sáng và không có hiện tượng che khuất Ta có thể viết như sau:

Mô hình quan sát cho khung hình thứ k trở thành

Cần phải ước lượng phân phối xác xuất có điều kiện kết hợp của trường vecter

video) z k Dùng luật Bayes ta có:

Hình 2.1 Mô hình mạng Bayes cho bài toán phân đoạn video

2.3 Bám mục tiêu theo quy trình đồng thời

Trong phần này đề cập hệ thống giám sát mục tiêu 3D như hình 2.2 Hệ thống giám sát mục tiêu, mục tiêu theo dõi là người di chuyển trước ống kính camera, thu ảnh, lưu thành file avi và đưa vào hệ thống nhận dạng và theo vết sử dụng từng mạch lọc Kalman để bám theo đối tượng cần theo dõi

Hình 2.2 Hệ thống bám mục tiêu

Mô tả hệ thống:

Sơ đồ hệ thống giám sát mục tiêu hình 2.2 Hệ thống gồm tín hiệu vào và bộ phận phát hiện, bám mục tiêu và đưa ra kết quả hiển thị

Hình 2.3 Sơ đồ nhận dạng ảnh

Bộ lọc Kalman được coi như bộ ước lượng trạng thái hệ thống, có cấu trúc lọc đơn giản và độ hội tụ tốt cùng với khả năng lọc nhiễu cao [9] Mô hình cần được ước lượng dự báo được mô tả bởi hệ phương trình trạng thái :

z k = Hx k + e k

Vector trạng thái x k =[x, y, v x , v y ], vector đo lường z k = [x, y] T, ứng với tọa độ và vận

quá trình chuyển động và sai số phép đo

2.4 Kết luận chương

Trong chương này luận văn nêu tổng về các biến thể của bộ lọc Kalman Ứng dụng thuật toán mạch lọc Kalman trong bài toán bám mục tiêu theo phương pháp phân đoạn, bám mục tiêu theo quy trình đồng thời Đưa ra giải pháp ứng dụng thuật toán lọc Kalman theo vết đối tượng, từ file video thực hiện từng bộ lọc Kalman để bám theo người di chuyển

CHƯƠNG 3: VÍ DỤ MINH HOẠ

3.1 Bài toán bám mục tiêu

3.1.2 Bài toán phát hiện đối tượng chuyển động

Đầu vào của bài toán phát hiện đối tượng chuyển động là các khung hình video thu được từ các điểm quan sát, theo dõi Như vậy để có thể giải quyết bài toán này ta cần nghiên cứu một số đặc điểm của video

3.1.2.1 Các khái niệm cơ bản về video

3.1.2.2 Một số thuộc tính đặc trưng của video

3.1.3 Bài toán phân loại đối tượng

3.1.3.1 Phân loại dựa trên hình dạng

3.1.3.2 Phân loại dựa trên chuyển động

3.1.4 Bài toán theo vết đối tượng

3.1.4.1 Đặt vấn đề

Đầu vào của bài toán theo vết đối tượng là các vết đối tượng, các đặc trưng của đối tượng đã được phát hiện thông qua khối xử lý phát hiện đối tượng, phân loại đối tượng Như vậy nhiệm vụ của vấn đề theo vết đối tượng là chính xác hóa sự tương

ứng của các vết đối tượng trong các khung hình liên tiếp từ đó dự đoán hướng chuyển động của đối tượng

3.1.4.2 Các vấn đề giải quyết

- Theo vết mục tiêu dựa trên mô hình

- Theo vết mục tiêu dựa trên miền

- Theo vết mục tiêu dựa tên đường viền

- Theo vết mục tiêu dựa vào đặc trưng

Mô hình hệ thống Camera giám sát mục tiêu:

Quá trình ghi hình được thực hiện bằng Webcam của máy Laptop thông qua chức năng hỗ trợ Image Acquistion của phần mềm matlab và lưu lại với dạng avi hoặc mat Sau đó sử dụng file này input cho module nhận dạng ảnh và bám theo vết mục tiêu được thực hiện bằng bộ lọc Kalman

Chương trình mô phỏng quá trình nhận dạng và bám mục tiêu thực hiện theo lưu đồ

3.2.2 Bám mục tiêu sử dụng thuật toán Kalman

Sau khi mục tiêu được nhận dạng, phát hiện chuyển động từ rút trích đặc trưng sẽ được thuật toán Kalman bám theo vết đối tượng thực hiện theo lưu đồ hình 3.7

Rút trích đặc trưng

k k

Mô phỏng mạch lọc Kalman để bám mục tiêu Các khung ảnh được lấy ngẫu

nhiên là frame 72, 81, 93, 125 của một đoạn video avi khác nhau

Frame 72

Frame 81

Frame 93

Giá trị đo lường thực tế tại vị trí đối tượng được biểu diễn bởi một hình chữ nhật màu đen trong khi màu xanh thể hiện cho dự đoán vị trí của mục tiêu Ngoài ra kích thước đường bao được thể hiện qua ảnh xám nền đen, bóng ảnh mờ màu xanh bám theo đường bao

Từ hình 3.5 cho thấy mạch lọc Kalman có thể dự đoán và định hướng chính xác cao Ở hình chữ nhật mầu xanh (dự đoán) phù hợp tương đối chồng khít với hình màu đen (đo lường) Mạch lọc Kalman có đáp ứng nhanh Điều này có nghĩa là khi đối tượng di chuyển thì cho phép đo thay đổi đột ngột

Kết quả mô phỏng của phương pháp bám mục tiêu sử dụng mạch lọc Kalman,

giá trị sai số ước lượng RMSE được tính theo công thức

2 1

n t

GT E MSE

 

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

1 Kết luận

* Về mặt lý thuyết

Luận văn đã nêu lên tổng quan về bám mục tiêu, các khái niệm liên quan đến

xử lý hình ảnh trong bám mục tiêu, phân tích các loại nhiễu trạng thái và mô hình ảnh hưởng đến quá trình theo dõi mục tiêu di chuyển Các phương pháp bám mục tiêu như So khớp mẫu, dòng quang, Meanshift, Camshift, trừ ảnh nền, lọc Particle, ước lượng Kalman… Mỗi phương pháp có những điểm mạnh và hạn chế khác nhau Tuy nhiên mạch lọc Kalman vẫn là lựa chọn tối ưu cho quá trình bám mục tiêu xuất phát

từ các ưu nhược điểm của nó

* Về mặt thực tiễn

Luận văn đã đưa ra hướng tiếp cận ứng dụng mạch lọc Kalman trong bài toán bám mục tiêu cụ thể như sử dụng phương pháp nhận dạng hình ảnh của phương pháp trừ ảnh nền, trích chọn đặc trưng, sử dụng thuật toán mạch lọc Kalman để bám mục tiêu chuyển động Đưa ra kết quả mô phỏng, đánh giá kết quả sai số ước lượng và đo đạc

2 Hướng phát triển

Trong quá trình thực hiện đề tài, do những hạn chế về trình độ và thời gian thực hiện đề tài, chương trình được xây dựng chỉ là các thuật toán phát hiện chuyển động và theo vết mục tiêu dựa vào video Để triển khai trong thực tế nó đòi hỏi cần phải cải tiến hơn nữa Hy vọng trong tương lai, những phát triển dưới đây sẽ giúp đề tài hoàn thiện hơn

- Kết hợp việc phát hiện khuôn mặt với việc phát hiện mắt, phát hiện hình dáng của con người

- Xây dựng được thuật toán cải thiện chất lượng của video như loại trừ nhiễu, loại trừ bong và tối ưu hóa các thuật toán để tăng tốc độ của chương trình

tinh