Như đã nói, thông tin về chuyển động rất quan trọng trong xử lí và nén video. Nén ảnh là các phương pháp nhằm làm giảm số bit cần thiết để đặc trưng video. Trong khi đó các kỹ thuật xử lí video là các phương pháp biến đổi trên chuỗi ảnh như là nâng cao chất lượng chuỗi ảnh. Việc phân lớp như trên có ý quan trọng trong việc đưa ra đích của việc ước lượng chuyển động tức là liên quan đến việc chọn mô hình xử lí sao cho phù hợp. Ví dụ như trong nén video
Trần Xuân Linh - K11T2 Trang 26 thì các tham số chuyển động được ước lượng đều dẫn đến một việc là đạt được tỉ lệ nén cao nhất. Do đó các chuyển động được tính toán không cần phải giống với các chuyển động thật của điểm ảnh miễn là ta đạt được một tỉ lệ bit tối thiểu.
Tuy nhiên, trong xử lí video thì các chuyển động thật của các điểm ảnh lại là điều ta quan tâm. Để phát triển một thuật toán ước lượng chuyển động thì theo Janusz Konrad ta cần có 3 yếu tố sau: Mô hình, tiêu chuẩn và chiến thuật tìm kiếm.
a. Các mô hình chuyển động
Có 2 mô hình cần thiết trong ước lượng chuyển động: mô hình chuyển động ( là cách để đặc trưng vận động trong một chuỗi ảnh ) và mô hình quan sát ( là mô hình mà có sự liên quan của các tham số chuyển động với mật độ ảnh ). Trong mô hình chuyển động ta lại có mô hình chuyển động theo không gian và theo thời gian.
Mô hình chuyển động theo không gian
Hầu hết các chuyển động đều là sự kết hợp của phép chiếu các chuyển động của đối tượng trong cảnh 3D và chuyển động của camera.
Trong khi chuyển động của camera ảnh hưởng đến chuyển động của toàn bộ hay hầu hết các điểm ảnh thì chuyển động của đối tượng chỉ ảnh hưởng tới các điểm tương ứng với hình chiếu của đối tượng. Trong luận văn này nghiên cứu trên camera tĩnh vì thế sẽ không đi sâu nghiên cứu chuyển động của camera. Nói chung chuyển động phụ thuộc rất nhiều yếu tố như là các phép chiếu, mô hình của đối tượng 3D... Ta xét trường hợp đơng giản nhất là chuyển động tịnh tiến của đối tượng 3D. Khi đó vector vận tốc tức thời của điểm x trong mặt phẳng ảnh sẽ là 2 1 ) ( b b x v (1.14)
Trong đó các tham số b = (b1, b2)T = (v1,v2)T phụ thuộc vào góc quay của camera và các tham số trong chuyển động tịnh tiến 3D. Mô hình tịnh tiến 2D này ứng dụng rất nhiều trong thực tế đặc biệt là trong nén video vì nó đưa ra một xấp
Trần Xuân Linh - K11T2 Trang 27 xỉ gần đúng với hầu hết ảnh trong tự nhiên. Khi chuyển động của vật thể 3D có thêm các chuyển động affine thì ta có mô hình chuyển động affine với 6 tham số:
x b b b b b b x v 6 5 4 3 2 1 ) ( (1.15)
Rõ ràng mô hình chuyển động tịnh tiến là trường hợp đặc biệt của mô hình chuyển động affine. Hầu hết các mô hình chuyển động phức tạp đều đưa ra rất tốt nhưng tùy vào từng ứng dụng. Không phải lúc nào chúng cũng cải thiện được sự chính xác trong ước lượng chuyển động. Nói chung, số tham số càng nhiều thì việc mô tả chuyển động càng chính xác hơn.
Mô hình chuyển động theo thời gian:
Quỹ đạo của một điểm ảnh riêng biệt được vẽ trong không gian (x, y, t) của một chuỗi ảnh có thể được xem như là tùy ý bởi vì chúng phụ thuộc vào vận động của đối tượng. Trong trường hợp đơn giản nhất, quỹ đạo của chúng là tuyến tính. Giả sử chúng ta có vận tốc vt(x) giữa thời gian t = tk-1 và thời gian τ (τ > t ) là một hằng số, một quỹ đạo tuyến tính có thể được trình bày như sau:
) ( ) ( ) )( ( ) ( ) ( x t v x t x t d, x x t tr (1.16)
Trong đó dt,(x)vt(x)( t)là một vector dịch chuyển được đo theo hướng thời gian. Cho nên đối với chuyển động tuyến tính, nhiệm vụ của chúng ta là tìm 2 thành phần của vector vận tốc v hay vector dịch chuyển d của mỗi điểm x.
Một sự mở rộng trong tự nhiên của mô hình quỹ đạo tuyến tính là mô hình đường cong bậc 2. Khi đó ta có thêm một đại lượng mới là gia tốc của một điểm.
2 ) )( ( 2 1 ) )( ( ) ( ) ( x t v x t a x t x t t (1.17)
Trong đó gia tốc at là đạo hàm của vận tốc vt. Các mô hình trên đòi hỏi 2 (đối với tuyến tính) hoặc 4 (đối với bậc 2) tại mỗi điểm x. Để giảm gánh nặng tính toán, mô hình tham số theo không gian có thể kết hợp với các mô hình trên.
Vùng hỗ trợ
Tập điểm x mà trong đó các mô hình không gian và thời gian áp dụng được gọi là vùng hỗ trợ. Sự lựa chọn của một mô hình và vùng hỗ trợ là một trong các
Trần Xuân Linh - K11T2 Trang 28 yếu tố quyết định đến tính chính xác của ước lượng các tham số chuyển động. Thông thường khi cho một mô hình chuyển động, vùng hỗ trợ càng nhỏ thì việc xấp xỉ càng tốt hơn, bởi vì với vùng hỗ trợ lớn thì chuyển động có thể phức tạp và do đó ta phải có mô hình chuyển động phức tạp hơn. Thông thường vùng hỗ trợ (R) có thể thuộc 1 trong 4 loại sau:
1. R là toàn bộ ảnh: Một mô hình chuyển động được áp dụng cho toàn bộ ảnh. Mô hình này thích hợp cho việc ước lượng chuyển động của camera.
2. R là một điểm ảnh: Mô hình này áp dụng cho một điểm ảnh. Trong trường hợp này ta thường sử dụng mô hình không gian tịnh tiến kết hợp với mô hình tuyến tính hoặc bậc 2.
3. R là một khối điểm hình chữ nhật: Các mô hình vận động sẽ được áp dụng trên một khối điểm ảnh hình chữ nhật. Trong trường hợp đơn giản nhất, các khối này không phủ lên nhau và hợp của chúng sẽ bao phủ toàn bộ ảnh. Trong trường hợp này mô hình chuyển động không gian tịnh tiến kết hợp với mô hình chuyển động thời gian tuyến tính được xem là mô hình hiệu quả nhất và đã được áp dụng trong các chuẩn nén video như là MPEG-1, MPEG-2...
4. R là một vùng bất kì: Các mô hình vận động sẽ áp dụng trên các điểm thuộc vào R. Ở đây vùng R sẽ tương ứng với các đối tượng. Kĩ thuật này đã được áp dụng trong chuẩn nén MPEG-4.
Mô hình quan sát
Khi chuyển động được ước lượng ( và được quan sát bằng mắt người ) dựa trên sự thay đổi của cường độ sáng, màu hoặc cả hai, các mối quan hệ giả định giữa các tham số chuyển động và mật độ ảnh đòng một vai trò rất quan trọng. Giả thuyết hợp lý và thường thấy là cường độ sáng vẫn không đổi theo quỹ đạo chuyển động (đối tượng không thay đổi độ sáng khi di chuyển).
Đối với các ảnh được lấy mẫu theo thời gian điều này có nghĩa là
)) ( ( )) ( ( k k1 k1 k x t I x t I (1.18)
Sử dụng công thức trong mô hình chuyển động theo thời gian với t = tk-1, τ = tk và giả thuyết rằng chúng ta lấy mẫu ảnh theo không gian, ta có:
Trần Xuân Linh - K11T2 Trang 29 ) ( ) (n I 1 n d Ik k (1.19)
Tuy nhiên chúng ta không thể sử dụng công thức trên để tìm d trong thực tế vì nhiễu q. Công thức trên được viết lại như sau:
) ( ) ( ) (n I 1 n d q n Ik k (1.20)
Do đó d được tính bằng cách tối thiểu hàm lỗi giữa Ik(n) và Ik-1(n-d).
b. Tiêu chuẩn ước lượng
Có rất nhiều tiêu chuẩn ước lượng tùy thuộc vào yêu cầu của bài toán. Trong nén ảnh thì lỗi dự đoán của bộ ước lượng là rất quan trọng. Còn trong phép nội suy bù đắp chuyển động thì lỗi nội suy cực đại lại là mối quan tâm. Ngoài ra tùy thuộc vào khả năng xử lí mà việc ước lượng chuyển động thực hiện trên đó. Nói chung các tiêu chuẩn ước lượng đều có mục đích chung là cực tiểu hóa hàm lỗi: I n I n n x k k k( ) ( ) ( ) ~ (1.21) Trong đó ( ) 1( ( )) ~ n d n I n
Ik k được gọi là ước lượng bù đắp chuyển động của Ik(n).
c. Chiến thuật tìm kiếm
Một khi mô hình chuyển động đã được xác định và kết hợp với một tiêu chuẩn ước lượng, bước cuối cùng là phát triển một chiến lược hiệu quả cả về tính phức tạp và chất lượng lời giải để ước lượng các tham số chuyển động.
Đối với một số ít các tham số vận động yêu cầu không gian trạng thái nhỏ thì chiến lược thường dùng nhất khi tối thiểu hàm lỗi là so khớp. Trong hướng này, các ước lượng bù đắp chuyển động Ik-1( n – d(n) ) cho các ứng viên chuyển động d được so sánh với ảnh gốc Ik(n) trong vùng hổ trợ của mô hình vận động. Ứng viên nào khớp nhất đối với tiêu chuẩn đã đưa sẽ được chọn để ước lượng. Ngoài ra ta còn có nhiều phương pháp ước lượng nữa mà chúng ta sẽ không nói tới: kỹ thuật dựa trên gradient, thuật toán độ tin cậy cao nhất được chọn đầu tiên...
Trần Xuân Linh - K11T2 Trang 30
d. Phát hiện sự thay đổi bóng tối và ánh sáng
Những thuật toán phát hiện chuyển động được mô tả bên trên hoạt động tốt trong và ngoài môi trường và đã được sử dụng cho việc giám sát trong một thời gian dài. Tuy nhiên, nếu không có biện pháp chăm sóc đặc biệt, phần lớn những thuật toán này dễ bị ảnh hưởng bởi cả sự thay đổi cục bộ (quá sáng và quá tối) và toàn diện (mặt trời bị/không bị mây che). Bóng tối làm cho những phương pháp dò tìm chuyển động không thể phân đoạn những đối tượng động và làm cho việc xử lý ở cấp độ cao hơn, như là phân loại đối tượng hoạt động, không chính xác. Những phương pháp được đề cập trên lý thuyết phần lớn dùng thông tin nổi (15) hoặc thông tin chìm (21, 35, 6, 53, 26) để thích ứng với bóng tối và sự thay đổi bất ngờ về ánh sáng.
Horprasert và cộng sự giới thiệu một phương pháp trừ nền và phát hiện bóng tối mới (21). Trong phương pháp của họ, mỗi điểm ảnh được đại diện bằng một kiểu màu tách ánh sáng khỏi những thành phần đồng nhất. Một điểm ảnh cụ thể được sắp xếp vào 4 nhóm khác nhau (nền, nền tối hoặc bóng tối, nền sáng và đối tượng động cận cảnh) bằng cách tính độ méo của ánh sáng và sự đồng nhất giữa hình nền và điểm ảnh hiện tại. giống như (21), phương pháp được mô tả bởi McKenne và đồng sự trong (35) sử dụng thông tin gradient và đồng nhất để thích ứng với bóng tối. Họ tận dụng sự quan sát một khu vực khi nó chuyển dần vào bóng tối và kết quả là một sự thay đổi đáng kể về cường độ mà không có sự thay đồi về tính đồng nhất. họ cũng sử dụng thông tin gradient trong những vùng chuyển động để bảo đảm độ tin cậy của phương pháp này trong những trường hợp mơ hồ.
Phương pháp được trình bày trong (6) chấp nhận một lược đồ dò tìm bóng tối dựa trên hai phương pháp thể nghiệm: a) giá trị cường độ điểm ảnh nằm trong vùng tối có xu hướng giảm trong hầu hết các trường hợp khi so sánh với hình nền, (b) tỷ lệ giảm cường độ thay đổi nhẹ nhàng giữa những điểm ảnh gần nhau và hầu hết rìa bóng tối đều không rõ ràng.
Trần Xuân Linh - K11T2 Trang 31 Một phương pháp hiệu quả để xử lý bóng tối là dùng hình nổi như đã trình bày trong hệ thống W4S (15). Trong W4S, hình nổi được tạo ra bởi một thiết bị real-time rẻ tiền là SVM. Nó sử dụng hai hoặc nhiều hình ảnh để đếm một dãy hình ảnh bằng việc dùng hình không gian đơn giản. Với sự giúp đỡ của lọat thông tin cung cấp bởi SVM, W4S có khả năng thích ứng với bóng tối, sự thay đổi về ánh sáng và những trường hợp tắc nghẽn. Trong một vài hệ thống, sự thay đổi ánh sáng toàn bộ được xác định bằng việc đếm những điểm ảnh cận cảnh và nếu như tổng số điểm ảnh đó vượt quá vài ngưỡng (ví dụ như 50% tổng kích thước ảnh), hệ thống được xác lập lại để thích ứng với sự thay đổi ánh sáng đột ngột (37,55).
Trần Xuân Linh - K11T2 Trang 32
Chương 2
MỘT SỐ KỸ THUẬT TĂNG CƯỜNG TÍNH NĂNG CHO CAMERA GIÁM SÁT