Trong thuật toán so sánh đối tƣợng ta lấy các đối tƣợng của khung hình trƣớc và các đối tƣợng của khung hình hiện tại, và tìm các cặp gần giống nhau. Trong phƣơng pháp này, ta tính toán khoảng cách giữa trọng tâm nhỏ hơn một ngƣỡng xác định trƣớc T [7]. Ví dụ, giả sử hai đối tƣợng (Oc và Op, c là khung hiện tại và p là khung trƣớc đó) với trung tâm của vật thể (xc, yc) và (xp, yp) tƣơng ứng, sau đó khoảng cách Euclide với trung tâm đƣợc thể hiện trong phƣơng trình
(𝑥𝑒 − 𝑥𝑝)2 + (𝑥𝑒 − 𝑦𝑝)2 < 𝑇 (1-3)
Trong khung hiện tại và trƣớc In và In-1 thƣờơng có một số thay đổi của các đối tƣợng (blobs). Cho Ln-1 và Ln là số đối tƣợng (blobs) trong các khung tƣơng ứng. Có ba trƣờng hợp có thể:
Trƣờng hợp I: Ln > Ln-1 Trƣờng hợp II: Ln < Ln-1 Trƣờng hợp III: Ln = Ln-1
Trƣờng hợp I: Trong trƣờng hợp này số các đối tƣợng trong khung hiện tại có nhiều hơn số lƣợng các đối tƣợng trong khung trƣớc. Trong trƣờng hợp này, ta tìm thấy sự tƣơng ứng của các đối tƣợng trong khung hình hiện tại có tƣơng ứng với khung trƣớc các đối tƣợng trong khung hình hiện tại không đƣợc theo dõi [5]. Ở đây, số lƣợng các đối tƣợng không đƣợc theo dõi là (Ln - Ln-1).
Trƣờng hợp II: Trong trƣờng hợp này số các đối tƣợng trong hiện tại khung là giống nhƣ số đối tƣợng trong khung trƣớc. Trong trƣờng hợp này, ta tìm thấy sự tƣơng ứng của tất cả các đối tƣợng trong khung hình hiện tại với
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
tƣợng đƣợc theo dõi.
Trƣờng hợp III: Trong trƣờng hợp này số các đối tƣợng trong khung hiện tại ít hơn số lƣợng các đối tƣợng trong khung trƣớc. Trong trƣờng hợp này, ta tìm thấy sự tƣơng ứng của tất cả các đối tƣợng trong khung hình hiện tại có tƣơng ứng với khung trƣớc.
1.6 Phát hiện các đối tƣợng chuyển động
Phát hiện đối tƣợng chuyển động là bƣớc cơ bản để phân tích video. Các phƣơng pháp theo dõi đòi hỏi một cơ chế phát hiện đối tƣợng hoặc trong từng khung hình hoặc khi đối tƣợng đầu tiên xuất hiện trong đoạn video. Đó là việc phân vùng của đối tƣợng di chuyển, tách khỏi các đối tƣợng khác trong nền [3]. Từ đó có thể xử lý ở mức độ cao hơn, và làm giảm thời gian tính toán. Tuy nhiên, do điều kiện môi trƣờng nhƣ thay đổi ánh sáng, phân vùng đối tƣợng có bóng trở thành vấn đề khó khăn. Một cách tiếp cận phổ biến để phát hiện đối tƣợng là sử dụng thông tin trong một khung duy nhất.
Tuy nhiên, một số phƣơng pháp phát hiện đối tƣợng sử dụng các thông tin thời gian tính từ một chuỗi các khung hình để giảm số lƣợng các phát hiện sai [16]. Thông tin thời gian này thƣờng là ở dạng hiệu hai khung hình, trong đó các vùng có thay đổi trong khung hình liên tiếp sẽ đƣợc phát hiện. Khi có các vùng đối tƣợng trong hình ảnh, nhiệm vụ của phần theo dõi là tìm sự tƣơng ứng của vật thể tƣơng ứng từ khung hình này sang khung hình kế tiếp để tạo ra các đƣờng đi. Trong số các phƣơng pháp phát hiện đối tƣợng di chuyển có phƣơng pháp trừ nền với tham số alpha, tham số khác biệt thời gian, và phƣơng pháp thống kê, phƣơng pháp `phép trừ nền Eigen.
Bƣớc đầu tiên là để phân biệt đối tƣợng ở tiền cảnh từ nền tĩnh. Để đạt đƣợc điều này, ta có thể sử dụng một sự kết hợp của kỹ thuật khác nhau cùng với các phƣơng pháp hậu xử lý hình ảnh ở mức độ thấp để tạo ra một bản đồ
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
bản đồ tiền cảnh để trích xuất các đặc điểm riêng của đối tƣợng nhƣ khung biên, diện tích, chu vi, vv…
1.6.3 Phép trừ nền với Alpha
Phát hiện đối tƣợng có thể đạt đƣợc bằng cách xây dựng một khung đại diện gọi là mô hình nền và sau đó tìm độ lệch từ mô hình cho mỗi khung thu đƣợc. Bất kỳ thay đổi đáng kể trong một vùng hình ảnh từ mô hình nền biểu thị một đối tƣợng di chuyển. Các điểm ảnh tạo thành các vùng xen kẽ thay đổi đƣợc đánh dấu để xử lý sâu hơn. Thông thƣờng, một thuật toán thành phần kết nối đƣợc áp dụng để có đƣợc các vùng liên kết tƣơng ứng với các đối tƣợng. Quá trình này đƣợc gọi là phép trừ nền [6].
Heikkila và Silven [6] trình bày kỹ thuật này. Vào lúc bắt đầu của nền tham chiếu, hệ thống đƣợc khởi tạo với vài khung hình đầu tiên của khung hình video và đƣợc cập nhật để thích nghi với những thay đổi động trong bối cảnh đó. Tại mỗi khung hình cận cảnh mới điểm ảnh đƣợc phát hiện bằng cách trừ đi giá trị mật độ nền và lọc giá trị khác biệt tuyệt đối với ngƣỡng động cho mỗi điểm ảnh [8]. Ngƣỡng và nền tham chiếu đƣợc cập nhật bằng cách sử dụng thông tin điểm ảnh cận cảnh. Đó là cố gắng phát hiện các vùng di chuyển bằng cách trừ hình ảnh hiện tại theo từng điểm ảnh từ một hình nền tham chiếu đƣợc tạo ra bởi trung bình hình ảnh theo thời gian trong một khoảng thời gian khởi tạo [6].
Các điểm ảnh mà có sự khác biệt ở trên một ngƣỡng đƣợc phân loại là tiền cảnh. Sau khi tạo bản đồ điểm ảnh tiền cảnh, một số hoạt động sau xử lý hình thái nhƣ đóng, mở đƣợc thực hiện để giảm tác động của nhiễu và tăng cƣờng các vùng phát hiện. Nền tham chiếu đƣợc cập nhật với hình ảnh mới theo thời gian để thích ứng với những thay đổi cảnh động.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
sau[3],
𝐼𝑡 𝑥, 𝑦 − 𝐵𝑡(𝑥, ) > 𝑇 (1-4)
Trong đó T là một ngƣỡng xác định trƣớc. Hình nền Bt đƣợc cập nhật bằng cách sử dụng một bộ lọc đệ quy bậc một
nhƣ thể hiện trong phƣơng trình
𝐵𝑡+1 = 𝛼𝐼𝑡 + (1 − 𝛼)𝐵𝑡 (1-5)
Trong đó α là một hệ số thích ứng. Ý tƣởng cơ bản là cung cấp các thông tin mới đến vào hình ảnh nền hiện tại. Sau đó, những thay đổi mới nhanh hơn trong cảnh đƣợc cập nhật vào khung nền. Tuy nhiên, α không thể quá lớn bởi vì Đó là có thể gây ra "đuôi" nhân tạo đƣợc hình thành sau các đối tƣợng di chuyển. Các bản đồ điểm ảnh cận cảnh đƣợc tạo ra sau đây bằng cách đóng hình thái và loại bỏ các vùng quy mô nhỏ.
1.6.4. Các phương pháp thống kê
Để khắc phục những thiếu sót của các phƣơng pháp nền cơ bản, phƣơng pháp thống kê đƣợc sử dụng. Phƣơng pháp thống kê đƣợc sử dụng để trích xuất các vùng thay đổi từ nền. Các phƣơng pháp thống kê chủ yếu đƣợc lấy phƣơng thức từ các phƣơng pháp trừ nền. Đó là sử dụng đặc điểm của từng điểm ảnh của nhóm các điểm ảnh để xây dựng mô hình tiền cảnh cấp cao. Số liệu thống kê của nền đƣợc cập nhật tự động trong quá trình xử lý. Tại mỗi khung phƣơng pháp này giữ và cập nhật số liệu thống kê động của các điểm ảnh thuộc về xử lý hình nền [3].
Điểm ảnh tiền cảnh đƣợc xác định bằng cách so sánh số liệu thống kê của mỗi điểm ảnh với mô hình nền. Cách tiếp cận này đang trở thành phổ biến hơn do độ tin cậy của Đó là trong những cảnh có chứa nhiễu, thay đổi
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Stauffer và Grimson [5] mô tả một hỗn hợp nền thích nghi đƣợc mô hình bởi một hỗn hợp phép Gaussian đƣợc cập nhật trực tuyến theo dữ liệu hình ảnh thu đƣợc. Để phát hiện xem một điểm ảnh thuộc về xử lý tiền cảnh hay xử lý nền nền, phép phân phối Gaussian của mô hình hỗn hợp cho điểm ảnh đƣợc đánh giá.
1.6.5. Phân sai theo thời gian
Phƣơng pháp phân sai thời gian sử dụng sự khác biệt điểm ảnh giữa hai hoặc ba khung hình liên tiếp trong hình ảnh video để trích xuất các vùng di chuyển. Đó là một phƣơng pháp thích nghi cao với sự thay đổi của cảnh. Tuy nhiên,sẽ là khó trích xuất tất cả các điểm có liên quan của một đối tƣợng tiền cảnh đặc biệt là khi đối tƣợng có kết cấu thống nhất hoặc di chuyển chậm [3]. Khi một đối tƣợng tiền cảnh dừng di chuyển, phƣơng pháp phân sai thời gian không thành công trong việc phát hiện một sự thay đổi giữa các khung hình liên tiếp và mất đối tƣợng. Cho In (x) đại diện cho các giá trị mật độ mức xám tại điểm ảnh vị trí x và tại thời gian n của chuỗi hình ảnh video I, nằm trong khoảng [0, 255]. T là ngƣỡng ban đầu đƣợc thiết lập với một giá trị xác định trƣớc. Lipton và cộng sự. [3] đã phát triển phƣơng pháp phân sai thời gian hai khung giả thiết rằng một điểm ảnh đang chuyển động, nếu Đó là thoả mãn những điều sau đây [3]:
𝐼𝑛 𝑥 = 𝐼𝑛−1 𝑥 > 𝑇𝑡 (1-6)
Phƣơng pháp này tính toán ít phức tạp và thích nghi với những thay đổi động trong khung hình video. Trong kỹ thuật khác biệt thời gian, việc khai thác các điểm ảnh chuyển động đơn giản và nhanh. Sự khác biệt thời gian có thể để lại các lỗ hổng trong đối tƣợng tiền cảnh, và nhạy cảm hơn với giá trị ngƣỡng khi xác định những thay đổi trong sự khác biệt của các khung
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
biệt để phát hiện các đối tƣợng dừng lại.
1.6.6. Phép trừ nền Eigen
Phép trừ nền Eigen [2] đƣợc đề xuất bởi Oliver, và cộng sự. Đó là thể hiện rằng một mô hình không gian Eigen để phân vùng đối tƣợng di chuyển. Trong phƣơng pháp này, chiều của không gian xây dựng từ hình ảnh mẫu đƣợc giảm với sự giúp đỡ Phép phân tích thành phần gốc (PCA). Ta thấy rằng không gian giảm sau PCA hiển thị chỉ với các phần tĩnh của cảnh, giữ lại các đối tƣợng chuyển động, nếu một hình ảnh đƣợc chiếu lên không gian này. Các bƣớc chính của thuật toán có thể đƣợc tóm tắt nhƣ sau [8]:
Một mẫu của N hình ảnh của cảnh thu đƣợc; trung bình hình nền, μb, đƣợc tính toán và hình ảnh trung đƣợc bố trí nhƣ các cột của một ma trận, A.
• Ma trận hiệp phƣơng sai, C = AAT, đƣợc tính toán.
• Sử dụng ma trận phƣơng sai C, ma trận đƣờng chéo của giá trị Eigen của nó, L, và ma trận vector riêng, Φ, đƣợc tính toán.
• M vector riêng, có giá trị Eigen lớn nhất (nền Eigen), đƣợc giữ lại và các vector hình thành mô hình nền cho cảnh.
• Nếu một khung mới, đƣợc chiếu lần đầu tiên lên không gian kéo dài của M vector riêng và khung xây dựng lại I 'thu đƣợc bằng cách sử dụng các hệ số chiếu và vector riêng.
• Tính sự khác biệt I - I'. Vì không gian con hình thành bởi các vector riêng cũng chỉ đại diện cho phần tĩnh của cảnh, kết quả của sự khác biệt sẽ là mặt nạ thay đổi mong muốn bao gồm các đối tƣợng di chuyển.
1.6.7. Hậu xử lý ở mức điểm ảnh
Đầu ra của phát hiện tiền cảnh thƣờng có nhiễu. Có nhiều yếu tố nhiễu khác nhau. Để khắc phục tình trạng nhiễu này, cần xử lý cấp độ điểm ảnh sâu hơn. Nhƣ ta đã biết, sau kết quả xử lý của module phát hiện vùng ảnh nổi còn
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
rõ đối tƣợng chuyển động cùng với các tính chất của chúng.
Module Xử lý các vùng ảnh nổi đƣợc thiết kế để xử lý ở mức điểm ảnh để loại bỏ đi các nhiễu hoàn thành bài toán phát hiện đối tƣợng chuyển động.Yếu tố điều kiện môi trƣờng, hoàn cảnh quan sát và các yếu tố khách quan là các nguyên nhân chính gây lên nhiễu trong khi giám sát. Có nhiều yếu tố khác nhau mà gây ra nhiễu trong việc phát hiện cận cảnh nhƣ:
Nhiễu do camera: nhiễu ảnh xuất hiện do các bộ phận thu hình của máy quay. Đây là nhiễu gây ra bởi các bộ phần thu hình của máy ảnh. Nhiễu này đƣợc tạo ra do mật độ của điểm ảnh tƣơng ứng với một cạnh giữa hai đối tƣợng có màu khác nhau trong khung cảnh có thể đƣợc thiết lập cho một trong những màu sắc của đối tƣợng trong một khung hình và màu sắc của đối tƣợng khác trong khung tiếp theo [16].
Nhiễu phản xạ: nhiễu phản xạ gây ra bởi nguồn sáng. Khi một nguồn sáng di chuyển từ một vị trí này sang vị trí khác, một số phần trong cảnh nền phản chiếu ánh sáng [16].
Nhiễu do đối tƣợng mang màu của nền: Màu sắc của đối tƣợng có thể có cùng một màu sắc với màu nền. Rất khó để phát hiện các điểm ảnh cận cảnh dựa vào nền tham chiếu [16].
Nhiễu do bóng của đối tƣợng chuyển động và điều kiện ánh sáng thay đổi: Trong điều kiện ánh sáng vật thể sẽ tạo bóng lên khung hình, khi đối tƣợng chuyển động thì bóng cũng thay đổi do đó gây ra nhiễu.
Các nhiễu trong điều kiện quan sát ngoài trời: Điều kiện quan sát ngoài trời là điều kiện quan sát phức tạp nhiều nhiễu nhất ví dụ nhƣ nhiễu do tán lá cây lay động, nhiễu do sự thay đổi liên tục của ánh sáng ngoài trời,…
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
dụng cho với bản đồ điểm ảnh tiền cảnh để loại bỏ nhiễu, gây ra bởi các mục đƣợc liệt kê nêu trên. Mục đích trong việc áp dụng các hoạt động này là loại bỏ các nhiễu không tƣơng ứng với vùng tiền cảnh thực tế, và để loại bỏ các nhiễu điểm ảnh cận cảnh và bên trong vùng đối tƣợng là ảnh cận cảnh.
Module xử lý vùng ảnh nổi có thể đƣợc khái quát qua một số khối xử lý sau đây:
Hình 1-15: Xử lý các vùng ảnh nổi
Biểu đồ điểm ảnh nổi và khung ảnh hiện tại
Các khối đã đƣợc đánh dấu Các khối đã đƣợc lọc, làm sạch Vết của đối tƣợng và các tính chất của chúng 1. TIỀN XỬ LÝ MỨC ĐIỂM ẢNH 2. PHÁT HIỆN CÁC VÙNG LIÊN KẾT 4. ĐƢA RA TÍNH CHẤT CỦA ĐỐI TƢỢNG Vùng điểm ảnh nổi đã làm sạch 3. TIỀN XỬ LÝ VÙNG ẢNH NỔI
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
lý sau đây:
1. Tiền xử lý mức điểm ảnh
2. Phân tích liên kết các khối: Liên kết các vùng điểm ảnh thành các khối
3. Tiền xử lý các vùng ảnh nổi: Kết hợp các khổi ảnh nổi đã đƣợc phân tích bƣớc trên đƣa ra các đối tƣợng đã đƣợc làm sạch.
4. Xác định tính chất đối tƣợng: Từ các khối đại diện cho đối tƣợng tiến hành xác định tính chất của đối tƣợng nhƣ: Hình bao, diện tích, vị trí,
1.6.8. Tiền xử lý mức điểm ảnh
Loại bỏ nhiễu, phát hiện bóng, Bộ lọc thông thấp đƣợc sử dụng để làm mờ và giảm nhiễu. Làm mờ đƣợc sử dụng trong các nhiệm vụ sơ bộ, chẳng hạn nhƣ loại bỏ các chi tiết nhỏ từ một hình ảnh trƣớc khi khai thác đối tƣợng lớn, và nối các khoảng trống nhỏ trong đƣờng thẳng hoặc đƣờng cong. Bộ lọc thông thấp Gaussian đƣợc dùng trong xử lý sau cấp điểm ảnh [8]. Bộ lọc Gaussian làm mịn hình ảnh bằng cách tính trung bình trọng số trong một bộ lọc đồng hiệu quả [10]. Bộ lọc Gaussian đổi các tín hiệu đầu vào bằng cách áp dụng với một hàm Gauss.
1.6.9. Kết luận chương 1
Để phân tích hình ảnh và trích xuất thông tin ở mức cao, các nghiên cứu về nâng cao hình ảnh, phát hiện chuyển động, theo dõi đối tƣợng và nhận biêt hành vi đã đƣợc tìm hiểu. Chƣơng này giới thiệu một số bài toán sử dụng trong video giám sát: theo dõi điểm, theo dõi nhân, theo dõi bóng.
Chƣơng tiếp theo trình bày chi tiết một thuật toán theo dõi các đối tƣợng qua các khung hình video.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
CHƢƠNG 2. THUẬT TOÁN THEO DÕI ĐA MỤC TIÊU