Phòng cơ yếu thuộc trường Văn hóa I chứa các tài liệu thông tin mật, là phòng kín, ánh sáng ổn định và không bị ảnh hưởng bởi ánh sáng bên ngoài. Phòng được trang bị một camera được đặt cố định quan sát khu vực thông tin mật. Cán bộ nhân viên cơ yếu theo dõi phát hiện bất thường thông qua camera. Việc phát hiện bất thường người quản lý có thể nhìn vào chúng, so sánh với đặc điểm trước đó để phát hiện sự bất thường. Hiện nay việc ứng dụng lắp đặt camera trong giám sát đã trở nên phổ biến. Nhưng việc người quan sát theo dõi trên camera để thấy sự bất thường là khó khăn. Một trong số các giải pháp
là việc ứng dụng một số chương trình phần mềm hỗ trợ quan sát kết xuất thông tin bất thường trở lên nhanh chóng hơn.
Bài toán được phát biểu cụ thể như sau:
Sử dụng camera được đặt góc quan sát cố định, quan sát vùng giới nghiêm. Lưu lại sự bất thường trong vùng giới nghiêm.
Kết luận chương 1
Phát hiện bất thường dựa vào camera được đặt cố định hay di chuyển rất quan trọng giám sát tự động. Trong chương này, luận văn đã trình bày khái quát về xử lý ảnh, bài toán phát hiện bất thường. Chương này cũng phát biểu bài toán phát hiện bất thường dựa vào camera. Từ nền tảng đó, luận văn đưa ra các phương pháp giải quyết bài toán trong chương 2.
Chương 2
MỘT SỐ KỸ THUẬT PHÁT HIỆN BẤT THƯỜNG 2.1. Phát hiện bất thường dựa vào kỹ thuật trừ ảnh
Như ta đã biết, những hình ảnh thu được từ camera là đoạn video. Đoạn
video này gồm dãy N khung hình liên tiếp (f1, f2, …, fN), mỗi khung hình là
một ảnh tĩnh. Các khung hình này được hiển thị được hiển thị lần lượt, độ sáng của một điểm ảnh có thể coi là một hàm của thời gian f(x,y,t). Mục đích chính của kỹ thuật trừ ảnh là để kiểm tra xem giữa hai ảnh có sự sai lệch nhau hay không, và xác định được vị trí của vùng sai lệch. Cần phải lưu ý rằng: sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá trị màu.
Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2. Sự sai khác này lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển động giữa hai khung hình. Sự thay đổi trên khung hình được tính toán trên một đặc trưng nhất định. Người ta thường dùng đặc trưng là nội dung màu sắc, là biểu đồ (biểu đồ màu, hoặc biểu đồ mức xám), hoặc đôi khi là cạnh, vector chuyển động, góc hay kết cấu (texture).
Như vậy khi thực hiện việc phát hiện có sự biến động giữa các khung hình, trước hết ta phải xác định đặc trưng đem ra so sánh, thứ hai là xác định
công thức trừ ảnh D và cuối cùng là quyết định ngưỡng sai khác Tb. Giá trị
ngưỡng này thường được xác định trước. Hoặc đôi khi được người ta cũng dùng
ngưỡng thích ứng. Chỉ những sai khác lớn hơn ngưỡng Tb mới được xem xét
và xử lý.
Hiện nay có nhiều kỹ thuật trừ ảnh và có thể chia thành 5 loại như sau:
Trừ ảnh dựa vào điểm ảnh: thực hiện so sánh các cặp điểm ảnh tương ứng trên hai ảnh.
Trừ ảnh dựa vào khối: Chia ảnh thành các miền sau đó tiến hành so sánh các miền tương ứng.
Trừ ảnh dựa vào biểu đồ: So sánh sự phân bố thuộc tính nào đó như biểu đồ màu, biểu đồ mức xám,…
Trừ ảnh dựa vào đặc trưng: Sử dụng một số đặc trưng cơ bản như đặc trưng cạnh, đặc trưng vector chuyển động để phát hiện sự chuyển đổi giữa các cảnh.
Kỹ thuật này dựa vào kỹ thuật trừ điểm ảnh nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lượng thống kê điểm ảnh của các miền đó.
Để thống nhất chúng ta giả sử xét hai ảnh I1 và I2 có cùng kích thước.
Trừ hai ảnh I1 và I2 là thực hiện việc tính toán sự sai khác giữa hai ảnh đó. Sau
đây chúng ta sẽ lần lượt tìm hiểu từng kỹ thuật trừ ảnh nêu trên.
2.1.1. Kỹ thuật trừ ảnh dựa vào điểm ảnh
Phương pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung hình: 1 0 2 1 1 0 2 1, ) 1 ( , ) ( , ) ( Y y X x y x f y x f Y X f f D
So sánh giá trị tìm được với ngưỡng chuyển cảnh Tb để xác định xem có
chuyển cảnh hay không.
Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản. Nhược điểm lớn nhất của kỹ thuật này la không phân biệt được sự thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn. Nói chung tất cả các kỹ thuật trừ giá trị điểm ảnh đều nhạy với nhiễu và các di chuyển camera. Có thể cải tiến kỹ thuật này bằng cách đếm tổng số điểm ảnh có thay đổi lớn hơn một ngưỡng nào đó và so sánh giá trị tính được với một ngưỡng khác để phát hiện chuyển cảnh.
(2.1)
1 0 1 0 2 1, ) 1 ( , ) ( Y y X x y x DP Y X f f D
Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngưỡng T1 thì đã có sự
chuyển cảnh do cắt. Tuy các thay đổi không liên quan trong khung hình đã được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển camera và đối tượng. Chẳng hạn, khi camera quay theo đối tượng, rất nhiều điểm ảnh được cho là thay đổi, dù cho có ít điểm ảnh dịch chuyển. Có thể giảm tác động này bằng cách sử dụng một bộ lọc trơn: trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá trị trung bình của các điểm ảnh lân cận.
Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh với việc chiếu sáng. Khi đó người ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai. Hampapur[3] gọi ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:
Phương pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị điểm ảnh, nhưng có thể mở rộng đối với các ảnh màu. Ví dụ với ảnh màu RGB, ta tính tổng có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh.
2.1.2. Trừ ảnh phân khối
Trái ngược với hướng tiếp cận sử dụng các đặc tính toàn cục của cả khung hình, hướng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tính độc lập với các di chuyển của camera và đối tượng. Mỗi khung hình được
chia thành b khối. Các khối trên khung hình f1 được so sánh với các khối tương
(2.3)
(2.4)
ứng trên khung hình f2. Về cơ bản, độ chênh lệch giữa hai khung hình được tính như sau:
Trong đó Ck là hệ số cho trước, DP(f1,f2,k) là độ chênh lệch giữa hai khối thứ k của hai khung hình f1 và f2.
Kasturi[4] đưa ra công thức:
Trong đó , là giá trị cường độ trung bình của khối thứ k , là
độ chênh lệch tương ứng với hai khối đó.
Một cắt cảnh xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D(f1,f2) >
T2 và Ck=1 cho tất cả các khối.
Một hướng tiếp cận khác với kỹ thuật trừ ảnh phân khối do Shaharay[5] đưa ra. Ông chia khung hình thành 12 miền và tìm miền thích hợp nhất cho mỗi miền ở khung hình kia. Độ chênh lệch tính bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp. Tổng có trọng số của các chênh lệch đã sắp xếp cho ta kết quả D cuối cùng.
Xiong [6] phát triển phương pháp trừ ảnh, gọi là so sánh thực, phát hiện chuyển cảnh do ngắt chỉ bằng việc so sánh một phần của ảnh. Phương pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể bỏ qua nếu ít hơn một nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều được kiểm tra. Với giả thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai khung hình thì kích thước các cửa sổ được chọn đủ lớn để bất biến với các thay đổi không làm vỡ và đủ nhỏ để có thể chứa thông tin về không gian nhiều chừng nào có thể. Các cửa sổ cơ (2.6)
sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của các điểm ảnh. Khi giá trị chênh lệch lớn hơn một ngưỡng nào đó thì xem như miền đang xét đã thay đổi. Khi số miền thay đổi lớn hơn một ngưỡng khác thì sự chuyển cảnh do ngắt đã xảy ra. Thực nghiệm cho thấy rằng hướng tiếp cận này cho tốc độ nhanh hơn phương pháp so sánh từng cặp điểm.
Hình 2.1: Các cửa sổ cơ sở trong thuật toán so sánh thực
Một số nghiên cứu đã mở rộng ý tưởng lấy mẫu theo không gian thành lấy mẫu theo không gian và thời gian. Thuật toán có sử dụng bước nhảy phát hiện cả chuyển cảnh đột ngột và chuyển cảnh dần dần. Thuật toán này đi so sánh hai khung hình i và j, ở đó j = i + step. Nếu không có sự thay đổi đáng kể nào, thì chuyển sang so sánh các khung hình cách nửa bước nhảy, nghĩa là so sánh hai khung hình i + step/2 và j + step/2. Ngược lại, tìm kiếm nhị phân được dùng để định vị chuyển cảnh. Nếu i và j liên tiếp nhau và sự chênh lệch của hai khung hình lớn hơn ngưỡng thì đó là chuyển cảnh đột ngột do ngắt. Nếu không, sử dụng thuật toán trừ ảnh dựa trên việc phát hiện cạnh để phát hiện chuyển cảnh dần dần. Hiển nhiên, thuật toán này phụ thuộc vào bước nhảy step: bước nhảy lớn thì tăng hiệu quả nhưng tăng khả năng sai sót, bước nhảy nhỏ quá sẽ bỏ qua những chuyển cảnh dần dần. Thuật toán này có độ nhạy rất cao với sự di chuyển của dối tượng và sự di chuyển của camera.
2.1.3. Phương pháp biểu đồ
Một bước xa hơn để giảm ảnh hưởng của sự chuyển camera và đối tượng là thực hiện trừ ảnh dựa vào biểu đồ. Biểu đổ mô tả sự phân bố giá trị điểm ảnh của khung hình. ý tưởng của cách tiếp cận này là các ảnh có nền không đổi và
đối tượng không đổi sẽ có chênh lệch ít trong biểu đồ. Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi ít khi góc nhìn thay đổi.
Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác giữa hai khung hình. Biểu đồ màu (mức xám) của khung hình i là một vector G chiều
Hi = (Hi(1), Hi(2), … , Hi(G)). Trong đó G là số màu (mức xám), Hi(j) là số
điểm ảnh của khung hình i có màu (mức xám) j. Phương pháp trừ ảnh dựa trên biểu đồ có thể sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ. Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu (mức xám) của toàn bộ khung hình. Còn biểu đồ cục bộ chỉ mô tả sự phân bố của một phần nào đó của khung hình mà thôi.
2.1.3.1. Biểu đồ toàn cục
Phương pháp đơn giản nhất là tính tổng sự sai khác các cột của biểu đồ.
Có thể sử dụng thêm trọng số nếu có một số màu (mức xám) quan trọng hơn với mục tiêu so sánh.
Trong đó W(k) là trọng số ứng với giá trị màu (mức xám) k.
Hình 2.2: So sánh biểu đồ giữa hai ảnh
Cách thứ ba là sử dụng phần giao nhau của hai biểu đồ. Vùng biểu đồ chồng nhau, phần gạch chéo trong hình 2.2, cho biết độ tương tự về nội dung hai ảnh có thể được định nghĩa như sau:
(2.8)
Độ tương tự còn có thể định nghĩa như sau:
Như vậy, dựa vào phần giao nhau của hai biểu đồ, có thể tính độ chênh lệch biểu đồ hai khung hình theo công thức:
Một hướng tiếp cận sử dụng biểu đồ khác là xem xét biểu đồ là vector và sử dụng tích vô hướng của chúng:
Để biểu diện sự phân bố của màu với ảnh 24 bit, phải tạo biểu đồ với
2563 cột, mỗi cột ứng với một bộ ba RGB có thể có. Có thể dùng thuật toán
nhanh tính toán với biểu đồ, nhưng ta thường áp dụng giải pháp thô: dùng biểu đồ với số cột ít hơn. Yihong dùng giải pháp biểu đồ 8 mức RGB kết quả là biểu đồ có 28 = 256 cột.
Trong đó, DG, DB, DR là chênh lệch biểu đồ màu thành phần green, blue,
red. Jyrki sử dụng các trọng số như sau:
Nói chung, người thường chỉ dùng 20 cột có số điểm ảnh nhiều nhất để so sánh. Còn có một cách khách làm giảm số cột của biểu đồ là chỉ dùng 2 bit cao nhất cho cường độ mỗi màu thành phần để mã hoá màu của điểm ảnh. Như
(2.10)
(2.11)
(2.12)
(2.13)
vậy việc so sánh biểu đồ chỉ cần thực hiện với 64 cột. Sawhney đề xuất rằng 256 màu là đủ biểu diễn sự phân bố màu của các cảnh. Novak và Safer thì chỉ chia các cột biểu đồ thành hai loại “full” và “Empty” để ước lượng thuộc tính bề mặt và điều kiện ánh sáng cho các đối tượng đơn.
Chênh lệch biểu đồ có thể được tính bằng công thức Kolmogorov - Sminov như sau:
Nói cách khác, chênh lệch tích luỹ lớn nhất giữa hai biểu đồ phân bố cho
đến j được tính toán. Giá trị DK-S lớn xác định ranh giới chuyển cảnh. Để nhấn
mạnh sự sai khác giữa hai khung hình khi chuyển cảnh qua cắt cứng, một số
tác giả đề xuất thuật toán để so sánh biểu đồ màu:
Thuật toán không những nhấn mạnh độ sai khác giữa hai khung hình
qua cắt cứng, nó còn nhấn mạnh độ sai khác giữa hai khung hình khi di chuyển camera hay đối tượng.
Yakimovsky đưa ra công thức:
Trong đó: là phần chung giữa hai biểu đồ
, là phần khác nhau của hai biểu đồ. m,n là số cột tương ứng của hai biểu đồ.
Công thức này có thể áp dụng cho cả trường hợp hai biểu đồ có số cột khác nhau.
2.1.3.2. Biểu đồ cục bộ
Như đã đề cập, phương pháp trừ ảnh dựa vào biểu đồ là phương pháp ít chịu ảnh hưởng của nhiễu và di chuyển đối tượng. Tuy vậy cũng có một số trở (2.15)
(2.16)
ngại. Đầu tiên, biểu đồ chỉ mô tả sự phân bổ các giá trị màu hay mức xám mà không bao hàm bất cứ thông tin nào về không gian. Hai ảnh có cùng biểu đồ màu nhưng có nội dung rất khác nhau. Trở ngại khác là rất có thể các vùng ảnh nhỏ khi thay đổi sẽ gây chú ý nhưng lại không có vai trò gì trong biểu đồ và do đó có thể bị bỏ qua khi thực hiện trừ ảnh. Để giải quyết vấn đề đó chúng ta sẽ kết hợp trừ ảnh dựa vào biểu đồ với kỹ thuật trừ ảnh phân khối. Trừ ảnh phân khối quan tâm đến thông tin về không gian. Về cơ bản phương pháp này tốt hơn việc so sánh từng cặp điểm ảnh, nhưng nó vẫn chịu tác động của sự di chuyển camera và di chuyển của đối tượng. Bằng cách kết hợp hai ý tưởng, chúng ta vừa có thể giảm được sự tác động của các di chuyển camera và đối tượng, vừa sử dụng thông tin về không gian ảnh, và do đó cho kết quả phân đoạn tốt hơn.
Ý tưởng là chúng ta sẽ chia khung hình thành b khối, đánh số từ 1 đến b. So sánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quả trừ ảnh cuối cùng
Trong đó H(j,k) là giá trị biểu đồ tại màu (mức xám) j ứng với khối thứ k
Hướng tiếp cận khác trong kỹ thuật trừ ảnh dựa vào biểu đồ cục bộ được
Swanberg đưa ra. Sự chênh lệch DP(f1,f2,k) giữa các khối được tính bằng cách
so sánh biểu đồ màu RGB sử dụng công thức sau:
2.1.4. Phương pháp thống kê
Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểm ảnh, nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh