Trừ ảnh dựa vào thống kê

5. Phƣơng pháp nghiên cứu:

2.1.4. Trừ ảnh dựa vào thống kê

Phƣơng pháp sai khác thống kê dựa vào phƣơng pháp trừ giá trị điểm ảnh, nhƣng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lƣợng thống kê điểm ảnh của miền đó. Một cách là ta sử dụng thống kê tỉ lệ số điểm ảnh thay đổi trên toàn bộ khung hình. Ta sử dụng một giá trị d là ngƣỡng sai khác đƣợc tính giữa hai điểm ảnh tƣơng ứng. Gọi S là tập các điểm ảnh có sai khác lớn hơn d:

*( ), ( ) ( )- +

Độ sai khác giữa hai khung hình đƣợc tính bằng tỷ lệ các điểm ảnh có độ chênh lệch lớn hơn d. ( ) (2.23) (2.24) (2.25) (2.22) (2.21)

2.1.5. Trừ ảnh dựa vào đặc trưng

Với việc coi đặc trƣng là các vector chuyển động trong các đoạn video, ngƣời ta thƣờng thấy các hiệu ứng do chuyển động của camera, nhƣ pan (quét), zoom (zoom in – phóng to, zoom out – thu nhỏ), tilt (nghiêng). Để nâng cao hiệu quả phân đoạn, kỹ thuật trừ ảnh dựa vào đặc trƣng là vectơ chuyển động đƣợc sử dụng để phát hiện các hiệu ứng kiểu này.

Các mẫu vector chuyển động thu đƣợc từ các di chuyển camera khác nhau đƣợc thể hiện trong hình dƣới đây

Hình 2.3. Mẫu vector cho các di chuyển camera.

Để phát hiện xem đoạn phim đƣợc phóng to hay thu nhỏ ta có thể sử dụng vectơ chuyển động để nghiên cứu. Tuy nhiên, một số nghiên cứu khác lại sử dụng vectơ chuyển động nhƣ là một phần của việc trừ ảnh phân khối dựa vào điểm ảnh để quyết định xem có phải có một lƣợng lớn các đối tƣợng di chuyển hay camera trong chuyển cảnh.

Với việc coi đặc trƣng là cạnh, ta có một hƣớng tiếp cận khác cho việc phân loại và phát hiện có chuyển động là sự phát hiện sự xuất hiện các cạnh (biên cƣờng độ) trong một khung hình, chúng cách các cạnh trong khung hình trƣớc một khoảng nhất định. Phƣơng pháp này tỏ ra chính xác hơn phƣơng pháp dựa vào biểu đồ và độ nhạy với chuyển động thấp hơn nhiều so với gam màu.

2.1.6. Kỹ thuật trừ nền

Hình 2.4. Quy trình trừ nền

Phát hiện đối tƣợng đƣợc xây dựng bằng phƣơng pháp xác định thể hiện của khung hình gọi chung là mô hình nền, sau đó tiếp cận với các khung nhìn kế tiếp. Bất kỳ thay đổi nào so với mô hình nền cũng sẽ đƣợc ghi nhận nhƣ có một đối tƣợng dịch chuyển. Các điểm thay đổi này đƣợc gom nhóm lại tạo thành một vùng thay đổi để xử lý. Tiến trình này đƣợc gọi với một tên chung là tách nền. Quy trình tổng quan của kỹ thuật trừ nền có thể đƣợc mô tả nhƣ lƣợc đồ trên.

Các thay đổi chính đối với nền đƣợc phân loại thành:

 Theo sự thay đổi độ sáng (illumination changes)

o Thay đổi độ sáng từ từ do nguồn sáng (mặt trời) chuyển động

o Thay đổi độ sáng đột ngột do nguồn sáng bị thay đổi: trời chuyển giữa mƣa và nắng, đèn trong phòng chuyển từ bật sang tắt hoặc ngƣợc lại

 Thay đổi chuyển động (motion changes)

o Hình ảnh thay đổi do camera dịch chuyển

o Chuyển động trong các thành phần của nền nhƣ cành cây đung đƣa, nƣớc chảy…

 Thay đổi đƣợc báo trƣớc: Chuyển động của chiếc ô tô từ từ dời khỏi điểm đỗ, ngƣời di chuyển ra khỏi phòng….

Một trong những phƣơng pháp hiệu quả và hay đƣợc sử dụng để mô hình hóa nền đó là mô hình Gauss hỗn hợp.

Ta nhận thấy rằng tại thời điểm t bất kỳ, điểm ảnh trong khung hình I chịu tác động của nhiều yếu tố nhƣ ánh sáng, môi trƣờng cũng nhƣ sự chuyển động của chính điểm ảnh. Chính vì vậy, nếu chỉ dùng một mô hình Gauss thì sự biến động của các biến cố là không đƣợc cập nhật hết. Do đó, cần thiết phải sử dụng mô hình Gauss hỗn hợp.

Tại mỗi thời điểm, giá trị của các tham số phân phối Gauss đƣợc cập nhật, mô hình lại đánh giá lại các điểm ảnh một cách heuristic để xác định xem điểm ảnh nào có xu hƣớng thuộc về mô hình nền. Các điểm ảnh đƣợc đánh giá là nổi trội sẽ đƣợc gom nhóm lại và đƣợc “bám sát” trong các khung hình kế tiếp.

Ta coi giá trị của một điểm ảnh cụ thể theo thời gian nhƣ một tiến trình xử lý điểm ảnh. Tiến trình này là một chuỗi thời gian gồm các giá trị điểm ảnh có thể là vô hƣớng cho ảnh xám hay vectơ với ảnh màu. Tại một thời điểm bất kỳ, điểm ảnh t có giá trị * + đƣợc xác định trong tập:

* + * ( ) +

Trong đó, I là chuỗi ảnh. Một số tiến trình xử lý điểm ảnh đƣợc mô tả bằng sự phân phối màu, mô tả tính cần thiết của hệ thống ngƣỡng tự động.

Giá trị của mỗi điểm thể hiện một phép đo độ sáng theo hƣớng của cảm biến của đối tƣợng đầu tiên bị phân cắt bởi tia sáng tới điểm. Trong một nền

tĩnh và ánh sáng động, giá trị này sẽ là một hằng số. Với giả định độc lập, nhiễu Gauss không xuất hiện trong tiến trình lấy mẫu và mật độ phân phối đƣợc mô tả bằng một phân phối Gauss đơn tập trung tại giá trị điểm trung bình. Nhƣng trên thực tế, chuỗi video thƣờng gồm các thay đổi về ánh sáng về cảnh và cả các đối tƣợng di chuyển.

Nếu ánh sáng thay đổi trong một khung cảnh tĩnh ta cần một hàm Gauss để theo những thay đổi này. Khi một đối tƣợng tĩnh đƣợc thêm vào khung cảnh mà không đƣợc tích hợp vào nền thì đối tƣợng đó sẽ đƣợc xem là điểm nổi trội trong một khoảng thời gian chấp nhận đƣợc. Chính điều này gây ra lỗi tích lũy đối với xấp xỉ nổi trội và gây lỗi cho quá trình bám sát. Những nhân tố này cho thấy các quan sát trong thời điểm gần là quan trọng trong xác định tham số Gauss.

Bên cạnh đó, một số đặc tính khác cũng xuất hiện khi thêm một đối tƣợng có chuyển động vào khung hình. Đối tƣợng chuyển động sẽ sinh ra nhiều dao động hơn đối tƣợng tĩnh. Tuy nhiên, một cách tổng quan, vẫn cần có thêm dữ liệu để hỗ trợ phân phối nền vì các dữ liệu đƣợc lặp lại trong khi các giá trị điểm với các đối tƣợng khác nhau thƣờng không cùng màu.

Các nhân tố này đƣợc lựa chọn để cập nhật thủ tục. Với các điểm ảnh đƣợc mô hình bằng phân phối Gauss thứ K. Khả năng quan sát đƣợc điểm ảnh hiện tại đƣợc tính bằng công thức

( ) ∑ ( ∑

)

Trong đó:

K là số lƣợng phân phối Gauss

là xấp xỉ của trọng số của hàm phân phối Gauss thứ i tại thời điểm t trong công thức.

là giá trị trung bình của phân phối Gauss thứ thứ i tại thời điểm t (2.27)

là hàm mật độ phân phối Gauss đƣợc tính theo công thức

( ∑ ) ( ) |∑ | ( )( ) ∑ ( )

K đƣợc xác định bằng bộ nhớ trống và khả năng tính toán. Thông thƣờng, ta hay lấy giá trị trong khoảng [3,5].  là ma trận hiệp phƣơng sai cấp n, có các phần tử dạng ∑ . Công thức ∑ đƣợc tính dựa vào tính chất các màu trong kênh RGB là độc lập và có cùng độ lệch.

Phân phối quan sát đƣợc của mỗi điểm ảnh trong khung cảnh đƣợc mô hình hóa bằng hàm hỗn hợp Gauss. Một giá trị điểm ảnh mới đƣợc thể hiện bằng các thành phần chính của mô hình hỗn hợp và đƣợc sử dụng để cập nhật mô hình.

Tiến trình xử lý điểm ảnh đƣợc xem là tiến trình tĩnh, một phƣơng pháp chuẩn để cực đại hóa dữ liệu quan sát đƣợc là dùng giá trị kỳ vọng cực đại. Nhƣng trong thực tế, các điểm ảnh trong khung hình là chuyển động do đó ta cần sử dụng phƣơng pháp xấp xỉ, phƣơng pháp này coi các tập quan sát mới là một tập mẫu với kích thƣớc là 1 và sử dụng các luật học chuẩn để tích hợp vào dữ liệu mới.

Với các điểm ảnh trong khung hình, ta xây dựng một mô hình hỗn hợp, do đó, chi phí cài đặt thuật toán EM trong cửa sổ dữ liệu hiện tại sẽ tốn kém. Thay vào đó chúng ta cài đặt một xấp xỉ K-mean trực tuyến. Mọi giá trị điểm ảnh mới Xt sẽ đƣợc kiểm tra xem với phân phối Gauss K cho tới khi tìm thấy sự phù hợp. Điểm ảnh đƣợc kết luận là phù hợp nếu có sự sai lệch 2.5 đơn vị so với phân phối chuẩn. Ngƣỡng này là chấp nhận đƣợc và hiệu quả trong trƣờng hợp các vùng khác nhau có ánh sáng khác nhau; các đối tƣợng trong vùng tối (bóng của ánh sáng) không bị nhiễu nhƣ đối tƣợng ở vùng sáng.

Nếu không có giá trị nào phù hợp với phân phối K, phân phối nhỏ nhất đƣợc thay thế bằng phân phối với giá trị hiện tại, giá trị khởi tạo biến động lớn và trọng số thấp. Trọng số ƣu tiên của phân phối K tại thời điểm t, ( )

đƣợc điều chỉnhnhƣ sau:

( ) ( )

Trong đó: là tỷ lệ học

bằng 1 với mô hình phù hợp và có giá trị bằng 0 trong các trƣờng hợp còn lại.

Sau khi tính xấp xỉ, các trọng số đƣợc thiết lập lại. ⁄ định nghĩa hằng số thời gian xác định tốc độ tham số phân phối thay đổi. là bộ lọc trung bình của khả năng trƣớc đó, khi giá trị điểm ảnh phù hợp với mô hình k quan sát đƣợc trong thời gian từ 1 tới t. Điều này là phù hợp với sự mong đợi của giá trị này trong cửa sổ số mũ của giá trị trƣớc đó.

Tham số  và  đƣợc sử dụng cho những phân phối không phù hợp. Các tham số của phân phối phù hợp với quan sát mới đƣợc cập nhật theo công thức

( )

( ) ( ) ( )

Trong đó : ( | )

Phƣơng pháp này có ƣu điểm chính là khi kết nạp thêm điểm vào nền thì mô hình nền cũ không bị ảnh hƣởng. Màu nền của nền gốc sẽ đƣợc duy trì cho tới khi tìm đƣợc phân phối thứ K thích hợp nhất và màu mới quan sát đƣợc. Do đó, một đối tƣợng xuất hiện đủ lâu để trở thành nền rồi mới di chuyển thì phân phối mô tả nền trƣớc đó tồn tại với tham số và trọng số

 thấp sẽ đƣợc nhanh chóng kết hợp vào nền.

Để xấp xỉ mô hình nền, ta cần xác định phân phối Gauss nào là thích hợp nhất trong tiến trình sinh nền. Thông thƣờng ta lựa chọn phân phối Gauss có nhiều căn cứ hỗ trợ và ít biến đổi.

(2.29)

(2.30) (2.31)

Khi có một đối tƣợng tĩnh xuất hiện trong khung hình trong một khoảng thời gian dài, ta coi các căn cứ hỗ trợ và hằng số biến đổi cho nền là thấp. Ngƣợc lại, khi có đối tƣợng mới chiếm giữ đối tƣợng nền thì sẽ không có sự phù hợp với phân phối hiện tại. Lúc này sẽ có một phân phối mới đƣợc hình thành và làm tăng mức biến đổi của phân phối hiện tại. Mức biến đổi của đối tƣợng chuyển động đƣợc kỳ vọng là lớn hơn điểm ảnh nền cho tới khi đối tƣợng dừng di chuyển. Để mô hình trƣờng hợp này ta cần phƣơng pháp quyết định phần nào của mô hình hỗn hợp phù hợp với tiến trình thể hiện nền.

Trƣớc hết phân phối Gauss đƣợc sắp xếp theo giá trị ⁄ . Giá trị này tăng khi các chứng cứ hỗ trợ và các biến của phân phối thay đổi. Sau khi xác định lại giá trị của hỗn hợp ta cần sắp xếp lại từ các phân phối thích hợp nhất tới phân phối nền có thể, vì chỉ có giá trị mô hình phù hợp tƣơng ứng mới thay đổi. Trật tự mô hình này hiệu quả vì các phân phối nền phù hợp nhất ở trên và những phân phối ít phù hợp đƣợc sắp dƣới cùng. Các phân phối phía dƣới có thể đƣợc thay bằng phân phối mới.

Sau đó, phân phối B đầu tiên đƣợc lựa chọn làm mô hình nền là

(∑

)

Với T là phép đo phần nhỏ nhất của dữ liệu đƣợc tính cho nền.

Phân phối này là phân phối tốt nhất trong vùng dữ liệu đang xem xét. Khi có một giá trị T nhỏ hơn đƣợc chọn thì mô hình nền thƣờng là phƣơng thức duy nhất. Trong trƣờng hợp này phân phối có khả năng cao nhất sẽ đƣợc lƣu lại.

Nếu có giá trị lớn hơn T thì phân phối đa phƣơng thức đƣợc thực hiện bởi phép lặp nền chuyển động (ví dụ: lá trên cây, cờ treo trƣớc gió…). Quá trình này có thể có nhiều hơn một màu đƣợc chứa trong mô hình nền. Kết quả này cho phép mô hình nền có thể có nhiều hơn một màu.

2.2.Hậu xử lý với các phép toán hình thái

Với các kỹ thuật trừ ảnh, thông thƣờng kết quả trực tiếp ta thu đƣợc sẽ là một ảnh nhị phân với những vùng trắng là vùng chuyển động, các vùng đen là vùng nền. Trong thực tế, với những video có chuyển động phức tạp với nhiều đối tƣợng di chuyển, chẳng hạn nhƣ video từ camera quay đƣờng phố. Với tình trạng giao thông nhƣ ở Việt Nam, các đối tƣợng di chuyển khá lộn xộn và điều kiện chiếu sáng phức tạp dẫn đến tình trạng ánh sáng thay đổi mạnh trong ngày đối với camera cũng nhƣ việc bóng của đối đối tƣợng dính vào các đối tƣợng khác. Các phép toán hình thái là một công cụ để xây dựng những giải pháp cho những tình huống nhƣ vậy, nhờ vào đó, ta có thể giảm thiểu sự ảnh hƣởng của việc các đối tƣợng bị dính hoặc một đối tƣợng bị chia thành nhiều vùng sát nhau.

Các phép toán hình thái là một lý thuyết và kỹ thuật trong xử lý ảnh để phân tích và xử lý cấu trúc hình học trong ảnh dựa trên sử dụng lý thuyết tập hợp các cấu trúc liên kết và cả những chức năng ngẫu nhiên. Ngoài hình ảnh kỹ thuật số, lý thuyết về các phép toán hình thái toán học nó có thể đƣợc vận dụng vào nhiều các cấu trúc không gian khác.

Các phép toán hình thái đƣợc phát triển cho hình ảnh nhị phân và sau đó đƣợc mở rộng cho ảnh đa mức xám,... Đây là một trong những kỹ thuật đƣợc áp dụng trong giai đoạn tiền xử lý. Ta có hai phép toán thƣờng dùng là phép giãn nở và phép co. Sau đó từ hai phép toán cơ bản này ngƣời ta phát triển thành một số phép toán nhƣ phép đóng và phép mở.

 Dilation gọi là D(i): giãn nở.

 Erosion gọi là E(i): co.

 Một chu trình E(i)-D(i) gọi là phép mở.

 Một chu trình D(i)-E(i) gọi là phép đóng.

dụng để nhận dạng đối tƣợng, nâng cao chất lƣợng ảnh, phân đoạn ảnh và kiểm tra khuyết điểm trên ảnh, đƣợc sử dụng rất nhiều để giảm các lỗi trong quá trình xử lý hình ảnh. Một số ví dụ:

 Trích biên ảnh.

 Tô vùng.

 Tính toán các thành phần liên thông.

 Làm mỏng đối tƣợng trong ảnh.

 Làm dày đối tƣợng trong ảnh.

 Tìm xƣơng đối tƣợng trong ảnh.

 Cắt tỉa đối tƣợng trong ảnh.

2.2.1. Phần tử cấu trúc

Phần tử cấu trúc ảnh là một hình khối đƣợc định nghĩa sẵn nhằm tƣơng tác với ảnh xem nó có thỏa mãn một số tính chất nào đó. Là một ma trận nhỏ có hai giá trị 0 và 1, các giá trị 0 đƣợc bỏ qua trong quá trình tính toán. Một số hình dáng của phần tử cấu trúc thƣờng xuyên sử dụng trên ảnh nhị phân:

 Dạng đƣờng theo chiều ngang và dọc.

 Dạng chữ thập.  Dạng hình vuông.  Dạng hình ellipse.  ... Hình 2.5. Ví dụ phần tử cấu trúc Các thành phần với một phần tử cấu trúc  Kích thƣớc của ma trận phần tử cấu trúc.

 Hình dáng của phần tử cấu trúc.

 Gốc của phần tử: Thông thƣờng thì gốc của phần tử mang giá trị 1 nhƣng trong một số trƣờng hợp thì gốc phần tử mang giá trị 0.

Trong các phép toán hình thái học, một phần tử cấu trúc có kích thƣớc (NxN) đƣợc di chuyển khắp ảnh và thực hiện phép tính toán với từng điểm ảnh của ảnh với (N2

-1) điểm ảnh lân cận. Phép tính toán ở đây tùy thuộc vào nội dung của phép toán hình thái học mà từ đó cho ra một kết quả