Ứng dụng xử lý ảnh để phát hiện, cảnh báo đám đông

Trong bài báo này, nhóm tác giả chọn phương pháp trừ nền – phát hiện tiền cảnh Background Subtraction để phát hiện và theo dõi đối tượng người chuyển động từ một đoạn video được quay từ

1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÁT HIỆN, CẢNH BÁO ĐÁM ĐÔNG

DETECT AND ALERT THE CROWD USING IMAGE PROCESSING

SVTH: Đặng Sỹ Phi Hùng 1 , Nguyễn Duy Hà Sơn 1 , Nguyễn Hà Gia Hậu 1 , Trần Thanh Viện 2 ,

Lê Nguyễn Hữu Phước 2

1 Lớp 17KTDT1, 2 Lớp 17TDH1, Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

GVHD: ThS Phạm Văn Phát

Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

Tóm tắt - Bài báo đề cập đến việc sử dụng kỹ thuật xử lý ảnh

để phát hiện, cảnh báo sự tụ tập đông người trong một phạm vi

cần giám sát Nó sẽ phục vụ cho mục đích đảm bảo an toàn,

cách ly xã hội và đẩy lùi dịch bệnh Covid-19 trên thế giới Trong

bài báo này, nhóm tác giả chọn phương pháp trừ nền – phát hiện

tiền cảnh (Background Subtraction) để phát hiện và theo dõi đối

tượng người chuyển động từ một đoạn video được quay từ

camera tĩnh Kết quả, đếm được số người trong mỗi khung hình.

So sánh kết quả với điều kiện được thiết lập sẵn để đưa ra cảnh

báo về số người vượt mức cho phép Chương trình hoạt động

cho kết quả chính xác khá cao nếu cho chạy thử nghiệm trong

các điều kiện ràng buộc [7 ]

Abstract - The article mentions the using of image

processing technology to detect and alert the gathering of people

in a monitored area It will serve the purpose of safety, social isolation and prevention of Covid-19 around the world In this paper, the authors chose the method of background subtraction -foreground detection to detect and follow the movement of the object from a video As a result, counting the number of people in each frame Compare results with pre-set conditions to give warnings about people over allowed Compare results with pre-set conditions to give an alert about the number of people in excess of the permitted area The program works for fairly accurate results if running the test under constrained conditions[7]

Từ khóa - xử lý ảnh, giản cách xã hội, phương pháp trừ nền,

camera tĩnh, đám đông, ứng dụng matlab,

Key words - image processing, social distancing,

background subtraction method, alert the crowd, matlab application.

1 Đặt vấn đề

Với sự phát triển nhanh chóng của các loại máy móc

hiện đại như máy ảnh số, máy quay phim kỹ thuật số, máy

vi tính, điện thoại đi động… thì lượng thông tin con người

thu được dưới dạng hình ảnh là khá lớn Trong thực tế

97% lượng thông tin mà con người thụ nhận qua thị giác

đều bắt nguồn từ ảnh[6] Để lượng thông tin này trở nên

có ích hơn con người cần phải tiến hành xử lý nó và từ đó

tạo điều kiện cho sự phát triển không ngừng của các kỹ

thuật xử lý hình ảnh Xử lý ảnh là một trong những công

nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh

vực của đời sống xã hội Không chỉ dừng lại ở việc xử lý

những vết nhòe, tái chế và phục hồi các ảnh cũ, ngày nay

công nghệ xử lý ảnh đã mang lại những tiến bộ vượt bậc

như nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng

đối tượng khi nó kết hợp với lĩnh vực trí tuệ nhân tạo

Bên cạnh đó, hệ thống camera quan sát ngày càng

được sử dụng một cách rộng rãi với mục đích hỗ trợ an

ninh, giám sát cho các cửa hàng, công ty, ngân hàng, v.v

Nhưng các camera này chỉ có khả năng để lưu giữ các dữ

liệu video và chúng ta cần tốn thêm chi phí để thuê các

nhân viên bảo vệ để quan sát và phát hiện khi có người

nào đó khả nghi, vượt cảnh báo quy định

Hiện nay dịch CoVID-19 đang phát triển mạnh mẽ,

mặc dù Việt Nam đang dần kiểm soát được dịch bệnh

nhưng các nước trên thế giới đang là sự đỉnh điểm và mất

kiểm soát của dịch, thế nên việc đảm bảo an toàn và cách

ly xã hội [3] là nhiệm vụ cấp thiết của mỗi cá nhân nói

riêng và cả cộng đồng nói chung [1]

Trên thới giới hiện nay cũng đã có những ứng dụng

cũng như những nghiên cứu về việc giám sát các đối tượng nhằm hỗ trợ công tác quản lý dân cư, đô thị Tuy nhiên những nghiên cứu này còn riêng lẽ, chưa tích hợp được với nhau để tạo thành một hệ thống giám sát hoàn chỉnh và giá thành cho các ứng dụng thình còn khá cao

Từ yêu cầu thực tế được đặt ra, trong bài báo này chúng tôi quan tâm đến việc xây dựng một hệ thống phát hiện và theo vết (tracking) người từ dữ liệu video thu được thông qua hệ thống camera quan sát với sự hỗ trợ của kỹ thuật theo vết trong lĩnh vực thị giác máy tính (computer vision) là một điều cần thiết

2 Phương pháp nghiên cứu

Bằng phương pháp xây dựng cơ sở lý thuyết từ tìm hiểu cách lập trình Matlab đến tìm hiểu phương pháp trừ nền (Background Subtractions)[4] để phát hiện đối tượng Sau đó, nghiên cứu đã được tiến hành phân tích và cài đặt thực nghiệm để phát hiện, bám bắt và cảnh báo đối tượng được theo dõi Trong quá trình nghiên cứu, bài báo

so sánh và đánh giá các kết quả thực hiện được

3 Công nghệ camera số, video số:

Hình 1: Công nghệ camera số

Camera là một thiết bị ghi hình có thể ghi lại được những hình ảnh trong một khoảng thời gian nào đó, có khả năng lưu trữ các dữ liệu hình ảnh đó trong bộ ghi kỹ

Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước 2

thuật số và mạng internet

Dựa vào các đặc tính mà camera được phân loại gồm:

 Phân loại theo kỹ thuật hình ảnh

 Phân loại theo đường truyền

 Phân loại theo tính năng sử dụng

Video là thuật ngữ dùng để chỉ nguồn thông tin hình

ảnh trực quan (pictorial visual information), bao gồm một

chuổi các ảnh tĩnh (static image) liên tiếp nhau và được

theo chiều thời gian Các thông số cơ bản của video số

bao gồm:

 Video rate (tốc độ xử lý)

 Khung hình video

 Field của khung hình

 Định dạng HD và SD

Trong nghiên cứu để xử lý các video số cần phải quan

tâm đến các thông số hóa hình ảnh là: Pixcel, độ phân

giải, thông số màu

Các định dạng video số thông dụng trên máy tính là:

AVI (Audio Video Interleave), MP4, …

Hình 2: Video số

4 Kĩ thuật trừ nền phát hiện đối tượng

Trong bối cảnh ứng dụng là một camera tĩnh (static

camera) quan sát vùng (Field of View) không thay đổi,

thao tác trích xuất chuyển động (motion detection) từ

video là thủ tục nền rất quan trọng trong nhiều ứng dụng

phân tích video hiện nay

Mục tiêu của xử lý này là làm sao tách bạch được đâu

là vùng chuyển động (motion, foreground) đâu là nền

(background) trong vùng không gian camera đang theo

dõi Trong nhiều kĩ thuật thì Background Subtraction là

một nhóm các giải pháp có thể giúp giải quyết vấn đề này

đang được sử dụng phổ biến Ý tưởng chính của

Background subtraction là trước tiên đi xác định mô hình

background (một hình, một tập tham số, hay một công

thức có khả năng mô tả background) qua từng khung hình

(frame) trong chuỗi các khung hình tuần tự của video, sau

đó dựa vào giá trị pixel của khung hình hiện tại mà tính

toán sự khác biệt để suy ra foreground [5]

Kĩ thuật trừ nền: Để phát hiện ra được các đối tượng

chuyển động trong video chúng ta phải có được mô hình

nền (background) Mô hình nền này có thể được học qua

nhiều frame ảnh nếu nền bị thay đổi, ngược lại ta có thể

chọn một nền có sẵn nếu nền không bị thay đổi Sau đó, ta

sẽ dùng mô hình nền này để so sánh với frame ảnh hiện

tại và kết quả là ta sẽ nhận biết được đâu là vùng phần

nền, đâu là các phần chuyển động

5 Mô hình hoạt động

Hình 3: Mô hình hoạt động

Để xác định được số lượng đối tượng người trong khung hình, phương pháp thực hiện được trình bày trong

sơ đồ:

Hình 4: Mô tả cài đặt thuật toán

5.1 Khởi tạo background

Để tìm đối tượng chuyển động sử dụng phương pháp trừ nền, bước đầu tiên ta phải xây dựng mô hình background tại thời điểm bắt đầu của video Giả sử trường hợp tại thời điểm bắt đầu không có đối tượng di chuyển

Gọi BM(x,y) là giá trị tại pixel (x,y) của background [4].

5.2 Trừ nền

Sau khi thu được background từ bước khởi tạo, cần tìm ra sự khác nhau giữa khung hình hiện tại và background

D t (x,y) = | I t (x,y) – BM t-1 (x,y) |

Với – BM t-1 (x,y) là cường độ của pixel(x,y) của

background tại thời điểm t-1, và I (x,y) là cường độ của

Matlab process

Có quá nhiều người đang quá quy định ở đây

3 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

pixel(x,y) trong khung hình hiện tại tại thời điểm t

Sư khác biệt giữa D(x,y) được so sánh với một

ngưỡng Threshold để phân loại giữa foreground và

background Nếu D t (x,y) < Threshold thì pixel đó thuộc

về background, ngược lại thì pixel đó thuộc về

foreground

5.3 Cập nhật background

Vì do các yếu đố động của background như độ sáng,

độ tương phản, các yếu tố ngoại cảnh như bóng mây, cây

cối Nên các background phải liên tục cập nhật mỗi khi

nhảy qua frame mới

6 Cài đặt chương trình hệ thống

Chương trình được xây dựng trên Matlab GUI, bất kì

máy tính nào có cài đặt Matlab đều có thể sử dụng được

Giao diện có các chức năng chọn file video cần xử lí,

chọn ngưỡng để phân biệt foreground với background,

cùng với chức năng cảnh báo khi quá giới hạn số người

cho phép

Hình 5: Lập trình GUI trong matlab

[7] Tuy nhiên, để chương trình có thể hoạt động và

cho kết quả chính xác thì cần phải thỏa mãn một số điều

kiện sau:

 Nền của video không được thay đổi

 Camera được dùng để quay video phải đặt ở vị trí

cố định, ở phía trên cửa ra vào và khoảng cách với

người duy chuyển khoảng 1.5m đến 2m đối với

chức năng đếm người trong khung hình

 Ánh sáng trong video phải ổn định, không quá tối

hoặc quá sáng thì các chức năng sẽ làm việc chính

xác hơn

 Chương trình sẽ làm việc chính xác hơn với các

video màu

7 Kết quả đạt được

Trong chương trình mà ta thiết kế, dữ liệu được xử lý

sẽ là đoạn video được quay từ một camera tĩnh, ghi lại với

chuẩn AVI với điều kiện ánh sáng tốt và nền không thay

đổi Nếu dữ liệu được dùng cho việc cảnh báo người hoặc

theo vết khuôn mặt thì camera sẽ được đặt trước cần quan

sát sao cho có thể thu được các khuôn mặt từ phía trước

(khoảng cách từ camera đến khuôn mặt khoảng 2-5m)

Nếu dữ liệu được dùng cho việc đếm số người thì camera

được đặt với một khoảng cách cố định (khoảng 2m) so

với nền nhà tại vị trí lặp đặt thiết bị theo dõi

Hình 6: Chương trình thiết kế

Từ dữ liệu video, chương trình cung cấp một các chức năng sau:

 Thực hiện cảnh báo bằng âm thanh để thông báo cho người dùng khi phát hiện số người chuyển động vượt mức hạn chế trong video

 Hệ thống cung cấp chức năng phát hiện người chuyển động và đếm số người đang hiện diện trong khung hình

 Ngay khi phát hiện có người đang di chuyển trong video, bộ đếm của chương trình sẽ hoạt động

8 Kết luận

 Tìm hiểu được các thuật toán về phát hiện chuyển động bằng phương pháp trừ nền: Frame Differrence, Running Gausian Average và Codebook Tìm hiểu được cách thức đếm được số lượng người ra vào trong một video

 Về cơ bản, đề tài đã hoàn thành được các chức năng được đặt ra như yêu cầu ban đầu như:

 Phát hiện được phần chuyển động qua từng frame của video

 Hoàn thành chức năng cảnh báo người bằng cách sử dụng âm thanh

 Hoàn thành được chức năng đếm số người ra vào một khu vực nhất định từ dữ liệu video thu được thông qua camera, giúp ích cho việc thống

kê, giám sát, phát hiện và cảnh báo những khu vực

có đông người đang tập trung Phù hợp cho công tác chống dịch Covid-19 thực tế hiện nay

 Sử dụng thành công các công cụ phục vụ cho việc xử lý video như Motion Video, FLV Converter để chuyển đối các định dạng video khác nhau về định dạng AVI để dễ dàng cho việc thao tác

So sánh với các nhu cầu khác hiện nay, cho thấy bài báo của nhóm tác giả sẽ có tính ứng dụng với phạm vi rộng trong đời sống xã hội khác ngoài hạn chế, chặn sự bùng dịch Covid-19, ví dụ như: Thống kê, giám sát số lượng người trong các cửa hàng, tòa nhà, đường phố, khu

Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước 4

vui chơi, giúp giảm chi phí thuê người giám sát với hiệu

quả khá cao trong việc phát hiện đối tượng chuyển động

Bên cạnh những kết quả đã đạt được, đề tài vẫn còn có

một số hạn chế cần phải được khắc phục như:

 Tốc độ xử lý của chương trình còn chậm khi xử lý

những video có độ phân giải cao và kích thước lớn

 Chức năng đếm số người chỉ đếm dựa trên sự di

chuyển của các đối tượng chuyển động ra vào,

không phân biệt đó là người hay là vật

Hướng phát triển: Trong quá trình thực hiện nghiên

cứu, do những hạn chế về trình độ và thời gian thực hiện

có hạn, chương trình được xây dựng chỉ là phần demo các

thuật toán phát hiện chuyển động và theo vết đối tượng

dựa vào video Để triển khai trong thực tế nó đòi hỏi cần

phải cải tiến hơn nữa Hy vọng trong tương lai, những

phát triển dưới đây sẽ giúp bài báo hoàn thiện hơn

 Kết hợp việc phát hiện khuôn mặt với việc phát

hiện mắt, phát hiện hình dáng của con người

 Xây dựng được thuật toán cải thiện chất lượng của

video như loại trừ nhiễu, loại trừ bóng mờ và tối ưu

hóa các thuật toán để tăng tốc độ của chương trình

 Hỗ trợ các tùy chọn giúp người dùng có thể điều

chỉnh khoảng cách giữa camera và đối tượng tùy

thuộc vào cấu trúc của vị trí mà họ sử dụng để đặt

camera quan sát

 Xử lý được việc che lấp đối tượng nhắm tạo kết

quả chính xác cao hơn cho cho chức năng theo dõi

khuôn mặt người

 Mở rộng thêm thuật toán Camshift để có thể theo dõi được nhiều đối tượng trong video cùng lúc và thực hiện đếm được tổng số người xuất hiện trong video thông qua chức năng này

 Xây dựng cơ sở dữ liệu giúp nhận dạng nhiều đối tượng một cách tự động thông qua khuôn mặt

 Lấy dữ liệu video trực tiếp từ camera số làm nguồn

để chương trình xử lý Tăng tính thời gian thực (Real time) để hệ thống thêm tối ưu nhất

 Phát triển nhiều nghiên cứu ứng dụng xử lý ảnh mới, mang tính kế thừa của bài báo lần này mang tính khả thi trong phạm vị ứng dụng rỗng rãi hơn

Tài liệu tham khảo

[1] COVID-19 Research and Development with MATLAB and Simulink, 2020, https://www.mathworks.com/solutions/covid-19-research-and-development.html

[2] Butler D., Sridharan S Real-Time Adaptive Background Segmentation, ICASSP 2003, 2003.

[3] The end of social confinement and COVID-19 re-emergence risk,

2020, https://www.nature.com/articles/s41562-020-0908-8 [4] Background-Subtarctions,2019

https://github.com/shalevdavid/VideoBackgroundSubstitution [5] Maddalena L., Petrosino A A self organizing approach to background subtraction for visual surveillance applications, IEEE Transactions on Image Processing, Volume17, No 7, pages 1729–

1736, 2008 [334]Bouwmans T Subspace Learning for Background Modeling: A Survey, Recent Patents on Computer Science, Volume

2, No 3, pages 223-234, November 2009.

[6] Kỷ yếu hội thảo quốc gia, Một số vấn đề chọn lọc của công nghệ

thông tin, Nhà xuất bản khoa học và kỹ thuật, tháng 8-2005