Nghiên cứu một số thuật toán xử lý ảnh ứng dụng trong bài toán giảm sát tự động

Trong giám sát tự động thông qua hình ảnh video thu nhận từ camera, việc phát hiện và bám theo đối tượng là một khâu quan trọng.. Để có thể phát hiện được đối tượng ta cần các kỹ thuật x

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

MỤC LỤC

PHẦN MỞ ĐẦU 999

CHƯƠNG 1 111111

KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 111111

1 1 Khái quát về xử lý ảnh 111111

1 1 1 Xử lý ảnh là gì? 111111

1 1 2 Một số vấn đề cơ bản trong xử lý ảnh 121212

1 1 3 Một số ứng dụng cơ bản trong xử lý ảnh 121212

1 1 3 Xử lý video 131313

1 1 3 1 Sơ lược về lịch sử phát triển 131313

1 1 3 2 Một số khái niệm và định nghĩa xử lý video 141414

1 1 3 3 Một số dạng chuẩn và kiến trúc của Video 161616

1 1 3 4 Một số vấn đề cơ bản trong xử lý video 212121

1 2 Giám sát đối tượng 212121

1 2 1 Lịch sử phát triển của hệ thống giám sát đối tượng 212121

1 2 2 Các thành phần trong xây dựng hệ thống giám sát đối tượng 232323

1 2 3 Các bước chính cần thực hiện trong hệ thống giám sát đối tượng 242424

1 2 4 Ứng dụng của giám sát đối tượng 242424

CHƯƠNG 2 262626

MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH TRONG GIÁM SÁT TỰ ĐỘNG ĐỐI TƯỢNG 262626

2 1 Phát hiện đối tượng 262626

2 1 1 Kỹ thuật trừ ảnh 262626

2 2 1 1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 272727

2 2 1 2 Trừ ảnh phân khối 292929

2 2 1 3 Phương pháp biểu đồ 313131

2 2 1 4 Phương pháp thống kê 353535

2 2 1 5 Trừ ảnh dựa vào đặc trưng 363636

2 1 2 Kỹ thuật trừ nền 373737

2 1 2 1 Phương pháp Frame Differencing 393839

2 1 2 2 Mô hình Gauss hỗn hợp 403939

2 2 Bám sát đối tượng (Tracking) 444344

2 2 1 Đánh dấu đối tượng 464445

2 2 2 Kỹ thuật bám sát đối tượng 474546

CHƯƠNG 3 595657

CHƯƠNG TRÌNH THỬ NGHIỆM 595657

3 1 Bài toán 595657

3 1 1 Phát biểu bài toán 595657

3 1 2 Yêu cầu của hệ thống 595657

3 1 3 Tư tưởng 595657

3 2 Cài đặt chương trình và một số hình ảnh thử nghiệm 615758

3 2 1 Yêu cầu phần cứng 615758

3 2 2 Một số hình ảnh thử nghiệm 615859

PHẦN KẾT LUẬN 646061

TÀI LIỆU THAM KHẢO 666263

PHỤ LỤC 686465

Các bước thao tác với file AVI 686465

DANH MỤC HÌNH VẼ

Hình 1 1- Quá trình xử lý ảnh 111111

Hình 1 2- Các bước cơ bản trong một hệ thống xử lý ảnh 121212

Hình 1 3- Zeotrope 141414

Hình 1 4 - Khung hình 151515

Hình 1 5- Thước đo độ xám 151515

Hình 1 6- Không gian màu RGB 161616

Hình 1 7- Không gian màu CMY 161616

Hình 1 8- Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống 222222 Hình 1 9- Phòng điều khiển hệ thống giám sát hiện đại 222222

Hình 1 10- Mô hình hệ thống giám sát đối tượng 232323

Hình 1 11- Các bước cần thực hiện trong quá trình giám sát tự động 242424

Hình 2 1- Các cửa sổ cơ sở trong thuật toán so sánh thực 303030

Hình 2 2- So sánh biểu đồ giữa hai ảnh 323232

Hình 2 3- Mẫu vector cho các di chuyển camera 363636

Hình 2 4- Qui trình trừ nền 383738

Hình 2 5- Thể hiện đối tượng bằng điểm (a) điểm trọng tâm (b) tập hợp điểm 464445

Hình 2 6- Thể hiện đối tượng bằng hình bao (a) bao đối tượng bằng hình chữ nhật (b) bao đối tượng bằng hình ellipse 464445

Hình 2 7- Thể hiện đối tượng (a) các khớp kết nối (b) đường biên đầy đủ (c) điểm điểm khiển trên đường biên đối tượng (d) bằng bóng của đối tượng 474546 Hình 2 8- Phân loại kỹ thuật bám sát đối tượng 484647

Hình 2 9- (a) Tiếp cận bám sát đa điểm tương ứng (b) bám sát theo dịch chuyển khung hình chữ nhật (c,d) bám sát theo đường biên 494748

Hình 2 10- (a) Các cạnh quan sát được theo biên thông thường (b) Thể hiện mức đường biên, mỗi vị trí trên lưới mã hóa khoảng cách Euclide giữa các điểm trên lưới và trên đường biên; thể hiện giá trị mức xám của lưới 575455 Hình 3 1- Tiến trình xử lý của bài toán 605758 Hình 3 2- Giao diện của chương trình 615859 Hình 3 3- Đếm số đối tượng có trong khung hình ở thời điểm hiện tại 625859 Hình 3 4- Đánh dấu vùng quan sát đối tượng bằng đường thẳng 635960 Hình 3 5- Đánh dấu vùng quan sát đối tượng bằng hình chữ nhật 635960

DANH MỤC BẢNG BIỂU

Bảng 1 1- So sánh một số định dạng file video trên thị trường

PHẦN MỞ ĐẦU

Trong những năm gần đây, giám sát tự động là một trong những lĩnh vực được quan tâm và phát triển rộng rãi Một trong những lý do khiến giám sát tự động phát triển mạnh mẽ là do sự tiến bộ của khoa học công nghệ và khả năng ứng dụng rộng khắp của hệ thống

Ở Việt Nam tại một số trục đường trọng điểm như Nguyễn Thái Học, Khuất Duy Tiến, Kim Mã…, một số đường cao tốc như Pháp Vân-Cầu Giẽ, hệ thống camera giám sát được sử dụng để ghi lại hình ảnh phương tiện lưu thông trên đường, trợ giúp quan sát điểm đang bị ách tắc giao thông cũng như là căn

cứ để xác định phải trái nếu có tai nạn giao thông Trong các siêu thị, cửa hàng bán lẻ… ta cũng nhận thấy sự hiện diện của các camera quan sát Một số điểm trông giữ xe công cộng cũng đã được trang bị hệ thống camera Tuy nhiên, hiện tại, các hệ thống camera được sử dụng mang tính giám sát Chúng ta cần có quan sát viên theo dõi các đoạn video thu nhận được từ camera, và các dữ liệu thu nhận được từ các camera này hiện chỉ được dùng làm dữ liệu cung cấp thêm chứng cứ sau khi đã có những điều đáng tiếc xảy ra Với mục đích xây dựng và phát triển một hệ thống giám sát có hiệu quả kinh tế cũng như kịp thời ngăn chặn được những bất trắc, thì xây dựng một hệ thống giám sát tự động là cần thiết

Hệ thống giám sát tự động không chỉ giúp quan sát được thời gian thực (24/24h) mà còn giúp cảnh báo được những mối nghi ngờ nhằm ngăn chặn được những điều bất cập sẽ xảy ra

Trong giám sát tự động thông qua hình ảnh video thu nhận từ camera, việc phát hiện và bám theo đối tượng là một khâu quan trọng Để có thể phát hiện được đối tượng ta cần các kỹ thuật xử lý ảnh nhằm phân biệt giữa đối tượng cần bám sát với nền trong đoạn video thu nhận được Quá trình bám sát đối tượng thực chất là sự so sánh về vị trí của đối tượng trong chuỗi hình ảnh được ghi nhận được

Xuất phát từ hoàn cảnh đó, luận văn lựa chọn đề tài “Nghiên cứu một số

thuật toán xử lý ảnh ứng dụng trong bài toán giám sát tự động” Đây là vấn

đề không chỉ có tính khoa học mà còn mang đậm tính thực tiễn, nhất là trong hoàn cảnh Việt Nam, chưa có nhiều các nghiên cứu này

Bố cục của luận văn gồm phần mở đầu, phần kết luận và ba chương nội dung được bố cục như sau:

Chương 1- Khái quát về xử lý ảnh và giám sát đối tượng

Chương này đưa ra các khái niệm tổng quan về ảnh và video Các khái niệm cơ bản về giám sát đối tượng cũng được lần lượt trình bày trong chương Chương 2- Một số kỹ thuật xử lý ảnh trong giám sát tự động đối tượng Nội dung chính của chương 2 đề cập tới một số kỹ thuật chính trong giám sát đối tượng tự động và một số thuật toán xử lý ảnh ứng dụng trong giám sát đối tượng

Chương 3- Chương trình thử nghiệm

Kế thừa những nghiên cứu đã được trình bày trong chương 2, chương 3 sẽ ứng dụng một kỹ thuật giám sát tự động đã được trình bày để cài đặt thử nghiệm một chương trình

CHƯƠNG 1 KHÁI QUÁT VỀ XỬ LÝ ẢNH

VÀ GIÁM SÁT ĐỐI TƯỢNG

1 1 Khái quát về xử lý ảnh

1 1 1 Xử lý ảnh là gì?

Định nghĩa

Trong khoa học máy tính xử lý ảnh là bất kỳ một dạng xử lý tín hiệu nào

với đầu vào là một hình ảnh: có thể là ảnh chụp hay đoạn video, kết quả đầu ra

là một ảnh hoặc một tập các đặc trưng hay tham số có liên quan tới ảnh đầu vào

[wikipedia]

Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm

cho ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh có thể là

một ảnh “tốt hơn” hoặc một kết luận [1]

Hình 1 1- Quá trình xử lý ảnh

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như

là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối

tượng trong không gian và nó có thể xem như một hàm n biến P(c1 , c 2 , , c n )

Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều

Formatted: French (France)

Sơ đồ tổng quát của một hệ thống xử lý ảnh

Hình 1 2- Các bước cơ bản trong một hệ thống xử lý ảnh

1 1 2 Một số vấn đề cơ bản trong xử lý ảnh

Tiền xử lý:

Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số Tùy thuộc vào quá trình xử lý tiếp theo trong giai đoạn này sẽ thực hiện các công đoạn khác nhau như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu…

Trích chọn đặc điểm

Các đặc điểm của đối tượng được trích chọn tùy theo mục đích nhận dạng trong quá trình xử lý ảnh Trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ tính toán cao và dung lượng nhớ, lưu trữ giảm

Đối sánh, nhận dạng

Nhận dạng tự động, mô tả đối tượng, phân loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành khoa học khác nhau Mẫu có thể là ảnh của vật nào đó được chụp, một chữ viết tay…

- Công nghiệp tự động hóa: Công nghệ chế tạo rô-bốt…

- Xử lý ảnh y tế: Phân tích ảnh điện tâm đồ ECG- Electrocardiogram, điện não đồ EEG- Electroencephalogram, đo điện cơ EMG- Electromyography; phân tích ảnh X-quang,…

- Remote sensing: Nghiên cứu và quản lý tài nguyên thiên nhiên, kiếm soát ô nhiễm môi trường…

- Ứng dụng khoa học: nghiên cứu vật lý năng lượng (high energy physics),

- Kiểm soát tội phạm (Criminology): nhận dạng vân tay, đối sánh mặt người, giám định pháp y…

- Ứng dụng trong khoa học vũ trụ: phân tích ảnh viễn thám, …

- Khí tượng học: dự báo thời tiết, xác định thay đổi thời tiết dựa vào ảnh thu nhận từ vệ tinh, phân tích mẫu mây…

- Công nghệ thông tin: truyền tín hiệu fax, hội thảo từ xa…

Và nhiều ngành khoa học khác như giải trí, in ấn, nghệ thuật…

1 1 3 Xử lý video

1 1 3 1 Sơ lược về lịch sử phát triển

Năm 1834, nhà toán học William George Horner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển động từ một dãy ảnh liên tục Phát minh này có thể coi là sự mở màn cho công cuộc khai sinh ra ảnh video Năm

1877, Emile Reynaud cải tiến chiếc zeotrope thành praxinoscope Hình ảnh thu nhận được từ máy này rõ ràng hơn từ zeotrope Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linh hoạt, cho phép lưu trữ nhiều hình ảnh trên một cuộn phim Đến năm 1895, Louis Lumiere là một trong những người đầu tiên đưa ra hệ thống máy chiếu phim Đây cũng là thời điểm đánh dấu sự phát triển của phim với hình ảnh chuyển động

Hình 1 3- Zeotrope

(nguồn http://courses ncssm edu/gallery/collections/toys/html/exhibit10 htm)

Kỹ thuật video được phát triển đầu tiên cho hệ thống ti vi sử dụng bóng cathode CRT Trong thời kỳ này cũng có nhiều nhà khoa học nghiên cứu để phát minh ra những kỹ thuật mới cho thiết bị hiển thị video Charles Ginsburg đã cùng với đội nghiên cứu của mình phát triển chiếc băng ghi hình đầu tiên VTR-Video Tape Recorder

Năm 1951, băng từ lần đầu tiên được sử dụng để ghi lại hình ảnh và đã thu được 50,000 bảng vào năm 1956 Tiếp sau đó lần lượt là sự ra đời của băng cát sét ghi VCR- Video Cassette Recorder năm 1971 Ngày nay, công nghệ máy tính phát triển chúng ta đã có thể ghi, lưu trữ, chỉnh sửa và truyền thông tin hình ảnh qua mạng máy tính dưới dạng các video clips

Tóm lại, video được chia thành hai giai đoạn phát triển chính: giai đoạn tín hiệu analog và digital

1 1 3 2 Một số khái niệm và định nghĩa xử lý video

Video là một tập hợp các khung hình (frames) Mỗi khung hình là một hình ảnh, là đơn vị dữ liệu cơ bản nhất của video Video có thể được hiểu là một chuỗi các hình ảnh liên tiếp Để mắt người có thể cảm nhận được sự chuyển

động của các hình ảnh thì các khung hình phải được phát liên tục với một tốc độ nhất định Thông thường, tốc độ đó là 25 hình/giây hoặc 30 hình/giây

Hình 1 4 - Khung hình

Không gian độ xám, không gian màu

Không gian độ xám chỉ có một thành phần, biến đổi từ đen đến trắng Không gian độ xám thường được sử dụng trong hiển thị và in trắng đen

Hình 1 5- Thước đo độ xám

Một không gian màu là một mô hình đại diện cho màu về mặt giá trị độ sáng, một không gian màu xác định số thông tin màu được thể hiện Mỗi điểm ảnh trong khung hình (ảnh) có thể được coi là đại diện của một điểm trong không gian màu ba chiều Thông thường có các không gian màu: RGB, CMY, Munsell, CIE,HSV…bên cạnh các không gian màu này có không gian độ xám Không gian màu RGB là không gian được sử dụng rộng rãi trong hiển thị hình ảnh Không gian này tạo ra các màu mà mắt người nhìn thấy và cảm nhận được từ ba màu cơ bản R (Red-đỏ), G (Greeen-xanh) và B (Blue-lam)

Hình 1 6- Không gian màu RGB

Không gian màu CMY chủ yếu sử dụng trong in ấn CMY tương ứng với Cyan-Lục, Magenta- Đỏ tươi và Yellow- Vàng

Hình 1 7- Không gian màu CMY

Xử lý video được xem là một trường hợp đặc biệt của xử lý tín hiệu Trong đó, các tín hiệu đầu vào và đầu ra là các tệp video hay luồng video

1 1 3 3 Một số dạng chuẩn và kiến trúc của Video

Với mục đích đưa các hình ảnh video đi khắp toàn cầu, các công ty đã xây dựng những chuẩn nén dữ liệu hình ảnh và âm thanh nhằm làm giảm kích thước của các file video được truyền đi nhưng vẫn đảm bảo chất lượng Các dạng thức nén video và âm thanh này được gọi với tên chung là bộ codecs

Có rất nhiều bộ codec trên thế giới Tuy nhiên, có hai tổ chức chính quy

định về việc chuẩn hóa này là tổ chức “ISO/IEC- International Organization for

Standardization and the International Electrotechnical Commission” và tổ chức

của Hiệp hội Viễn thông Quốc tế ITU- “T standardizes formats for the

International Telecommunications Union”

Chuẩn do hai tổ chức quy định được chia thành hai nhóm chính đó là

chuẩn MPEG-Moving Pictures Experts Group, chịu trách nhiệm về các dạng

thức nén MPEG-1, MPEG-2 và MPEG-4; và các dạng chuẩn thức nén T như

H 261, H264

Trên thị trường hiện có nhiều file video được lưu dưới định dạng khác nhau như VCD, SVCD, AVI, MOV… Các định dạng file này đều tuân theo các chuẩn nén được quy định Dưới đây là bảng so sánh về chuẩn nén, dung lượng cũng như chất lượng hình ảnh của các file

Chuẩn MPEG-1: Chuẩn MPEG-1 là chuẩn MPEG đầu tiên, được phát triển cho quá trình lưu trữ hình ảnh video trên Compac Disk, đĩa có dung lượng

70 phút và có số vòng quay là 1 4Mbits/giây

Chuẩn MPEG-2: Chuẩn MPEG-2 là chuẩn được phát triển dựa trên nền MPEG-1 MPEG-2 hỗ trợ nén luồng âm thanh 4 kênh Chuẩn MPEG-2 được sử dụng trong truyền hình kỹ thuật số vệ tinh, truyền hình cáp và dành cho định dạng đĩa DVD

Chuẩn MPEG-4: Là chuẩn cho các ứng dụng Multimedia MPEG-4 là chuẩn dùng trong truyền hình số, các ứng dụng về độ họa, video tương tác (game, video conference)

Trong MPEG-4, các đối tượng khác nhau trong một khung hình có thể được mô tả, mã hóa truyền đi một cách riêng biệt đến bộ giải mã trong các dòng

cơ bản khác nhau Cũng nhờ xác định, tách và xử lý riêng các đối tượng như nhạc nền, âm thanh xa gần, đồ vật, đối tượng ảnh video ( con người, nền khung hình…) nên người dùng có thể loại bỏ được tượng khỏi khuôn hình Quá trình tương tác trở nên đơn giản và dễ dàng hơn

Chuẩn H 261 là chuẩn mã hóa và giải mã video cho giải thông 64Kbps Chuẩn này hỗ trợ độ phân giải trung bình như QCIF và lên đến CIF (704x576) Chuẩn H 264 là chuẩn được phát triển dưới sự liên kết của ITU và MPEG Đây cũng là chuẩn cung cấp kỹ xảo nén hành động mạnh hơn các chuẩn trước đó

Định dạng VCD SVCD DVD

HDDVD HDTV

AVI, DivX XviD, WMV

MOV, QuickTime

RM RealMedia

Độ phân giải

NTSC/PAL

352x240 352x288

480x480 480x576

720x480² 720x576²

1920x1080² 1280x720²

640x480² 640x480² 320x240²

Chuẩn nén video MPEG1 MPEG2 MPEG2,

MPEG1

MPEG2 (WMV- MPEG4)

MPEG4 Sorenson,

Cinepak, MPEG4

MP1, MP2, AC3, DTS, PCM

MP3, WMA, OGG, AAC, AC3

QDesign Music, MP3

RM

Audio bitrate 224kbps ~224kbps ~448kbps ~448kbps ~128kbps ~128kbps ~64kbps

Dung lượng/phút 10

MB/phút

10-20 MB/phút

30-70 MB/phút

~150MB/phút (~60MB/phút)

4-10 MB/phút

4-20 MB/phút

2-5 MB/phút

Giờ/DVD N/A N/A 1-2giờ

(2-5giờª)

~30phút (~1giờ)

7-18giờ 3-18giờ 14-35giờ

13-30giờ 6-30giờ 25-65giờ

1 1 3 4 Một số vấn đề cơ bản trong xử lý video

Video là do một chuỗi ảnh liên tiếp chuyển động tạo thành Để có thể truyền tải video, các thông tin và dữ liệu này được mã hóa Do đó, để có thể xử

lý được các tín hiệu video bên cạnh việc xử lý các vấn đề khách quan như điều kiện ánh sáng, vị trí đặt camera… ta cũng cần quan tâm tới các vấn đề về tiêu chuẩn nén của video

Về cơ bản hệ thống xử lý video gần giống với hệ thống xử lý ảnh Tuy nhiên, do đặc trưng chuyển động của hình ảnh nên ta cần quan tâm tới các vấn đề:

- Xác định đối tượng, số lượng đối tượng có trong ảnh

- Xác định đối tượng chuyển động trong ảnh: các đối tượng dời đi hay chuyển tới, chuyển động đơn hay chuyển động trong đám đông

- Tách đối tượng từ một nhóm đối tượng chuyển động

- Tách đối tượng với bóng của bản thân

1 2 Giám sát đối tượng

1 2 1 Lịch sử phát triển của hệ thống giám sát đối tượng

Dù ra đời muộn, vào nửa cuối của thập niên 90, hệ thống giám sát đối tượng đã trải qua những thăng trầm và có những kết quả đáng khích lệ và vẫn đang được tiếp tục nghiên cứu, phát triển

Hệ thống giám sát đối tượng trước tiên là thời kỳ của mạch tivi khép kín

(CCTV-Closed Circuit Television) CCTV là một hệ thống gồm các camera được

kết nối theo một mạch kín hay vòng với các hình ảnh được gửi tới màn hình trung tâm hay được lưu trữ lại

Tiếp đến là sự ra đời của tín hiệu analog cùng với đĩa từ đã giúp lưu trữ lại những thông tin giám sát Các hình ảnh thu nhận được từ camera được lưu lại

trong các băng từ (VHS- Video Home System) Tuy nhiên, trong thời kỳ này thì

hình ảnh được lưu lại chậm và tốn nhiều không gian lưu trữ Hàng ngày, nhân viên phụ trách hệ thống phải thay băng, đĩa từ Hệ thống băng từ này được lưu trong khoảng thời gian 1 tháng, rồi được xóa đi để lưu lại cho tháng kế tiếp

Hình 1 8- Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống

(Nguồn video surveillance E6998-007 senior/feris/tian…)

Sự phát triển của kỹ thuật số đã đem lại những kết quả đáng ghi nhớ cho

hệ thống giám sát Các dữ liệu thu nhận được từ hệ thống camera được lưu lại

trực tiếp trên ổ đĩa cứng của máy tính Các dữ liệu này được bảo mật nhờ tính

năng khóa mã của máy tính, và sự phát triển của Internet giúp các thông tin

được truyền đi từ máy này sang máy khác trong một khoảng thời gian ngắn mà

vẫn đảm bảo tính chính xác của dữ liệu

Hình 1 9- Phòng điều khiển hệ thống giám sát hiện đại

(Nguồn: http://www securite-surveillance com/blog/index

php/video-surveillance-la-ville-de-mexico-signe-avec-thales/)

Formatted: French (France)

1 2 2 Các thành phần trong xây dựng hệ thống giám sát đối tượng

Trong hệ thống giám sát đối tượng, tất cả các thông tin về hình ảnh thu nhận được từ camera hoặc hệ thống camera được truyền về trung tâm Tại đây, các thông tin sẽ được phân tích, xử lý để đưa ra các quyết định phù hợp

Hệ thống giám sát đối tượng với quy mô nhỏ hay lớn đều cần có:

- Camera (hoặc hệ thống camera -với quy mô lớn): Trong hệ thống nhỏ có thể chỉ cần một camera Đối với các hệ thống lớn, ta có một hệ thống camera được đặt tại các khu vực cần quan sát

Ví dụ: tại một tòa nhà ta cần đặt camera tại bãi đỗ xe, tại sảnh, cầu thang (cầu thang bộ, cầu thang máy), tại các tầng…

- Màn hình theo dõi (hoặc hệ thống màn hình): Trên một màn hình có thể đặt tương ứng với một camera hoặc chia chế độ màn hình hiển thị với các phân vùng ứng với số lượng camera…

- Đầu ghi hình DVR độc lập ( hoặc card DVR cắm máy tính)

- Phòng điều khiển (giám sát): Tại đây đặt màn hình theo dõi của hệ thống Phòng có bố trí nhân viên để phụ trách quản lý và điều hành hệ thống

Hình 1 10- Mô hình hệ thống giám sát đối tượng

1 2 3 Các bước chính cần thực hiện trong hệ thống giám sát đối tượng

Để có thể xây dựng hệ thống giám sát thông minh, bên cạnh việc thiết lập một hệ thống phần cứng phục vụ quá trình giám sát, ta cần phát triển hệ thống phần mềm hỗ trợ quá trình xử lý Lược đồ dưới đây chỉ ra các bước cơ bản cần thực hiện trong quá trình xây dựng phần mềm hỗ trợ giám sát tự động

Hình 1 11- Các bước cần thực hiện trong quá trình giám sát tự động

1 2 4 Ứng dụng của giám sát đối tượng

Giám sát đối tượng là một lĩnh vực có khả năng ứng dụng thực tế cao Thật vậy, hệ thống giám sát đối tượng được sử dụng trong nhiều lĩnh vực: Giao thông:

- Quan sát lưu lượng xe lưu thông trên các tuyến phố,

- Kiểm soát tốc độ của xe trên đường cao tốc,

- Tạo đường biên ảo cho các khu vực cần đảm bảo an ninh…

Sân bay, ga tàu:

- Tạo hàng rào ảo nhằm bảo vệ an toàn, phòng tránh tai nạn

- Nhận diện khuôn mặt nhằm phát hiện đối tượng truy nã, nguy hiểm, thành phần khủng bố

- Dò tìm các vật khả nghi được đặt lại sau một khoảng thời gian

Ngân hàng:

- Hệ thống cảnh báo khẩn cấp khi có cướp

- Đếm lượt người đến giao dịch nhằm cung cấp thông tin hỗ trợ cho nhà quản lý

- Phát hiện đối tượng bị mất

- Phát hiện đối tượng tình nghi, phát hiện vật thể bị bỏ quên…

Ngoài ra, hệ thống giám sát còn có thể cung cấp thông tin cảnh báo khu vực có khói, có lửa…

CHƯƠNG 2 MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH TRONG GIÁM SÁT TỰ

ĐỘNG ĐỐI TƯỢNG

Như đã trình bày, giám sát đối tượng tự động là quá trình phân tích đối tượng thu nhận được từ dữ liệu video từ camera Quá trình giám sát đối tượng tự động được xem như là phân tích dữ liệu video một cách tự động Để thực hiện được quá trình này ta cần nghiên cứu một số kỹ thuật xử lý ảnh, vì bản chất xử

lý dữ liệu video chính là xử lý hình ảnh trong các khung hình

2 1 Phát hiện đối tượng

Phát hiện đối tượng là một trong những cơ chế quan trọng của giám sát đối tượng Phát hiện đối tượng có thể được thực hiện bằng nhiều kỹ thuật như kỹ thuật trừ ảnh, kỹ thuật trừ nền, kỹ thuật dò biên…

2 1 1 Kỹ thuật trừ ảnh

Video được xem là một dãy N khung hình liên tiếp (f1 , f 2 , …, f N ), mỗi

khung hình là một ảnh tĩnh Các hình ảnh có tính liên tục được hiển thị lần lượt

Độ sáng của một điểm ảnh cụ thể trong khung hình được coi là một hàm của

thời gian f(x,y,t) trong đó (x,y) là tọa độ của điểm ảnh trong không gian và t là

thời gian xét khung hình

Mục tiêu chính của kỹ thuật trừ ảnh là để kiểm tra xem giữa hai ảnh có sự sai lệch nhau hay không, và xác định được vị trí của vùng sai lệch Cần phải lưu

ý rằng: sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá trị màu

Ký hiệu D(f1 ,f 2 ) là sự sai khác giữa hai khung hình f 1 , f 2 Sự sai khác này

lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển động giữa hai khung hình Sự thay đổi trên khung hình được tính toán trên một đặc trưng nhất định Thông thường, các đặc trưng được sử dụng là nội dung màu sắc, là biểu đồ (biểu đồ màu, hoặc biểu đồ mức xám), là cạnh, là vectơ chuyển động, hoặc góc hay kết cấu (texture)

Để thực hiện được kỹ thuật này ta cần:

- Xác định đặc trưng cần so sánh

- Xác định công thức trừ ảnh D

- Xác định ngưỡng sai khác Tb Những sai khác lớn hơn ngưỡng là những

giá trị cần xem xét và là dấu hiệu có đối tượng

Kỹ thuật trừ ảnh có thể được phân thành 5 loại:

Trừ ảnh dựa vào điểm ảnh: thực hiện so sánh các cặp điểm ảnh tương

ứng trên hai ảnh liên tiếp

Trừ ảnh dựa vào khối: Chia ảnh thành các miền sau đó tiến hành so sánh

các miền tương ứng

Trừ ảnh dựa vào biểu đồ: So sánh sự phân bố thuộc tính ví dụ như biểu

đồ màu, biểu đồ mức xám, …

Trừ ảnh dựa vào đặc trưng: Sử dụng một số đặc trưng cơ bản như đặc

trưng cạnh, đặc trưng vector chuyển động để phát hiện sự chuyển đổi giữa các cảnh

Trừ ảnh dựa vào thống kê: Kỹ thuật này dựa vào kỹ thuật trừ điểm ảnh

nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lượng thống kê điểm ảnh của các miền đó

Để thống nhất ta giả sử hai ảnh I1 và I2 có cùng kích thước Trừ hai ảnh I1

và I2 là thực hiện việc tính toán sự sai khác giữa hai ảnh đó

2 2 1 1 Kỹ thuật trừ ảnh dựa vào điểm ảnh

Trừ ảnh dựa vào điểm ảnh là phương pháp đơn giản nhất để xác định sự khác biệt giữa hai khung hình Phương pháp này được tính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung hình:

0 2

1 , ) 1 ( , ) ( , )

y X x

y x f y x f Y

X f

f

Giá trị chênh lệch tìm được từ công thức trên được so sánh với ngưỡng

chuyển cảnh Tb để xác định xem có sự khác biệt hay không

Kỹ thuật trừ ảnh dựa vào điểm ảnh là kỹ thuật đơn giản Tuy nhiên, kỹ thuật này có nhược điểm lớn là không phân biệt được sự thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn Nói cách khác, kỹ thuật trừ giá trị điểm ảnh rất nhạy với nhiễu và sự di chuyển của camera Một trong những phương pháp cải tiến kỹ thuật này được thực hiện bằng cách đếm tổng số điểm ảnh có thay đổi lớn hơn một ngưỡng nào đó và so sánh giá trị tính được với một ngưỡng khác để phát hiện có sự thay đổi về hình ảnh

1 , ) 1 ( , )

y X x

y x DP Y

X f

f

Nếu tỷ lệ số điểm ảnh thay đổi D(f1 ,f 2 ) lớn hơn ngưỡng T 1 thì đó có sự

khác biệt về hình ảnh, có sự chuyển cảnh do cắt xén video Tuy các thay đổi không liên quan trong khung hình đó được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển camera và đối tượng Chẳng hạn, khi camera quay theo đối tượng, rất nhiều điểm ảnh được cho là thay đổi, dù trên thực tế có ít điểm ảnh dịch chuyển Kết quả này là do khi camera quay theo đối tượng thì cường độ của một số điểm ảnh dịch chuyển ít bị thay đổi nên sẽ bị hiểu là có sự dịch chuyển của các điểm ảnh này Để làm giảm sự ảnh hưởng này, ta có thể sử dụng một bộ lọc trơn: trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá trị trung bình của các điểm ảnh lân cận

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh với việc chiếu sáng Khi đó người ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai Ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic [7]:

1

0 2

) , ( ) , ( 1

)

,

y X

y x f y x f Y

X f

f

Phương pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị điểm ảnh, nhưng có thể mở rộng đối với các ảnh màu Ví dụ với ảnh màu RGB, ta tính tổng có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh

i Y

y

y x f y x f w f

f

D

0 { , , }

2 1

0 2

1 , ) | ( , ) ( , ) |

2 2 1 2 Trừ ảnh phân khối

Trái ngược với hướng tiếp cận sử dụng các đặc tính toàn cục của cả khung

hình, hướng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tính độc

lập với các di chuyển của camera và đối tượng Mỗi khung hình được chia thành

b khối Các khối trên khung hình f 1 được so sánh với các khối tương ứng trên

khung hình f2 Về cơ bản, độ chênh lệch giữa hai khung hình được tính như sau:

k k k

k

k

2 1

2 2 2 1 2

1

22

-k, k là giá trị cường độ trung bình của khối thứ k

- k, k là độ chênh lệch tương ứng với hai khối

Một cắt cảnh xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D(f1 ,f 2 ) > T 2

và Ck =1 cho tất cả các khối

Formatted: French (France)

Field Code Changed Formatted: French (France)

Formatted: French (France) Formatted: French (France) Formatted: French (France) Formatted: French (France)

Một hướng tiếp cận khác với kỹ thuật trừ ảnh phân khối do Shaharay [11] đưa ra Phương pháp này chia khung hình thành 12 miền và tìm miền thích hợp nhất cho mỗi miền ở khung hình kia Độ chênh lệch tính bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp Tổng các trọng số của các chênh lệch đó sắp xếp cho ta kết quả D cuối cùng

Một phương pháp khác cũng thuộc nhóm trừ ảnh [14], gọi là so sánh thực, phát hiện chuyển cảnh do ngắt chỉ bằng việc so sánh một phần của ảnh Phương pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể bỏ qua nếu ít hơn một nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều được kiểm tra Với giả thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai khung hình thì kích thước các cửa sổ được chọn đủ lớn để bất biến với các thay đổi không làm vỡ và

đủ nhỏ để có thể chứa thông tin về không gian nhiều chừng nào có thể Các cửa

sổ cơ sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của các điểm ảnh Khi giá trị chênh lệch lớn hơn một ngưỡng nào đó thì xem như miền đang xét đó thay đổi Khi số miền thay đổi lớn hơn một ngưỡng khác thì sự chuyển cảnh do ngắt đó xảy ra Thực nghiệm cho thấy rằng hướng tiếp cận này cho tốc độ nhanh hơn phương pháp so sánh từng cặp điểm

Hình 2 1- Các cửa sổ cơ sở trong thuật toán so sánh thực

Một số nghiên cứu mở rộng ý tưởng lấy mẫu theo không gian thành lấy mẫu theo không gian và thời gian Thuật toán có sử dụng bước nhảy phát hiện cả chuyển cảnh đột ngột và chuyển cảnh dần dần Thuật toán này so sánh hai khung

hình I và J, ở đó j = i + step Nếu không có sự thay đổi đáng kể nào, thì chuyển

sang so sánh các khung hình cách nửa bước nhảy, nghĩa là so sánh hai khung

hình i + step/2 và j + step/2 Ngược lại, tìm kiếm nhị phân được xây dựng để

định vị chuyển cảnh Nếu i và j liên tiếp nhau và sự chênh lệch của hai khung hình lớn hơn ngưỡng thì đó là chuyển cảnh đột ngột do ngắt Nếu không, sử dụng thuật toán trừ ảnh dựa trên việc phát hiện cạnh để phát hiện chuyển cảnh dần dần Hiển nhiên, thuật toán này phụ thuộc vào bước nhảy step: bước nhảy lớn thì tăng hiệu quả nhưng tăng khả năng sai sót, bước nhảy nhỏ sẽ bỏ qua những chuyển cảnh dần dần Thuật toán này có độ nhạy rất cao với sự di chuyển của đối tượng và sự di chuyển của camera

2 2 1 3 Phương pháp biểu đồ

Một phương pháp khác giảm ảnh hưởng của sự chuyển camera và đối tượng là thực hiện trừ ảnh dựa vào biểu đồ Biểu đổ mô tả sự phân bố giá trị điểm ảnh của khung hình

Ý tưởng của cách tiếp cận này là các ảnh có nền không đổi và đối tượng không đổi sẽ có chênh lệch ít trong biểu đồ Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi ít khi góc nhìn thay đổi

Có thể dựng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác giữa

hai khung hình Biểu đồ màu (mức xám) của khung hình i là một vector G chiều

H i = (H i (1), H i (2), … , H i (G)) (2.8)

Với G là số màu (mức xám),

H i (j) là số điểm ảnh của khung hình i có màu (mức xám) j

Phương pháp trừ ảnh dựa trên biểu đồ có thể sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu(mức xám) của toàn bộ khung hình Còn biểu đồ cục bộ chỉ mô tả sự phân

bố của một phần nào đó của khung hình mà thôi

f

D

0

2 1

2

1, ) | ( ) ( ) |

Có thể sử dụng thêm trọng số nếu có một số màu (mức xám) quan trọng hơn với mục tiêu so sánh

W(k) là trọng số ứng với giá trị màu (mức xám) k

Hình 2 2- So sánh biểu đồ giữa hai ảnh

Cách thứ ba là sử dụng phần giao nhau của hai biểu đồ Vùng biểu đồ chồng nhau, phần gạch chéo trong hình 2 2, cho biết độ tương tự về nội dung hai ảnh có thể được định nghĩa như sau:

k H k H f

f

S

0

2 1

0

2 1 2

1

))(),(max(

))(),(min(

),

Như vậy, dựa vào phần giao nhau của hai biểu đồ, có thể tính độ chênh lệch biểu đồ hai khung hình theo công thức:

k H k H

k H k H f

f S f

f

D

0

2 1

0

2 1

2 1 2

1

)) ( ), ( max(

)) ( ), ( min(

1 ) , ( 1 ) ,

Một hướng tiếp cận sử dụng biểu đồ khác là xem một biểu đồ là vectơ và

sử dụng tích vô hướng của chúng:

2 1

2 1 2

1

1 ) ,

(

h h

h h f

số cột ít hơn Yihong dựng giải pháp biểu đồ 8 mức RGB kết quả là biểu đồ có

28 = 256 cột

B B G G R

w f

D f

f

Nói chung, người thường chỉ dựng 20 cột có số điểm ảnh nhiều nhất để so sánh Còn có một cách khác làm giảm số cột của biểu đồ là chỉ dựng 2 bit cao nhất cho cường độ mỗi màu thành phần để mã hoá màu của điểm ảnh

Như vậy việc so sánh biểu đồ chỉ cần thực hiện với 64 cột Các nghiên cứu chỉ ra rằng 256 màu là đủ biểu diễn sự phân bố màu của các cảnh Novak và

Safer thì chỉ chia các cột biểu đồ thành hai loại “full” và “Empty” để ước lượng

thuộc tính bề mặt và điều kiện ánh sáng cho các đối tượng đơn

Chênh lệch biểu đồ có thể được tính bằng công thức Kolmogorov–

Sminov như sau:





k j S

D

0 1 22

1, ) max ( ) ( )

Nói cách khác, chênh lệch tích luỹ lớn nhất giữa hai biểu đồ phân bố cho đến j được tính toán

Giá trị DK-S xác định ranh giới chuyển cảnh Để nhấn mạnh sự sai khác

giữa hai khung hình khi chuyển cảnh qua cắt cứng, ta có thể sử dụng thuật toán

2

 để so sánh biểu đồ màu:

)(

|)()(

|)

,

(

2

2 2 1

0 2 1

k H

k H k H f

Yakimovsky đưa ra công thức:

 

   m n

n mf

f

D

2 2

2 1

2 0 2

 là phần khác nhau của hai biểu đồ

- m,n là số cột tương ứng của hai biểu đồ

Công thức này có thể áp dụng cho cả trường hợp hai biểu đồ có số cột khác nhau

Biểu đồ cục bộ

Như đã đề cập, phương pháp trừ ảnh dựa vào biểu đồ là phương pháp ít chịu ảnh hưởng của nhiễu và di chuyển đối tượng Tuy vậy cũng có một số trở ngại Đầu tiên, biểu đồ chỉ mô tả sự phân bổ các giá trị màu hay mức xám mà không bao hàm bất cứ thông tin nào về không gian Hai ảnh có cùng biểu đồ màu nhưng có nội dung rất khác nhau Trở ngại khác là rất có thể các vùng ảnh nhỏ khi thay đổi sẽ gây chú ý nhưng lại không có vai trò gì trong biểu đồ và do

đó có thể bị bỏ qua khi thực hiện trừ ảnh Để giải quyết vấn đề đó chúng ta sẽ kết hợp trừ ảnh dựa vào biểu đồ với kỹ thuật trừ ảnh phân khối Trừ ảnh phân

khối quan tâm đến thông tin về không gian Về cơ bản phương pháp này tốt hơn việc so sánh từng cặp điểm ảnh, nhưng nó vẫn chịu tác động của sự di chuyển camera và di chuyển của đối tượng Bằng cách kết hợp hai ý tưởng, chúng ta vừa có thể giảm được sự tác động của các di chuyển camera và đối tượng, vừa

sử dụng thông tin về không gian ảnh, và do đó cho kết quả phân đoạn tốt hơn

Ý tưởng chính là ta sẽ chia khung hình thành b khối, đánh số từ 1 đến b

So sánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quả trừ ảnh cuối cùng

f

D

1

2 1 2

f

DP

0

2 1

2

1 , ) | ( , ) ( , ) |

trong đó:

H(j,k) là giá trị biểu đồ tại màu (mức xám) j ứng với khối thứ k

Hướng tiếp cận khác trong kỹ thuật trừ ảnh dựa vào biểu đồ cục bộ được

Swanberg đưa ra Sự chênh lệch DP(f1 ,f 2 ,k) giữa các khối được tính bằng cách

so sánh biểu đồ màu RGB sử dụng công thức sau:

2 2

1 2

1

) , (

)) , ( )

, ( ( )

, ,

(

B G R c

G

c c

k j H

k j H k j H k

f f

2 2 1 4 Phương pháp thống kê

Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểm ảnh, nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lượng thống kê điểm ảnh của miền đó Một cách là

ta sử dụng thống kê tỉ lệ số điểm ảnh thay đổi trên toàn bộ khung hình Ta sử dụng một giá trị d là ngưỡng sai khác được tính giữa hai điểm ảnh tương ứng

Gọi S là tập các điểm ảnh có sai khác lớn hơn d:

     

x y f x y f x y d