Xây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minh

Xây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minhXây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minh

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác

TP Hồ Chí Minh, ngày 20 tháng 6 năm 2016

Học viên thực hiện luận văn

Trương Minh Trung

LỜI CẢM ƠN

Để hoàn thành được luận văn này, ngoài sự nghiên cứu và những cố gắng của bản thân, em xin gửi lời cảm ơn sâu sắc tới Tiến sĩ Ngô Quốc Việt, giáo viên trực tiếp hướng dẫn, tận tình chỉ bảo và định hướng cho em trong suốt quá trình nghiên cứu và thực hiện luận văn

Em xin chân thành cảm ơn, Ban Giám đốc, Ban chủ nhiệm Khoa Sau Đại học và Khoa Công nghệ Thông tin, cùng các Thầy, Cô đã giảng dạy và quản lý đào tạo trong suốt 2 năm theo học tại Học viện Công nghệ Bưu chính Viễn thông

Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè và những người đã luôn ở bên cổ vũ tinh thần, tạo điều kiện thuận lợi để em có thể học tập tốt và hoàn thiện luận văn

Em xin chân thành cảm ơn!

TP Hồ Chí Minh, ngày 20 tháng 6 năm 2016

Học viên thực hiện luận văn

Trương Minh Trung

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT vi

DANH SÁCH BẢNG vii

DANH SÁCH HÌNH VẼ viii

MỞ ĐẦU 1

Chương 1 - TỔNG QUAN NGHIÊN CỨU 3

1.1 Giới thiệu hệ thống giám sát thông minh 3

1.2 Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh trên thế giới 5

1.3 Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh ở Việt Nam 7

1.4 Giới thiệu bài toán phân tích lưu lượng xe 8

1.5 Kết chương 11

Chương 2 - CƠ SỞ LÝ THUYẾT 12

2.1 Các khái niệm cơ bản 12

2.1.1 Video 12

2.1.2 Xử lý ảnh và video 12

2.1.3 Bộ lọc hình thái (Morphology Filter) 14

2.2 Phát hiện và theo vết đối tượng chuyển động 15

2.2.1 Phát hiện đối tượng chuyển động 16

2.2.2 Theo vết đối tượng chuyển động 19

2.3 Một số phương pháp phát hiện đối tượng chuyển động 20

2.3.1 Phương pháp trừ nền 20

2.3.2 Phương pháp Frame Difference 21

2.3.3 Phương pháp Temporal Median Filter 23

2.3.4 Phương pháp Gaussian Mixture Model 24

2.4 Giải quyết bài toán phát hiện các đối tượng chuyển động 29

2.5 Kết chương 32

Chương 3 - PHÂN TÍCH LƯU LƯỢNG XE 33

3.1 Ước lượng số lượng phương tiện giao thông 33

3.1.1 Giới thiệu bài toán 33

3.1.2 Thuật toán đếm xe 35

3.2 Xác định vận tốc trung bình dòng xe 35

3.2.1 Tính vận tốc xe 35

3.2.2 Tính vận tốc trung bình dòng xe 37

3.2.3 Thuật toán tính vận tốc trung bình của dòng xe 38

3.3 Xác định mật độ dòng xe 38

3.3.1 Tính mật độ dòng xe 38

3.3.2 Thuật toán đánh giá mật độ xe 40

3.4 Giải quyết bài toán nhận dạng và theo vết chuyển động của xe 40

3.4.1 Khái quát về bài toán nhận dạng và theo vết đối tượng 41

3.4.2 Nhận dạng xe dựa trên kích thước đường bao của đối tượng 42

3.4.3 Theo vết chuyển động xe và tính lưu lượng xe 43

3.5 Kết chương 46

4.1 Kết quả đạt được qua thực nghiệm 47

4.1.1 Môi trường và dữ liệu thực nghiệm 47

4.1.2 Kết quả thực nghiệm đếm số lượng xe 48

4.1.3 Kết quả thực nghiệm tính vận tốc dòng xe 50

4.1.4 Kết quả thực nghiệm tính mật độ dòng xe 53

4.2 Đánh giá kết quả 54

4.2.1 Đánh giá kết quả đếm số lượng xe 54

4.2.2 Đánh giá kết quả tính vận tốc dòng xe 55

4.2.3 Đánh giá kết quả tính mật độ dòng xe 56

4.3 Kết chương 56

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 57

1 Kết luận 57

2 Hướng phát triển 58

DANH MỤC TÀI LIỆU THAM KHẢO 59

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT

OpenCV Open Computer vision Thƣ viện mã nguồn mở về thị giác máy tính

WADS Wide Area Detection

DANH SÁCH BẢNG

Bảng 4.1: Bảng kết quả đếm số lượng xe trong video01 48

Bảng 4.2: Bảng kết quả đếm số lượng xe trong video02 49

Bảng 4.3: Bảng kết quả đếm số lượng xe trong video03 49

Bảng 4.4: So sánh ảnh hưởng của mật độ đến kết quả đếm xe 50

DANH SÁCH HÌNH VẼ

Hình 1.1: Hệ thống giám sát giao thông của hãng IBM 5

Hình 1.2: Sơ đồ khối thiết kế hệ thống phân tích lưu lượng xe 9

Hình 2.1: Cấu trúc một đoạn video 12

Hình 2.2: Sơ đồ hệ thống xử lý ảnh và video tổng quát 12

Hình 2.3: Hình minh hoạ hiệu ứng Dilation của thao tác Hit 14

Hình 2.4: Hình minh hoạ hiệu ứng Erosion của thao tác Fit 14

Hình 2.5: Sơ đồ khối Hệ thống theo vết đối tượng chuyển động 16

Hình 2.6: Tổng quan các khối xử lý trong bài toán phát hiện đối tượng 16

Hình 2.7: Hình minh hoạ các bước của phương pháp trừ nền 21

Hình 2.8: Hình minh hoạ các bước của phương pháp sai khác ảnh 23

Hình 2.9: Ví dụ về mô hình nền Temporal Median Filter 24

Hình 2.10: Phát hiện đối tượng chuyển động trong mô hình hỗn hợp Gaussian 26

Hình 2.11: Phát hiện điểm ảnh thuộc về nền trong mô hình Gaussian 27

Hình 2.12: Sơ đồ khối phương pháp Gaussian Mixture Model 28

Hình 2.13: Hình minh hoạ kết quả của phát hiện đối tượng bằng phương pháp Gaussian Mixture Model 29

Hình 2.14: Sơ đồ phát hiện đối tượng chuyển động bằng phương pháp Frame Difference 29

Hình 2.15: Hình minh hoạ mặt nạ đối tượng chuyển động phát hiện bằng phương

pháp Frame Difference 31

Hình 3.1: Sơ đồ phương pháp đếm xe đề xuất 33

Hình 3.2: Mô tả vạch ảo(Counting line) được sử dụng để đếm xe 34

Hình 3.3: Mô tả vùng quan sát để tính tốc độ xe 36

Hình 3.4: Mô tả kích thước vạch kẻ đường, đơn vị tính mét 36

Hình 3.5: Hình minh họa tính diện tích chiếm dụng mặt đường của xe 38

Hình 3.6: Sơ đồ thuật toán theo vết, tính lưu lượng xe 43

Hình 4.1: Các video đưa vào thực nghiệm 47

Hình 4.2: Kết quả thực nghiệm đếm xe của chương trình 48

Hình 4.3: Kết quả thực nghiệm tính vận tốc dòng xe của video01 51

Hình 4.4: Kết quả thực nghiệm tính vận tốc dòng xe của video03 52

Hình 4.5: Kết quả thực nghiệm tính mật độ dòng xe của video01 53

Hình 4.6: Kết quả thực nghiệm tính mật độ dòng xe của video03 54

MỞ ĐẦU

Trong những năm gần đây, cùng với sự phát triển kinh tế - xã hội, nhiều công trình giao thông đã và đang được xây dựng trên khắp Việt Nam để phục vụ nhu cầu đi lại của nhân dân, đồng thời đáp ứng sự gia tăng không ngừng số lượng các phương tiện tham gia giao thông Chúng ta đang phải đối mặt với những vấn đề cấp bách trong giao thông, đặc biệt là tai nạn giao thông, và ùn tắc giao thông tại các thành phố lớn như Hà Nội và Thành phố Hồ Chí Minh Để giải quyết vấn đề này, chúng ta đang cố gắng từng bước xây dựng một hệ thống giao thông đồng bộ

và ứng dụng khoa học kỹ thuật mới trong hệ thống điều khiển giao thông

Hiện nay, trên thế giới các hệ thống giám sát thông minh bằng hình ảnh đã được phát triển và chứng minh được hiệu quả nhất định trên một số lĩnh vực như giám sát hoạt động con người, giám sát giao thông, Nhiều hệ thống đã được nghiên cứu và phát triển, ví dụ như hệ thống giám sát giao thông có thể cho chúng

ta biết được số lượng phương tiện lưu thông qua đoạn đường, các thông tin về tốc

độ, đường đi của phương tiện Tuy nhiên, các hệ thống vẫn gặp phải một số khó khăn như hiệu quả của việc quan sát luôn phụ thuộc vào điều kiện môi trường quan sát, kiểu chuyển động của đối tượng hay các lý do khách quan khác Vì vậy, các hệ thống này vẫn còn đang được nhiều nhà khoa học,trung tâm nghiên cứu trên thế giới

và Việt Nam quan tâm phát triển

Xuất phát từ thực tế trên, việc nghiên cứu và đưa ra các giải pháp phân tích lưu lượng, mật độ xe tại các giao lộ bằng hình ảnh thu được từ camera, hỗ trợ việc điều khiển tín hiệu đèn giao thông là vô cùng thiết thực Được sự hướng dẫn của

TS Ngô Quốc Việt tôi đã tiến hành nghiên cứu đề tài “Xây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minh”

Việc lựa chọn đề tài với các mục đích sau:

tốc chuyển động phương tiện giao thông, các tài liệu liên quan đến một số nghiên cứu về xử lý ảnh số và video

Sử dụng thư viện mã nguồn mở OpenCV(Open Computer vision) xây dựng chương trình thực nghiệm đếm số lượng từng loại xe, xác định vận tốc dòng xe, mật

độ dòng xe

Luận văn sẽ được trình bày với 4 chương chính với nội dung như sau:

Chương 1 - TỔNG QUAN NGHIÊN CỨU

Chương này trình bày tổng quan các nghiên cứu và các hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh trên thế giới, và ở trong nước, giới thiệu

về bài toán phân tích lưu lượng xe sẽ trình bày trong luận văn

Chương 2 - CƠ SỞ LÝ THUYẾT

Chương này trình bày cơ sở lý thuyết về các khái niệm về xử lý ảnh và video, các bộ lọc xử lý ảnh, các phương pháp phát hiện, theo dõi đối tượng chuyển động, giải quyết bài toán số 1: Phát hiện các đối tượng chuyển động

Chương 3 - PHÂN TÍCH LƯU LƯỢNG XE

Chương này trình bày phương pháp ước lượng số lượng phương tiện giao thông, mật độ và vận tốc dòng xe, Giải quyết bài toán: Nhận dạng và theo vết chuyển động nhằm ước lượng số lượng xe, vận tốc dòng xe, mật độ dòng xe

Chương 4 - THỰC NGHIỆM VÀ ĐÁNH GIÁ

Chương này trình bày môi trường và các dữ diệu video trong thực nghiệm, ngôn ngữ sử dụng xây dựng chương trình thực nghiệm, tiến hành thực nghiệm so sánh đánh giá kết quả thực nghiệm

Chương 1 - TỔNG QUAN NGHIÊN CỨU 1.1 Giới thiệu hệ thống giám sát thông minh

Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày nay

hệ thống giám sát thông minh tự động là một trong những hệ thống hỗ trợ đắc lực nhất cho con người thực hiện theo dõi giám sát Từ các hình ảnh thu được từ những nơi quan sát, ta có thể phát hiện được chuyển động của các đối tượng trong các khung hình, có thể xác định được đối tượng đó là người, phương tiện hay vật thể Minh họa rõ hơn, với một bài toán giám sát giao thông, hệ thống giám sát có thể cho chúng ta biết được số lượng phương tiện lưu thông qua đoạn đường được theo dõi, đưa ra thông tin về tốc độ di chuyển, mật độ phương tiện

Hiện nay, trên thế giới các hệ thống giám sát thông minh bằng hình ảnh đã được phát triển và đã chứng minh được hiệu quả nhất định trên một số lĩnh vực như giám sát hoạt động con người, giám sát giao thông,… đã có rất nhiều công bố về việc nghiên cứu thông qua mô phỏng và thực nghiệm nhằm nhận dạng và theo dõi phương tiện giao thông với các nghiên cứu điển hình như:

Nhóm tác giả Chung-cheng chiu, Min-yu ku và Chun-yi wang với nghiên cứu “Automatic Traffic Surveillance System for Vision Based Vehicle Recognition and Tracking”[5], nội dung nghiên cứu của tác giả xây dựng hệ thống giám sát giao thông tự động nhận dạng và theo dõi ô tô dựa trên thị giác trong đó tác giả đề xuất 1 phương pháp nhận dạng phân loại xe dựa trên đặc trưng chiều dài, chiều rộng ảnh phương tiện và kích thước mui xe, kết quả nhận dạng ít bị ảnh hưởng bởi điều kiện môi trường thời tiết và cho kết quả nhận dạng phân loại trung bình trên 92%

Nhóm tác giả Guohui Zhang, Ryan P Avery, Yinhai Wang, Ph.D với nghiên cứu “A Video-based Vehicle Detection and Classification System for Real-time Traffic Data Collection Using Uncalibrated Video Cameras”[14], nội dung nghiên

số thuật toán để giảm bớt tác động tiêu cực từ bóng tối, rung máy ảnh nhẹ, và phương tiện bị che khuất theo chiều hướng ngang, phân loại phương tiện bằng cách

sử dụng đặc trưng chiều dài điểm ảnh phương tiện(có thể khác với chiều dài vật lý thực tế của phương tiện) để phân loại

Một số nghiên cứu trong nước như:

Nhóm tác giả Ngô Quốc Tạo, Nguyễn Văn Căn, Huỳnh Văn Huy với công trình nghiên cứu “Nghiên cứu phương pháp đếm xe ô tô sử dụng mô hình Gaussion

và luồng quang học”[3], các tác giả đã nghiên cứu các kỹ thuật phát hiện theo dõi đối tượng, cải tiến phương pháp mô hình nền hỗn hợp Gaussian thích ứng tốt với

sự thay đổi ánh sáng và nền động, kết hợp phương pháp phát hiện đối tượng chuyển động bằng phương pháp hỗn hợp Gaussian thích ứng, làm sạch khung hình bằng phương pháp loại bỏ bóng và theo dõi, đếm số lượng ô tô dựa trên luồng quang học

Nhóm tác giả Nguyễn Văn Căn, Nguyễn Tiên Hưng, Dương Phú Thuần, Nguyễn Đăng Tiến với công trình nghiên cứu “Phương pháp phân loại nhanh phương tiện giao thông dựa trên đường viền” [1], các tác giả đã đề xuất phương pháp phân loại dựa trên đường viền có tốc độ nhanh có khả năng ứng dụng vào các bài toán đối sánh ảnh đòi hỏi thời gian thực, đưa ra một phương pháp biểu diễn đường viền đối tượng bằng đường viền vector trên trường số phức, một số phép toán xử lý trên đường viền vector số phức, xấp xỉ đường viền số phức bằng đa giác

Sử dụng giải thuật phân tích đường viền, tìm kiếm độ dài đường viền để thực hiện tìm kiếm và đối sánh hai đường viền để phân loại phương tiện

Tác giả Phí Văn Lâm với công trình nghiên cứu “Ứng dụng phép xạ ảnh trong việc xác định tốc độ của dòng giao thông tại Việt Nam” [15], tác giả sử dụng phương pháp Optical Flow để Theo dõi và xác định tốc độ chuyển động của dòng

xe, kết quả thử nghiệm trong điều kiện ánh sáng ban ngày cho kết quả khá tốt

Song các nghiên cứu vẫn gặp phải một số khó khăn nhất định như hiệu quả của việc quan sát luôn phụ thuộc vào điều kiện môi trường quan sát, kiểu chuyển

động của đối tượng Chính vì thế mà việc nghiên cứu và phát triển các giải pháp, công nghệ mới vẫn đang được tiến hành nhằm đáp ứng được yêu cầu về một hệ thống giám sát thông minh hoàn thiện nhất

1.2 Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh trên thế giới

Hệ thống giám sát giao thông của hãng IBM: là phần mềm giám sát giao

thông thời gian thực của hãng IBM được phát triển tại trung tâm nghiên cứu IBM

do Belle L Tseng, Ching-Ịung Lin và John R Smith chủ trì Hệ thống thực hiện việc đếm số lượng xe trên đường cao tốc, bắt bám và phân lớp chúng

Hình 1.1: Hệ thống giám sát giao thông của hãng IBM

Hệ thống TRIP – Anh: Hệ thống đánh giá giao thông bằng phương pháp xử

lý ảnh (Traffic Research using Image Processing - TRIP) là sản phẩm hợp tác phát triển giữa trường đại học Manchester, Viện khoa học và công nghệ, và trường đại học Sheffield, vương quốc Anh từ những năm 1980, đây là một trong những hệ thống ứng dụng phương pháp xử lý ảnh trong giám sát giao thông sớm nhất Hệ

thống được thiết kế chủ yếu để đếm số phương tiện giao thông đi trên đường cao tốc

Hệ thống Sample Points - Nhật bản: được phát triển tại Nhât bản từ đầu

những năm 1980 có tên gọi là Sample Points Mỗi điểm mẫu có khả năng phát hiện một đối tượng xe và bằng cách đặt vị trí của một điểm mẫu trên mỗi làn đường giao thông, nó có thể thực hiện được việc đếm xe Tốc độ của phương tiện giao thông có thể được đo bằng cách đặt hai điểm mẫu tại mỗi làn đường giao thông và đo khoảng thời gian giữa hai lần gây ra hiệu úng của điểm mẫu thứ nhất và điểm mẫu thứ hai trong mỗi làn đường Các điểm mẫu thực hiện việc phát hiện xe bằng cách chỉ áp dụng kĩ thuật trừ ảnh giữa hai ảnh liên tiếp cho các điểm ảnh trong điểm mẫu Hệ thống này được thử nghiệm với một đoạn video trong 40 phút với điều kiện ánh sáng ban ngày tốt Kết quả thu được tỉ lệ lỗi trong việc phát hiện đối tượng xe của

hệ thống nhỏ hơn 5% và tỉ lệ lỗi lớn nhất khi đo vận tốc xe là 10%

Hệ thống WADS - Mỹ: Hệ thống phát hiện phạm vi rộng (WADS - Wide

Area Detection System), được phát triển tại phòng thí nghiệm Jet Propulsion, Mỹ,

hệ thống này có thể phát hiện, đếm và ước lượng tốc độ của các đối tượng phương tiện giao thông chuyển động Thuật toán phát hiện đối tượng giao thông được thực hiện trong thời gian thực và do đó nó chỉ thực hiện tính toán trên một vùng nhỏ của ảnh, ví dụ như chỉ xử lý trên một đường ngang gồm 50 điểm ảnh, trên mỗi làn đường (nhiều nhất là 3 làn đường) Việc xử lý sẽ được tính bằng cách khi có đối tượng xe đi qua đường ngang này, sẽ gây ra một sự sai khác, nếu sự sai khác vượt quá một giá trị ngưỡng, khi đó đối tượng xe sẽ được phát hiện

Tốc độ xe cũng được tính bằng cách sử dụng khoảng 30 đường ngang khác

mà đặt tại các vị trí khác nhau trên một đường giao thông Mỗi đường ngang sẽ thông báo có hay không có đối tượng xe đi ngang qua Bằng cách kiểm tra trạng thái của tất cả 30 đường ngang trong một số ảnh của chuỗi ảnh, nó có thể bắt bám được đối tượng xe khi chúng di chuyển dọc theo con đường và do đó có thể tính toán được vận tốc của xe

Khi so sánh kết quả thử nghiệm của hệ thống với việc quan sát trực tiếp của người, tì lệ lỗi thu được khi đếm xe là 4% trong điều kiện ánh sáng tốt và 10% trong điều kiện mây, mưa Quá trình đo tốc độ của xe cũng được so sánh với phương pháp

đo của thiết bị cảm ứng rađa và thu được tì lệ lỗi là 2% trong điều kiện thời tiết tốt

Hệ thống IMPACTS – Anh: là một hệ thống giám sát giao thông được phát

triển bởi Hoose tại trường đại học London Nó thực hiện ở mức vĩ mô, tức là không quan tâm đến việc xác định hay bắt bám từng đối tượng xe mà nó cung cấp một mô

tả về phân bố không gian giữa các vùng chuyển động và các vùng không chuyển động trong ảnh giao thông Hệ thống chia ảnh giao thông ra làm một số các ô, mỗi ô

có chiều rộng xấp xỉ chiều rộng của làn đường giao thông và chiều dài bằng chiều của ô tô Mỗi ô sẽ có thể có một trong ba trạng thái: không có xe, xe đang đỗ hoặc

xe đang chuyển động Các ô mà có cùng một trạng thái được nhóm lại với nhau theo chiều dài của làn đường để đưa ra đối tượng xe Trạng thái của các ô sẽ được xác định bằng cách sử dụng hai thuật toán, một thuật toán để xác định đối tượng xe

và một thuật toán để xác định trạng thái chuyển động Các đối tượng xe được phát hiện bằng cách chỉ ra một số nhất định các đường biên có trong ô Việc chuyển động được xác định bằng cách thực hiện trừ ảnh trên từng ô ở hai thời điểm khác nhau

1.3 Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh ở Việt Nam

Sản phẩm nghiên cứu của Đề tài KC.03.21 “Nghiên cứu ứng dụng công nghệ Thông tin và Tự động hoá trong quản lý điều hành giao thông đô thị” [2], hệ

thống giám sát giao thông tự động bằng công nghệ xử lý ảnh được phát triển với mục đích thử nghiệm bước đầu trong việc áp dụng công nghệ thông tin vào giám sát giao thông

Hệ thống được xây dựng bao gồm một số các bước xử lý như tiền xử lý ảnh,

nền, nhận dạng đối tượng và bắt bám đối tượng Mô hình dòng tiến trình có thể được minh hoạ như sau:

Thuật toán cơ bản của hệ thống này áp dụng kỹ thuật trừ ảnh, ảnh hiện tại và ảnh nền, kết quả của phép trừ được lọc qua một giá trị ngưỡng T nhằm loại bỏ các yếu tố nhiễu do sự rung, dao động của camera hay các điều kiện môi trường khác, ảnh tham chiếu sau đó được cập nhật bằng cách gán các vùng không có đối tượng

xe trong ảnh hiện tại vào ảnh nền

So sánh kết quả sau 20 phút thực hiện của chương trình với kết quả đếm thủ công cho thấy, số lượng xe ô tô và xe máy được bắt bám và đếm trong điều kiện ánh sáng tốt là 90% đến 95%, tính vận tốc dòng xe là 93% đến 96%

“Hệ thống giám sát, xử lý vi phạm TTATGT bằng hình ảnh” do Công ty

FPT triển khai trên cao tốc Nội Bài - Lào Cai [16] Hệ thống được xây dựng và phát triển dựa trên công nghệ xử lý hình ảnh bằng camera(Video Image Processing), hình ảnh từ các camera giám sát giao thông được lắp đặt tại các địa điểm cố định trên tuyến đường được truyền về Trung tâm giám sát xử lý vi phạm TTATGT, tại Trung tâm các hình ảnh video được hệ thống phần mềm gồm các thuật toán xử lý phân tích ảnh, phân tích chuyển động tự động nhận diện biển số của phương tiện theo thời gian thực cho phép tự động giám sát, phát hiện, ghi lại hình ảnh các hành

vi vi phạm quy định về TTATGT, Phát hiện phương tiện trong diện kiểm soát đặc biệt, thông qua việc nhận dạng biển số tự động với độ chính xác >90%

1.4 Giới thiệu bài toán phân tích lưu lượng xe

Bài toán phân tích lưu lượng xe là tập hợp của các bài toán nhỏ có thể nhìn 1 cách tổng quát như sau:

- Đầu vào của hệ thống sẽ là hình ảnh từ video thu được tại các điểm quan sát

- Đầu ra của hệ thống sẽ là các thông tin về chuyển động, số lượng, mật độ,

của các phương tiện được giám sát

Hình 1.2: Sơ đồ khối thiết kế hệ thống phân tích lưu lượng xe

Trong sơ đồ, có ba khối xử lý chính, liên quan đến các phương pháp phát hiện, nhận dạng và theo vết

- Phát hiện đối tượng chuyển động: hầu hết các nghiên cứu sử dụng phương pháp

mô hình trừ nền để phát hiện các đối tượng xe chuyển động

- Tiền Xử lý: bao gồm các phương pháp loại bỏ nhiễu, phát hiện biên, loại bỏ bóng,

phân hoạch các khối chuyển động

- Nhận dạng và theo vết đối tượng: sử dụng các đặc trưng hình dáng, chuyển động

của đối tượng để nhận dạng phân loại ra các lớp đối tượng như: người, phương

Nhận dạng và theo vết đối tượng Tiền xử lý

video input

Tách frame

Phát hiện đối tượng chuyển động

output Phân tích lưu

lượng xe(Số lượng, mật độ) xe)

tiện, động vật, Theo vết đối tượng đó là công việc đưa ra một chuỗi các hành vi của đối tượng chuyển động trong một thời gian từ các khung hình thu được

Tóm lại việc phân tích lưu lượng xe bằng hình ảnh có thể hiểu là việc phân tích và xử lý hình ảnh video qua việc giải quyết các bài toán sau:

 Bài toán phát hiện các đối tượng chuyển động

Phát hiện các đối tượng chuyển động là bước cơ bản đầu tiên trong bài toán phân tích hình ảnh video, cụ thể đó là việc tách các các đối tượng chuyển động từ các hình ảnh nền của các đối tượng đó Phương pháp thường được sử dụng trong bài toán này đó là: phương pháp trừ ảnh nền, các phương pháp dựa trên thống kê,

phương pháp chênh lệch tạm thời, và các phương pháp dựa trên luồng thị giác,…

 Bài toán nhận dạng và theo vết chuyển động của xe

Yêu cầu đối với bài toán nhận dạng và theo dõi chuyển động của xe là xác định các thông tin về dòng xe, bao gồm: số lượng từng loại xe đi vào vùng quan sát, mật độ dòng xe, tốc độ chuyển động trung bình của dòng xe

Nhận dạng xe là bước so sánh các đối tượng chuyển động phát hiện được ở bước trước với các mẫu trong cơ sở dữ liệu của chương trình Các đặc trưng được

sử dụng trong phép so sánh là kích thước đường bao và tốc độ chuyển động của đối tượng Sau phép so sánh này, đối tượng chuyển động được phân vào các nhóm, trong phạm vi giới hạn luận văn sẽ không phân loại chi tiết từng loại xe mà chỉ phân loại xe theo 2 nhóm sau: xe lớn(xe tải, xe bus, xe ôtô con) và xe nhỏ(xe máy và xe đạp) Như vậy, chức năng nhận dạng đã thực hiện nhiệm vụ thu thập thông tin về thành phần, mật độ của dòng xe

Theo vết đối tượng xe đó là công việc đưa ra một chuỗi các hành vi của đối tượng xe chuyển động trong một thời gian từ các khung hình thu được, việc theo vết đối tượng trong bài toán này có mục đích: tính vận tốc xe và loại trừ khả năng một

xe bị đếm nhiều lần Kết quả bài toán theo vết đối tượng cho ta các thông tin về vị

trí, số lượng, tốc độ chuyển động của từng xe trong vùng quan sát, thực hiện một số phép toán thống kê đơn giản trên tập dữ liệu này ta sẽ có thông tin về tốc độ chuyển động trung bình của dòng xe

1.5 Kết chương

Chương này trình bày tổng quan các nghiên cứu và các hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh trên thế giới và trong nước, giới thiệu bài toán phân tích lưu lượng xe sẽ trình bày trong luận văn

Chương 2 - CƠ SỞ LÝ THUYẾT 2.1 Các khái niệm cơ bản

2.1.1 Video

Video là một chuỗi hình ảnh cung cấp thông tin về không gian lẫn thời gian Một video có thể được biểu diễn như là một cấu trúc đa lớp có nhiều đoạn (scene), mỗi đoạn có nhiều cảnh (shot) và mỗi cảnh có nhiều khung hình (frame) [12] Số khung hình xuất hiện trong thời gian một giây gọi là tỉ lệ khung hình trên giây (frame rate) Tỉ lệ khung hình trên giây thông thường là 24 fps (frame per second)

Hình 2.1: Cấu trúc một đoạn video

2.1.2 Xử lý ảnh và video

Xử lý ảnh và video là quá trình tác động lên hình ảnh và video cung cấp ở đầu vào để cho ra các hình ảnh và video thoả mãn các yêu cầu đặt ra hoặc để rút trích ra các đặc trưng từ các hình ảnh và video đó

Hình 2.2: Sơ đồ hệ thống xử lý ảnh và video tổng quát

Khung hình (Frame)

Cảnh (Shot) Cảnh (Shot) Cảnh (Shot) Cảnh (Shot)

VIDEO

Phân lớp

Biểu diễn

Phân đoạn

Tiền

xử lý Thu nhận

ảnh

Sơ đồ của hệ thống xử lý ảnh và video tổng quát được giới thiệu trong hình 2.2 phù hợp với hầu hết các ứng dụng trong lĩnh vực này Trong một số hệ thống đặc biệt có thể bỏ bớt một số khối trong sơ đồ trên [10]

Thu nhận ảnh: các thao tác liên quan đến camera và các thao tác liên quan

đến thiết lập hệ thống để thu nhận được hình ảnh đối tượng từ thế giới thực thông qua camera

Tiền xử lý: các thao tác xử lý tác động lên hình ảnh và video để chúng trở

nên thích hợp hơn cho các thao tác xử lý chính Ví dụ như các thao tác giảm nhiễu, làm sắc nét, chuyển từ ảnh màu sang ảnh đa cấp xám, cắt xén vùng ảnh cần tập trung xử lý…

Phân đoạn: các thông tin cần quan tâm trong ảnh và video sẽ được trích

xuất ra Ví dụ như các vùng ảnh chuyển động trong video sẽ được phân đoạn bằng cách thể hiện dưới dạng ảnh nhị phân Vùng ảnh chuyển động sẽ có màu trắng và nền sẽ có màu đen

Biểu diễn: các đối tượng được tách ra từ khối phân đoạn sẽ được biểu diễn

một cách chính xác với các đặc trưng của từng đối tượng riêng biệt Ví dụ như các đối tượng chuyển động sẽ được biểu diễn bằng đường bao quanh đối tượng và đượcgán nhãn phân biệt cho từng đối tượng

Phân lớp: xác định các đối tượng được tách ra từ các khối trước đó có phải

là đối tượng cần quan tâm hay không Ví dụ như xác định xem các đối tượng chuyển động có phải là xe ô tô hoặc khách bộ hành hay không

Tuỳ theo hệ thống mà một thao tác xử lý có thể thuộc về khối này hoặc khối kia Trong một số hệ thống mà khối phân đoạn cho ra kết quả là ảnh nhị phân với màu trắng và đen thì khối biểu diễn và khối phân lớp được ghép thành khối phân tích BLOB (Binary Large Object) BLOB là đối tượng nhị phân lớn BLOB mang ý

nghĩa là chỉ quan tâm đến các nhóm điểm ảnh nhị phân lớn có kích thước nhất định

và những nhóm điểm ảnh nhị phân nhỏ được xem như là nhiễu [10]

2.1.3 Bộ lọc hình thái (Morphology Filter)

Tương tự bộ lọc trung vị, bộ lọc hình thái (Morphology Filter) quét qua từng điểm ảnh, áp mặt nạ lọc sao cho tâm trùng điểm ảnh đang xử lý, dựa vào các điểm ảnh tương ứng với mặt nạ lọc để tính toán giá trị mới Tuy nhiên bộ lọc hình thái chủ yếu làm việc trên ảnh nhị phân với giá trị của điểm ảnh là 0 hoặc 1 Mặt nạ lọc

là một ma trận có kích thước 3 x 3, 5 x 5, 7 x 7… Mặt nạ lọc được điền đầy các giá trị 1 nếu cần bảo toàn độ sắc nét của các góc Hoặc các giá trị 1 được điền thành dạng hình đĩa nếu cần làm tròn các góc

Bộ lọc hình thái có hai thao tác cơ bản là Hit và Fit Thao tác Hit sẽ trả về giá trị 1 cho điểm ảnh đang xử lý nếu có ít nhất một điểm ảnh tương ứng mang giá trị 1 trùng với giá trị 1 trên mặt nạ lọc Thao tác Fit sẽ trả về giá trị 1 cho điểm ảnh đang

xử lý nếu tất cả các điểm ảnh tương ứng đều mang giá trị 1 trùng với giá trị 1 trên mặt nạ lọc Thao tác Hit khi áp dụng lần lượt cho tất cả các điểm ảnh trên ảnh cần

xử lý sẽ tạo ra hiệu ứng giãn nở (Dilation) Thao tác Fit khi áp dụng lần lượt cho tất

cả các điểm ảnh trên ảnh cần xử lý sẽ tạo ra hiệu ứng xói mòn (Erosion) [10] Hình 2.3 và hình 2.4 minh hoạ hiệu ứng Dilation của thao tác Hit và Fit

Bộ lọc Closing là một kết hợp giữa hiệu ứng giãn nở (Dilation) và hiệu ứng xói mòn (Erosion) Đầu tiên hiệu ứng giãn nở (Dilation) sẽ lấp đầy các lổ hổng nhỏ trong vùng ảnh vì ảnh bị phình to lên Sau đó hiệu ứng xói mòn (Erosion) sẽ co ảnh trở về kích thước ban đầu Kết quả là bộ lọc Closing sẽ lấp đầy các lổ hổng nhỏ bên trong đối tượng

Bộ lọc Opening là một kết hợp giữa hiệu ứng Erosion và hiệu ứng Dilation Đầu tiên hiệu ứng xói mòn Erosion sẽ làm biến mất các nhiễu kích thước nhỏ vì ảnh

bị co lại Sau đó hiệu ứng Dilation sẽ phình to ảnh về kích thước ban đầu Kết quả là

bộ lọc Opening sẽ loại bỏ được các nhiễu có kích thước nhỏ [10]

2.2 Phát hiện và theo vết đối tượng chuyển động

Theo vết đối tượng chuyển động là một tập các thao tác xử lý tác động lên các khung hình của chuỗi video, giúp xác định được các đối tượng chuyển động xuyên suốt qua các khung hình Theo dõi đối tượng chuyển động trong chuỗi video nhằm tách ra chính xác vùng ảnh có chứa đối tượng giúp rút trích các thông tin về đối tượng dễ dàng và nhanh chóng Hai bước chính để theo dõi đối tượng chuyển động là phát hiện chuyển động (Motion Detection) và theo vết đối tượng (Object Tracking)

Hình 2.5: Sơ đồ khối Hệ thống theo vết đối tượng chuyển động

Phần quan trọng nhất trong theo dõi đối tượng chuyển động là phát hiện chuyển động Nếu kết quả phát hiện chuyển động không tốt sẽ ảnh hưởng đến tốc

độ và độ chính xác của cả hệ thống Kết quả phát hiện chuyển động cũng phụ thuộc phương pháp phát hiện chuyển động được sử dụng Các yếu tố thường ảnh hưởng đến kết quả phát hiện chuyển động là ánh sáng, nhiễu, độ ổn định của khung nhìn, màu đối tượng trùng màu nền,

2.2.1 Phát hiện đối tượng chuyển động

Phát hiện đối tượng chuyển động là quá trình đưa ra vết các đối tượng chuyển động từ các khung hình video [6] Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tượng chuyển động trong một đoạn hình ảnh theo như hình 2.6

Hình 2.6: Tổng quan các khối xử lý trong bài toán phát hiện đối tượng

Phát hiện đối tượng chuyển động là một bước rất quan trọng trong ứng dụng giám sát video [9] Hơn nữa, nó cũng là một chủ đề nghiên cứu quan trọng trong lĩnh vực thị giác máy tính Khó khăn chính trong việc phát hiện đối tượng chuyển động là do những thay đổi trong các cảnh quay Trong một số thuật toán, các đối

Đối tượng được giám sát

Phát hiện chuyển động

Theo vết đối tượng

Phát hiện các

vùng ảnh nổi

Xử lý các vùng ảnh nổi

Các đối tượng chuyển động

tượng chuyển động có thể trở thành một phần của khung cảnh nền (background) Ngoài ra các cảnh có thể bị ảnh hưởng bởi những thay đổi trong ánh sáng, lá lắc lư, rung máy ảnh…

Nhiều phương pháp phát hiện đối tượng chuyển động đã được đề xuất trong những năm gần đây như là: Phương pháp Trừ nền (Background subtraction), Phương pháp Frame Difference, Sự khác biệt về thời gian (Temporal Difference), Phương pháp Gaussian Mixture Model,…

Quá trình phát hiện thay đổi bắt đầu từ việc xác định các thành phần trong khung hình(frame), xác định những thay đổi trong trạng thái của pixel thông qua việc kiểm tra các giá trị đại diện giữa các khung hình(frame) [11] Sau đó phân tách đối tượng ra khỏi cảnh nền Có thể thực hiện bằng cách sử dụng thông tin từ một khung hình nhưng để tăng tính chính xác thường sử dụng thông tin từ chuỗi khung hình

 Phát hiện các vùng ảnh nổi

Phát hiện vùng ảnh nổi bản chất là việc so sánh các khung hình liên tiếp trong một đoạn video để từ đó có thể đưa ra các vùng ảnh khác nhau giữa các khung hình liên tiếp đó Đây chính là nguyên lý cơ bản để phát hiện được vết các đối tượng chuyển động, vì chỉ khi có đối tượng chuyển động trong khung hình thì mới

có sự khác nhau giữa các khung hình liên tiếp từ đó sẽ thu được các vết chuyển động của vật thể Đã có nhiều phương pháp được đưa ra để giải quyết vấn đề này, các phương pháp giải quyết có những ưu nhược điểm riêng phù hợp với các điều kiện và môi trường giám sát khác nhau đã được trình bày trong mục 2.3 như: phương pháp trừ nền (Background Subtraction), Phương pháp Frame Difference, Phương pháp sự khác biệt về thời gian (Temporal Difference), Phương pháp Gaussian Mixture Model,…

 Xử lý các vùng ảnh nổi

Sau kết quả xử lý của khối xử lý phát hiện vùng ảnh nổi còn rất nhiều nhiễu

do đó cần phải lọc nhiễu và thực hiện xác định rõ đối tượng chuyển động cùng với các tính chất của chúng

Khối xử lý các vùng ảnh nổi được thiết kế để xử lý ở mức điểm ảnh để loại

bỏ đi các nhiễu hoàn thành bài toán phát hiện đối tượng chuyển động Yếu tố điều kiện môi trường, hoàn cảnh quan sát và các yếu tố khách quan là các nguyên nhân chính gây lên nhiễu trong khi giám sát Có nhiều nguyên nhân gây nhiễu [6] như:

 Nhiễu do Camera quan sát: Các nhiễu do camera quan sát gây ra, là các yếu tố khách quan phụ thuộc vào chất lượng loại bỏ nhiễu của Camera được sử dụng quan sát

 Nhiễu do phản xạ: Do sự phản xạ ánh sáng khung cảnh được quan sát, cụ thể là một số phần của khung hình nền sẽ phản xạ ánh sáng mặt trời do đó sẽ gây nên nhiễu

 Nhiễu do sự đồng màu: Đối tượng chuyển động có cùng màu với màu khung hình nền do đó sẽ gây ra nhiễu (không thể phát hiện được toàn phần đối tượng chuyển động)

 Nhiễu do bóng của đối tượng chuyển động và điều kiện ảnh sáng thay đổi: Trong điều kiện ánh sáng vật thể sẽ tạo bóng lên khung hình, khi đối tượng chuyển động thì bóng cũng thay đổi do đó gây ra nhiễu

 Nhiễu trong điều kiện quan sát ngoài trời: Điều kiện quan sát ngoài trời là điều kiện quan sát phức tạp nhiều nhiễu nhất ví dụ như nhiễu do tán lá cây lay động, nhiễu do sự thay đổi liên tục của ảnh sáng ngoài trời

Khối xử lý vùng ảnh nổi có thể được khái quát qua một số bước xử lý sau đây:

 Tiền xử lý mức điểm ảnh nổi: Việc khử có thể thực hiện bằng bộ lọc thông thấp

(low pass filter) và các hoạt động hình thái học (morphological operations) Bộ

lọc thông thấp được sử dụng để làm mờ và giảm nhiễu như loại bỏ các chi tiết nhỏ hoặc nối các điểm đứt đoạn [7]

 Tiền xử lý các vùng ảnh nổi: tương tự như khử nhiễu ở cấp độ điểm ảnh, vùng

nhiễu vẫn xuất hiện ở một số khu vực trong ảnh tạo ra các phân đoạn xấu Để loại

bỏ các vùng nhiễu này, các vùng có kích thước nhỏ hơn một ngưỡng xác định trước sẽ bị xóa khỏi bản đồ ma trận điểm ảnh của đối tượng Kết hợp các khối ảnh nổi đưa ra các đối tượng đã được làm sạch

 Phân tích liên kết các khối: Sau khi phát hiện vùng điểm ảnh (pixel) được cho

là tiền cảnh (foreground) và áp dụng các phương pháp xử lý để loại bỏ các khu vực nhiễu, các điểm ảnh được lọc nhóm lại thành các khối đại diện cho đối tượng

 Biểu diễn đối tượng: Từ các khối đại diện cho đối tượng tiến hành xác định tính

chất của đối tượng như: hình bao, đường viền, diện tích, vị trí,

2.2.2 Theo vết đối tượng chuyển động

Theo vết đối tượng là quá trình chính xác hóa đối tượng trong các khung hình liên tiếp để từ đó đưa ra các thông tin về chuyển động của đối tượng như đường đi, tốc độ và hướng chuyển động [6]

Quá trình này thực chất là quá trình xử lý các vết đối tượng được phát hiện ở các khung hình liên tiếp nhau, từ đó theo dõi các đối tượng đó

Theo vết đối tượng là một công đoạn trong rất nhiều ứng dụng thị giác máy tính Một trong những mục tiêu của theo vết đối tượng là lấy được những chuyển động của đối tuợng, lấy những thông tin về đối tượng gồm vị trí trong không gian, vận tốc chuyển động và những đặc trưng vật lý khác Mức khó khăn của vấn đề phụ thuộc vào loại đối tượng muốn phát hiện và theo vết Nếu như chỉ có một vài đặc trưng chẳng hạn như màu sắc được dùng để biểu diễn đối tượng, thì khá dễ dàng xác định tất cả các pixel cùng màu với đối tượng Nhưng thực tế hoàn toàn khác, ví

các tư thế và sự chiếu sáng khác nhau, khó phát hiện, nhận diện và theo vết Hầu hết các khó khăn này nảy sinh từ khả năng biến động của ảnh video bởi vì các đối tượng video thường là các đối tượng chuyển động Khi đối tượng chuyển động qua vùng quan sát của camera, hình ảnh về đối tượng có thể thay đổi Sự thay đổi này đến từ các nguồn chính như: thay đổi tư thế đối tượng, sự biến dạng của đối tượng, thay đổi về độ chiếu sáng, và sự che khuất một phần hay toàn bộ đối tượng

Các phương pháp sử dụng theo vết đối tượng

Theo vết dựa vào mô hình: Hệ thống theo vết dựa vào mô hình 2D, 3D Độ chính xác cao, số lượng đối tượng theo dõi ít

Theo vết đối tượng dựa vào miền: Nhận dạng những miền liên kết với nhau trong ảnh, khối mà có liên kết với mục tiêu được theo dõi

Theo vết đối tượng dựa vào đường bao động (Active Contour): Đường viền bao đối tượng được theo dõi, và liên tục cập nhật tự động Hạn chế chính của cách tiếp cận này là xử lý thế nào với trường hợp nhập nhằng

Theo vết đối tượng dựa vào đặc trưng: Các đặc trưng như tâm, màu sắc của đối tượng

2.3 Một số phương pháp phát hiện đối tượng chuyển động

2.3.1 Phương pháp trừ nền

Trừ nền (Background Subtraction) là phương pháp sử dụng kỹ thuật trừ ảnh (Image Subtraction) Phương pháp trừ nền đơn giản nhưng hiệu quả để tách đối tượng ra khỏi nền Với trường hợp nền đồng nhất như sử dụng phông xanh trong phim trường thì phương pháp trừ nền cực kỳ hiệu quả Phương pháp trừ nền phù hợp với trường hợp sử dụng camera cố định đặt trong nhà có phông nền cố định, kết cấu đơn giản, nguồn chiếu sáng ít thay đổi Phương pháp trừ nền nhận diện vùng chuyển động thông qua việc giám sát sự thay đổi của ảnh nền Để phát hiện các

vùng ảnh thay đổi trên ảnh nền, phương pháp trừ nền lấy ảnh đang quan sát trừ cho

ảnh dùng làm ảnh nền tham chiếu Gọi f(x, y) là ảnh đang quan sát, r(x, y) là ảnh nền tham chiếu và g(x, y) là ảnh thể hiện kết quả xử lý, phương pháp trừ nền thể hiện

qua công thức:

) , ( ) , ( ) ,

Hình 2.7: Hình minh hoạ các bước của phương pháp trừ nền

Để tách được các đối tượng chuyển động ra khỏi ảnh nền Phương pháp trừ nền được thực hiện qua các bước như minh hoạ trong hình 2.7:

 Bước 1: lấy khung hình làm ảnh nền tham chiếu

 Bước 2: lấy khung hình hiện tại làm ảnh cần xử lý

 Bước 3: thực hiện trừ nền theo công thức (2.1)

 Bước 4: lấy ngưỡng để làm nổi bật vùng ảnh chuyển động

 Bước 5: lọc nhiễu để vùng ảnh chuyển động thu được chính xác hơn

2.3.2 Phương pháp Frame Difference

Tương tự phương pháp trừ nền, phương pháp sai khác ảnh (Frame Difference) cũng sử dụng kỹ thuật trừ ảnh (Image Subtraction) Tuy nhiên phương

Nền tham chiếu Khung hình hiện tại

đang xử lý làm ảnh nền tham chiếu Phương pháp sai khác ảnh hiệu quả hơn so với phương pháp trừ nền trong trường hợp ảnh nền thường xuyên bị thay đổi do thay đổi sự chiếu sáng, thay đổi cấu trúc của ảnh nền Tuy nhiên phương pháp sai khác ảnh không hiệu quả trong trường hợp đối tượng chuyển động rất chậm vì khi đó hai khung hình liên tiếp không có sự khác biệt đáng kể

Giả sử ta có 2 khung hình Fi, Fi-1 là 2 khung hình liên tiếp có kích thước m*n nhận được từ 1video Gọi Di,i-1 là độ sai khác giữa khung hình Fi và Fi-1, Di,i-1 được tính như sau :

∑ | ( ) ( ) |

Trong đó:

Ii(x,y) là cường độ sáng của pixel (x,y) thuộc khung Fi

Ii-1(x,y) là cường độ sáng của pixel (x,y) thuộc khung Fi-1

Di,i-1 là tổng sai khác tuyệt đối của tất cả các điểm ảnh Nếu coi vị trí camera cố định, sự thay đổi ánh sáng rất nhỏ và nhiễu không đáng kể thì điểm (x,y) được coi là thuộc đối tượng chuyển động nếu có | ( ) ( )| , ngược lại pixel đó được coi là thuộc ảnh nền Ta có các kết luận sau:

Nếu Di,i-1> 0: có đối tượng chuyển động trong khung hình đang xét

Nếu Di,i-1= 0: không có đối tượng chuyển động trong khung hình đang xét

Tuy nhiên trong thực tế luôn tồn tại nhiễu, ánh sáng thì thay đổi theo giờ trong ngày và sự dao động của camera nên Di,i-1thuờng khác không Khi đó giá trị 0 được thay bằng một ngưỡng T thích hợp sao cho:

Nếu Di,i-1≥ T: có đối tượng chuyển động trong khung hình đang xét

Nếu Di,i-1< T: không có đối tượng chuyển động trong khung hình đang xét Giá trị ngưỡng T là hằng số được chọn từ thực nghiệm

Hình 2.8: Hình minh hoạ các bước của phương pháp sai khác ảnh

2.3.3 Phương pháp Temporal Median Filter

Được đề xuất bởi Lo và Velastin [8] Hệ thống này đề xuất sử dụng N khung hình được đưa vào trước đó để tính giá trị trung bình cho mỗi điểm ảnh (i, j) và thành lập một mô hình nền tham chiếu Hệ thống sử dụng một bộ đệm cho các giá trị điểm ảnh của N khung hình được đưa vào để cập nhật giá trị trung bình cho mỗi khung hình

Giá trị nền ( ) được tính bằng phương trình:

( ) ∑ ( )

(2.3) Thuật toán này kiểm tra xem các điểm ảnh trong khung hình hiện tại có giá trị lớn hơn so với các điểm ảnh nền tương ứng hay không

Đối với mỗi khung hình mới, mỗi giá trị đầu vào của điểm ảnh sẽ được so sánh với giá trị của mô hình tương đương Nếu giá trị điểm ảnh nằm trong giới hạn cho phép nhất định, nó sẽ được xem xét mà điểm ảnh phù hợp với mô hình nền và giá trị đầu vào sẽ được đưa vào bộ đệm (hàng đợi) Nếu không, giá trị điểm sẽ được

Khung hình trước Khung hình hiện tại

| ( ) ∑ ( )

| (2.4) Trong hình 2.9 là một ví dụ về mô hình nền tham chiếu Nhược điểm chính của phương pháp này là nó cần một bộ đệm có kích thước N cho mỗi điểm ảnh và

nó không thể hiện một cơ sở thống kê chắc chắn

Hình 2.9: Ví dụ về mô hình nền Temporal Median Filter

2.3.4 Phương pháp Gaussian Mixture Model

Mô hình hỗn hợp Gaussian (Gaussian Mixture Model) là một phương pháp cải tiến của phương pháp số trung bình Gaussian (Running Gaussian Average) Phương pháp này có thể giải quyết được việc mô hình nền (background model) có sự thay đổi ánh sáng đột ngột, những chuyển động lặp đi lặp lại (di chuyển lá cây, sóng nước…) Mô hình đề nghị một hỗn hợp Gaussian của mô hình p.d.f ở mỗi điểm ảnh (x,y), sử dụng các hàm phân phối Gaussian khác nhau cho mỗi điểm ảnh để tạo ra các mô hình nền

Mô hình hỗn hợp Gaussian đã được Stauffer và Grimson [13] mô tả như sau: Với:

là số phân phối Gaussian được sử dụng cho mỗi pixel (thường dùng là

3, 4 hoặc 5)

là trọng số của Gaussian thứ (thông tin mà nó đại diện), là giá trị không âm và có tổng bằng 1

là giá trị trung bình của Gaussian thứ

là ma trận hiệp phương sai của Gaussian thứ tại thời gian

ta sắp xếp các Gaussian theo giá trị giảm dần

Các nền được mô hình hóa bởi các phân phối Gaussian ( ) với trọng số cao nhất và phương sai thấp nhất, theo phương trình (2.7):

(∑ ) ( )

Hình 2.10: Phát hiện đối tượng chuyển động trong mô hình hỗn hợp Gaussian

 Nếu phương trình không xảy ra đối với một hoặc nhiều phân phối Gaussian, điều đó thể hiện giá trị đầu vào là phù hợp với mô hình nền Điều này sẽ quyết định