Luận văn thạc sĩ Kỹ thuật cơ điện tử: Thiết kế hệ thống giám sát và ước lượng tình trạng giao thông

Sau đó, hệ thống sẽ xử lý từng khung ảnh để: + Tách các đối tượng tiền cảnh ra khỏi nền + Đánh giá lưu lượng chuyển động của dối tượng trong vùng quan sát 1.2 Nội dung đề tài  Tìm hiểu

GIỚI THIỆU

Giới thiệu tổng quan

Cùng với sự tập trung cao độ về mật độ dân số và phương tiện giao thông tại các thành phố lớn, vấn nạn kẹt xe vẫn luôn là một trong những vấn đề nổi bật, thu hút được sự quan tâm của nhiều thành phần khác nhau trong xã hội Ở Việt Nam, vấn đề này luôn là một vấn đề nhức nhối, đặc biệt ở hai thành phố lớn là Hà Nội và Tp Hồ Chí Minh Nhiều giải pháp đã được thực hiện nhằm giảm thiểu tình trạng kẹt xe, như phân luồng giao thông, đầu tư hệ thống cơ sở vật chất (xây dựng cầu vượt, lắp đặt các hệ thống camera giám sát nhằm thông báo tình trạng kẹt xe đến người đi đường thông qua hệ thống bảng thông báo điện tử, qua đài phát thanh…) Hiện tại, hệ thống camera giám sát giao thông ở các thành phố lớn tại Việt Nam càng lúc càng được mở rộng

Tuy nhiên, công việc giám sát, đánh giá tình trạng giao thông vẫn phụ thuộc vào con người là chính Việc xây dựng một hệ thống có khả năng giám sát lưu lượng giao thông tự động, có thể kết nối với hệ thống điều tiết đèn giao thông để đưa ra những điều khiển tối ưu là một trong những giải pháp đáng quan tâm và đầu tư để giải quyết bài toán kẹt xe ở Việt Nam

Hệ thống trong đề tài này sẽ gồm các phần: nhận dạng đối tượng tiền cảnh, đánh giá lưu lượng di chuyển của các phương tiện lưu thông trên đường Hệ thống sử dụng các đoạn tư liệu video quay lại từ các camera giao thông hoặc hình ảnh trực tiếp từ camera

Sau đó, hệ thống sẽ xử lý từng khung ảnh để:

+ Tách các đối tượng tiền cảnh ra khỏi nền + Đánh giá lưu lượng chuyển động của dối tượng trong vùng quan sát

Nội dung đề tài

 Tìm hiểu về bài toán giám sát giao thông, đưa ra cái nhìn tổng quát về việc phát hiện và dò tìm chuyển động, những hướng tiếp cận chính trong những nghiên cứu hiện nay

 Tìm hiểu về 2 vấn đề chính của hệ thống giám sát giao thông:

+ Tách tiền cảnh và ước lượng mật độ phương tiện giao thông

+ Ước lượng vận tốc của các phương tiện giao thông

 Tập trung vào việc nghiên cứu phương pháp tách đối tượng chuyển động ra khỏi nền và ước lượng chuyển động của đối tượng trong vùng quan sát

 Tìm hiểu và xây dựng chương trình phát hiện chuyển động của xe cộ trong các video giám sát giao thông, ước lượng mật độ, vận tốc các phương tiện giao thông, từ đó suy ra trạng thái giao thông trong các khung ảnh giám sát.

Mục tiêu đề tài

- Chọn ra phương pháp giải thuật tối ưu để giải quyết bài toán ước lượng lưu lượng xe cộ trong điều kiện giao thông ở Việt Nam

- Xây dựng chương trình dò tìm chuyển động và ước lượng mật độ giao thông trong video giám sát

- Xây dựng hệ thống giám sát thông minh đáp ứng tốt nhu cầu thực tiễn.

Phương pháp nghiên cứu

 Tham khảo các giải thuật liên quan đã được đề xuất trong các công trình nghiên cứu trong và ngoài nước

 Đánh giá ưu điểm và hạn chế của từng thuật toán để chọn lọc và áp dụng cho nghiên cứu

 Kế thừa và kết hợp các thế mạnh của các thuật toán và cải tiến một số bước để thuật toán giải quyết hiệu quả bài toán đặt ra

 Xây dựng chương trình phát hiện chuyển động và ước lượng mật độ giao thông

 So sánh kết quả đạt được với kết quả của các công trình nghiên cứu trước đó (nếu có) để đánh giá mức độ hiệu quả của giải thuật.

Một số thách thức

Hầu hết các giải thuật về dò tìm phương tiện đều áp dụng cho xe 4 bánh, và các phương tiện di chuyển theo làn Ở Việt Nam, số lượng phương tiện tham gia giao thông khá nhiều và nhiều chủng loại, đồng thời tốc độ di chuyển của các phương tiện cũng rất khác nhau Thêm nữa, các phương tiện thường không di chuyển theo 1 làn xe nhất định Do vậy cần có thuật toán thích hợp để áp dụng cho tình hình giao thông thực tế ở Việt Nam

TÌNH HÌNH NGHIÊN CỨU

Các công trình nghiên cứu liên quan

Đã có nhiều nghiên cứu giải quyết bài toán phát hiện vật thể chuyển động hoặc nhận dạng vùng đám đông Phương pháp nhận dạng đám đông dựa vào phân tích texture được đề cập trong nghiên cứu của Zhe Wang, Hong Liu, Yueliang Qian và Tao Xu trong bài báo [1] Ở đây, nhóm tác giả đề xuất một trình mô tả kết cấu dựa vào ma trận hiệp phương mô hình nhị phân cục bộ (LBPCM) cho việc ước lượng mật độ đám đông Nó được xây dựng từ nhiều cell chồng chéo nhau trong một khối ảnh mà sẽ được phân loại ra thành nhiều mức mật độ đám đông khác nhau LBPCM mô tả cả thuộc tính thống kê và các thông tin không gian của LBP do vậy sử dụng đầy đủ các chức năng của LBP cho đặc tính kếu cấu cục bộ Thêm vào đó, họ còn trích xuất LBP trên màu xám và gradient ảnh để cải thiện hiệu suất ước lượng mật độ đám đông Cuối cùng kĩ thuật cửa sổ trượt dùng để phát hiện những vùng đám đông có khả năng xuất hiện cao nhất

Hình 2.1 : Sơ đồ hệ thống phân tích mật độ đám đông dựa vào LBPCM[1]

7 Một phương pháp thông dụng thường được sử dụng để phát hiện vật thể, đó là dùng đặc trưng HOG (Histogram of Gradient) A Shakin Banu và P Vasuki đã khai thác đặc tính của HOG, kết hợp với phép thực hiện hình thái để phát hiện phương tiện trong bài báo [2] Trong bài báo này, vùng quan tâm ROI (Region of Interest) sẽ được chọn

Những pixel ở bên trong của vùng này một mình được phát hiện Toán tử Sobel được dùng cho việc xác thực những pixel biên Gradient đạt được bằng cách tìm những pixel chung trong vùng được phát hiện và vùng ROI Cuối cùng, quá trình phát hiện đối tượng được thực hiện dùng xử lý hình thái và xử lý HOG Độ chính xác của phương pháp này là 83%

Bên cạnh hai phương pháp này, còn một phương pháp được sử dụng khá phổ biến trong lĩnh vực phát hiện đối tượng chuyển động, đó là dùng phương pháp trừ nền Đầu tiên phải kể đến là Chris Stauffer W.E.L Grimson với bài báo [3] Tác giả đề xuất mô hình mỗi pixel nền bằng cách sử dụng bộ trộn 3 Gauss tương ứng với đường, xe cộ và bóng râm Mô hình này đầu tiên dùng thuật toán EM Sau đó các Gaussian sẽ đươc tự đánh nhãn một cách phỏng đoán như sau: các thành phần tối nhất được dán nhãn là cái bóng; trong hai thành phần còn lại, một với phương sai lớn nhất là có nhãn là phương tiện và một khác như đường Điều này vẫn cố định cho tất cả các quá trình cho thấy sự thiếu thích ứng với những thay đổi theo thời gian Về phát hiện tiền cảnh, mỗi điểm ảnh được so sánh với mỗi Gaussian và được phân loại theo Gaussian tương ứng với nó

Việc bảo trì được thực hiện bằng cách sử dụng một Thuật toán EM tăng cường để xem xét vấn đề thời gian thực Sau này tác giả đã khái quát hóa bằng cách mô hình các đặc điểm màu sắc của những pixel liền kề theo thời gian {X1,X2, Xn} bằng bộ trộn K Gausians Phương pháp này sẽ được đề cập ở phần tiếp theo

Một số nghiên cứu khác tập trung trực tiếp vào bài toán ước lượng mật độ xe và tình trạng giao thông Maurin [4] tính toán mật độ giao thông bằng cách phát hiện các đối tượng chuyển động trên các làn đường, đồng thời tính toán vận tốc của các đối tượng này bằng giải thuật dòng quang học (optical flow) [5], sau đó dùng logic mờ để

Luận Văn Thạc Sĩ GVHD:TS.Trương Công Dung Nghi

8 đưa ra quyết định có xảy ra kẹt xe hay không Porikli [6] lấy trực tiếp các đặc điểm kẹt xe từ dữ liệu đang nén (compressed domain) và áp dụng mô hình Markov ẩn kết hợp bộ trộn Gauss (Gaussian Mixture Hidden Markov Models (GM-HMM)) ứng với 5 trạng thái giao thông, sau đó dùng tiêu chí lân cận cực đại (Maximum Likelihood) để đánh giá tình trạng kẹt xe Hu và cộng sự [7] ước lượng vận tốc trung bình của các phương tiện giao thông bằng cách sử dụng trực tiếp vector chuyển động trong nén MPEG Hướng tiếp cận sử dụng bộ phân loại SVM (Support Vector Machine) để xây dựng mô hình nền có khả năng thích ứng với điều kiện thay đổi ánh sang của môi trường được đề xuất bởi Wassantachat và cộng sự trong [8] Một hướng nghiên cứu khác sử dụng mạng nơron nhân tạo để huấn luyện mô hình nhận dạng và phân loại các mức độ kẹt xe trên đường được đề xuất bởi Posawang và cộng sự [9] cũng cho kết quả rất khả quan (hình 2.2) Asmaa và cộng sự [10] kết hợp các ba bộ phân loại khác nhau

(K Nearest Neighbor (kNN), Learning Vector Quantization (LVQ) và Support Vector Machine (SVM)) để trích tách các tham số vi mô và vĩ mô, từ đó phân tích và đánh giá tình trạng kẹt xe trên đường

Hình 2.2 Kết quả đánh giá tình trạng giao thông [9].

Tình hình nghiên cứu trong nước

Cũng có một vài nghiên cứu và luận văn về mảng giám sát giao thông, nhưng thực tế nhất vẫn là công trình nghiên cứu của ThS Đặng Quang Thạch, Bộ môn Điều khiển technique The values in shaded cells show the percentage of mutual classification by both models

We investigated the causes of different classification using the recorded traffic images, processed data and the road users’ ratings Single step differences in classification, e.g., light to heavy and heavy to jam, are due to the different points of view on congestion of motorists, in which definitive conclusions cannot be drawn Additionally, the percentage of these differences is relatively low We will focus our attention on the significant differences from light to jam or vice versa

In the first case, i.e., light to jam (0.11%), the analysis revealed that the speed is between 6.04 to 14.27 km/h All of recorded images, as one example shown in Fig 7 (to Sukhumvit), clearly confirm that the traffic was in jam condition

Fig 7 Image classified as jam traffic by ANN and as light traffic by OR technique

In the second case, i.e., jam to light (12.04%), the analysis revealed that the speed is between 70.19 and 129.41 km/h All of recorded images, as one example shown in Fig 8, clearly confirm that the traffic was in light condition, in which our model classified accurately

Fig 8 Image classified as light traffic by ANN and as jam traffic by OR technique

We further investigated the relationship between speed and congestion level of the existing system as shown in Fig

9 In Fig 6, the speed range of each congestion level clearly separates one from each other, especially for light and heavy traffic However, the speed ranges of three congestion levels in Fig 9 largely overlap This makes it difficult and confusing to distinguish the congestion level using only speed attributes Additionally, the figure shows a counter-intuitive relationship between speed and congestion level For example, the speed range of jam is between 87 to 127 km/h The preliminary results suggested that the opinion-based ANN exhibits a more concrete classification pattern

Fig 9 The congestion classification derived from the BMA system

Thus, it safe to claim that this neural network model could achieve higher accuracy in the determination of the traffic congestion level than the current system operating in Bangkok using OR technique; consistencies were greater by as much as 12.15% with the overall accuracy of the model itself reaching 94.99%

The study employed the artificial neural network technique to automatically determine the traffic congestion levels achieving an accuracy of 94.99% and the root mean square of 0.1583, based on motorists’ perceptions, with the 10-11-3 node configurations The weighting priorities of the input were speed (km/h), traffic volume (car/min), the time of day, and the day of week The optimized learning rate and the momentum parameters were 0.3 and 0.2 respectively The model was 12.15% more consistent with the motorists’ perceptions than the Occupancy Ratio method used by the existing system in the Bangkok Metropolitan Area This model can be implemented to increase the accuracy of the system Since the vehicle speed most affected the congestion level determination, it can then be modified and used to classify the traffic congestion levels of the data collected from various kinds of sensors besides traffic camera, which should be a worthwhile investigation

We appreciated the time and efforts of the traffic web survey participants providing judgments over the collected Proceedings of the World Congress on Engineering 2009 Vol I

ISBN: 978-988-17012-5-1 WCE 2009 of mutual classification by both models

We investigated the causes of different classification using the recorded traffic images, processed data and the road users’ ratings Single step differences in classification, e.g., light to heavy and heavy to jam, are due to the different points of view on congestion of motorists, in which definitive conclusions cannot be drawn Additionally, the percentage of these differences is relatively low We will focus our attention on the significant differences from light to jam or vice versa

In the first case, i.e., light to jam (0.11%), the analysis revealed that the speed is between 6.04 to 14.27 km/h All of recorded images, as one example shown in Fig 7 (to Sukhumvit), clearly confirm that the traffic was in jam condition

Fig 7 Image classified as jam traffic by ANN and as light traffic by OR technique

In the second case, i.e., jam to light (12.04%), the analysis revealed that the speed is between 70.19 and 129.41 km/h All of recorded images, as one example shown in Fig 8, clearly confirm that the traffic was in light condition, in which our model classified accurately

Fig 8 Image classified as light traffic by ANN and as jam traffic by OR technique and congestion level of the existing system as shown in Fig

9 In Fig 6, the speed range of each congestion level clearly separates one from each other, especially for light and heavy traffic However, the speed ranges of three congestion levels in Fig 9 largely overlap This makes it difficult and confusing to distinguish the congestion level using only speed attributes Additionally, the figure shows a counter-intuitive relationship between speed and congestion level For example, the speed range of jam is between 87 to 127 km/h The preliminary results suggested that the opinion-based ANN exhibits a more concrete classification pattern

Fig 9 The congestion classification derived from the BMA system

Thus, it safe to claim that this neural network model could achieve higher accuracy in the determination of the traffic congestion level than the current system operating in Bangkok using OR technique; consistencies were greater by as much as 12.15% with the overall accuracy of the model itself reaching 94.99%

The study employed the artificial neural network technique to automatically determine the traffic congestion levels achieving an accuracy of 94.99% and the root mean square of 0.1583, based on motorists’ perceptions, with the 10-11-3 node configurations The weighting priorities of the input were speed (km/h), traffic volume (car/min), the time of day, and the day of week The optimized learning rate and the momentum parameters were 0.3 and 0.2 respectively The model was 12.15% more consistent with the motorists’ perceptions than the Occupancy Ratio method used by the existing system in the Bangkok Metropolitan Area This model can be implemented to increase the accuracy of the system Since the vehicle speed most affected the congestion level determination, it can then be modified and used to classify the traffic congestion levels of the data collected from various kinds of sensors besides traffic camera, which should be a worthwhile investigation

We appreciated the time and efforts of the traffic web survey participants providing judgments over the collected

9 học, khoa Điện - Điện tử Trường ĐH GTVT với đề tài cấp Nhà nước[10] Giải pháp sử dụng hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh đã được xây dựng và thử nghiệm trong khuôn khổ đề tài KHCN cấp Nhà nước, do Trường Đại học GTVT chủ trì

Module được sử dụng trong hệ thống khởi tạo và cập nhật ảnh nền nhằm xử lý ảnh chụp quá trình giao thông Module này có nhiệm vụ xử lý được ảnh nền (background) và ảnh tiền cảnh (foreground) để phản ánh chính xác được ảnh của xe đang lưu thông

NỘI DUNG LÝ THUYẾT VÀ GIẢI THUẬT ĐỀ NGHỊ

Cơ sở lý thuyết

Việc xử lý video cho những ứng dụng khác nhau cần giải quyết những yêu cầu khác nhau Tuy nhiên, chúng có một số điểm chung sau: các đối tượng chuyển động Như vậy, việc phát hiện các đối tượng chuyển động là bước đầu tiên của bất kỳ hệ thống xử lý video nào Khi tìm kiếm thấy các đối tượng chuyển động mới bắt đầu chuyển sang bước xử lý khác

Hình 3.1 : Sơ đồ khối lược đồ chung cho các thuật toán xử lý video

Vấn đề phát hiện đối tượng đang được nghiên cứu và có nhiều ứng dụng trong cuộc sống Các đối tượng được phát hiện nhờ những thông tin trong một frame ảnh Thực tế thì các Video thu được từ camera có rất nhiều nhiễu, chẳng hạn như sự thay đổi của ánh sáng, sự thay đổi của thời tiết, lá rung,…Việc phát hiện đối tượng chuyển động gặp vấn đề khó khăn để xử lý một cách chính xác Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên, cần phải dựa vào từng tình huống cụ thể để lựa chọn phương pháp áp dụng cho thích hợp Các công nghệ thường xuyên được sử dụng để phát hiện đối tượng chuyển động là phép trừ nền, các phương pháp tĩnh, sự khác biệt về thời gian và optical flow

Giới thiệu một số phương pháp phát hiện đối tượng chuyển động trong video:

Nhận dạng đối tượng chuyển động từ một chuỗi ảnh là một nhiệm vụ cơ bản và cốt yếu trong giám sát video, giám sát và phân tích tình hình giao thông, nhận dạng và theo dõi người và nhận biết cử chỉ trong giao tiếp giữa người và máy

Một phương pháp thường được sử dụng để xác định đối tượng chuyển động là trừ nền(background subtraction) Đây là một phương pháp thường được sử dụng để phân đoạn chuyển động trong hình ảnh tĩnh Mỗi khung ảnh sẽ được so sánh với một nền tham khảo.Các điểm ảnh trong khung ảnh hiện tại có sự khác biệt đáng kể với nền được xem là đối tượng chuyển động Các điểm ảnh tiền cảnh này sẽ được xử lý ở bước định vị và theo dõi

Phương pháp này sẽ cố gắng phát hiện vùng chuyển động bằng cách lấy từng điểm ảnh của hình ảnh hiện tại trừ đi cho một ảnh nền tham khảo (reference background image) được tạo ra bằng cách lấy trung bình các ảnh trong khoảng thời gian khởi tạo ban đầu Điểm ảnh nào có hiệu số trên mức ngưỡng được phân loại vào nhóm tiền cảnh (foreground) Sau khi tạo được ma trận các điểm ảnh tiền cảnh, các thao tác tiền xử lý hình thái học (morphological) ví dụ như co ảnh (erosion), giãn nở (dilation) và đóng ảnh (closing) được thực hiện nhằm làm giảm ảnh hưởng của nhiễu và cải thiện vùng được nhận dạng Ảnh nền được cập nhật với các ảnh mới theo thời gian để thích nghi với sự thay đổi của hình ảnh

Kể từ khi trừ nền trở thành bước đầu tiên trong nhiều ứng dụng thị giác máy tính, việc tách các điểm ảnh tiền cảnh tương ứng với đối tượng chuyển động một cách chính xác là rất quan trọng Mặc dù đã có nhiều giải thuật trừ nền đã được đề xuất trong các tài liệu, vấn đề nhận dạng đối tượng chuyển động trong môi trường phức tạp vẫn sẽ chưa được giải quyết triệt để

Có nhiều vấn đề một giải thuật trừ nền mạnh phải giải quyết được Xét một chuỗi ảnh từ một camera cố định quan sát tại một nút giao thông Bởi vì xử lý với môi trường ngoài trời (outdoor), giải thuật cần thích nghi nhiều mức độ chiếu sáng trong nhiều thời điểm khác nhau của ngày và xử lý các trạng thái thời tiết đối nghịch như sương mù hay tuyết làm thay đổi nền Bóng của các đối tượng nên được loại bỏ để các đặc điểm nhất quán có thể được trích từ đối tượng trong các bước xử lý sau

Luồng di chuyển phức tạp ở nút giao thông cũng là một thách thức Các phương tiện di chuyển với tốc độ bình thường khi đèn xanh, dừng lại khi đèn đỏ và sẽ không di chuyển cho tới khi đèn xanh trở lại Một giải thuật mạnh phải xử lý được đối tượng chuyển động khi lúc ban đầu vẫn còn hợp nhất với nền và sau đó khi trở thành tiền cảnh Thêm nữa, để thích ứng với các ứng dụng thời gian thực, nó phải đơn giản khi tính toán và yêu cầu về bộ nhớ thấp, trong khi vẫn xác định chính xác đối tượng trong video

16 Mặc dù có nhiều phương pháp đã được công bố, chúng thường chỉ là một phần trong ứng dụng thị giác máy tính Một giải thuật trừ nền thường có 4 tác vụ: tiền xử lý (preprocessing), mô hình nền (background modeling), nhận dạng tiền cảnh (foreground detection) và xác thực dữ liệu (data validation)

Mặc dù có rất nhiều tài liệu về giải thuật trừ nền nhưng nhìn chung hầu hết các giải thuật này đều tuân theo 4 thao tác chính: tiền xử lý, mô hình nền, nhận dạng tiền cảnh và xác thực dữ liệu Tiền xử lý bao gồm các bước xử lý ảnh đơn giản chuyển đầu vào video thô thành định dạng phù hợp với các thao tác xử lý tiếp theo Mô hình nền dùng các khung ảnh ở thao tác tiền xử lý để tính toán và cập nhật mô hình nền Mô hình này cung cấp mô tả thống kê về toàn bộ nền Tiếp theo nhận dạng tiền cảnh xác định các điểm ảnh trong khung ảnh mà mô hình nền không thể giải quyết thỏa đáng và sau đó xuất ra một mặt nạ tiền cảnh nhị phân dạng thô Cuối cùng, xác thực dữ liệu khảo sát mặt nạ này, loại bỏ các điểm ảnh không tương ứng với đối tượng chuyển động và xuất ra mặt nạ tiền cảnh hoàn chỉnh Lĩnh vực tri thức (domain knowledge) và các giải thuật thị giác tính toán mạnh thường được sử dụng trong xác thực dữ liệu Xử lý thời gian thực là khả thi nếu như những giải thuật phức tạp chỉ áp dụng lên một số lượng nhỏ các điểm ảnh của tiền cảnh

Hình 3 2 : Sơ đồ giải thuật

Trong đa số các hệ thống thị giác máy tính, phương pháp làm mịn (smoothing) về không gian và/hay thời gian thường được sử dụng trong các bước đầu để giảm nhiễu camera Làm mịn có thể dùng để loại bỏ nhiễu ngắn hạn của môi trường như mưa hay tuyết Với hệ thống thời gian thực, việc giảm kích thước của khung ảnh và tốc độ khung ảnh sẽ giúp giảm việc xử lý dữ liệu Nếu camera di chuyển hay có nhiều camera đặt ở nhiều vị trí, phải sử dụng image registration (kỹ thuật giúp gom các dữ liệu từ các nguồn khác nhau vào chung một hệ quy chiếu) cho các khung ảnh liên tiếp hoặc từ các camera khác nhau trước khi tạo mô hình nền

Một vấn đề chính trong thao tác này là định dạng dữ liệu được sử dụng bởi các giải thuật trừ nền Phần lớn các giải thuật xử lý với cường độ ánh sáng là một giá trị vô

17 hướng với mỗi điểm ảnh Tuy nhiên, với ảnh màu hệ RGB hay HSV, ngày càng phổ biến trong các tài liệu về trừ nền[9, 17] Các tài liệu này kết luận rằng màu sắc sẽ giúp xác định đối tượng chuyển động tốt hơn cường độ sáng trong vùng ít tương phản và ít có Bóng đổ từ đối tượng Ngoài ra, các đặc trưng từ điểm ảnh như đạo hàm về không gian và thời gian để kết hợp các thông tin về cạnh và chuyển động Ví dụ, giá trị cường độ và đạo hàm không gian có thể kết hợp thành một vùng đơn trạng thái để theo dõi nền với bộ lọc Kalman Pless et al kết hợp cả đạo hàm về không gian và thời gian nhằm tạo thành mô hình nền, hằng số vận tốc để xác định tốc độ của các phương tiện

Hạn chế chính của việc thêm màu hoặc lấy đạo hàm các đặc trưng trong việc tạo mô hình nền là làm tăng tính phức tạp cho việc xấp xỉ đặc trưng của mô hình

Mô hình nền là lõi của mọi giải thuật trừ nền Nhiều nghiên cứu được dành cho việc phát triển một mô hình nền đủ mạnh để xử lý với điều kiện thay đổi của môi trường nhưng đủ nhạy xác định tất cả các đối tượng chuyển động Có 2 loại phương pháp để tạo ra mô hình nền: đệ quy và phi đệ quy a Phương pháp phi đệ quy (non-recursive)

Phương pháp trừ nền sử dụng mô hình bộ trộn Gauss

Đầu tiên, các điểm ảnh được đặc trưng bởi cường độ của nó trong không gian màu RGB Sau đó, xác suất quan sát giá trị pixel hiện tại dựa vào công thức sau:

24 𝜔𝑖, là trọng số của thành phần Gauss thứ i trong mô hình tại thời điểm t hay nói cách khác nó là xác suất để để 𝑋 𝑡 có phân phối (𝑋𝑡, 𝜇𝑖,, ∑𝑖,𝑡)

𝜇𝑖, là giá trị trung bình của thành phần Gauss thứ i trong mô hình tại thời điểm t

∑𝑖,𝑡 là ma trận hiệp phương sai của thành phần Gauss thứ i trong mô hình tại thời điểm t

𝜂 là hàm mật độ xác suất Gauss :

Cũng vì lý do tính toán, ma trận hiệp phương sai giả thiết có dạng , 2 i t  I

Do vậy, mỗi điểm ảnh sẽ được đặc trưng bởi một bộ trộn K Gause Một khi mô hình được định nghĩa, các tham số khác nhau của bộ trộn cần được khởi tạo Các tham số của mô hình MOG :   i t , , i t , , i t, K được xác định tùy thuộc vào dung lương bộ nhớ hiện có và sức mạnh tính toán của hệ thống, thông thường K từ 3 cho đến 5

Một khi các thông số khởi tạo được thực hiện, việc phát hiện tiền cảnh đầu tiên có thể được thực hiện và sau đó chúng sẽ được cập nhật Đầu tiên, Grimson sử dụng tiêu chí chỉ số r j    j / j và sắp xếp K Gausse theo tỉ số này.Sự sắp xếp này giả định rằng các pixel nền tương ứng với 1 trọng số lớn và 1 phương sai nhỏ theo thực tế là nền ít di chuyển so với đối tượng và giá trị của nó hầu như không thay đổi

B phân phối Gausse đầu tiên vượt qua ngưỡng T sẽ giữ lại cho 1 phân phối nền

Các phân phối khác được xem là tiền cảnh Sau đó, khi 1 frame mới đến tại thời điểm t+ 1, một thử nghiệm so sánh được thực hiện trên mỗi pixel Một pixel phù hợp với phân phối Gausse khi khoảng cách Mahalanobis:

(( t i t ) T t i t ) i t sqrt X   X     k (3.12) Có hai trường hợp có thể xảy ra:

25 - Pixel đang xét phù hợp với 1 trong K phân phối Gausse Nếu phân phối Gauss được xác định là 1 nền, pixel này sẽ được phân loại là nền, nếu không thì sẽ là tiền cảnh

- Pixel đang xét không phù hợp với bất cứ K Gauss nào, sau đó thực hiện phát hiện tiền cảnh tiếp theo, các tham số cần được cập nhật Dùng ràng buộc(4) : 2 trường hợp có thể xảy ra như trường hợp 1 :

+ Pixel đang xét phù hợp với 1 trong K Gauss:

Với những thành phần phù hợp, việc cập nhật sẽ diễn ra như sau:

      (3.16) Cho những thành phần không phù hợp,  và  không đổi, trọng số được thay bởi

+ Không cái pixel nào phù hợp với K Gausse, Xác suất phân phối K nhỏ nhất sẽ được thay thế bởi : k t , 1

Phương pháp optical flow

Phương pháp luồng quang học (Optical flow) dùng để tính toán hướng chuyển động và đo lường vận tốc của một đối tượng, biểu thị bởi một tập các vector hay còn gọi là trường chuyển động (motion field) từ một tập các frame ảnh thay đổi theo thời gian

Trong đề tài này, Optical flow được tính toán bằng phương pháp vi sai giữa 2 frame ảnh để ước lượng chuyển động

Lucas-Kanade method là một trong những phương pháp hiệu quả và chính xác để tính toán vùng chuyển động với khối lượng tính toán thấp, tăng tốc độ xử lý và chống nhiễu tốt

Nội dung phương pháp được tóm tắt như sau:

26 Một số điều kiện của thuật toán :

1 Cường độ sáng của pixel không đổi theo thời gian t, 2 Chuyển động nhỏ,

3 Các pixel lân cận cũng chuyển động cùng vận tốc

Tại thời điểm t pixel (x,y) có giá trị màu là I(x,y,t), sau thời gian δt vị trí của pixel này là (x+δx,y+δy) Với điều kiện 1, ta có biểu thức sau:

Với giả thiết các chuyển động là đủ nhỏ, ta có khai triển Taylor như sau :

Trong đó, H.O.T là các hài bậc cao, có thể bỏ qua do chúng có giá trị đủ nhỏ Từ (3.21) và (3.22) suy ra:

Phương trình (3.35) là phương trình bậc nhất hai ẩn 𝑉 𝑥 và 𝑉 𝑦 , hay còn gọi là phương trình cơ bản của optical flow

Trong đó: 𝑉 𝑥 và 𝑉 𝑦 là thành phần vận tốc x và y hay optical flow của ảnh I(x, y, t)

𝜕𝐼/𝜕𝑥, 𝜕𝐼/𝜕𝑦 và ∂I/ ∂t là đạo hàm của ảnh tại (x, y, t) theo các hướng tương ứng

Phương trình (3.35) có thể viết lại như sau:

Phương trình bậc nhất (3.37) có đến hai ẩn chưa biết, để giải được (3.37) ta cần phải có thêm các điều kiện ràng buộc khác Lucas và Kanade đã đề ra giải pháp với giả thiết các pixel lân cận cũng chuyển động cùng vận tốc với pixel đang xét, có nghĩa là

27 (𝑉 𝑥 , 𝑉 𝑦 ) là hằng số trong một vùng cửa sổ nhỏ có kích thước m×m (m>1), điểm trung tâm là (x, y) và các pixels được đánh số từ 1 đến n, n=m 2

Khi đó, ta có hệ phương trình rang buộc sau:

Hệ phương trình (8) với nhiều hơn 2 phương trình nên hoàn toàn có thể giải được để tìm 2 ẩn (𝑉 𝑥 , 𝑉 𝑦 ) Hệ có thể viết lại:

Trong thực tế, các điểm ảnh lân cận có thể không chuyển động cùng vận tốc với pixel đang xét, do đó ta giải hệ over-determined này bằng phương pháp bình phương cực tiểu (Least-Quares) để tìm được vector vận tốc của đối tượng chuyển động

− ∑ 𝐼 𝑦 𝑖 𝐼 𝑡 𝑖 ] (3.43) Điều kiện để tính optical flow là A T A = [ ∑ I x 2 i ∑ I x i I y i

Ta có thể tính ma trận nghịch đảo trong công thức (3.43) như sau :

−𝑀[0][1] 𝑀[0][0] ] Trong đó 𝑀 ∗ và |𝑀| lần lượt là ma trận phụ hợp và định thức của ma trận M

Khi tính các đạo hàm của I, nếu chỉ tính đơn giản theo kiểu 𝐼 𝑥 (𝑥, 𝑦) 𝐼(𝑥 + 1, 𝑦) − 𝐼(𝑥, 𝑦) thì có thể không xấp xỉ được tốt giá trị của đạo hàm Ta có thể dùng các toán tử gradient để tính đạo hàm như Sobel, Horn, Robert…

Giải thuật Horn-Schunck là một trong những giải thuật kinh điển trong mảng optical flow bởi tính thực thi hợp lý và đơn giản được đề xuất bởi Horn và Schunck (1981) Đây là một kỹ thuật để xác định optical flow dựa trên phương pháp đạo hàm theo không gian- thời gian cường độ ảnh bằng cách áp dụng các ràng buộc gradient (sự bất biến của độ sáng) với bộ làm mượt toàn cục (global smoothness) Có hai bước xử lý chính đối với giải thuật Horn-Schunck Bước đầu tiên là ước tính các đạo hàm từng phần Sau đó, các phương trình lặp sẽ được thực hiện để tối thiểu hóa các sai số và tính toán vận tốc ảnh

* Bước 1: Ước tính các đạo hàm riêng phần a Phương pháp cổ điển của Horn và Schunck để tính các đạo hàm riêng phần

Phương pháp cổ điển tính các đạo hàm riêng phần 𝐼 𝑥 , 𝐼 𝑦 𝑣à 𝐼 𝑡 cho mỗi pixel trong mỗi frame ảnh bằng các công thức toán sau:

Ví dụ: Tính các đạo hàm riêng phần của cường độ ảnh tại điểm (x,y) Áp dụng các công thức cổ điển trên ta tính được các đạo hàm riêng phần của cường độ ảnh tại điểm (x,y) như sau:

4{(30 − 5) + (0 − 0) + (100 − 105) + (180 − 185)} = 3.75 b Ước tính các đạo hàm riêng phần bằng BFB kernel

Barron et al (1994) đề ra phương pháp BFB tính các đạo hàm riêng cho giải thuật Horn-Schunck tìm optical flow bằng cách áp dụng mặt nạ trọng số kernel

Biểu diễn toán học của phương pháp này là:

Ví dụ: Tính các đạo hàm riêng phần của cường độ ảnh tại điểm (x,y) bằng phương pháp BFB

* Bước 2: Tối thiểu hóa (Minimization)

Theo phương trình mô tả sự thay đổi cường độ ảnh ta có:

Trong đó u và v lần lượt là optical flow theo phương x và phương y

Ta luôn giả thiết cường độ ảnh là không thay đổi theo thời gian t, do đó sai số 𝜀 𝑢𝐼 𝑥 + 𝑣𝐼 𝑦 + 𝐼 𝑡 = 0

Trong thực tế, cường độ ảnh có thể không là hằng số bởi việc lượng tử hóa cũng như các ảnh hưởng của nhiễu Do đó 𝜀 có thể khác 0, vấn đề đặt ra là tối thiểu hóa sai số 𝜀 đến mức 0 Giải pháp được Horn và Schunck đề xuất là sử dụng một hệ số làm mượt 𝛼 trong các vòng lặp tính optical flow sau:

Trong đó, 𝑢̅ 𝑘 và 𝑣̅ 𝑘 là các giá trị trung bình của các neighborhood 𝑢 𝑘 và 𝑣 𝑘 tương ứng theo chiều ngang và dọc, chúng được khởi tạo bằng 0 Các giá trị trung bình được tính toán bằng phép tích chập với mặt nạ kernel sau:

Giải thuật Horn-Schunck với việc áp dụng các mặt nạ trọng số kernel BFB đã đơn giản hóa được các bước tính toán và cho kết quả khá chính xác, tuy nhiên việc xác định giá trị hệ số làm mượt 𝛼 phù hợp là rất khó xác định bởi sự biến thiên của các chuỗi ảnh Đồng thời việc xác định số lần lặp thích hợp cũng rất cần được quan tâm.

Giải thuật đề nghị

Để thực hiện việc ước lượng tình trạng giao thông, trước hết tiến hành phân tích hai đặc trưng tiền cảnh: mật độ và tốc độ của phương tiện giao thông trên đường Đầu tiên,

32 ta sử dụng bộ trộn Gauss để trích xuất miền tiền cảnh khỏi khung ảnh gốc, từ đó sẽ tính được mật độ phương tiện giao thông Tốc độ được ước lượng một cách gần đúng bằng giải thuật dòng quang học, sau đó lấy giá trị trung bình cho các điểm ảnh miền tiền cảnh Một phương pháp khác là “ma trận đồng hiện diện” cũng được áp dụng nhằm so sánh kết quả tách tiền cảnh Cuối cùng, từ hai thông số đầu vào này, ta xây dựng mô hình logic mờ để phân loại giao thông thành năm trạng thái khác nhau

Hình 3.5 : Sơ đồ tổng quát của hệ thống

Video đầu vào sẽ được xử lý 2 phần : - Tách miền tiền cảnh : phát hiện đối tượng chuyển động

- Phân tích dòng quang học : tính toán vận tốc của đối tượng di chuyển

Sau khi ước lượng được mật độ và tốc độ di chuyển của phương tiền, ta chọn vùng quan sát và dựa vào kỹ thuật logic mờ để xác định được trình trạng giao thông

3.4.1 Phát hiện đối tượng chuyển động:

Hình 3.6: Sơ đồ khối nhận dạng đối tượng chuyển động

Bước 1: Tính toán các thông số : Đọc vào các khung ảnh của video từ đầu đến cuối Ở mỗi khung ảnh, giải thuật cập nhật các giá trị cường độ của mỗi điểm ảnh trong khung ảnh Sau đó sẽ tính toán các tham số như giá trị trung bình, phương sai, trọng số

Xét tất cả các khung ảnh của video, tính toán các tham số

Từ các thông số, xây dựng mô hình bộ trộn Gauss

Nhận dạng tiền cảnh Tạo mô hình nền

Bước 2 : Xây dựng mô hình trộn Gauss

Từ các thông số, giải thuật xây dựng một bộ trộn Gaussian cho mỗi điểm ảnh Một bộ trộn Gaussian có dạng :

𝑀 là số phân phối Gaussian

 N x ( ,  m , m 2 ) là hàm mật độ xác suất Gaussian

 x là chuỗi các giá trị của điểm ảnh theo thời gian (từ khung ảnh đầu tiên đến cuối cùng)

 m là trọng số của thành phần Gaussian thứ 𝑚 trong mô hình (hay là xác suất để x được mô tả bởi N x ( ,  m , m 2 ) tại thời điểm t)

 m , là giá trị trung bình tại thời điểm t

 m 2 là phương sai tại thời điểm t

Bước 3: Giải thuật thực hiện ước lượng :

Xét lại các khung ảnh từ đầu, với mỗi giá trị điểm ảnh, nó sẽ được giải thuật kiểm tra so sánh với mô hình bộ trộn cho đến khi tìm được phần tử thích hợp Một phần tử thích hợp được định nghĩa là một giá trị điểm ảnh trong phạm vi bằng 2.5 độ lệch chuẩn

Nếu trong M thành phần của bộ trộn không có cái nào phù hợp với giá trị điểm ảnh hiện tại, thành phần có xác suất nhỏ nhất sẽ được thay thế bằng một thành phần có giá trị trung bình bằng giá trị điểm ảnh hiện tại, phương sai khởi tạo lớn và trọng số ít ưu tiên Trọng số ưu tiên của M thành phần tại thời điểm t - 𝜋 ̂ 𝑚 được ước lượng theo phương trình (3.25)

35 Trong đó, 𝛼 là hệ số học và o t m ( )là 1 nếu như mô hình là phù hợp và 0 cho các mô hình còn lại Giá trị trung bình và phương sai được ước lượng theo 2 phương trình sau  m  m o t m ( )( /   m ) m (3.52)

Bước 4: ước lượng mô hình nền Các trọng số - 𝜋 ̂ 𝑚 của bộ trộn sẽ được sắp xếp theo thứ tự giảm dần, sau đó giải thuật sẽ gom B thành phần đầu tiên sao cho:

Trong đó 𝑇 là giới hạn của phần nhỏ nhất của dữ liệu mà chiếm bởi nền

Bước 5: nhận dạng tiền cảnh

Sau khi ước lượng được mô hình nền ở bước 4, phần còn lại của mô hình bộ trộn sẽ là tiền cảnh

Bước 6: xử lý tiền cảnh Tiền cảnh thu được là một ảnh nhị phân, tuy nhiên ảnh này có nhiều nhiễu và cần phải được cải thiện bằng các phép xử lý ảnh như co ảnh, mở rộng, làm mờ, lấy ngưỡng

3.4.2 Lọc nhiễu Ảnh tiền cảnh sau khi thu được còn độ nhiễu cao vì nhiều yếu tố Do đó, nếu trực tiếp tính toán các đặc điểm tiền cảnh từ kết quả này sẽ cho sai số rất lớn Ta thực hiện việc loại nhiễu bằng phương pháp đánh giá Ta định nghĩa một lân cận bậc n của một điểm ảnh là một hình vuông cạnh 2n+1 với điểm ảnh đó làm trung tâm, và trừ điểm ảnh đó ra

Trong một lân cận mức n của một điểm ảnh tiền cảnh, nếu số điểm ảnh tiền cảnh lớn hơn số điểm ảnh nền thì giữ nguyên kết quả, nếu không thì sẽ chuyển thành nền Áp dụng tương tự với các điểm ảnh nền

Hình 3.7 : Các lân cận của một điểm ảnh Đối chiếu hình gốc và tiền cảnh thu được trước và sau khi lọc nhiễu ở mức 1 và 2như Hình 3.8, ta thấy sau khi lọc nhiễu ở mức 2, kết quả thu được có độ chính xác khá cao Do đó, để tiết kiệm thời gian xử lý, không cần thiết phải lọc nhiễu ở các mức cao hơn

Hình 3.8 : Tiền cảnh được lọc ở mức 1

Hình 3.9 : Tiền cảnh được lọc nhiễu ở mức 2

3.4.3 Nhận dạng tiền cảnh bằng ma trận đồng hiện diện

Với giả thiết rằng mặt đường là một miền tương đối đồng nhất, nhóm tác giả sử dụng ma trận đồng hiện diện (co-ocurrence matrix)[10] để tách miền tiền cảnh

Ma trận đồng hiện diện thể hiện sự phân bố của những giá trị mức xám trên một bức ảnh theo qui tắc sau:

 GLCM (Gray Level Co-occurrence Matrix) là ma trận đồng hiện diện

 n m , là kích thước của miền ảnh cần tính GLCM

 I(p,q) là giá trị của điểm ảnh tại vị trí p,q

38 Thông thường, để giảm khối lượng tính toán, các mức xám i, j của ảnh đầu vào (có giá trị thược khoảng [0 255]) được ánh xạ vào một miền nhỏ hơn Cách tính ma trận GLCM của một miền ảnh 3x3, 5 mức xám, được thể hiện trực quan ở hình 2.3 :

Trong ma trận I, có 2 vt trí I I (p,q) 1, (p,q 1) 2    , nên ma trận GLCM có giá trị GLCM(1,2) =2 Tương tự, không có p,q nào thỏa I (p,q) = 1, (p,q+1) 1 nên ta có GLCM(1,1) =0

Dễ thấy, nếu giá trị các điểm ảnh gần giống nhau, giá trị tại các điểm đường chéo hoặc gần đường chéo sẽ lớn, đó là cơ sở để phân loại nền và tiền cảnh

Hình 3.10: Tiền cảnh được xác định bởi phương pháp GLCM

Hình 3.11 :Tiền cảnh được xác định bởi phương pháp GMM

KẾT QUẢ THỰC HIỆN

Tách đối tượng tiền cảnh ra khỏi nền

Việc tách đối tượng tiền cảnh ra khỏi nền được thực hiện dựa trên giải thuật trừ nền kết hợp với mô hình bộ trộn Gauss, từ đó nhận dạng các đối tượng tiền cảnh và tách biệt chúng với nền Hình 4.1 trình bày kết quả của một trường hợp nhận dạng các đối tượng tiền cảnh Hình bên trái là ảnh gốc đưa vào xử lý, hình bên phải là kết quả tách đối tượng tiền cảnh với các đối tượng tiền cảnh được đánh dấu màu đỏ Việc tách các đối tượng này thực hiện dựa trên việc xây dựng một “nền tham khảo” (hình 4.2) được học từ nhiều khung ảnh của vùng quan sát, với giả thiết rằng các đối tượng tiền cảnh cần tách không chiếm giữ vị trí cố định trong thời gian quan sát

Hình 4.1 : Đối tượng tiền cảnh đã tách ( từ trái sang phải : ảnh gốc ban đầu, ảnh đánh dấu các đối tượng tiền cảnh)

Ước lượng tốc độ

Việc ước lượng tốc độ của các đối tượng trên một khung ảnh quan sát được thực hiện dựa trên giải thuật optical flow trên toàn bộ khung ảnh Tốc độ của các đối tượng được đặc trưng bằng các vector vận tốc (các vector màu xanh như trên hình 4.3) Các vector này mô tả tốc độ và hướng di chuyển của các đối tượng khảo sát

Hình 4.3 : Ước lượng tốc độ của đối tượng chuyển động

Giao diện chương trình

Hình 4.4 :Giao diện chương trình : Giao diện chương trình gồm có 4 phần chính :

Input : Video ngõ vào ForegroundMask : Ảnh tiền cảnh đã được tách và đánh dấu Foreground : Ảnh tiền cảnh được tách ở dạng nhị phân Output : Ảnh đầu ngõ ra ở vùng quan sát đánh dấu vận tốc của phương tiện di chuyển

Các nút điều khiển chương trình :

Open : Mở và chọn video đầu vào

Mask : Chọn mặt nạ thích hợp ( Chọn vùng quan sát) Start : Bắt đầu chương trình

47 Speed Max : Vận tốc tối đa Giá trị này được điều chỉnh tùy thuộc vào từng điều kiện giao thông.( Ở những vùng giao thông đông đúc thì giá trị này nhỏ, các vùng ngoại ô, vùng ven thì giá trị này lớn)

Trạng thái giao thông sẽ được hiển thị ở ô Trạng thái Các trạng thái sẽ chuyển đổi liên tục tùy thuộc vào giá trị tốc độ và mật độ ước lượng trong vùng quan sát

Save Image : Lưu lại các ảnh ngõ ra hoặc ảnh tiền cảnh

Enable Debug : Cho kết quả debug hiển thị trên màn hình Comand Line

Hình 4.5 :Đường trống ( Ngã tư Điện Biên Phủ - Đinh Tiên Hoàng)

Góc phần tư trên cùng bên trái : Thời điểm đèn đỏ xe đang dừng, chưa có xe lưu thông qua vùng quan sát

Góc phần tư trên cùng bên phải :Tại thời điểm quan sát, không phát hiện được đối tượng di chuyển

Góc phần tư dưới cùng bên trái : Mật độ phương tiện giao thông coi như xấp xỉ bằng 0

48 Góc phần tư dưới cùng bên phải : Vận tốc ước lượng coi như bằng 0

Hình 4.6 : Đường trống(Nước ngoài)

Góc phần tư trên cùng bên trái : Thời điểm đèn đỏ xe đang dừng, chưa có xe lưu thông qua vùng quan sát

Góc phần tư trên cùng bên phải :Tại thời điểm quan sát, phát hiện được một số ít phương tiện di chuyển ( Đánh dấu bằng màu đỏ)

Góc phần tư dưới cùng bên trái : Mật độ phương tiện giao thông coi như xấp xỉ bằng 0 Góc phần tư dưới cùng bên phải : Mặc dù có phát hiện được đối tượng chuyển động, nhưng xét trong vùng quan sát thì không có phương tiện được phát hiện, vận tốc xấp xỉ bằng 0

Nhận xét : Quan sát ở 2 video trên thì tại thời điểm đang xét, tại vùng quan sát ( góc phần tư trên cùng phía bên trái) là thời điểm không có phương tiện nào di chuyển qua

49 Trong video thực thì đúng là vậy thì ở thời điểm này đèn đỏ ở phần đường này đang bật, các phương tiện đang dừng

Hình 4.7 : Đường thông thoáng ( Nước ngoài)

Góc phần tư trên cùng bên trái : Thời điểm số lượng xe lưu thông ít ở vùng chính giữa (vùng quan sát)

Góc phần tư trên cùng bên phải :Tại thời điểm quan sát, phát hiện đối tượng di chuyển nhiều hơn (phần được tô đỏ)

Góc phần tư dưới cùng bên trái : Mật độ phương tiện giao thông khá thông thoáng ( phần màu trắng (đối tượng được phát hiện))

Góc phần tư dưới cùng bên phải : Vận tốc ước lượng ở mức thấp ( phần hướng mũi tên màu xanh bao quanh phương tiện di chuyển (đốm màu da cam))

Hình 4.8 : Đường thông thoáng(Ngã tư Điện Biên Phủ- Đinh Tiên Hoàng)

Góc phần tư trên cùng bên trái : Thời điểm số lượng xe lưu thông ít ở vùng chính giữa (vùng quan sát)

Góc phần tư trên cùng bên phải :Tại thời điểm quan sát, phát hiện đối tượng di chuyển nhiều hơn (phần được tô đỏ)

Góc phần tư dưới cùng bên trái : Mật độ phương tiện giao thông khá thông thoáng ( phần màu trắng (đối tượng được phát hiện))

Góc phần tư dưới cùng bên phải : Vận tốc ước lượng ở mức thấp ( phần hướng mũi tên màu xanh bao quanh phương tiện di chuyển (đốm màu da cam))

Nhận xét : Ở thời điểm này, mật độ phương tiện di chuyển qua vùng quan sát là còn thấp(biểu thị bằng vùng màu trắng trên tổng phần màu đen) và tốc độ phương tiện di chuyển cũng thấp ( biểu thị bằng vector optical flow ở ngõ ra) Do vậy trạng thái giao thông xác định ở thời điểm này là đường thông thoáng

Hình 4.9 : Đường bình thường(Ngã tư Điện Biên Phủ - Đinh Tiên Hoàng)

Góc phần tư trên cùng bên trái : Lượng xe cộ lưu thông nhiều ở vùng quan sát Góc phần tư trên cùng bên trái :Tại thời điểm quan sát, nhiều đối tượng được phát hiện Góc phần tư dưới cùng bên trái : Mật độ phương tiện giao thông ở mức trung bình Góc phần tư dưới cùng bên phải : Vận tốc ước lượng ở mức trung bình

Nhận xét : Ở thời điểm đang xét, mật độ phương tiện di chuyển qua vùng quan sát ở mức trung bình(biểu thị bằng vùng màu trắng trên tổng phần màu đen) và tốc độ

52 phương tiện di chuyển cũng không cao ( biểu thị bằng vector optical flow ở ngõ ra) Do vậy trạng thái giao thông xác định ở thời điểm này là đường bình thường

Nhận xét chung : Tốc độ chuyển đổi giữa các trạng thái : Đường trống – Đường thoáng, Đường thoáng – Đường bình thường khá nhanh, trong khoảng 1-2 s Có thể áp dụng khá tốt cho các ứng dụng thực tế và triển khai trên Kit nhúng

Hình 4.10 : Đồ thị biểu diễn mật đô, tốc độ phương tiện và trạng thái giao thông trong vùng quan sát

Biểu diễn mật độ , tốc độ phương tiện và trạng thái giao thông trong vùng quan sát Đường màu xanh nước biển : biểu diễn giá trị vận tốc qua từng khung ảnh Đường màu da cảm : biểu diễn giá trị mật độ qua từng khung ảnh Đường màu đỏ : biểu diễn tình trạng giao thông qua từng khung ảnh Trục tung : là trục thời gian ứng với từng khung ảnh

Trung hoành :Dùng chung cho cả 3 đồ thị : - Đối với đồ thị biểu diễn mật độ và vận tốc phương tiện ta có [0 1]: Tỉ lệ %

53 - Đối với đồ thì biểu diễn tình trạng giao thông : Có các giá trị : 0 1 2 3 4 Ứng với 5 mức của tình trạng giao thông: o 0: Đường trống o 1: Đường thông thoáng o 2: Đường bình thường o 3: Tắt đường o 4: Tắt đường nghiêm trọng