2.2.1. Phát hiện phương tiện giao thông dựa vào mô hình trộn Gauss
Nhiều nghiên cứu sử dụng GMM đã đƣợc thực hiện để giám sát video. Nói chung đƣợc sử dụng để phát hiện chuyển động của đối tƣợng. Phƣơng tiện di chuyển trong một vùng tĩnh trong phƣơng pháp này đƣợc gọi là cảnh. Và khu vực tĩnh không thực hiện chuyển động đáng kể trên luồng khung hình sẽ đƣợc coi là nền. Khu vực kích thƣớc cảnh sẽ chỉ ra loại phƣơng tiện đƣợc phát hiện, nhƣng vẫn có khả năng xảy ra sai sót khi xác định cảnh. Điều này xảy ra do nhiều yếu tố, chẳng hạn nhƣ bóng của phƣơng tiện đƣợc phát hiện nhƣ một vật thể và điều kiện mà hai phƣơng tiện gần nhau đƣợc coi là một vật thể.
Mô hình trộn Gauss là một loại mô hình mật độ bao gồm các thành phần hàm Gauss. Thuật toán này rất hiệu quả để thực hiện quá trình trích xuất nền vì đáng tin cậy đối với các thay đổi của ánh sáng và các điều kiện phát hiện đối tƣợng lặp lại. Kỹ thuật này là một trong những phƣơng pháp học bán giám sát và thƣờng đƣợc sử dụng trong xử lý ảnh [8].
Kỹ thuật trộn Gauss đƣợc mô tả: mỗi pixel trong khung hình ảnh đƣợc mô hình hóa thành hàm phân bố k-Gaussian, trong đó k đại diện cho số lƣợng mô hình phân bố Gaussian sử dụng [9]. Mỗi mô hình Gauss đại diện cho một màu pixel khác nhau. Trong trƣờng hợp này, sử dụng ánh xám với các giá trị vô hƣớng, trong khi ảnh RGB sử dụng giá trị vectơ. Lựa chọn các mô hình đã sử dụng dựa trên việc xét độ phân giải ảnh, năng lực tính toán và độ phức tạp của mô hình nền. Đối với mỗi khung ảnh, mỗi pixel sẽ đƣợc khớp với mọi mô hình phân bố k-Gaussian trên các pixel tƣơng ứng, bắt đầu từ mô hình phân
bố có xác suất lớn nhất đến nhỏ nhất nhƣ công thức (2.1):
(2.1)
Một pixel đƣợc xác nhận khớp với một trong mô hình phân bố Gaussian nếu nó đƣợc bao gồm trong phạm vi tiêu chuẩn độ lệch 2.5. Ngƣợc lại, nếu một pixel có giá trị vƣợt quá tiêu chuẩn độ lệch 2.5 thì pixel đó đƣợc xem là không phù hợp với mô hình phân bố Gaussian.
Sự thay đổi mô hình hàm phân bố k- Gaussian đƣợc tính toán nhƣ công thức (2.2):
( ) ∑ ( ∑ )
(2.2) Trong đó giá trị k cho biết số lƣợng phân bố, là trọng số của hàm Gaussian k tại thời điểm t và ( ∑ ) là hàm mật độ xác suất Gauss. Hàm mật độ xác suất Gauss đƣợc xây dựng theo công thức (2.3):
( ∑ )
( ) ⁄ |∑ |⁄ { ( ) ∑ ( )
} (2.3)
Trong đó k,t giá trị giá trị kỳ vọng và k,t là hiệp phƣơng sai của các hàm Gauss k tại thời điểm t, với giá trị ma trận hiệp phƣơng sai đƣợc xác định ban đầu theo công thức (2.4):
∑ (2.4)
Để hiệu quả tính toán, công thức này giả định rằng các giá trị pixel màu đỏ, xanh lục và xanh lam là độc lập và có cùng phƣơng sai.
Bƣớc tiếp theo là chọn và xác định những pixel nào đƣợc bao gồm trong các đối tƣợng hậu tiền cảnh và hậu cảnh. Lựa chọn ban đầu sắp xếp mô hình hiện tại dựa trên ω/σ2 (giá trị phù hợp), trong đó phân bố tối ƣu nhất làm nền vẫn đƣợc đặt ở mức ƣu tiên hàng đầu, trong khi phân bố nhiều nhất không
phản ánh nền đƣợc đặt ở mức ƣu tiên thấp nhất. Từ một số mô hình phân bố, một số giá trị cao nhất đƣợc chọn cho đến khi các giá trị trọng lƣợng đáp ứng giá trị ngƣỡng xác định trƣớc. Mô hình phân bố đƣợc chọn sau đó sẽ là phƣơng tiện.
Nếu màu pixel đƣợc phân loại thành một trong các ứng cử viên của mô hình nền, pixel sẽ đƣợc coi là hậu cảnh (pixel ghi là 0 hoặc màu đen). Ngoài ra, các pixel không có trong danh mục mô hình hậu cảnh sẽ đƣợc coi là tiền cảnh (pixel ghi là 1 hoặc màu trắng) và kết quả hình ảnh nhị phân sẽ đƣợc xử lý trong quá trình tiếp theo. Giá trị lựa chọn của phân bố sử dụng công thức (2.5):
(∑ ( )
) (2.5)
trong đó giá trị cho biết phần dữ liệu tối đa trong đối tƣợng tiền cảnh. Quá trình tiếp theo là phát hiện, đếm và phân loại đối tƣợng theo khung hình.
Ngoài ra, việc sử dụng nhiều mô hình hơn cho mỗi pixel sẽ làm cho quá trình trích xuất cảnh phƣơng tiện thích ứng hơn vì nhiều thành phần màu hơn có thể đƣợc mô hình hóa trong mỗi pixel. Nhƣng chắc chắn nó sẽ đƣợc bù bằng việc tính toán và lƣu trữ lớn, đặc biệt khi độ phân giải ảnh đƣợc sử dụng là khá lớn.
2.2.2. Tối ưu vùng quan tâm ROI (Region of Interest)
Xử lý ảnh tập trung vào phát hiện vùng cụ thể cần quan tâm, đƣợc gọi là vùng ROI. Thông qua việc tối ƣu hóa ROI, không gian ảnh sẽ dễ bắt hơn và cũng có lợi trong việc xử lý nhanh hơn. Diện tích vùng ROI vừa phải trong một vùng ảnh làm cho quá trình tính toán từng giá trị pixel sẽ chỉ là một vấn đề nhỏ, ngoài ra nó không cần phải thực hiện toàn bộ. Trong quá trình tiền xử lý ảnh, đôi khi chỉ cần một số bộ phận nhất định để tạo ra dữ liệu sẵn sàng đƣợc xử lý ở giai đoạn tiếp theo. Trong phát hiện phƣơng tiện bằng kỹ thuật
GMM, việc tối ƣu hóa vị trí vùng ROI cần thiết để tối ƣu hóa quy trình phát hiện và đếm phƣơng tiện hiệu quả. Dữ liệu đầu vào từ camera quan sát hiển thị đầy đủ trên tất cả các làn đƣờng lƣu thông của các phƣơng tiện, tuy nhiên khu vực trọng tâm chỉ là một vài phần. Do đó, nó yêu cầu điều chỉnh tiền xử lý để quá trình phát hiện xe có thể đƣợc tập trung và tối ƣu hóa, xem hình 2.1.
Hình 2. 1. ROI xử lý trƣớc khi phát hiện xe.
(a) và (c) không phải là khu vực làn đƣờng cần quan tâm. (b) khu vực làn đƣờng quan tâm.
Hình 2.1 cho thấy ba làn đƣờng liên tiếp trong đó (a) và (c) không đƣợc coi là một phần của tầm quan sát. Làn đƣờng duy nhất đƣợc quan tâm trong nghiên cứu này là làn đƣờng (b). Tuy nhiên, vì cả hai làn (a & c) đều nằm trong vùng quan tâm, một số phƣơng tiện trên các làn cũng đƣợc phát hiện. Điều này cho thấy tầm quan trọng của ROI đối với quá trình phát hiện đối tƣợng trong xử lý hình ảnh chủ yếu để phát hiện phƣơng tiện khi giao thông đông đúc.
2.2.3. Kỹ thuật phân tích khối (Blob Analysis)
blob là kỹ thuật đƣợc sử dụng để khai báo vùng pixel của ảnh trở thành điểm trọng tâm để phát hiện. Để xác định giá trị blob, cần xem xét những vấn đề liên quan trong việc tạo ra blob tối ƣu. Trong thị giác máy, một số thông số cần đƣợc xem xét kỹ lƣỡng, nhƣ AreaOutputPort, CentroidOutputPort, BoundBoxOutputPort, ExtentOutputPort, OutputDataType, MinimumBlobAre, MaximumBlobArea và MaximumCount [10]. Sử dụng công thức đạo hàm cấp hai của Gauss trong thị giám máy để tìm kiếm giá trị blob. Quá trình bắt đầu bằng cách đánh dấu khu vực đƣợc coi là đối tƣợng phƣơng tiện ban đầu, sau đó thu thập khu vực dữ liệu vào blob nhƣ vị trí pixel ban đầu, chiều dài của trục x và trục y và khu vực pixel. Một khu vực blob nhƣ trong hình 2.2.
Hình 2. 2. Quá trình phân tích blob trong phát hiện xe.
(a) Khung lớn của ảnh gốc. (b) Đối tƣợng sau khi cắt. (c) Phân đoạn phƣơng tiện. (d) Phát hiện đối tƣợng bằng cách sử dụng hộp bao. (e) Diện tích Blob theo
hƣớng trục x,y.
Trong hình 2.2, (a), (b) và (d) là quá trình phát hiện đối tƣợng nhìn thấy đƣợc thông qua phát hiện khu vực của phƣơng tiện từ quá trình nhị phân hóa nhƣ hình (c). Việc xác định diện tích blob có thể đƣợc phân tích bằng cách đặt các giá trị vectơ pixel nhƣ hình (e).
Quy trình tích hợp kỹ thuật GMM, tối ƣu vùng ROI, phân tích Blob đƣợc mô tả tổng hợp trong hình 2.3.
Hình 2. 3. Mô hình tích hợp GMM, tối ƣu ROI, phân tích Blob trong xác định phƣơng tiện giao thông
Bắt đầu với quy trình nhập video, trong nghiên cứu này sử dụng dữ liệu video 30 khung hình/giây trong 33 giây và độ phân giải 120 ×160 pixel với sáu tệp dữ liệu. Trƣớc tiên, video dữ liệu đƣợc chuyển đổi thành một số khung hình và sau đó đƣợc xử lý thành hình ảnh. Đối với quá trình tối ƣu hóa
ảnh, màu sắc hình ảnh RGB ban đầu đƣợc chuyển đổi thành định dạng ảnh xám. Hơn nữa, quá trình phân đoạn tiền cảnh phục vụ để tách tiền cảnh và đối tƣợng phƣơng tiện cuối. Quá trình tách đối tƣợng ban đầu và đối tƣợng cuối cùng sau đƣợc mô tả trong công thức (2.1) - (2.5). Nhƣng trƣớc quá trình phân đoạn tiền đối tƣờng, việc xử lý hình ảnh đƣợc tối ƣu hóa bằng cách điều chỉnh phƣơng pháp tiếp cận ROI đã đƣợc thực hiện và cập nhật giá trị của blob nhƣ là các tham số đƣợc xử lý trong nghiên cứu này nhƣ đƣợc thấy trong hình 2.4. Sử dụng bộ lọc để thực hiện lọc để có thể dễ dàng phân biệt giữa các mục tiêu và nhiễu âm.
Hình 2. 4. Điều chỉnh lƣợc đồ ROI bằng phân tích Blob.
Quá trình tiếp tục bằng cách phát hiện và đếm các phƣơng tiện cho đến khi tất cả các khung đƣợc xử lý.
Nghiên cứu này sử dụng hai ROI để phân tích ảnh hƣởng của việc khởi tạo giá trị tham số Blob đối với việc cải thiện độ chính xác. ROI vùng trên khung hình ảnh nhƣ trong hình 2.5.
Hình 2. 5. ROI trong một hình ảnh
Ngoài ra, để tối đa hóa quá trình phát hiện và đếm trên ROI đã thiết lập, hệ thống tiến hành phân tích tham số blob tƣơng ứng. Các giá trị tham số Blob trong quá trình lập trình đƣợc cung cấp dƣới dạng mã giả sau.
%Blob Analysis
%Set parameter of Blob Analysis 1. Setup bounding box = true 2. Setup MinimumBlobArea=int 3. Setup MaximumBlobArea=int 4. Setup ratio for detecting > 0.2 5. Counting result from ratio
Trong các tập hợp ROI tùy chọn, mỗi tập hợp sẽ có một số giá trị thông số blob. Sau khi chèn giá trị blob trong mỗi lần điều chỉnh ROI, phân tích quá trình để đánh giá mức độ ảnh hƣởng của các giá trị thông số đƣợc chèn đối cho tính độ chính xác hệ thống.
2.3. Phân tích và đánh giá kỹ thuật
Độ chính xác hệ thống đƣợc tính theo công thức (2.6) và (2.7) nhƣ sau:
( ) ( )
(2.6)
(2.7)
Công thức (2.6), độ chính xác đƣợc đo bằng cách so sánh kết quả tính toán của phƣơng tiện là chính xác đƣợc phát hiện của kỹ thuật luận văn so với đếm thực tế trên video dữ liệu. Công thức (2.7) đƣợc sử dụng để đánh giá kỹ thuật khi điều chỉnh việc phân tích blob. Chƣơng 3, luận văn sẽ cài đặt và đánh thực nghiệm kỹ thuật này.
Kỹ thuật xác định phƣơng tiện giao thông kết hợp mô hình trộn Gauss, tối ƣu vùng ROI và phân tích blob trong việc phát hiện và đếm ô tô và xe máy trong điều kiện giao thông đông đúc. Cụ thể bằng cách tối ƣu hóa khu vực blob tối thiểu và tối đa để có đƣợc kích thƣớc blob phù hợp từ vùng quan tâm của hình ảnh video cũng sẽ cải thiện độ chính xác của hệ thống hiệu quả đối với xe máy và ô tô, có kích thƣớc nhỏ, các đối tƣợng phƣơng tiện có kích thƣớc lớn độ chính xác phát hiện càng cao.
2.4. Kết luận chƣơng 2
Chƣơng 2, luận văn trình bày kỹ thuật đếm phƣơng tiện giao thông trên đƣờng dựa vào mô hình trộn Gauss kết hợp với kỹ thuật tối ƣu vùng quan tâm và phân tích blob một cách rõ ràng. Ngoài ra, luận văn cũng trình bày phƣơng pháp đánh giá độ chính xác của hệ thống sử dụng nhằm áp dụng để phân tích kết quả thực nghiệm trong chƣơng 3. Phần này luận văn cũng đã phân tích hiệu quả đối với việc xác định các phƣơng tiện giao thông nhỏ nhƣ xe máy, ô tô.
CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM
3.1. Bài toán đếm phƣơng tiện giao thông
Hiện nay, việc sử dụng các phƣơng tiện giao thông ngày một tăng làm cho tình trạng ùn tắc giao ngày càng nghiêm trọng. Vấn đề tắc nghẽn giao thông đã làm cho chi phí của ngƣời tham gia tăng cao, tốn thời gian di chuyển, ùn tắc giao thông cũng khiến cho ngƣời điều khiển phƣơng tiện cảm thấy ức chế, mệt mỏi và phát sinh một số vấn đề vi phạm giao thông nhƣ: lấn làn, vƣợt đèn đỏ. Do đó, việc nghiên cứu phƣơng pháp phát hiện giao thông tự động là rất cần thiết để giúp tạo ra các luồng giao an toàn và hiệu quả giảm thiểu ùn tắc giao thông. Các nhà nghiên cứu trong nƣớc và trên thế giới hiện nay quan tâm rất nhiều đến hệ thống cảnh báo ùn tắc giao thông. Đã có rất nhiều giải pháp đƣợc đƣa ra để giải quyết vấn đề ùn tắc giao thông bằng việc ứng dụng công nghệ thông tin đặc biệt là ứng dụng trí tuệ nhân tạo cùng với xử lý ảnh. Có thể dựa vào camera tại chỗ kết hợp sử dụng kỹ thuật nhận dạng hình ảnh để phân tích mật độ giao thông. Kỹ thuật xử lý hình ảnh từ video và phát hiện đối tƣợng dùng để ƣớc tính lƣu lƣợng xe và lƣu lƣợng giao thông trên các con đƣờng. Các kỹ thuật nhƣ theo dõi, phát hiện để dò tìm và theo dõi phƣơng tiện là một trong những nghiên cứu quan trọng. Phát hiện đối tƣợng trong ảnh tạo tiền đề cho các hệ thống phát hiện đối tƣợng từ video.
Với mục tiêu nghiên cứu kỹ thuật phát hiện đối tƣợng, nhận dạng đối tƣợng và đếm phƣơng tiện giao thông trong dữ liệu video từ hệ thống camera để có thể triển khai thử nghiệm. Lý thuyết về kỹ thuật này đƣợc trình bày trong chƣơng 2. Luận văn đặt ra bài toán trên một loại đối tƣợng cụ thể là các phƣơng tiện giao thông, theo đó hệ thống sẽ nhận đầu vào là một luồng video, với mỗi khung hình nhận đƣợc, hệ thống sẽ đƣa ra kết quả là các vùng hình bao tƣơng ứng với các đối tƣợng là các loại phƣơng tiện trong ảnh.
Trong mô hình tổng quan, hệ thống phát hiện, nhận dạng đối tƣợng và đếm phƣơng tiện giao thông trong hệ thống camera sẽ nhận dữ liệu là luồng video từ camera qua môi trƣờng mạng để thực hiện phân tích xử lý. Tuy nhiên để thuận tiện cho việc thử nghiệm, hệ thống cũng cần có thể xử lý với dữ liệu nguồn video thu thập từ thực tế tại địa phƣơng và dữ liệu video thu thập trên internet. Dữ liệu video đƣợc giả định là quay một khu vực không gian thật trong thực và có các phƣơng tiện lƣu thông xuất hiện.
Với một luồng video đã đƣợc xác lập, hệ thống sẽ tiến hành truy vấn để lấy đƣợc hình ảnh hiện thời. Từ trên hình ảnh hiện thời, hệ thống sẽ tiến hành đánh giá khả năng có phƣơng tiện lƣu thông bên trong hay không, bằng cách thực hiện phát hiện phƣơng tiện chuyển động. Nếu nhƣ không có, các bƣớc xử lý tiếp theo cho hình ảnh sẽ bị bỏ qua và chuyển sang khung hình tiếp theo. Nếu có chuyển động, hệ thống sẽ thực hiện thao tác xử lý tiếp để có thể phát hiện, nhận dạng và đếm xe trong khung hình. Để tiện cho việc theo dõi quá trình xử lý của kỹ thuật, hệ thống hiển thị góc nhìn trung gian về từng giai đoạn xử lý nhƣ hình ảnh nhƣ mặt nạ chuyển động, các hình bao đối tƣợng ứng với những phƣơng tiện giao thông đƣợc xác định trong ảnh.
3.2. Phân tích yêu cầu và lựa chọn công cụ
Dữ liệu đầu vào của hệ thống gồm các video thu đƣợc từ camera. Dữ liệu đƣợc thu thập, chƣơng trình thử nghiệm sẽ tiến hành xử lý để tách ra từng khung hình trên mỗi video. Mỗi khung hình sẽ đƣợc áp dụng kỹ thuật trừ hình nền để chuyển ảnh gốc thành ảnh nhị phân chỉ chứa hai loại điểm ảnh là đen và trắng. Trong đó, điểm ảnh đen tƣơng ứng với nền và điểm ảnh trắng tƣơng ứng với cảnh (có phƣơng tiện). Bƣớc tiếp theo là áp dụng kỹ thuật mô tả trong chƣơng 2 để phát hiện đối tƣợng, phân loại đối tƣợng phƣơng tiện để khoanh vùng các đối tƣợng phƣơng tiện di chuyển. Các khối blob đƣợc trích xuất ứng với chiều cao và chiều rộng tƣơng ứng của các loại phƣơng tiện, ta có thể nhận
dạng phƣơng tiện cụ thể. Nếu có, tăng tổng số lƣợng xe đếm đƣợc và cuối cùng