Các điểm nằm trên biên (cạnh) của đối tƣợng trong ảnh có tính chất là tại đó biến thiên độ sáng lớn. Việc tìm ra biên của các đối tƣợng cho phép ta định hình đƣợc vùng đối tƣợng. Mặt khác, biên đối tƣợng có những đặc tính bất biến cho phép ta định hình đƣợc vùng biển số đối với các ảnh xe đƣợc chụp trong các điều kiện sáng khác nhau. Để tách cạnh, ta sử dụng các toán tử tách cạnh dựa trên xấp xỉ các toán tử vi phân. Sau đây là một số toán tử tách cạnh đƣợc nghiên cứu xây dựng phục vụ cho mục đích của bài toán:
a) Toán tử Sobel:
48
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Thực hiện phép cuộn ảnh với mặt nạ tách cạnh Sobel cho phép tìm kiếm các cạnh theo cả các hƣớng ngang và dọc và sau đó tổ hợp thông tin này vào trong cùng một metric. Các mặt nạ Sobel nhƣ sau:
Mặt nạ hàng Mặt nạ cuộn
Các mặt nạ này đƣợc cuộn với ảnh. Tại mỗi vị trí pixel bây giờ ta có hai số: s1
tƣơng ứng với kết quả từ mặt nạ hàng, và s2tƣơng ứng với kết quả từ mặt nạ cột. Ta sử dụng các số này để tính toán hai metrics, là cƣờng độ cạnh và hƣớng cạnh đƣợc định nghĩa nhƣ sau:
Cƣờng độ cạnh: (2.29)
Hƣớng cạnh: (2.30)
Hƣớng cạnh vuông góc với cạnh bởi vì hƣớng cạnh đã xác định là hƣớng của gradient, mà dọc theo đó các mức xám đang thay đổi.
b) Toán tử Prewitt:
Thực hiện tƣơng tự toán tử Sobel nhƣng sử dụng mặt nạ Prewitt. Các mặt nạ đƣợc định nghĩa nhƣ sau:
49
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Sử dụng 2 ngƣỡng khác nhau (để dò tìm các cạnh mạnh và yếu), và gồm cả các cạnh yếu trong ảnh đầu ra chỉ khi chúng đƣợc nối liền với các cạnh mạnh. Toán tử này kém thích hợp hơn các toán tử trên khi ảnh bị “fooled” bởi nhiễu, và thích hợp hơn khi cần tìm ra cả các cạnh yếu.
a) ảnh gốc b) kết quả tách cạnh Sobel
c) Kết quả tách cạnh Prewitt d) Kết quả tách cạnh Canny Hình 2.11. Minh họa kết quả của các toán tử Sobel, Prewitt, Canny
2.4.3. Thể hiện đƣờng biên bằng hàm bán kính - vectơ
Thƣờng thì các đƣờng biên của hình đƣợc mô tả bởi các hàm bán kính –
vectơ đƣợc định nghĩa theo cách sau. Một điểm tham chiếu O nằm trong hình X
50
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
tâm của lực hấp dẫn, hoặc là trung tâm của đĩa nhỏ nhất mà chứa hoàn toàn hình hoặc một điểm vật lý quan trọng. Tiếp theo, chọn một trục tham chiếu thích hợp đi qua điểm O – điểm tham chiếu đƣợc chọn, thƣờng là song song với trục x
hoặc trục y. Hàm bán kính - vectơ rx( ), là hàm khoảng cách từ điểm O tới các
đƣờng biên theo hƣớng góc , trong đó .
Hình 2.12. Minh họa hàm bán kính - véc tơ
Đối với bất kỳ điểm biên p thì các đoạn thẳng từ O sẽ làm cho p nằm trong hình vẽ. trong trƣờng hợp này hàm bán kính – vectơ hoàn thành việc nối hình:
nếu rx( ) đƣợc cho, so với hình vẽ có thể đƣợc tái tạo lại hoàn toàn. Nếu hình
lồi nhỏ bị vi phạm chỉ bởi bất thƣờng nhỏ ở đƣờng biên của nó thì có thể phục hồi nó bằng cách làm mịn.
Đối với vấn đề phân tích hình dạng quan trọng là phải biết hàm bán kính -
vectơ rx( ) của một hình X phụ thuộc nhƣ thế nào vào các phép biến đổi hình
học cơ bản nhƣ: sự dịch chuyển, thay đổi kích cỡ, xoay và phản xạ và các tính năng khác nó có. Hàm bán kính - vectơ rx( ) của một hình lồi X có tính chất:
(1) Bất biến đối với sự dịch chuyển: ở đây X+v là X thay
đổi của vector v;
(2) Phụ thuộc tuyến tính vào những thay đổi kích thƣớc của hình X:
51
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
(3) Phụ thuộc vào hƣớng của hình X: ở đây Y chính là
hình X quay một góc.
(4) Không phải là bất biến theo sự phản xạ;
(5) Là tuần hoàn với chu kỳ 2 :
(6) Thực tế, hình lồi X là một tập hợp của các hình lồi Y (X ) do đó
Ánh xạ X biến đổi hình lồi thành các thành phần của hàm không gian;
hàm bán kính – vectơ của các hình lồi liên tục trong ; Do đó chúng có thể đƣợc
nhúng trong không gian Banach C của các hàm liên tục trong .
Khi hàm bán kính – vectơ của một hình lồi X có sẵn một số các thông
số hình học có thể thu đƣợc chu vi P(X), diện tích A(X) của và độ dài của
bán kính – vectơ sử dụng các công thức:
2.4.4. Mô tả và trích chọn đặc trƣng biên ảnh
Có nhiều cách để mô tả đƣờng biên (chu tuyến) theo các ứng dụng khác nhau, có thể kể đến nhƣ phƣơng pháp biển đổi Fourier, sử dụng phép biến đổi wavelet, sử dụng phép biến đổi khoảng cách, khoảng cách Hausdorff, dùng mô men biên… Phƣơng pháp sử dụng phép biến đổi Fourier trong mô tả đƣờng biên ảnh đối tƣợng là một trong những cách tiệp cận đủ mạnh cho phép giải quyết nhiều bài toán thực tế.
(2.31) (2.32)
52
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Phép biến đổi Fourier sử dụng chain code để mô tả về đƣờng biên của đối
tƣợng ảnh. Chain Code đầu tiên mô tả của Freeman là một đƣờng biên liên tục bằng một đoạn tuyến tính mà bao gồm tám đoạn đƣờng chuẩn hóa. Mã của một đƣờng biên là chuỗi V của độ dài K, V = a1a2….ak, nơi mà mỗi một liên kết ai là
một số nguyên giữa 0 và 7 định hƣớng /4 theo hƣớng chiều kim đồng hồ truy
cập từ trục X của một XY phối hợp hệ thống của chiều dài 1 hoặc 2 phụ thuộc, tƣơng ứng. Các đại diện của liên kết vector ai, bằng cách sử dụng ký hiệu
phasor, là i a a 4 ) ) 1 ( 1 ( 2 1 2 1 ( 1
. Tiếp theo, tôi lây thí dụ về chain code
trong hình 2.14 nhƣ sau: V1=0005676644422123
Hình 2.13. Minh họa về chain code mô tả đƣờng biên của đối tƣợng ảnh
Để có thể mô tả một chu tuyến của đối tƣợng ảnh dƣới dạng số, ngƣời ta có thể lƣu trữ theo phối hợp của một chuỗi các điểm ảnh trong ảnh đó. Hay là ngƣời ta có thể chỉ lƣu trữ vị trí tƣơng đối giữa các điểm ảnh liên tiếp. Đó chính là ý tƣởng cơ bản của mã chuỗi. Mã chuỗi là một trong các kỹ thuật lâu nhất trong lĩnh vực thị giác máy tính (computer vision). Kỹ thuật này đƣợc giới thiệu từ năm đầu thập niên 60 của thế kỷ 20 bởi Freeman, và tiếp tục đƣợc ông phát triển và xem xét đến năm 1974. Với mã chuỗi, tập các điểm ảnh trong đƣờng biên một hình dạng của đối tƣợng ảnh đƣợc chuyển sang một tập các kết nối giữa chúng. Về cơ bản nguyên lý của mã chuỗi nhƣ sau: khi chúng ta thu đƣợc một đƣờng biên hoàn chỉnh thì đó là một tập các điểm ảnh đã đƣợc liên kết với
53
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
nhau, sau đó bắt đầu từ 1 trong các điểm ảnh đó chúng ta cần xác định chiều đến các điểm ảnh tiếp theo trong đƣờng biên đó. Cụ thể là, điểm tiếp theo là một trong những điểm liền kề theo chiều kim của đồng hồ. Do đó, các mã chuỗi đƣợc hình thành bởi sự móc nối một số chỉ rõ chiều của điểm ảnh tiếp theo. Với một điểm ảnh thu đƣợc thì chiều kế tiếp từ điểm ảnh đó tới điểm ảnh tiếp theo trở thành phần tử trong mã cuối. Quá trình này sẽ đƣợc lặp cho mỗi điểm ảnh đến tận khi tới điểm bắt đầu. Khi đó, hình dạng của đối tƣợng ảnh đƣợc phân tích hoàn toàn. Việc xác định những kết nối của mã chuỗi có thể đƣợc xuất phát từ nguyên lý của 4-láng giềng và 8-láng giềng nhƣ minh họa trong hình 2.15
a) b)
Hình 2.14. Minh họa sự kết nối của mã chuỗi theo nguyên lý 4-láng giềng,
và 8-láng giềng; a)4-láng giềng; b) 8-láng giềng; c) sự kết nối của các mã chuỗi theo cách 4-kết nối; d) sự kết nối các mã chuỗi theo cách 8-kết nối
Tƣơng ứng với chỉ số trong hình 2.15, mã code của điểm P sẽ đƣợc đánh số từ
0 đến 3 đối với 4-kết nối, và đánh số từ 0 đến 7 đối với 8-kết nối, chỉ số này tăng theo chiều kim đồng hồ.
54
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
a) b) c)
Hình 2.15. Minh họa mã chuỗi bởi các kết nối khác nhau
a) Đối tƣợng ảnh; b) mã chuỗi với 4-kết nối; c) mã chuỗi với 8-kết nối Tiếp theo, tôi minh họa cách tính mã chuỗi của đối tƣợng ảnh nhƣ hình 2.16. Trong trƣờng hợp này, chúng tôi đã xác định chiều của điểm bắt đầu là từ hƣớng nam, nên thành phần đầu tiên của mã chuỗi là 2 đối với 4-kết nối, và là 3 đối với 8-kết nối. Chiều từ điểm P1 điểm tiếp theo, điểm P2 theo hƣớng đông, nên thành phần mã chuỗi tiếp theo là 1 đối với 4-kết nối, nhƣng đối với 8-kết nối hƣớng của P2là nam, nên thành phần tiếp theo của mã chuỗi là 4.
Điểm tiếp theo sau P2 là P3có hƣớng nam nên thành phần tiếp theo có mã là 2
đối với 4-kết nối, còn với 8-kết nối thì hƣớng của P3 là hƣớng đông nam, nên
thành phần tiếp theo có mã là 3. Quá trình này đƣợc lặp đi lặp lại đến khi đến
điểm P23 đƣợc kết nối về phía đông để tới điểm băt đầu, do đó thành phần mã
cuối cùng sẽ là 1 đối với 4-kết nối, và là 2 đối với 8-kết nối. Do đó, mã chuỗi của ảnh trong hình 3.2(a) với 4-kết nối và 8-kết nối tƣơng ứng là nhƣ sau:
code4-kết nối = {2,1,2,2,12,2,3,2,2,3,0,3,0,3,0,0,1,0,1,0,1} code8-kết nối = {3,4,3,4,4,5,4,6,7,7,7,0,0,1,1,2}
Nhƣ vậy, chúng ta thấy rằng mã chuỗi sẽ khác nhau nếu nhƣ điểm bắt đầu khác nhau. Do đó, chúng ta cần phải có điểm bắt đầu xác định trƣớc và bất biến.
55
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
CHƢƠNG 3
CHƢƠNG TRÌNH THỬ NGHIỆM 3.1. BÀI TOÁN
Hiện nay ở Việt Nam cùng với sự phát triển kinh tế thì quy mô dân số và
đời sống của nhân dân cũng phát triển không ngừng dẫn đến sự gia tăng của các phƣơng tiện giao thông đƣờng bộ. Bởi vậy, tình trạng giao thông tại các thành phố lớn ở nƣớc ta hiện nay rất phức tạp luôn xảy ra ùn tắc giao thông, vi phạm luật lệ giao thông và tai nạn. Theo số liệu thống kê của Cục đƣờng bộ Việt Nam,
quốc lộ và đƣờng cao tốc là nơi có lƣu lƣợng giao thông lớn, các phƣơng tiện
chạy ở vận tốc cao, việc chấp hành luật lệ giao thông của tài xế còn nhiều hạn chế, thƣờng xuyên phóng nhanh, vƣợt ẩu. Do đó tỷ lệ các vụ tai nạn thƣờng xảy ra trên đƣờng quốc lộ và cao tốc.
Ở các nƣớc trên thế giới việc ứng dụng xử lý ảnh và xây dựng hệ thống giám
sát giao thông dùng camera sẽ tự động phát hiện và ghi nhận các tình huống vi phạm Luật Giao thông nhằm tăng cƣờng sự giám sát, phát hiện và xử lý kịp thời các vi phạm, chỉ huy điều khiển giao thông, hạn chế tai nạn và nâng cao ý thức chấp hành Luật Giao thông.
Hệ thống theo dõi hoạt động giao thông đƣờng bộ bằng camera đƣợc phân làm 2 loại: một loại camera thu hình liên tục hoạt động của các phƣơng tiện giao thông và loại thứ hai là ghi và lƣu lại các hình ảnh chứa các thông tin quan trọng (nhƣ ngƣời, biển số,…) của phƣơng tiện vi phạm Luật Giao thông hay các vụ tai nạn. Với khả năng lƣu giữ hình ảnh này, tất cả những vụ vi phạm hay tai nạn đều đƣợc ghi lại, sau đó đƣợc chuyển tới trung tâm theo dõi giao thông và đƣợc xử lý trong khoảng thời gian nhanh chóng.
56
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Chính vì vậy, tác giả đề xuất ứng dụng kỹ thuật so khớp và nhận dạng trong hệ thống giám sát tự động để phát hiện việc vi phạm sai luồng, tốc độ và thông báo biển số xe vi phạm.
Trong luận văn này, tác giả cài đặt thuật toán bám đối tƣợng chuyển động để
quản lý về lƣu lƣợng xe, vận tốc trung bình, làn xe, bám đối tƣợng theo tọa độ, hƣớng chuyển động và thông báo khi vi phạm làn xe. Đồng thời, tác giả kết hợp với kỹ thuật nhận dạng để phát hiện biển số xe để ghi lại những thông tin của xe vi phạm làn xe.
3.2. MÔ HÌNH HỆ THỐNG GIÁM SÁT GIAO THÔNG TỰ ĐỘNG BẰNG CAMERA
Hình 3.1. Minh họa mô hình giám sát giao thông tự động bằng camera
Một hệ thống giám sát giao thông tự động bằng camera bao gồm: phân hệ
camera giám sát (camear theo dõi phân luồng), camera chụp hình (chụp biển số
xe), mạng truyền thông, máy chủ lƣu trữ video, phần mềm xử lý ảnh và CSDL.
Chụp biến số xe Theo dõi phân luồng Thu nhận ảnh Theo dõi, bám đối tƣợng Vi phạm giao thông Sai Đúng Nhận dạng, thông báo vi phạm giao thông, lƣu CSDL. Điều khiển camera,
57
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Các camera giám sát sẽ theo dõi và chụp biển số xe lƣu lại vào phân hệ thu nhận ảnh. Dựa vào đó, phân hệ theo dõi đối tƣợng sẽ giám sát đối tƣợng trong vùng quản lý của camera và kiểm tra các đối tƣợng đƣợc theo dõi. Trƣờng hợp đối tƣợng theo dõi vi phạm giao thông thì đối tƣợng đó bị bắt bám. Hệ thống sẽ xử lý việc nhận dạng, lƣu hình ảnh vi phạm của đối tƣợng vào trong CSDL. Đồng thời, hệ thống điều khiển camera để phân loại, xác định hƣớng, theo dõi, bắt bám đối tƣợng đó phục vụ cho quá trình xử lý sau này.
3.3. PHÂN LUỒNG GIAO THÔNG DỰA TRÊN NGUYÊN LÝ BÁM ĐỐI TƢỢNG
3.3.1. Đặt vấn đề
Kỹ thuật bám ảnh đối tƣợng chuyển động để quản lý, đo đếm đƣợc số lƣợng
xe và vận tốc trung bình của luồng xe trên từng làn đƣờng và có thể sử dụng cho cả đƣờng một chiều cũng nhƣ đƣờng hai chiều. Để làm đƣợc điều đó, hệ thống sẽ quản lý và bám đến từng đối tƣợng chuyển động trong khung hình mà camera thu nhận về. Mỗi đối tƣợng đều đƣợc bám và quản lí mọi thông tin về nó nhƣ: toạ độ (vị trí) hiện tại của đối tƣợng, kiểu xe, kích thƣớc xe, hƣớng chuyển động của xe … Để quản lý đƣợc tất cả các đối tƣợng chuyển động trong khung hình camera thu nhận đƣợc và phục vụ các công việc cần thiết, cần thực hiện đƣợc các nội dung sau:
- Xây dựng trong khung hình các vạch đếm, các vùng quan tâm hình chữ
nhật V1, V2, …, Vk giới hạn bởi vạch đếm và các làn đƣờng (hình 8). Các đối tƣợng sẽ đƣợc bắt bám và đo đếm trong phạm vi của các vùng quan tâm.
- Một tập hợp A (mỗi phần tử là một cấu trúc) lƣu các thông tin về các đối
58
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
điểm hiện tại và toạ độ hiện tại của đối tƣợng, các đặc trƣng trích chọn đã đƣợc học của đối tƣợng đó, kiểu đối tƣợng...
- Một bộ phát hiện chuyển động của đối tƣợng mới trong các vùng
quan tâm.
- Một bộ đếm xe theo bất kỳ làn đƣờng nào và bất kỳ chiều nào. Bộ đếm
sẽ đếm mỗi khi có một đối tƣợng có trọng tâm chuyển động từ bên này sang bên kia so với vạch đếm, sẽ có hai vạch đếm tƣơng ứng với hai