Minh họa ô kích thước 8x8 trong cửa sổ tìm kiếm49Hình 3.7 Sự phân bố độ lớn của vector vào các bins trong HOG49Hình 3.8Gộp các ô cell để tạo nên các khối block có sự chồng lấp Trang 9 H
Trang 1BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
-MAI THẾ CHUYỀN
NGHIÊN CỨU PHÁT TRIỂN THUẬT TOÁN
CẢNH BÁO KHI Ô TÔ ĐI SAI LÀN
LUẬN VĂN THẠC SĨ KỸ THUẬT
Chuyên ngành: Kỹ thuật Điện tử
Hà Nội – Năm 2018
Trang 2BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
-MAI THẾ CHUYỀN
NGHIÊN CỨU PHÁT TRIỂN THUẬT TOÁN
CẢNH BÁO KHI Ô TÔ ĐI SAI LÀN
Chuyên ngành: Kỹ thuật Điện tử
LUẬN VĂN THẠC SĨ KỸ THUẬT
Chuyên ngành: Kỹ thuật Điện tử
NGƯỜI HƯỚNG DẪN KỸ THUẬT:
PGS.TS NGUYỄN TIẾN DŨNG
Hà Nội – Năm 2018
Trang 3LỜI CAM ĐOAN
Tôi đã đọc và hiểu về các hành vi vi phạm sự trung thực trong học thuật Tôicam kết bằng danh dự cá nhân rằng nghiên cứu này do tôi tự thực hiện và không viphạm yêu cầu về sự trung thực trong học thuật
Tôi xin cam đoan luận văn: “Nghiên cứu phát triển thuật toán cảnh báo khi
ô tô đi sai làn” là nghiên cứu của tôi, các số liệu và kết quả nêu trong luận văn là
trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác
Tác giả luận văn
Mai Thế Chuyền
Trang 4LỜI CÁM ƠN
Để hoàn thành tiểu luận này, tôi xin chân thành cảm ơn thầy giáo hướngdẫn PGS TS Nguyễn Tiến Dũng đã tận tình, chu đáo hướng dẫn tôi thực luậnvăn này
Mặc dù đã có nhiều cố gắng để thực hiện đề tài một cách hoàn chỉnh nhất,song do hạn chế tiếp cận với thực tế cũng như hạn chế về kiến thức và kinhnghiệm nên không thể tránh khỏi những thiếu sót nhất định mà bản thân chưathấy được Tôi rất mong được sự góp ý của quý thầy, cô giáo và các bạn đồngnghiệp để luận văn được hoàn chỉnh hơn Tôi xin chân thành cảm ơn
Trang 5Mục lục
DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU 4
DANH MỤC CÁC HÌNH 5
DANH MỤC CÁC BẢNG 7
MỞ ĐẦU 8
Chương 1: Giới thiệu về hệ thống giám sát giao thông 16
1.1 Tổng quan về hệ thống giám sát giao thông bằng camera: 16
1.2 Các vấn đề trong hệ thống giám sát giao thông thông minh 19
1.3 Khó khăn trong phát hiện phương tiện ô-tô bằng camera 21
1.4 Giới thiệu một số hệ thống giám sát giao thông hiện nay 22
Chương 2: Phát hiện đối tượng từ camera 27
2.1 Bài toán phát hiện và phân loại đối tượng 27
2.2 Một số phương pháp phân loại phổ biến 29
2.3 Một số đặc trưng dùng để phân loại phương tiện: 33
2.3.1 Đặc trưng Haar 33
2.3.2 Biểu đồ màu 35
2.3.3 Đặc trưng SIFT 36
2.3.4 Đặc trưng HOG 37
2.4 Các vấn đề gặp phải trong quá trình nhận dạng 37
2.4.1 Khó khăn đối với đối tượng tham gia giao thông 38
2.4.2 Khó khăn do các tác động điều kiện môi trường 39
2.5 Lựa chọn giải pháp 39
Chương 3: Bài toán và giải thuật 42
3.1 Bài toán phát hiện xe đi sai làn 42
3.1.1 Đặt vấn đề 42
3.1.2 Vấn đề xác định làn đường 44
3.1.3 Yêu cầu đầu vào và đầu ra: 44
3.2 Hướng giải quyết bài toán 45
3.2.1 Sơ đồ khái quát hướng tiếp cận bài toán 45
3.2.2 Mô hình bài toán nhận dạng phương tiện ô-tô: 46
3.3 Quy trình rút trích đặc trưng HOG 48
3.3.1 Đặc trưng HOG 48
3.3.2 Quy trình rút trích đặc trưng HOG 51
3.4 Quá trình phân lớp dữ liệu sử dụng SVM 53
3.4.1 Các bước thực hiện phân lớp dữ liệu dựa trên SVM 53
3.4.2 Lựa chọn các thông số 55
3.5 Giải thuật 56
Chương 4: Xây dựng thử nghiệm mô hình nhận dạng ô-tô 57
4.1 Lựa chọn bộ công cụ 57
4.2 Thực hiện 59
4.2.1 Chuẩn bị tập dữ liệu 59
4.2.3 Dữ liệu thử nghiệm 65
4.2.4 Cách tính độ chính xác của thuật toán 65
4.3 Kết quả và đánh giá 66
Trang 64.3.1 Kết quả kiểm thử dựa trên tập dữ liệu kiểm thử ngẫu nhiên 66
4.3.2 Kết quả kiểm thử dựa trên video 67
4.4 Hướng phát triển 71
4.4.1 Tăng tốc thuật toán sử dụng tích phân ảnh (Integral Image) 71
4.4.2 Sử dụng tính toán song song 71
4.4.3 Xác định yếu tố đi ngược chiều trên tuyến đường 71
Kết luận 73
Tài liệu tham khảo 75
Trang 7DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU
HOG Histogram of Oriented Gradient
GPU Graphics Processing Unit
Trang 8tại nút giao hầm chui Nguyễn Trãi - Khuất Duy Tiến, quận Thanh Xuân, Hà Nội
44
Hình 3.4 Cấu trúc khái quát hệ thống nhận dạng đối tượng 45 Hình 3.5 Sơ đồ tổng quát của bài toán nhận dạng phương tiện ô-tô 47 Hình 3.6 Minh họa ô kích thước 8x8 trong cửa sổ tìm kiếm 49 Hình 3.7 Sự phân bố độ lớn của vector vào các bins trong HOG 49 Hình 3.8 Gộp các ô (cell) để tạo nên các khối (block) có sự chồng
lấp
51 Hình 3.9 Các bước thực hiện rút trích đặc trưng HOG 52 Hình 3.10 Đặc trưng HOG được rút trích 53
Trang 9Hình 3.11 Quy trình xử lý tìm kiếm đối tượng 56 Hình 4.1 Điểm thu thập dữ liệu tại nút giao Võ Văn Kiệt - Hải
Hình 4.6 Tập dữ liệu không phải ô-tô (non-vehicle) 64 Hình 4.7 Vùng xác định phương tiện đi sai làn 68 Hình 4.8 Đối tượng được phát hiện trên video thử nghiệm 69 Hình 4.9 Nhiều đối tượng cùng đi vào vùng quan sát 69 Hình 4.10 Không thực hiện cảnh báo với xe máy đi vào vùng quan
sát
70
Trang 11MỞ ĐẦU
1 Tình hình giao thông tại Việt Nam
Trong những năm gần đây để thực hiện yêu cầu Công nghiệp hóa, hiện đạihóa đất nước, hoạt động giao thông vận tải đường bộ ở nước ta đã có những bướcphát triển nhanh chóng về cả mạng lưới giao thông lẫn phương tiện tham gia giaothông Hiện tại, mạng lưới giao thông đường bộ Việt Nam có tổng chiều dàikhoảng trên 180.000 km, trong đó có trên 90 tuyến quốc lộ với tổng chiều dài15.065 km, tỉnh lộ 36.225 km, huyện lộ 129.259 km, đường đô thị 6.650 km vàtrên 130.000 km đường xã; trải dài khắp các vùng, miền của tổ quốc, nối liền cáccửa khẩu, cảng biển với các trung tâm kinh tế - chính trị, các khu công nghiệplớn,… tạo thành mạng lưới vận chuyển liên hoàn Sự phát triển đó thỏa mãn ngàycàng tốt hơn nhu cầu đi lại của nhân dân, nhu cầu vận tải hàng hóa và góp phầnquan trọng vào việc phát triển kinh tế, văn hóa, xã hội, mở rộng giao thương vàhội nhập của đất nước với các nước trong khu vực và trên thế giới
Tuy nhiên, bên cạnh đó cũng nảy sinh nhiều vấn đề bất cập về TTATGT:
ùn tắc giao thông, tai nạn giao thông gia tăng gây nhiều thiệt hại nghiêm trọng vềngười và tài sản, ý thức tự giác chấp hành pháp luật giao thông của người thamgia giao thông chưa cao Cụ thể, theo báo cáo thống kê1 của Cục Cảnh sát giaothông đường bộ, đường sắt (C67) - Bộ Công an, tính từ năm 2010 đến 6/2015,toàn quốc đã xảy ra 194.758 vụ TNGT, làm chết 54.226 người, bị thương204.541 người; xảy ra 1.054 vụ ùn tắc giao thông kéo dài trên 1 giờ
Về nguyên nhân xảy ra tai nạn: Người điều khiển phương tiện sử dụngrượu bia, sử dụng ma túy, do buồn ngủ… không làm chủ được hành vi kiểm soát
1 Báo Lao động thủ đô, !"#$%&'&()
01/12/2015
Trang 12và điều khiển phương tiện nên thường xảy ra các lỗi vi phạm, đồng thời là nhữngnguyên nhân chính gây TNGT như: chạy quá tốc độ cho phép: 11,5%; tránh vượtsai quy định: 11%; đi không đúng làn đường, phần đường: 28,25% 2
Thực tế cho thấy, trong công tác đảm bảo trật tự an toàn giao thông, nếuchỉ tuyên truyền, giáo dục thuần túy thì không thể kiềm chế tình hình tai nạn và
ùn tắc giao thông mà phải có những biện pháp đủ mạnh để cưỡng chế bắt buộcđối với người vi phạm Vì vậy, việc áp dụng khoa học kỹ thuật công nghệ tiêntiến để hiện đại hóa công tác kiểm soát trên các tuyến đường là yêu cầu cấp thiết;không những nhằm mục đích phát hiện, xử lý các vi phạm về trật tự an toàn giaothông mà còn hỗ trợ các lực lượng chức năng quan sát, theo dõi mọi diễn biếntrên các tuyến đường và các khu vực quan trọng về an ninh - trật tự để kịp thờiphát hiện, ngăn chặn và xử lý mọi hoạt động tội phạm và các vi phạm pháp luậtkhác
2 Tính cấp thiết của luận văn
Xuất hiện từ những năm 1940, ban đầu hệ thống camera giám sát đượcdùng vào mục đích quân sự Từ đó đến nay, trải qua 3 thế hệ, từ camera tương tự,đến camera kỹ thuật số và giờ đây là camera IP, hệ thống camera giám sát đã trởnên phổ biến và đang được sử dụng rộng rãi trong nhiều lĩnh vực Hiện nay, việctriển khai một hệ thống camera giám sát đã trở nên rất dễ dàng với nhiều mụcđích khác nhau: giám sát an ninh tại các địa điểm quan trọng như sân bay, cơquan văn phòng; các điểm trông giữ xe, tại nhà riêng; các nhà máy sản xuất; trêncác trục giao thông;…
Tại các điểm trông giữ xe, hệ thống camera giám sát làm nhiệm vụ chụp
2 TS Phùng Văn Hào, *+,-./012$.$)$1' 34*5'56%78# , Tạp chí Cảnh sát nhân dân -
Chuyên đề An toàn giao thông - Số 01/tháng 11/2014
Trang 13ảnh lưu lại thông tin của các phương tiện (màu sắc, hình dáng, kích thước) trong
đó gồm cả thông tin biển số xe
Các camera giám sát trong gia đình hay văn phòng được dùng với chứcnăng cơ bản là ghi lại các hoạt động của con người trong trường hợp cầm xemlại
Tại các vùng nhạy cảm về an ninh như sân bay hay bảo tàng, người ta sửdụng hệ thống camera hiện đại hơn so với trong gia đình, văn phòng: các hệthống giám sát được thiết lập các chức năng để có thể cảnh báo kịp thời nhữnghành vi khả nghi liên quan đến khủng bố, hỏa hoạn, mất cắp
Trong giao thông, người ta lắp đặt các camera giám sát ở các ngã ba, ngã
tư, đường hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, cảnh báotình trạng ùn tắc, phát hiện các vi phạm luật giao thông của các phương tiện…
Số lượng camera được lắp đặt nhằm thực hiện việc giám sát giao thôngđang tăng lên Ví dụ như trong năm 2015 như tuyến cao tốc Hà Nội – Lào Cai lắpđặt 58 camera, tuyến cao tốc Pháp Vân – Cầu Giẽ - Ninh Bình thực hiện lắp đặt
35 điểm giám sát Trong năm 2014, Trung tâm Điều khiển đèn tín hiệu giaothông thuộc Phòng CSGT Công an TP Hà Nội lắp đặt 500 camera3 Tại các tuyếngiao thông quốc lộ trọng điểm, cơ quan quản lý Nhà nước thực hiện các dự ántriển khai lắp đặt camera nhằm giám sát quá trình lưu thông và hạn chế tai nạn
trên các tuyến đường này, như Đề án 617 về 9:;/*<1$.$3
$=;>=#?%,'$=;%78#5
@, thực hiện lắp đặt và đưa vào vận hành hệ thống giám sát xử lý vi phạm
TTATGT trên một số tuyến QL, cao tốc như: Cao tốc Nội Bài - Lào Cai, TP HồChí Minh - Trung lương, QL1 đoạn TP Hồ Chí Minh - Đồng Nai bước đầu đã
3 Báo Người lao động điện tử, 9A/';@5, 31/10/2015
Trang 14thu được kết quả tốt4.
Đồng Nai (Dọc tuyến quốc lộ 1) 2017 28 camera
TP Biên Hòa (Đồng Nai) 2014 58 trụ camera
4 Báo Giao thông điện tử, I3>=2JKCA1LJ= B) 15/05/2017
5 Báo điện tử vnexpress.net Hà Nội phạt 'nguội' hơn 900 ôtô vi phạm giao thông trong hai tháng, 3/3/2018.
6 Công văn số 2410/UBND – ĐT, HM%M3=N$/0B#=3$%OP
56%O''<Q"
7 Trang tin An toàn giao thông (atgt.vn), R'AST9UV.W@2$.$, 08/03/2016
Trang 15Hình 1: Hệ thống camera giám sát giao thông tại Hà Nội 8
Việc xử lý trực tiếp của tất cả các luồng video là rất khó khăn do số lượngcamera được triển khai nhiều cùng với một lượng lớn dữ liệu thu nhận từ chúng
Chính vì vậy, vấn đề giám sát tự động là nhiệm vụ hàng đầu trong hệthống giám sát bằng camera nhằm hỗ trợ tối đa con người trong việc điều khiển,giám sát, giảm thiểu các sai sót không đáng có, đồng thời qua đó cũng giải phóngsức lao động của các giám sát viên
Nói chung, một hệ thống giám sát giao thông tự động thường thực hiệncác giai đoạn: Phát hiện đối tượng chuyển động, phân loại đối tượng, theo vết đốitượng, nhận biết hoạt động, hành vi của đối tượng và lưu trữ lại thông tin cầnthiết
8 Kênh VOV giao thông Quốc gia - Đài Tiếng nói Việt Nam, <'A#,-3:;/*1
566, 26/05/2017
Trang 16Phát hiện đối tượng chuyển động là công việc đầu tiên của hầu hết các hệthống giám sát bằng camera Phát hiện chuyển động nhằm xác định vùng hìnhảnh tương ứng với đối tượng di chuyển từ mỗi khung hình Tiếp đến là quá trìnhphân lớp đối tượng nhằm xác định các đối tượng nằm trong chính sách quản lý,việc phân loại đúng giúp giảm tải các tính toán không cần thiết hoặc các đốitượng không cần được nghiên cứu Các quá trình tiếp theo như: theo vết đốitượng, phân tích hành vi phụ thuộc rất nhiều vào giai đoạn này Phân tích, nhậnbiết hành vi của đối tượng giám sát là một công việc quan trọng trong hệ thốnggiám sát trực quan, trong một số trường hợp, việc phân tích hành vi của đốitượng được giám sát là cần thiết để xác định xem hành vi của chúng là bìnhthường hay bất thường Trong luận văn này, việc phân tích hành vi của phươngtiện ô-tô là tìm ra được quá trình đi trên làn không cho phép (hoạt động bấtthường) hay chuyển sang làn khác trong vùng không cho phép (hành vi bấtthường).
Trong thực tế, việc phát hiện đối tượng chuyển động (đối tượng chính củachúng ta là ô-tô) trong môi trường hiện nay gặp nhiều khó khăn, như: các phươngtiện có hình dáng tương tự ô-tô, các khó khăn về điều kiện ánh sáng, bóng đổ(shadow), môi trường giao thông hỗn loạn gây khó khăn cho việc phân tách đốitượng cần quan sát
2 Mục tiêu nghiên cứu
Để nâng cao khả năng giám sát giao thông, đặc biệt là trong vấn đề xácđịnh các phương tiện đi sai làn đường (một trong những nguyên nhân gây tai nạn
có tỷ lệ cao), luận văn thực hiện nghiên cứu giải pháp phát hiện các phương tiện
đi sai làn trong đó tập trung vào vấn đề nhận dạng chính xác các phương tiện, cụthể trong luận văn là ô-tô Việc phát hiện phương tiện đi sai làn sẽ giúp các cơquan chức năng kịp thời cảnh báo cho các phương tiện khác đang tham gia giaothông trên cùng tuyến đường để có những biện pháp phù hợp (ví dụ như giảm tốc
Trang 17độ) nhằm tránh các tai nạn đáng tiếc.
Luận văn tập trung nghiên cứu các vấn đề sau:
- Xây dựng tập dữ liệu thử nghiệm để nhận dạng ô-tô
- Xây dựng mô hình nhận dạng ô-tô bằng các giải thuật
- Ứng dụng các phương pháp xử lý ảnh trong việc nhận dạng, phân loạiđối tượng là xe ô-tô và trích trọn hình ảnh trong trường hợp phương tiện đi sailàn
3 Phương pháp nghiên cứu
Trong luận văn này, nội dung nghiên cứu sẽ lần lượt nghiên cứu các vấn
đề sau:
- Thu thập các tài liệu và phân tích, chọn lọc các thông tin liên quan đếnnội dung nghiên cứu của đề tài
- Khảo sát thực trạng hoạt động giao thông hiện nay
- So sánh và lựa chọn hợp lý các phương pháp trong xử lý ảnh nhằm nângcao độ chính xác trong xử lý ảnh giao thông
- Xây dựng thuật toán và viết chương trình xác định, phân loại đối tượngtham gia giao thông là ô tô, thực hiện trích trọn hình ảnh các ô tô này
4 Đóng góp của luận văn
Luận văn thực hiện nghiên cứu sự kết hợp sử dụng đặc trưng HOG vớithuật toán hỗ trợ máy vector (SVM) để nhận dạng và phân loại ô-tô
5 Bố cục luận văn
Ngoài phần mở đầu, kết luận và tài liệu tham khảo, kết cấu luận văn gồm
4 chương như sau:
Chương 1: Giới thiệu về hệ thống giám sát giao thông
Trong chương này sẽ giới thiệu tổng quan về hệ thống giám sát giao thôngthông minh và các phương pháp sử dụng để phát hiện phương tiện ô-tô đangđược nghiên cứu và áp dụng
Chương 2: Phát hiện đối tượng từ camera
Trang 18Trong chương này sẽ tiến hành nghiên cứu quy trình thực hiện phát hiệnphương tiện bằng cách xử lý video.
Chương 3: Bài toán và giải thuật
Trong chương này sẽ trình bày về bài toán cần giải quyết và đưa ra lý do
và lựa chọn giải pháp để giải quyết bài toán
Trong chương này sẽ mô tả chi tiết về cách thức hoạt động và các thông sốlựa chọn khi sử dụng đặc trưng HOG kết hợp với thuật toán SVM
Chương 4: Xây dựng thử nghiệm mô hình nhận dạng ô-tô
Trong chương này sẽ trình bày cách thức xây dựng tập dữ liệu để thửnghiệm và môi trường thực hiện thử nghiệm, các bước thực hiện thử nghiệm, cáctham số điều chỉnh đối với việc trích chọn đặc trưng và giải thuật SVM cho phùhợp với tập dữ liệu đã xây dựng và kết quả đạt được
Trang 19Chương 1: Giới thiệu về hệ thống giám sát giao thông
1.1 Tổng quan về hệ thống giám sát giao thông bằng camera:
Với sự phát triển nhanh chóng của đô thị hóa, tắc nghẽn giao thông, tainạn và vi phạm luật đặt ra những thách thức lớn đối với hệ thống quản lý giaothông ở hầu hết các thành phố lớn và vừa Do đó, các nghiên cứu về giám sátgiao thông, nhằm quản lý luồng giao thông, đã thu hút nhiều sự chú ý
<CDCDX>=M#1$.$56./02YCZ
Với sự tiến bộ trong thị giác máy tính, máy quay video đã trở thành một
bộ cảm biến đầy hứa hẹn và chi phí thấp cho giám sát giao thông Trong 30 nămqua, các hệ thống giám sát dựa trên video là một phần quan trọng của hệ thống
Trang 20giao thông thông minh (ITS) Các hệ thống này thu hình dạng thị giác của xe vàtrích ra thành nhiều thông tin về phương tiện theo các tiêu chuẩn của nghiệp vụnhư phát hiện, theo dõi, nhận dạng, phân tích hành vi, Nói chung, các hệ thốnggiám sát hiện tại thu thập thông tin luồng giao thông chủ yếu bao gồm các thông
số giao thông và phát hiện sự cố giao thông Phát hiện sự cố giao thông là khókhăn hơn và có nhiều tiềm năng nghiên cứu
Một trong những vấn đề của phát hiện sự cố giao thông là phát hiện cácphương tiện đi sai làn, đó là một trong những nguyên nhân gây ra các vụ tai nạngiao thông nghiêm trọng
Một hệ thống giám sát giao thông sử dụng camera thường có kiến trúc như
ở hình 1.2
Hình 1.2 Mô hình hệ thống xử lý ảnh
Đầu tiên là quá trình thu nhận ảnh Ảnh có thể thu nhận được qua camera.Thường khi thu nhận ảnh qua camera là tín hiệu tương tự (loại camera ống kiểu
Trang 21CCIR), nhưng cũng có thể là tín hiệu số hóa (loại CCD - Charge CoupledDevice) Tiếp theo là quá trình số hóa (Digitalizer) để biến đổi tín hiệu tương tựsang tín hiệu rời rạc (lấy mẫu) và số hóa bằng lượng hóa, trước khi chuyển sanggiai đoạn xử lý, phân tích hay lưu trữ lại Giai đoạn tiếp theo là phát hiện các đặctính của ảnh hoặc đối tượng, sau đó là trích chọn các đặc tính của đối tượng cầnquan sát Cuối cùng tùy theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng,phân lớp hay các quyết định khác.
Dựa trên các phân tích của hệ thống giám sát giao thông thông minh hiệnnay (ITS), chúng ta có thể chia hệ thống ITS thành 4 lớp kiến trúc[6] như tronghình 1.3
<CD[T"6+I\V]D
Trang 22Lớp 1: Thu thập hình ảnh Chức năng của lớp này là để xác định các toàncảnh giao thông và lấy hình ảnh bằng các biến ảnh.
Lớp 2: Trích xuất các thuộc tính động và tĩnh Dựa trên các hình ảnh thuđược, lớp này làm chức năng trích xuất các thuộc tính động và tĩnh của phươngtiện Thuộc tính động bao gồm các đặc điểm liên quan đến chuyển động của xe:vận tốc, hướng chuyển động, quỹ đạo chuyển động, được lấy trên một cameraduy nhất Thuộc tính tĩnh bao gồm các đặc điểm thể hiện bên ngoài của xe giúpcho việc dễ dàng mô tả xe như: hình dáng xe, màu sắc, biển số xe, logo,…
Lớp 3: Hiểu biết hành vi Lớp này nhằm mục đích phân tích các thuộc tínhđộng và tĩnh của phương tiện, hiểu biết hành vi của phương tiện và cuối cùngnhận thức tình trạng giao thông
Lớp 4: Các dịch vụ ITS Dựa trên kết quả của các lớp trước, lớp này cungcấp các dịch vụ ITS để kiểm soát và quản lý tình trạng giao thông hiệu quả hơn.Các dịch vụ này có thể như: thu phí điện tử, giám sát an ninh, các hành vi tráiluật, phát hiện dị thường, đánh giá môi trường giao thông,…
1.2 Các vấn đề trong hệ thống giám sát giao thông thông minh
Mặc dù đã có nhiều tiến bộ trong giám sát giao thông dựa trên video, cácnhà nghiên cứu vẫn đang phải đối mặt với nhiều khó khăn và thách thức đối vớicác ứng dụng ITS thực tế Một số những thách thức hiện tại đối với các hệ thốnggiám sát bằng video như sau:
- Sự đổi ánh sáng: Điều kiện ánh sáng thay đổi vào các thời điểm khácnhau trong ngày, đặc biệt là giữa ban ngày và ban đêm Việc thiếu ánh sáng sẽlàm tầm nhìn (khoảng cách) của thiết bị theo dõi bị giới hạn Thiết bị chiếu sáng
Trang 23bổ sung có thể được sử dụng cho hoạt động ban đêm, tuy nhiên vẫn gây ra ảnhhưởng nhất định tới khả năng của thiết bị.
- Sự tắc nghẽn giao thông: Trong giờ cao điểm, phương tiện giao thôngthường đi sát vào với nhau và đi lẫn vào với các phương tiện giao thông khác (đi
bộ, xe đạp, xe máy cùng trên một con đường), gây ra sự nhập nhằng trong việcnhận diện chính xác các phương tiện
- Biến điệu đối tượng: Hình dáng của xe ô-tô được nhìn qua thiết bịcamera thay đổi khi phương tiện di chuyển như: dịch chuyển sang làn khác, quayđầu xe
- Sự đa dạng của phương tiện: Xe ô-tô được sản xuất với hình dạng không
cố định, kích thước cũng không đồng nhất, đa dạng về màu sắc Một ô-tô 4 chỗkhông nhất định phải có hình dạng chữ nhật, đôi khi là hình tam giác hay hìnhthang Cũng là phương tiện ô-tô 4 chỗ nhưng có xe dài, xe ngắn Trên cùng mộtchiếc xe có khi có rất nhiều màu sắc khác nhau
- Độ phân giải khác nhau: Khi một chiếc xe đi qua vùng quan sát (FOV)của camera, kích thước hình ảnh đối tượng chiếc xe thay đổi liên tục theo khoảngcách chiếc xe với camera Điều này dẫn đến việc mất một số thông tin thị giácchi tiết và thách thức tính lớn đối với mô hình phát hiện đối tượng
- Sự hiểu biết về hành vi của xe trên đường: Việc theo dõi hành trình củamột chiếc xe trên quốc lộ yêu cầu các camera cần phải phối hợp với nhau, có nhưvậy mới hiểu biết được đầy đủ tình trạng giao thông thông qua việc phân tích cáchành vi toàn cục
Trang 241.3 Khó khăn trong phát hiện phương tiện ô-tô bằng camera
Trong các phương pháp hiện nay đang sử dụng phổ biến, đều gặp phải 2vấn đề chung là: bóng (shadow) và sự nhập nhằng (occlusion), đây là thách thứclớn đối với vấn đề phát hiện phương tiện nhất là trong môi trường điều kiện thiếusáng phải sử dụng ánh đèn cao áp chiếu sáng (vào buổi tối hoặc đi trong cácđường hầm)
a) Bóng xe (vehicle shadow): Bóng của phương tiện thường bị nhận dạng đi kèm
với phương tiện đó, do đó làm giảm độ chính xác của quá trình phát hiện xe.Thông thường bóng xe thường có trên hai đặc tính: hình dạng (shape) và màu sắc(color/texture) Hình dạng của bóng xe được hiểu là những khuôn mẫu (pattern)
có nhiều kiểu dáng được quyết định bởi hình dạng đối tượng thu thập và đặc tínhchiếu sáng (góc chiếu, cường độ sáng…), những yếu tố này có thể khai thác đểphát hiện bóng xe [54] (dựa vào khả năng biết trước cường độ sáng, góc máyquay,…), tuy nhiên thông tin về hình dạng đối tượng và đặc tính chiếu sángthường không ổn định, khó đạt được độ chính xác hoàn toàn
Một yếu tố khác trong vấn đề bóng xe là màu sắc và kết cấu, những thôngtin này thường sẽ chỉ ra sự khác nhau giữa các xe ô-tô Trong bài nghiên cứu[55], các pixels được phân tích trong không gian màu HSV (hue–saturation–value) để phân biệt độ kết tủa màu sắc (chromaticity) và độ chói (luminosity) đểphát triển các giải thuật cho việc phát hiện bóng xe, điều này khó có thể làm đượctrong không gian màu RGB Trong bài viết [56] trình bày giải thuật loại bỏ bóng
xe hiệu quả dựa trên thông tin đường bao chu vi và đặc tính màu sắc
Trong bài viết [18] có trình bày về một số thông tin về giải thuật phát hiệnbóng xe
b) Sự nhập nhằng (vehicle occlusion) hình thành do mật độ giao thông tăng cao
khiến các phương tiện đi sát vào nhau, và do góc đặt quan sát của camera Khi sự
Trang 25nhập nhằng xảy ra, diện mạo của phương tiện sẽ bị che khuất do góc nhìn trùnglặp với các đối tượng khác.
Đã có nhiều bài nghiên cứu để có thể quản lý được sự nhập nhằng này,như các bài nghiên cứu [19], [20] Trong nghiên cứu [21], Zhang đã giả thiết rằng
sự nhập nhằng gây ra việc mất thông tin mô tả có thể được thể hiện bởi hìnhchiếu của khung cảnh 3-D lúc đó lên mặt phẳng 2-D Bài báo đề xuất một khung
xử lý gồm 3 mức: intraframe level, interframe level và tracking level, được xử lýtuần tự nhau Trong bài thí nghiệm, có 427 mẫu phương tiện được sử dụng, baogồm 249 hiện tượng nhập nhằng, độ chính xác đạt được lên tới 94,1%
c) Trong môi trường ban đêm (nightime): Một trong những chướng ngại lớn
nhất của hệ thống camera phát hiện phương tiện là hiệu suất hoạt động trong điềukiện buổi tối Trong quá trình hoạt động, độ nhạy sáng và độ tương phản kém củacảm biến ảnh trong camera, ánh sáng phản chiếu của đèn xe gây ra các vấn đềnhận dạng nghiêm trọng Có thể dùng các giải pháp khắc phục là lắp đặt thiết bịchiếu sáng bổ sung (như đèn đường hoặc đèn chiếu tia hồng ngoại) để cung cấp
độ sáng rọi (lux) giống như hoạt động ban ngày Tuy nhiên nó vẫn có những giớihạn và đòi hỏi các camera đắt tiền
Các nhà nghiên cứu đã tìm các giải pháp phát hiện phương tiện dựa trên sựgiới hạn về thông tin thu nhận được với những camera tiêu chuẩn về đêm.Gritsch và cộng sự trong bài nghiên cứu [15] xây dựng hệ thống phân loại banđêm, bộ cảm biến dữ liệu giao thông thông minh, có thể phân biệt giữa xe hơi và
xe tải Robert và cộng sự trong nghiên cứu [16], [17] đề xuất một khung pháthiện phương tiện vào ban đêm hoạt động trên ánh sáng của xe
1.4 Giới thiệu một số hệ thống giám sát giao thông hiện nay
Thu thập các thông tin về dòng xe trên đường (lưu lượng, mật độ, vận tốc
Trang 26dòng xe, khoảng cách giữa các xe, thời gian chiếm giữ mặt đường của phươngtiện…) là yêu cầu quan trọng đầu tiên để quản lý và điều hành giao thông Trênthế giới, vấn đề này đã được quan tâm từ rất lâu và có nhiều công nghệ được sửdụng để thu thập các thông số giao thông, trong đó công nghệ xử lý hình ảnhbằng camera (Video Image Processing) được đánh giá có tính khả thi, phù hợpvới đặc trưng riêng về hệ thống giao thông và phương tiện giao thông tại ViệtNam.
Công nghệ xử lý ảnh ứng dụng cho giám sát giao thông đã được tiến hànhnghiên cứu và ứng dụng khá phổ biến trên thế giới bao gồm:
- Phần mềm giám sát giao thông thời gian thực của IBM phát triển tạiTrung tâm nghiên cứu IBM do Belle L Tseng, Ching-Yung Lin và John R.Smith chủ trì
Hệ thống đánh giá giao thông bằng phương pháp xử lý ảnh (TRIP Traffic Research using Image Processing) là một hệ thống được hợp tácphát triển giữa Trường Đại học Manchester, Viện Khoa học và Công nghệ
-và Trường Đại học Sheffield, Vương quốc Anh, từ những năm 1980
- Hệ thống Sample Points được Nhật Bản phát triển đầu những năm 1980
- Hệ thống phát hiện phạm vi rộng (WADS - Wide Area DetectionSystem), được phát triển tại phòng thí nghiệm Jet Propulsion, Mỹ
- Hệ thống ACRC do Trung tâm nghiên cứu tính toán cao tại Trường Đạihọc Bristol, Vương quốc Anh thực hiện
- Hệ thống cảm biến giao thông với sự hỗ trợ của máy tính và camera(CCATS) được phát triển thông qua sự hợp tác của Chính phủ Bỉ, TrườngĐại học Leuven và Công ty điều khiển Devlonics
- IMPACTS là một hệ thống giám sát giao thông được phát triển bởiHoose tại Trường Đại học London, Vương quốc Anh…
Trang 27Tại Việt Nam, hệ thống giám sát trật tự an toàn giao thông (TTATGT)được triển khai bởi nhiều nhà cung cấp, tiêu biểu là hệ thống của FPT, CadPro.
FPT đã được bộ Giao thông vận tải đồng ý triển khai “Hệ thống giám sát,
xử lý vi phạm TTATGT bằng hình ảnh”[3] trên cao tốc Nội Bài - Lào Cai, đoạnNội Bài - Phú Thọ Hệ thống phần mềm giám sát xử lý vi phạm TTATGT đượcxây dựng và phát triển dựa trên công nghệ xử lý hình ảnh bằng camera (VideoImage Processing), hình ảnh từ các camera giám sát giao thông được lắp đặt tạicác địa điểm cố định trên tuyến đường được truyền về Trung tâm giám sát xử lý
vi phạm TTATGT, tại Trung tâm các hình ảnh video được hệ thống phần mềmgồm các thuật toán xử lý hình ảnh (Video Detection Algorithms) như phân tíchảnh, phân tích chuyển động tự động nhận diện biển số của phương tiện (ANPR
- Automatic Number Plate Recognition) theo thời gian thực cho phép tự độnggiám sát, phát hiện, ghi lại hình ảnh các hành vi vi phạm quy định về TTATGT
<CD^T<1$.$'3 V_U
Trang 28CadProTMS[4] là hệ thống sản phẩm phần mềm do Công ty Cổ phần phầnmềm - Tự động hóa - Thiết kế (CadPro JSC) đã đầu tư nhiều năm nghiên cứuphát triển đã tạo ra một giải pháp sử dụng các camera IP độ phân giải cao phục
vụ giám sát điều khiển giao thông Các tính năng thông minh của hệ thống đượcxây dựng dựa trên việc thu thập dữ liệu tự động nhờ các thuật toán xử lý hình ảnhthu nhận được từ các camera Hệ thống phần mềm được triển khai cùng với cácthiết kế tích hợp thiết bị và lắp đặt tại hiện trường đã tạo ra nhiều hệ thống đượcứng dụng hiệu quả trong thực tiễn như Trung tâm điều khiển đèn tín hiệu giaothông thành phố Hà Nội, Hệ thống giám sát và xử lý vi phạm giao thông bằnghình ảnh tại Cục Cảnh sát giao thông Đường bộ và Đường sắt (C67), Trung tâmĐiều hành giao thông đường cao tốc Cầu Giẽ - Ninh Bình, Hệ thống giám sát sốthu phí trạm Bãi Cháy và Hoàng Mai Các camera đã được lắp đặt tại nhiều vị tríkhác nhau để phát hiện thu thập tự động hình ảnh của các phương tiện vi phạmcác lỗi như dừng đỗ xe sai quy định, xe đi sai làn đường, xe vượt đèn đỏ
<CD`Ta&X,1/U5"
Trang 29Khác với mô hình xử lý trung tâm của hệ thống do FPT cung cấp, giảipháp CadProTMS thực hiện các thuật toán thu thập các hình ảnh giám sát tại cácđiểm lắp đặt camera giám sát bằng việc sử dụng công nghệ máy tính nhúng: Dữliệu video được xử lý nhận dạng tự động, phát hiện sự kiện cần quan tâm chomục đích giám sát và điều khiển, sau đó được truyền về trung tâm chỉ các thôngtin có ích Máy tính nhúng với công nghệ vi xử lý tốc độ cao (dualcore 1.7GHz),tiết kiệm năng lượng (5V, max 10W), chịu nhiệt độ, độ ẩm và bụi bẩn ngoàiđường giao thông cùng với phần mềm cài đặt nhúng trong là sản phẩm nghiêncứu và tích hợp của CadProTMS.
<CDbTa\$5.'V1/U5"
Kết luận:
Hệ thống giám sát giao thông sử dụng cảm biến ảnh (camera) đangngày càng được sử dụng nhiều trên các tuyến đường do những ưu điểm vàgiá thành của nó Tuy nhiên bên cạnh đó còn nhiều nhược điểm cần đượckhắc phục Cách khắc phục này có thể xử lý dựa trên nâng cấp công nghệ(phần cứng) hoặc tìm ra các giải pháp xử lý (phần mềm) như nâng cao độchính xác nhận dạng đối tượng, bóc tách đối tượng trong các điều kiện môitrường thực tế
Trang 30Chương 2: Phát hiện đối tượng từ camera
Phát hiện và phân loại các đối tượng di động là một lĩnh vực quan trọngtrong nghiên cứu thị giác máy tính Lĩnh vực này rất quan trọng do thế giới quansát được của chúng ta là động và ta liên tiếp bắt gặp những cảnh video chứa đựngmột số lượng lớn các đối tượng di động Để phân tách, phát hiện và bám nhữngđối tượng này từ một chuỗi các ảnh video là một thách thức quan trọng nhất màcác chuyên gia thị giác máy tính phải đối mặt Trong chương này chúng ta sẽtrình bày vấn đề và các giải pháp có thể của mỗi nhiệm vụ con trong nhiệm vụphân tích cảnh động Các hệ thống này có ứng dụng trong các lĩnh vực giám sátngười, hệ thống bảo vệ, giám sát giao thông,
2.1 Bài toán phát hiện và phân loại đối tượng
Vấn đề phát hiện đối tượng đang được nghiên cứu và có nhiều ứng dụngtrong cuộc sống Các đối tượng được phát hiện nhờ những thông tin trong mộtframe ảnh Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên Các tác giảAlper Yilmaz, Omar Javed và Mubarak Shah đã phân loại các hướng tiếp cận nàyđược trình bày [5]:
Loại Những nghiên cứu liên quan
Point detectors 1 Moravec’s detector
2 Harris detector
3 Scale Invariant Feature Transform Affine
4 Invariant Point DetectorSegmentation 1 Mean-shift
2 Graph-cut
3 Active contoursBackground 1 Mixture of Gaussians
Trang 31Bảng 2.1: Phân loại các phương pháp phát hiện đối tượng
Việc phát hiện đối tượng có thể được thực hiện bằng các phương phápmáy học Các phương pháp này có thể kể đến như: mạng neural, adaptiveboosting, cây quyết định, support vector machines Điểm chung của các phươngpháp này đều phải trải qua giai đoạn huấn luyện trên một tập dữ liệu Tập dữ liệunày phải đủ lớn, bao quát hết được các trạng thái của đối tượng Sau đó các đặctrưng sẽ được rút trích ra trên bộ dữ liệu huấn luyện này Việc lựa chọn đặc trưng
sử dụng đóng vai trò quan trọng ảnh hưởng đến hiệu quả của các phương phápmáy học Một số đặc trưng thường được sử dụng như: đặc trưng về màu sắc, đặctrưng về góc cạnh, đặc trưng histogram Sau khi đã có được đặc trưng, ta sẽđánh nhãn lớp cụ thể cho các đặc trưng đó để sử dụng trong việc huấn luyện.Trong quá trình huấn luyện, các phương pháp máy học sẽ sinh ra một hàm để ánh
xạ những đặc trưng đối tượng vào tương ứng với nhãn lớp cụ thể Sau khi đãhuấn luyện xong thì các phương pháp máy học trên sẽ được dùng để phân lớpcho những đặc trưng mới Đặc điểm của phương pháp này là độ chính xác cao.Tuy nhiên nó gặp phải khó khăn trong việc thu thập dữ liệu huấn luyện ban đầu,tốn thời gian và chi phí cho quá trình học máy
Phân loại đối tượng là một công việc rất khó và tốn rất nhiều thời gian Đểphân loại đối tượng chúng ta cần phải biết các đặc trưng riêng của đối tượng Đó
là các đặc trưng mà đối tượng khác không có Có rất nhiều các phương pháp đểtìm đặc trưng và phân loại đối tượng, tuy nhiên có hai phương pháp chung, phổ
Trang 32biến thường được sử dụng là:
- Sử dụng Heuristics: phương pháp này đưa ra các đặc trưng của đối tượng
mà từ kinh nghiệm hoặc các phân tích lý thuyết về đối tượng đó Tức là tađựa vào cấu trúc, hình dáng, màu sắc của đối tượng, Phương pháp này có
ưu điểm là cho kết quả tốt và nhanh, tuy nhiên nó dựa vào trực giác củacon người nên nhiều lúc kết quả lại không tốt lắm, có nhiều bài toán khi sửdụng phương pháp này sẽ làm phức tạp thêm
- Sử dụng thống kê: Phương pháp này tìm các đặc trưng của đối tượng dựatrên kết quả quan sát được của một tập mẫu Từ kết quả quan sát nàychúng ta sẽ rút ra được các đặc điểm chung, các quy luật chung của tậpmẫu Phương pháp này thường cho kết quả khá tốt vì chúng dựa trên cácquan sát thực tế Tuy nhiên phương pháp này cần có tập quan sát lớn, chấtlượng tập mẫu cần cao
2.2 Một số phương pháp phân loại phổ biến
Như đã giới thiệu trong mục 1.1 mô tả về một hệ thống giám sát giaothông thông minh được chia làm 4 lớp, chúng ta sẽ tập trung vào lớp 2, ở đây sửdụng các kỹ thuật phân tách phương tiện tiền cảnh, phân loại các phương tiện,theo dõi phương tiện, trích xuất các thông tin đặc tả nhằm mô tả lại phươngtiện…
Hình 2.1 thể hiện sự phân loại cho các phương pháp khai thác thuộc tính xe[6]
Trang 33Hình 2.1 Các phương pháp khai thác thuộc tính của xe.
Trong các phương pháp phân tách và thu thập thuộc tính của phương tiện,bước phát hiện phương tiện là bước đầu tiên trong quá trình xử lý video, yêu cầnphải xác định được chính xác đối tượng và chỉ ra được vị trí của nó trong bứcảnh Độ chính xác của việc phát hiện phương tiện có tầm quan trọng rất lớn đốivới các bước tiếp theo là theo dõi phương tiện, xác định hướng chuyển động và
sự hiểu biết về hành vi, là cơ sở cho các bước xử lý tiếp theo Có hai loại nghiêncứu cho việc phát hiện phương tiện chính là:
1) Phát hiện dựa trên đặc tính hiển thị thị giác Đó là dựa trên các đặc
điểm ngoại hình: hình dáng, màu sắc, kết cấu (texture),… của phương tiện đểtách đối tượng ra khỏi ảnh nền (background) Thông tin thu thập được sử dụng để
mô hình hóa (modeling) lại đối tượng Phương pháp này có thể nhận diện được
cả đối với đối tượng di chuyển hoặc đứng im
2) Phát hiện dựa trên đặc tính chuyển động Việc di chuyển của đối
tượng giúp cho phân biệt sự khác giữa 2 bức ảnh được chụp liên tiếp, qua đó xácđịnh chính xác được đối tượng
Trang 34Trong phương pháp phát hiện dựa trên đặc tính hiển thị, người ta thườngchia làm 3 cách phát hiện.
a) Mô tả đặc điểm đặc trưng (Representative feature descriptors): Các
phương pháp tiếp cận dựa trên đặc điểm đặc trưng liên quan đến phương thức xử
lý đặc tả được mã hóa về sự xuất hiện trực quan của phương tiện, như: đối xứng,màu sắc, góc cạnh, đường viền (contour) và kết cấu Các tập dữ liệu mô tả đặcđiểm khác nhau giúp cho việc thể hiện sự xuất hiện thị giác của xe
Phương pháp dùng Mô tả đặc điểm đặc trưngEdge based histograms Là phương pháp được hỗ trợ mạnh bởi các toán tử
dò biên Có hiệu năng tốt với các ứng dụng dò biên đối tượng theo đường cong
Histogram of oriented
gradient (HOG)
Được sử dụng chủ yếu để mô tả hình dạng và sựxuất hiện của một đối tượng trong ảnh
Haar-like features Đặc trưng dựa trên sự chênh lệch giữa tổng các
điểm ảnh của các vùng đen và các vùng trắng
BcDcT$5%F7X%,$1%7E
b) Phương pháp phân loại (Classifiers): Phương pháp này thường nhằm
thực hiện chia đối tượng thành 2 thành phần, ví dụ như phân loại phân biệt(discriminative), phân loại sinh mẫu (generative) Phương pháp này là sự kết hợpcủa nghiên cứu học máy và thị giác máy tính, trong đó phân loại phân biệt học từxác xuất hậu nghiệm (posterior probability) của sự phân loại hoặc ranh giới quyết
Trang 35định giữa các lớp, được dùng thường xuyên hơn trong việc phát hiện phươngtiện; phân loại sinh mẫu học từ phân bố cơ bản hoặc cấu trúc của một lớp nhấtđịnh, ít được dùng hơn trong phát hiện phương tiện.
Phương pháp phân biệt được biết đến với những kỹ thuật như MạngNeuron nhân tạo (ANNs), SVM, boosting, Trường điều kiện ngẫu nhiên(conditional random fields - CRFs), thường sử dụng phân loại 2 lớp: phương tiện
là xe ô-tô và không phải xe ô-tô
ANN có nhược điểm là topo mạng không chắc chắn, nhiều tham số đểđiều chỉnh, nên thường dùng trong các trường hợp tối ưu cục bộ Tuy nhiên cáctiến bộ gần đây trong nghiên cứu học sâu (deep learning), chẳng hạn như mạngNeuron sâu (deep neural networks - DNNs) [26], [27] đang trở thành xu hướngnghiên cứu mới trong việc phát hiện đối tượng
Đối lập với ANNs, phương pháp SVM ít tham số điều chỉnh hơn nên đượcdùng rộng rãi hơn trong các nghiên cứu phát hiện phương tiện
Boosting sử dụng sự kết hợp các trọng số của các phân loại lớp yếu để tạo
ra phân loại lớp mạnh Feris và cộng sự trong [9] đã sử dụng tăng cường thíchứng (AdaBoost) để đối phó với một bộ mô tả đặc trưng địa phương rất lớn đểphát hiện xe
Trường điều kiện ngẫu nhiên (CRFs) là một dạng của mô hình xác suấtthường được áp dụng cho dự đoán cấu trúc trong nhận diện mẫu và học máy.CRF có thể đưa ngữ cảnh tham gia vào quá trình gán nhãn Trong thị giác máytính, CRFs thường được dùng để nhận biết đối tượng hoặc phân vùng ảnh.Phương pháp 3-D Layout CRF được đề xuất trong [8] để đồng thời phát hiện vànhận dạng phương tiện
Phương pháp sinh mẫu sử dụng một số kỹ thuật như: trường ngẫu nhiên
Trang 36Markov (Markov random fields - MRF), Mô hình Gaussian hỗn hợp (GaussianMixture Model - GMM) Nhìn chung phương pháp sinh mẫu ít được sử dụngtrong việc phát hiện phương tiện.
Ngoài ra, hiện nay đang phổ biến phương pháp phát hiện một phần đốitượng (Part-based detection models), thực hiện chia đối tượng thành các phầnnhỏ hơn và xây dựng mô hình mối quan hệ không gian giữa các đối tượng này.Các phương tiện được tách ra thành các mặt trước, bên hông và phần phía sau đểcải thiện hiệu suất phát hiện trong do ảnh hưởng bởi góc nhìn của máy ảnh FOV.Hay mô hình các phần biến dạng (deformable part model) được nghiên cứu trong[13], [14] giúp cải thiện tốt hiệu suất phát hiện phương tiện
c) Mô hình hóa 3-D: Đây là phương pháp xây dựng hình ảnh 3D của
phương tiện giao thông dưới sự hỗ trợ của máy tính qua đó phát hiện đâu là xe
ô-tô Phương pháp này hiện nay đang gặp một số vấn đề khó khăn như: tính chínhxác của mô hình 3D được dựng lên, yêu cầu ảnh thu được về đối tượng phải có
độ phân giải lớn
2.3 Một số đặc trưng dùng để phân loại phương tiện:
Như đã trình bày tại mục 2.2, ở đây sẽ giới thiệu các đặc trưng thườngđược dùng để phát hiện và phân loại ô-tô có sác xuất thành công cao
2.3.1 Đặc trưng Haar
Đặc trưng Haar-like là một loại đặc trưng thường được dùng cho bài toánnhận dạng trên ảnh Haar-like được xây dựng từ các hình chữ nhật có kích thướcbằng nhau, dùng để tính độ chênh lệch giữa các giá trị điểm ảnh trong các vùng
kề nhau
Trang 37Giá trị của đặc trưng Haar-Like là sự chênh lệch giữa tổng các điểm ảnhcủa các vùng đen và các vùng trắng Để có thể tính nhanh các đặc trưng này,Viola và Jones (2001; 2004) giới thiệu khái niệm ảnh tích phân (Integral Image).Integral Image là một mảng hai chiều với kích thước bằng kích thước của ảnhcần tính giá trị đặc trưng Haar-Like.
dcefT Mohammad Mahdi Moghimi, Maryam Nayeri, Majid Pourahmadi, Mohammad
Kazem Moghimi, "5H22g225h./B55./<!K-2_2=2
=22H/25.D
Ưu điểm của Haar feature là nó diễn đạt được tri thức về các đối tượngtrong ảnh bởi vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tượng, điều
mà bản thân từng điểm ảnh không diễn đạt được
Trong các bài nghiên cứu về nhận dạng phương tiện giao thông, đặc trưngHaar-like được sử dụng khá phổ biến, nó thường được kết hợp với giải thuật họcmáy SVM để đạt được hiệu suất cao hơn
<cDcTRF7<!-256!6dcef
Trang 382.3.2 Biểu đồ màu
Biểu đồ màu (Color Histogram) là một dạng đặc trưng toàn cục biểu diễnphân phối của các màu trên ảnh Biểu đồ màu thống kê số lượng các pixel có giátrị nằm trong một khoảng màu nhất định cho trước Biểu đồ màu có thể được tínhtrên các ảnh dạng RGB hoặc HSV, thông dụng là HSV Cách tính là với mỗi kênhmàu nhất định, chia kênh màu này thành “ bin” Sau đó, thống kê số lượng pixel
trên ảnh có giá trị màu thuộc về “ bin” này Cuối cùng, nối các bin của các kênh
màu lại với nhau để tạo thành đặc trưng Lưu ý là các màu khác nhau số lượngbin màu không nhất thiết phải giống nhau
Ví dụ: Tính Biểu đồ màu của ảnh HSV thành: 14 bin cho H, 4 bin cho S, 4
bin cho V Thông thường người ta chia ảnh ra thành các “.=25@để tăng số
+ Biểu đồ màu dễ bị nhiễu với thay đổi về cường độ sáng
Trang 392.3.3 Đặc trưng SIFT
SIFT là viết tắt của Scale Invariant Feature Transforms - phép biến đổi đặctính bất biến tỉ lệ - có khi còn gọi là RF70#N, do DavidG.Lowe đề xuất Đối với bất kỳ một đối tượng nào trong ảnh sẽ có rất nhiềutrưng để mô tả, tuy nhiên David G.Lowe chỉ ra rằng các điểm đặc biệt trên đốitượng có thể trích chọn mô tả tốt cho đối tượng Mô tả này có thể được sử dụng
để xác định đối tượng trong một ảnh chứa rất nhiều đối tượng khác nhau Cácthuộc tính SIFT của ảnh cung cấp một tập hợp các thuộc tính của một đối tượng
mà không ảnh hưởng bởi sự phức tạp giống như các phương pháp khác
Đặc trưng cục bộ bất biến (SIFT) bất biến với việc thay đổi tỉ lệ ảnh, quayảnh, đôi khi là thay đổi điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ chiếusáng của ảnh Để tạo các đặc tính của ảnh, một ảnh được lấy và biến đổi thànhmột tập hợp lớn các vectơ thuộc tính cục bộ Mỗi vectơ thuộc tính đó là bất biếntrong bất kỳ một sự thay đổi tỉ lệ, quay hoặc tịnh tiến nào của ảnh Cách tiếp cậnnày rất gần với cảm nhận nguyên thủy của mắt người
Các đặc trưng SIFT này được trích rút ra từ các điểm hấp dẫn cục bộ(Local Interest Point) [11][12] Điểm hấp dẫn (Interest Point (Keypoint)): Là vịtrí (điểm ảnh) "hấp dẫn" trên ảnh "Hấp dẫn" ở đây có nghĩa là điểm đó có thể cócác đặc trưng bất biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độchiếu sáng của ảnh
Để trích chọn những thuộc tính này, thuật toán SIFT thực hiện 4 giai đoạn nhưsau:
(1) giai đoạn phát hiện cực trị trong không gian tỉ lệ,
(2) xác định vị trí những điểm quan trọng,
(3) chỉ định sự định hướng,
(4) mô tả các điểm quan trọng
Trang 402.3.4 Đặc trưng HOG
Đặc trưng HOG (Histogram of oriented gradient - Lược đồ gradient địnhhướng) là đặc trưng được dùng nhiều trong lĩnh vực phát hiện đối tượng Kỹthuật này được nêu ra từ năm 1986 tuy nhiên gần đây mới được sử dụng nhiềusau khi được đề xuất bổ sung bởi Bill Triggs và Navel Dalal[10] vào năm 2005 tạiviện nghiên cứu INRIA HOG được sử dụng chủ yếu để mô tả hình dạng và sựxuất hiện của một đối tượng trong ảnh
HOG là 1 dạng của mô tả đặc trưng Mô tả đặc trưng có ý nghĩa trong việctổng quát hóa đối tượng theo một cách diễn tả các đối tượng có khả năng tươngđồng cao nhất
Ý tưởng cơ bản của HOG là hình dạng đối tượng trong ảnh có thể đượcđặc trưng tốt bởi sự phân bố theo hướng của sự thay đổi mức xám (gradient) haytheo hướng của biên đối tượng HOG được tính bằng cách chia ảnh thành cácvùng không gian nhỏ hơn gọi là cell, mỗi cell này tích lũy histogram 1 chiều cục
bộ của hướng gradient hoặc định hướng biên trên các điểm ảnh của các cell Cáccell nằm cạnh nhau được gộp lại thành một khối gọi là block, các block có thểchồng lên nhau với mục đích tăng cường mối quan hệ trong không gian giữa cácđiểm ảnh Các histogram của khối được kết hợp với nhau tạo thành vector đặctrưng
2.4 Các vấn đề gặp phải trong quá trình nhận dạng
Trong quá trình nhận dạng và phân loại phương tiện giao thông, các yếu tố kháchquan luôn gây ra nhiều khó khăn và tạo ra các vấn đề về sai số