Nhận dạng và phân tích ảnh để giám sát tốc độ phương tiện giao thông

Nhận dạng và phân tích ảnh để giám sát tốc độ phương tiện giao thông

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NHẬN DẠNG VÀ PHÂN TÍCH ẢNH ĐỂ GIÁM SÁT TỐC ĐỘ PHƯƠNG TIỆN GIAO THÔNG Chuyên ngành: Kỹ thuật Điện tử LUẬN VĂN THẠC SĨ KỸ THUẬT ĐÀ NẴNG - 2013 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tác giả luận văn MỤC LỤC 2. Mục đích nghiên cứu 1 CHƯƠNG 1 4 GIỚI THIỆU HỆ THỐNG GIÁM SÁT GIAO THÔNG 4 1.1. XỬ LÝ ẢNH VÀ CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 4 1.1.1. Xử lý ảnh là gì? 4 1.1.2. Các vấn đề cơ bản trong xử lý ảnh 6 1.2. HỆ THỐNG GIÁM SÁT GIAO THÔNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH 8 1.2.1.Cấu trúc tổng thể hệ thống giám sát giao thông dùng công nghệ xử lý ảnh 8 1.2.2. Các thành phần chính trong phần mềm xử lý ảnh .11 1.3. TỔNG QUAN VỀ XỬ LÝ VIDEO .12 1.3.1. Khái niệm về video 12 1.3.2. Một số thuộc tính đặc trưng của video 14 1.3.3 Các phương pháp xử lý trên video số .15 1.4 KẾT LUẬN 19 2.1. BÀI TOÁN PHÂN LOẠI ĐỐI TƯỢNG 20 2.1.1. Phân loại đối tượng là gì 20 2.1.2. Một số phương pháp phân loại phổ biến .23 2.2. BÀI TOÁN THEO VẾT ĐỐI TƯỢNG 33 2.2.1. Theo vết đối tượng là gì? .33 2.2.2. Các vấn đề phải giải quyết .38 2.3. BÀI TOÁN XÁC ĐỊNH TỐC ĐỘ PHƯƠNG TIỆN GIAO THÔNG .42 2.3.1. Mục tiêu 42 2.3.2. Các phương pháp xác định vận tốc 42 2.4. KẾT LUẬN 45 3.1 THUẬT TOÁN PHÁT HIỆN CÁC ĐỐI TƯỢNG CHUYỂN ĐỘNG .46 3.1.1 Phát hiện ảnh foreground 48 3.1.2 Thuật toán xử lý ảnh 48 3.1.3 Phát hiện các khối .51 3.1.4 Hậu xử lý các vùng đối tượng .53 3.1.5 Trích xuất các đặc trưng của đối tượng 53 3.2. BÀI TOÁN PHÂN LOẠI ĐỐI TƯỢNG .54 3.3. THUẬT TOÁN THEO VẾT ĐỐI TƯỢNG 62 3.3.1 Tách đối tượng chuyển động .63 3.3.2 Sử dụng bộ lọc Kalman .63 3.3.3 Kết nối các đối tượng ở hai khung hình liên tiếp .64 DANH MỤC CÁC CHỮ VIẾT TẮT 2D Two Dimensional 3D Three Dimensional DT Temporal Differencing MS Mean – Shift PEL Picture Element DANH MỤC CÁC HÌNH VẼ Số hiệu hình vẽ Tên hình vẽ Trang 1.1 Quá trình xử lý ảnh 4 1.2 Quy trình xử lý ảnh 5 1.3 Mô hình hệ thống giám sát giao thông dựa trên công nghệ xử lý ảnh. 8 1.4 Sơ đồ dòng mô tả các tiến trình xử lý của hệ thống 9 1.5 Hệ thống giám sát giao thông bằng xử lý ảnh 10 1.6 Cấu trúc phân đoạn video 13 1.7 Bốn khung hình khác nhau song có cùng một biểu đồ màu 14 1.8 Phép chiếu phối cảnh của một đoạn thẳng 16 1.9 Kết quả của phương pháp so sánh sự khác biệt 17 1.10 Bóng ma trong phương pháp trừ nền 19 2.1 Tổng quan của một hệ thống xác định và theo dõi. 25 2.2 Các giá trị thông thường của độ phân tán cho người và xe cộ 28 2.3 Dữ liệu phân loại bi- viriate mẫu training qua 400 ảnh. Cả phân cụm tuyến tính và Mahalanobis đều được biểu diễn 28 2.4 Quá trình phân loại, phải sau một vài khung hình đối tượng mới được xác định đúng. 29 2.5 Các đường viền của mục tiêu được sự dụng cho việc trích rút các đặc trưng chuyển động 30 2.6 (a) Elip vừa khớp (fitted elipse) (b) Khung hình sao (c) Biều đồ luồng phân loại 31 2.7 Tổng quan các khối xử lý trong bài toán theo vết đối tượng 34 2.8 Minh hoạ sự chính xác hoá đối tượng 35 2.9 Một ví dụ theo vết có sự nhập nhằng 36 2.10 Theo vết đối tượng ứng dụng trong hệ thống giám sát 37 2.11 Dự đoán trạng thái hiện tại dựa vào Kalman Filter 40 2.12 Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong một khoảng nào đó 41 2.13 Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong khoảng nào đó bằng cách thay đổi y 41 3.1 Sơ đồ khối hệ thống phát hiện đối tượng chuyển động 47 3.2 Ví dụ phương pháp trừ nền 48 3.3 Ví dụ về khử nhiễu 50 3.4 Các phép liên thông 51 3.5 Ví dụ sự khác biệt các phép liên thông 52 3.6 Phép bóc tách các blob 52 3.7 Sơ đồ khối của phương pháp phân loại dựa trên hình chiếu 64 3.8 Hình chiếu mẫu trong cơ sở dữ liệu mẫu với các nhãn 56 3.9 Ví dụ phân loại đối tượng 59 3.10 Lưu đồ kiểu đối tượng cho 1 đối tượng phát hiện được theo mẫu 61 3.11 Sơ đồ tổng quát thuật toán theo vết đối tượng 62 3.12 Ví dụ về kết nối các đối tượng 63 4.1 Giao diện chương trình 65 4.2 Kết quả tổng hợp 50 ID 65 1 MỞ ĐẦU 1. Tính cấp thiết của đề tài Hiện nay, nhiều thành phố lớn có mật độ giao thông cao, phương tiện và người lưu thông trên đường rất lớn, nên việc kiểm soát và điều khiển giao thông gặp nhiều khó khăn. Đặc biệt vào giờ cao điểm, tại các khu vực như trường học, khu công nghiệp,… thường xuyên xảy ra ùn tắc và nguy cơ xảy ra tại nạn rất cao. Một trong những nguyên nhân chính đó là do lái xe vượt tốc độ, chạy sai làn, vượt đèn đỏ…. Nhưng chủ yếu trong đó là do người điều khiển phương tiện giao thông không tuân thủ luật một cách triệt để dẫn tới việc mất trật tự an toàn giao thông. Để khắc phục tình trạng trên thì cần phải có sự giám sát chặt chẽ tất cả các hành vi giao thông, đặc biệt là các hành vi sai phạm của từng phương tiện giao thông. Hệ thống giám sát này được đặt ngoài trời tại các nút giao thông có đèn tín hiệu. Hệ thống có một camera chuyên dụng ghi hình các loại phương tiện giao thông trên đường, sau đó chuyển về trung tâm xử lý, và phát hiện các phương tiện cố tình vượt đèn đỏ, chạy sai làn đường, chạy quá tốc độ quy định. Nhằm mục đích giải quyết những yêu cầu cấp bách của hệ thống giao thông trên, tôi chọn đề tài: “Nhận dạng và phân tích ảnh để giám sát tốc độ phương tiện giao thông” với mong muốn sẽ giải quyết được phần nào vấn đề của hệ thống giao thông công cộng hiện nay. 2. Mục đích nghiên cứu Đề tài tập trung nghiên cứu các vấn đề sau: Ứng dụng các phương pháp xử lý ảnh trong việc nhận dạng và bám đuổi đối tượng. Tìm các phương pháp nhận dạng, bám đuổi và ước lượng tốc độ xe ứng dụng trong hệ thống giám sát giao thông. 2 3. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu: Đề tài tập trung nghiên cứu các vấn đề sau: Hình ảnh và video thu nhận được từ camera giao thông. Các phương pháp xác định và phân loại phương tiện giao thông. Các phương pháp theo dõi xe trong khoảng xét vi phạm. Các thuật toán ước lượng tốc độ của phương tiện tham gia giao thông. 4. Phương pháp nghiên cứu Trong luận văn này sẽ lần lượt nghiên cứu các vấn đề sau: - Thu thập các tài liệu và phân tích, chọn lọc các thông tin liên quan đến nội dung nghiên cứu của đề tài. - Khảo sát thực trạng giao thông ở nước ta hiện nay. - So sánh và lựa chọn hợp lý các giải pháp kỹ thuật nhằm nâng cao chất lượng hình ảnh thu nhận được. - Phương pháp phát hiện xe trong hình ảnh thu nhận được và theo dõi xe đó trong khoảng thời gian nhất định. - Tính toán tốc độ xe di chuyển và phân loại tốc độ xe. 5. Bố cục đề tài Ngoài phần mở đầu, kết luận và tài liệu tham khảo, kết cấu luận văn gồm 4 chương như sau: Chương 1: TỔNG QUAN HỆ THỐNG XỬ LÝ ẢNH VÀ HỆ THỐNG GIÁM SÁT GIAO THÔNG Trong chương này sẽ giới thiệu tổng quan về xử lý ảnh, hệ thống xử lý ảnh và ứng dụng xử lý ảnh vào hệ thống giám sát giao thông. Chương 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG TRONG XỬ LÝ ẢNH GIAO THÔNG Trong chương này sẽ trình bày các phương pháp sử dụng để xác định và phân loại phương tiện tham gia giao thông, phương pháp theo dõi phương tiện tham gia giao thông và xác định tốc độ của xe tham gia giao thông. 3 Chương 3: THUẬT TOÁN VÀ CHƯƠNG TRÌNH PHÁT HIỆN, THEO DÕI VÀ XÁC ĐỊNH TỐC ĐỘ CỦA PHƯƠNG TIỆN THAM GIA GIAO THÔNG Trong chương này sẽ xây dựng các thuật toán phát hiện, theo dõi và xác định tốc độ của phương tiện tham gia giao thông. Sau đó thực hiện đánh giá hiệu suất và phân tích các kết quả thu được . Chương 4: KẾT QUẢ THỰC HIỆN Chương này trình bày các kết quả đạt được trong luận văn và phương pháp tổng hợp kết quả thu được. 6. Tổng quan tài liệu nghiên cứu Tài liệu nghiên cứu được tham khảo là những bài báo, các luận văn thạc sỹ từ các trường đại học của các quốc gia khác trên thế giới, cùng với các trang web tìm hiểu. Luận văn chắc chắn không tránh khỏi những sai sót, rất mong nhận được sự góp ý của Hội đồng để luận văn trở thành một công trình thực sự có ích. 4 CHƯƠNG 1 GIỚI THIỆU HỆ THỐNG GIÁM SÁT GIAO THÔNG Ngày nay, xử lý ảnh đã đạt được nhiều thành tựu và là một lĩnh vực vô cùng quan trọng trong xử lý thông tin và tín hiệu bằng máy tính. Các chương trình ứng dụng như: Nhận dạng mặt người, nhận dạng vân tay trong điều tra hình sự, xử lý ảnh vệ tinh, kiểm soát giao thông, xử lý ảnh chụp cắt lớp, chuẩn đoán tế bào trong y học, các chương trình nhận dạng chữ viết… đã đem lại nhiều ứng dụng tiện ích cho con người, đặc biệt là ứng dụng cho hệ thống xử lý giao thông. Do đó, trong chương này sẽ giới thiệu tổng quan về xử lý ảnh, hệ thống xử lý ảnh và ứng dụng trong hệ thống giám sát giao thông. 1.1. XỬ LÝ ẢNH VÀ CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 1.1.1. Xử lý ảnh là gì? Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Với sự phát triển của khoa học máy tính, xử lý ảnh và đồ hoạ phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý dữ liệu bằng đồ họa đề cập đến những ảnh nhân tạo, các ảnh này được xem xét như là một cấu trúc dữ liệu và được tạo ra bởi các chương trình. Xử lý ảnh bao gồm các phương pháp và kỹ thuật để biến đổi, để truyền tải hoặc mã hóa các ảnh tự nhiên. Mục đích của xử lý ảnh gồm: Thứ nhất: Biến đổi ảnh và làm đẹp ảnh; Thứ hai: Tự động nhận dạng ảnh hay đoán nhận ảnh và đánh giá các nội dung của ảnh. Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận. Hình 1.1. Quá trình xử lý ảnh XỬ LÝ ẢNH Ảnh Ảnh “Tốt hơn” Kết luận . đề tài: Nhận dạng và phân tích ảnh để giám sát tốc độ phương tiện giao thông với mong muốn sẽ giải quyết được phần nào vấn đề của hệ thống giao thông công. BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NHẬN DẠNG VÀ PHÂN TÍCH ẢNH ĐỂ GIÁM SÁT TỐC ĐỘ PHƯƠNG TIỆN GIAO THÔNG Chuyên ngành: Kỹ thuật Điện