Bắt nguồn từ thực tế, hiện nay có nhiều tai nạn giao thông xảy ra và nguyên nhân hầu hết là do láy xe quá tốc độ. Điều này đã và đang được xã hội rất quan tâm. Chính vì thế cho nên có rất nhiều ứng dụng được tạo ra để xác định tốc độ xe nhằm giải quyết vấn đề trên. Hiện tại các ứng dụng này đã và đang được công an giao thông sử dụng trên các chặn đường. Nếu bạn thích, có đam mê và muốn tìm hiểu thì hãy tìm đến tài liệu này. Nó rất có ích cho bạn đấy gì trong đây mình đã tích hợp đầy đủ cả code lẫn tài liệu tham khảo, lẫn video rồi
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG ĐỒ ÁN MÔN HỌC ƯỚC LƯỢNG TỐC ĐỘ XE Ô TÔ ỨNG DỤNG XỬ LÝ ẢNH TRONG MATLAB NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG Sinh viên: ĐẶNG VĂN THUẬN MSSV: TP HỒ CHÍ MINH – 01/2016 TRƯỜNG ĐẠIĐẠI HỌC SƯ PHẠM KỸ KỸ THUẬT THÀNH PHỐPHỐ HỒ HỒ CHÍCHÍ MINH TRƯỜNG HỌC SƯ PHẠM THUẬT THÀNH KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG ĐỒ ÁN MÔN HỌC ƯỚC LƯỢNG TỐC ĐỘ XE Ô TÔ ỨNG DỤNG XỬ LÝ ẢNH TRONG MATLAB NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG Sinh viên: ĐẶNG VĂN THUẬN MSSV: Hướng dẫn: ThS TRƯƠNG QUANG PHÚC TP HỒ CHÍ MINH – 01/2016 BẢN NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN TP HCM, ngày tháng 01 năm 2016 Giảng viên hướng dẫn LỜI CẢM ƠN Đề tài “Ước lượng tốc độ xe ô tô ứng dụng xử lý ảnh Matlab” thực đề tài khó hấp dẫn, nhiên sau khoảng học kì em hoàn thành xong đề tài Để hoàn thành tốt đề tài em nổ lực thời gian qua để hoàn thành kịp tiến độ mong đợi Và vai trò giảng viên hướng dẫn lớn Em xin gửi lời cảm ơn chân thành đến Thạc sỹ Trương Quang Phúc nhiệt tình hỗ trợ giải đáp thắc mắc cho em nghiên cứu để giúp em hoàn thành tốt đề tài Trong trình làm đề tài em gặp phải nhiều phát sinh khó khăn, điều ảnh hưởng trực tiếp đến chất lượng thời gian thực đề tài Và thầy tận tình giúp đỡ cho em hoàn thành tốt Bên cạnh em xin cảm ơn bạn bè làm đồ án môn học hướng Điện tử - Viễn thông, không chung đề tài bạn nhiệt tình hỗ trợ mặt tinh thần, giúp em vượt qua lúc khó khăn kiến thức liên quan xử lý ảnh Tp Hồ Chí Minh, ngày tháng 01 năm 2016 Sinh viên thực TÓM TẮT Ngày nay, khoa học công nghệ ứng dụng phát triển mạnh mẽ tất lĩnh vực đời sống, góp phần thay người việc giám sát điều khiển xử lý tín hiệu Với vấn đề giao thông khu vực đô thị cần tăng hệ thống giám sát giao thông dựa vào video thu thập cần thiết Những hệ thống hữu ích để kiểm soát quản lý tình trạng giao thông khác quản lý giao thông, đề phòng tai nạn, vấn đề an toàn giao thông Việc xác định tốc độ xe cộ đường mục tiêu Do đó, việc xác định tốc độ xe ô tô trở thành công việc thách thức Phát xe, theo dõi xe, xác định tốc độ công việc quan trọng Để tránh bất lợi phương pháp truyền thống xác định tốc độ xe ô tô ứng dụng xử lý ảnh MATLAB Trong đồ án này, phương pháp đề nghị bao gồm bốn công việc trừ (background subtraction), trích đặc trưng (feature extraction) theo dõi xe (vehicle tracking) Tốc độ xác định việc sử dụng khoảng cách di chuyển thông qua số lượng khung hình (frame) tỉ lệ khung hình Các từ khóa: Trừ nền, trích đặc trưng, phát xe, theo dõi xe MỤC LỤC MỤC LỤC .I DANH MỤC HÌNH .IV CHƯƠNG TỔNG QUAN .1 1.1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU NGÀY NAY, KHOA HỌC CÔNG NGHỆ ĐANG ĐƯỢC ỨNG DỤNG VÀ PHÁT TRIỂN MẠNH MẼ Ở TẤT CẢ CÁC LĨNH VỰC CỦA ĐỜI SỐNG, GÓP PHẦN THAY THẾ CON NGƯỜI TRONG VIỆC GIÁM SÁT VÀ ĐIỀU KHIỂN VÀ XỬ LÝ TÍN ĐẶC BIỆT TRONG LĨNH VỰC GIAO THÔNG NGÀY NAY, ỨNG DỤNG XỬ LÝ ẢNH NGÀY CÀNG ĐƯỢC ỨNG DỤNG RỘNG RÃI TRONG VIỆC GHI NHẬN ƯỚC LƯỢNG TỐC ĐỘ XE CỘ, MẬT ĐỘ LƯU LƯỢNG LƯU THÔNG TRÊN ĐƯỜNG CHÍNH SỰ PHÁT TRIỂN MẠNH MẼ NÀY ĐÃ GIÚP VIỆC GIÁM SÁT VÀ CẢNH BÁO GIAO THÔNG TẠI CÁC TRẠM KIỂM SOÁT CỦA CÁC TRUNG TÂM ĐIỀU KHIỂN DỄ DÀNG, THUẬN TIỆN VÀ KỊP THỜI .2 CUỘC SỐNG HẰNG NGÀY CỦA CHÚNG TA CÓ NHIỀU VẤN ĐỀ BẮT GẶP PHẢI NHƯ VIỆC TĂNG DÂN SỐ Ở CÁC VÙNG ĐÔ THỊ, TÌNH TRẠNG GIAO THÔNG TRỞ NÊN QUÁ TẢI HƠN VÌ NHU CẦU CAO VÀ KHẢ NĂNG ĐÁP ỨNG CÁC TUYẾN ĐƯỜNG VÀ KẾT CẤU HẠ TẦNG THÌ KHÔNG THỂ TỪ NHỮNG ẢNH HƯỞNG CỦA NHỮNG VẤN ĐỀ NÀY HẰNG NGÀY, THÌ ĐIỀU QUAN TRỌNG LÀ PHẢI TÌM GIẢI PHÁP HIỆU QUẢ ĐỂ GIẢM THIỂU VIỆC XÁC ĐỊNH TỐC ĐỘ XE CỘ NÓI CHUNG VÀ XÁC ĐỊNH TỐC ĐỘ XE Ô TÔ NÓI RIÊNG LÀ RẤT QUAN TRỌNG CHO VIỆC GIÁM SÁT TỐC ĐỘ CHO PHÉP THEO LUẬT VÀ NÓ CŨNG MINH CHỨNG CHO TÌNH TRẠNG GIAO THÔNG THEO CÁCH TRUYỀN THỐNG, VIỆC XÁC ĐỊNH TỐC ĐỘ XE CỘ HAY GIÁM SÁT ĐƯỢC THỰC HIỆN BẰNG CÔNG NGHỆ RADA, ĐẶC BIỆT PHÁT HIỆN BẰNG MÁY RADA SỰ VẬN HÀNH CỦA HỆ THỐNG RADA ĐƯỢC BIẾT ĐẾN NHƯ HIỆU ỨNG DOPPLER CÁC KHÁI NIỆM CƠ BẢN CỦA HỆ THỐNG NÀY LÀ CHUYỂN DỊCH DOPPLER XẢY RA KHI ÂM THANH TẠO RA BỊ PHẢN XẠ VỚI XE ĐANG CHUYỂN ĐỘNG VÀ TẦN SỐ ÂM PHẢN XẠ BỊ THAY ĐỔI YẾU ĐI PHƯƠNG PHÁP NÀY, VỚI CÁC THIẾT BỊ VÀ CÔNG THỨC TOÁN HỌC KHÔNG GIAN, TÌM ĐƯỢC TỐC ĐỘ CỦA XE ĐANG DI CHUYỂN TUY NHIÊN, PHƯƠNG PHÁP NÀY VẪN CÒN NHIỀU BẤT LỢI NHƯ LỖI COSIN XẢY RA KHI ĐỊNH HƯỚNG RADA KHÔNG THEO ĐƯỜNG ĐỊNH HƯỚNG CỦA XE TỚI HƠN NỮA, CHI PHÍ CỦA THIẾT BỊ LÀ MỘT TRONG NHỮNG NGUYÊN NHÂN QUAN TRỌNG, VÀ CŨNG BỊ BÓNG MỜ (SHADING) (SỰ PHẢN XẠ SÓNG RADA TỪ HAI XE KHÁC NHAU VỚI CHIỀU CAO KHÁC BIỆT), VÀ NHIỄU VÔ TUYẾN (GÂY RA BỞI SỰ TỒN TẠI CỦA TẦN SỐ GIỐNG HỆT NHAU CỦA CÁC SÓNG VÔ TUYẾN MÀ ĐƯỢC TRUYỀN TẢI QUẢNG BÁ) LÀ HAI YẾU TỐ ẢNH HƯỞNG KHÁC MÀ GÂY RA CÁC LỖI CHO VIỆC XÁC ĐỊNH TỐC ĐỘ XE ĐIỀU CUỐI CÙNG, ĐIỀU MÀ CẢM BIẾN RADA CHỈ CÓ THỂ THEO DÕI MỘT XE TẠI BẤT KÌ THỜI ĐIỂM CŨNG LÀ ĐIỂM HẠN CHẾ CỦA PHƯƠNG PHÁP NÀY NHIỀU NGHIÊN CỨU VÀ ỨNG DỤNG THỰC HIỆN PHÁT HIỆN XE VÀ XÁC ĐỊNH TỐC ĐỘ CỦA CHÚNG CŨNG ĐÃ ĐƯỢC THỰC HIỆN FERRIER VÀ CÁC CỘNG SỰ (1994) [1] ĐÃ GIỚI THIỆU CÁCH PHÁT HIỆN XE DỰA VÀO SỰ KHÁC NHAU CỦA CÁC KHUNG HÌNH, CAMERA KHÔNG HIỆU CHỈNH (PUMRIN VÀ DAILEY, 2002) [5], QUỸ ĐẠO DI CHUYỂN (MELO VÀ CỘNG SỰ, 2006) [4], QUANG HÌNH HỌC (JIANPING VÀ CỘNG SỰ, 2009) [3] VÀ ẢNH ĂNG TEN SỐ (FUMIO VÀ CỘNG SỰ, 2008 [2]; WEN VÀ FUMIO, 2009 [7]) ĐÃ ĐƯỢC GIỚI THIỆU HUEI-YUNG VÀ KUN-JHIH (2004) ĐÃ DÙNG ẢNH MỜ ĐỂ TÌM RA TỐC ĐỘ XE VÀ PUMRIN VÀ DAILEY (2002) ĐÃ SỬ DỤNG PHÁT HIỆN CHUYỂN ĐỘNG ĐỂ TỰ ĐỘNG ĐO TỐC ĐỘ SHISONG VÀ CỘNG SỰ (2006) [6] ĐÃ ĐƯA RA LỢI ÍCH CỦA VIỆC THEO DÕI ĐIỂM ĐẶC TRƯNG CHO VIỆC ĐO TỐC ĐỘ XE YU VÀ CÁC CỘNG SỰ ĐÃ MÔ TẢ MỘT THUẬT TOÁN ĐÁNH GIÁ MẬT ĐỘ GIAO THÔNG VÀ TỐC ĐỘ TRUNG BÌNH TỪ ẢNH NÉN ĐỊNH DẠNG MPEG SKYCAM [4] TÁC GIẢ ĐÃ TÍNH TOÁN HỆ SỐ BIẾN ĐỔI COSIN RỜI RẠC (DCT) VÀ PHÂN TÍCH VECTOR CHUYỂN i ĐỘNG QUA CÁC KHUNG HÌNH SỰ ĐỊNH HƯỚNG, ĐỘ LỚN VÀ BỘ LỌC KIẾN TRÚC THƯỜNG DÙNG ĐỂ LOẠI BỎ CÁC VECTOR LẶP LẠI SAU KHI ÁNH XẠ MẶT ẢNH CHO SỰ SẮP XẾP, TỐC ĐỘ XE TRUNG BÌNH ĐƯỢC ĐÁNH GIÁ QUA MỘT VIDEO 10S, VỚI TỈ LỆ KHUNG HÌNH LÀ 10 FPS PELEGRI VÀ CỘNG SỰ ĐÃ PHÁT TRIỂN VÀ KIỂM CHỨNG CẢM BIẾN TỪ GMR ĐỂ XÁC ĐỊNH TỐC ĐỘ XE Ô TÔ [7] XE CỘ GÂY RA SỰ THAY ĐỔI VỀ TRƯỜNG ĐIỆN TỪ CỦA CẢM BIẾN KHI CHÚNG DI CHUYỂN QUA CẢM BIẾN KỸ THUẬT THEO DÕI CỦA HỌ KHÔNG SỬ DỤNG CAMERA NHƯNG ĐIỀU QUAN TRỌNG ĐỂ CHỈ RA SỰ ĐA DẠNG CỦA NGHIÊN CỨU KỸ THUẬT THEO DÕI ĐỐI TƯỢNG VÀ THÔNG TIN TỐC ĐỘ CỦA XE .4 LI VÀ CỘNG SỰ ĐÃ XÁC ĐỊNH TỐC ĐỘ XE BẰNG CÁCH DÙNG CAMERA CCD VÀ QUAN SÁT VỊ TRÍ XE CHẠY TRONG CÁC KHUNG HÌNH VIDEO [8] TỐC ĐỘ ĐƯỢC XÁC ĐỊNH THEO CÁCH HÌNH HỌC BẰNG HAI VỊ TRÍ CỦA XE VÀ MỐI QUAN HỆ KHÔNG GIAN CỦA CHÚNG .4 HE VÀ CỘNG SỰ ĐÃ PHÁT TRIỂN MỘT HỆ THỐNG NHÚNG ĐỂ ĐO LƯỜNG GIAO THÔNG [9] HỌ ĐÃ SỬ DỤNG VIỆC TRỪ NỀN ĐỂ HỖ TRỢ VIỆC PHÁT HIỆN XE CỘ NHỮNG NHÀ NGHIÊN CỨU NÀY SAU ĐÓ SỬ DỤNG NHỮNG HÌNH BÌNH HÀNH CHO VIỆC XÁC ĐỊNH VÙNG ĐẶC TRƯNG (ROI) VÌ KẾT QUẢ BIẾN DẠNG ẢNH TỪ VỊ TRÍ CAMERA VÀ ĐỂ GIẢM QUÁ TẢI TÍNH TOÁN TRONG ĐỒ ÁN NÀY, MỘT THUẬT TOÁN MỚI ĐƯỢC ĐỀ NGHỊ ĐỂ SỬ DỤNG VIDEO SỐ, XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỂ PHÁT HIỆN TỐC ĐỘ XE Ô TÔ MỘT CÁCH TỰ ĐỘNG TRONG MỘT PHƯƠNG PHÁP CHÍNH XÁC THUẬT TOÁN CHỈ CẨN MỘT VIDEO ĐỘC LẬP VÀ MỘT BỘ VI XỬ LÝ MÁY TÍNH VỚI PHẦN MỀM MATLAB ĐƯỢC CÀI TRÊN MÁY TÍNH LÀ CÓ THỂ VẬN HÀNH ĐỂ XÁC ĐỊNH TỐC ĐỘ XE Ô TÔ 1.2 MỤC ĐÍCH CỦA ĐỀ TÀI 1.3 NHIỆM VỤ VÀ GIỚI HẠN CỦA ĐỀ TÀI 1.4 TÍNH CẤP THIẾT CỦA ĐỀ TÀI 1.5 CẤU TRÚC ĐỒ ÁN CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 CÁC KHÁI NIỆM VỀ ẢNH SỐ 2.2 CÁC CÁCH PHÂN LOẠI ẢNH 2.3 XỬ LÝ ẢNH VỚI MATLAB .8 2.4 PHƯƠNG PHÁP ĐỀ NGHỊ 10 2.5 TIỀN XỬ LÝ 11 2.6 CƠ SỞ LÝ THUYẾT PHÁT HIỆN XE .11 2.7 CÁC PHƯƠNG PHÁP XÁC ĐỊNH XE Ô TÔ ĐANG CHUYỂN ĐỘNG 17 2.8 PHƯƠNG PHÁP LUỒNG QUANG LƯỢNG (OPTICAL FLOW) .19 2.9 THEO DÕI XE Ô TÔ 23 2.10 ƯỚC LƯỢNG, XÁC ĐỊNH TỐC ĐỘ 23 CHƯƠNG 25 MÔ PHỎNG – KẾT QUẢ 25 3.1 TIẾN TRÌNH MÔ PHỎNG 25 ii 3.2 KẾT QUẢ 26 CHƯƠNG 30 KẾT LUẬN 30 4.1 KẾT LUẬN 30 4.2 HƯỚNG PHÁT TRIỂN 30 TÀI LIỆU THAM KHẢO 31 iii DANH MỤC HÌNH HÌNH 2.1: ẢNH NHỊ PHÂN HÌNH 2.2: ẢNH XÁM HÌNH 2.3: ẢNH MÀU RGB HÌNH 2.4: ẢNH CHỈ THỊ MÀU HÌNH 2.5 SƠ ĐỒ KHỐI CỦA PHƯƠNG PHÁP THỰC HIỆN .11 HÌNH 2.6: VÍ DỤ VỀ ẢNH HƯỞNG CỦA VIỆC ĐẶT NGƯỠNG 13 HÌNH 2.7: CÁCH THỨC HOẠT ĐỘNG CỦA BỘ LỌC TRUNG VỊ 14 HÌNH 2.8: ẢNH TRƯỚC VÀ SAU KHI LỌC NHIỄU 15 (A)ẢNH TRƯỚC LỌC NHIỄU (B) ẢNH SAU KHI LỌC NHIỄU 15 HÌNH 2.9: CỬA SỔ LỌC CÓ KÍCH THƯỚC 3X3 TRONG KHÔNG GIAN 2D .15 16 16 HÌNH 2.10 (A): ẢNH GỐC CHƯA THỰC HIỆN PHÉP GIÃN NHỊ PHÂN 16 HÌNH 2.10 (B): ẢNH SAU KHI THỰC HIỆN PHÉP GIÃN NHỊ PHÂN 16 HÌNH 2.11 (A): ẢNH GỐC CHƯA ĐƯỢC THỰC HIỆN PHÉP CO NHỊ PHÂN 17 HÌNH 2.11 (B): ẢNH SAU KHI THỰC HIỆN PHÉP CO NHỊ PHÂN 17 HÌNH 2.12: SỰ TẠO THÀNH LƯU LƯỢNG QUANG 19 HÌNH 2.13: SỰ TẠO THÀNH LƯU LƯỢNG QUANG DO CHUYỂN ĐỘNG 19 HÌNH 2.14: VỊ TRÍ CỦA ĐIỂM I(X,Y) TẠI THỜI ĐIỂM T VÀ (VỚI RẤT NHỎ) .20 HÌNH 0.15: BA TRƯỜNG HỢP CỦA I 22 iv HÌNH 3.1 SƠ ĐỒ GIẢI THUẬT 25 HÌNH 3.1 LÀ KHÁI QUÁT CÁC CÔNG ĐOẠN CẦN LÀM ĐỂ CÓ THỂ XÁC ĐỊNH ĐƯỢC TỐC ĐỘ XE Ô TÔ ĐANG DI CHUYỂN TỪ VIDEO NGÕ VÀO THÔNG QUA CHƯƠNG TRÌNH MATLAB ĐÃ XỬ LÝ 25 QUÁ TRÌNH MÔ PHỎNG CỤ THỂ SẼ ĐƯỢC TRÌNH BÀY Ở PHẦN KẾT QUẢ .25 HÌNH 3.2: LƯU ĐỒ GIẢI THUẬT .26 HÌNH 3.3: FRAME VIDEO GỐC 27 HÌNH 3.3 LÀ HÌNH ẢNH GỐC CỦA VIDEO KHI ĐƯỢC ĐƯA VÀO CHƯƠNG TRÌNH XỬ LÝ VỚI ĐỊNH DẠNG VIDEO LÀ AVI 27 HÌNH 3.4: VECTOR CHUYỂN ĐỘNG CỦA XE Ô TÔ 27 HÌNH 3.4 THỂ HIỆN VECTOR CHUYỂN ĐỘNG CỦA XE Ô TÔ THÔNG QUA ĐỐI TƯỢNG “SHAPEINSERTER” TRONG ẢNH XÁM HOẶC ẢNH MÀU RGB .27 28 HÌNH 3.5: PHÂN ĐOẠN KHÔNG DÙNG LỌC 28 HÌNH 3.5 LÀ KẾT QUẢ PHÁT HIỆN RA ĐỐI TƯỢNG ĐANG CHUYỂN ĐỘNG LÀ XE Ô TÔ ĐANG CHUYỂN ĐỘNG NHƯNG KHÔNG SỬ DỤNG BỘ LỌC NÊN CÒN NHIỄU 28 HÌNH 3.6: PHÂN ĐOẠN CÓ DÙNG BỘ LỌC 28 HÌNH 3.6 LÀ KẾT QUẢ SAU KHI TRỪ NỀN ĐỂ PHÁT HIỆN RA ĐỐI TƯỢNG ĐANG CHUYỂN ĐỘNG TRONG VIDEO LÀ XE Ô TÔ ĐÃ DÙNG BỘ LỌC TRUNG BÌNH 28 29 HÌNH 3.7: KẾT QUẢ THEO DÕI ĐỐI TƯỢNG XE Ô TÔ ĐANG CHUYỂN ĐỘNG 29 HÌNH 3.7 LÀ KẾT QUẢ THEO DÕI ĐỐI TƯỢNG XE Ô TÔ ĐANG CHUYỂN ĐỘNG TRONG CÁC KHUNG HÌNH CỦA v Do xuất xe ảnh ngẫu nhiên với nhiều góc quan sát khác nên thường phải xấp xỉ chúng đề tạo nên phân biệt hai đối tượng Một số phương pháp thuộc nhóm này: - Các phương pháp mạng Nơ-ron nhân tạo - Phương pháp EigenObjects (PCA) - Phương pháp dựa Eigen-space - Support Vector Machine - SVM - Phương pháp Sparse Network of Winnows (SNoW) Do nhóm phương pháp dựa việc huấn luyện học cho thu mô hình đối tượng xe ô tô từ tập liệu tích cực (ảnh có chứa hình đối tượng) tập liệu không tích cực (ảnh không chứa hình đối tượng) nên chúng có tương quan so sánh trực tiếp đến đặc điểm hình thái học kiểu xe điển hình Nhược điểm phương pháp đòi hỏi phải có sẵn sở liệu hình xe lớn Để phát nhận dạng xe ô tô, máy tính phải dò sở liệu hình đưa kết 2.7.2 Phát dựa dạng hình học Phương pháp quan tâm đến đặc điểm cấu trúc hình học xe Vì chúng gọi tiếp cận dựa đặc trưng (feature-based) Phương pháp dựa luồng ánh sáng (hay luồng quang lượng - optical flow) điển hình dựa dạng hình học Phương pháp dựa luồng ánh sáng phương pháp xử lý tổng quan ánh sáng theo bước Thứ nhất, thuật toán tìm đặc trưng quan trọng đối tượng (ví dụ góc xe) hai khung hình liên tiếp Thứ hai, dùng thuật toán để hợp tính liên quan đồng đặc trưng (trong trường hợp góc xe) Bước cuối cùng, luồng đặc trưng đối tượng trích xuất khỏi ảnh tập hợp lại thành nhóm khoảng cách Euclide luồng (vị trí đối tượng hướng chuyển động đối tượng) nhỏ 18 2.8 PHƯƠNG PHÁP LUỒNG QUANG LƯỢNG (OPTICAL FLOW) Optical flow hay gọi luồng quang lượng kỹ thuật thị giác máy tính Phương pháp optical flow thực cách sử dụng vector có hướng đối tượng chuyển động theo thời gian để phát vùng chuyển động ảnh Ý tưởng quan trọng phương pháp tính optical flow dựa giả định: bề đối tượng nhiều thay đổi (về cường độ sáng) xét từ frame thứ n đến frame thứ n+1 Hình 2.12: Sự tạo thành lưu lượng quang (a) Đối tượng thời điểm t1 (b) Đối tượng thời điểm t2 (c) Luồng quang lượng Hình 2.13: Sự tạo thành lưu lượng quang chuyển động Bằng cách ước tính luồng quang lượng khung hình video, ta nhận biết đối tượng di chuyển khung hình Các đối tượng 19 di chuyển gần camera hiển thị chuyển động rõ ràng so với vật xa di chuyển với tốc độ tương tự Ước tính luồng quang lượng sử dụng thị giác máy tính để mô tả định lượng chuyển động đối tượng chuỗi video liên tiếp, thường xuyên để phát đối tượng dựa chuyển động hệ thống theo dõi Để tính toán luồng quang lượng hai ảnh (hai khung hình liên tiếp đoạn video), ta xét điểm vật hai khung hình liên tiếp (có thay đổi vị trí): Hình 2.14: Vị trí điểm I(x,y) thời điểm t (với nhỏ) Theo giả thiết ban đầu ta có: (2.3) Khai triển Taylor tới bậc thức nhất: (2.4) Đơn giản biểu thức ta có: (2.5) Chia biểu thức cho δt Cuối ta cần giải phương trình lưu lượng quang sau: 20 (2.6) Trong đó: Ix, Iy, It dẫn xuất độ sáng ảnh u v vector vận tốc thep phương ngang phương dọc Có phương pháp để tìm u v là: - Phương pháp Horn- Schunck - Phương pháp Lucac- Kanade Dưới trình bày sơ lược thuật toán hai phương pháp 2.8.1 Phương pháp LUCAS- KANADE Để giải u, v phương trình Optical flow, phương pháp chia ảnh gốc thành nhiều phần nhỏ giả thiết vector chuyển động phần số Khi đó, tìm u, v cách bình phương nhỏ trọng số phương trình ràng buộc u, v phần nhỏ (2.7) Tương đương: (2.8) Trong đó: (2.9) Ta xét chung n điểm khung hình: I x1 I x2 I y1 I t1 u I y2 × = − I t v M M (2.10) Có dạng: r Au = b (2.11) 21 r Mục tiêu cực tiểu hóa: Au − b (2.12) Ta sử dụng phương pháp bình phương tối thiểu r AT Au = AT b −1 r ⇒ u = ( AT A ) AT b (2.13) Mà: ∑ I x2 A A= ∑ I x I y T ∑I I ∑I x y y (2.14) Khi đó, xuất trường hợp: biên, vùng vùng kết cấu Hình 0.15: Ba trường hợp I - biên: ∑ I x2 ∑ I x I y ∑I I ∑I x y y − I y 0 = 0 I x (2.15) vector - vùng nhất: (2.16) • tính theo luồng Gradient chuẩn hóa - vùng kết cấu ta tính theo quy tắc Cramer 22 2.8.2 Phương pháp HORN-SCHUNCK Bằng giả thiết lưu lượng quang trơn toàn ảnh, phương pháp Horn-Schunck tính ước lượng vector chuyển động u,v cách cực tiểu hóa phương trình sau: (2.17 Trong đó: sai số phương trình bất biến ánh sáng sai số độ trơn lưu lượng quang 2.9 THEO DÕI XE Ô TÔ Điều dựa vào theo dõi đặc trưng Những đặc trưng tách theo dõi qua khung hình liên tiếp Để xác định cho dù đối tượng giống hay thuật toán trùng hợp đối tượng sử dụng Một số giá trị ngưỡng thiết lập so sánh với khoảng cách tính toán Nếu khoảng cách nhỏ giá trị ngưỡng đối tượng khung hình trước khung hình tức thời giống Qua đây, ghép nhận dạng (ID) cho đối tượng xe ô tô Việc ghép id theo dõi qua khung hình liên tục 2.10 ƯỚC LƯỢNG, XÁC ĐỊNH TỐC ĐỘ Tốc độ xe frame tính toán dựa vào vị trí xe frame, công việc tìm hộp giới hạn đối tượng (blobs bounding box) quỹ tâm (centroid) Quỹ tâm đối tượng phần quan trọng để tìm hiểu khoảng cách xe di chuyển khung hình (frame) liên tiếp tốc độ khung hình di chuyển biết đến việc tính toán tốc độ trở nên 23 Những thông tin phải ghi lại cách liên tục mảng liệu có kích thước hình ảnh camera khoảng cách di chuyển quỹ tâm phải coi điểm ảnh với xếp đặc biệt ảnh để tìm tốc độ xe (2.18) Để xác định khoảng cách di chuyển điểm ảnh, giả sử điểm ảnh có tọa độ như: i= ( a, b ) , i −1 = ( e, f ) (2.19) với vị trí quỹ tâm biểu diễn khu hình thứ i i-1, với (a, b) (e, f) tọa độ Khoảng cách tính theo công thức D = ( ( a − e) + (b− f ) ) (2.20) Và kết 25 khung hình 1s, thời gian khung hình liên tiếp 0.04s kết cuối tốc độ xác định theo công thức : V = kD t (2.21) Với k hệ số hiệu chỉnh 24 CHƯƠNG MÔ PHỎNG – KẾT QUẢ 3.1 TIẾN TRÌNH MÔ PHỎNG Hình 3.1 Sơ đồ giải thuật Hình 3.1 khái quát công đoạn cần làm để xác định tốc độ xe ô tô di chuyển từ video ngõ vào thông qua chương trình Matlab xử lý Quá trình mô cụ thể trình bày phần kết 25 3.2 KẾT QUẢ Hình 3.2: Lưu đồ giải thuật Ngõ vào trình mô video xe ô tô chạy để xử lý chương trình Video ngõ vào tách thành khung hình Sau video link vào chương trình, tách chúng thành khung hình video Tiếp theo tính toán giá trị trung bình điểm ảnh (pixel) Bước phân đoạn tạo lọc trung bình Bước tính toán, tạo luồng quang lượng Bước tạo đối tượng phân tích Blob Các đối tượng phân tích Blob tính toán thống kê cho vùng kết nối hình ảnh nhị phân Bước gán nhãn đối tượng xe ô tô chuyển động để theo dõi Xác định quỹ đạo xe di chuyển video 26 Bước tính tốc độ xe ô tô thông qua xác định khoảng cách di chuyển tỉ lệ khung hình video Bước cuối hiển thị kết Hình 3.3: Frame video gốc Hình 3.3 hình ảnh gốc video đưa vào chương trình xử lý với định dạng video avi Hình 3.4: Vector chuyển động xe ô tô Hình 3.4 thể vector chuyển động xe ô tô thông qua đối tượng “ShapeInserter” ảnh xám ảnh màu RGB 27 Hình 3.5: Phân đoạn không dùng lọc Hình 3.5 kết phát đối tượng chuyển động xe ô tô chuyển động không sử dụng lọc nên nhiễu Hình 3.6: Phân đoạn có dùng lọc Hình 3.6 kết sau trừ để phát đối tượng chuyển động video xe ô tô dùng lọc trung bình 28 Hình 3.7: Kết theo dõi đối tượng xe ô tô chuyển động Hình 3.7 kết theo dõi đối tượng xe ô tô chuyển động khung hình video Trong phân đoạn tốc độ xe ô tô xác định qua phương pháp đề xuất Chương Cơ sở lý thuyết 3.3 ĐÁNH GIÁ KẾT QUẢ Theo kết mô cho thấy phát xe ô tô di chuyển video theo dõi chuyển động xe ô tô từ kgung hình đầu đến hết video Kết mô gặp phải nhiều sai số việc hiệu chỉnh thông số chưa xác Nhưng kết chấp nhận được, làm tiền đề để xác định tốc độ xe ô tô hướng phát triển đề tài 29 CHƯƠNG KẾT LUẬN 4.1 KẾT LUẬN Đã nghiên cứu số tài liệu thuật toán xử lý ảnh video Đã đề giải pháp để giám sát tốc độ xe ô tô thông qua xử lý ảnh video luồng giao thông Xây dựng qui trình, sơ đồ khối, lưu đồ giải thuật để xử lý liệu từ video giao thông, để từ ước lượng tốc độ xe ô tô 4.2 HƯỚNG PHÁT TRIỂN Phát triển hệ thống cho việc theo dõi, giám sát tốc độ đối tượng lại tham gia giao thông xe máy, xe mô tô Nghiên cứu thêm mã nguồn mở OpenCV để viết ứng dụng OpenCV để so sánh xuất xuống kit nhúng, mà kit nhúng phát triển cho việc thực thi chương trình phần mềm Có thể phát triển thêm, tối đa thuật toán, đảm bảo xử lý theo thời gian thực Khắc phục khuyết điểm độ xác tốc độ, xử lý tốc độ với tốc độ video quay, phát triển nghiên cứu đối tượng vào buổi tối (thiếu sáng) Phát triển phần cứng cho hệ thống 30 TÀI LIỆU THAM KHẢO [1] Ferrier NJ, Rowe SM, Blake A, "Real-time traffic monitoring," in WACV94, 1994 [2] Fumio Y, Wen L, Thuy TV, "Vehicle Extraction And Speed Detection From Digital Aerial Images," IEEE International Geoscience and Remote Sensing Symposium, pp 1134-1137, 2008 [3] Jianping W, Zhaobin L, Jinxiang L, Caidong G, Maoxin S, Fangyong T, "An Algorithm for Automatic Vehicle Speed Detection using Video Camera," in Pro IEEE 4th Int Conference Comput Sci Educ., 2009 [4] Melo JN, Bernardino A, Santos-Victor AJ, "Detection and classification of highway lanes using vehicle motion trajectories," IEEE Trans Intelligent Trans Syst., pp 188-200, 2006 [5] Pumrin S, Daily DJ, "Roadside Camera Motion Detection for Automated Speed Measurement," in The IEEE 5th International Conference on Intelligent Transportation Systems, Singapore, 2002 [6] Shisong Z, Toshio K, "Feature Point Tracking for Car Speed Measurement," in The IEEE Asia Pacific Conference on Circuits and Systems (APCCAS 2006), 2006 [7] Wen L, Fumio Y, "Speed detection of moving vehicles from one scene of Quick Bird images," Urban Remote Sensing Joint Event, 2009 [8] Yu, X.-D., Duan, L.-Y, Tian, Q., E.F., "Highway traffic information extraction from skycam MPEG Video," in Proc.IEEE 5th International Conf on Intelligent Transportation Sys., 2002 [9] Pelegri, J., Alberola, J., Llario, V., E.F., "Vehicle detection and car speed monitoring systems using GMR magnetic sensors," in Proc.IEEE 2002 28th Annual Conf Industrial Electronics Society, 2002 [10] Li, Y., Yin, L., Jia, Y., Wang, M., E.F., "Vehicle speed measurement based on video images," in Proc 3rd International Conf Innovative Computing Information and Control, 2008 31 [11] He, Z., Liu, Y., Yu, H., Ye, X., E.F., "Optimized algorithms for traffic information collecting in an embedded system," Congress on Image and Signal Processing, vol Vo.4, pp 220-223, 2008 [12] J Shweta, "Vehicle Speed Determination Using Image Processing," International Journal of Research in Management, Science & Technology (E-ISSN: 2321-3264), vol 2, 2014 [13] Arash Gholami Rad, Abbas Dehghani, Mohamed Rehan Karim, "Vehicle speed detection in video image sequences using CVS method," International Journal of the Physical Sciences (ISSN 1992 - 1950), vol 5(17), pp 2555-2563, 2010 [14] Dolley Shukla, Ekta Patel, "Speed Determination of Moving Vehicles using Lucas- Kanade Algorithm," International Journal of Computer Applications Technology and Research, vol 2, no 1, pp 32-36, 2013 32 [...]... giới thiệu Huei-Yung và Kun-Jhih (2004) đã dùng ảnh mờ để tìm ra tốc độ xe và Pumrin và Dailey (2002) đã sử dụng phát hiện chuyển động để tự động đo tốc độ Shisong và cộng sự (2006) [6] đã đưa ra lợi ích của việc theo dõi điểm đặc trưng cho việc đo tốc độ xe Yu và các cộng sự đã mô tả một thuật toán đánh giá mật độ giao thông và tốc độ trung bình từ ảnh nén định dạng MPEG Skycam [4] Tác giả đã tính... dõi đối tượng và thông tin tốc độ của xe Li và cộng sự đã xác định tốc độ xe bằng cách dùng camera CCD và quan sát vị trí xe chạy trong các khung hình video [8] Tốc độ được xác định theo cách hình học bằng hai vị trí của xe và mối quan hệ không gian của chúng He và cộng sự đã phát triển một hệ thống nhúng để đo lường giao thông [9] Họ đã sử dụng việc trừ nền để hỗ trợ việc phát hiện xe cộ Những nhà... phần thay thế con người trong việc giám sát và điều khiển và xử lý tín Đặc biệt trong lĩnh vực giao thông ngày nay, ứng dụng xử lý ảnh ngày càng được ứng dụng rộng rãi trong việc ghi nhận ước lượng tốc độ xe cộ, mật độ lưu lượng lưu thông trên đường Chính sự phát triển mạnh mẽ này đã giúp việc giám sát và cảnh báo giao thông tại các trạm kiểm soát của các trung tâm điều khiển dễ dàng, thuận tiện và... chuyển động Bằng cách ước tính luồng quang lượng giữa các khung hình video, ta có thể nhận biết được những đối tượng đang di chuyển trong khung hình Các đối tượng 19 di chuyển gần camera thì sẽ hiển thị chuyển động rõ ràng hơn so với các vật ở xa đang di chuyển với tốc độ tương tự Ước tính luồng quang lượng được sử dụng trong thị giác máy tính để mô tả và định lượng sự chuyển động của các đối tượng trong. .. cách tính toán Nếu khoảng cách nhỏ hơn giá trị ngưỡng thì đối tượng trong khung hình trước và khung hình tức thời giống nhau Qua đây, ghép nhận dạng (ID) cho mỗi đối tượng xe ô tô Việc ghép id này được theo dõi qua các khung hình liên tục 2.10 ƯỚC LƯỢNG, XÁC ĐỊNH TỐC ĐỘ Tốc độ của xe trong mỗi frame được tính toán dựa vào vị trí của xe trong mỗi frame, do đó công việc kế tiếp là tìm ra hộp giới hạn đối... được trong thực tế mà chỉ thông qua nghiên cứu mô phỏng 4 1.4 TÍNH CẤP THIẾT CỦA ĐỀ TÀI Vì mật độ lưu lượng xe nói chung và ô tô ngày nay càng lớn, nên việc giám sát sự lưu thông của chúng còn khá hạn chế Đề tài sẽ là tiền đề giải quyết việc xác định ô tô đang di chuyển trong video, để từ đó tiến đến giám sát hiệu quả hơn Thông qua việc ước lượng được tốc độ di chuyển của xe cộ nói chung và ô tô nói... bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người Vì vậy, ở đây các cơ sở tri thức được phát huy 2.4 PHƯƠNG PHÁP ĐỀ NGHỊ Phương pháp thực hiện trong đề tài này để xác định và ước lượng được tốc độ xe ô tô là sử dụng một camera để quay video thông qua việc theo dõi sự 10 chuyển động của xe ô... qua nhiều khung hình Tốc độ được tính toán thông qua khoảng cách di chuyển của xe ô tô và tỉ lệ các khung hình của video Hệ thống này rất có hữu ích cho việc giám sát các thông số giao thông 2.5 TIỀN XỬ LÝ Video được ghi hình sử dụng camera điện thoại chất lượng 5 Mpx Trong bước tiền xử lý video được chuyển thành các khung hình Các thông số khác nhau như số lượng khug hình, tỉ lệ khung hình, định dạng... các vùng đô thị, tình trạng giao thông trở nên quá tải hơn vì nhu cầu cao và khả năng đáp ứng các tuyến đường và kết cấu hạ tầng thì không thể Từ những ảnh hưởng của những vấn đề này hằng ngày, thì điều quan trọng là phải tìm giải pháp hiệu quả để giảm thiểu Việc xác định tốc độ xe cộ nói chung và xác định tốc độ xe ô tô nói riêng là rất quan trọng cho việc giám sát tốc độ cho phép theo luật và nó... trí camera và để giảm quá tải tính toán Trong đồ án này, một thuật toán mới được đề nghị để sử dụng video số, xử lý ảnh và thị giác máy tính để phát hiện tốc độ xe ô tô một cách tự động trong một phương pháp chính xác Thuật toán chỉ cẩn một video độc lập và một bộ vi xử lý máy tính với phần mềm Matlab được cài trên máy tính là có thể vận hành để xác định tốc độ xe ô tô 1.2 MỤC ĐÍCH CỦA ĐỀ TÀI Đề tài ... nạn, vấn đề an toàn giao thông Việc xác định tốc độ xe cộ đường mục tiêu Do đó, việc xác định tốc độ xe ô tô trở thành công việc thách thức Phát xe, theo dõi xe, xác định tốc độ công việc quan... ĐỐI TƯỢNG VÀ THÔNG TIN TỐC ĐỘ CỦA XE .4 LI VÀ CỘNG SỰ ĐÃ XÁC ĐỊNH TỐC ĐỘ XE BẰNG CÁCH DÙNG CAMERA CCD VÀ QUAN SÁT VỊ TRÍ XE CHẠY TRONG CÁC KHUNG HÌNH VIDEO [8] TỐC ĐỘ ĐƯỢC XÁC ĐỊNH... vực giao thông ngày nay, ứng dụng xử lý ảnh ngày ứng dụng rộng rãi việc ghi nhận ước lượng tốc độ xe cộ, mật độ lưu lượng lưu thông đường Chính phát triển mạnh mẽ giúp việc giám sát cảnh báo giao