(Luận văn thạc sĩ) nghiên cứu phương pháp xác định trạng thái giao thông trong hầm đường bộ

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG HOÀNG TRỌNG TÚ NGHIÊN CỨU PHƯƠNG PHÁP XÁC ĐỊNH TRẠNG THÁI GIAO THÔNG TRONG HẦM ĐƯỜNG BỘ Chuyên ngành: Kỹ thuật điện tử Mã số: 8520203 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS HỒ PHƯỚC TIẾN Đà Nẵng - Năm 2019 i ii TÓM TẮT LUẬN VĂN NGHIÊN CỨU PHƯƠNG PHÁP XÁC ĐỊNH TRẠNG THÁI GIAO THÔNG TRONG HẦM ĐƯỜNG BỘ Học viên: Hoàng Trọng Tú Chuyên ngành: Kỹ thuật Điện tử Mã số: 8520203 Khóa: K35 Trường Đại học Bách khoa - ĐHĐN Tóm tắt – Hệ thống camera quan sát ngày sử dụng cách rộng rãi nhờ lợi ích hiệu thiết thực mà mang lại Việc xác định trạng thái giao thông hầm đường dựa vào hình ảnh từ camera hầm để hỗ trợ cơng tác vận hành nhân viên giám sát nhằm cung cấp cảnh báo nhanh chóng, lúc giảm thiệu rủi ro tai nạn điều cần thiết Luận văn tập trung nghiên cứu phương pháp xác định trạng thái giao thông hầm đường Dựa vào phương pháp nghiên cứu xây dựng thuật tooán tốn xác định trạng thái giao thơng hầm đường qua camera, đề xuất giải pháp xác định trạng thái phương pháp trừ phương pháp luồng quang học Kết luận văn xác định trạng thái giao thông: xe dừng, xe di chuyển đường thơng thống khơng có xe Từ khóa - Luồng quang học, Trừ nền, Camera giám sát, Phát chuyển động, thị giác máy tính STUDY METHODS TO DETERMINE TRAFFIC STATUS IN THE ROAD TUNNEL Abstract – CCTV system is increasingly used extensively thanks to its benefits and practical effects The determination of road traffic state, based on the image from the camera in the tunnel to support the operation of the supervisor in providing a quick, timely warning and reducing the risk of accident is very necessary The thesis focuses on researching methods to determine traffic status in the road tunnel Based on studied method and algorithm of determining traffic condition in road tunnels through camera, solutions to determine the state by subtraction method and optical flow method are proposed Thesis results have identified traffic states in the tunnel: stopping vehicles, moving vehicles and clear roads without vehicles Key words – Opticalflow, background subtraction, Surveillance camera, Motion Detection, computer vision iii DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Dịch nghĩa Tiếng Việt CCTV Closed Circuit Television Truyền hình mạch kín DIVAR Digital Vesatile Recorder Bộ ghi hình kỹ thuật số đa OCC Operation Control Center Trung tâm điều hành PTZ Pan Tilt Zoom Phóng to thu nhỏ, xoay nghiêng SCADA Supervisory Control and Data Điều khiển giám sát thu thập Acquisition liệu CCD Charge Coupled Device Linh kiện tích điện kép CRT Creative Transceiver Bộ truyền tín hiệu CRR Creative Receiver Bộ nhận tín hiệu AVI Audio Video Interleave Tệp tin đa phương tiện IP Internet Protocol giao thức Internet IR Infrared Hồng ngoại CMOS Complementary Metal Oxide Bán dẫn kim loại ơ-xít bù Semiconductor iv MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu nội dung nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Kết dự kiến Kết cấu luận văn CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN CHUYỂN ĐỘNG TRONG HẦM ĐƯỜNG BỘ 1.1 Giới thiệu chương 1.2 Bài toán chuyển động hầm đường 1.3 Hầm đường hải Vân 1.3.1 Bài toán chuyển động hầm đường Hải Vân 1.3.2 Hệ thống giám sát giao thơng CCTV (truyền hình mạch kín) 1.3.3 Hệ thống vòng từ cảm ứng (Inductive loop) 1.3.4 Các vấn đề cần giải 10 1.4 Tổng quan Camera số video 10 1.4.1 Khái niệm Camera số 10 1.4.2 Phân loại Camera 10 1.4.3 Hệ thống Camera quan sát .11 1.4.4 Khái niệm Video 12 1.4.5 Video số 12 1.5 Kết luận chương 13 CHƯƠNG 2: PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 14 2.1 Giới thiệu chương 14 2.2 Tổng quan phát đối tượng 14 2.3 Phương pháp trừ 14 2.3.1 Tổng quan trừ .14 v 2.3.2 Trừ khung hình .15 2.3.3 Trung bình trượt Gaussian .16 2.3.4 Bộ từ mã 17 2.3.5 So sánh Đánh giá phương pháp 20 2.4 Phương pháp luồng quang học 21 2.4.1 Tổng quan luồng quang học 21 2.4.2 Xác định luồng quang học .21 2.5 Kết luận chương 25 CHƯƠNG 3: XÁC ĐỊNH TRẠNG THÁI GIAO THÔNG TRONG HẦM ĐƯỜNG BỘ 26 3.1 Giới thiệu chương 26 3.2 Bài toán xác định trạng thái giao thông hầm đường qua Camera 26 3.3 Bối cảnh số giả thiết cho toán xác định trạng thái chuyển động 27 3.4 Phương pháp giải toán xác định trạng thái chuyển động 28 3.4.1 Mơ hình tổng thể 28 3.4.2 Tiền xử lý 29 3.5 Ước lượng chuyển động phương pháp trừ 30 3.5.1 Mô tả phương pháp 30 3.5.2 Xây dựng thuật toán trừ 31 3.6 Phương pháp xác định chuyển động dựa luồng quang học 32 3.6.1 Ước lượng chuyển động 33 3.6.2 Xác định trạng thái chuyển động .33 3.7 Kết luận chương 37 CHƯƠNG 4: THỰC HIỆN VÀ ĐÁNH GIÁ 38 4.1 Giới thiệu chương 38 4.2 Cơ sở liệu 38 4.3 Kết 38 4.3.1 Phương pháp trừ 38 4.3.2 Phương pháp luồng quang học 40 4.4 Phân tích đánh giá 41 4.4.1 Phương pháp trừ 42 4.4.2 Phương pháp luồng quang học 43 vi 4.5 Kết luận chương 47 KẾT LUẬN VÀ HƯỚNG PHÁT TRIÊN 48 TÀI LIỆU THAM KHẢO 49 vii DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 2.1 Giải thuật từ mã [8] 18 2.2 Thuật toán trừ với từ mã [8] 20 3.1 Thuật toán giải thuật 34 3.2 Thuật toán giải thuật 36 3.3 Thuật toán giải thuật 37 4.1 Các tình tương ứng với trạng thái video 45 4.2 Bảng thống kê kết tình xảy giải thuật chạy 18 video 45 4.3 Bảng thống kê kết giải thuật với camera khác 46 viii DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Tổng quan hầm đường Hải Vân [2] 1.2 Biểu đồ lưu lượng giao thơng trung bình/ngày hầm [2] 1.3 Lưu thơng hầm đường Hải Vân 1.4 Camera Bosch LTC 0455/51 lắp đặt hầm (nguồn Internet) 1.5 Sơ đồ hệ thống truyền hình mạch kín [2] 1.6 Sơ đồ điều khiển giao thơng vịng từ cảm ứng [2] 1.7 Màn hình giám sát tình trạng giao thơng thơng qua vịng từ cảm ứng [2] 1.8 Camera có dây camera khơng dây (nguồn Internet) 11 1.9 Chuỗi ảnh video số [4] 12 2.1 Tổng quan khối xử lý phát đối tượng 14 2.2 Trừ khung hình trường hợp ngưỡng cao thấp [7] 16 2.3 Video đầu vào trừ cho giải thuật trung bình trượt Gaussian [7] 17 2.4 Mơ hình từ mã [8] 19 2.5 So sánh thuật toán từ mã với phương pháp trung bình trượt Gaussian (a) Ảnh ban đầu (b) Trừ với Guassian (c) Trừ với Bộ từ mã [8] 20 2.6 Sự chuyển động luồng quang học [10] 22 2.7 Sự thay đổi luồng quang học khung hình phát đối tượng [10] 24 2.8 Biểu đồ so sánh mức độ lỗi, nhiễu kĩ thuật trừ ảnh, trừ nền, luồng quang học [1] 24 3.1 Hệ thống vòng từ cảm ứng bị hư hỏng nhiều [2] 26 3.2 Phương tiện giao thông che khuất phận phương tiện ngược lại 27 3.3 Camera lắp cố định bên thành hầm 28 3.4 Sơ đồ xử lý tốn 28 3.5 Hình ảnh lấy mẫu xuống 1/3 29 ix 3.6 Xét đường bên phải hướng với camera 29 3.7 Mặt nạ nhị phân tương ứng với camera 30 3.8 Ảnh (a) ước lượng sở, ảnh (b) thu bước ảnh (c) thể đồ điểm ảnh trội phát cách sử dụng phép trừ [1] 31 3.9 Khung hình ảnh thời điểm t trước sau vẽ vector có hướng 33 3.10 Sơ đồ khối hệ thống 35 4.1 Làn đường thơng thống khơng có xe di chuyển (chỉ xét đường bên phải) 39 4.2 Xe dừng gây ùn tắc hầm 39 4.3 Xe di chuyển bình thường 40 4.4 Xe di chuyển bình thường (Giải thuật 1-2-3) 40 4.5 Khơng có xe di chuyển hầm (Giải thuật 1-2-3) 41 4.6 Phát có xe dừng (Giải thuật 1-2-3) 41 4.7 Kết thực không so với thực tế 42 4.8 So sánh phương pháp trừ với luồng quang học 42 4.9 Xe di chuyển kết xe 43 4.10 So sánh kết giải thuật giải thuật 44 4.11 Làn đường khơng có xe lại thơng báo có xe dừng 44 4.12 So sánh kết giải thuật giải thuật 45 45 Hình 4.12 So sánh kết giải thuật giải thuật Giải thuật tiếp tục cải thiện giải thuật nhằm xác định xác trạng thái xe dừng khơng có xe Tóm tắt kết cho tất video camera: Lần lượt chạy 18 video giải thuật để so sánh kết đạt Mỗi video có trạng thái: xe chạy, xe dừng khơng có xe Tương ứng với trạng thái có nhiều tình huống, tình khoảng thời gian video Bảng 4.1 Các tình tương ứng với trạng thái video Xe chạy Xe chạy Khơng có xe Xe chạy Xe dừng Những kết thống kê theo tình camera thể bảng 4.1 4.2 Bảng 4.2 Bảng thống kê kết tình xảy giải thuật chạy 18 video Xe chạy Giải thuật Xe dừng Khơng có xe Số tình Số tình Số tình Số tình Số tình Số tình xác xác xác xác xác xác định định sai định định sai định định sai 44 36 24 56 24 25 6 71 25 11 46 Bảng 4.3 Bảng thống kê kết giải thuật với camera khác Giải thuật Camera Camera Giải thuật Số tình xác định Số tình xác định sai Số tình xác định Số tình xác định sai Số tình xác định Số tình xác định sai 4 5 3 5 4 6 5 4 6 6 3 5 6 5 5 3 6 3 6 Camera Video Camera Giải thuật Tóm lại, giải thuật cho kết có nhiều tình chưa xác định tốt, xe chạy bình thường lại cho kết xe dừng hay khơng có xe Giải thuật giải thuật cải thiện thuật toán kết tốt hơn, lỗi sai hơn, giúp cho chương trình xác định trạng thái giao thơng hầm đường hoàn thiện Một hệ thống hoạt động hồn hảo phát tất trường hợp xảy hầm đường trường hợp nhầm lẫn nào, tương ứng với độ xác đạt 100% Trên thực tế, khó để đạt kết thường có nhiều nhiễu video Tuy nhiên, hệ thống góp phần vào viêc tự động hóa trình phát tình giao thơng bất thường hầm đường 47 4.5 Kết luận chương Việc sử dụng phương pháp trừ phương pháp luồng quang học xác định trạng thái giao thông hầm đường bộ: xe dừng gây ùn tắc, xe di chuyển đường thơng thống khơng có xe 48 KẾT LUẬN VÀ HƯỚNG PHÁT TRIÊN Kết luận Trong thời gian nghiên cứu đề tài, hạn chế mặt kiến thức điều kiện thực tế, với giúp đỡ nhiệt tình TS Hồ Phước Tiến, em hoàn thành luận văn Xét mặt lý thuyết, đề tài hồn thành việc tìm hiểu phần lý thuyết đặt như: Tìm hiểu sử dụng thành thạo phần mềm matlab để phát triển tốn, tìm hiểu khái niệm video Camera số, tìm hiểu thuật tốn phát chuyển động phương pháp trừ nền: trừ khung hình, trung bình trượt Gaussian Bộ từ mã, tìm hiểu phương pháp luồng quang học Xét mặt thực tiễn, đề tài hoàn thành mục tiêu đặt như: Phát xác định trạng thái chuyển động hầm đường qua khung hình video, hồn thành chạy thành cơng thuật toán nghiên cứu phần lý thuyết, thực việc so sánh, đánh giá ưu nhược điểm thuật toán chọn thuật toán phù hợp với chức chương trình Đề tài có phạm vi ứng dụng hệ thống giám sát giao thơng qua hầm đường Bên cạnh đề tài tạo tảng cho nghiên cứu cảm quan máy tính nói riêng xử lý ảnh nói chung tương lai Hạn chế Bên cạnh kết đạt được, đề tài cịn có số hạn chế cần phải khắc phục như:  Tốc độ xử lý chương trình cịn chậm xử lý video có độ phân giải cao kích thước lớn  Việc xác định đối tượng chuyển động , dừng lại việc xác định đối tượng chiếm vùng lớn Hướng phát triển Trong trình thực đề tài, hạn chế trình độ thời gian thực đề tài có hạn, chương trình xây dựng phần demo thuật toán xác định trạng thái giao thông hầm đường Để triển khai thực tế, địi hỏi cần phải cải tiến Hy vọng tương lai, phát triển giúp đề tài hoàn thiện  Xác định trạng thái giao thơng với tiêu chí cụ thể  Xây dựng thuật toán cải thiện chất lượng video loại trừ nhiễu, loại bỏ bóng tối ưu hóa thuật tốn để tăng tốc độ xử lý chương trình  Ứng dụng kĩ thuật Camera stereo để xác định vị trí xác đối tượng di chuyển theo chiều sâu (trong không gian 3D), từ xác định trạng thái xác 49 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] T.T Việt, T.C Chiến, H.C Tuấn, N.H Nam, - “Một kĩ thuật phát hiện, bám sát đối tượng ứng dụng”, Đại Học Lạc Hồng [2] Trung tâm điều hành hầm đường Hải Vân, Website: hamadeco.com.vn Tài liệu Tiếng Anh [3] Rafael C.Gonzaleg, Richard E Woods, R.E (1992), Digital Image Processing [4] D Shukla, E Patel – “Speed Determination of Moving Vehicles using LucasKanade Algorithm”, Shri Shankaracharya College of Engg & TecJunwani, Bhilai- 490020, Durg,(CG), India [5] D Scaramuzza, Omnidirectional Camera and Calibration Toolbox for Matlab [6] M Piccardi (2004), “Background subtraction techniques: a review”, IEEE International Conference on Systems, Man and Cybernetics [7] B Langmann, Seyed E Ghobadi, K Hartmann, O Loffeld - “Multi-Mode Background Subtraction Using Gaussian Mixture Model”, Center for Sensor Systems, University of Siegen, Germany [8] K Kim, Thanarat H Chalidabhongse, D Harwood, L Davis –“Background Modeling And Subtraction By Codebook Construction”, Faculty Of Information Technology, ThaiLand [9] S.Indu, M Gupta and Prof Asok Bhattacharyya – “Vehicle Tracking And Speed Estimation Using Optical Flow Method”, ECE Department, Delhi Technological University, Bawana Road, Delhi, 110042, India [10] D Jansari, S Parmar – “Novel Object Detection Method Based On Optical Flow”, January 8-9, 2013 Kuala Lumpur (Malaysia) [11] Fleet, D.J and Weiss, Y., “Optical flow estimation”, Mathematical models for Computer Vision: The Handbook N Paragios, Y Chen, and O Faugeras (eds.), Springer, 2005 50 51 52 53 54 55 56 57 58 59 ... thiết Luận văn tập trung nghiên cứu phương pháp xác định trạng thái giao thông hầm đường Dựa vào phương pháp nghiên cứu xây dựng thuật tooán toán xác định trạng thái giao thông hầm đường qua camera,... Chương – Xác định trạng thái giao thơng hầm đường bộ: chương trình bày tốn xác định trạng thái giao thơng hầm đường qua camera, đề xuất giải pháp xác định trạng thái phương pháp trừ phương pháp luồng... để xác định trạng thái giao thông hầm đường 26 CHƯƠNG 3: XÁC ĐỊNH TRẠNG THÁI GIAO THÔNG TRONG HẦM ĐƯỜNG BỘ 3.1 Giới thiệu chương Dựa vào phương pháp nghiên cứu trên, chương trình bày tốn xác định