Nhận dạng biển báo giao thông đường bộ theo thời gian thực trên thiết bị di động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI-2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN VIỆT HÀ HÀ NỘI-2015 Lời cam kết ’Tôi xin cam đoan luận văn công trình nghiên cứu riêng Các số liệu, kết trình bày luận văn hoàn toàn trung thực chưa công bố công trình khác Tôi trích dẫn đầy đủ tài liệu tham khảo, công trình nghiên cứu liên quan nước quốc tế Ngoại trừ tài liệu tham khảo này, luận văn hoàn toàn công việc riêng tôi.’ Hà Nội, Ngày tháng năm 2015 Chữ ký i Lời cảm ơn Trước tiên, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, PGS-TS Nguyễn Việt Hà, người tận tình bảo hướng dẫn suốt trình học tập, nghiên cứu thực luận văn Tôi xin bày tỏ lời cảm ơn sâu sắc đến thầy cô giáo giảng dạy năm đại học cao học, tạo cho điều kiện thuận lợi để học tập nghiên cứu trường Đại Học Công Nghệ - ĐHQGHN Tôi xin chân thành cảm ơn thầy Vũ Quang Dũng thầy Lê Thanh Hà nhiệt tình bảo, tư vấn thắc mắc thời gian học tập hoàn thành luận văn Tôi xin gửi lời cảm ơn chân thành tới phòng thí nghiệm công nghệ phần mềm Toshiba-UET, anh Vũ Huy Hiển, anh Nguyễn Bảo Ngọc Mọi người tạo điều kiện cho không gian để nghiên cứu trao đổi kinh nghiệm trình học tập thực luận văn Cuối cùng, muốn gửi lời cảm ơn đến gia đình tất bạn bè, người kịp thời động viên giúp đỡ vượt qua khó khăn sống Tôi xin chân thành cảm ơn! ii Mục lục Đặt vấn đề 1.1 Lý chọn đề tài 1.2 Các nghiên cứu liên quan 1.3 Mô tả toán 1.4 Phương pháp đề xuất 1.5 Cấu trúc luận văn Các kiến thức sở 2.1 Hệ thống biển báo giao thông đường 2.1.1 Hệ thống biển báo giao thông đường giới 2.1.2 Hệ thống biển báo giao thông đường Việt Nam Tổng quan xử lý ảnh 13 2.2.1 Các khái niệm xử lý ảnh 13 2.2.2 Các kỹ thuật tiền xử lý ảnh 14 2.2.3 Các kỹ thuật nhận dạng ảnh 17 2.2 Phương pháp nhận dạng biển báo thời gian thực 22 3.1 Giới hạn toán 22 3.2 Phát biển báo giao thông đường 23 3.2.1 Phát hình tròn 23 3.2.2 Phát hình ellipse 25 Nhận dạng loại biển báo giao thông đường 28 3.3.1 Nhận dạng qua điểm đặc trưng cục 28 3.3.2 Nhận dạng qua nhị phân hoá phụ thuộc điểm ảnh 28 3.3 iii Thực nghiệm 32 4.1 Cài đặt thuật toán 32 4.2 Môi trường liệu thực nghiệm 32 4.2.1 Môi trường 32 4.2.2 Dữ liệu biển báo giao thông đường 33 Kết thực nghiệm 35 4.3 Kết luận 40 Tài liệu tham khảo 40 iv Danh sách hình vẽ 1.1 Sơ đồ phần nghiên cứu 1.2 Các giao đoạn nhận dạng biển báo giao thông 2.1 Một vài biển báo giao thông đường Việt Nam 2.2 Biển báo 122 - Dừng lại 2.3 Biển báo 130 - Hướng phải theo cho xe chở hàng nguy hiểm 2.4 Biển báo E,9 - Biển bắt đầu vào khu vực 10 2.5 Giá long môn 12 2.6 Sơ đồ kết hợp biển báo cột 12 2.7 Ví dụ số hoá ảnh 13 2.8 Ảnh làm mịn với Gaussian Blur 15 2.9 Các loại biên ảnh 16 2.10 Tách biên với thuật toán Canny 17 2.11 Khởi tạo không gian tỷ lệ 19 2.12 Tìm điểm đặc trưng 20 2.13 Mô tả điểm đặc trưng 21 3.1 Các biển báo cấm hiệu lệnh thường gặp 23 3.2 Ước lượng tâm đường tròn 25 3.3 Các loại đường cong 26 3.4 Ghép hai đường cong thuộc nhóm II III 27 3.5 Tìm so sánh đặc trưng SURF với FANN 28 3.6 Các điểm mẫu theo phân bố Gaussian 29 4.1 30 biển báo giao thông 35 4.2 Confusion Matrix theo phương pháp SURF 36 v 4.3 Đặc trưng SURF biển có độ tương đồng cao 37 4.4 Confusion Matrix theo phương pháp đề xuất 38 4.5 Biểu đồ N - phương án tốt 39 vi Danh sách bảng 4.1 Số hiệu tên gọi biển báo giao thông thực nghiệm vii 34 Các ký hiệu viết tắt QCVN UNECE TT BGTVT ROI CPU GPU RAM LOG SIFT SURF HOG BRIEF BRISK Quy chuẩn Việt Nam United Nations Economic Commission for Europe Thông tư Bộ Giao Thông Vận Tải Region of interest Central processing unit Graphics processing unit Ramdom access memory Laplacian of Gaussian Scale-invariant feature transform Speeded up robust features Histogram of oriented gradients Binary robust independent elementary features Binary robust invariant scalable keypoints viii Tài liệu tham khảo [1] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool Surf: Speeded up robust features In Computer vision–ECCV 2006, pages 404–417 Springer, 2006 [2] Michael Calonder, Vincent Lepetit, Christoph Strecha, and Pascal Fua Brief: Binary robust independent elementary features Computer Vision–ECCV 2010, pages 778–792, 2010 [3] John Canny A computational approach to edge detection IEEE Transactions on Pattern Analysis and Machine Intelligence, (6):679–698, 1986 [4] Krzysztof Ciesielski et al On stefan banach and some of his results Banach Journal of Mathematical Analysis, 1(1):1–10, 2007 [5] Timothy F Cootes, Gareth J Edwards, and Christopher J Taylor Active appearance models IEEE Transactions on Pattern Analysis & Machine Intelligence, (6):681–685, 2001 [6] Marcin L Eichner and Toby P Breckon Integrated speed limit detection and recognition from real-time video In Intelligent Vehicles Symposium, 2008 IEEE, pages 626–631 IEEE, 2008 [7] Michele Fornaciari, Andrea Prati, and Rita Cucchiara A fast and effective ellipse detector for embedded vision applications Pattern Recognition, 47 (11):3693–3708, 2014 [8] Jack Greenhalgh and Majid Mirmehdi Traffic sign recognition using mser and random forests In Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European, pages 1935–1939 IEEE, 2012 [9] Alfred Haar Zur theorie der orthogonalen funktionensysteme Mathematische Annalen, 69(3):331–371, 1910 [10] Lọc Huỳnh Ngọc Nhận dạng biển báo giao thông sở sử dụng lọc Gabor mạng Nơron PhD thesis, Đại học Đà Nẵng, 2013 [11] Thomas Kailath The divergence and bhattacharyya distance measures in signal selection Communication Technology, IEEE Transactions on, 15(1): 52–60, 1967 41 [12] Solomon Kullback and Richard A Leibler On information and sufficiency The annals of mathematical statistics, pages 79–86, 1951 [13] Henry Oliver Lancaster Chi-Square Distribution Wiley Online Library, 1969 [14] Stefan Leutenegger, Margarita Chli, and Roland Y Siegwart Brisk: Binary robust invariant scalable keypoints In Computer Vision (ICCV), 2011 IEEE International Conference on, pages 2548–2555 IEEE, 2011 [15] Marius Muja and David G Lowe Fast approximate nearest neighbors with automatic algorithm configuration VISAPP (1), 2, 2009 [16] Judith MS Prewitt Object enhancement and extraction Picture processing and Psychopictorics, 10(1):15–19, 1970 [17] Lawrence Gilman Roberts Machine perception of three-dimensional soups PhD thesis, Massachusetts Institute of Technology, 1963 [18] Yossi Rubner, Carlo Tomasi, and Leonidas J Guibas The earth mover’s distance as a metric for image retrieval International journal of computer vision, 40(2):99–121, 2000 [19] Irvin Sobel An isotropic 3× image gradient operator Machine Vision for three-demensional Sciences, 1990 [20] Paul Viola and Michael Jones Rapid object detection using a boosted cascade of simple features In Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on, volume 1, pages I–511 IEEE, 2001 42 [...]... Jack Greenhalgh and Majid Mirmehdi Traffic sign recognition using mser and random forests In Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European, pages 1935–1939 IEEE, 2012 [9] Alfred Haar Zur theorie der orthogonalen funktionensysteme Mathematische Annalen, 69(3):331–371, 1910 [10] Lọc Huỳnh Ngọc Nhận dạng biển báo giao thông trên cơ sở sử dụng bộ lọc Gabor và mạng Nơron PhD... Đại học Đà Nẵng, 2013 [11] Thomas Kailath The divergence and bhattacharyya distance measures in signal selection Communication Technology, IEEE Transactions on, 15(1): 52–60, 1967 41 [12] Solomon Kullback and Richard A Leibler On information and sufficiency The annals of mathematical statistics, pages 79–86, 1951 [13] Henry Oliver Lancaster Chi-Square Distribution Wiley Online Library, 1969 [14] Stefan... algorithm configuration VISAPP (1), 2, 2009 [16] Judith MS Prewitt Object enhancement and extraction Picture processing and Psychopictorics, 10(1):15–19, 1970 [17] Lawrence Gilman Roberts Machine perception of three-dimensional soups PhD thesis, Massachusetts Institute of Technology, 1963 [18] Yossi Rubner, Carlo Tomasi, and Leonidas J Guibas The earth mover’s distance as a metric for image retrieval International... journal of computer vision, 40(2):99–121, 2000 [19] Irvin Sobel An isotropic 3× 3 image gradient operator Machine Vision for three-demensional Sciences, 1990 [20] Paul Viola and Michael Jones Rapid object detection using a boosted cascade of simple features In Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on, volume 1, pages I–511 IEEE, 2001