Nhận dạng biển báo giao thông đường bộ theo thời gian thực trên thiết bị di động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI-2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN VIỆT HÀ HÀ NỘI-2015 Lời cam kết ’Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn hoàn toàn trung thực chưa công bố công trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan nước quốc tế Ngoại trừ tài liệu tham khảo này, luận văn hồn tồn cơng việc riêng tôi.’ Hà Nội, Ngày Chữ ký i Lời cảm ơn Trước tiên, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, PGSTS Nguyễn Việt Hà, người tận tình bảo hướng dẫn tơi suốt trình học tập, nghiên cứu thực luận văn Tôi xin bày tỏ lời cảm ơn sâu sắc đến thầy cô giáo giảng dạy năm đại học cao học, tạo cho điều kiện thuận lợi để học tập nghiên cứu trường Đại Học Công Nghệ - ĐHQGHN Tôi xin chân thành cảm ơn thầy Vũ Quang Dũng thầy Lê Thanh Hà nhiệt tình bảo, tư vấn thắc mắc thời gian học tập hồn thành luận văn Tơi xin gửi lời cảm ơn chân thành tới phịng thí nghiệm cơng nghệ phần mềm Toshiba-UET, anh Vũ Huy Hiển, anh Nguyễn Bảo Ngọc Mọi người tạo điều kiện cho không gian để nghiên cứu trao đổi kinh nghiệm trình học tập thực luận văn Cuối cùng, tơi muốn gửi lời cảm ơn đến gia đình tất bạn bè, người kịp thời động viên giúp đỡ tơi vượt qua khó khăn sống Tôi xin chân thành cảm ơn! ii Mục lục Đặt vấn đề 1.1 Lý chọn đề tài 1.2 Các nghiên cứu liên quan 1.3 Mô tả toán 1.4 Phương pháp đề xuất 1.5 Cấu trúc luận văn Các kiến thức sở 2.1 Hệ thống biển báo giao thôn 2.1.1 2.1.2 2.2 Tổng quan xử lý ảnh 2.2.1 2.2.2 2.2.3 Phương pháp nhận dạng biển báo thời gian thực 3.1 Giới hạn toán 3.2 Phát biển báo giao thôn 3.2.1 3.2.2 3.3 Nhận dạng loại biển báo gia 3.3.1 3.3.2 iii Thực nghiệm 4.1 Cài đặt thuật toán 4.2 Môi trường liệu thực n 4.2.1 4.2.2 4.3 Kết thực nghiệm Kết luận Tài liệu tham khảo iv Danh sách hình vẽ 1.1 Sơ đồ phần nghiên cứu 1.2 Các giao đoạn nhận dạng biển báo giao thôn 2.1 Một vài biển báo giao thông đường Việt N 2.2 Biển báo 122 - Dừng lại 2.3 Biển báo 130 - Hướng phải theo cho xe ch 2.4 Biển báo E,9 - Biển bắt đầu vào khu vực 2.5 Giá long môn 2.6 Sơ đồ kết hợp biển báo cột 2.7 Ví dụ số hoá ảnh 2.8 Ảnh làm mịn với Gaussian Blur 2.9 Các loại biên ảnh 2.10 Tách biên với thuật toán Canny 2.11 Khởi tạo không gian tỷ lệ 2.12 Tìm điểm đặc trưng 2.13 Mô tả điểm đặc trưng 3.1 Các biển báo cấm hiệu lệnh thường gặp 3.2 Ước lượng tâm đường tròn 3.3 Các loại đường cong 3.4 Ghép hai đường cong thuộc nhóm II III 3.5 Tìm so sánh đặc trưng SURF với FANN 3.6 Các điểm mẫu theo phân bố Gaussian 4.1 30 biển báo giao thông 4.2 Confusion Matrix theo phương pháp SURF v 4.3 Đặc trưng SURF biển có độ tương đồng 4.4 Confusion Matrix theo phương pháp đề xuất 4.5 Biểu đồ N - phương án tốt vi Danh sách bảng 4.1 Số hiệu tên gọi biển báo giao thông thực nghiệm 34 vii Các ký hiệu viết tắt QCVN Quy chuẩn Việt Nam UNECE United Nations Economic Commission for Europe TT Thông tư BGTVT Bộ Giao Thông Vận Tải ROI Region of interest CPU Central processing unit GPU Graphics processing unit RAM Ramdom access memory LOG Laplacian of Gaussian SIFT Scale-invariant feature transform SURF Speeded up robust features HOG Histogram of oriented gradients BRIEF Binary robust independent elementary features BRISK Binary robust invariant scalable keypoints viii ementary features)[2] BRISK (Binary robust invariant scalable keypoints) [14] ví dụ điển hình Qua nghiên cứu tìm hiểu nhận thấy sử dụng đặc trưng nhị phân hoá phụ thuộc điểm ảnh hướng khả quan cho toán nhận dạng biển báo giao thông Chúng đề xuất sử dụng tư tưởng phương pháp lấy đặc trưng nhị phân giải thuật BRIEF kết hợp với việc lấy mẫu theo phân bố Gaussian giải thuật BRISK để trích chọn đặc trưng biển báo Mỗi biển báo sau phân tích trích chọn đặc trưng đặc tả dạng chuỗi nhị phân mang tính chất riêng Việc thực so khớp biển báo việc tính tương đồng hai chuỗi nhị phân đặc biển báo Quá trình lấy mẫu đặc tả nhị phân hố phụ thuộc điểm ảnh thực chi tiết sau: • Chọn lọc điểm mẫu: Với đầu vào ảnh hình vng có khả chứa biển báo - ảnh tiền đoán chuẩn hố giai đoạn phát chúng tơi xác định điểm mẫu qua phân bố Gaussian để tính khoảng cách từ tâm ảnh đến điểm mẫu Tâm ảnh điểm mẫu Hình 3.6: Các điểm mẫu theo phân bố Gaussian Các điểm mẫu nằm đường tròn đồng tâm trực quan hố hình 3.6 • Trích chọn đặc trưng: Cũng tên gọi đặc trưng nhị phân hoá phụ thuộc điểm ảnh tập hợp giá trị nhị phân đặc trưng cho phụ thuộc cặp điểm ảnh Sự phụ thuộc quan tâm trường hợp cường độ sáng hai điểm ảnh Nếu cường độ sáng điểm ảnh 29 A(x1, y1) lớn cường độ sáng điểm B(x2, y2) giá trị nhị phân biểu diễn phụ thuộc hai điểm ảnh 1, ngược lại Bằng cách chọn điểm A(x 1, y1), B(x2, y2) khác thuộc tập điểm mẫu để tính phụ thuộc lẫn chúng thu dãy giá trị nhị phân đặc trưng cho ảnh đầu vào Sắp xếp dãy điểm lấy mẫu theo thứ tự gần tâm ảnh từ phía theo hướng kim đồng hồ đứng trước thu dãy gọi dãy điểm mẫu Bằng cách duyệt từ đầu đến cuối dãy điểm mẫu sử dụng phương án lấy cặp điểm A(x 1, y1), B(x2, y2) để tính phụ thuộc sau: – Chọn A(x1, y1), B(x2, y2) điểm liên tiếp gần kề dãy điểm mẫu – Chọn A(x1, y1), B(x2, y2) điểm liên tiếp cách điểm dãy điểm mẫu – Chọn A(x1, y1), B(x2, y2) điểm liên tiếp cách 13 điểm dãy điểm mẫu Ví dụ với D dãy điểm mẫu chứa 15 điểm mẫu: D = {x0(50, 50), x1(51, 51), x2(50, 52), x3(49, 51), x4(48, 50), x5(48, 48), x6(50, 48), x7(51, 49), x8(53, 50), x9(53, 52), x10(52, 53), x11(50, 53), x12(48, 53), x13(47, 52), x14(46, 51)} Và d mảng chứa cường độ sáng điểm x0, x1 x14: d = [210, 207, 207, 213, 220, 211, 255, 199, 202, 204, 211, 198, 200, 210, 220] Bằng phương pháp chọn lấy cặp để tính đặc trưng đề xuất thu tập cặp điểm mẫu sau: f(x0;x1);(x1;x2);(x2;x3);(x3;x4);(x4;x5);(x0;x5);(x5;x6);(x1;x6) (x6;x7);(x2;x7);(x7;x8);(x3;x8);(x8;x9);(x4;x9);(x9;x10);(x5;x10) (x10;x11);(x6;x11);(x11;x12);(x7;x12);(x12;x13);(x8;x13);(x0;x13) (x13;x14);(x9;x14);(x1;x14)g Qua việc so sánh cường độ sáng điểm mảng d thu dãy nhị phân S đặc tả cho vùng ảnh chứa điểm mẫu tập D có dạng S = "11001000110111011100011000" Dãy nhị phân S thu qua q trình nhị phân hố phụ thuộc điểm ảnh dùng để lưu trữ sở để so sánh tính tốn độ tương đồng 30 hai ảnh Chúng sử dụng độ đo Hamming cho dãy nhị phân để so sánh hai dãy nhị phân tính trọng số tương đồng hai ảnh mà hai dãy đặc tả Trong toán nhận dạng biển báo giao thông đường Việt Nam sửa dụng giá trị sau cho giai đoạn nhận dang biển báo với đặc trưng nhị phân hoá điểm ảnh Sigma hàm Gaussian s = 1.4, số điểm mẫu 312 điểm ảnh có kích thước 100x100 px 31 Chương Thực nghiệm 4.1 Cài đặt thuật toán Các bước cài đặt thực với ngôn ngữ C++ kết hợp với thư viện OpenCV Giai đoạn phát biển báo giao thông đường cài đặt đủ hai phương pháp nhận diện hình trịn nhận diện hình ellipse Q trình cài đặt phương pháp phát biển báo hình trịn ảnh ban đầu sử dụng ngơn ngữ lập trình Java cho kết tốt độ xác thời gian xử lý lớn Sau tham khảo ý kiến chuyên môn chuyển sang sử dụng ngôn ngữ C++ để cài đặt nhằm rút ngắn thời gian xử lý tối ưu tài nguyên kết hợp với thư viện OpenCV Giai đoạn nhận dạng biển báo giao thông đường cài đặt hai phương pháp nêu, sau sử dụng phương pháp đề xuất để thực ghép với pha phát biển báo giao thơng đường Bên cạnh cài đặt nhận dạng biển báo giao thơng thuật tốn SURF nhằm so sánh đánh giá thuật toán đề xuất Cả hai cách cài đặt chạy ổn định môi trường hệ điều hành Mac OSX hệ điều hành Android 4.2 Môi trường liệu thực nghiệm 4.2.1 Môi trường Chúng tiến hành thực nghiệm hệ điều hành Mac OSX 10.10 với cấu hình phần cứng chi tiết sau: • Model: Macbook ME865 • CPU: Core i7-4558U 4MB shared L3 cache • GPU: Intel Iris 5100 32 • RAM: 8G 1600 MHz PC3-12800 Ngồi ra, chúng tơi sử dụng thiết bị di động thông minh sau để cài đặt phần mềm, phục vụ thử nghiệm nhận dạng biển báo giao thơng đường thực tế: • Model: Samsung Galaxy S3 - I9300 – CPU: 1.4 GHz quad-core ARM Cortex-A9 – GPU: ARM Mali-400 MP4 – RAM: 1G – Hệ điều hành: Android Jelly Bean 4.1.2 • Model: Sony Xperia Z3 - D6653 – CPU: 2.5 GHz quad-core Qualcomm Snapdragon 801 – GPU: Adreno 330 578MHz – RAM: 3G – Hệ điều hành: Android Kitkat 4.4 Trong thực nghiệm chúng tơi có sử dụng thư viện ngồi OpenCV (Open source computer vision) OpenCV thư viện hỗ trợ việc tăng hiệu tính tốn, tâp trung lớn vào việc xử lý thời gian thực ứng dụng lĩnh vực thị giác máy OpenCV thư viện mã nguồn mở phát hành với giấy phép quyền BSD miễn phí cho mục đích nghiên cứu thương mại Qua 15 năm phát triển OpenCV sử dụng với ngơn ngữ C, C++, Python, Java hỗ trợ nhiều hệ điều hành Windows, Linux, Mac OSX, iOS, Android, BB10 Với thực nghiệm thiết bị di động chúng tơi có sử dụng thêm Android SDK , Android JNI 4.2.2 Dữ liệu biển báo giao thông đường Dữ liệu biển báo giao thông đường dùng làm thực nghiệm gồm 30 biển báo hình 4.1 Các biển báo có số hiệu theo quy chuẩn tương ứng với tên gọi chi tiết bảng 4.1 http://opencv.org/ http://developer.android.com/intl/vi/sdk/index.html http://developer.android.com/training/articles/perf-jni.html 33 Mã số Tên gọi 101 Đường cấm 103a Cấm ôtô 103c Cấm ôtô rẽ phải 105 Cấm ôtô môtô 106b Cấm ôtô tải theo trọng lượng 108 Cấm ôtô, máy kéo 114 Cấm xe súc vật kéo 118 Hạn chế chiều ngang 120 Hạn chế chiều dài ôtô kéo 123b Cấm rẽ phải 124b Cấm ôtô quay đầu xe 127 Tốc độ tối đa cho phép 129 Dừng xe kiểm tra 136 Cấm thẳng 138 Cấm thẳng rẽ trái Bảng 4.1: Số hiệu tên gọi biển báo giao thơng thực nghiệm 34 Hình 4.1: 30 biển báo giao thông 4.3 Kết thực nghiệm Thực nghiệm phương pháp nhận dạng biển báo giao thông đường với đặc trưng SURF cho kết nhận dạng khả quan cịn nhiều biển báo giao thơng đường nhận dạng sang biển bác khác Với thực nghiệm 100 ảnh loại biển báo thu ma trận Confusion hình 4.2 Đối với hai biển báo 101 (Biển báo đường cấm) biển báo 102 (Biển báo cấm ngược chiều) thuật tốn SURF trả q đặc trưng để nhận dạng cấu trúc hình học màu sắc hai biển đơn giản Nên biển 101 nhận dạng dùng đặc trưng SURF, biển 102 tồn nhiều góc quay độ nghiêng khác mà thuật toán nhận dạng SURF khơng thu nhận đủ đặc 35 Hình 4.2: Confusion Matrix theo phương pháp SURF trưng Các trường hợp nhận dạng sang biển báo khác đặc trưng biển báo thu từ thuật tốn SURF có số lượng số điểm ảnh biển báo khung hình thu nhận nhỏ số nhóm biển báo có hình dạng tương tự Ví dụ thấy biển báo hình 4.3 Kết thực nghiệm phương pháp nhận dạng biển báo giáo thông đường sử dụng đặc trưng nhị phân hoá phụ thuộc điểm ảnh cho kết tốt hơn, giảm thiểu nhiều việc nhận dạng nhầm, không nhận dạng phương pháp sử dụng đặc trưng SURF Độ xác thuật tốn thử nghiệm 100 ảnh loại biển báo thể qua ma trận Confusion hình 4.4 Một thước đo để đánh giá phù hợp thuật toán nhận dạng biểu đồ N - phương án tốt Biểu đồ cho biết khả tăng tính xác 36 Hình 4.3: Đặc trưng SURF biển có độ tương đồng cao tăng dần kích thước tập kết đốn nhận thuật toán Trong trường hợp toán nhận dạng 30 biển báo giao thơng đường Việt Nam phương án đưa ảnh tiền đoán giống biển báo, giống biển báo, giống biển báo giống 30 biển báo Giá trị độ xác thuật tốn biển đồ hội tụ sớm 100% thuật tốn cho tối ưu Hình 4.5 biểu diễn giá trị hai thuật toán SURF thuật tốn đề xuất Thời gian xử lý tính tốn chương trình nhận dạng biển báo giao thơng đường thiết bị di động khả quan Với dịng điện thoại Samsung Galaxy S3 thời gian thu hình kiểm tra có biển báo khung hình 140ms Với dịng điện thoại cấu hình cao Sony Z3 thời gian xử lý giảm xuống cịn 80ms Kết cho thấy việc ứng dụng thuật tốn vào nhận diện biển báo giao thơng đường Việt Nam thiết bị di động theo thời gian thực hồn tồn khả thi 37 Hình 4.4: Confusion Matrix theo phương pháp đề xuất 38 Hình 4.5: Biểu đồ N - phương án tốt 39 Chương Kết luận Luận văn nghiên cứu áp dụng kiến thức xử lý ảnh, quy trình cần thiết để xây dựng phương pháp nhận dạng biển báo giao thông đường Việt Nam theo thời gian thực thiết bị động Phương pháp nhận dạng biển báo giao thông đường Việt Nam đề xuất cho kết ổn định Phương pháp đưa cho phép nhận dạng hầu hết biển báo cấm, biển hiệu lệnh mơi trường ánh sáng đồng nhiều góc nhìn khác Kết luận văn cho phép xây dựng chương trình phát đốn nhận biển báo giao thơng xác với tốc độ cao thiết bị tài nguyên hạn chế thiết bị di động Phương pháp đưa cho phép thực nhiều ứng dụng thực tế ứng dụng giáo dục biển báo cho trẻ em điện thoại di động, ứng dụng nhắc nhở tài xế tuyến đường không đỗ xe phố dựa biển cấm dừng, cấm đỗ Thông báo đoạn đường giới hạn tốc độ, đường cấm lắp biển báo hiệu, tích hợp vào hệ thống xe ơtơ tự hành, xây dựng sở liệu toạ độ biển báo giáo thơng đường trực quan xác Cũng ứng dụng nhận dạng vật thể phẳng khác thực tế Hướng phát triển nâng cao hiệu xuất nhận dạng độ xác việc áp dụng học máy thực chọn lựa cách nhị phân hoá phụ thuộc điểm ảnh Cũng cải thiện thuật toán phát để xử lý với đầy đủ biển báo giao thông Xây dựng phần mềm điện thoại thông minh Android để hỗ trợ tài xế tập trung lái xe đảm bảo an tồn giao thơng 40 Tài liệu tham khảo [1] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool Surf: Speeded up robust features In Computer vision–ECCV 2006, pages 404–417 Springer, 2006 [2] Michael Calonder, Vincent Lepetit, Christoph Strecha, and Pascal Fua Brief: Binary robust independent elementary features Computer Vision–ECCV 2010, pages 778–792, 2010 [3] John Canny A computational approach to edge detection IEEE Transactions on Pattern Analysis and Machine Intelligence, (6):679–698, 1986 [4] Krzysztof Ciesielski et al On stefan banach and some of his results Banach Journal of Mathematical Analysis, 1(1):1–10, 2007 [5] Timothy F Cootes, Gareth J Edwards, and Christopher J Taylor Active ap-pearance models IEEE Transactions on Pattern Analysis & Machine Intelli-gence, (6):681–685, 2001 [6] Marcin L Eichner and Toby P Breckon Integrated speed limit detection and recognition from real-time video In Intelligent Vehicles Symposium, 2008 IEEE, pages 626–631 IEEE, 2008 [7] Michele Fornaciari, Andrea Prati, and Rita Cucchiara A fast and effective ellipse detector for embedded vision applications Pattern Recognition, 47 (11):3693–3708, 2014 [8] Jack Greenhalgh and Majid Mirmehdi Traffic sign recognition using mser and random forests In Signal Processing Conference (EUSIPCO), 2012 Pro-ceedings of the 20th European, pages 1935–1939 IEEE, 2012 [9] Alfred Haar Zur theorie der orthogonalen funktionensysteme Mathematis-che Annalen, 69(3):331–371, 1910 [10] Lọc Huỳnh Ngọc Nhận dạng biển báo giao thông sở sử dụng lọc Gabor mạng Nơron PhD thesis, Đại học Đà Nẵng, 2013 [11] Thomas Kailath The divergence and bhattacharyya distance measures in signal selection Communication Technology, IEEE Transactions on, 15(1): 52–60, 1967 41 [12] Solomon Kullback and Richard A Leibler On information and sufficiency The annals of mathematical statistics, pages 79–86, 1951 [13] Henry Oliver Lancaster Chi-Square Distribution Wiley Online Library, 1969 [14] Stefan Leutenegger, Margarita Chli, and Roland Y Siegwart Brisk: Binary robust invariant scalable keypoints In Computer Vision (ICCV), 2011 IEEE International Conference on, pages 2548–2555 IEEE, 2011 [15] Marius Muja and David G Lowe Fast approximate nearest neighbors with automatic algorithm configuration VISAPP (1), 2, 2009 [16] Judith MS Prewitt Object enhancement and extraction Picture processing and Psychopictorics, 10(1):15–19, 1970 [17] Lawrence Gilman Roberts Machine perception of threedimensional soups PhD thesis, Massachusetts Institute of Technology, 1963 [18] Yossi Rubner, Carlo Tomasi, and Leonidas J Guibas The earth mover’s dis-tance as a metric for image retrieval International journal of computer vi-sion, 40(2):99–121, 2000 [19] Irvin Sobel An isotropic 3 image gradient operator Machine Vision for three-demensional Sciences, 1990 [20] Paul Viola and Michael Jones Rapid object detection using a boosted cas-cade of simple features In Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on, volume 1, pages I–511 IEEE, 2001 42 ... Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG... Các giao đoạn nhận dạng biển báo giao thôn 2.1 Một vài biển báo giao thông đường Việt N 2.2 Biển báo 122 - Dừng lại 2.3 Biển báo 130 - Hướng phải theo cho xe ch 2.4 Biển báo E,9... giao thông hay không đưa loại biển báo mà ảnh có chứa Từ việc xây dựng thuật toán xử lý ảnh để nhận dạng biển báo giao thông theo thời gian thực, áp dụng kỹ thuật để nhận dạng hình ảnh biển báo