Nhận dạng biển báo giao thông đường bộ theo thời gian thực trên thiết bị di động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI-2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phùng Duy Dũng NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ THEO THỜI GIAN THỰC TRÊN THIẾT BỊ DI ĐỘNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN VIỆT HÀ HÀ NỘI-2015 Lời cam kết ’Tôi xin cam đoan luận văn công trình nghiên cứu riêng Các số liệu, kết trình bày luận văn hoàn toàn trung thực chưa công bố công trình khác Tôi trích dẫn đầy đủ tài liệu tham khảo, công trình nghiên cứu liên quan nước quốc tế Ngoại trừ tài liệu tham khảo này, luận văn hoàn toàn công việc riêng tôi.’ Hà Nội, Ngày tháng năm 2015 Chữ ký i Lời cảm ơn Trước tiên, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, PGS-TS Nguyễn Việt Hà, người tận tình bảo hướng dẫn suốt trình học tập, nghiên cứu thực luận văn Tôi xin bày tỏ lời cảm ơn sâu sắc đến thầy cô giáo giảng dạy năm đại học cao học, tạo cho điều kiện thuận lợi để học tập nghiên cứu trường Đại Học Công Nghệ - ĐHQGHN Tôi xin chân thành cảm ơn thầy Vũ Quang Dũng thầy Lê Thanh Hà nhiệt tình bảo, tư vấn thắc mắc thời gian học tập hoàn thành luận văn Tôi xin gửi lời cảm ơn chân thành tới phòng thí nghiệm công nghệ phần mềm Toshiba-UET, anh Vũ Huy Hiển, anh Nguyễn Bảo Ngọc Mọi người tạo điều kiện cho không gian để nghiên cứu trao đổi kinh nghiệm trình học tập thực luận văn Cuối cùng, muốn gửi lời cảm ơn đến gia đình tất bạn bè, người kịp thời động viên giúp đỡ vượt qua khó khăn sống Tôi xin chân thành cảm ơn! ii Mục lục Đặt vấn đề 1.1 Lý chọn đề tài 1.2 Các nghiên cứu liên quan 1.3 Mô tả toán 1.4 Phương pháp đề xuất 1.5 Cấu trúc luận văn Các kiến thức sở 2.1 Hệ thống biển báo giao thông đường 2.1.1 Hệ thống biển báo giao thông đường giới 2.1.2 Hệ thống biển báo giao thông đường Việt Nam Tổng quan xử lý ảnh 13 2.2.1 Các khái niệm xử lý ảnh 13 2.2.2 Các kỹ thuật tiền xử lý ảnh 14 2.2.3 Các kỹ thuật nhận dạng ảnh 17 2.2 Phương pháp nhận dạng biển báo thời gian thực 22 3.1 Giới hạn toán 22 3.2 Phát biển báo giao thông đường 23 3.2.1 Phát hình tròn 23 3.2.2 Phát hình ellipse 25 Nhận dạng loại biển báo giao thông đường 28 3.3.1 Nhận dạng qua điểm đặc trưng cục 28 3.3.2 Nhận dạng qua nhị phân hoá phụ thuộc điểm ảnh 28 3.3 iii Thực nghiệm 32 4.1 Cài đặt thuật toán 32 4.2 Môi trường liệu thực nghiệm 32 4.2.1 Môi trường 32 4.2.2 Dữ liệu biển báo giao thông đường 33 Kết thực nghiệm 35 4.3 Kết luận 40 Tài liệu tham khảo 40 iv Danh sách hình vẽ 1.1 Sơ đồ phần nghiên cứu 1.2 Các giao đoạn nhận dạng biển báo giao thông 2.1 Một vài biển báo giao thông đường Việt Nam 2.2 Biển báo 122 - Dừng lại 2.3 Biển báo 130 - Hướng phải theo cho xe chở hàng nguy hiểm 2.4 Biển báo E,9 - Biển bắt đầu vào khu vực 10 2.5 Giá long môn 12 2.6 Sơ đồ kết hợp biển báo cột 12 2.7 Ví dụ số hoá ảnh 13 2.8 Ảnh làm mịn với Gaussian Blur 15 2.9 Các loại biên ảnh 16 2.10 Tách biên với thuật toán Canny 17 2.11 Khởi tạo không gian tỷ lệ 19 2.12 Tìm điểm đặc trưng 20 2.13 Mô tả điểm đặc trưng 21 3.1 Các biển báo cấm hiệu lệnh thường gặp 23 3.2 Ước lượng tâm đường tròn 25 3.3 Các loại đường cong 26 3.4 Ghép hai đường cong thuộc nhóm II III 27 3.5 Tìm so sánh đặc trưng SURF với FANN 28 3.6 Các điểm mẫu theo phân bố Gaussian 29 4.1 30 biển báo giao thông 35 4.2 Confusion Matrix theo phương pháp SURF 36 v 4.3 Đặc trưng SURF biển có độ tương đồng cao 37 4.4 Confusion Matrix theo phương pháp đề xuất 38 4.5 Biểu đồ N - phương án tốt 39 vi Danh sách bảng 4.1 Số hiệu tên gọi biển báo giao thông thực nghiệm vii 34 Các ký hiệu viết tắt QCVN UNECE TT BGTVT ROI CPU GPU RAM LOG SIFT SURF HOG BRIEF BRISK Quy chuẩn Việt Nam United Nations Economic Commission for Europe Thông tư Bộ Giao Thông Vận Tải Region of interest Central processing unit Graphics processing unit Ramdom access memory Laplacian of Gaussian Scale-invariant feature transform Speeded up robust features Histogram of oriented gradients Binary robust independent elementary features Binary robust invariant scalable keypoints viii 3.3 3.3.1 Nhận dạng loại biển báo giao thông đường Nhận dạng qua điểm đặc trưng cục Sử dụng đặc trưng điểm cục bất biến để so sánh ảnh mang lại kết tốt nhiều trường hợp Khi áp dụng vào toán nhận dạng biển báo giao thông đường theo thời gian thực thiết bị di động SURF thuật toán trích chọn đặc trưng cục phù hợp thời gian tài nguyên sử dụng Các điểm đặc bất biến trích chọn từ SURF không bị ảnh hưởng góc quay thiết bị thu cường độ ánh sáng khác ảnh thu nhận Giai đoạn nhận dạng biển báo chia làm hai phần, phần tìm lưu trữ điểm đặc trưng SURF biển báo từ liệu biển báo giao thông đường Việt Nam quy chuẩn tạo thành liệu mẫu hay gọi liệu học Bước thứ hai tìm so khớp biển báo tiền đoán từ giai đoạn phát biển báo với liệu học Việc so khớp đặc trưng SURF sử dụng phương pháp FANN (Fast Approximate Nearest Neighbors) [15] Với số lượng đặc trưng SURF thu từ ảnh tiền đoán đủ nhiều trùng khớp nhiều với biển báo liệu học kết luận ảnh tiền đoán nhận biển báo có số hiệu trùng khớp Mô hình hoá việc tìm so sánh đặc trưng SURF FANN thể hình 3.5 Hình 3.5: Tìm so sánh đặc trưng SURF với FANN Sau triển khai pha nhận dạng thuật toán SURF kết không đạt mong đợi vùng chứa biển báo giao thông đường ảnh thu nhận thường nhỏ có nhiều điểm tương đồng với biển báo khác, gây nên nhập nhằng bước so sánh với tập biển báo mẫu, đoán nhận nhầm biển báo Với thực tế tiếp tục nghiên cứu chọn lọc phương pháp nhận dạng thoả mãn tiêu chí thời gian, tài nguyên sử dụng độ xác 3.3.2 Nhận dạng qua nhị phân hoá phụ thuộc điểm ảnh Những năm gần đây, đặc trưng trích chọn để xử lý ảnh dạng nhị phân có nhiều nghiên cứu bật Hai thuật toán BRIEF (Binary robust independent el28 ementary features)[2] BRISK (Binary robust invariant scalable keypoints)[14] ví dụ điển hình Qua nghiên cứu tìm hiểu nhận thấy sử dụng đặc trưng nhị phân hoá phụ thuộc điểm ảnh hướng khả quan cho toán nhận dạng biển báo giao thông Chúng đề xuất sử dụng tư tưởng phương pháp lấy đặc trưng nhị phân giải thuật BRIEF kết hợp với việc lấy mẫu theo phân bố Gaussian giải thuật BRISK để trích chọn đặc trưng biển báo Mỗi biển báo sau phân tích trích chọn đặc trưng đặc tả dạng chuỗi nhị phân mang tính chất riêng Việc thực so khớp biển báo việc tính tương đồng hai chuỗi nhị phân đặc biển báo Quá trình lấy mẫu đặc tả nhị phân hoá phụ thuộc điểm ảnh thực chi tiết sau: • Chọn lọc điểm mẫu: Với đầu vào ảnh hình vuông có khả chứa biển báo - ảnh tiền đoán chuẩn hoá giai đoạn phát - xác định điểm mẫu qua phân bố Gaussian để tính khoảng cách từ tâm ảnh đến điểm mẫu Tâm ảnh điểm mẫu Hình 3.6: Các điểm mẫu theo phân bố Gaussian Các điểm mẫu nằm đường tròn đồng tâm trực quan hoá hình 3.6 • Trích chọn đặc trưng: Cũng tên gọi đặc trưng nhị phân hoá phụ thuộc điểm ảnh tập hợp giá trị nhị phân đặc trưng cho phụ thuộc cặp điểm ảnh Sự phụ thuộc quan tâm trường hợp cường độ sáng hai điểm ảnh Nếu cường độ sáng điểm ảnh 29 A(x1 , y1 ) lớn cường độ sáng điểm B(x2 , y2 ) giá trị nhị phân biểu diễn phụ thuộc hai điểm ảnh 1, ngược lại Bằng cách chọn điểm A(x1 , y1 ), B(x2 , y2 ) khác thuộc tập điểm mẫu để tính phụ thuộc lẫn chúng thu dãy giá trị nhị phân đặc trưng cho ảnh đầu vào Sắp xếp dãy điểm lấy mẫu theo thứ tự gần tâm ảnh từ phía theo hướng kim đồng hồ đứng trước thu dãy gọi dãy điểm mẫu Bằng cách duyệt từ đầu đến cuối dãy điểm mẫu sử dụng phương án lấy cặp điểm A(x1 , y1 ), B(x2 , y2 ) để tính phụ thuộc sau: – Chọn A(x1 , y1 ), B(x2 , y2 ) điểm liên tiếp gần kề dãy điểm mẫu – Chọn A(x1 , y1 ), B(x2 , y2 ) điểm liên tiếp cách điểm dãy điểm mẫu – Chọn A(x1 , y1 ), B(x2 , y2 ) điểm liên tiếp cách 13 điểm dãy điểm mẫu Ví dụ với D dãy điểm mẫu chứa 15 điểm mẫu: D = {x0 (50, 50), x1 (51, 51), x2 (50, 52), x3 (49, 51), x4 (48, 50), x5 (48, 48), x6 (50, 48), x7 (51, 49), x8 (53, 50), x9 (53, 52), x10 (52, 53), x11 (50, 53), x12 (48, 53), x13 (47, 52), x14 (46, 51)} Và d mảng chứa cường độ sáng điểm x0 , x1 x14 : d = [210, 207, 207, 213, 220, 211, 255, 199, 202, 204, 211, 198, 200, 210, 220] Bằng phương pháp chọn lấy cặp để tính đặc trưng đề xuất thu tập cặp điểm mẫu sau: {(x0 , x1 ), (x1 , x2 ), (x2 , x3 ), (x3 , x4 ), (x4 , x5 ), (x0 , x5 ), (x5 , x6 ), (x1 , x6 ) (x6 , x7 ), (x2 , x7 ), (x7 , x8 ), (x3 , x8 ), (x8 , x9 ), (x4 , x9 ), (x9 , x10 ), (x5 , x10 ) (x10 , x11 ), (x6 , x11 ), (x11 , x12 ), (x7 , x12 ), (x12 , x13 ), (x8 , x13 ), (x0 , x13 ) (x13 , x14 ), (x9 , x14 ), (x1 , x14 )} Qua việc so sánh cường độ sáng điểm mảng d thu dãy nhị phân S đặc tả cho vùng ảnh chứa điểm mẫu tập D có dạng S = "11001000110111011100011000" Dãy nhị phân S thu qua trình nhị phân hoá phụ thuộc điểm ảnh dùng để lưu trữ sở để so sánh tính toán độ tương đồng 30 hai ảnh Chúng sử dụng độ đo Hamming cho dãy nhị phân để so sánh hai dãy nhị phân tính trọng số tương đồng hai ảnh mà hai dãy đặc tả Trong toán nhận dạng biển báo giao thông đường Việt Nam sửa dụng giá trị sau cho giai đoạn nhận dang biển báo với đặc trưng nhị phân hoá điểm ảnh Sigma hàm Gaussian σ = 1.4, số điểm mẫu 312 điểm ảnh có kích thước 100x100 px 31 Chương Thực nghiệm 4.1 Cài đặt thuật toán Các bước cài đặt thực với ngôn ngữ C++ kết hợp với thư viện OpenCV Giai đoạn phát biển báo giao thông đường cài đặt đủ hai phương pháp nhận diện hình tròn nhận diện hình ellipse Quá trình cài đặt phương pháp phát biển báo hình tròn ảnh ban đầu sử dụng ngôn ngữ lập trình Java cho kết tốt độ xác thời gian xử lý lớn Sau tham khảo ý kiến chuyên môn chuyển sang sử dụng ngôn ngữ C++ để cài đặt nhằm rút ngắn thời gian xử lý tối ưu tài nguyên kết hợp với thư viện OpenCV Giai đoạn nhận dạng biển báo giao thông đường cài đặt hai phương pháp nêu, sau sử dụng phương pháp đề xuất để thực ghép với pha phát biển báo giao thông đường Bên cạnh cài đặt nhận dạng biển báo giao thông thuật toán SURF nhằm so sánh đánh giá thuật toán đề xuất Cả hai cách cài đặt chạy ổn định môi trường hệ điều hành Mac OSX hệ điều hành Android 4.2 4.2.1 Môi trường liệu thực nghiệm Môi trường Chúng tiến hành thực nghiệm hệ điều hành Mac OSX 10.10 với cấu hình phần cứng chi tiết sau: • Model: Macbook ME865 • CPU: Core i7-4558U 4MB shared L3 cache • GPU: Intel Iris 5100 32 • RAM: 8G 1600 MHz PC3-12800 Ngoài ra, sử dụng thiết bị di động thông minh sau để cài đặt phần mềm, phục vụ thử nghiệm nhận dạng biển báo giao thông đường thực tế: • Model: Samsung Galaxy S3 - I9300 – CPU: 1.4 GHz quad-core ARM Cortex-A9 – GPU: ARM Mali-400 MP4 – RAM: 1G – Hệ điều hành: Android Jelly Bean 4.1.2 • Model: Sony Xperia Z3 - D6653 – CPU: 2.5 GHz quad-core Qualcomm Snapdragon 801 – GPU: Adreno 330 578MHz – RAM: 3G – Hệ điều hành: Android Kitkat 4.4 Trong thực nghiệm có sử dụng thư viện OpenCV1 (Open source computer vision) OpenCV thư viện hỗ trợ việc tăng hiệu tính toán, tâp trung lớn vào việc xử lý thời gian thực ứng dụng lĩnh vực thị giác máy OpenCV thư viện mã nguồn mở phát hành với giấy phép quyền BSD miễn phí cho mục đích nghiên cứu thương mại Qua 15 năm phát triển OpenCV sử dụng với ngôn ngữ C, C++, Python, Java hỗ trợ nhiều hệ điều hành Windows, Linux, Mac OSX, iOS, Android, BB10 Với thực nghiệm thiết bị di động có sử dụng thêm Android Android JNI3 SDK2 , 4.2.2 Dữ liệu biển báo giao thông đường Dữ liệu biển báo giao thông đường dùng làm thực nghiệm gồm 30 biển báo hình 4.1 Các biển báo có số hiệu theo quy chuẩn tương ứng với tên gọi chi tiết bảng 4.1 http://opencv.org/ http://developer.android.com/intl/vi/sdk/index.html http://developer.android.com/training/articles/perf-jni.html 33 Mã số Tên gọi Mã số Tên gọi 101 Đường cấm 102 Cấm ngược chiều 103a Cấm ôtô 103b Cấm ôtô rẽ trái 103c Cấm ôtô rẽ phải 104 Cấm môtô 105 Cấm ôtô môtô 106a Cấm ôtô tải 106b Cấm ôtô tải theo trọng lượng 107 Cấm ôtô khách ôtô tải 108 Cấm ôtô, máy kéo 112 Cấm người 114 Cấm xe súc vật kéo 117 Hạn chế chiều cao 118 Hạn chế chiều ngang 119 Hạn chế chiều dài ôtô 120 Hạn chế chiều dài ôtô kéo 123a Cấm rẽ trái 123b Cấm rẽ phải 124a Cấm quay xe 124b Cấm ôtô quay đầu xe 125 Cấm vượt 127 Tốc độ tối đa cho phép 128 Cấm sử dụng còi 129 Dừng xe kiểm tra 132 Nhường đường cho xe ngược chiều 136 Cấm thẳng 137 Cấm rẽ trái rẽ phải 138 Cấm thẳng rẽ trái 139 Cấm thẳng rẽ phải Bảng 4.1: Số hiệu tên gọi biển báo giao thông thực nghiệm 34 Hình 4.1: 30 biển báo giao thông 4.3 Kết thực nghiệm Thực nghiệm phương pháp nhận dạng biển báo giao thông đường với đặc trưng SURF cho kết nhận dạng khả quan nhiều biển báo giao thông đường nhận dạng sang biển bác khác Với thực nghiệm 100 ảnh loại biển báo thu ma trận Confusion hình 4.2 Đối với hai biển báo 101 (Biển báo đường cấm) biển báo 102 (Biển báo cấm ngược chiều) thuật toán SURF trả đặc trưng để nhận dạng cấu trúc hình học màu sắc hai biển đơn giản Nên biển 101 nhận dạng dùng đặc trưng SURF, biển 102 tồn nhiều góc quay độ nghiêng khác mà thuật toán nhận dạng SURF không thu nhận đủ đặc 35 Hình 4.2: Confusion Matrix theo phương pháp SURF trưng Các trường hợp nhận dạng sang biển báo khác đặc trưng biển báo thu từ thuật toán SURF có số lượng số điểm ảnh biển báo khung hình thu nhận nhỏ số nhóm biển báo có hình dạng tương tự Ví dụ thấy biển báo hình 4.3 Kết thực nghiệm phương pháp nhận dạng biển báo giáo thông đường sử dụng đặc trưng nhị phân hoá phụ thuộc điểm ảnh cho kết tốt hơn, giảm thiểu nhiều việc nhận dạng nhầm, không nhận dạng phương pháp sử dụng đặc trưng SURF Độ xác thuật toán thử nghiệm 100 ảnh loại biển báo thể qua ma trận Confusion hình 4.4 Một thước đo để đánh giá phù hợp thuật toán nhận dạng biểu đồ N - phương án tốt Biểu đồ cho biết khả tăng tính xác 36 Hình 4.3: Đặc trưng SURF biển có độ tương đồng cao tăng dần kích thước tập kết đoán nhận thuật toán Trong trường hợp toán nhận dạng 30 biển báo giao thông đường Việt Nam phương án đưa ảnh tiền đoán giống biển báo, giống biển báo, giống biển báo giống 30 biển báo Giá trị độ xác thuật toán biển đồ hội tụ sớm 100% thuật toán cho tối ưu Hình 4.5 biểu diễn giá trị hai thuật toán SURF thuật toán đề xuất Thời gian xử lý tính toán chương trình nhận dạng biển báo giao thông đường thiết bị di động khả quan Với dòng điện thoại Samsung Galaxy S3 thời gian thu hình kiểm tra có biển báo khung hình 140ms Với dòng điện thoại cấu hình cao Sony Z3 thời gian xử lý giảm xuống 80ms Kết cho thấy việc ứng dụng thuật toán vào nhận diện biển báo giao thông đường Việt Nam thiết bị di động theo thời gian thực hoàn toàn khả thi 37 Hình 4.4: Confusion Matrix theo phương pháp đề xuất 38 Hình 4.5: Biểu đồ N - phương án tốt 39 Chương Kết luận Luận văn nghiên cứu áp dụng kiến thức xử lý ảnh, quy trình cần thiết để xây dựng phương pháp nhận dạng biển báo giao thông đường Việt Nam theo thời gian thực thiết bị động Phương pháp nhận dạng biển báo giao thông đường Việt Nam đề xuất cho kết ổn định Phương pháp đưa cho phép nhận dạng hầu hết biển báo cấm, biển hiệu lệnh môi trường ánh sáng đồng nhiều góc nhìn khác Kết luận văn cho phép xây dựng chương trình phát đoán nhận biển báo giao thông xác với tốc độ cao thiết bị tài nguyên hạn chế thiết bị di động Phương pháp đưa cho phép thực nhiều ứng dụng thực tế ứng dụng giáo dục biển báo cho trẻ em điện thoại di động, ứng dụng nhắc nhở tài xế tuyến đường không đỗ xe phố dựa biển cấm dừng, cấm đỗ Thông báo đoạn đường giới hạn tốc độ, đường cấm lắp biển báo hiệu, tích hợp vào hệ thống xe ôtô tự hành, xây dựng sở liệu toạ độ biển báo giáo thông đường trực quan xác Cũng ứng dụng nhận dạng vật thể phẳng khác thực tế Hướng phát triển nâng cao hiệu xuất nhận dạng độ xác việc áp dụng học máy thực chọn lựa cách nhị phân hoá phụ thuộc điểm ảnh Cũng cải thiện thuật toán phát để xử lý với đầy đủ biển báo giao thông Xây dựng phần mềm điện thoại thông minh Android để hỗ trợ tài xế tập trung lái xe đảm bảo an toàn giao thông 40 Tài liệu tham khảo [1] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool Surf: Speeded up robust features In Computer vision–ECCV 2006, pages 404–417 Springer, 2006 [2] Michael Calonder, Vincent Lepetit, Christoph Strecha, and Pascal Fua Brief: Binary robust independent elementary features Computer Vision–ECCV 2010, pages 778–792, 2010 [3] John Canny A computational approach to edge detection IEEE Transactions on Pattern Analysis and Machine Intelligence, (6):679–698, 1986 [4] Krzysztof Ciesielski et al On stefan banach and some of his results Banach Journal of Mathematical Analysis, 1(1):1–10, 2007 [5] Timothy F Cootes, Gareth J Edwards, and Christopher J Taylor Active appearance models IEEE Transactions on Pattern Analysis & Machine Intelligence, (6):681–685, 2001 [6] Marcin L Eichner and Toby P Breckon Integrated speed limit detection and recognition from real-time video In Intelligent Vehicles Symposium, 2008 IEEE, pages 626–631 IEEE, 2008 [7] Michele Fornaciari, Andrea Prati, and Rita Cucchiara A fast and effective ellipse detector for embedded vision applications Pattern Recognition, 47 (11):3693–3708, 2014 [8] Jack Greenhalgh and Majid Mirmehdi Traffic sign recognition using mser and random forests In Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European, pages 1935–1939 IEEE, 2012 [9] Alfred Haar Zur theorie der orthogonalen funktionensysteme Mathematische Annalen, 69(3):331–371, 1910 [10] Lọc Huỳnh Ngọc Nhận dạng biển báo giao thông sở sử dụng lọc Gabor mạng Nơron PhD thesis, Đại học Đà Nẵng, 2013 [11] Thomas Kailath The divergence and bhattacharyya distance measures in signal selection Communication Technology, IEEE Transactions on, 15(1): 52–60, 1967 41 [12] Solomon Kullback and Richard A Leibler On information and sufficiency The annals of mathematical statistics, pages 79–86, 1951 [13] Henry Oliver Lancaster Chi-Square Distribution Wiley Online Library, 1969 [14] Stefan Leutenegger, Margarita Chli, and Roland Y Siegwart Brisk: Binary robust invariant scalable keypoints In Computer Vision (ICCV), 2011 IEEE International Conference on, pages 2548–2555 IEEE, 2011 [15] Marius Muja and David G Lowe Fast approximate nearest neighbors with automatic algorithm configuration VISAPP (1), 2, 2009 [16] Judith MS Prewitt Object enhancement and extraction Picture processing and Psychopictorics, 10(1):15–19, 1970 [17] Lawrence Gilman Roberts Machine perception of three-dimensional soups PhD thesis, Massachusetts Institute of Technology, 1963 [18] Yossi Rubner, Carlo Tomasi, and Leonidas J Guibas The earth mover’s distance as a metric for image retrieval International journal of computer vision, 40(2):99–121, 2000 [19] Irvin Sobel An isotropic 3× image gradient operator Machine Vision for three-demensional Sciences, 1990 [20] Paul Viola and Michael Jones Rapid object detection using a boosted cascade of simple features In Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on, volume 1, pages I–511 IEEE, 2001 42 [...]... triển một phương pháp nhận dạng biển báo giao thông đường bộ Cũng như để đảm bảo tính thời gian thực trên các thiết bị di động, chúng tôi đã chọn cách thức nghiên cứu nhận dạng biển báo hiệu giao thông đường bộ qua hai bước: • Phát hiện: Phân loại biển báo giao thông đường bộ theo đặc trưng hình học cơ bản Phát triển các thuật toán nhận dạng các hình hình học trên trong môi trường thực tế bằng các thuật... quy chuẩn về biển báo giao thông phổ biến nhất trên thế giới là Công ước về Biển báo và Tín hiệu đường bộ (1986) của tổ chức UNECE hay gọi tắt là công ước Viên về Biển báo và Tín hiệu Đường bộ Trong đó biển báo giao thông đường bộ được chia làm 8 nhóm: • Biển báo nguy hiểm • Biển báo ưu tiên • Biển báo cấm hoặc báo hạn chế • Biển hiệu lệnh • Biển có quy định riêng biệt • Biển cung cấp thông tin, các... hiện các biển báo giao thông đường bộ trong khung ảnh thực tế thực hiện việc cắt, trích rút hình biển báo giao thông đường bộ trả về cho bước tiếp theo • Nhận dạng: Với từng loại dữ liệu khung hình tiền đoán biển báo hiệu giao thông ở bước đầu thực hiện chuẩn hoá về một khung hình kích thước nhất định cho từng loại biển báo Thực hiện so khớp khung hình tiền đoán biển báo với dữ liệu các biển báo có sẵn... để nhận dạng hình ảnh các biển báo giao thông thu được từ các thiết bị số như camera hành trình trên ô tô, điện thoại thông minh Các ứng dụng của bài toán trong thực tế có thể như: hỗ trợ người lái xe phát hiện biển báo giao thông trên đường đi qua việc đọc tên biển báo mỗi khi qua biển báo, tích hợp cùng các hệ thống trong xe ô tô tự hành, xây dựng cơ sở dữ liệu toạ độ biển báo giao thông đường bộ. .. chúng tôi đạt được khi sử dụng thuật toán của mình trên các môi trường di động • Chương 5: Kết luận và hướng ứng dụng, nghiên cứu tiếp theo 6 Chương 2 Các kiến thức cơ sở 2.1 2.1.1 Hệ thống biển báo giao thông đường bộ Hệ thống biển báo giao thông đường bộ thế giới Biển báo giao thông đường bộ trên thế giới ban đầu chỉ là các biển báo tự phát tại các tuyến đường riêng biệt sau dần được thống nhất lại trong... Hình 2.1: Một vài biển báo giao thông đường bộ Việt Nam 8 Biển báo giao thông đường bộ hay biển báo hiệu đường bộ (gọi tắt là biển báo) được chia thành 6 nhóm chính: • Biển báo cấm: Là hình tròn (Trừ biển số 122 “Dừng lại" có hình 8 cạnh đều, bát giác Hình 2.2) nhằm báo điều cấm hoặc hạn chế mà người sử dụng đường phải tuyệt đối tuân theo Hầu hết các biển đều có viền đỏ, nền màu trắng, trên nền có hình... cận để nhận dạng biển báo giao thông theo thời gian thực, qua đó có thể hỗ trợ phần nào người tham gia giao thông 1 http://www.drvn.gov.vn/webdrvn/index.php?q=content/viet-nam-tang-16-bac-xep-hang-ha-tang -giao- thong 1 1.2 Các nghiên cứu liên quan Trên thế giới đã có nhiều nghiên cứu về vấn đề nhận di n biển báo giao thông đường bộ Jack Greenhalgh và Majid Mirmehdi [8] đã đề xuất phương pháp nhận di n... qua những biển báo giao thông, những người đang học lái xe có thể dễ dàng nhận biết ra những biển báo, chúng tôi quyết định nghiên cứu nhằm đưa ra một phương pháp xử lý hiệu quả trong thời gian thực để kiểm tra một bức ảnh số có chứa biến báo giao thông hay không và đưa ra loại biển báo mà bức ảnh này có chứa Từ việc xây dựng thuật toán xử lý ảnh để nhận dạng biển báo giao thông theo thời gian thực, chúng... tiện ích, dịch vụ • Biển chỉ hướng đi, vị trí, chỉ dẫn khác • Các bảng phụ 2.1.2 Hệ thống biển báo giao thông đường bộ Việt Nam Hệ thống biển báo giao thông đường bộ Việt Nam hiện nay được định nghĩa tại quy chuẩn kỹ thuật quốc gia về báo hiệu đường bộ (QCVN 41:2012/BGTVT) do Tổng Cục Đường bộ Việt Nam biện soạn, Bộ Khoa học Công nghệ thẩm định, Bộ Giao thông vận tại ban hành theo Thông tư số 17/2012/TT-BGTVT... trong giảng dạy và thực hành trong đời sống Cả hai thuật toán trên đều đã được đăng ký bản quyền sở hữu trí tuệ tại Mỹ 12 1 https://www.google.com/patents/US6711293 2 https://www.google.com/patents/US8165401 21 Chương 3 Phương pháp nhận dạng biển báo thời gian thực Phương pháp được chúng tôi đưa ra để giải quyết bài toán nhận dạng biển báo giao thông thời gian thực trên thiết bị di động gồm hai giai ... lý ảnh, quy trình cần thiết để xây dựng phương pháp nhận dạng biển báo giao thông đường Việt Nam theo thời gian thực thiết bị động Phương pháp nhận dạng biển báo giao thông đường Việt Nam đề xuất... thông đường Cũng để đảm bảo tính thời gian thực thiết bị di động, chọn cách thức nghiên cứu nhận dạng biển báo hiệu giao thông đường qua hai bước: • Phát hiện: Phân loại biển báo giao thông đường. .. báo giao thông 4.3 Kết thực nghiệm Thực nghiệm phương pháp nhận dạng biển báo giao thông đường với đặc trưng SURF cho kết nhận dạng khả quan nhiều biển báo giao thông đường nhận dạng sang biển bác