Nghiên cứu và thiết kế hệ thống nhúng phát hiện và nhận dạng biển báo giao thông

ỦY BAN NHÂN DÂN TP.HCM ĐẠI HỌC QUỐC GIA TP.HCM SỞ KHOA HỌC VÀ CÔNG NGHỆ TRƯỜNG ĐẠI HỌC BÁCH KHOA BÁO CÁO NGHIỆM THU (Đã chỉnh sửa theo góp ý Hội đồng nghiệm thu) Đề tài nghiên cứu khoa học NGHIÊN CỨU VÀ THIẾT KẾ HỆ THỐNG NHÚNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG CHỦ NHIỆM ĐỀ TÀI (Ký tên) TS Trương Quang Vinh CƠ QUAN QUẢN LÝ CƠ QUAN CHỦ TRÌ (Ký tên/đóng dấu xác nhận) (Ký tên/đóng dấu xác nhận) THÀNH PHỐ HỒ CHÍ MINH THÁNG 6/ 2016 TĨM TẮT ĐỀ TÀI Các hệ thống hỗ trợ người điều khiển phương tiện giao thông ngày trở nên thông minh nhằm nâng cao an toàn cho cho người tham gia giao thơng Người điểu khiển xe bị xao lãng, không tập trung lái xe ngủ gật, say rượu … nên gây tai nạn q trình lái xe Do hệ thống hỗ trợ người điều khiển phương tiện giao thơng đóng vai trị quan trọng việc ngăn chặn tai nạn xảy Hiện nay, hệ thống phát biển báo giao thông trở nên phổ biến phát triển công ty sản xuất xe giới Hệ thống bao gồm camera thu nhận hình ảnh, xử lý trung tâm, hệ thống thơng báo cho người dùng qua hình âm Trọng tâm vấn đề nằm khả thiết kế giải thuật hiệu để nhận dạng biển báo giao thông dùng camera hành trình thiết bị số khác Camera đặt trước đầu xe ô tô để thu hình biển báo giao thơng, sau phần mềm nhận dạng biển báo giao thơng hiển thị lên giao diện người dùng Đề tài đề mục tiêu thiết kế hệ thống phát nhận dạng biển báo giao thông để hỗ trợ tài xế điều khiển phương tiện xe giới cách an toàn tiện lợi Hệ thống nhúng thiết kế nhỏ gọn gắn xe giới, thu nhận hình ảnh camera, xử lý nhận dạng biển báo giao thơng, đưa thơng báo hình ảnh âm cho người sử dụng SUMMARY OF RESEARCH CONTENT The systems, which support the drivers of vehicles, become smarter in order to improve the safety of traffic participants The driver may be distracted, unfocused driving due to asleep, drunk so can cause accidents during driving Therefore, the system supports the driver of transport plays a very important role in the prevention of accidents that may occur Currently, the traffic sign detection systems become popular as the development of the car manufacturing company in the world The system includes image acquisition camera, the central processor, and the module for notifying the user via the screen and audio The focus of the problem is to design an efficient algorithm to be able to recognize traffic signs used in the cruise camera and other digital devices The camera places at the head of the car to capture traffic signs, then the software will recognize traffic signs and show them to the user interface This research sets a target to design a system to identify traffic signs for helping drivers control vehicle motor vehicle safely and conveniently The embedded systems is a compact design which can be mounted on vehicles, acquiring camera images, processing and identifying of traffic signs, providing notice by images and sound to the users MỤC LỤC TÓM TẮT ĐỀ TÀI MỤC LỤC DANH SÁCH CÁC CHỮ VIẾT TẮT DANH SÁCH BẢNG DANH SÁCH HÌNH TĨM TẮT THƠNG TIN ĐỀ TÀI 13 QUYẾT TỐN KINH PHÍ 19 TỔNG QUAN ĐỀ TÀI 20 1.1 Giới thiệu hệ thống phát nhận dạng biển báo giao thông 20 1.2 Những vấn đề khó khăn thiết kế hệ thống nhận dạng biển báo giao thông 22 1.3 Các nghiên cứu liên quan phát nhận dạng biển báo giao thông 24 1.4 Tính cấp thiết đề tài 35 1.5 Ứng dụng hệ thống nhận dạng biển báo giao thông 37 1.6 Mục tiêu đề tài 38 1.6.1 Mục tiêu tổng quát 38 1.6.2 Mục tiêu cụ thể 38 2.1 NỘI DUNG NGHIÊN CỨU 40 Nội dung 1: Tạo sở liệu biển báo giao thông 40 2.1.1 Các biển báo giao thông Việt Nam 42 2.1.2 Thu thập hình ảnh video biển báo giao thông 44 2.1.3 Xây dựng sơ liệu biển báo giao thông 45 2.2 Nội dung 2: Phân tích mơ giải thuật nhận dạng biển báo 49 2.2.1 Mơ hình chung cho giải thuật phát nhận dạng biển báo giao thông 49 2.2.2 Giải thuật cho bước tiền xử lý 52 2.2.3 Giải thuật phát biển báo 59 2.2.4 Giải thuật nhận dạng biển báo 73 2.3 Nội dung 3: Nghiên cứu giải thuật phát nhận dạng biển báo 92 2.3.1 Mơ hình giải thuật phát nhận dạng biển báo giao thông 92 2.3.2 Kết mô giải thuật đề nghị 108 2.4 Nội dung 4: Tối ưu giải thuật phát nhận dạng biển báo giao thơng 110 2.4.1 Nâng cao độ xác giải thuật 110 2.4.2 Cải tiến tốc độ giải thuật 117 2.4.3 Đánh giá giải thuật 124 2.5 Nội dung 5: Phát triển hệ thống nhúng cho hệ thống phát nhận dạng biển báo giao thông 128 2.5.1 Thiết kế hệ thống 128 2.5.2 Lựa chọn Kit phát triển nhúng 135 2.5.3 Lựa chọn camera cho hệ thống: 139 2.5.4 Cài đặt hệ điều hành thư viện lên kit Tiny4412 142 2.5.5 Hiện thực phần mềm phát nhận dạng biển báo giao thông hệ thống nhúng ARM 154 2.6 Nội dung 6: Kiểm tra đánh giá hệ thống 166 2.6.1 Môi trường mô để kiểm tra hệ thống 166 2.6.2 Thực kiểm tra hệ thống 168 2.7 Tính hỗ trợ thêm cho hệ thống 190 2.7.1 Thêm biển báo nằm danh mục đăng ký 190 2.7.2 Phát âm slogan an tồn giao thơng 190 KẾT QUẢ VÀ THẢO LUẬN 192 1.1 Tóm tắt kết chung 192 1.2 Nhận xét thảo luận 194 KẾT LUẬN VÀ ĐỀ NGHỊ 195 2.1 Kết luận 195 2.2 Đề nghị 195 TÀI LIỆU THAM KHẢO 196 DANH SÁCH CÁC CHỮ VIẾT TẮT VIẾT TẮT VIẾT ĐẦY ĐỦ GIẢI THÍCH Traffic Sign Detection and Hệ thống phát nhận dạng biển báo Recognition System giao thông SVM Support Vector Machine Máy vec-tơ hỗ trợ RGB Red Green Blue Hệ màu RGB HSV Hue Saturation Value Hệ màu HSV TSDRS DANH SÁCH BẢNG Bảng 1: Danh mục biển báo cấm cần nhận dạng 40 Bảng 2: Danh mục biển báo nguy hiểm cần nhận dạng 41 Bảng 3: Danh mục biển báo hiệu lênh cần nhận dạng 42 Bảng 4: Danh sách sở liệu training 48 Bảng 5: Danh sách sở liệu dùng để kiểm tra 49 Bảng 6: Bảng chân trị phép toán OR hai toán hạng X1 , X2 86 Bảng 7: Bảng giá trị ngưỡng phân đoạn màu 98 Bảng 8: Bảng giá trị ngưỡng theo điều kiện sáng 117 Bảng Số lượng thread xử lý contour 123 Bảng 10: Số liệu thống kê đánh giá giải thuật nhận dạng biển báo 124 Bảng 11 Kết đánh giá giải thuật 127 Bảng 12: Đặc tả thông số hệ thống phát nhận dạng biển báo giao thông 129 Bảng 13: Điều kiện thử nghiệm hệ thống phát nhận dạng biển báo giao thông 134 Bảng 14: Bảng so sánh đặc tính kit phát triển nhúng 138 Bảng 15: Các tài nguyên nhân Linux cho kit Tiny4412 142 Bảng 16: Mô tả phiên debug release 166 Bảng 17: Các bước kiểm tra phần cứng 168 Bảng 18: Các bước kiểm tra phần mềm 169 Bảng 19: Bảng mô tả điều kiện kiểm tra hệ thống: 171 Bảng 20: Kết thử nghiệm điều kiện tốt 172 Bảng 21: Kết thử nghiệm điều kiện thiếu sáng mưa nhẹ 176 Bảng 22: Kết thử nghiệm điều kiện trời tối 181 Bảng 23: Danh sách biển báo bổ sung vào danh mục nhận dạng 190 Bảng 24: Bảng kết sản phẩm đề tài 192 DANH SÁCH HÌNH Hình Minh họa hệ thống nhận dạng biển báo giao thông xe 21 Hình Hình ảnh thể khó khăn việc phát nhận dạng biển báo giao thông 23 Hình Bài tốn phát nhận dạng biển báo giao thơng 24 Hình Các bước để tách vùng ảnh chứa biển báo giao thơng ảnh [14] 26 Hình Giải thuật đề nghị tác giả Lê Thanh Tâm [2] 27 Hình Tổng quan thuật toán đề nghị Nguyễn Duy Khánh [3] 28 Hình Mơ hình giải thuật đề nghị tác giả Nguyễn Bá Chung Đỗ Trường Giang [5] 29 Hình Mơ hình trực quan động xử lý nhận dạng biển báo giao thông tác giả C Y Yang, 2003 31 Hình Mơ hình xử lý nhận dạng biển báo giao thông tác giả C Bahlmann, 2005 32 Hình 10 Mơ hình phát biển báo giao thông tác giả L D Lopez, 2007 32 Hình 11 Mơ hình giải thuật đề nghị tác giả Mirko Meuter, 2011 34 Hình 12 Minh họa phát biển báo bị che lẫn phần [16] 35 Hình 13 Ngày lễ quân Ủy ban An tồn Giao thơng Quốc gia [1] 36 Hình 14: Danh mục nhóm biển báo cấm 43 Hình 15: Danh mục nhóm biển hiệu lệnh 43 Hình 16: Danh mục nhóm biển báo nguy hiểm 44 Hình 17: Các bước xây trích đặc trưng liệu training 45 Hình 18: Giao diện chương trình cắt biển báo Biển cấm rẽ trái cắt khỏi hình 46 Hình 19: Giao diện chương trình cắt biển báo Biển báo dành cho người qua đường 46 Hình 20: Giao diện chương trình cắt biển báo Biển báo báo hiệu rẽ phải 47 Hình 21: Mơ tả bước trích đặc trưng biển báo (a): Ảnh màu biển báo, (b) ảnh xám (c) ảnh sau lấy ngưỡng 47 Hình 22: Minh họa ảnh nhị phân dùng để huấn luyện SVM 48 Hình 23 Bài toán phát nhận dạng biển báo giao thơng 50 Hình 24 Các bước để tách vùng ảnh chứa biển báo giao thông ảnh [14] 51 Hình 25: (a) Ảnh sau cắt (b) ảnh cắt sau lọc nhiễu Gaussian 52 Hình 26: Khơng gian màu HSV 53 Hình 27: Hình trịn biểu diễn màu sắc (Hue) 54 Hình 28: Mơ tả bước để cắt vùng ảnh cần thiết để xử lý 56 Hình 29: Ảnh gốc 640x480 57 Hình 30: (a) Ảnh cắt lấy vùng ứng cử, (b) ảnh sau lọc nhiễu Gaussian 57 Hình 31: Thành phần màu H, S, V chưa sử dụng lọc nhiễu Gauss 58 Hình 32: Thành phần màu H, S, V chưa sử dụng lọc nhiễu Gauss 58 Hình 33: Thành phần màu Y, Cb, Cr chưa sử dụng lọc nhiễu Gauss 58 Hình 34: Thành phần màu Y, Cb, Cr sử dụng lọc nhiễu Gauss 58 Hình 35: Tổng quan bước giải thuật phát biển báo 59 Hình 36: Các bước để tách vùng ảnh chứa biển báo giao thơng ảnh [14] 61 Hình 37 Phương pháp phân đoạn màu dùng YcbCr [22] 63 Hình 38: Ví dụ phương pháp chuyển đổi màu Cột bên trái: Hình ảnh gốc Cột giữa: chứa kênh màu đỏ tương ứng hình ảnh Cột bên phải: hình ảnh chuyển cách sử dụng màu đỏ liệu tham khảo cục [23] 64 Hình 39: Ảnh xám 65 Hình 40: Ảnh sau tách biên canny 65 Hình 41: Kết nhận dạng đường tròn sử dụng hàm HoughCircle OpenCV 66 Hình 42: Một số kết khác 66 Hình 43: Phân đoạn hình học bên biển báo [3] 69 Hình 44: Lưu đồ áp dụng watershed [3] 69 Hình 45: Generation of the candidate regions for mutually occluding traffic signs using watershed segmentation [15] 70 Hình 46: The TSC decision tree [9] 71 Hình 47: Lấy ngưỡng 72 Hình 48: Kết trình phát biển báo 73 Hình 49: SVM tuyến tính 74 Hình 50: Siêu phẳng phân cách hai tập mẫu [8] 75 Hình 51: Các bước xây dựng huấn luyện nhận dạng 77 Hình 52: Ảnh đầu vào 640x480 77 Hình 53: Ảnh sau tiền xử lý 400x240 78 Hình 54: Biển báo 40x40 phát cắt để vào bước 78 Hình 55: Ảnh 40x40 nhị phân trích để đưa vào nhận dạng 79 Hình 56: Kiến trúc tổng quát Artificial Neural Network 80 Hình 57: Q trình xử lí ANN 81 Hình 58: Ví dụ hàm chuyển đổi đầu vào tìm kết 82 Hình 59: Một số kiến trúc ANN 83 Hình 60: Phân loại thuật toán Learning kiến trúc ANN 84 Hình 61: Quá trình học Supervised 85 Hình 62: Ngun lí q huấn luyện ANN 85 Hình 63: Minh họa việc huấn luyện ANN đơn giản 86 Hình 64: Mơ q trình học Excel 87 Hình 65: Lưu đồ giải thuật phát nhận dạng biển báo giao thông đề nghị 92 Hình 66: Minh hoạ chọn vùng ảnh cần xử lý 94 Hình 67: Phát biển báo ngược chiều 95 Hình 68: Ngưỡng giá trị S V màu đỏ không gian Chromatic Zone 96 Hình 69: Lưu đồ giải thuật phân đoạn màu 97 Hình 70: Ảnh gốc chuẩn bị phân đoạn màu 99 Hình 71: Ảnh sau phân đoạn màu 100 Hình 72: Minh họa lấy tồn đối tượng sau phân đoạn màu 100 Hình 73: Minh họa lấy phần bên để tách đối tượng 101 Hình 74: Minh họa loại bỏ đối tượng dựa diện tích 101 Hình 75: Minh họa biển báo hiệu lệnh 102 Hình 76: Biển báo hiệu lệnh sau phân đoạn màu 102 Hình 77: Lấy phần bên sau phân đoạn màu 103 Hình 78: Lấy tồn phần bên bên đối tượng 103 Hình 79: Hình minh họa kết trích xuất đặc trưng 106 Hình 80: Kết mơ phát nhận dạng biển báo cấm rẽ trái 108 Hình 81: Kết phân đoạn màu đỏ biển cấm rẽ trái 109 Hình 82: Kết mơ phát nhận dạng biển báo cấm rẽ phải 109 Hình 83: Ảnh đầu vào điều kiện thiếu sáng 111 Hình 82: Kết so sánh khơng có có sử dụng cân histogram 111 10 Mục tiêu đề tài thực hệ thống phát nhận dạng biển báo điều kiện ban ngày đến chiều tối 6pm Tuy nhiên, nhóm nghiên cứu thử nghiệm hệ thống điều kiện ban đêm Bảng số liệu thử nghiệm đường điều kiện trời tối cho bảng sau: Bảng 22: Kết thử nghiệm điều kiện trời tối STT Tên đường Điện Biên Phủ Điện Biên Phủ Nguyễn Đình Chiều Nguyễn Đình Chiểu Nguyễn Đình Chiểu Tốc độ < 40km/h < 40km/h Thời gian (p.m) Tổng số Phát Nhận dạng Loại biển 103c(00:01) 6h 3 131a(00:05) Cấm xe thô sơ (00:10) 131a(00:01) 6h15 2 Cấm xe thô sơ (00:01) 123a(00:15)130(00:03) < 40km/h 6h30 3 Cấm xe thô sơ(00:03, 01:48) 131a(01:48) 123a(02:13) 131a(00:03, 00:55, 01:53, < 40km/h 6h45 7 03:48, 04:40) 123a(01:23) 123b(01:43) 131a(00:23,01:17, < 40km/h 7h10 2 01:50) 130(01:23) 303(00:17, 02:10) 103c(01:48) Thành < Thái 40km/h 7h00 11 225(01:48, 02:25) 130(02:00, 02:27) 106a(02:10, 03:49) 131a(03:23,03:49) 181 01:37, 123a(00:28, 06:30) 123b(00:58, 02:25, 04:32) Nguyễn Thị < Minh 40km/h 131a(01:00, 7h00 14 7 01:58, 03:40,04:20, 05:02, 05:56) 225(05:56) Khai 239(06:30) 106a(06:50) 131a(00:01, 01:00) 106a(00:01) Trương < Định 40km/h 137(00:49) 7h15 10 4 123b(01:15) 130(02:41, 02:50, 03:10) 243(02:41) 123a(03:28) 225(00:22) 131a(00:42, 02:29, 02:39, Võ Thị < Sáu 40km/h 03:16, 04:18) 7h30 10 123b(02:17) 123a(03:10) 106a(03:16) 130(04:00) TỔNG CỘNG 68 39 35 Tỉ lệ phát = 39/68 = 57% Tỉ lệ nhận dạng = 35/39 = 90% Tỉ lệ nhận dạng nhầm = (39-35)/39 = 10% Tỉ lệ phát nhận dạng = 35/68 = 51% Từ kết bảng số liệu ta thấy, hệ thống phát nhận dạng biển báo giao thông hoạt động điều kiện thực tế đạt độ xác 92% điều kiện tốt 83% điều kiện thiếu sáng mưa nhẹ Tuy nhiên, điều kiện trời tối, hệ thống gặp nhiều lỗi 182 bị chói đèn, thiếu sáng, làm cho camera bị nhịe, nên hệ thống đạt độ xác 51% Sau hình ảnh trích từ video thử nghiệm Hình 129 Thử nghiệm đường (1) Vị trí: đường Lý Thái Tổ Điều kiện: buổi sáng, trời nắng Tốc độ: 30km/h Kết nhận dạng: biển cấm đỗ xe 183 Hình 130 Thử nghiệm đường (2) Vị trí: đường Thành Thái Điều kiện: buổi chiều, trời nắng nhẹ Tốc độ: 30km/h Kết nhận dạng: biển cấm đỗ xe biển cấm xe tải 184 Hình 131 Thử nghiệm đường (3) Vị trí: đường Thành Thái Điều kiện: buổi chiều, trời nắng Tốc độ: 30km/h Kết nhận dạng: biển cảnh báo có trẻ em 185 Hình 132 Thử nghiệm đường (4) Vị trí: ngã Lý Thái Tổ, Lê Hồng Phong, Điện Biên Phủ Điều kiện: buổi chiều, trời nắng Tốc độ: 20km/h Kết nhận dạng: biển hiệu lệnh theo vịng xuyến 186 Hình 133 Thử nghiệm đường (5) Vị trí: đường Phạm Văn Đồng Điều kiện ánh sáng: buổi chiều, trời mưa nhẹ Tốc độ: 50km/h Kết nhận dạng: biển cấm dừng cấm đỗ cấm xe thô sơ 2.6.2.4 Kiểm tra tốc độ xử lý khung hình Mục tiêu đề hệ thống tốc độ xử lý khung hình đạt tối thiểu 15 frames/s Vì vậy, q trình thiết kế, nhóm nghiên cứu sử dụng kỹ thuật sau để đảm bảo tốc độ xử lý: • • • Sử dụng giải thuật đơn giản, vịng lặp hiệu (giải thuật đề nghị mục 2.3) Áp dụng multi-thread cho chương trình nhúng (đã mơ tả mục 2.4.2) Tối ưu dịng mã C++ để khơng lãng phí thời gian xử lý chương trình Sau thực hệ thống, nhóm nghiên cứu tiến hành đo đạc thử nghiệm tốc độ xử lý khung hình cách sử dụng ngắt timer hệ thống theo bước sau: • • Hệ thống cài đặt ngắt timer giây Sau xử lý frame, biến đếm frame tăng 187 • Khi có ngắt timer xảy ra, xuất giá trị biến đếm hình, giá trị số frame xử lý giây Sau đó, xóa biến đếm để thực lại chu trình Việc đo đạc tốc độ xử lý khung hình thực phiên debug kết đạt tốc độ xử lý tối thiểu 15 frames/s Điều kiện Tốc độ xử lý khung hình (frames/s) khơng có biển báo 18 có biển báo 15 Khi khơng có biển báo tốc độ xử lý đạt cao hệ thống không cần chạy bước nhận dạng hiển thị kết Hình sau mơ tả kết đo đạc tốc độ xử lý khung hình đạt Hình 134 Tốc độ xử lý khung hình hiển thị giao diện debug 2.6.2.5 Kiểm tra khả đáp ứng xử lý hệ thống xe di chuyển Trong phần này, nhóm nghiên cứu kiểm tra tốc độ phát nhận dạng biển báo giao thông hệ thống tương ứng với tốc độ di chuyển xe Gọi tốc độ di chuyển xe Sc, tầm khoảng cách khả nhận diện hệ thống ∆R = Rmax – Rmin Trong đó, Rmax Rmin khoảng cách xa gần tính từ đầu xe đến biển báo mà hệ thống nhận dạng 188 Trong hệ thống mà nhóm nghiên cứu thiết kế Rmax = 16m Rmin = 6m (đã giải thích mục 2.4.1.1) Từ ta tính thời gian biển báo xuất tầm nhận dạng công thức T = ∆R / Sc Bảng sau cho thấy thông số tương quan tốc độ xe thời gian biển báo xuất tầm nhận dạng hệ thống Tốc độ xe (km/h) Tốc độ xe (m/s) Thời gian biển báo xuất (s) 40 11,11 0,90 50 13,89 0,72 60 16,67 0,6 70 19,44 0,51 80 22,22 0,45 Từ bảng cho thấy, ô tô di chuyển nhanh thời gian biển báo xuất tầm nhận dạng ngắn Vì vậy, hệ thống cần xử lý thật nhanh để phát nhận dạng biển thời gian Tốc độ xử lý khung hình trung bình hệ thống đo Sf = 15 frame/s Nghĩa thời gian xử lý cho frame 1/15 = 0.067 (s) Hệ thống cần theo dõi frames liên tiếp để phát nhận dạng biển Vì thời gian cần để hệ thống phát nhận dạng biển báo 0.067 x = 0.2 (s) Trong điều kiện thực tế, biển báo bị che đối tượng giao thơng phía trước, sau xuất lại frame tiếp theo; khung hình bị rung đường ghồ ghề sau ổn định lại Vì thời gian thực tế để hệ thống phát nhận dạng biển báo cần khoảng gấp lần thời gian tính tốn lý thuyết điều kiện lý tưởng Như vậy, thời gian để xử lý thực tế cần 0.2 x = 0.6 giây Theo kết tính tốn trên, hệ thống hồn tồn có khả đáp ứng tốc độ di chuyển khoảng 50 - 60km/h, với thời gian biển báo xuất tầm nhận dạng nhiều 0.6 giây Trong điều kiện thực tế, nhóm nghiên cứu thử nghiệm hệ thống gắn xe ô tô di chuyển đường với vận tốc khoảng 50-60 km/h đạt khả phát nhận dạng biển báo 189 2.7 Tính hỗ trợ thêm cho hệ thống 2.7.1 Thêm biển báo nằm danh mục đăng ký Trong trình chạy thử nghiệm hệ thống đường phố Tp.HCM, nhóm nghiên cứu nhận thấy hệ thống phát biển báo, biển danh sách nhận dạng, có khả thơng báo kết sai Vì nhóm đề xuất đăng ký thêm số biển khơng có danh mục đăng ký Chi tiết bổ sung mô tả bảng sau: Bảng 23: Danh sách biển báo bổ sung vào danh mục nhận dạng TT Biển bổ sung Hình ảnh Cấm tơ quay đầu Lý Để phân biệt với biển Cấm quay đầu xe Cấm xe thô sơ thường gặp đường Điện Biên Phủ Cấm quẹo trái quẹo phải Thường gặp nhiều đường có kẹt xe Cấm xe máy Thường gặp đường có phân xe tô xe máy 2.7.2 Phát âm slogan an tồn giao thơng Để tăng tính hỗ trợ an tồn giao thơng, nhóm nghiên cứu bổ sung thêm tính phát âm hiệu tuyên truyền an tồn giao thơng Bảng sau liệt kê câu hiệu mà hệ thống thông báo STT Đọc âm Tên file Chấp hành luật lệ giao thơng bảo vệ người An tồn giao thơng - Nói khơng với bia rượu Văn hố giao thơng - Hãy khơng lơ là! Giao thơng an tồn - Bảo đảm tính mạng! An tồn giao thơng hạnh phúc nhà! An tồn giao thơng khơng tai nạn Hãy chấp hành nghiêm luật giao thông đường 190 slogan00 slogan01 slogan02 slogan03 slogan04 slogan05 slogan06 10 An tồn giao thơng - Khơng riêng Tuổi trẻ nói khơng với tai nạn giao thơng Chậm lại vài giây, gây tai nạn Xi-nhan hâm, xi-nhan để khỏi bị đâm vỡ đèn Lái xe bất cẩn - Ân hận đời Nhanh giây - Chậm đời 11 12 13 slogan07 slogan08 slogan09 slogan10 slogan11 slogan12 Hệ thống phát nhận dạng biển báo giao thông phát ngẫu nhiên câu hiệu tuyên truyền cách khoảng 15 phút Việc phát âm có tác dụng : • • Người lái xe đỡ buồn ngủ, hay lơ việc điều khiển phương tiện nhờ câu tuyên truyền Người lái xe có ý thức an tồn giao thông nhờ nội dung truyền đạt câu tuyên truyền 191 KẾT QUẢ VÀ THẢO LUẬN Kết chi tiết nội dung nghiên cứu, cụ thể từ nội dung đến nội dung 6, mô tả đề mục chương Phần đưa nhận xét chung tổng thể để đánh giá mức độ hoàn thành tiến độ dự án 1.1 Tóm tắt kết chung Nhóm thực đầy đủ nghiên cứu để xây dựng hệ thống nhúng phát nhận dạng biển báo giao thơng bao gồm phần: • Xây dựng sở liệu biển báo giao thơng • Phân tích mô giải thuật phát nhận dạng biển báo giao thơng • Nghiên cứu giải thuật phát nhận dạng biển báo giao thơng • Tối ưu giải thuật để tăng độ xác tốc độ • Phát triển hệ thống nhúng để phát nhận dạng biển báo giao thơng • Kiểm tra đánh giá hệ thống Sản phẩm cụ thể đề tài cho bảng sau: Bảng 24: Bảng kết sản phẩm đề tài Kết Mơ tả sản phẩm • mẫu Hệ thống phát nhận dạng biển giao thơng báo • • • • Hệ thống phần cứng: sử dụng kit nhúng có sẵn với đặc tính sau:
Gọn nhẹ gắn xe giới
Vi xử lý ARM Cortex-A9 hoạt động tần số 1.5GHz
Màn hình 7” TFT LCD
Nguồn 12V DC Chức phần mềm: phát nhận dạng biển báo giao thông bao gồm:
20 biển báo nguy hiểm
20 biển báo cấm
10 biển hiệu lệnh Thông báo cho người dùng bằng: hình ảnh hiển thị LCD âm Độ xác:
90% (điều kiện tốt: ban ngày, trời nắng)
80%(điều kiện xấu: thiếu sáng, mưa nhẹ) Tốc độ xử lý khung hình: 15 frames/s 192 • Đăng báo Tốc độ xe di chuyển tối đa: 50km/h Tên báo: Real-time traffic sign detection and recognition system khoa học kỷ based on FriendlyARM Tiny4412 board yếu hội nghị quốc Hội nghị: ComMantel 2015 tế Thời gian: 28-30/12/2015 Đào tạo thạc sĩ Học viên: Trần Quang Hoàng Giang MSHV: 13141117 Khóa: 2013 Chuyên ngành: Kỹ thuật điện tử Đề tài: Hệ thống phát nhận dạng biển báo giao thông kit Friendly ARM Đào tạo kỹ Sinh viên: Ngơ Tuấn Anh MSSV: 41100090 sư Khóa: 2011 Đề tài: Hệ thống phát nhận diện biển báo giao thông Kit Friendly ARM Đăng ký quyền phần mềm Tên phần mềm: Phát nhận dạng biển báo giao thông Nơi đăng ký: Cục quyền tác giả Tình trạng: làm thủ tục đăng ký Lý chưa hoàn thành đăng ký: Sở Khoa học Cơng nghệ có văn xin ý kiến đạo từ Ủy ban nhân dân thành phố việc trao quyền đăng ký bảo hộ sở hữu trí tuệ đề tài sử dụng kinh phí từ ngân sách thành phố Sau có ý kiến đạo Ủy ban nhân dân thành phố, Sở có văn thức việc đăng ký bảo hộ sở hữu trí tuệ tới trường Đại học Bách Khoa chủ nhiệm đề tài Trong thời gian chờ ý kiến đạo Ủy ban nhân dân thành phố, Sở Khoa học Công nghệ đề nghị trường Đại học Bách Khoa tiến hành nghiêm thu sở đề tài đến hạn nhằm đảm bảo thời gian tiến độ theo hợp đồng ký Ghi chú: kết minh chứng phần Phụ lục chuyên môn kèm theo báo cáo tổng kết 193 1.2 Nhận xét thảo luận Các nội dung nghiên cứu (từ tháng 12/2014 đến tháng 6/2016) thực thành cơng có số khó khăn thử nghiệm giải thuật phát nhận dạng biển báo giao thông Những ưu điểm mà nghiên cứu đạt được: • • • • • • Hệ thống phát nhận dạng 50 biển báo thông dụng, gồm loại: biển báo cấm, biển cảnh báo, biển hiệu lệnh với độ xác 90% điều kiện ban ngày 80% điều kiện thiếu sáng mưa nhẹ Hệ thống thử nghiệm xe ô tô chạy điều kiện nội thành Hệ thống nhận dạng tốt với đường phố có từ đến đường, với tốc độ tối đa 50km/h Hệ thống loại bỏ đối tượng nhiễu có hình dạng gần giống biển báo đèn xe ô tô, đèn giao thơng (cùng có dạng vịng trịn màu đỏ), mũ bảo hiểm xanh (giống biển hiệu lệnh), cờ đỏ, bảng quảng cáo đỏ (giống màu với biển báo cấm) Hệ thống xử lý thời gian thực với tốc độ trung bình 15 frames/s Hệ thống kiểm tra đầy đủ theo quy trình đặc tả kiểm tra đề bao gồm: kiểm tra phần cứng, kiểm tra phần mềm, thử nghiệm hệ thống Hỗ trợ thông báo giọng nói giúp người lái xe nhận thơng tin dễ dàng Những khó khăn hạn chế hệ thống: - Biển báo giao thông bị che khuất cành cây, mái hiên, bảng quảng cáo, xe hơi, người đường phía trước làm cho hệ thống khơng thể phát biển - Biển báo không lọt vào tầm camera Ví dụ trường hợp biển báo nằm đầu đường, xe tơ có gắn hệ thống nhận dạng biển báo vào đường từ hướng thẳng đến bắt hình ảnh dễ dàng Tuy nhiên, ô tô quẹo vào đường từ bên trái phải, camera bắt hình ảnh biển báo đầu đường - Do camera có gắn ống zoom để phát biển báo từ xa, nên góc nhìn camera bị hẹp lại Vì đường có biển báo lắp đặt vị trí cao, q thấp hệ thống phát trường hợp Ví dụ, camera hạ thấp bắt biển thấp mà khơng bắt biển cao 194 KẾT LUẬN VÀ ĐỀ NGHỊ 2.1 Kết luận Theo kế hoạch dự án từ tháng 12/2014 đến tháng 6/2016, nhóm nghiên cứu thực tiến độ, mô tả nội dung chương Các thử nghiệm giải thuật phát nhận dạng biển báo hệ thống ARM ảnh tĩnh đạt độ xác 96% bước phát 93% bước nhận dạng, thử nghiệm giải thuật điều kiện phòng lab Trong điều kiện thực tế, hệ thống phát nhận dạng biển báo giao thông gắn xe ô tô chạy đường nội thành Tp.HCM Kết độ xác nhận dạng đạt tối thiểu 90% điều kiện tốt 80% điều kiện thiếu sáng mưa nhẹ 2.2 Đề nghị Từ kết đạt được, nhóm nghiên cứu đề nghị số hướng phát triển ứng dụng sau: • • • Tích hợp phần mềm phát nhận dạng biển báo giao thông với hệ thống thông minh xe giám sát hành trình, phát đường, cảnh báo va chạm… để tạo công cụ hữu hiệu hỗ trợ người lái xe an toàn Ứng dụng hệ thống phát nhận dạng biển báo giao thơng bảo trì đường cao tốc, kiểm tra diện tình trạng biển báo Nghiên cứu ứng dụng phát nhận dạng biển báo hệ thống điều khiển xe thông minh cho xe tự động không cần người lái Nhờ thông tin cảnh báo biển báo giao thông, hệ thống tự động lái điều khiển xe cách an toàn đường Để hệ thống đạt hiệu tốt hơn, nhóm nghiên cứu đề nghị số hướng cải tiến để phát triển tiếp đề tài nghiên cứu Một số hướng cải tiến bao gồm: • Khi có nhiều biển báo nhận dạng, cần có thêm mức độ quan trọng để phát câu thông báo loa • Thêm kính chống chói vào trước camera để giảm bớt ảnh hưởng lỗi phát biển chói nắng • Nghiên cứu việc chỉnh ngưỡng theo độ sáng cho điều kiện ban đêm 195