BÁO CÁO ĐỀ TÀI NHẬN DIỆN BIỂN BÁO GIAO THÔNG BẰNG MÔ HÌNH CNN

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÁO CÁO ĐỀ TÀI NHẬN DIỆN BIỂN BÁO GIAO THƠNG BẰNG MƠ HÌNH CNN MƠN HỌC: KHOA HỌC NHẬN THỨC GIẢNG VIÊN: TS Nguyễn Thế Hồng Anh Nhóm số: Các thành viên: Nguyễn Duy Thành Trần Đức Anh Phạm Đức Anh Hà Nội – 2022 Tóm tắt: Xe tự lái công nghệ nghiên cứu phát triển nhiều tập đoàn hàng đầu giới Thang đo cấp độ xe tự lái cấp – tính tự động – cấp độ – thay hoàn toàn thao tác điều khiển người Nhưng để đạt khả xác an tồn di chuyển cịn cần nhận biết tuân theo quy tắc giao thông cụ thể biển báo giao thông Báo cáo tập trung vào nghiên cứu mơ hình mạng tích chập CNN (Convolutional Neural Network) để nhận diện loại biển báo giao thông Dữ liệu ảnh thu thập từ nguồn liệu mở kaggle với tập liệu gồm 50000 ảnh Sau kiểm nghiệm với mơ hình mạng tích chập chúng tơi thu kết với độ xác lên tới 95% Kết cho thấy, mơ hình phù hợp để áp dụng với tốn nhận diện biển báo giao thơng Từ khóa: Convolutional Neural Network, nhận diện biển báo Mục lục Đặt vấn đề Cơ sơ lý thuyết .5 2.1 Mạng Neural tích chập (CNN) 2.2 Thư viện Keras Các bước thực 3.1 Tìm hiểu tập liệu 3.2 Tiền xử lý liệu 10 3.3 Xây dựng mơ hình CNN 11 3.4 Huấn luyện mơ hình 12 3.5 Thiết kế giao diện người dùng .12 Đánh giá kết 13 Kết luận .13 Mục lục hình ảnh Hình Chức số cảm biến xe tự lái Hình Lưu đồ mơ hình CNN Hình Các loại biển báo có tập liệu Hình Ảnh đầu vào số điều kiện khác 10 Hình Lưu đồ tiền xử lý liệu 11 Hình Các layer mơ hình mạng CNN 12 Bảng Đặt vấn đề Công nghệ xe tự lái hay xe tự hành công nghệ nhiều nhà nghiên cứu công ty công nghệ lớn nghiên cứu, phát triển cho dịng xe riêng Cơng nghệ tập hợp việc thu thập liệu từ thiết bị cảm biến với khả cảm nhận môi trường xung quanh camera, radar, sonar, laser, lidar, định vị GPS với việc tính tốn liệu thu trí tuệ nhân tạo AI Các cảm biến xe có chức khác phục vụ cho tác vụ riêng biệt cho việc tự động lái xe Bảng Chức số cảm biến xe tự lái Hình thể chức cảm biến cơng nghệ xe tự lái Ví dụ radar thực toán phát điểm mù hay cảnh báo va chạm phía sau xe Hoặc sử dụng lidar để phát người hay tránh va chạm với phương tiện khác Nhưng để đạt khả xác an tồn di chuyển cịn cần nhận biết tn theo quy tắc giao thông, cụ thể biển báo giao thông Trong phạm vi báo cáo này, chúng tơi tập trung giải tốn nhận diện biển báo giao thơng Bài tốn nhận diện biển báo giao thơng thực nhiều thuật tốn khác SVM, trích xuất đặc trưng HOG Ở đây, chúng tơi sử dụng mơ hình mạng neural tích chập CNN để thực toán nhận diện biển báo giao thông Bảng Cơ sơ lý thuyết 3.1 Mạng Neural tích chập (CNN) Mạng Neural tích chập (CNN) thuật tốn Deep Learning lấy hình ảnh đầu vào, phân biệt đặc trưng/đối tượng khác ảnh gán giá trị trọng số (weights), độ lệch (bias) cho đặc trưng/ đối tượng Vai trị mạng CNN giảm chiều hình ảnh thành dạng dễ xử lý giữ lại đặc trưng quan trọng để dự đốn tốt Ý tưởng mơ hình CNN sử dụng lọc ảnh để trích xuất đặc trưng ảnh trước đưa vào huấn luyện mạng neural Sau đưa qua lọc, đặc trưng ảnh làm bật từ sử dụng chúng để nhận diện hình ảnh Bảng Lưu đồ mơ hình CNN Hệ thống sử dụng mơ hình CNN mơ tả Hình Đầu tiên, liệu đầu vào gán nhãn Sau đó, q trình phân chia liệu, tập ảnh phân thành tập ảnh huấn luyện (training), tập ảnh thử (test) tập ảnh thẩm định (validation) Tập ảnh huấn luyện tập ảnh thẩm định đưa vào để huấn luyện cho mơ hình CNN để tìm giá trị trọng số (weights) Từ giá trị trọng số huấn luyện thử ảnh thử để đánh giá kết Trong CNN bao gồm lớp sau: Lớp mạng tích chập (convolution layer): có vai trị phát đặc trưng ảnh góc, cạnh, màu sắc, đường ngang, dọc hình dạng bật hình ảnh đầu vào Sau ảnh cho qua lớp tích chập, ảnh làm bật đặc trưng có ảnh, kết đầu thể tính chất cục ảnh Lớp tổng hợp (pooling layer): chịu trách nhiệm làm giảm chiều kết tích chập, giúp đơn giản hóa thơng tin đầu để giảm bớt số lượng neurol Ví dụ sau qua lớp Max pooling 2x2, chọn điểm ảnh có giá trị lớn cho vùng có kích thước 2x2, kết cho hình ảnh đầu hình ảnh ban đầu đặc trưng ảnh giữ lại, chí bật so với ban đầu Hàm phi tuyến (Nonlinear layer): hàm kích hoạt với nhiệm vụ mơ neural có tỷ lệ truyền xung qua axon Hiện nay, hàm Relu sử dụng phổ biến ưu điểm bật như: hỗ trợ tính tốn nhanh, đơn giản hạn chế tình trạng vanishing gradient Lớp liên kết đầy đủ (Fully Connected Layer): sau ảnh qua nhiều lớp trước mơ hình học tương đối đặc trưng ảnh Sau đó, lớp liên kết đầy đủ chuyển ma trận đặc trưng thu tầng trước thành vector thể xác suất dự đoán label ảnh 4.1 Thư viện Keras Keras open source cho Neural Network viết ngơn ngữ python Nó thư viện phát triển vào năm 2005 Francois Chollet – kỹ sư nghiên cứu Deep learning Keras coi thư viện high level với phần low level (back-end) TensorFlow, CNTK Theano Keras thiết kế để dễ dàng tạo mô hình học sâu Keras tận dụng kỹ thuật tối ưu hóa khác để làm API cho mạng thần kinh cấp cao dễ dàng va hiệu Nó hỗ trợ nhiều tính như: API quán, đơn giản mở rộng; cấu trúc tối thiểu – dễ dàng đạt kết quả; hỗ trợ nhiều tảng backend; thân thiện với người dùng chạy CPU hay GPU; khả mở rộng tính toán cao Những ưu điểm thư viện Keras gồm có:  Dễ dàng để kiểm tra  Viết ngơn ngữ Python giúp đơn giản hóa  Hỗ trợ mạng convolution recurrent  Cộng đồng lớn nên dễ tìm hỗ trợ  Keras hỗ trợ huấn luyện nhiều GPU phân tán Bảng Các bước thực 5.1 Tìm hiểu tập liệu Tập liệu chúng tơi sử dụng có tên là: German Traffic Sign Recognition Benchmark Dataset (GTSRB Dataset) Đây tập liệu opensource biển báo giao thông tiếng có Kaggle Tập liệu chứa 50000 ảnh loại biển báo giao thông khác Dữ liệu tập phân loại thành 43 lớp khác thể cho 43 loại biển báo Bảng Các loại biển báo có tập liệu Hình thể hình biển báo có tập liệu GTSRB Nhưng liệu loại biển báo không phân chia đồng đều, có số lớp chứa nhiều hình ảnh số lớp có Số lượng ảnh có lớp thể Bảng Tên biển báo Số lượng ảnh Speed limit (20km/h) 210 Speed limit (30km/h) 2220 Speed limit (50km/h) 2250 Speed limit (60km/h) 1410 Speed limit (70km/h) 1980 Speed limit (80km/h) 1860 End of speed limit (80km/h) 420 Speed limit (100km/h) 1441 Speed limit (120km/h) 1419 No passing 1470 No passing veh over 3.5 tons 2010 Right-of-way at intersection 1320 Priority road 2100 Yield 2160 Stop 780 No vehicles 630 Veh > 3.5 tons prohibited 420 No entry 111 General caution 1200 Dangerous curve left 210 Dangerous curve right 360 Double curve 330 Bumpy road 390 Slippery road 510 Road narrows on the right 270 Road work 1500 Traffic signals 600 Pedestrians 240 Children crossing 540 Bicycles crossing 270 Beware of ice/snow 450 Wild animals crossing 780 End speed + passing limits 240 Turn right ahead 689 Turn left ahead 420 Ahead only 1200 Go straight or right 390 Go straight or left 210 Keep right 2070 Keep left 300 Roundabout mandatory 360 End of no passing 240 End no passing veh > 3.5 tons 240 Bảng Số lượng ảnh có lớp Ngồi ra, liệu ảnh lớp lấy nhiều điều kiện khác để đảm bảo độ xác huấn luyện Ảnh bị mờ Ảnh bị tối màu Bảng Ảnh đầu vào số điều kiện khác 8.1 Tiền xử lý liệu Đối với tập liệu biển báo giao thông mà đề cập tới phần trên, đọc tiền xử lý liệu theo bước thể lưu đồ mơ tả Hình Bảng Lưu đồ tiền xử lý liệu Đầu tiên, đọc ảnh tập liệu lớp ảnh Tiếp theo, resize ảnh kích thước 30x30 lưu vào ma trận ảnh để làm đầu vào cho mơ hình CNN Cùng với đó, nhãn lớp ảnh chuyển dạng One-hot Encoding One-hot Encoding thể phân nhãn lớp vector kích thước m biển thị cho số lớp gồm giá trị nhị phân 1, vị trí phần tử xác định label ảnh tương ứng Sau đó, ma trận ảnh chia thành tập huấn luyện (train set) tập ảnh thử (test set) với số lượng ảnh thể Bảng Tập huấn luyện 39219 Tập thử 12631 Bảng 10 Tỷ lệ chia liệu ảnh 10.1 Xây dựng mô hình CNN Mơ hình mạng neural tích chập đề xuất xây dựng thư viện Keras Mơ tả lớp mơ hình thể Hình sau: Bảng 11 Các layer mơ hình mạng CNN 11.1 Huấn luyện mơ hình Với mơ hình xây dựng phần trên, chúng tơi huấn luyện qua số lượng epochs 15 batch size 32 Trong huấn luyện, chọn tập validation để kiểm tra độ xác mơ hình lúc huấn luyện nhằm tránh tượng Overfitting Tập validation lấy từ phần tập huấn luyện với tỉ lệ 20% Kết sau q trình huấn luyện cho mơ hình trình bảy phần sau báo cáo 11.2 Thiết kế giao diện người dùng Để đánh giá hiệu cho mơ hình cách trực quan, xây dựng giao diện để người dùng kiểm tra kết nhận dạng biển báo có với biển báo thực tế Mơ hình huấn luyện từ phần trước sử dụng để xác định biển báo đưa vào Ảnh đưa vào thay đổi kích thước phù hợp với mơ hình huấn luyện Kết sau đưa ảnh qua mơ hình cho vector kích thước 1x43 thể cho số lớp tập liệu Từ vector nhận được, máy tính cho biế đầu vào biển báo cách trả giá trị khoảng (0,42) đại diện cho lớp biển báo Bảng 12 Đánh giá kết Bảng 13 Kết luận ... cần nhận biết tn theo quy tắc giao thông, cụ thể biển báo giao thông Trong phạm vi báo cáo này, chúng tơi tập trung giải tốn nhận diện biển báo giao thơng Bài tốn nhận diện biển báo giao thông. .. cần nhận biết tuân theo quy tắc giao thông cụ thể biển báo giao thông Báo cáo tập trung vào nghiên cứu mô hình mạng tích chập CNN (Convolutional Neural Network) để nhận diện loại biển báo giao thông. .. biển báo giao thơng tiếng có Kaggle Tập liệu chứa 50000 ảnh loại biển báo giao thông khác Dữ liệu tập phân loại thành 43 lớp khác thể cho 43 loại biển báo Bảng Các loại biển báo có tập liệu Hình