Biển báo giao thông đường bộ đóng vai trò quan trọng trong việc cung cấp thông tin và cảnh báo cho các tài xế và người tham gia giao thông. Tuy nhiên, việc phân loại chính xác các biển báo giao thông là một nhiệm vụ phức tạp đối với con người do số lượng biển báo rất đa dạng và các biến thể về màu sắc, hình dạng và kích thước. Mạng neural convolutional (CNN) đã được chứng minh là một công cụ mạnh mẽ trong xử lý hình ảnh và trí tuệ nhân tạo. Sự kết hợp giữa CNN và bài toán phân loại biển báo giao thông đường bộ có thể mang lại những tiềm năng lớn để xây dựng các hệ thống tự động nhận diện biển báo giao thông. Tuy nhiên, việc phân loại chính xác các biển báo giao thông đường bộ vẫn đối mặt với một số thách thức. Một trong số đó là sự biến đổi về ánh sáng, góc nhìn và môi trường xung quanh, có thể làm suy giảm khả năng phân loại của mạng CNN. Ngoài ra, sự đa dạng về hình dạng, màu sắc và nhiễu trong hình ảnh cũng làm tăng khó khăn cho quá trình phân loại chính xác.
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH BÁO CÁO MƠN HỌC CƠ SỞ VÀ ỨNG DỤNG AI Đề tài: PHÂN LOẠI BIỂN BÁO GIAO THÔNG Sinh viên thực hiện: Lý Hữu Đang 20119213 Nguyễn Văn Trường Sinh 20119274 Giáo viên hướng dẫn: PGS.TS Trương Ngọc Sơn Thành phố Hồ Chí Minh, tháng 05/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH BÁO CÁO MƠN HỌC CƠ SỞ VÀ ỨNG DỤNG AI Đề tài: PHÂN LOẠI BIỂN BÁO GIAO THÔNG Sinh viên thực hiện: Lý Hữu Đang 20119213 Nguyễn Văn Trường Sinh 20119274 Giáo viên hướng dẫn: PGS.TS Trương Ngọc Sơn Thành phố Hồ Chí Minh, tháng 05/2023 BẢN NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Nội dung thực hiện: …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Nội dung báo cáo: …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Điểm …………………… Bảng phân công cơng việc nhóm: STT Nội dung Tìm kiếm tập liệu Thiết kế mơ hình mạng CNN Thực training mơ hình Thực kiểm tra đánh giá Viết báo cáo Thực Nguyễn Văn Trường Sinh Lý Hữu Đang Lý Hữu Đang Nguyễn Văn Trường Sinh Lý Hữu Đang Nguyễn Văn Trường Sinh Contents CHƯƠNG GIỚI THIỆU .1 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU CỦA ĐỀ TÀI .2 1.3 GIỚI THIỆU VỀ MẠNG NƠ-RON TÍCH CHẬP (CNN) 1.4 GIỚI THIỆU VỀ THƯ VIỆN KERAS 10 CHƯƠNG THIẾT KẾ ỨNG DỤNG PHÂN LOẠI BIỂN BÁO GIAO THÔNG 11 2.1 QUY TRÌNH THIẾT KẾ MƠ HÌNH: .11 2.1.1 Tìm hiểu tập liệu sử dụng: 11 2.1.2 Thiết lập tập liệu: 14 2.1.3 Xây dựng mơ hình CNN: 15 2.1.4 Xây dựng mơ hình kiểm tra: 17 2.2 KIỂM TRA MƠ HÌNH VỚI TẬP DỮ LIỆU KIỂM TRA: 18 2.2.1 Kiểm tra độ xác mơ hình: 18 2.2.2 Xây dựng giao diện sử dụng mơ hình: 19 CHƯƠNG KẾT QUẢ VÀ THẢO LUẬN 23 3.1 KẾT QUẢ THỰC HIỆN: 23 3.1.1 Kết q trình Training mơ hình: 23 3.1.2 Kết q trình Test mơ hình: 26 3.2 THẢO LUẬN VỀ MƠ HÌNH VÀ KẾT QUẢ: 30 TÀI LIỆU THAM KHẢO 31 CHƯƠNG GIỚI THIỆU 1.1 Đặt vấn đề Biển báo giao thông đường đóng vai trị quan trọng việc cung cấp thông tin cảnh báo cho tài xế người tham gia giao thông Tuy nhiên, việc phân loại xác biển báo giao thơng nhiệm vụ phức tạp người số lượng biển báo đa dạng biến thể màu sắc, hình dạng kích thước Mạng neural convolutional (CNN) chứng minh công cụ mạnh mẽ xử lý hình ảnh trí tuệ nhân tạo Sự kết hợp CNN toán phân loại biển báo giao thơng đường mang lại tiềm lớn để xây dựng hệ thống tự động nhận diện biển báo giao thông Tuy nhiên, việc phân loại xác biển báo giao thông đường đối mặt với số thách thức Một số biến đổi ánh sáng, góc nhìn mơi trường xung quanh, làm suy giảm khả phân loại mạng CNN Ngồi ra, đa dạng hình dạng, màu sắc nhiễu hình ảnh làm tăng khó khăn cho q trình phân loại xác Hình 1: Chức số cảm biến xe Hình thể số chức cảm biến xe tơ nay, ví dụ có cảm biến cảm nhận mơi trường xung quanh camera, sonar, laser, radar, lidar, GPS, Với việc tính tốn liệu thu nhận từ cảm biến mơ hình AI cảm biến xe có chức phục vụ cho tác vụ riêng biệt Ví dụ radar có chức phát điểm mù hay cảnh bảo va chạm trước sau xe, lidar để phát người tránh va chạm với cách phương tiện khác, camera để kiểm tra xung quanh phân loại biển số xe đường Vì vậy, nghiên cứu nhằm mục tiêu xây dựng đánh giá hệ thống phân loại biển báo giao thông đường mạng CNN có khả phân loại xác đáng tin cậy biển báo môi trường thực tế Bằng cách tận dụng khả trí tuệ nhân tạo học sâu mạng CNN, hy vọng nghiên cứu đóng góp vào cải thiện an tồn giao thơng giảm nguy tai nạn giao thơng thiếu sót việc phân loại biển báo giao thông 1.2 Mục tiêu đề tài Nghiên cứu nhằm mục tiêu xây dựng đánh giá hệ thống phân loại biển báo giao thông đường mạng CNN Đây bước quan trọng việc cải thiện an tồn giao thơng giảm nguy tai nạn giao thơng thiếu sót việc nhận diện phân loại biển báo giao thông Mục tiêu nghiên cứu bao gồm xây dựng mơ hình mạng CNN có khả học trích xuất đặc trưng quan trọng từ hình ảnh biển báo Mơ hình huấn luyện tinh chỉnh liệu gán nhãn, với mục tiêu đạt độ xác cao việc phân loại biển báo giao thông vào lớp phân loại tương ứng Để đảm bảo tính đáng tin cậy hệ thống phân loại, nghiên cứu sử dụng phương pháp đánh giá hiệu suất thích hợp, bao gồm độ xác, độ phủ độ đo F1 Kết đạt so sánh với phương pháp phân loại khác nhằm đánh giá tính hiệu hệ thống Cuối cùng, hệ thống phân loại xây dựng đánh giá đánh giá độ tin cậy ứng dụng tình thực tế Điều nhằm đảm bảo hệ thống có khả phân loại xác biển báo giao thơng mơi trường thực tế đóng góp vào cải thiện an tồn hiệu suất giao thơng đường Hình 2: Hệ thống Traffic Sign Assist xe tơ đại Ở hình hệ thống Traffic Sign Assist hãng xe MercedesBenz mắt năm 2019 Trong hệ thống sử dụng cảm biến camera để phát biển báo giao thơng đoạn đường di chuyển, sau xử lý mơ hình AI để phân loại xác định biển báo Khi hình tơ hiển thị thơng tin biển báo cho người lái biết để dễ dàng tuân thủ quy định an toàn giao thơng đường 1.3 Giới thiệu mạng Nơ-ron tích chập (CNN) Mạng nơ-ron tích chập (CNN – Convolutional Neural Network) thuật tốn Deep Learning lấy hình ảnh đầu vào, phân biệt đặc trưng, đối tượng khác ảnh gán giá trị trọng số (weight), độ lệch (bias) cho đặc trưng, đối tượng Vai trò mạng CNN giảm chiều ảnh thành dạng dễ xử lý giữ lại đặc trưng quan trọng để dự đốn tốt Ý tưởng mơ hình CNN sử dụng lọc ảnh để trích xuất đặc trừng ảnh trước đưa vào huấn luyện mạng Nơ-ron Sau đưa qua lọc, đặc trưng ảnh làm bật từ sử dụng chúng để nhận diện hình ảnh Hình 3: Lưu đồ mơ hình CNN Hệ thống sử dụng mơ hình CNN mơ tả hình Dữ liệu đầu vào gán nhãn Sau đó, q trình phân chia liệu, tập ảnh phân thành tập ảnh huấn luyện (training), tập ảnh kiểm tra (test) tập ảnh thẩm định (validation) Tập ảnh huấn luyện tập ảnh thẩm định đưa vào huấn luyện cho mơ hình CNN để tìm giá trị trọng số (weights) Từ giá trị trọng số huấn luyện thử ảnh thử để đánh giá kết Mạng Nơ-rơn tích nhập CNN bao gồm lớp sau: Hình 4: Mơ hình mạng CNN - Lớp tích chập (Convolution Layer): Là lớp để trích xuất đặc trưng ảnh đầu vào góc, cạnh, màu sắc, đường ngang, dọc, hình dạng bật hình ảnh đầu vào Tích chập trì mối quan hệ Pixel cách sử dụng vng nhỏ liệu đầu vào Nó phép tốn có hai đầu vào ma trận hình ảnh lọc Hình 5: Phép tốn tích chập lớp tích chập Trong hình 5, ta có ảnh có ma trận chiều (h x w x d) lọc (fh x fw x d) ngõ tính cơng thức: ( h – fh + 1) x ( w – fw + 1) x Ngõ ma trận chiều với chiều thứ Ví dụ, xét ma trận x có giá trị pixel Ma trận lọc x hình dưới: Hình 6: Thực phép nhân ma trận ảnh x với lọc x Sau đó, lớp tích chập ma trận hình ảnh x nhân với ma trận lọc x gọi “Feature Map” Hình 7: Kết thực phép nhân ma trận Sự kết hợp ảnh với lọc khác thực hoạt động phát cạnh, góc, làm mờ làm sắc nét Bước nhảy (Stride) số pixel thay đổi ma trận đầu vào Khi Stride ta di chuyển Kernel pixel Khi Stride ta di chuyển Kernel pixel tiếp tục Ở hình 7, ta thực phép nhân ma trận với bước nhảy (stride = 1) Đường viền (Padding), hình ta thấy lần thực phép nhân ma trận kích thước Output ln nhỏ Input Tuy nhiên, ta muốn