Phát hiện và nhận diện biển báo giao thông sử dụng OpenCV

Phát hiện và nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ 5 PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 Phát hiện và nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT HÀN KHOA KHOA HỌC M.

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 Phát nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 MỞ ĐẦU Phát nhận diện biển báo giao thông sử dụng OpenCV Ngày với tiến khoa học kỹ thuật cơng việc tiến hành máy tính cách tự động hóa hồn tồn phần Một thay đổi lớn cách thức thu nhận xử lý liệu Các công cụ nhập liệu bàn phím hay máy scan dần bị thay thiết bị tiện lợi hình cảm ứng, camera… Hơn nữa, máy tính để bàn khơng cịn cơng cụ hỗ trợ cho người Chúng ta bước sang kỷ 21 với phát triển mạnh mẽ thiết bị di động, giải trí cầm tay hay smartphone Với kích thước ngày nhỏ gọn hiệu suất làm việc khơng ngừng cải tiến, công cụ mini hứa hẹn phần thiếu xã hội đại Và đó, phát triển ứng dụng thiết bị xu tất yếu Công nghệ nhận dạng công nghệ áp dụng cho thiết bị di động Nhận dạng bao gồm nhận dạng âm thanh, hình ảnh Các đối tượng nhận dạng có nhiều kiểu tiếng nói, chữ viết, khn mặt, mã vạch … biển báo giao thông số Chương trình nhận dạng biển báo giao thơng thường phức tạp cài đặt hệ thống có xử lý lớn, camera chất lượng cao Mục tiêu báo cáo giúp phát biển báo nhận dạng cách nhanh Phát nhận diện biển báo giao thông sử dụng OpenCV LỜI CẢM ƠN Lời đầu tiên, chúng em xin trân trọng cảm ơn bày tỏ lòng biết ơn sâu sắc tới giảng viên hướng dẫn môn Đồ án sở - thầy Võ Hùng Cường nhiệt tình hướng dẫn Chúng em xin chân thành cảm ơn thầy cô giáo giảng dạy Khoa công nghệ thông tin truyền thông – Đại học Đà Nẵng nhiệt tình ủng hộ, cung cấp tài liệu đưa ý kiến góp ý q báu Cuối cùng, chúng tơi xin chân thành cảm ơn tới bạn bè động viên, khuyến khích tạo điều kiện cho chúng tơi hồn thành tốt đề tài Xin chân thành cảm ơn! Nhóm sinh viên Hồng Thị Hương Trần Thị Hương Ngân Đà Nẵng, ngày 25 tháng 03 năm 2021 Phát nhận diện biển báo giao thông sử dụng OpenCV NHẬN XÉT (Của giảng viên hướng dẫn) …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… Phát nhận diện biển báo giao thông sử dụng OpenCV MỤC LỤC PHẦN MỞ ĐẦU I Đặt vấn đề .I Mục đích II Phương pháp nghiên cứu III Phạm vi nghiên cứu III Nội dung nghiên cứu III Cấu trúc báo cáo III CHƯƠNG 1: TỔNG QUAN 1.1 Một số khái niệm 1.1.1 Trí tuệ nhân tạo 1.1.2 Xử lý ảnh .2 1.1.3 OpenCV .5 1.2 Giới thiệu chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình .8 1.2.2 Ý tưởng CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN 10 2.1 Các phương pháp phát nhận dạng biển báo giao thông 10 2.1.1 Các phương pháp phát 10 2.1.2 Các phương pháp nhận dạng 14 2.2 Phương pháp đề xuất (Mơ hình mạng neural tích chập CNN) .14 2.3 Thuật toán chương trình .17 2.3.1 Sơ đồ hoạt động chương trình 17 2.3.2 Tập liệu .17 2.3.3 Tiền xử lý phân chia liệu .18 Phát nhận diện biển báo giao thông sử dụng OpenCV 2.3.4 Định nghĩa mô hình .19 2.3.5 Compile mơ hình 19 2.3.6 Khởi tạo đồ thị kết mơ hình 20 2.3.7 Tiến hành training 20 CHƯƠNG 3: DEMO CHƯƠNG TRÌNH .21 3.1 Mô tả toán 21 3.2 Yêu cầu 23 3.3 Chạy project 24 3.4 Kết chạy 25 KẾT LUẬN 28 Kết đạt 28 Hạn chế 28 Hướng phát triển 28 TÀI LIỆU THAM KHẢO 29 Phát nhận diện biển báo giao thơng sử dụng OpenCV DANH MỤC HÌNH ẢNH Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc .II Hình 2: Trí tuệ nhân tạo Hình 3: Nhận dạng vật thể .4 Hình 4: Ví dụ dùng OpenCV để nhận diện khuôn mặt Hình 5: Cấu trúc thư viện OpenCV Hình 6: Ví dụ biển báo nhận diện .8 Hình 7: Các vị trí đề cử điểm ảnh cho tâm đối tượng .11 Hình 8: Nhân góc gradient tam giác cho Kết góc 12 Hình 9: Vùng kiểm sốt 13 Hình 10: Xây dựng ảnh biến đổi khoảng cách .13 Hình 11: Mạng lưới thần kinh tích chập hay Convolutional Neural Networks (CNN) 15 Hình 12: Mơ hình CNN 15 Hình 13: Sờ đồ hoạt động chương trình 17 Hình 14: Biển báo rẽ trái rẽ phải .18 Hình 15: Biển báo thẳng biển báo dừng 18 Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải .18 Hình 17: Train:validation (0.8:0.2) 19 Hình 18: Định nghĩa mơ hình 19 Hình 19: Compile mơ hình .19 Hình 20: Khởi tạo đồ thị kết mơ hình 20 Hình 21: Tiến hành trainning 20 Hình 22: Bài tốn nhận diện biển báo giao thơng 22 Hình 23: Mẫu biển báo hiệu lệnh 23 Hình 24: Kết nhận dạng biển báo dừng 25 Hình 25: Kết nhận dạng biển báo thẳng .25 Hình 26: Kết nhận dạng biển báo rẽ phải .26 Phát nhận diện biển báo giao thông sử dụng OpenCV Hình 27: Kết nhận dạng biển báo rẽ trái 26 Hình 28: Kết nhận dạng biển báo thẳng rẽ trái 27 Hình 29: Kết nhận dạng biển báo thẳng rẽ phải 27 DANH MỤC TỪ VIẾT TẮT CNN GTSRB AI MLL OpenCV Convolutional Neural Network German Traffic Sign Recognition Benchmark Artificial Intelligence Machine Learning Library Open Source Computer Vision Library IPP Integrated Performance Primitives PCA Principal Components Analysis SVM Support vector machine Phát nhận diện biển báo giao thông sử dụng OpenCV PHẦN MỞ ĐẦU Đặt vấn đề Biển báo giao thông qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an toàn cho người phương tiện tham gia giao thông Đây ký hiệu đơn giản bắt buộc phải biết người tham gia giao thông, chúng đặt vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát Tuy nhiên, thực tế số biển báo giao thông bị che khuất số cơng trình xây dựng, biển quảng cáo trái phép hay mọc phía trước khơng dọn dẹp thường xuyên tác động ngoại cảnh làm biển báo giao thơng bị quay nghiêng góc làm cho việc quan sát người điều khiển phương tiện giao thông gặp nhiều khó khăn Ngày nay, mà khoa học phát triển lên tầm cao mới, nhà khoa học mong muốn đưa xe thông minh - loại phương tiện có khả tự di chuyển tham gia giao thông với phương tiện khác người điều khiển Để làm điều này, có nhiều vấn đề đặt từ khâu tự động tránh vật cản tĩnh, tự động tránh phương tiện khác tham gia giao thông (vật cản động) vấn đề tuân thủ qui định bắt buộc tuyến đường thông qua biển báo giao thông Vấn đề tự động quan sát hiểu biển báo giao thông cho xe thông minh cách xác điều kiện khác ánh sáng, sương mù, trời mưa, tuyết trời tối đặt cho nhà khoa học, với mong muốn giải đồng thời tính xác tốc độ xử lý cao Rất nhiều nghiên cứu thực nghiệm lý thuyết thực hiện, nhiên thực tế nhiều tình không mong muốn nghiên cứu gặp nhiều khó khăn Bài báo phát triển giải thuật cho việc dị tìm nhận diện biển báo giao thông điều kiện khác thời tiết, ánh sáng sương mù (chương trình tác giả lập, cho chạy thử nghiệm Viện Công nghệ Châu Á, Thái lan hoàn thiện trường Đại học Nha trang) Trong nghiên cứu này, điểm ảnh HTHương – TTHNgân – Đồ án sở – Khoa học máy tính I Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 12: Mơ hình CNN Cấu trúc mạng CNN: Mạng CNN tập hợp lớp Convolution chồng lên sử dụng hàm nonlinear activation ReLU để kích hoạt trọng số node Mỗi lớp sau thơng qua hàm kích hoạt tạo thông tin trừu tượng cho lớp Mỗi lớp sau thông qua hàm kích hoạt tạo thơng tin trừu tượng cho lớp Trong mơ hình mạng truyền ngược (feedforward neural network) neural đầu vào (input node) cho neural đầu lớp Mơ hình gọi mạng kết nối đầy đủ (fully connected layer) hay mạng tồn vẹn (affine layer) Cịn mơ hình CNNs ngược lại Các layer liên kết với thông qua chế convolution Layer kết convolution từ layer trước đó, nhờ mà ta có kết nối cục Như neuron lớp sinh từ kết filter áp đặt lên vùng ảnh cục neuron trước Mỗi lớp sử dụng filter khác thơng thường có hàng trăm hàng nghìn filter kết hợp kết chúng lại Ngồi có số layer khác pooling/subsampling layer dùng để chắt lọc lại thông tin hữu ích (loại bỏ thông tin nhiễu) HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XIX Phát nhận diện biển báo giao thơng sử dụng OpenCV Trong q trình huấn luyện mạng (traning) CNN tự động học giá trị qua lớp filter dựa vào cách thức mà bạn thực Ví dụ tác vụ phân lớp ảnh, CNNs cố gắng tìm thơng số tối ưu cho filter tương ứng theo thứ tự raw pixel > edges > shapes > facial > high-level features Layer cuối dùng để phân lớp ảnh HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XX Phát nhận diện biển báo giao thơng sử dụng OpenCV 2.3 Thuật tốn chương trình 2.3.1 Sơ đồ hoạt động chương trình Hình 13: Sờ đồ hoạt động chương trình 2.3.2 Tập liệu Sử dụng liệu số biển báo Việt Nam HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXI Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 14: Biển báo rẽ trái rẽ phải Hình 15: Biển báo thẳng biển báo dừng Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải 2.3.3 Tiền xử lý phân chia liệu - Như thông thường, tiến hành chia tập liệu ảnh thành tập train tập validation Ở nhóm chia tập dataset theo tỉ lệ train:validation (0.8:0.2) - Với label chuyển sang dạng One-hot encoding để xử lý HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXII Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 17: Train:validation (0.8:0.2) 2.3.4 Định nghĩa mơ hình Hình 18: Định nghĩa mơ hình 2.3.5 Compile mơ hình Hình 19: Compile mơ hình HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXIII Phát nhận diện biển báo giao thông sử dụng OpenCV 2.3.6 Khởi tạo đồ thị kết mơ hình Hình 20: Khởi tạo đồ thị kết mơ hình 2.3.7 Tiến hành training Hình 21: Tiến hành trainning HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXIV Phát nhận diện biển báo giao thông sử dụng OpenCV CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 3.1 Mơ tả tốn Biển báo giao thơng cách thức để thơng báo cho người tham gia giao thơng tình trạng đường, đưa dẫn, hay cảnh báo giúp ngƣời tham gia giao thông xử lý đưa hành vi hợp lý, đảm bảo an toàn giao thơng Mỗi người tham gia giao thơng địi hỏi phải nắm bắt hiểu hết toàn ý nghĩa tất biển báo giao thông Việc trở nên khó khăn số lượng biển báo lớn Hơn việc phát biển báo trở nên phức tạp mà yếu tố ngoại cảnh tác động Biển báo bị hư hại tiếp xúc thời gian dài ánh nắng mặt trời Màu sắc bị thay đổi điều kiện sương mù, ánh sáng yếu ban đêm, biển báo bị che khuất nhà cửa, cối … Vì lý trên, nhóm mong muốn xây dựng ứng dụng nhỏ gọn, cầm tay, đơn giản cho phép người dùng tra cứu trực quan thơng tin biển báo không nhớ nội dung biển báo này, phát triển sau tích hợp kết nối tới phương tiện giao thông đưa cảnh báo thích hợp HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXV Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 22: Bài tốn nhận diện biển báo giao thơng *Đối tượng tốn: Biển hiệu lệnh đường Việt Nam: Nhóm biển hiệu lệnh gồm có kiểu đánh số thứ tự nhằm báo cho người sử dụng đường biết hiệu lệnh phải thi hành Các biển báo loại thường có hình dạng tròn với màu xanh đặc trưng, cá biệt có số biển báo có đường kẻ sọc cắt ngang HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXVI Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 23: Mẫu biển báo hiệu lệnh 3.2 Yêu cầu - Python: 3x - Các gói package cần cài:  Numpy: NumPy là một thư viện tốn học phổ biến mạnh mẽ của Python Nó cho phép làm việc hiệu với ma trận mảng, đặc biệt là dữ liệu ma trận mảng lớn với tốc độ xử lý nhanh nhiều lần sử dụng Python thuần  Matplotlib: Nó là một thư viện vẽ đồ thị mạnh mẽ hữu ích cho người làm việc với Python và NumPy Module sử dụng nhiều Matplotib là Pyplot cung cấp giao diện MATLAB thay vào đó, sử dụng Python và nó là nguồn mở Nó biểu diễn liệu dạng đồ thị chiều, chiều HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXVII Phát nhận diện biển báo giao thông sử dụng OpenCV  Opencv: OpenCV thư viện chức lập trình chủ yếu nhắm vào thị giác máy tính thời gian thực.   Scikit-image  Tensorflow: Thư viện Tensorfow thư viện mã nguồn mở dùng cho tính tốn số học sử dụng đồ thị luồng liệu  Tensorflow-mkl  Keras: Keras open source cho Neural Network viết ngôn ngữ Python  Pillow: Pillow fork từ thư viện PIL Python sử dụng để xử lý hình ảnh 3.3 Chạy project - - Di chuyển đến thư mục chứa project Chạy file HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXVIII Phát nhận diện biển báo giao thông sử dụng OpenCV 3.4 Kết chạy Hình 24: Kết nhận dạng biển báo dừng Hình 25: Kết nhận dạng biển báo thẳng HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXIX Phát nhận diện biển báo giao thông sử dụng OpenCV Hình 26: Kết nhận dạng biển báo rẽ phải Hình 27: Kết nhận dạng biển báo rẽ trái HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXX Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 28: Kết nhận dạng biển báo thẳng rẽ trái Hình 29: Kết nhận dạng biển báo thẳng rẽ phải HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXXI Phát nhận diện biển báo giao thông sử dụng OpenCV KẾT LUẬN Kết đạt - Đã xây dựng thành cơng chương trình nhận diện biển báo giao thơng đơn giản - T ìm hiểu kĩ thuật xử lý ảnh nhận diện hình học, thuật tốn CNN xây dựng nên chương trình nhận diện biển báo giao thơng Hạn chế - Vì mang tính nghiên cứu nên hệ thống làm việc tập liệu thử nghiệm với số loại biển báo khác - Ứng dụng bị hạn chế làm việc với số phần cứng không đáp ứng yêu cầu xử lý chất lượng camera nhận dạng thấp Hướng phát triển Trong tương lai, nhóm nghiên cứu cải tiến phương pháp phát vùng chứa biển báo để giải trường hợp biển báo bị hư hỏng chồng lấp Đổng thời tăng số lượng mẫu huấn luyện kiểm tra để nâng cao độ xác hệ thống Mở rộng hệ thống để phát nhận dạng thêm kiểu biển báo khác HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXXII Phát nhận diện biển báo giao thông sử dụng OpenCV TÀI LIỆU THAM KHẢO [Tài liệu môn học Xử lý ảnh] http://elearning.vku.udn.vn/mod/folder/view.php?id=6417 http://ntu.edu.vn/Portals/66/Tap%20chi%20KHCNTS/So%2022007/So %202.2007_07%20Pham%20Dinh%20Trung.PDF [Báo cáo đồ án Lê Quang Dật Đỗ Ngọc Toàn] https://view.officeapps.live.com/op/view.aspx?src=http%3A%2F%2Fdaotao %2Evku%2Eudn%2Evn%3A80%2Fuploads %2F2020%2F08%2F1597939675%2Dbao%2Dcao%2Ddo%2Dan%2Dco %2Dso%2D5%2Dle%2Dquang%2Dduat%2D17it1%2Ddo%2Dngoc%2Dtoan %2D17it3%2Edocx [Phân loại biển báo giao thông Deep Learning (CNN)] https://miai.vn/2020/08/03/phan-loai-bien-bao-giao-thong-bang-deep-learningcnn/ HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XXXIII .. .Phát nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO. .. qua,? ?Nhận diện? ?biển báo giao thông trình nhận biết nội dung biến báo xác định biển báo thuộc loại HTHương – TTHNgân – Đồ án sở – Khoa học máy tính XI Phát nhận diện biển báo giao thông sử dụng OpenCV. .. máy tính XII Phát nhận diện biển báo giao thông sử dụng OpenCV CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN 2.1 Các phương pháp phát nhận dạng biển báo giao thông Biển báo giao thơng