BÁO cáo đồ án cơ sở 5 PHÁT HIỆN và NHẬN DIỆN BIỂN báo GIAO THÔNG sử DỤNG OPENCV

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thơng sử dụng OpenCV TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 MỞ ĐẦU TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thông sử dụng OpenCV Ngày với tiến khoa học kỹ thuật cơng việc tiến hành máy tính cách tự động hóa hồn tồn phần Một thay đổi lớn cách thức thu nhận xử lý liệu Các cơng cụ nhập liệu bàn phím hay máy scan dần bị thay thiết bị tiện lợi hình cảm ứng, camera… Hơn nữa, máy tính để bàn khơng cịn cơng cụ hỗ trợ cho người Chúng ta bước sang kỷ 21 với phát triển mạnh mẽ thiết bị di động, giải trí cầm tay hay smartphone Với kích thước ngày nhỏ gọn hiệu suất làm việc khơng ngừng cải tiến, công cụ mini hứa hẹn phần thiếu xã hội đại Và đó, phát triển ứng dụng thiết bị xu tất yếu Công nghệ nhận dạng công nghệ áp dụng cho thiết bị di động Nhận dạng bao gồm nhận dạng âm thanh, hình ảnh Các đối tượng nhận dạng có nhiều kiểu tiếng nói, chữ viết, khn mặt, mã vạch … biển báo giao thông số Chương trình nhận dạng biển báo giao thông thường phức tạp cài đặt hệ thống có xử lý lớn, camera chất lượng cao Mục tiêu báo cáo giúp phát biển báo nhận dạng cách nhanh TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thông sử dụng OpenCV LỜI CẢM ƠN Lời đầu tiên, chúng em xin trân trọng cảm ơn bày tỏ lòng biết ơn sâu sắc tới giảng viên hướng dẫn môn Đồ án sở - thầy Võ Hùng Cường nhiệt tình hướng dẫn Chúng em xin chân thành cảm ơn thầy cô giáo giảng dạy Khoa công nghệ thông tin truyền thông – Đại học Đà Nẵng nhiệt tình ủng hộ, cung cấp tài liệu đưa ý kiến góp ý quý báu Cuối cùng, xin chân thành cảm ơn tới bạn bè động viên, khuyến khích tạo điều kiện cho chúng tơi hồn thành tốt đề tài Xin chân thành cảm ơn! Nhóm sinh viên Hoàng Thị Hương Trần Thị Hương Ngân Đà Nẵng, ngày 25 tháng 03 năm 2021 TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thông sử dụng OpenCV NHẬN XÉT (Của giảng viên hướng dẫn) …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thông sử dụng OpenCV MỤC LỤC PHẦN MỞ ĐẦU 1.Đặt vấn đề 2.Mục đích 3.Phương pháp nghiên cứu 4.Phạm vi nghiên cứu 5.Nội dung nghiên cứu 6.Cấu trúc báo cáo CHƯƠNG 1: TỔNG QUAN 1.1 Một số khái niệm 1.1.1 Trí tuệ nhân tạo 1.1.2 Xử lý ảnh 1.1.3 OpenCV 1.2 Giới thiệu chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình 1.2.2 Ý tưởng CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN 2.1 Các phương pháp phát nhận dạng biển báo giao thông 2.1.1 Các phương pháp phát 2.1.2 Các phương pháp nhận dạng 2.2 Phương pháp đề xuất (Mơ hình mạng neural tích chập CNN) 2.3 Thuật tốn chương trình 2.3.1 Sơ đồ hoạt động chương trình 2.3.2 Tập liệu 2.3.3 Tiền xử lý phân chia liệu TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thơng sử dụng OpenCV 2.3.4 Định nghĩa mơ hình 19 2.3.5 Compile mơ hình 19 2.3.6 Khởi tạo đồ thị kết mơ hình 20 2.3.7 Tiến hành training 20 CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 21 3.1 Mô tả toán 21 3.2 Yêu cầu 23 3.3 Chạy project 24 3.4 Kết chạy 25 KẾT LUẬN 28 Kết đạt 28 Hạn chế 28 Hướng phát triển 28 TÀI LIỆU THAM KHẢO 29 TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thơng sử dụng OpenCV DANH MỤC HÌNH ẢNH Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc II Hình 2: Trí tuệ nhân tạo Hình 3: Nhận dạng vật thể .4 Hình 4: Ví dụ dùng OpenCV để nhận diện khuôn mặt Hình 5: Cấu trúc thư viện OpenCV Hình 6: Ví dụ biển báo nhận diện .8 Hình 7: Các vị trí đề cử điểm ảnh cho tâm đối tượng 11 Hình 8: Nhân góc gradient tam giác cho Kết góc .12 Hình 9: Vùng kiểm sốt 13 Hình 10: Xây dựng ảnh biến đổi khoảng cách 13 Hình 11: Mạng lưới thần kinh tích chập hay Convolutional Neural Networks (CNN) 15 Hình 12: Mơ hình CNN 15 Hình 13: Sờ đồ hoạt động chương trình 17 Hình 14: Biển báo rẽ trái rẽ phải 18 Hình 15: Biển báo thẳng biển báo dừng 18 Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải 18 Hình 17: Train:validation (0.8:0.2) 19 Hình 18: Định nghĩa mơ hình 19 Hình 19: Compile mơ hình 19 Hình 20: Khởi tạo đồ thị kết mơ hình 20 Hình 21: Tiến hành trainning 20 Hình 22: Bài tốn nhận diện biển báo giao thông 22 Hình 23: Mẫu biển báo hiệu lệnh 23 Hình 24: Kết nhận dạng biển báo dừng 25 Hình 25: Kết nhận dạng biển báo thẳng 25 Hình 26: Kết nhận dạng biển báo rẽ phải 26 TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 27: Kết nhận dạng biển báo rẽ trái 26 Hình 28: Kết nhận dạng biển báo thẳng rẽ trái 27 Hình 29: Kết nhận dạng biển báo thẳng rẽ phải 27 DANH MỤC TỪ VIẾT TẮT CNN GTSRB AI MLL OpenCV IPP PCA SVM TIEU LUAN MOI download : skknchat@gmail.com Phát nhận diện biển báo giao thông sử dụng OpenCV PHẦN MỞ ĐẦU Đặt vấn đề Biển báo giao thông qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an toàn cho người phương tiện tham gia giao thông Đây ký hiệu đơn giản bắt buộc phải biết người tham gia giao thông, chúng đặt vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát Tuy nhiên, thực tế số biển báo giao thông bị che khuất số công trình xây dựng, biển quảng cáo trái phép hay mọc phía trước khơng dọn dẹp thường xun tác động ngoại cảnh làm biển báo giao thơng bị quay nghiêng góc làm cho việc quan sát người điều khiển phương tiện giao thơng gặp nhiều khó khăn Ngày nay, mà khoa học phát triển lên tầm cao mới, nhà khoa học mong muốn đưa xe thơng minh - loại phương tiện có khả tự di chuyển tham gia giao thông với phương tiện khác người điều khiển Để làm điều này, có nhiều vấn đề đặt từ khâu tự động tránh vật cản tĩnh, tự động tránh phương tiện khác tham gia giao thông (vật cản động) vấn đề tuân thủ qui định bắt buộc tuyến đường thông qua biển báo giao thông Vấn đề tự động quan sát hiểu biển báo giao thông cho xe thơng minh cách xác điều kiện khác ánh sáng, sương mù, trời mưa, tuyết trời tối đặt cho nhà khoa học, với mong muốn giải đồng thời tính xác tốc độ xử lý cao Rất nhiều nghiên cứu thực nghiệm lý thuyết thực hiện, nhiên thực tế nhiều tình khơng mong muốn nghiên cứu gặp nhiều khó khăn Bài báo phát triển giải thuật cho việc dị tìm nhận diện biển báo giao thông điều kiện khác thời tiết, ánh sáng sương mù (chương trình tác giả lập, cho chạy thử nghiệm Viện Cơng nghệ Châu Á, Thái lan hồn thiện trường Đại học Nha trang) Trong nghiên cứu này, điểm ảnh HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com I Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 12: Mơ hình CNN Cấu trúc mạng CNN: Mạng CNN tập hợp lớp Convolution chồng lên sử dụng hàm nonlinear activation ReLU để kích hoạt trọng số node Mỗi lớp sau thơng qua hàm kích hoạt tạo thông tin trừu tượng cho lớp Mỗi lớp sau thông qua hàm kích hoạt tạo thơng tin trừu tượng cho lớp Trong mơ hình mạng truyền ngược (feedforward neural network) neural đầu vào (input node) cho neural đầu lớp Mơ hình gọi mạng kết nối đầy đủ (fully connected layer) hay mạng tồn vẹn (affine layer) Cịn mơ hình CNNs ngược lại Các layer liên kết với thông qua chế convolution Layer kết convolution từ layer trước đó, nhờ mà ta có kết nối cục Như neuron lớp sinh từ kết filter áp đặt lên vùng ảnh cục neuron trước Mỗi lớp sử dụng filter khác thơng thường có hàng trăm hàng nghìn filter kết hợp kết chúng lại Ngồi có số layer khác pooling/subsampling layer dùng để chắt lọc lại thông tin hữu ích (loại bỏ thông tin nhiễu) HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XIX Phát nhận diện biển báo giao thông sử dụng OpenCV Trong trình huấn luyện mạng (traning) CNN tự động học giá trị qua lớp filter dựa vào cách thức mà bạn thực Ví dụ tác vụ phân lớp ảnh, CNNs cố gắng tìm thông số tối ưu cho filter tương ứng theo thứ tự raw pixel > edges > shapes > facial > high-level features Layer cuối dùng để phân lớp ảnh HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XX Phát nhận diện biển báo giao thơng sử dụng OpenCV 2.3 Thuật tốn chương trình 2.3.1 Sơ đồ hoạt động chương trình Hình 13: Sờ đồ hoạt động chương trình 2.3.2 Tập liệu Sử dụng liệu số biển báo Việt Nam HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXI Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 14: Biển báo rẽ trái rẽ phải Hình 15: Biển báo thẳng biển báo dừng Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải 2.3.3 Tiền xử lý phân chia liệu - Như thông thường, tiến hành chia tập liệu ảnh thành tập train tập validation Ở nhóm chia tập dataset theo tỉ lệ train:validation (0.8:0.2) - Với label chuyển sang dạng One-hot encoding để xử lý HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXII Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 17: Train:validation (0.8:0.2) 2.3.4 Định nghĩa mơ hình Hình 18: Định nghĩa mơ hình 2.3.5 Compile mơ hình Hình 19: Compile mơ hình HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXIII Phát nhận diện biển báo giao thông sử dụng OpenCV 2.3.6 Khởi tạo đồ thị kết mơ hình Hình 20: Khởi tạo đồ thị kết mơ hình 2.3.7 Tiến hành training Hình 21: Tiến hành trainning HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXIV Phát nhận diện biển báo giao thông sử dụng OpenCV CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 3.1 Mơ tả tốn Biển báo giao thông cách thức để thông báo cho người tham gia giao thơng tình trạng đường, đưa dẫn, hay cảnh báo giúp ngƣời tham gia giao thông xử lý đưa hành vi hợp lý, đảm bảo an tồn giao thơng Mỗi người tham gia giao thơng địi hỏi phải nắm bắt hiểu hết toàn ý nghĩa tất biển báo giao thơng Việc trở nên khó khăn số lượng biển báo lớn Hơn việc phát biển báo trở nên phức tạp mà yếu tố ngoại cảnh tác động Biển báo bị hư hại tiếp xúc thời gian dài ánh nắng mặt trời Màu sắc bị thay đổi điều kiện sương mù, ánh sáng yếu ban đêm, biển báo bị che khuất nhà cửa, cối … Vì lý trên, nhóm mong muốn xây dựng ứng dụng nhỏ gọn, cầm tay, đơn giản cho phép người dùng tra cứu trực quan thông tin biển báo không nhớ nội dung biển báo này, phát triển sau tích hợp kết nối tới phương tiện giao thông đưa cảnh báo thích hợp HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXV Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 22: Bài tốn nhận diện biển báo giao thơng *Đối tượng tốn: Biển hiệu lệnh đường Việt Nam: Nhóm biển hiệu lệnh gồm có kiểu đánh số thứ tự nhằm báo cho người sử dụng đường biết hiệu lệnh phải thi hành Các biển báo loại thường có hình dạng trịn với màu xanh đặc trưng, cá biệt có số biển báo có đường kẻ sọc cắt ngang HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXVI Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 23: Mẫu biển báo hiệu lệnh 3.2 Yêu cầu -Python: 3x -Các gói package cần cài: Numpy: NumPy thư viện toán học phổ biến mạnh mẽ Python Nó cho phép làm việc hiệu với ma trận mảng, đặc biệt liệu ma trận mảng lớn với tốc độ xử lý nhanh nhiều lần sử dụng Python Matplotlib: Nó thư viện vẽ đồ thị mạnh mẽ hữu ích cho người làm việc với Python NumPy Module sử dụng nhiều Matplotib Pyplot cung cấp giao diện MATLAB thay vào đó, sử dụng Python nguồn mở Nó biểu diễn liệu dạng đồ thị chiều, chiều HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXVII Phát nhận diện biển báo giao thông sử dụng OpenCV Opencv: OpenCV thư viện chức lập trình chủ yếu nhắm vào thị giác máy tính thời gian thực Scikit-image Tensorflow: Thư viện Tensorfow thư viện mã nguồn mở dùng cho tính tốn số học sử dụng đồ thị luồng liệu Tensorflow-mkl Keras: Keras open source cho Neural Network viết ngôn ngữ Python Pillow: Pillow fork từ thư viện PIL Python sử dụng để xử lý hình ảnh 3.3 Chạy project - Di chuyển đến thư mục chứa project - Chạy file HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXVIII Phát nhận diện biển báo giao thông sử dụng OpenCV 3.4 Kết chạy Hình 24: Kết nhận dạng biển báo dừng Hình 25: Kết nhận dạng biển báo thẳng HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXIX Phát nhận diện biển báo giao thơng sử dụng OpenCV Hình 26: Kết nhận dạng biển báo rẽ phải Hình 27: Kết nhận dạng biển báo rẽ trái HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXX Phát nhận diện biển báo giao thông sử dụng OpenCV Hình 28: Kết nhận dạng biển báo thẳng rẽ trái Hình 29: Kết nhận dạng biển báo thẳng rẽ phải HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXXI Phát nhận diện biển báo giao thông sử dụng OpenCV KẾT LUẬN Kết đạt - Đã xây dựng thành công chương trình nhận diện biển báo giao thơng đơn giản - T ìm hiểu kĩ thuật xử lý ảnh nhận diện hình học, thuật tốn CNN xây dựng nên chương trình nhận diện biển báo giao thơng Hạn chế -Vì mang tính nghiên cứu nên hệ thống làm việc tập liệu thử nghiệm với số loại biển báo khác -Ứng dụng bị hạn chế làm việc với số phần cứng không đáp ứng yêu cầu xử lý chất lượng camera nhận dạng thấp Hướng phát triển Trong tương lai, nhóm nghiên cứu cải tiến phương pháp phát vùng chứa biển báo để giải trường hợp biển báo bị hư hỏng chồng lấp Đổng thời tăng số lượng mẫu huấn luyện kiểm tra để nâng cao độ xác hệ thống Mở rộng hệ thống để phát nhận dạng thêm kiểu biển báo khác HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXXII Phát nhận diện biển báo giao thông sử dụng OpenCV TÀI LIỆU THAM KHẢO [Tài liệu môn học Xử lý ảnh] http://elearning.vku.udn.vn/mod/folder/view.php?id=6417 http://ntu.edu.vn/Portals/66/Tap%20chi%20KHCNTS/So %2022007/So %202.2007_07%20Pham%20Dinh%20Trung.PDF [Báo cáo đồ án Lê Quang Dật Đỗ Ngọc Toàn] https://view.officeapps.live.com/op/view.aspx?src=http%3A%2F%2Fdaotao %2Evku%2Eudn%2Evn%3A80%2Fuploads %2F2020%2F08%2F1597939675%2Dbao%2Dcao%2Ddo%2Dan%2Dco %2Dso%2D5%2Dle%2Dquang%2Dduat%2D17it1%2Ddo%2Dngoc%2Dtoan %2D17it3%2Edocx [Phân loại biển báo giao thông Deep Learning (CNN)] https://miai.vn/2020/08/03/phan-loai-bien-bao-giao-thong-bang-deeplearning-cnn/ HTHương – TTHNgân – Đồ án sở – Khoa học máy tính TIEU LUAN MOI download : skknchat@gmail.com XXXIII .. .Phát nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO. .. skknchat@gmail.com XXVIII Phát nhận diện biển báo giao thông sử dụng OpenCV 3.4 Kết chạy Hình 24: Kết nhận dạng biển báo dừng Hình 25: Kết nhận dạng biển báo thẳng HTHương – TTHNgân – Đồ án sở – Khoa học... chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình Bài báo cáo trình bày phương pháp phát nhận dạng biển báo giao thông đường sử dụng kết hợp kỹ thuật phát biên phân