BÁO CÁO ĐỒ ÁN CƠ SỞ 5 PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 Tieuluanmoi skkndowloadbychat@gmail.com TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương – 18IT2 Trần Thị Hương Ngân – 18IT3 Giảng viên hướng dẫn: ThS Võ Hùng Cường Đà Nẵng, ngày 25 tháng 03 năm 2021 MỞ ĐẦU Tieuluanmoi skkndowloadbychat@gmail.com Ngày với tiến khoa học kỹ thuật cơng việc tiến hành máy tính cách tự động hóa hồn tồn phần Một thay đổi lớn cách thức thu nhận xử lý liệu Các công cụ nhập liệu bàn phím hay máy scan dần bị thay thiết bị tiện lợi hình cảm ứng, camera… Hơn nữa, máy tính để bàn khơng cịn cơng cụ hỗ trợ cho người Chúng ta bước sang kỷ 21 với phát triển mạnh mẽ thiết bị di động, giải trí cầm tay hay smartphone Với kích thước ngày nhỏ gọn hiệu suất làm việc khơng ngừng cải tiến, công cụ mini hứa hẹn phần thiếu xã hội đại Và đó, phát triển ứng dụng thiết bị xu tất yếu Công nghệ nhận dạng công nghệ áp dụng cho thiết bị di động Nhận dạng bao gồm nhận dạng âm thanh, hình ảnh Các đối tượng nhận dạng có nhiều kiểu tiếng nói, chữ viết, khn mặt, mã vạch … biển báo giao thông số Chương trình nhận dạng biển báo giao thơng thường phức tạp cài đặt hệ thống có xử lý lớn, camera chất lượng cao Mục tiêu báo cáo giúp phát biển báo nhận dạng cách nhanh Tieuluanmoi skkndowloadbychat@gmail.com LỜI CẢM ƠN Lời đầu tiên, chúng em xin trân trọng cảm ơn bày tỏ lòng biết ơn sâu sắc tới giảng viên hướng dẫn môn Đồ án sở - thầy Võ Hùng Cường nhiệt tình hướng dẫn Chúng em xin chân thành cảm ơn thầy cô giáo giảng dạy Khoa công nghệ thông tin truyền thông – Đại học Đà Nẵng nhiệt tình ủng hộ, cung cấp tài liệu đưa ý kiến góp ý q báu Cuối cùng, chúng tơi xin chân thành cảm ơn tới bạn bè động viên, khuyến khích tạo điều kiện cho chúng tơi hồn thành tốt đề tài Xin chân thành cảm ơn! Nhóm sinh viên Hồng Thị Hương Trần Thị Hương Ngân Đà Nẵng, ngày 25 tháng 03 năm 2021 Tieuluanmoi skkndowloadbychat@gmail.com NHẬN XÉT (Của giảng viên hướng dẫn) …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………… …………………………………………………………………………… …………………………………………………………………………… Tieuluanmoi skkndowloadbychat@gmail.com MỤC LỤC PHẦN MỞ ĐẦU I Đặt vấn đề I Mục đích II Phương pháp nghiên cứu III Phạm vi nghiên cứu III Nội dung nghiên cứu III Cấu trúc báo cáo III CHƯƠNG 1: TỔNG QUAN 1.1 Một số khái niệm 2 1.1.1 Trí tuệ nhân tạo 1.1.2 Xử lý ảnh 1.1.3 OpenCV 1.2 Giới thiệu chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình 1.2.2 Ý tưởng CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN 2.1 Các phương pháp phát nhận dạng biển báo giao thông 10 10 2.1.1 Các phương pháp phát 10 2.1.2 Các phương pháp nhận dạng 14 2.2 Phương pháp đề xuất (Mơ hình mạng neural tích chập CNN) 14 2.3 Thuật tốn chương trình 17 2.3.1 Sơ đồ hoạt động chương trình 17 2.3.2 Tập liệu 17 2.3.3 Tiền xử lý phân chia liệu 18 Tieuluanmoi skkndowloadbychat@gmail.com 2.3.4 Định nghĩa mơ hình 19 2.3.5 Compile mơ hình 19 2.3.6 Khởi tạo đồ thị kết mơ hình 20 2.3.7 Tiến hành training 20 CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 21 3.1 Mơ tả tốn 21 3.2 u cầu 23 3.3 Chạy project 24 3.4 Kết chạy 25 KẾT LUẬN 28 Kết đạt 28 Hạn chế 28 Hướng phát triển 28 TÀI LIỆU THAM KHẢO 29 Tieuluanmoi skkndowloadbychat@gmail.com DANH MỤC HÌNH ẢNH Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc II Hình 2: Trí tuệ nhân tạo Hình 3: Nhận dạng vật thể Hình 4: Ví dụ dùng OpenCV để nhận diện khn mặt Hình 5: Cấu trúc thư viện OpenCV Hình 6: Ví dụ biển báo nhận diện Hình 7: Các vị trí đề cử điểm ảnh cho tâm đối tượng 11 Hình 8: Nhân góc gradient tam giác cho Kết góc 12 Hình 9: Vùng kiểm sốt 13 Hình 10: Xây dựng ảnh biến đổi khoảng cách 13 Hình 11: Mạng lưới thần kinh tích chập hay Convolutional Neural Networks (CNN) 15 Hình 12: Mơ hình CNN 15 Hình 13: Sờ đồ hoạt động chương trình 17 Hình 14: Biển báo rẽ trái rẽ phải 18 Hình 15: Biển báo thẳng biển báo dừng 18 Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải 18 Hình 17: Train:validation (0.8:0.2) 19 Hình 18: Định nghĩa mơ hình 19 Hình 19: Compile mơ hình 19 Hình 20: Khởi tạo đồ thị kết mơ hình 20 Hình 21: Tiến hành trainning 20 Hình 22: Bài tốn nhận diện biển báo giao thơng 22 Hình 23: Mẫu biển báo hiệu lệnh 23 Hình 24: Kết nhận dạng biển báo dừng 25 Hình 25: Kết nhận dạng biển báo thẳng 25 Hình 26: Kết nhận dạng biển báo rẽ phải 26 Tieuluanmoi skkndowloadbychat@gmail.com Hình 27: Kết nhận dạng biển báo rẽ trái 26 Hình 28: Kết nhận dạng biển báo thẳng rẽ trái 27 Hình 29: Kết nhận dạng biển báo thẳng rẽ phải 27 DANH MỤC TỪ VIẾT TẮT CNN GTSRB AI MLL OpenCV Convolutional Neural Network German Traffic Sign Recognition Benchmark Artificial Intelligence Machine Learning Library Open Source Computer Vision Library IPP Integrated Performance Primitives PCA Principal Components Analysis SVM Support vector machine PHẦN MỞ ĐẦU Đặt vấn đề Biển báo giao thông qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an tồn cho người phương tiện tham gia giao thơng Đây ký hiệu đơn giản bắt buộc phải biết người tham gia giao thông, chúng đặt vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát Tuy nhiên, thực tế số biển báo giao thông bị che khuất số cơng trình xây dựng, biển quảng cáo trái phép hay mọc phía trước khơng dọn dẹp thường xun tác động ngoại cảnh làm biển báo giao thơng bị quay nghiêng góc làm cho việc quan sát người điều khiển phương tiện giao thơng gặp nhiều khó khăn Ngày nay, mà khoa học phát triển lên tầm cao mới, nhà khoa học mong muốn đưa xe thơng minh - loại phương tiện có khả tự di chuyển tham gia giao thông với phương tiện khác người điều khiển Để làm điều này, có nhiều vấn đề đặt từ khâu tự động tránh vật cản tĩnh, tự động tránh phương tiện khác tham gia giao thông (vật cản động) vấn đề tuân thủ qui định bắt buộc tuyến đường thông qua biển báo giao thông Vấn đề tự động quan sát hiểu biển báo giao thông cho xe thơng minh cách xác điều kiện khác ánh sáng, sương mù, trời mưa, tuyết trời tối đặt cho nhà khoa học, với mong muốn giải đồng thời tính xác tốc độ xử lý cao Rất nhiều nghiên cứu thực nghiệm lý thuyết thực hiện, nhiên thực tế nhiều tình khơng mong muốn nghiên cứu gặp nhiều khó khăn Bài báo phát triển giải thuật cho việc dị tìm nhận diện biển báo giao thông điều kiện khác thời tiết, ánh sáng sương mù (chương trình tác giả lập, cho chạy thử nghiệm Viện Công nghệ Châu Á, Thái lan hoàn thiện trường Đại học Nha trang) Trong nghiên cứu này, điểm ảnh 2.3 Thuật tốn chương trình 2.3.1 Sơ đồ hoạt động chương trình Hình 13: Sờ đồ hoạt động chương trình 2.3.2 Tập liệu Sử dụng liệu số biển báo Việt Nam Hình 14: Biển báo rẽ trái rẽ phải Hình 15: Biển báo thẳng biển báo dừng Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải 2.3.3 Tiền xử lý phân chia liệu - Như thông thường, tiến hành chia tập liệu ảnh thành tập train tập validation Ở nhóm chia tập dataset theo tỉ lệ train:validation (0.8:0.2) - Với label chuyển sang dạng One-hot encoding để xử lý Hình 17: Train:validation (0.8:0.2) 2.3.4 Định nghĩa mơ hình Hình 18: Định nghĩa mơ hình 2.3.5 Compile mơ hình Hình 19: Compile mơ hình 2.3.6 Khởi tạo đồ thị kết mơ hình Hình 20: Khởi tạo đồ thị kết mơ hình 2.3.7 Tiến hành training Hình 21: Tiến hành trainning CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 3.1 Mơ tả tốn Biển báo giao thông cách thức để thông báo cho người tham gia giao thơng tình trạng đường, đưa dẫn, hay cảnh báo giúp ngƣời tham gia giao thông xử lý đưa hành vi hợp lý, đảm bảo an tồn giao thơng Mỗi người tham gia giao thơng địi hỏi phải nắm bắt hiểu hết toàn ý nghĩa tất biển báo giao thơng Việc trở nên khó khăn số lượng biển báo lớn Hơn việc phát biển báo trở nên phức tạp mà yếu tố ngoại cảnh tác động Biển báo bị hư hại tiếp xúc thời gian dài ánh nắng mặt trời Màu sắc bị thay đổi điều kiện sương mù, ánh sáng yếu ban đêm, biển báo bị che khuất nhà cửa, cối … Vì lý trên, nhóm mong muốn xây dựng ứng dụng nhỏ gọn, cầm tay, đơn giản cho phép người dùng tra cứu trực quan thông tin biển báo không nhớ nội dung biển báo này, phát triển sau tích hợp kết nối tới phương tiện giao thông đưa cảnh báo thích hợp Hình 22: Bài tốn nhận diện biển báo giao thơng *Đối tượng tốn: Biển hiệu lệnh đường Việt Nam: Nhóm biển hiệu lệnh gồm có kiểu đánh số thứ tự nhằm báo cho người sử dụng đường biết hiệu lệnh phải thi hành Các biển báo loại thường có hình dạng trịn với màu xanh đặc trưng, cá biệt có số biển báo có đường kẻ sọc cắt ngang Hình 23: Mẫu biển báo hiệu lệnh 3.2 Yêu cầu - Python: 3x - Các gói package cần cài: ​ Numpy: NumPy thư viện toán học phổ biến mạnh mẽ Python Nó cho phép làm việc hiệu với ma trận mảng, đặc biệt liệu ma trận mảng lớn với tốc độ xử lý nhanh nhiều lần sử dụng Python ​ Matplotlib: Nó thư viện vẽ đồ thị mạnh mẽ hữu ích cho người làm việc với Python NumPy Module sử dụng nhiều Matplotib Pyplot cung cấp giao diện MATLAB thay vào đó, sử dụng Python nguồn mở Nó biểu diễn liệu dạng đồ thị chiều, chiều ​ Opencv: OpenCV thư viện chức lập trình chủ yếu nhắm vào thị giác máy tính thời gian thực ​ Scikit-image ​ Tensorflow: Thư viện Tensorfow thư viện mã nguồn mở dùng cho tính tốn số học sử dụng đồ thị luồng liệu ​ Tensorflow-mkl ​ Keras: Keras open source cho Neural Network viết ngôn ngữ Python ​ Pillow: Pillow fork từ thư viện PIL Python sử dụng để xử lý hình ảnh 3.3 Chạy project - - Di chuyển đến thư mục chứa project Chạy file 3.4 Kết chạy Hình 24: Kết nhận dạng biển báo dừng Hình 25: Kết nhận dạng biển báo thẳng Hình 26: Kết nhận dạng biển báo rẽ phải Hình 27: Kết nhận dạng biển báo rẽ trái Hình 28: Kết nhận dạng biển báo thẳng rẽ trái Hình 29: Kết nhận dạng biển báo thẳng rẽ phải KẾT LUẬN Kết đạt - Đã xây dựng thành công chương trình nhận diện biển báo giao thơng đơn giản - T ìm hiểu kĩ thuật xử lý ảnh nhận diện hình học, thuật tốn CNN xây dựng nên chương trình nhận diện biển báo giao thơng Hạn chế - Vì mang tính nghiên cứu nên hệ thống làm việc tập liệu thử nghiệm với số loại biển báo khác - Ứng dụng bị hạn chế làm việc với số phần cứng không đáp ứng yêu cầu xử lý chất lượng camera nhận dạng thấp Hướng phát triển Trong tương lai, nhóm nghiên cứu cải tiến phương pháp phát vùng chứa biển báo để giải trường hợp biển báo bị hư hỏng chồng lấp Đổng thời tăng số lượng mẫu huấn luyện kiểm tra để nâng cao độ xác hệ thống Mở rộng hệ thống để phát nhận dạng thêm kiểu biển báo khác TÀI LIỆU THAM KHẢO [Tài liệu môn học Xử lý ảnh] http://elearning.vku.udn.vn/mod/folder/view.php?id=6417 http://ntu.edu.vn/Portals/66/Tap%20chi%20KHCNTS/So%2022007/So %202.2007_07%20Pham%20Dinh%20Trung.PDF [Báo cáo đồ án Lê Quang Dật Đỗ Ngọc Toàn] https://view.officeapps.live.com/op/view.aspx?src=http%3A%2F%2Fdaotao %2Evku%2Eudn%2Evn%3A80%2Fuploads %2F2020%2F08%2F1597939675%2Dbao%2Dcao%2Ddo%2Dan%2Dco %2Dso%2D5%2Dle%2Dquang%2Dduat%2D17it1%2Ddo%2Dngoc%2Dtoan %2D17it3%2Edocx [Phân loại biển báo giao thông Deep Learning (CNN)] https://miai.vn/2020/08/03/phan-loai-bien-bao-giao-thong-bang-deep-learningcnn/ PHẦN MỞ ĐẦU 10 11 12 Đặt vấn đề Mục đích Phương pháp nghiên cứu Phạm vi nghiên cứu Nội dung nghiên cứu Cấu trúc báo cáo CHƯƠNG 1: TỔNG QUAN 13 Một số khái niệm 14 15 16 Trí tuệ nhân tạo Xử lý ảnh CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN 17 Các phương pháp phát nhận dạng biển báo giao thông 18 19 20 21 Các phương pháp phát Các phương pháp nhận dạng Phương pháp đề xuất (Mơ hình mạng neural tích chập CNN) Thuật tốn chương trình 22 23 24 Sơ đồ hoạt động chương trình Tập liệu Tiền xử lý phân chia liệu 25 26 CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 27 28 29 30 Mơ tả toán Yêu cầu Chạy project KẾT LUẬN 31 32 33 34 35 Định nghĩa mơ hình Kết đạt Hạn chế Hướng phát triển TÀI LIỆU THAM KHẢO 36 ... TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV Sinh viên thực hiện: Hoàng Thị Hương... ảnh nhận diện hình học ​ Xây dựng hệ thống nhận diện biển báo khác ​ Công cụ thực hiện: Pycharm ​ Ngôn ngữ: Python Cấu trúc báo cáo Báo cáo “ Phát nhận diện biển báo giao thông sử dụng OpenCV ”... Hình 5: Cấu trúc thư viện OpenCV 1.2 Giới thiệu chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình Bài báo cáo trình bày phương pháp phát nhận dạng biển báo giao thông