Đang tải... (xem toàn văn)
Phát hiện và nhận diện biển báo giao thông sử dụng OpenCV TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ 5 PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO[.]
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO ĐỒ ÁN CƠ SỞ PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG SỬ DỤNG OPENCV MỞ ĐẦU Ngày với tiến khoa học kỹ thuật cơng việc tiến hành máy tính cách tự động hóa hồn toàn phần Một thay đổi lớn cách thức thu nhận xử lý liệu Các công cụ nhập liệu bàn phím hay máy scan dần bị thay thiết bị tiện lợi hình cảm ứng, camera… Hơn nữa, máy tính để bàn khơng cịn cơng cụ hỗ trợ cho người Chúng ta bước sang kỷ 21 với phát triển mạnh mẽ thiết bị di động, giải trí cầm tay hay smartphone Với kích thước ngày nhỏ gọn hiệu suất làm việc khơng ngừng cải tiến, cơng cụ mini hứa hẹn phần thiếu xã hội đại Và đó, phát triển ứng dụng thiết bị xu tất yếu Công nghệ nhận dạng công nghệ áp dụng cho thiết bị di động Nhận dạng bao gồm nhận dạng âm thanh, hình ảnh Các đối tượng nhận dạng có nhiều kiểu tiếng nói, chữ viết, khn mặt, mã vạch … biển báo giao thơng số Chương trình nhận dạng biển báo giao thơng thường phức tạp cài đặt hệ thống có xử lý lớn, camera chất lượng cao Mục tiêu báo cáo giúp phát biển báo nhận dạng cách nhanh LỜI CẢM ƠN Lời đầu tiên, chúng em xin trân trọng cảm ơn bày tỏ lòng biết ơn sâu sắc tới giảng viên hướng dẫn môn Đồ án sở - thầy Võ Hùng Cường nhiệt tình hướng dẫn Chúng em xin chân thành cảm ơn thầy cô giáo giảng dạy Khoa công nghệ thông tin truyền thông – Đại học Đà Nẵng nhiệt tình ủng hộ, cung cấp tài liệu đưa ý kiến góp ý quý báu Cuối cùng, xin chân thành cảm ơn tới bạn bè động viên, khuyến khích tạo điều kiện cho chúng tơi hồn thành tốt đề tài Xin chân thành cảm ơn! MỤC LỤC PHẦN MỞ ĐẦU I Đặt vấn đề .I Mục đích II Phương pháp nghiên cứu III Phạm vi nghiên cứu .III Nội dung nghiên cứu .III Cấu trúc báo cáo III CHƯƠNG 1: TỔNG QUAN 1.1 Một số khái niệm 1.1.1 Trí tuệ nhân tạo 1.1.2 Xử lý ảnh 1.1.3 OpenCV 1.2 Giới thiệu chương trình nhận diện biển báo giao thơng sử dụng OpenCV 1.2.1 Mơ tả chương trình 1.2.2 Ý tưởng CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT VÀ TRIỂN KHAI THUẬT TOÁN .10 2.1 Các phương pháp phát nhận dạng biển báo giao thông 10 2.1.1 Các phương pháp phát 10 2.1.2 Các phương pháp nhận dạng 14 2.2 Phương pháp đề xuất (Mơ hình mạng neural tích chập CNN) .14 2.3 Thuật tốn chương trình 17 2.3.1 Sơ đồ hoạt động chương trình 17 2.3.2 Tập liệu .17 2.3.3 Tiền xử lý phân chia liệu 18 2.3.4 Định nghĩa mơ hình .19 2.3.5 Compile mơ hình 19 2.3.6 Khởi tạo đồ thị kết mơ hình 20 2.3.7 Tiến hành training 20 CHƯƠNG 3: DEMO CHƯƠNG TRÌNH 21 3.1 Mơ tả tốn 21 3.2 Yêu cầu 23 3.3 Chạy project 24 3.4 Kết chạy 25 KẾT LUẬN 28 Kết đạt 28 Hạn chế 28 Hướng phát triển 28 TÀI LIỆU THAM KHẢO .29 DANH MỤC HÌNH ẢNH Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc .II Hình 2: Trí tuệ nhân tạo Hình 3: Nhận dạng vật thể .4 Hình 4: Ví dụ dùng OpenCV để nhận diện khuôn mặt Hình 5: Cấu trúc thư viện OpenCV Hình 6: Ví dụ biển báo nhận diện .8 Hình 7: Các vị trí đề cử điểm ảnh cho tâm đối tượng 11 Hình 8: Nhân góc gradient tam giác cho Kết góc 12 Hình 9: Vùng kiểm soát 13 Hình 10: Xây dựng ảnh biến đổi khoảng cách 13 Hình 11: Mạng lưới thần kinh tích chập hay Convolutional Neural Networks (CNN) .15 Hình 12: Mơ hình CNN 15 Hình 13: Sờ đồ hoạt động chương trình 17 Hình 14: Biển báo rẽ trái rẽ phải 18 Hình 15: Biển báo thẳng biển báo dừng 18 Hình 16: Biển báo thẳng rẽ trái - Biển báo thẳng rẽ phải .18 Hình 17: Train:validation (0.8:0.2) 19 Hình 18: Định nghĩa mơ hình 19 Hình 19: Compile mơ hình .19 Hình 20: Khởi tạo đồ thị kết mơ hình 20 Hình 21: Tiến hành trainning 20 Hình 22: Bài tốn nhận diện biển báo giao thơng 22 Hình 23: Mẫu biển báo hiệu lệnh 23 Hình 24: Kết nhận dạng biển báo dừng 25 Hình 25: Kết nhận dạng biển báo thẳng .25 Hình 26: Kết nhận dạng biển báo rẽ phải .26 Hình 27: Kết nhận dạng biển báo rẽ trái 26 Hình 28: Kết nhận dạng biển báo thẳng rẽ trái 27 Hình 29: Kết nhận dạng biển báo thẳng rẽ phải 27 DANH MỤC TỪ VIẾT TẮT CNN GTSRB AI MLL OpenCV Convolutional Neural Network German Traffic Sign Recognition Benchmark Artificial Intelligence Machine Learning Library Open Source Computer Vision Library IPP Integrated Performance Primitives PCA Principal Components Analysis SVM Support vector machine PHẦN MỞ ĐẦU Đặt vấn đề Biển báo giao thông qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an toàn cho người phương tiện tham gia giao thông Đây ký hiệu đơn giản bắt buộc phải biết người tham gia giao thơng, chúng đặt vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát Tuy nhiên, thực tế số biển báo giao thông bị che khuất số cơng trình xây dựng, biển quảng cáo trái phép hay mọc phía trước khơng dọn dẹp thường xuyên tác động ngoại cảnh làm biển báo giao thơng bị quay nghiêng góc làm cho việc quan sát người điều khiển phương tiện giao thơng gặp nhiều khó khăn Ngày nay, mà khoa học phát triển lên tầm cao mới, nhà khoa học mong muốn đưa xe thơng minh - loại phương tiện có khả tự di chuyển tham gia giao thông với phương tiện khác người điều khiển Để làm điều này, có nhiều vấn đề đặt từ khâu tự động tránh vật cản tĩnh, tự động tránh phương tiện khác tham gia giao thông (vật cản động) vấn đề tuân thủ qui định bắt buộc tuyến đường thông qua biển báo giao thông Vấn đề tự động quan sát hiểu biển báo giao thông cho xe thơng minh cách xác điều kiện khác ánh sáng, sương mù, trời mưa, tuyết trời tối đặt cho nhà khoa học, với mong muốn giải đồng thời tính xác tốc độ xử lý cao Rất nhiều nghiên cứu thực nghiệm lý thuyết thực hiện, nhiên thực tế nhiều tình khơng mong muốn nghiên cứu gặp nhiều khó khăn Bài báo phát triển giải thuật cho việc dị tìm nhận diện biển báo giao thông điều kiện khác thời tiết, ánh sáng sương mù (chương trình tác giả lập, cho chạy thử nghiệm Viện Công nghệ Châu Á, Thái lan hoàn thiện trường Đại học Nha trang) Trong nghiên cứu này, điểm ảnh coi điểm biên có thay đổi đột ngột mức xám; tập hợp điểm biên tạo thành biên Ảnh phân tích, xử lý dựa vào biên Các ảnh dùng nghiên cứu ảnh đa cấp xám chụp từ thực tế số tuyến đường điều kiện thời tiết khác nhau, với ảnh màu chuyển sang đa cấp xám trước đưa vào xử lý Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc Những năm gần đây, trí thơng minh nhân tạo, cụ thể Machine Learning Deep Learning lên chứng cho công nghệ cách mạng công nghiệp lần thứ tư Vận dụng từ học phần Trí tuệ nhân tạo Xử lý ảnh cho đề tài này, với yêu cầu đầu vào ảnh từ biển báo giao thông đầu tên tương ứng biển báo, với số lượng biển báo giao thơng cố định tốn phân biệt nên coi toán phân loại ảnh, với số lớp cần phân loại số lượng loại biển báo giao thơng cần xác định Mục đích Nghiên cứu tìm hiểu phương pháp nhận dạng, áp dụng vào nhận diện biển báo giao thơng, xây dựng chương trình, cài đặt thực nghiệm chương trình phát nhận dạng biển báo giao thơng từ ảnh tĩnh Chương trình xây dựng giúp người dùng có cách tiếp cận nhanh chóng luật giao thơng, cụ thể công dụng biển báo giao thông Phương pháp nghiên cứu Phương pháp tài liệu: Tìm hiểu lập trình Python sở lý thuyết thuật tốn CNN Tìm hiểu phương pháp nhận dạng biển báo giao thơng Tìm hiểu lựa chọn công cụ hỗ trợ Phương pháp thực nghiệm: Xây dựng chương trình thực nghiệm Phạm vi nghiên cứu Dữ liệu xử lý là file ảnh thu từ video với góc ảnh nghiêng khơng đáng kể Ảnh thu lại điều kiện ánh sáng bình thường (trời không mưa to, không bị ngược sáng, không bị sương mù dày đặc), có chất lượng ổn Nội dung nghiên cứu Tìm hiểu kĩ thuật xử lý ảnh nhận diện hình học Xây dựng hệ thống nhận diện biển báo khác Công cụ thực hiện: Pycharm Ngôn ngữ: Python Cấu trúc báo cáo Báo cáo “ Phát nhận diện biển báo giao thông sử dụng OpenCV ” bao gồm tất phần Chương I – Tổng quan: Giới thiệu khái quát mục đích đề tài Giới thiệu kiến thức tảng công nghệ phần mềm sử dụng đề tài bao gồm kiến thức xử lý ảnh, thư viện xử lý ảnh OpenCV