ỨNG DỤNG XỬ LÝ ẢNH ĐỂ NHẬN DẠNG BIỂN BÁO GIAO THÔNG TỪ FILE ẢNH, TỪ CAMERA Cần file code full liên hệ: 0799155065 Biển báo giao thông là các qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an toàn cho người và phương tiện tham gia giao thông. Đây là những ký hiệu đơn giản và bắt buộc phải biết đối với những người tham gia giao thông, chúng được đặt ở những vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát nhất. Tuy nhiên, trên thực tế một số biển báo giao thông đã bị che khuất bởi một số công trình xây dựng, biển quảng cáo trái phép hay cây mọc phía trước không được dọn dẹp thường xuyên và đôi khi do tác động ngoại cảnh làm biển báo giao thông có thể bị quay nghiêng đi một góc làm cho việc quan sát của người điều khiển phương tiện giao thông gặp rất nhiều khó khăn. Ngày nay, khi mà nền khoa học đang phát triển lên những tầm cao mới, các nhà khoa học mong muốn đưa xe thông minh - loại phương tiện có khả năng tự di chuyển tham gia giao thông cùng với các phương tiện khác do con người điều khiển. Để làm được điều này, có rất nhiều vấn đề được đặt ra từ khâu tự động tránh vật cản tĩnh, tự động tránh các phương tiện khác cũng đang tham gia giao thông (vật cản động) cho đến vấn đề tuân thủ các qui định bắt buộc trên tuyến đường thông qua biển báo giao thông. Vấn đề tự động quan sát và hiểu được biển báo giao thông cho xe thông minh một cách chính xác trong mọi điều kiện khác nhau về ánh sáng, sương mù, trời mưa, tuyết và ngay cả khi trời tối đang được đặt ra cho các nhà khoa học, với mong muốn giải quyết đồng thời tính chính xác và tốc độ xử lý cao. Rất nhiều nghiên cứu thực nghiệm và lý thuyết đã và đang được thực hiện, tuy nhiên thực tế trong nhiều tình huống không mong muốn các nghiên cứu đang gặp rất nhiều khó khăn. Bài báo này phát triển giải thuật cho việc dò tìm và nhận diện các biển báo giao thông trong điều kiện khác nhau về thời tiết, ánh sáng và sương mù (chương trình này đã được tác giả lập, cho chạy thử nghiệm tại Viện Công nghệ Châu Á, Thái lan và hoàn thiện tại trường Đại học Nha trang). Trong nghiên cứu này, một điểm ảnh có thể được coi là điểm biên nếu ở đó có sự thay đổi đột ngột về mức xám; tập hợp các điểm biên tạo thành biên. Ảnh được phân tích, xử lý dựa vào biên. Các ảnh dùng trong nghiên cứu này là ảnh đa cấp xám được chụp từ thực tế trên một số tuyến đường trong điều kiện thời tiết khác nhau, với ảnh màu sẽ được chuyển sang đa cấp xám trước khi đưa vào xử lý.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN HỌC -o0o - BÁO CÁO BÀI TẬP LỚN MÔN: XỬ LÝ ẢNH TRONG CÔNG NGHIỆP ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH ĐỂ NHẬN DẠNG BIỂN BÁO GIAO THÔNG TỪ FILE ẢNH, TỪ CAMERA Giáo viên hướng dẫn: T.S Lê Thị Thúy Nga Sinh viên: MSV: Lớp: Lê Anh Quân 191604301 Tự động hóa Hà Nội, tháng 5/2023 Phần mở đầu 1.ĐẶT VẤN ĐỀ Biển báo giao thông qui định cho người điều khiển phương tiện tham gia giao thông bắt buộc phải tuân thủ để đảm bảo an toàn cho người phương tiện tham gia giao thông Đây ký hiệu đơn giản bắt buộc phải biết người tham gia giao thông, chúng đặt vị trí giúp cho người điều kiển phương tiện tham gia giao thông dễ quan sát Tuy nhiên, thực tế số biển báo giao thông bị che khuất số cơng trình xây dựng, biển quảng cáo trái phép hay mọc phía trước khơng dọn dẹp thường xuyên tác động ngoại cảnh làm biển báo giao thơng bị quay nghiêng góc làm cho việc quan sát người điều khiển phương tiện giao thông gặp nhiều khó khăn Ngày nay, mà khoa học phát triển lên tầm cao mới, nhà khoa học mong muốn đưa xe thông minh - loại phương tiện có khả tự di chuyển tham gia giao thông với phương tiện khác người điều khiển Để làm điều này, có nhiều vấn đề đặt từ khâu tự động tránh vật cản tĩnh, tự động tránh phương tiện khác tham gia giao thông (vật cản động) vấn đề tuân thủ qui định bắt buộc tuyến đường thông qua biển báo giao thông Vấn đề tự động quan sát hiểu biển báo giao thông cho xe thông minh cách xác điều kiện khác ánh sáng, sương mù, trời mưa, tuyết trời tối đặt cho nhà khoa học, với mong muốn giải đồng thời tính xác tốc độ xử lý cao Rất nhiều nghiên cứu thực nghiệm lý thuyết thực hiện, nhiên thực tế nhiều tình không mong muốn nghiên cứu gặp nhiều khó khăn Bài báo phát triển giải thuật cho việc dị tìm nhận diện biển báo giao thông điều kiện khác thời tiết, ánh sáng sương mù (chương trình tác giả lập, cho chạy thử nghiệm Viện Công nghệ Châu Á, Thái lan hoàn thiện trường Đại học Nha trang) Trong nghiên cứu này, điểm ảnh coi điểm biên có thay đổi đột ngột mức xám; tập hợp điểm biên tạo thành biên Ảnh phân tích, xử lý dựa vào biên Các ảnh dùng nghiên cứu ảnh đa cấp xám chụp từ thực tế số tuyến đường điều kiện thời tiết khác nhau, với ảnh màu chuyển sang đa cấp xám trước đưa vào xử lý Hình 1: Ảnh chụp biển báo điều kiện sương mù dày đặc Những năm gần đây, trí thơng minh nhân tạo, cụ thể Machine Learning Deep Learning lên chứng cho công nghệ cách mạng công nghiệp lần thứ tư Vận dụng từ học phần Trí tuệ nhân tạo Xử lý ảnh cho đề tài này, với yêu cầu đầu vào ảnh từ biển báo giao thông đầu tên tương ứng biển báo, với số lượng biển báo giao thông cố định toán phân biệt nên coi toán phân loại ảnh, với số lớp cần phân loại số lượng loại biển báo giao thơng cần xác định 2.MỤC ĐÍCH Nghiên cứu tìm hiểu phương pháp nhận dạng, áp dụng vào nhận diện biển báo giao thông, xây dựng chương trình, cài đặt thực nghiệm chương trình phát nhận dạng biển báo giao thông từ ảnh tĩnh Chương trình xây dựng giúp người dùng có cách tiếp cận nhanh chóng luật giao thơng, cụ thể công dụng biển báo giao thông 3.PHƯƠNG PHÁP NGHIÊN CỨU Phương pháp tài liệu: oTìm hiểu lập trình Python sở lý thuyết thuật tốn CNN oTìm hiểu phương pháp nhận dạng biển báo giao thơng oTìm hiểu lựa chọn công cụ hỗ trợ Phương pháp thực nghiệm: Xây dựng chương trình thực nghiệm 4.PHẠM VI NGHIÊN CỨU Dữ liệu xử lý là file ảnh thu từ camera với góc ảnh nghiêng khơng đáng kể Ảnh thu lại điều kiện ánh sáng bình thường (trời không mưa to, không bị ngược sáng, không bị sương mù dày đặc), có chất lượng ổn 5.NỘI DUNG NGHIÊN CỨU Tìm hiểu kĩ thuật xử lý ảnh nhận diện hình học Tìm hiểu thuật tốn để xử lý nhận dạng Xây dựng chương trình nhận diện biển báo khác Công cụ thực hiện: Pycharm Ngôn ngữ: Python Chương 1: Tổng quan 1.1 TRÍ TUỆ NHÂN TẠO Trí tuệ nhân tạo AI trí thơng minh máy người tạo Ngay từ máy tính điện tử đời, nhà khoa học máy tính hướng đến phát hiển hệ thống máy tính (gồm phần cứng phần mềm) cho có khả thơng minh loài người Mặc dù nay, theo quan niệm người viết, ước mơ xa thành thực, thành tựu đạt không nhỏ: làm hệ thống (phần mềm chơi cờ vua chạy siêu máy tinh GeneBlue) thắng vua cờ giới; làm phần mềm chứng minh tốn hình học; v.v Hay nói cách khác, số lĩnh vực, máy tính thực tốt tương đương người (tất nhiên tất lĩnh vực) Hình 2: Trí tuệ nhân tạo 1.2 XỬ LÝ ẢNH Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật toán tương ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hơp với ứng dụng khác Quá trình xử lý nhận dạng ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “đã xử lý” kết luận Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c,c1,c2,…).Do đó,ảnh xử lý ảnh xem ảnh n chiều 1.2.1 NHẬN DẠNG HÌNH ẢNH Nhiều cải tiến cơng nghệ gần dựa vào cơng nghệ nhận dạng hình ảnh – Image Recognition Cơng nghệ đằng sau tính nhận dạng khn mặt điện thoại thông minh chúng ta, chế độ tự hành xe tự lái chẩn đoán hình ảnh chăm sóc sức khỏe,… có bước tiến lớn năm gần Tất chúng sử dụng giải pháp giúp cảm nhận vật thể trước mặt chúng Do đó, chúng thường gọi thị giác máy tính hay cách gọi khác điện toán thị giác Những máy tính đưa định xác dựa chúng nhìn thấy Nhận diện hình ảnh thị giác máy tính kỹ thuật tìm kiếm cách để tự động hóa tất công việc mà hệ thống thị giác người làm Hãy nhắc đến tên TensorFlow Google, DeepFace Facebook, Dự án Oxford Microsoft Chúng ví dụ tuyệt vời hệ thống nhận diện hình ảnh học sâu Mặt khác, API lưu trữ cho phép doanh nghiệp tiết kiệm số tiền lớn cho nhóm phát triển Ví dụ Google Cloud Vision, Clarifai, Imagga… Nhận dạng hình ảnh ngày so sánh với nhận thức thị giác người Nó vào sống hàng ngày phục vụ nhu cầu khác Facebook tảng truyền thông xã hội khác sử dụng công nghệ để tăng cường tìm kiếm hình ảnh hỗ trợ người dùng khiếm thị Các doanh nghiệp bán lẻ sử dụng nhận dạng hình ảnh để quét sở liệu lớn để đáp ứng tốt nhu cầu khách hàng cải thiện trải nghiệm khách hàng cửa hàng trực tuyến Trong chăm sóc sức khỏe, hệ thống nhận dạng xử lý hình ảnh y tế giúp chuyên gia dự đoán rủi ro sức khỏe, phát bệnh sớm cung cấp nhiều dịch vụ tập trung vào bệnh nhân Danh sách Nhận dạng riêng vật thể có hình rơi vào nhóm nhiệm vụ thị giác máy tính bao gồm tìm kiếm trực quan, phát đối tượng, phân đoạn ngữ nghĩa Bản chất nhận dạng vật thể có hình việc cung cấp thuật tốn lấy hình ảnh đầu vào thơ sau nhận hình ảnh hiển thị rõ vật thể lên Cần lưu ý máy móc khơng thể nhìn thấy cảm nhận hình ảnh làm Đối với họ, tất tốn học, đối tượng trông này: Hình 3: Nhận dạng vật thể Các cơng ty lớn Tesla, Google, Uber, Adobe Systems… sử dụng cơng nghệ nhận diện hình ảnh Để chứng minh công nghệ tồn khắp giới, xem xét số liệu thống kê gần Các nhà nghiên cứu dự đốn thị trường tồn cầu cơng nhận diện hình ảnh đạt 38,92 tỷ USD vào năm 2021 Đó số lớn Vì vậy, khơng ngạc nhiên ngày nhiều thứ gọi ứng dụng imagetech tận dụng nhận diện hình ảnh cho mục đích khác Thậm chí kinh doanh Điều giúp mở rộng cơng nghệ nhận diện hình ảnh ngày nay? Đó cơng cụ mã nguồn mở giúp lập trình dễ dàng Trong giá ngày rẻ Các khung cơng tác thư viện nguồn mở giúp cơng ty hưởng lợi từ cơng nghệ nhận diện hình ảnh theo cấp số nhân Ví dụ, sở liệu mở lớn Pascal VOC ImageNet cung cấp quyền truy cập vào hàng triệu hình ảnh gắn thẻ Họ giúp cơng ty cơng nghệ hình ảnh phát triển cải tiến thuật toán học máy (Machine learning) riêng họ Đối với nhà phát triển chuyên nghiệp, nhận diện hình ảnh thời gian thực sử dụng thư viện đa tảng nguồn mở Nó gọi OpenCV Đây xem điểm giải Đồng thời nguồn tài nguyên có thẩm quyền cho chuyên gia nhận diện hình ảnh Một thư viện tuyệt vời khác cho tầm nhìn máy tính bao gồm OpenNN, VXL… nhiều loại khác 1.3 OPEN CV OpenCV mã nguồn mở, thư viện thị giác máy tính Thư viện OpenCV viết C C++ chạy Linux, Windows Mac OS X Phát triển tốt giao diện: Python, Ruby, Matlab, ngôn ngữ khác OpenCV thiết kế để tính tốn hiệu tập trung mạnh vào ứng dụng thời gian thực OpenCV viết tối ưu hóa C tận dụng lợi vi xử lý đa lõi OpenCV tự động sử dụng thư viện IPP thích hợp thời gian chạy thư viện cài đặt Một mục tiêu OpenCV sở cho thị giác máy tính giúp người sử dụng xây dựng ứng dụng thị giác máy tính phức tạp cách nhanh chóng Thư viện OpenCV chứa 500 chức sử dụng nhiều lĩnh vực thị giác máy tính, bao gồm kiểm tra nhà máy sản xuất sản phẩm, hình ảnh y tế, an ninh, giao diện người dùng, hiệu chỉnh máy ảnh, thị giác chiều, robot Bởi thị giác máy tính việc học lập trình thường chung với OpenCV có mục đích chung tạo MLL MLL hữu ích cho tác vụ thị giác nhiệm vụ OpenCV Sublibrary tập trung vào nhận dạng mẫu thống kê phân nhóm Chức có thư viện OpenCV: Thư viện OpenCV bao gồm số tính bật như: Bộ cơng cụ hỗ trợ 2D 3D Nhận diện khuôn mặt Nhận diện cử Nhận dạng chuyển động, đối tượng, hành vi, Tương tác người máy tính Điều khiển Robot Hỗ trợ thực tế tăng cường Hình 4: Ví dụ dùng OpenCV để nhận diện khuôn mặt Cấu trúc OpenCV: OpenCV thư viện lớn, cấu trúc thành phần chính, có phần phân chia hình Trong đó, CV chứa hàm xử lý hình ảnh thuật toán nhận dạng cấp cao; MLL thư viện phục vụ cho ngành máy học HighGUI chứa lệnh nhập xuất hàm để truy xuát hình ảnh, video; CXCore chứa cấu trúc bản, hàm vẽ hàm dùng chung cho toàn thư viện Trong hình bên dưới, khơng bao gồm CvAux, thành phần chứa thuật tốn cịn giai đoạn thử nghiệm hàm bị ngừng phát triển Trong CvAux, ngƣời dùng tìm thấy nhiều hàm có khả xuất thức OpenCV tương lai Có thể kể đến như: - Nhận dạng cử từ camera - Đặc tả texture (vân bề mặt) - Theo dõi mắt miệng - Theo dõi 3D - Tìm khung xương vật thể Hình 5: Cấu trúc thư viện OpenCV Chương 2: Mơ tả chương trình Bài báo cáo trình bày phương pháp phát nhận dạng biển báo giao thông sử dụng kết hợp kỹ thuật phát biên phân tích hình dáng đối tượng để phát vùng ứng viên biển báo giao thơng Sau đó, rút trích đặc trưng huấn luyện qua thuật toán CNN để nhận dạng biển báo Nhận diện biển báo giao thơng: có nhiều loại biển báo giao thông khác biển báo giới hạn tốc độ, biển cấm vào, tín hiệu giao thơng, rẽ trái phải, trẻ em băng qua đường, cấm xe nặng vượt qua,…Nhận diện biển báo giao thông trình nhận biết nội dung biến báo xác định biển báo thuộc loại Hình 12: Giao diện tạo file Chọn New File → chọn Python File → Ctrl + S để lưu file Tạo file có tên TrainingCode.py, TestCodeImage Py, TestCodeCamera.py lưu vào folder xla Bước 3: Tải thư viện Hình 13: Giao diện TERMINAL Ở phần thư viện nhập lệnh: pip install tên thư viện (Tất thư viện phần 4.1 YÊU CẦU) Bước 4: Tải tập liệu hình ảnh Đức Truy cập vào đường link(https://www.miai.vn/2020/08/03/phanloai-bien-bao-giao-thong-bang-deep-learning-cnn/) chọn vào: link Lưu tập liệu vào folder xla Hình 14: Hình ảnh nơi chứa đường link tải tập liệu hình ảnh Bước 5: Tạo file chứa tên lớp Tạo file labels.csv excel với liệu bên cho vào folder xla ClassId 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Name Speed limit (20km/h) Speed limit (30km/h) Speed limit (50km/h) Speed limit (60km/h) Speed limit (70km/h) Speed limit (80km/h) End of speed limit (80km/h) Speed limit (100km/h) Speed limit (120km/h) No passing No passing for vechiles over 3.5 metric tons Right-of-way at the next intersection Priority road Yield Stop No vechiles Vechiles over 3.5 metric tons prohibited No entry General caution Dangerous curve to the left Dangerous curve to the right Double curve Bumpy road Slippery road Road narrows on the right Road work Traffic signals Pedestrians Children crossing Bicycles crossing Beware of ice/snow Wild animals crossing End of all speed and passing limits Turn right ahead Turn left ahead Ahead only Go straight or right Go straight or left Keep right Keep left Roundabout mandatory