ĐỒ án tốt NGHIỆP đại học chuyên ngành hệ THỐNG THÔNG TIN QUẢN lý đề tài nhận dạng biển số xe

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC - VŨ MINH NGUYỆT VŨ MINH NGUYỆT TÊN ĐỀ TÀI TÊN ĐỀ TÀI … Nhận dạng biển số xe ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ HÀ NỘI-2022 HÀ NỘI – 2022 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Mục đích nội dung đồ án: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Kết đạt được: ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Ý thức làm việc sinh viên: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Hà Nội, ngày tháng năm 2022 Giảng viên hướng dẫn (Ký ghi rõ họ tên) MỤC LỤC Contents MỞ ĐẦU Hiện với phát triển kinh tế xã hội bùng nổ số lượng phương tiện giao thông Gây khó khăn cơng tác quản lý, xử lý vi phạm giao thơng mà nguồn nhân lực người khó đảm đương Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thơng tự động “Bài tốn nhận dạng biển số xe” tiền đề để xây dựng mơ hình quản lý Tuy nhiên, Việt Nam hệ thống quản lý chưa nhiều lĩnh vực nhận dạng phát triển Từ thực tế đó, thời gian làm đồ án tốt nghiệp em định lựa chọn tìm hiểu tốn “nhận dạng” trọng vào việc nhận dạng biển số xe Để phục vụ cho bước đầu hệ thống quản lý phương tiện giao thông Việt Nam Trong điều kiện lực thời gian có hạn, nên báo cáo em khơng tránh khỏi sai sót Em kính mong thầy bạn đóng góp ý kiến để em chỉnh sửa bổ sung phần thiếu sót để em hồn thiện đề tài Trong báo cáo đồ án tốt nghiệp em trình bày thành chương sau: Chương I: Giới thiệu đề tài Chương II: Cơ sở lý thuyết Chương III: Mơ hình đề xuất Chương IV: Kết thực nghiệm LỜI CẢM ƠN Trong thời gian làm đồ án tốt nghiệp, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy bạn bè Em xin gửi lời cảm ơn chân thành đến thầy Vũ Thành Nam, giảng viên trường Đại học Bách khoa Hà Nội, người tận tình hướng dẫn, bảo em suốt trình em làm đồ án tốt nghiệp Em xin chân thành cảm ơn thầy cô trường Đại học Bách khoa Hà Nội nói chung Viện Tốn ứng dụng Tin học nói riêng dạy dỗ cho em kiến thức môn đại cương môn chuyên ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện cho em hoàn thành đồ án tốt nghiệp Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, ln tạo điều kiện, quan tâm, giúp đỡ, động viên em suốt trình học tập hoàn thành đồ án tốt nghiệp Em xin chân thành cảm ơn!! Sinh viên thực Vũ Minh Nguyệt DANH MỤC HÌNH VẼ CHƯƠNG I: GIỚI THIỆU VỀ ĐỀ TÀI 1.1 Mục đích nghiên cứu Hệ thống nhận dạng biển số xe ứng dụng dựa trên kỹ thuật xử lý ảnh số Mục đích nhận dạng biển số xe thực bước xử lý để từ ảnh đầu vào, máy tính nhận xác biển số xe ảnh Nhận dạng biển số xe trở thành ứng dụng hữu ích, đưa vào lĩnh vực như: quản lý giao thông, kiểm tra an ninh, thu phí giao thơng, trạm gác cổng, quản lý bãi giữ xe cách tự động 1.2 Đối tượng nghiên cứu Đây ứng dụng xử lý ảnh nhận nhiều nghiên cứu hai mặt lý thuyết thực chương trình Đề tài em bao gồm trình xử lý: phân vùng biển số, tách ký tự nhận biết ký tự 1.3 Phạm vi nghiên cứu Việc có nhiều biển số xe với định dạng độ sáng khác gây khó khăn cho việ nhận dạng trích xuất biển số từ ảnh chụp nên độ sáng khác làm tăng độ phức tạp trình nhận dạng Do thời thực đề tài không cho phép nên biển số xe bị giới hạn với điều kiện sau:  Biển số xe có chữ đen, có  Biển số phải cịn ngun vẹn, khơng bị tróc sơn hay rỉ sét, khơng bị che khuất  Hình chụp biển số khơng bị mờm ký tự biển số phân biệt, nhận dạng trực quan  Không bị nhiễu ánh sáng làm ảnh chụp bị chói 1.4 Ứng dụng đề tài 1.4.1 Khái niệm nhận dạng biển số xe Hệ thống nhận dạng biển số xe hệ hệ thống có khả phân tích hình ảnh xác định biển số xe, thông qua video, thiết bị ghi hình hình ảnh Sau xác định thông tin như: chủ sở hữu, … Phân loại ứng dụng nhận dạng biển số xe: Ứng dụng nhận dạng biển số xe ứng dụng có khả phân tích hình ảnh xác định biển số xe từ hình ảnh chụp từ thiết bị thu hình Nguồn hình ảnh cho ứng dụng có nhiều Trong báo cáo tốt nghiệp em dừng lại mức xác định biển số xe (cắt vùng chữ biển) từ hình ảnh Có nhiều cách thức khác để phân loại ứng dụng nhận dạng biển số xe Một cách đơn giản phân loại ứng dụng nhận dạng biển số xe thơng qua mục đích sử dụng Có thể chia ứng dụng nhận dạng biển số xe thành hai loại sau: Loại 1: Giới hạn vùng nhìn • Đầu vào: ảnh thu trực tiếp từ thiết bị ghi nhận ảnh kỹ thuật số Ảnh ghi nhận thường giới hạn vùng có biển số xe • Ngun lý hoạt động: phương tiện giao thông phải chạy với tốc độ đủ chậm để máy ghi nhận hình ảnh thu ảnh vùng biển số xe • Ứng dụng: ứng dụng nhận dạng biển số xe loại thường dùng trạm kiểm sốt, trạm thu phí, bãi gửi xe tự động, trạm cổng… 10 Bao gồm 21 lớp convolutional có 14 lớp nằm khối residual Tất dùng filter với kích thước 3x3 dùng hàm kích hoạt relu ngoại trừ khối Detection Output features map bao gồm channels channels đầu xác suất có/khơng có đối tượng, channels sau chứa giá trị để tạo ma trận affine transform Để tạo output features map khối Detection có luồng riêng biệt, luồng thứ để tính xác suất có/khơng có đối tượng (2 channels đầu) sử dụng softmax, luồng thứ để tính tốn thơng số để tạo ma trận transform với hàm f(x)=x Kết luồng gộp lại để đưa output 3.3 Mô hình đề xuất Phương pháp đề xuất bao gồm bước chính: phát phương tiện, phát khu vực biển số xe nhận dạng ký tự Cho hình ảnh đầu vào, phát phương tiện Trong khu vực phát hiện, mạng WPOD tìm kiếm biển số xe thực phép biến đổi affine cho lần phát hiện, cho phép chỉnh sửa khu vực biển số xe thành hình chữ nhật giống 51 chế độ xem trực diện Và cuối đưa vào mạng YOLO để nhận dạng ký tự Như để giải toán nhận diện biển số xe ta cần giải ba toán sau: - Bài toán thứ nhất: Phát phương tiện giao thơng - Bài tốn thứ hai: Phát khu vực biển số xe - Bài toán thứ ba: Nhận dạng ký tự Sơ đồ khối mô hình đề xuất hệ thống nhận biển số xe 52 53  Huẩn luyện mơ hình Các bước để huấn luyện YOLOv5 Custom Dataset: - Chuẩn bị Dataset - Cài đặt phần phụ thuộc cần thiết YOLOv5 - Tải xuống liệu Custom YOLOv5 Object Detection - Xác định cấu hình kiến trúc mơ hình YOLOv5 - Huấn luyện a custom YOLOv5 Detector - Đánh giá hiệu suất YOLOv5 - Trực quan hóa liệu huấn luyện YOLOv5 - Chạy YOLOv5 Inference hình ảnh thử nghiệm - Xuất trọng số YOLOv5 lưu để suy luận kết Việc phát biển số thực dựa mơ hình mạng nơ-ron phân lớp hình ảnh  Cấu hình máy sử dụng cho việc đào tạo mơ hình • Hệ điều hành: Ubuntu 20.04 • CPU: Ryzen 2700 • GPU: 1070TI 8G • Ram: 16GB • HDD: 1T 54 3.3.1 Phát phương tiện giao thông Phát phương tiện giao thơng tốn thuộc nhóm toán phát đối tượng (một lĩnh vực ngành thị giác máy tính) có nhiều ứng dụng thực tế Có phương pháp giải tốn phát phương tiện sau: phương pháp dựa vào kỹ thuật trừ nền, phương pháp dựa vào luồng quang học (optical flow) phương pháp dựa vào mơ hình mạng học sâu phát đối tượng YOLO, SSD, Fast R-CNN,… Ở phương pháp thuộc hai nhóm đầu có ưu điểm khơng cần nhiều liệu huấn luyện hay lực xử lý mạnh mẽ hệ thống phần cứng, tốc độ nhanh hạn chế độ xác Cịn mơ hình học sau có điểm chung cần liệu huấn luyện lớn, phần cứng triển khai phải có lực xử lý mạnh mẽ (các card đồ họa GPU chuyên dụng) tốc độ thực thị chậm lại có độ xác cao Vì phương tiện đối tượng có nhiều liệu nhận dạng phát cổ điển, chẳng hạn Pascal-Voc, Imaganet Coco , nên không huấn luyện máy học từ đầu, thay vào chọn mơ hình biết để thực phát phương tiện dựa số tiêu chí Mơ hình YOLOv5 có khả phát phương tiện giao thông phổ biến đường: xe máy, ô tô, xe buýt, xe tải Precision Mơ hình YOLOv5m Vehice Detection Image size 640x640 55 Recal 0.8720 0.8509 56 3.3.2 Phát chỉnh biển số 57  Tách biển số Tách biển số bước quan trọng trình nhận dạng biển số xe Quá trình chia thành giai đoạn chính: • • Giai đoạn 1: Xác định vị trí biển số ảnh chụp Giai đoạn 2: Dùng giải thuật để cắt biển số xe khỏi ảnh xoay biển số xe phương ngang Việc định vị biển số xe dựa vào tính chất biển số như: hình dạng, màu sắc biển số so với Biển số xe có hình chữ nhật với kích thước chiều dài rộng khơng thay đổi Từ tìm vùng có hình tứ giác hình, tính tỉ lệ hai chiều hình so với khoảng giá trị cho trước để xem thử vùng có chứa biển số hay khơng Ngồi ra, định vị biển số dựa màu sắc biển số Hầu hết biển số xe Việt Nam trắng, chữ đen Kết hợp hai tính chất trên, xác định vùng chứa biển số Sau định vị biển số xe, tiến hành cắt biển số xe Biển số xe cắt theo bước Bước cắt vùng rộng vùng chứa biển số Sau tìm góc nghiêng biển số thực xoay biển số phương thẳng đứng Bước hai cắt biển số khỏi vùng Thực việc cắt biển số qua hai bước làm tăng độ xác, biển số cắt nguyên vẹn, không cắt phạm chữ, trừ trường hợp ảnh bị chói, độ tương phản khơng bị che khuất kết việc tách biển số khơng xác  Tìm góc nghiêng xoay Biển số chụp với nhiều góc nghiêng khác nhau, dó ta phải tìm góc nghiêng xoay phương thẳng Đây việc quan trọng khơng quay phương thẳng cắt biển số bị phạm vào biển số 58 Biển số sau cắt hoàn chỉnh Sau cắt biển số ta tiến hành phân đoạn nhận dạng ký tự  Tập liệu Tập liệu bao gồm ảnh xe lấy từ tập CCPD (Chinese City Parking Dataset, ECCV) tập liệu từ công ty cổ phần tập đoàn ASI Group Các khu vực biển số sử dụng mơ hình phát biển số để phát cắt làm tập liệu đào tạo mơ hình phân loại Gồm 11781 hình ảnh Được chia làm phần 70% cho tập huấn luyện 30% cho tập thử nghiệm Quá trình huấn luyện gồm 100 epochs, với kích thước đầu vào 16x640x640x3 tức 16 ảnh RGB kích thước 640x640 lần đưa vào mơ hình Kích thước liệu: Gồm 11781 ảnh Mơ hình: YOLOv5 Hàm mát: Localization loss Confidence loss Sau qua trình đào tạo thu mơ hình phát biển số xe với độ xác lớn 95% tập thử nghiệm (3357 ảnh) 59 Precision Mơ hình WPOD Image size 256x256 Recal 0.9411 0.9301 3.3.3 Nhận dạng ký tự Việc phát ký tự khu vực biển số thực cách sử dụng mạng YOLOv5 sửa đổi.Tuy nhiên tập liệu đào tạo mở rộng đáng kể cách sử dụng liệu tổng hợp tăng cường để phù hợp với đặc điểm LP khu vực khác 60  Tập liệu Tập liệu: bao gồm ảnh chữ số lấy từ tập SVHN (The Street View House Numbers Dataset) ảnh biển số xe từ tập liệu từ công ty cổ phần tập đồn ASI Group Gồm 13257 hình ảnh Được chia làm phần 73% cho tập huấn luyện 27% cho tập thử nghiệm Sau trình đào tạo thu mơ hình nhận dạng ký tự với độ xác lớn 90% tập thử nghiệm (3221 ảnh) 61 Precision Mơ hình YOLOv5m Char Detection Image size 320x320 62 Recal 0.9723 0.9508 CHƯƠNG IV: KẾT LUẬN Các mơ hình cho kết tốt tập thử nghiệm, sau kết hợp mô hình lại nhận biển số xe cách tương đối xác lên đến 96% điều kiện thời tiết tốt, thuận lợi với tốc độ nhận diện trung bình phương tiện từ 15-2 ms GPU RTX 2070 Tuy nhiên số hạn chế như: • Mơ hình nhận dạng cịn nhầm lần số trường hợp biển số xe bị che khuất • Bộ liệu huấn luyện nhận dạng ký tự chưa đủ lớn nên mơ hình cịn đọc sai số chữ cái, số giống kí tự gặp biển số như: R, LD, G-6 Tuy mơ hình tốt áp dụng vào thực tế cần cải thiện tốc độ, nhớ ram xử dụng cách tối ưu, lượng tử hóa mơ hình học sâu áp dụng toán Tăng cường liệu huấn luyện giúp cho mơ hình đào tạo xác 63 TÀI LIỆU THAM KHẢO 64 65 ... chụp biển số khơng bị mờm ký tự biển số phân biệt, nhận dạng trực quan  Không bị nhiễu ánh sáng làm ảnh chụp bị chói 1.4 Ứng dụng đề tài 1.4.1 Khái niệm nhận dạng biển số xe Hệ thống nhận dạng biển. .. xử lý ảnh số Mục đích nhận dạng biển số xe thực bước xử lý để từ ảnh đầu vào, máy tính nhận xác biển số xe ảnh Nhận dạng biển số xe trở thành ứng dụng hữu ích, đưa vào lĩnh vực như: quản lý giao... Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thơng tự động “Bài tốn nhận dạng biển số xe? ?? tiền đề để xây dựng mơ hình quản lý Tuy