đề tài nhận dạnh biển số xe

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC - VŨ MINH NGUYỆT VŨ MINH NGUYỆT TÊN ĐỀ TÀI TÊN ĐỀ TÀI … Nhận dạng biển số xe ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ HÀ NỘI-2022 HÀ NỘI – 2022 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Mục đích nội dung đồ án: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Kết đạt được: ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Ý thức làm việc sinh viên: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Hà Nội, ngày tháng năm 2022 Giảng viên hướng dẫn (Ký ghi rõ họ tên) MỤC LỤC Contents MỤC LỤC MỞ ĐẦU LỜI CẢM ƠN .4 DANH MỤC HÌNH VẼ .5 CHƯƠNG I: GIỚI THIỆU VỀ ĐỀ TÀI 1.1 Mục đích nghiên cứu .6 1.2 Đối tượng nghiên cứu 1.3 Phạm vi nghiên cứu .6 1.4 Ứng dụng đề tài 1.4.1 Khái niệm nhận dạng biển số xe 1.4.2 Ứng dụng .9 CHƯƠNG II: CƠ SỞ LÝ THUYẾT 10 2.1 Học sâu .10 2.2 Mạng nơ-ron nhân tạo 10 2.2.1 Kiến trúc mạng nơ- ron .10 2.2.2 Các kỹ thuật quan trọng mạng nơ-ron .15 2.3 Mạng nơ-ron tích chập (Convolutional neural network - CNN) 17 2.3.1 Kiến trúc mạng tích chập 18 2.3.2 Mơ hình phát đối tượng .25 2.4 Phân đoạn nhận dạng ký tự 27 2.4.1 Tổng quan phân đoạn ký tự 27 2.4.2 Nhận dạng ký tự 27 CHƯƠNG III: MƠ HÌNH ĐỀ XUẤT 29 3.1 Mơ hình mạng học sâu YOLOv5 .31 3.1.1 Mơ hình mạng học sâu YOLO (You Only Look Once) 31 3.1.2 Thuật toán YOLOv5 40 3.2 Mơ hình WPOD 43 3.3 Mơ hình đề xuất 47 3.3.1 Phát phương tiện giao thông 50 3.3.2 Phát chỉnh biển số 53 3.3.3 Nhận dạng ký tự 55 CHƯƠNG IV: KẾT LUẬN .58 4.1 Kết .58 4.2 Hạn chế .58 4.3 Phương hướng phát triển 58 KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 59 MỞ ĐẦU Hiện với phát triển kinh tế xã hội bùng nổ số lượng phương tiện giao thông Gây khó khăn cơng tác quản lý, xử lý vi phạm giao thông mà nguồn nhân lực người khó đảm đương Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thông tự động “Bài tốn nhận dạng biển số xe” tiền đề để xây dựng mơ hình quản lý Tuy nhiên, Việt Nam hệ thống quản lý chưa nhiều lĩnh vực nhận dạng cịn phát triển Từ thực tế đó, thời gian làm đồ án tốt nghiệp em định lựa chọn tìm hiểu tốn “nhận dạng” trọng vào việc nhận dạng biển số xe Để phục vụ cho bước đầu hệ thống quản lý phương tiện giao thông Việt Nam Trong điều kiện lực thời gian có hạn, nên báo cáo em khơng tránh khỏi sai sót Em kính mong thầy bạn đóng góp ý kiến để em chỉnh sửa bổ sung phần thiếu sót để em hồn thiện đề tài Trong báo cáo đồ án tốt nghiệp em trình bày thành chương sau: Chương I: Giới thiệu đề tài Chương II: Cơ sở lý thuyết Chương III: Mơ hình đề xuất Chương IV: Kết thực nghiệm LỜI CẢM ƠN Trong thời gian làm đồ án tốt nghiệp, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy bạn bè Em xin gửi lời cảm ơn chân thành đến thầy Vũ Thành Nam, giảng viên trường Đại học Bách khoa Hà Nội, người tận tình hướng dẫn, bảo em suốt trình em làm đồ án tốt nghiệp Em xin chân thành cảm ơn thầy cô trường Đại học Bách khoa Hà Nội nói chung Viện Tốn ứng dụng Tin học nói riêng dạy dỗ cho em kiến thức môn đại cương môn chuyên ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện cho em hoàn thành đồ án tốt nghiệp Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, ln tạo điều kiện, quan tâm, giúp đỡ, động viên em suốt q trình học tập hồn thành đồ án tốt nghiệp Em xin chân thành cảm ơn!! Sinh viên thực Vũ Minh Nguyệt DANH MỤC HÌNH VẼ Kết detect dùng WPOD YOLO SSD thực phát nhận dạng nhiều đối tượng nhanh lúc, chúng khơng tính đến phép biến đổi không gian, tạo BB hình chữ nhật cho lần phát Ngược lại, STN được sử dụng để phát vùng khơng phải hình chữ nhật, nhiên khơng thể xử lý nhiều phép biến đổi lúc, thực phép biến đổi không gian toàn đầu vào.  Để khắc phục nhược điểm nói trên, ta sử dụng mạng WPODNET(Wraped Planer Object Detection Network)- phát triển thiết kế dựa ý tưởng YOLO, SSD STN Các mạng YOLO SSD trả hình chữ nhật bao quanh biển số xe mà không quan tâm đến không gian xung quanh biển số xe Cịn WPOD trả vùng tứ giác bao quanh biển số xe đưa biển số hướng diện 48 Bao gồm 21 lớp convolutional có 14 lớp nằm khối residual Tất dùng filter với kích thước 3x3 dùng hàm kích hoạt relu ngoại trừ khối Detection Output features map bao gồm channels channels đầu xác suất có/khơng có đối tượng, channels sau chứa giá trị để tạo ma trận affine transform Để  tạo output features map khối Detection có luồng riêng biệt, luồng thứ để tính xác suất có/khơng có đối tượng (2 channels đầu) sử dụng softmax, luồng thứ để tính tốn thơng số để tạo ma trận transform với hàm f(x)=x Kết luồng gộp lại để đưa output.  3.3 Mô hình đề xuất Phương pháp đề xuất bao gồm bước chính: phát phương tiện, phát khu vực biển số xe nhận dạng ký tự Cho hình ảnh đầu vào, phát phương tiện Trong khu vực phát hiện, mạng WPOD tìm kiếm biển số xe thực phép biến đổi affine cho lần phát hiện, cho phép chỉnh sửa khu vực biển số xe thành hình chữ nhật giống chế độ xem trực diện Và cuối đưa vào mạng YOLO để nhận dạng ký tự 49 Như để giải toán nhận diện biển số xe ta cần giải ba toán sau: - Bài toán thứ nhất: Phát phương tiện giao thơng - Bài tốn thứ hai: Phát khu vực biển số xe - Bài toán thứ ba: Nhận dạng ký tự Sơ đồ khối mô hình đề xuất hệ thống nhận biển số xe 50 51  Huẩn luyện mơ hình Các bước để huấn luyện YOLOv5 Custom Dataset: - Chuẩn bị Dataset - Cài đặt phần phụ thuộc cần thiết YOLOv5 - Tải xuống liệu Custom YOLOv5 Object Detection - Xác định cấu hình kiến trúc mơ hình YOLOv5 - Huấn luyện a custom YOLOv5 Detector - Đánh giá hiệu suất YOLOv5 - Trực quan hóa liệu huấn luyện YOLOv5 - Chạy YOLOv5 Inference hình ảnh thử nghiệm - Xuất trọng số YOLOv5 lưu để suy luận kết Việc phát biển số thực dựa mơ hình mạng nơ-ron phân lớp hình ảnh  Cấu hình máy sử dụng cho việc đào tạo mơ hình  Hệ điều hành: Ubuntu 20.04  CPU: Ryzen 2700  GPU: 1070TI 8G  Ram: 16GB  HDD: 1T 52 3.3.1 Phát phương tiện giao thông Phát phương tiện giao thơng tốn thuộc nhóm toán phát đối tượng (một lĩnh vực ngành thị giác máy tính) có nhiều ứng dụng thực tế Có phương pháp giải tốn phát phương tiện sau: phương pháp dựa vào kỹ thuật trừ nền, phương pháp dựa vào luồng quang học (optical flow) phương pháp dựa vào mơ hình mạng học sâu phát đối tượng YOLO, SSD, Fast R-CNN,… Ở phương pháp thuộc hai nhóm đầu có ưu điểm khơng cần nhiều liệu huấn luyện hay lực xử lý mạnh mẽ hệ thống phần cứng, tốc độ nhanh hạn chế độ xác Cịn mơ hình học sau có điểm chung cần liệu huấn luyện lớn, phần cứng triển khai phải có lực xử lý mạnh mẽ (các card đồ họa GPU chuyên dụng) tốc độ thực thị chậm lại có độ xác cao Vì phương tiện đối tượng có nhiều liệu nhận dạng phát cổ điển, chẳng hạn Pascal-Voc, Imaganet Coco , nên không huấn luyện máy học từ đầu, thay vào chọn mơ hình biết để thực phát phương tiện dựa số tiêu chí Mơ hình YOLOv5 có khả phát phương tiện giao thông phổ biến đường: xe máy, ô tô, xe buýt, xe tải Mơ hình YOLOv5m Vehice Detection Image size Precision Recal 640x640 0.8720 0.8509 53 54 3.3.2 Phát chỉnh biển số  Tách biển số Tách biển số bước quan trọng trình nhận dạng biển số xe Quá trình chia thành giai đoạn chính:  Giai đoạn 1: Xác định vị trí biển số ảnh chụp  Giai đoạn 2: Dùng giải thuật để cắt biển số xe khỏi ảnh xoay biển số xe phương ngang Việc định vị biển số xe dựa vào tính chất biển số như: hình dạng, màu sắc biển số so với Biển số xe có hình chữ nhật với kích thước chiều dài rộng khơng thay đổi Từ tìm vùng có hình tứ giác hình, tính tỉ lệ hai chiều hình so với khoảng giá trị cho trước để xem thử vùng có chứa biển số hay khơng Ngồi ra, định vị biển số dựa màu sắc biển số Hầu hết biển số xe Việt Nam trắng, chữ đen Kết hợp hai tính chất trên, xác định vùng chứa biển số Sau định vị biển số xe, tiến hành cắt biển số xe Biển số xe cắt theo bước Bước cắt vùng rộng vùng chứa biển số 55 Sau tìm góc nghiêng biển số thực xoay biển số phương thẳng đứng Bước hai cắt biển số khỏi vùng Thực việc cắt biển số qua hai bước làm tăng độ xác, biển số cắt nguyên vẹn, không cắt phạm chữ, trừ trường hợp ảnh bị chói, độ tương phản khơng bị che khuất kết việc tách biển số khơng xác  Tìm góc nghiêng xoay Biển số chụp với nhiều góc nghiêng khác nhau, dó ta phải tìm góc nghiêng xoay phương thẳng Đây việc quan trọng khơng quay phương thẳng cắt biển số bị phạm vào biển số Biển số sau cắt hoàn chỉnh Sau cắt biển số ta tiến hành phân đoạn nhận dạng ký tự  Tập liệu Tập liệu bao gồm ảnh xe lấy từ tập CCPD (Chinese City Parking Dataset, ECCV) tập liệu từ công ty cổ phần tập đoàn ASI Group Các khu vực biển số sử dụng mơ hình phát biển số để phát cắt làm tập liệu đào tạo mô hình phân loại Gồm 11781 hình ảnh Được chia làm phần 70% cho tập huấn luyện 30% cho tập thử nghiệm 56 Quá trình huấn luyện gồm 100 epochs, với kích thước đầu vào 16x640x640x3 tức 16 ảnh RGB kích thước 640x640 lần đưa vào mơ hình Kích thước liệu: Gồm 11781 ảnh Mơ hình: YOLOv5 Hàm mát: Localization loss Confidence loss Sau qua trình đào tạo thu mơ hình phát biển số xe với độ xác lớn 95% tập thử nghiệm (3357 ảnh) Mơ hình WPOD Image size Precision Recal 256x256 0.9411 0.9301 57 3.3.3 Nhận dạng ký tự Việc phát ký tự khu vực biển số thực cách sử dụng mạng YOLOv5 sửa đổi.Tuy nhiên tập liệu đào tạo mở rộng đáng kể cách sử dụng liệu tổng hợp tăng cường để phù hợp với đặc điểm LP khu vực khác  Tập liệu Tập liệu: bao gồm ảnh chữ số lấy từ tập SVHN (The Street View House Numbers Dataset) ảnh biển số xe từ tập liệu từ công ty cổ phần tập đồn ASI Group Gồm 13257 hình ảnh Được chia làm phần 73% cho tập huấn luyện 27% cho tập thử nghiệm 58 Sau trình đào tạo thu mơ hình nhận dạng ký tự với độ xác lớn 90% tập thử nghiệm (3221 ảnh) Mơ hình YOLOv5m Char Detection Image size Precision Recal 320x320 0.9723 0.9508 59 CHƯƠNG IV: KẾT LUẬN Các mơ hình cho kết tốt tập thử nghiệm, sau kết hợp mơ hình lại nhận biển số xe cách tương đối xác lên đến 96% điều kiện thời tiết tốt, thuận lợi với tốc độ nhận diện trung bình phương tiện từ 15-2 ms GPU RTX 2070 Tuy nhiên số hạn chế như:  Mơ hình nhận dạng cịn nhầm lần số trường hợp biển số xe bị che khuất  Bộ liệu huấn luyện nhận dạng ký tự chưa đủ lớn nên mơ hình cịn đọc sai số chữ cái, số giống kí tự gặp biển số như: R, LD, G-6 Tuy mơ hình tốt áp dụng vào thực tế cần cải thiện tốc độ, nhớ ram xử dụng cách tối ưu, lượng tử hóa mơ hình học sâu áp dụng toán Tăng cường liệu huấn luyện giúp cho mơ hình đào tạo xác 60 TÀI LIỆU THAM KHẢO 61 62