ĐỒ án tốt NGHIỆP đại học chuyên ngành hệ THỐNG THÔNG TIN QUẢN lý đề tài nhận dạng biển số xe

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC - VŨ MINH NGUYỆT VŨ MINH NGUYỆT TÊN ĐỀ TÀI TÊN ĐỀ TÀI … Nhận dạng biển số xe ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ HÀ NỘI-2022 HÀ NỘI – 2022 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Mục đích nội dung đồ án: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Kết đạt được: ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Ý thức làm việc sinh viên: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Hà Nội, ngày tháng năm 2022 Giảng viên hướng dẫn (Ký ghi rõ họ tên) MỤC LỤC Contents MỤC LỤC MỞ ĐẦU LỜI CẢM ƠN DANH MỤC HÌNH VẼ CHƯƠNG I: GIỚI THIỆU VỀ ĐỀ TÀI 1.1Mục đích nghiên cứu 1.2Đối tượng nghiên cứu 1.3Phạm vi nghiên cứu 1.4Ứng dụng đề tài 1.4.1Khái niệm nhận dạng biể 1.4.2Ứng dụng CHƯƠNG II: CƠ SỞ LÝ THUYẾT 2.1Học sâu 2.2Mạng nơ-ron nhân tạo 2.2.1Kiến trúc mạng nơ- ron 2.2.2Các kỹ thuật quan trọng 2.3Mạng nơ-ron tích chập (Convolutional neural network - CN 2.3.1Kiến trúc mạng tích chập 2.3.2Mơ hình phát đối tư 2.4Phân đoạn nhận dạng ký tự 2.4.1 Tổng quan phân đoạn ký tự 2.4.2Nhận dạng ký tự CHƯƠNG III: MƠ HÌNH ĐỀ XUẤT 3.1Mơ hình mạng học sâu YOLOv5 3.1.1Mơ hình mạng học sâu 3.1.2Thuật tốn YOLOv5 3.2 Mơ hình WPOD 3.3 Mơ hình đề xuất 3.3.1 Phát phương tiện giao thông 3.3.2 Phát chỉnh biển số 3.3.3 Nhận dạng ký tự CHƯƠNG IV: KẾT LUẬN 4.1 Kết 58 4.2 Hạn chế 58 4.3 Phương hướng phát triển 58 KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 59 MỞ ĐẦU Hiện với phát triển kinh tế xã hội bùng nổ số lượng phương tiện giao thơng Gây khó khăn công tác quản lý, xử lý vi phạm giao thơng mà nguồn nhân lực người khó đảm đương Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thơng tự động “Bài tốn nhận dạng biển số xe” tiền đề để xây dựng mơ hình quản lý Tuy nhiên, Việt Nam hệ thống quản lý chưa nhiều lĩnh vực nhận dạng phát triển Từ thực tế đó, thời gian làm đồ án tốt nghiệp em định lựa chọn tìm hiểu tốn “nhận dạng” trọng vào việc nhận dạng biển số xe Để phục vụ cho bước đầu hệ thống quản lý phương tiện giao thông Việt Nam Trong điều kiện lực thời gian có hạn, nên báo cáo em khơng tránh khỏi sai sót Em kính mong thầy bạn đóng góp ý kiến để em chỉnh sửa bổ sung phần thiếu sót để em hồn thiện đề tài Trong báo cáo đồ án tốt nghiệp em trình bày thành chương sau: Chương I: Giới thiệu đề tài Chương II: Cơ sở lý thuyết Chương III: Mơ hình đề xuất Chương IV: Kết thực nghiệm LỜI CẢM ƠN Trong thời gian làm đồ án tốt nghiệp, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy cô bạn bè Em xin gửi lời cảm ơn chân thành đến thầy Vũ Thành Nam, giảng viên trường Đại học Bách khoa Hà Nội, người tận tình hướng dẫn, bảo em suốt trình em làm đồ án tốt nghiệp Em xin chân thành cảm ơn thầy cô trường Đại học Bách khoa Hà Nội nói chung Viện Tốn ứng dụng Tin học nói riêng dạy dỗ cho em kiến thức môn đại cương mơn chun ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện cho em hoàn thành đồ án tốt nghiệp Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, tạo điều kiện, quan tâm, giúp đỡ, động viên em suốt trình học tập hoàn thành đồ án tốt nghiệp Em xin chân thành cảm ơn!! Sinh viên thực Vũ Minh Nguyệt DANH MỤC HÌNH VẼ Kết detect dùng WPOD YOLO SSD thực phát nhận dạng nhiều đối tượng nhanh lúc, chúng khơng tính đến phép biến đổi khơng gian, tạo BB hình chữ nhật cho lần phát Ngược lại, STN được sử dụng để phát vùng hình chữ nhật, nhiên khơng thể xử lý nhiều phép biến đổi lúc, thực phép biến đổi khơng gian tồn đầu vào Để khắc phục nhược điểm nói trên, ta sử dụng mạng WPODNET(Wraped Planer Object Detection Network)- phát triển thiết kế dựa ý tưởng YOLO, SSD STN Các mạng YOLO SSD trả hình chữ nhật bao quanh biển số xe mà không quan tâm đến không gian xung quanh biển số xe Cịn WPOD trả vùng tứ giác bao quanh biển số xe đưa biển số hướng diện 48 Bao gồm 21 lớp convolutional có 14 lớp nằm khối residual Tất dùng filter với kích thước 3x3 dùng hàm kích hoạt relu ngoại trừ khối Detection Output features map bao gồm channels channels đầu xác suất có/khơng có đối tượng, channels sau chứa giá trị để tạo ma trận affine transform Để tạo output features map khối Detection có luồng riêng biệt, luồng thứ để tính xác suất có/khơng có đối tượng (2 channels đầu) sử dụng softmax, luồng thứ để tính tốn thơng số để tạo ma trận transform với hàm f(x)=x Kết luồng gộp lại để đưa output 3.3 Mơ hình đề xuất Phương pháp đề xuất bao gồm bước chính: phát phương tiện, phát khu vực biển số xe nhận dạng ký tự Cho hình ảnh đầu vào, phát phương tiện Trong khu vực phát hiện, mạng WPOD tìm kiếm biển số xe thực phép biến đổi affine cho lần phát hiện, cho phép chỉnh sửa khu vực biển số xe thành hình chữ nhật giống chế độ xem trực diện Và cuối đưa vào mạng YOLO để nhận dạng ký tự 49 Như để giải tốn nhận diện biển số xe ta cần giải ba toán sau: - Bài tốn thứ nhất: Phát phương tiện giao thơng - Bài toán thứ hai: Phát khu vực biển số xe - Bài toán thứ ba: Nhận dạng ký tự Sơ đồ khối mơ hình đề xuất hệ thống nhận biển số xe 50 51 Huẩn luyện mơ hình Các bước để huấn luyện YOLOv5 Custom Dataset: - Chuẩn bị Dataset - Cài đặt phần phụ thuộc cần thiết YOLOv5 - Tải xuống liệu Custom YOLOv5 Object Detection - Xác định cấu hình kiến trúc mơ hình YOLOv5 - Huấn luyện a custom YOLOv5 Detector - Đánh giá hiệu suất YOLOv5 - Trực quan hóa liệu huấn luyện YOLOv5 - Chạy YOLOv5 Inference hình ảnh thử nghiệm - Xuất trọng số YOLOv5 lưu để suy luận kết Việc phát biển số thực dựa mơ hình mạng nơ-ron phân lớp hình ảnh Cấu hình máy sử dụng cho việc đào tạo mơ hình Hệ điều hành: Ubuntu 20.04 CPU: Ryzen 2700 GPU: 1070TI 8G Ram: 16GB HDD: 1T 52 3.3.1 Phát phương tiện giao thông Phát phương tiện giao thông tốn thuộc nhóm tốn phát đối tượng (một lĩnh vực ngành thị giác máy tính) có nhiều ứng dụng thực tế Có phương pháp giải tốn phát phương tiện sau: phương pháp dựa vào kỹ thuật trừ nền, phương pháp dựa vào luồng quang học (optical flow) phương pháp dựa vào mô hình mạng học sâu phát đối tượng YOLO, SSD, Fast R-CNN,… Ở phương pháp thuộc hai nhóm đầu có ưu điểm khơng cần nhiều liệu huấn luyện hay lực xử lý mạnh mẽ hệ thống phần cứng, tốc độ nhanh hạn chế độ xác Cịn mơ hình học sau có điểm chung cần liệu huấn luyện lớn, phần cứng triển khai phải có lực xử lý mạnh mẽ (các card đồ họa GPU chuyên dụng) tốc độ thực thị chậm lại có độ xác cao Vì phương tiện đối tượng có nhiều liệu nhận dạng phát cổ điển, chẳng hạn Pascal-Voc, Imaganet Coco , nên không huấn luyện máy học từ đầu, thay vào chọn mơ hình biết để thực phát phương tiện dựa số tiêu chí Mơ hình YOLOv5 có khả phát phương tiện giao thông phổ biến đường: xe máy, tơ, xe bt, xe tải Mơ hình YOLOv5m Vehice Detection 53 54 3.3.2 Phát chỉnh biển số Tách biển số Tách biển số bước quan trọng trình nhận dạng biển số xe Quá trình chia thành giai đoạn chính: Giai đoạn 1: Xác định vị trí biển số ảnh chụp Giai đoạn 2: Dùng giải thuật để cắt biển số xe khỏi ảnh xoay biển số xe phương ngang Việc định vị biển số xe dựa vào tính chất biển số như: hình dạng, màu sắc biển số so với Biển số xe có hình chữ nhật với kích thước chiều dài rộng khơng thay đổi Từ tìm vùng có hình tứ giác hình, tính tỉ lệ hai chiều hình so với khoảng giá trị cho trước để xem thử vùng có chứa biển số hay khơng Ngồi ra, định vị biển số cịn dựa màu sắc biển số Hầu hết biển số xe Việt Nam trắng, chữ đen Kết hợp hai tính chất trên, xác định vùng chứa biển số Sau định vị biển số xe, tiến hành cắt biển số xe Biển số xe cắt theo bước Bước cắt vùng rộng vùng chứa biển số 55 Sau tìm góc nghiêng biển số thực xoay biển số phương thẳng đứng Bước hai cắt biển số khỏi vùng Thực việc cắt biển số qua hai bước làm tăng độ xác, biển số cắt nguyên vẹn, khơng cắt phạm chữ, trừ trường hợp ảnh bị chói, độ tương phản khơng bị che khuất kết việc tách biển số khơng xác Tìm góc nghiêng xoay Biển số chụp với nhiều góc nghiêng khác nhau, dó ta phải tìm góc nghiêng xoay phương thẳng Đây việc quan trọng khơng quay phương thẳng cắt biển số bị phạm vào biển số Biển số sau cắt hoàn chỉnh Sau cắt biển số ta tiến hành phân đoạn nhận dạng ký tự Tập liệu Tập liệu bao gồm ảnh xe lấy từ tập CCPD (Chinese City Parking Dataset, ECCV) tập liệu từ cơng ty cổ phần tập đồn ASI Group Các khu vực biển số sử dụng mơ hình phát biển số để phát cắt làm tập liệu đào tạo mơ hình phân loại Gồm 11781 hình ảnh Được chia làm phần 70% cho tập huấn luyện 30% cho tập thử nghiệm 56 Q trình huấn luyện gồm 100 epochs, với kích thước đầu vào 16x640x640x3 tức 16 ảnh RGB kích thước 640x640 lần đưa vào mơ hình Kích thước liệu: Gồm 11781 ảnh Mơ hình: YOLOv5 Hàm mát: Localization loss Confidence loss Sau qua trình đào tạo thu mơ hình phát biển số xe với độ xác lớn 95% tập thử nghiệm (3357 ảnh) Mơ hình WPOD 57 3.3.3 Nhận dạng ký tự Việc phát ký tự khu vực biển số thực cách sử dụng mạng YOLOv5 sửa đổi.Tuy nhiên tập liệu đào tạo mở rộng đáng kể cách sử dụng liệu tổng hợp tăng cường để phù hợp với đặc điểm LP khu vực khác Tập liệu Tập liệu: bao gồm ảnh chữ số lấy từ tập SVHN (The Street View House Numbers Dataset) ảnh biển số xe từ tập liệu từ công ty cổ phần tập đồn ASI Group Gồm 13257 hình ảnh Được chia làm phần 73% cho tập huấn luyện 27% cho tập thử nghiệm 58 Sau trình đào tạo thu mơ hình nhận dạng ký tự với độ xác lớn 90% tập thử nghiệm (3221 ảnh) Mơ hình YOLOv5m Char Detection 59 CHƯƠNG IV: KẾT LUẬN Các mơ hình cho kết tốt tập thử nghiệm, sau kết hợp mô hình lại nhận biển số xe cách tương đối xác lên đến 96% điều kiện thời tiết tốt, thuận lợi với tốc độ nhận diện trung bình phương tiện từ 15-2 ms GPU RTX 2070 Tuy nhiên số hạn chế như: Mơ hình nhận dạng cịn nhầm lần số trường hợp biển số xe bị che khuất Bộ liệu huấn luyện nhận dạng ký tự chưa đủ lớn nên mơ hình cịn đọc sai số chữ cái, số giống kí tự gặp biển số như: R, LD, G-6 Tuy mơ hình tốt áp dụng vào thực tế cần cải thiện tốc độ, nhớ ram xử dụng cách tối ưu, lượng tử hóa mơ hình học sâu áp dụng toán Tăng cường liệu huấn luyện giúp cho mơ hình đào tạo xác 60 TÀI LIỆU THAM KHẢO 61 62 ... chụp biển số khơng bị mờm ký tự biển số phân biệt, nhận dạng trực quan  Không bị nhiễu ánh sáng làm ảnh chụp bị chói 1.4 Ứng dụng đề tài 1.4.1 Khái niệm nhận dạng biển số xe Hệ thống nhận dạng biển. .. xử lý ảnh số Mục đích nhận dạng biển số xe thực bước xử lý để từ ảnh đầu vào, máy tính nhận xác biển số xe ảnh Nhận dạng biển số xe trở thành ứng dụng hữu ích, đưa vào lĩnh vực như: quản lý giao... Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thơng tự động “Bài tốn nhận dạng biển số xe? ?? tiền đề để xây dựng mơ hình quản lý Tuy