Ứng dụng deep learning để nhận diện biển số xe ra vào trong một tòa nhà

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM TRỊNH THỊ HOÀNG OANH ỨNG DỤNG DEEP LEARNING ĐỂ NHẬN DIỆN BIỂN SỐ XE RA VÀO TRONG MỘT TÒA NHÀ LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng - Năm 2023 ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM TRỊNH THỊ HOÀNG OANH ỨNG DỤNG DEEP LEARNING ĐỂ NHẬN DIỆN BIỂN SỐ XE RA VÀO TRONG MỘT TÒA NHÀ Chuyên ngành: Hệ thống thông tin Mã số: 84.80.104 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC TS VŨ THỊ TRÀ Đà Nẵng - Năm 2023 v MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii TÓM TẮT iii ABSTRACT iv MỤC LỤC .v DANH MỤC CÁC TỪ VIẾT TẮT vii DANH MỤC BẢNG viii DANH MỤC HÌNH ẢNH ix MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ đề tài .2 Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa thực tiễn đề tài Kết đạt đƣợc Cấu trúc luận văn CHƢƠNG CƠ SỞ LÝ THUYẾT .4 1.1 Các khái niệm chung 1.2 Bài toán nhận dạng biển số xe .5 1.2.1 Khái niệm nhận dạng biển số xe 1.2.2 Lịch sử hình thành phát triển 1.2.3 Cách thức hoạt động hệ thống 1.2.4 Phân loại ứng dụng nhận dạng biển số xe 1.2.5 Một số đặc điểm để nhận dạng biển số xe Việt Nam 1.3 Kỹ thuật học sâu để nhận dạng phân loại đối tƣợng .9 1.3.1 Kỹ thuật mạng nơ-ron tích chập (CNN) .9 1.3.2 Một số kỹ thuật tìm kiếm xác định vị trí vật thể ảnh sử dụng mạng CNN .12 1.4 Phƣơng pháp nhận dạng ký tự biển số xe 23 1.4.1 Phƣơng pháp hình thái học (morphology) 23 1.4.2 Phƣơng pháp mạng nơron (neuron network) 23 1.4.3 Phƣơng pháp so khớp mẫu 23 1.5 Kết chƣơng 23 CHƢƠNG GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE 24 2.1 Sử dụng công nghệ YOLOv4 áp dụng cho toán 24 2.1.1 Cấu trúc nhận diện vật thể YOLOv4 24 vi 2.1.2 Backbone 25 2.1.3 Neck 27 2.1.4 Head 29 2.1.5 Quy trình phát hiện, nhận dạng biển số xe 30 2.2 Sử dụng phƣơng pháp nhận dạng ký tự quang học áp dụng cho toán .30 2.2.1 Lịch sử 30 2.2.2 Cấu trúc Tesseract 31 2.2.3 Xác định dòng từ 32 2.3 Kết chƣơng 34 CHƢƠNG THỰC NGHIỆM NHẬN DẠNG BIỂN SỐ XE 35 3.1 Bài toán nhận dạng biển số xe .35 3.2 Xây dựng chƣơng trình thực nghiệm 35 3.2.1 Cài đặt chƣơng trình chạy 35 3.2.2 Chuẩn bị liệu 36 3.2.3 Huấn luyện model Colab .39 3.3 Kết đạt đƣợc 49 3.4 Kết chƣơng 50 KẾT LUẬN VÀ KIẾN NGHỊ .51 DANH MỤC TÀI LIỆU THAM KHẢO 52 vii DANH MỤC CÁC TỪ VIẾT TẮT AI ANPR CNN CSDL FPN KNN OCR PAN SPP SSD SVM THPT YOLO Artificial Intelligence Automatic Number Plate Recognition Convolutional Neural Network Cơ sở liệu Feature Pyramid Network K-Nearest Neighbor Optical Character Recognition Path Aggregation Network Spatial Pyramid Pooling Single Shot MultiBox Detector Support Vector Machine Trung học phổ thông You only look once viii DANH MỤC BẢNG Số hiệu bảng Tên bảng Trang 1.1 Bảng biển số xe 63 tỉnh thành 3.1 Nhận diện vùng chứa biển số xe 50 3.2 Nhận diện biển số xe điều kiện khác 50 53 Internet [15] https://daco.vn/san-pham/cong-nghe-deep-learning-hoc-sau-la-gi-ung-dung-thucte-va-moi-lien-he-giua-hoc-sau-hoc-may-va-tri-tue-nhan-tao-7903 [16] https://luatvietnam.vn/hanh-chinh/bang-tra-cuu-bien-so-xe-cac-tinh-570-19547article.html [17] https://lawnet.vn/thong-tin-phap-luat/giao-thong/quy-dinh-can-biet-ve-bien-soxe-cac-loai-xe-theo-thong-tu-15-75101.html [18] https://viblo.asia/p/deep-learning-tim-hieu-ve-mang-tich-chap-cnnmaGK73bOKj2 [19] https://nttuan8.com/bai-6-convolutional-neural-network/ [20] RUN FASTER RCNN USING TENSORFLOW DETECTION API URL: https://data-sci.info/2017/06/27/run-faster-rcnn-tensorflow-detectionapi [21] Selective Search for Object Detection (C++ / Python) URL: https://www.learnopencv com/selective-search-for-object-detectioncpp-python [22] https://viblo.asia/p/tim-hieu-ve-yolo-trong-bai-toan-real-time-object-detectionyMnKMdvr57P [23] https://phamdinhkhanh.github.io/2020/03/09/DarknetAlgorithm.html [24] OpenCV Morphological Transformations https://docs.opencv.org/3.4/d9/d61/tutorial_py_morphological_ops.html [25] https://congdongopencv.blogspot.com/2017/10/bo-nhan-dang-ky-tu-quang-hoctesseract.html [26] https://github.com/tesseract-ocr/ [27] Find and draw Contours - OpenCV 3.4 with python https://www.youtube.com/watch?v=_aTC-Rc4Io0 I HèC NÂNG cCỉNG HOX HèI CHổNGH(A VIặT NAMI TRĩNG I HÌCSì PH M Ùc l-p - Tđ - H¡nh phúc Nng ngày(th£ng gnm 2021 SÑ: /443QÐ-HSP QUYÉT ấNH vviầc giao tiv trỏch nhiầm húng dôn lu-n thĂc si HIặUTR'ịNG TRĩNG I HèC S PH M -HéN Cn cộ Nghậ dậnlh 32/CP ngy 04/4/1994 cỗa Chinlh phỗ v viầc thnh l-p Ăi hc Nng: CÊn cộ Nghi quyột sú08NQ-HH ngy 12/7/2021 cỗa Hi ểng ¡i hÍc Nng ban hành Quy ché tÏchic vàho¡t ng cỗa Ăi hc Nng: Cn cộThụng tr sẹ 15/2014/TT-BGDéT ngy 15/5/2014 cỗa B GiÊodồc v o tĂo vằ viÇc ban hành Quy chà £o t¡o trìnlh Ù th¡c s): Cn cí Qry¿t Ënh sĐ 1060 -HSP ngày 01/11 2016cỗa Hiần tríng Trrong Ăi hc Sr phĂm-HéN vằviầc ban hành Qy Ënh t¡o trình Ù th¡c s): Xérà nghậcỗa Tríng phũng Phũng o tĂo QUYắT ấNH: iu Giao cho hÍc viên TrËnh ThË Hồng Oanh, ngành HÇ thĐng thơng tin, lóp K39.HTTT thđc hiÇn Á tài lu-n v£n èng dång deep learning à nh-n diÇn biÃn sĐxe vào mÙt tịa nh£ d°Ûi sđ h°Ûng d«n cỗa TS Vi ThậTr, Tríng Ăi hc S phĂm - ¡i hÍc Nµng iÃu HÍc viên vàng°Ýi h°Ûng dôn cú tờn ò iu Idóc hòng cỏc quyn lói thđc hiÇn nhiÇmvå dúng theo Quy chê t¡o trình Ù th¡c s) BÙ Giáo dåc £o t¡o ban hành Quy dËnh vÁ t¡o trinh thĂc sỡ cỗa Tríng Ăi hc Su phĂm -Ăi hc Nng iu Thỗtròng cỏc Ăn vậ liờn quan, ng°Ýi h°Ûng dân lu-n hÍc viên cótên ß iÁu Ic£ncúQuy¿t Ënh thi bành HIỈUTR¯ÚNG N¡i nh-n: Nh° Dieu (de thđc hiÇn): - Ban Giám hiÇu (dà bie): - Luu: VT T TR¯âNG ÁHâC Sð PHAM HÌc À N PGS TS L°u Treng