Nghiên cứu ứng dụng nhận dạng biển số xe ô tô phục vụ phòng chống dịch covid 19

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG NGUYỄN QUỐC LONG NGHIÊN CỨU ỨNG DỤNG NHẬN DẠNG BIỂN SỐ XE Ơ TƠ PHỤC VỤ PHỊNG CHỐNG DỊCH COVID- 19 LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THÔNG TIN Đà Nẵng, năm 2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG NGUYỄN QUỐC LONG NGHIÊN CỨU ỨNG DỤNG NHẬN DẠNG BIỂN SỐ XE Ô TÔ PHỤC VỤ PHÒNG CHỐNG DỊCH COVID- 19 Chuyên ngành : Hệ thống thông tin Mã ngành : 84.80.104 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS Nguyễn Trần Quốc Vinh Đà Nẵng, năm 2022 i MỤC LỤC MỤC LỤC i KẾT QUẢ NGHIÊN CỨU iii DANH MỤC BẢNG vii DANH MỤC HÌNH viii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa thực tiễn đề tài Kết dự kiến Kết cấu luận văn CHƯƠNG TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 1.1 Khái quát xử lý ảnh toán nhận dạng 1.2 Tổng quan nhận dạng 1.2.1 Định nghĩa toán nhận dạng: 1.2.2 Khái niệm nhận dạng biển số xe 1.3 Khái niệm biển số xe 1.4 Một số hướng giải toán 13 1.4.1 Hướng tiếp cận phát triển vùng 13 1.4.2 Hướng tiếp cận dò biên biến đổi Hough 13 1.4.3 Phân ngưỡng tím vùng đối tượng (hướng tiếp cận luận văn) 14 1.5 Phát vùng chứa biển số xe 14 1.5.1 Một số khái niệm 14 1.5.2 Biên phương pháp phát biên 16 1.5.3 Phát vùng chứa biển số xe 19 1.6 Hướng giải toán mạng nơron nhân tạo 24 1.6.1 Mạng nơron tích chập 27 ii 1.6.2 Phạm vi nghiên cứu hướng giải toán 32 Kết Chương 34 CHƯƠNG GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE PHỤC VỤ PHÒNG CHỐNG DỊCH COVID-19 35 2.1 COVID – 19 35 2.1.1 Sơ lược đại dịch diễn biến COVID – 19 35 2.1.2 Giải Pháp Covid-19 Tại Việt Nam 41 2.2 Bài toán nhận dạng ký tự biển số 47 2.2.1 Tổng quan nhận dạng 47 2.2.2 Phương pháp nhận dạng ký tự biển số xe 49 2.3 Thư viện OpenCV 49 Kết Chương 52 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH VÀ ĐÁNH GIÁ BÀI TỐN 53 3.1 Mơ tả tốn mơ hình thực 53 3.1.1 Phát biểu lời 53 3.1.2 Mơ hình nhận dạng biển số xe đề xuất 53 3.1.3 Mô hình tốn 54 3.2 Các trình xử lý hệ thống 54 3.2.1 Xử lý hình ảnh 54 3.2.2 Demo code xử lý ảnh 57 3.2.3 Hệ thống website xử lý 58 3.2.4 Xử lý toán toán nhận dạng 66 3.3 Hướng phát triển toán nhận dạng biển số xe 68 3.3.1 Nhận xét 68 3.3.2 Hướng phát triển đề xuất ý kiến 68 KẾT CHƯƠNG 71 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 73 iii KẾT QUẢ NGHIÊN CỨU TÊN ĐỀ TÀI: NGHIÊN CỨU ỨNG DỤNG NHẬN DẠNG BIỂN SỐ XE Ơ TƠ PHỤC VỤ PHỊNG CHỐNG DỊCH COVID- 19 Ngành : Công Nghệ Thông Tin Họ tên học viên : Nguyễn Quốc Long Người hướng dẫn khoa học : TS Nguyễn Trần Quốc Vinh Cơ sở đào tạo : Trường đại học Sư Phạm – Đại học Đà Nẵng A Study on the Application of License Plate Recognition to Assist in the Fight Against against COVID-19 Tóm tắt: Đại dịch COVID-19 tiếp tục thách thức đặc biệt không với riêng Việt Nam tồn nhân loại Nó đe dọa nghiêm trọng an toàn sức khỏe nhân dân ta Hiện phủ đưa giải pháp khống chế theo dõi hoạt động trái phép nhằm lấy lan bệnh dịch mã QR CODE Nằm thực trạng chung phát triển cơng nghệ thơng tin việc kiểm sốt đại dịch Covid-19 nhằm tăng cường khả giám sát, truy vết giảm tải nhân lực tuyến đầu chống dịch việc làm vô cần thiết Nên học viên đã chọn lĩnh vực ứng dụng máy tính kết hợp cơng nghệ để tiến hành giám sát truy vết Học viên chọn thuận toán toán phát biên mã kí tự thư viện OpenCV Thuật tốn phát biên khoanh vùng biển số xe dung thư viện Python, công dụng phát biển số xe xe đến gần Tuy nhiện thuật tốn cần độ xác cao mặt hình ảnh Cần hình ảnh rõ biên biển số xe phù hợp với liệu thư viện Thư viện OpenCV thư viện mở Python OpenCV thiết kế để tính tốn hiệu với tập trung nhiều vào ứng dụng thời gian thực Được viết tối ưu hóa C/C++, thư viện tận dụng lợi xử lý đa lõi Trong luận văn này, học viên chọn môi trường cài iv đặt xử lý hình ảnh máy tính Local xử lý thơng tin đăng kí biển số xe ô tô website trực tuyến Qua kết thử nghiệm, mơ hình chạy thử nghiêm có độ xác cao Hầu nhận diện tất biển số xe quét qua Một số xe q nhanh hình ảnh khơng rõ khó nhận diện xác số biển số xe Hướng phát triển nghiên cứu tiếp tục cải tiến thêm nhận diện biển số xe đường cao tốc Bên cạnh đó, học viên tiếp tục tìm hiểu thêm thuật tốn học máy khác xem xét bổ sung thư viện nhận diện nhằm làm cho độ xác việc nhận diện trở nên dễ dàng Từ khóa: Học khoanh vùng, Học có giám sát, OpenCV, Nhận diện biển số xe Xác nhận giảng viên hướng dẫn Người thực đề tài v Name of thesis: A Study on the Application of License Plate Recognition to Assist in the Fight Against against COVID-19 Major Full name of Master student Supervisors Training institution Nang : Information System : Nguyen Quoc Long : Dr Nguyen Tran Quoc Vinh : University of Education – University of Da Abstract: The COVID-19 pandemic has been and continues to be a special challenge not only for Vietnam but also for all of humanity It has been and is seriously threatening the safety and health of our people Currently, the government has come up with a solution to control and monitor illegal activities to spread the disease by QR code Being in the general situation of developing information technology in controlling the Covid-19 pandemic in order to strengthen the ability to monitor, trace and reduce the human load in the frontline against the epidemic is an extremely necessary job today now Therefore, students have chosen the application area of computers and technology to conduct monitoring and tracing Students chose algorithms for edge detection and character encoding using OpenCV library The algorithm for detecting and zoning license plates is using a library in Python, the use of which is to detect license plates when the vehicle is approaching However, this algorithm needs high image accuracy Need a clear image and the border of the license plate is consistent with the library's data The OpenCV library is an open set of Python libraries OpenCV is designed for efficient computing and with a heavy focus on real-time applications Written with optimized C/C++, the library can take advantage of multi-core processing In this thesis, students choose the environment to install and process images at the Local computer and process the registration information of car license plates at the online website Through the test results, the test model has high accuracy Almost all license plates will be recognized vi when scanned Some cars go too fast or the image is not clear, it will be difficult to accurately identify the number on the license plate The development direction of the research is to further improve the license plate recognition on the highway In addition, students continue to learn other machine learning algorithms as well as consider adding recognition libraries to make recognition accuracy easier Keywords: Zoning learning, Supervised learning, OpenCV, License plate recognition Supervior’s confirmation Student vii DANH MỤC BẢNG Bảng 2.1 Một số hàm truyền thông dụng 26 viii DANH MỤC HÌNH Hình 1.1 Biển số xe Việt Nam 12 Hình 2.1 Trục tọa độ đề qua điểm 22 Hình 2.2 Trục tọa độ đề 22 Hình 2.3 Hệ tọa độ cực 23 Hình 2.4 Đường thẳng Hough tọa độ cực 23 Hình 2.5 Cấu tạo Nơron 25 Hình 2.6 Minh họa tích chập 27 Hình 2.7 Mơ hình mạng nơron tích chập 28 Hình 2.8 Tích chập đồ kích hoạt 30 Hình 2.9 Kết nối cục 31 Hình 2.10 Quá trình tổng hợp 31 Hình 3.1 Mơ hình nhận dạng biển số xe đề xuất 53 Hình 3.2 Mơ hình tốn 54 Hình 3.3 Lấy ảnh 54 Hình 3.4 Định vị biển số xe 55 Hình 3.5 Định vị kí tự 55 Hình 3.6 56 Hình 3.7 Kết thu 56 Hình 3.8 Thư viện xử lý 57 Hình 3.9 Xử lý lấy kí tự biển số xe 57 Hình 3.10 Xử lý gởi thơng báo máy chủ 58 Hình 3.11 Xử lý admin 59 Hình 3.12 Xử lý đăng nhấp admin 59 Hình 3.13 Xử lý client 60 Hình 3.14 Xử lý đăng nhập client 60 Hình 3.15 Trang đăng nhập hệ thống Admin 61 Hình 3.16 Danh sách chưa kiểm duyệt 61 Hình 3.17 Danh sách xe kiểm duyệt 62 73 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt: [1] Đ.M.Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [2] Hoàng Hữu Việt (2015) Lập trình C# cho ứng dụng sở liệu Vinh: NXB Đại học Vinh [3] Khoa Công nghệ thông tin trường ĐH Cần Thơ, Võ Huỳnh Trâm – Trần Ngân Bình, Trí Tuệ Nhân Tạo, 164 – 176 [4] Lương Mạnh Bá Nguyễn Thanh Thuỷ (2003) Nhập môn xử lý ảnh số Hà Nội: NXB Khoa học Kỹ thuật [5] Nguyễn Duy Linh (2018) Xây dựng ứng dụng nhận dạng biển số xe ô tô sử dụng mã nguồn mở OpenCV Tạp chí Thơng tin Khoa học & Cơng nghệ Quảng Bình, (1), tr 35-40 [6] Nguyễn Vĩnh An, “So sánh số phương pháp phát biên,” Tạp chí khoa học Trường Đại học Quốc gia Hà Nội, vol 31, no 2, pp 1–7, 2015 [7] Nhập môn xử lý ảnh số Ths Lương Mạnh Bá, Pts Nguyễn Thanh Thủy Nxb KHKT 2003 [8] PGS,TS Đỗ Năng Tồn,TS Phạm Việt Bình, Giáo trình xử lý ảnh (Khoa CNTT – Đại học Thái Nguyên) [9] Trần Thúy Anh (chủ biên) (2011), Du lịch văn hóa vấn đế lý luận nghiệp vụ, Nxb Giáo dục Việt Nam, tr.37 Tài liệu Tiếng Anh: [10] Abbas M Al-Ghaili, Syamsiah Mashohor, Abdul Rahman Ramli and Alyani Ismail, 2010 “Car License Plate Detection Method for Malaysian Plates-Styles by Using a Web Camera”, Pertanika J Sci & Technol Vol 18, No 2, pp 303319 [11] Alain Boucher-IFI, 2012.“Image processing & Computer vision”, Can Tho University slide – “Binary Image” of course, pp 10-22 [12] Bekir Karlik and A.Vehbi Olgac, 2011 “Performance Analysis of Various Activation Functions in Generalized MLP Architectures of Neural Networks”, International Journal of Artificial Intelligence And Expert Systems (IJAE), Vol 1, No 4, pp 111-122 [13] Canny, J (1986) A Computational Approach to Edge Detection IEEE Trans on Pattern Analysis and Machine Intelligence, Pami-8(6) 74 [14] Chirag N Paunwala & Suprava Patnaik “A Novel Multiple License Plate Extraction Techniquefor Complex Background in Indian Traffic Conditions”, Sarvajanik College of Engineering and Technology, 2010 [15] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng and Shahrel A Suandi, “Malaysian Car Number Plate Detection and Recognition System”, 2012 [16] D Bradley and G.Roth, 2007 "Adaptive thresholding using the integral image", J Graphics Tools, Vol 12, No 2, pp 13–21 [17] F.Shafait, D.Keysers, and T.M.Breuel, 2008 "Efficient Implementation of Local Adaptive Thresholding Techniques using Integral Images", International Conference on Document Recognition and Retrieval XV, Electronic Imaging, SPIE-IS&T Vol 6815, pp.1-6 DAI HOC DA NANG TRUONG D~I HQC SU PH~M CONG lIOA xA HOI cnu NGHiA V¢T NAM DQc )~p - T,! - H~nh phuc S6: 02J4J IQD-DHSP Da Nang, Oi thong d.2nam 2021 QUYET DJNH V~ vi~c giao d~ tai va tnich nhi~m hU'(rng din )u~n van thac si HI:E:U TRUONG TRUONG D~I HQC SU PH~M - DHDN Can cu Nghi dinh h9C Da Nang; s6 321CP 041411994 cua Chinh phu v~ viec ldp Dai Can cu Nghi quyet s6 08INQ-HDDH 121712021 cua H(Ji a6ng Dqi h9C os Nang ban hanh Quy chi t6 chuc va hoat dong cua Dai hoc Da Nang va duac stra a6i, b6 sung mot s6 ai~u tai Nghi quyit s6 13INQ-HDDH 071912021,' Can cu Nghi quyet s6 12INQ-HDT 081612021 cua H(Ji a6ng truong Truong Dai h9C Sir pham v~ viec ban hanh Quy chi t6 chirc va hoat a(Jng cua Truong Dai h9C Su pham - Dai h9CDa Nfmg; Can ctr Thong tu s6 15120141TT-BGDDT 151512014cua B(J Giao due va Dao tao v~ viec ban hank Quy chi dao tao trinh a(J thac Sl,' Can ar Quyit atnh s6 1060IQD-DHSP 0111112016cUa Hi¢u truang Truang Dqi h9C&rphqm - Dqi h9CDa Nang v~ vi¢c ban hanh Quy ainh aao tqo trinh a(Jthqc Sl,' Can ClrTo trinh 29111/2021 cua Khoa Tin h9C v~ vi¢c a~ nght giao a~ tai lu(ln van thqc sf cho h9Cvien cao h9Cnganh H¢ th6ng thong tin khoa 41; Xet a~nghi cua Truong phong Phong Dao tqo QUYET DJNH: Di~u Giao cho 03 h9C vien cao h9C nganh H~ th6ng thong tin khoa 41 lOp K41.HTTT thllc hi~n d~ tai lu~n van th~c SI (co danh stich kem theo) Di~u H9C vien va nguai huang din co ten a Di~u duqc huang cae quy~n lqi va thllC hi~n nhi~lTIVl,ldung theo Quy ch~ dao t~o trinh de>th';1esl BQ Giao dl,lc va Dao t~o ban h:?mhva Quy dinh v~ diw t';10trinh de>th';1cSI cua Truang D~i h9C Su ph';1lTI- D';1ih9C Da N£ng Di~u Thu twang cae dan vi lien quan, nguai huang din lu~n van va h9C vien co ten a Di~u can Cll Quy~t dinh thi hanh.~ No';nlt~n: - Nhu Di~lI3 (d~t111,fC hi~n); - Ban Giam hi~lI(d~ bi~t); - LUll: VT, DT PGS TS Lu'u.Trang DAI HQC DA NANG TRUONG D~I HQC SUPH~M CONG HoA XA HOI CHi) NGHIA VJ~T NAM DQc l~p - Tl}'do - H~nh phuc DANH SACH HQC VIEN DUQC GIAO DE TAl LU~N VAN TH~C NGA.NHH¥THONGTHONGTIN LOPK41.HTTT st (Kem thea Quyit dinh s6 ~4!J IQD-DHSP ngay.()j thang d 2niim 2021 cua Hieu truong Truong Dai h9C Str pham - Dai hoc Dil NJng) STT Ten d~ tai Giao vien hinrng din Nghien ciru irng dung nhan dang bien TS Nguy~n Tr§n Qucc Vinh (Truong Dai h9C Sir pham D?i h9C Da N~ng) HQ va ten Nguyen Quoc Long s6 xe t6 phuc vu phong chong dich COVIDNghien Phan Th~ Nh?t 19 ciru v~n dung ky thuat kiem thir phan mem dua tren UML cho h~ thong quan ly thiet bi tai tnrong Dai h9C Kinh t~ - Dai h9C Da Ning Nguyen Phuc Minh Tu TS Nguyen Dinh L§u (Truong Dai h9C Sir pharn D?i h9C Da N~ng) Nghien ciru irng dung h9C may d~ dIJ TS Nguy~n Tr§n Quoc Vinh baa kha nang b6 h9C cua sinh vien (Truong Dai h9C Su ph?m - trucmg D~i h9C Duy Tfm D?i h9C Da N~ng) - An dinh danh sach co 03 (ba) h9C vien~ HI~U TRUONG PGS TS LtJu Trang CONG HOA XA HOI CHU NGHiA VI~T NAM DQc I~p - T\f - Hanh phuc D~I HQC DA NANG TRUONGD~IHQCSUPH~M BIEN BAN HQP HOI DONG CHAM LU~N VAN TH~C sl Ten d~ tai: Nghien ciru (rug dung nhan dang bi~n s6 xe to phuc vu phong chong dich COVID- 19 Lap: K39.HTTT Nganh: H~ thong thong tin Theo Quyet dinh l~p H9i d6ng cham luan van thac si s6 81 IQD-DHSP 07 thang 02 nam 2023 Ngay hop H9i d6ng: 11 thong 02 ndm 2023 Danh sach cac vien H9i dong: CUONG VI TRONG HOI DONG HQVATEN STT r.e Hoang POS.TS TS Vl1 Thi Tra TS Pham Anh Phuong Phim bien POS TS Tr~n Van Lang Phim bien POS TS Huynh Cong Phap a Thanh vien co mat: San Chu tich Thu ky -=::C(' L Uy vien _ b Thanh vien vang mat: '7 ", - Thu ky H9i d6ng bao cao qua trinh hoc t~p, nghien ciru cua hoc vien cao hQCva dQC Iy lich khoa hoc (co van ban kern theo) HQc vien cao hoc trinh bay luan van Cac ph an bien doc nhan xet va neu diu hoi (co van ban kern theo) HQc vien cao hoc tra loi cac diu hoi cua vien H9i d6ng 10 H9i d6ng hQp rieng d~ danh gia 11 Truong ban ki~rn phi~u cong b6 k~t qua 12 K~t lu~n cua H9i d6ng a) K~t Iu~n chung: b) Yeu e:1uehinh, sua v~ n