Đồ án trí tuệ nhân tạo Đề tài nhận diện biển số phương tiện giao thông

Nhận điện được biến số xe được qua hình ảnh hoặc video,sau đó gửi đến phần mềm Bycharm để hiện thị và lưu trữ biển sô trên hệ thống lưu trữ.Qua đó ta có thé nang cap dé co thé ra thêm nh

-_ BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRUONG DAI HQC NGUYEN TAT THANH

KHOA KY THUAT - CÔNG NGHỆ

NGUYEN TAT THANH

a DO AN TRI TUE NHAN TAO

DE TAI :NHAN DIEN BIEN SO PHUONG TIEN GIAO

TRUONG DAI HOC NGUYEN TAT THANH

KHOA KỸ THUẬT - CÔNG NGHỆ CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

1 Tên đề tài khoá luận:

th vn Nhận diện biển số phương tiện giao thông c cò2 22s cà cà

2 Nội dung chính của khoá luận:

¬ Đoạn code trên phần mềm Pycharm giúp phát hiện biển số phương tiện giao thông khi tham gia có thể lưu nếu cần thiết -.- 27-22222722 2222222222 s2

3 Kết quả đạt được

Levees Ung dung chay én dinh theo ý muốn ban đầu trước khi thực hiện đã đề ra của nhóm

4 Ngày 0laO: Ngày nộp: .07/06/2024

Tp Hồ Chí Minh, ngày tháng năm

GIẢNG VIÊN HƯỚNG DẪN

(Ký, ghi rõ họ tên)

LOI CAM ON

Kính thưa thay,

Nhóm chúng em xin gửi lời cảm ơn sâu sắc và chân thành nhất đến thây vì sự hỗ trợ nhiệt

tình và những chỉ dẫn quý báu trong suốt quá trình thực hiện đồ án Nhờ có sự giúp đỡ của thầy, nhóm em đã có thể hiểu sâu sắc hơn về đề tài và phương pháp nghiên cứu, từ đó hoàn thành đồ án một cách xuất sắc nhất

Chúng em vô cùng trân trọng và biết ơn những kiến thức quý giá cùng kinh nghiệm thực

tế mà thầy đã không ngân ngại chia sẻ Em hy vọng rằng, trong tương lai, em sẽ tiếp tục được học hỏi và phát triển bản thân dựa trên nền tảng kiến thức vững chắc nảy

Một lần nữa, nhóm chúng em xin bày tỏ lòng biết ơn sâu sắc đến thay

Tran trong,

[Nhom cua chung em]

(Sinh viên thực hiện)

Luân Huy

TOM TAT DO AN

NHAN DIEN BIEN SO PHUONG TIEN GIAO THONG

Dé tai : Mét doan code trén phan mém Pycharm phát hiện,nhận diện biển số phương tiện giao thong 0 ee eee ee ee cee eee eee nee eee cen beset eae tee tee ben bee deta e eens (Tóm tắt đồ án/ khoá luận, đề cập ngắn ngon bản chất của dé tai bao gom ca phan giới thiệu qua về chủ đề, phương pháp giải quyet vấn đề và kết thúc với kết quả chính của để tài Tóm tắt cũng nêu ra các hạn chế, vấn đề còn tôn tại, các đè xuất và kiến nghị hướng phát triển của đề tài.)

Tóm tắt đồ án :

Giới thiệu :

Một đoạn code nhận diện biển số xe là công nghệ phần mềm kết hợp giữa (Pycharm)và camera xử lí ảnh Nhận điện được biến số xe được qua hình ảnh hoặc video,sau đó gửi đến phần mềm Bycharm để hiện thị và lưu trữ biển sô trên hệ thống lưu trữ.Qua đó ta có thé nang cap dé co thé ra thêm nhiều đoạn mã con giúp theo dõi thông tin phát hiện các

phương tiện vi phạm một cách nhanh chông mà không cần nhân viên quan sát 24/24 vả

ứng dụng được các bãi xe thông minh để thu tiền

Phương pháp : sử dụng yolov8 đề nhận diện biến số xe và cắt ảnh đã nhận diện biẻn số

xe và sử dụng easyocr đề nhận diện số có trên ảnh đã cắt và đóng khung ký tự có trên ảnh

và phi lên ảnh những ký tự đã đọc được Khi nhắn phím s trên bản phím thì ảnh đã được đọc và phi ký tự trên ảnh sẽ lưu vào tệp mình đã cung cấp đường dẫn cho chương trình và

nhắn q đề thoát chương trinh

Kết thúc: kết quả đạt được là trên mản hình sẽ hiện ra ảnh biển số xe đã đọc được và sử

ly dé lên và in ra biến số đã đọc được trong ảnh

Từ khóa:

YOLOv8 là một mô hình đề phát hiện đối tượng

EASYOCR để đọc kí tự có trong hình ảnh

ULTRALYTICS đề import thư viện YOLOv8

OS, PATHLIB đề truy cập file có trong the muc

11

MUC LUC

NHIỆM VU DO AN/ KHOA LUAN ooeoecccccescscsssssessessessvsecsevsnssesevssesessersussesevsevevsesevess i

TOM TẮT ĐỒ ÁN - 2c 212222111211 1121 21212111 ne iii MỤC LỤC - S221 11111 11211112122 21011 212122 11g tr He re iv DANH MỤC SƠ ĐỘ, HÌNH VÌ 2s 2T 1221221211 112222211 He re Vv DANH MỤC TỪ VIẾT TẮTT 5s c1 1211112211 512117112121 1.11 212212EEErrrrre vi CHUONG I GIỚI THIỆU -52- 5+ 21212211 1121111111 22211 21 112121210101 ru 1

1.1 Giới thiệu tong quat vé dé tai occ cc cccccccsesseseseeeceeseesrsnseeserseees 1 1.2 Tính cấp thiét cla dé tai occ cccccecccceesecsesscseesessesenseesecsesetsessees 1 1.3 Muc tiéu nghién cutu cla dé tai ccc ccccccccccecessessessessesessesesseeeees 1

1.4 Đối tượng và phạm vi nghiên cứu s se 229222 111 c2 2 1.4.1 Đối tượng nghiên cứu 5s c2 2 8212112112115 1 xe 2 1.4.2 Phạm vi nghiên CỨU 0 1222211121121 12 11151252128 ray 2 1.5 Phương pháp nghiên cứu 12 222122211211 121 1121111211118 1 1122k 2 1.5.1 Cơ sở phương pháp luận -cc sen 2 1.5.2 Các phương pháp nghiên cứu cy thé eee 3

CHƯƠNG2 CƠ SỞ LÝ THUYẾTT + 2s E2212E12115127121112121111121E 112111 Ecr tre 4

2.1 Kiến thức cơ sở về cấu tạo và nguyên lý hoạt động của mô hỉnh 4 2.2 Mô hình hóa các tỉnh huống hoạt động thực — 6

CHƯƠNG 3_ PHƯƠNG HƯỚNG VÀ GIẢI PHÁP - 2222111121121 212 xe 9

3.1 Phương hướng và giải pháp thực hiện . 2 52522222222 c<ss2 9 3.1.1 Giải pháp 1 / Phương án Ì - 2 222122221222 ses 9 3.1.2 Giải pháp 2 / Phương án 2 . 2 22 22 1212211121521 2+2 10 3.1.3 Giải pháp 3 / Phương ân 3 - 0 2 2 112212 re 11 3.2 Lựa chon giai phap / Phương án .- 2c 22 222 2222222 cay 14

3.3 Trình tự công việc tiến hành 5s S1 1222111111112 er se 14 CHƯƠNG4_ CHẾ TẠO SẢN PHẨM / THỰC NGHIỆM - ĐÁNH GIÁ 15 CHƯƠNG 5_ KẾT LUẬN - ĐỀ NGHỊ 2 1 1221221111122 1222k 19 NHỮNG NGHIÊN CỨU CHƯA HOÀN THIỆN VÀ CẢI TIỀN sszszce¿ 20 TÀI LIỆU THAM KHẢO 55c 21121211211 211211111211 E1 1t T122 tre I

DANH MUC HINH VE

Hinh 2.1:Hinh bién sỐ xe đã được nhận dạng và CAC LO ccccccccccecececscececececssseesscscsescecssesees 6 Hinh 2.2 Hình ảnh biên sô xe được nhận dạng và đóng khung phi ký tự đã nhan dang

G111 1111111111 1111111111111 111111111 1111111 1111011111111 1111 1111110111 1011111011011 11 1111111111111 11110 71111711711 7E 6 Hình 2.3 Hình ảnh xe đã được nhận dạng biến số với tỉ lệ 0,97(97%)

G111 1111111111 1111111111111 111111111 1111111 1111011111111 1111 1111110111 1011111011011 11 1111111111111 11110 71111711711 7E 7

Hinh 2.4: Những biển số đã được nhận đạng c1 121122112111 11 111122 1112111101 1n ru 7 Hinh 2.5: Những biển số đã được nhận đạng c1 121122112111 11 111122 1112111101 1n ru 7 Hinh 2.6: Những biển số đã được nhận đạng - c1 n1 2112111 1111111 1111111111111 1 181 kg 8 Hinh 2.7: Những biển số đã được nhận đạng - c1 n1 2112111 1111111 1111111111111 1 181 kg 8 Hinh 2.8: Nhtmg biển số đã được nhận đạng - c1 n1 2112111 1111111 1111111111111 1 181 kg 8 Hinh 2.9: Những biển số đã được nhận đạng - c1 n1 2112111 1111111 1111111111111 1 181 kg 8

Hinh 3.1: Hinh phurong an Loo 9

Hình 4.7: 7 Kết quả sau khí trainning - 22 2+ ++2E+EE2E122122127112122111271121211 212 xe2 18

Ghi chi:

Chữ số thứ nhất chỉ tên chương

Chữ số thứ hai chỉ thứ tự sơ đỗ, hình, trong mỗi chương

Ở cuối mỗi sơ đồ, hình, trong mỗi chương phải có ghi chú, giải thích, nêu rõ nguồn trích hoặc sao chụp,

DANH MUC TU VIET TAT

CNN (Convolutional Neural Network) ANPR (Automatic Number Plate Recognition) PIL (Python Imaging Library)

ANPR — Automatic Number Plate Recognition OCR (Optical Character Recognition)

VI

CHUONG 1 TONG QUAN VE HE THONG NHAN DIEN BIEN SO

PHUONG TIEN GIAO THONG

1.1.Giới thiệu chung:

Hệ thống nhận điện biển số xe tự động (ANPR — Automatic Number Plate Recognition) la mét cong nghé đột phá trong việc nhận dạng và phi lại biển số xe trên các phương tiện di chuyến Công nghệ này đã có sự phát triển đáng kế và được áp dụng rộng rãi trong lĩnh vực giám sat giao thong va an ninh

1.2.Tính cấp thiết của hệ thống:

Hệ thống ANPR hoạt động dựa trên việc sử dụng các thiết bị quang học, máy ảnh và phần mềm nhận dạng để tự động nhận dạng biển số xe Quá trình hoạt động của hệ thống gồm các bước chính sau:

-Thu thập hình ảnh: Hệ thống ANPR sử dụng camera hoặc thiết bị quang học để thu thập hình ảnh của các phương tiện di chuyên khi chúng đi qua một vị trí xác định trên đường

-Nhận dạng biên số: Sau khi thu thập hình ảnh, hệ thong sử dụng phần mềm nhận dạng hình ảnh để xử lý và phân tích các ký tự trên biển số xe

-Kiém tra và xử lý dữ liệu: Khi biến số xe đã được nhận dạng, hệ thông sẽ so sánh

với cơ sở đữ liệu để kiểm tra tính hợp lệ của biến số và liên kết với các thông tin

liên quan

-Lưu trữ và xử lý dữ liệu: Dữ liệu biển số xe và các thông tin liên quan được lưu trữ và xử lý để sử dụng cho mục đích giám sát và quản lý giao thông

1.3.Mục tiêu nghiên cứu :

Mục tiêu nghiên cứu của hệ thong nhận diện biển số phương tiện giao thông

(ANPR) chủ yếu tập trung vào việc tối ưu hóa vả nâng cao hiệu suất của hệ thống trong việc nhận dạng và xử lý thông tin biến số xe Dưới đây là một số mục tiêu cụ thể:

-Tối ưu hóa quy trình: Mục tiêu là giảm thiểu thời gian và công sức cần thiết để nhận dạng và xử lý thông tin biến số xe, từ đó tăng cường hiệu quả quản lý giao thông

-Nâng cao độ chính xác: Mục tiêu là tăng độ chính xác trong việc nhận dạng biển

số xe, đặc biệt là trong điều kiện ánh sáng yếu hoặc khi xe đang đi chuyên với tốc

độ cao

-Ứng dụng thực tế: Mục tiêu là tìm kiếm và phát triển các ứng dụng thực tế cho hệ thông nhận dạng biến số xe, như quản lý bãi giữ xe thông minh, thu phí đường bộ

tự động, quản lý phương tiện doanh nghiệp và kiểm soát giao thông

-Xử lý dữ liệu lớn: Mục tiêu là khai thác và xử lý dữ liệu lớn từ hệ thống nhận dạng biến số Xe dé phân tích xu hướng và cải thiện quản lý giao thông

(Có thể đo tốc độ phương tiện: Mục tiêu là phát triên hệ thông nhận diện biển số

xe có khả năng đo tốc độ của phương tiện tham gia giao thông.Những mục tiêu này không chỉ giup nang cao hiệu quả của hệ thống nhận dạng biển số xe, mà còn đóng góp vảo việc nâng cao an toàn và hiệu quả của hệ thông giao thông )

1

1.4.Đối tượng và phạm vi nghiên cứu:

1.4.1 Đối tượng nghiên cứu:

Đối tượng nghiên cứu của nhận diện biển sd xe bao gồm việc phát triển các hệ

thống tự động có khả năng đọc và hiểu biến số xe một cách tự động Các hệ thống này có nhiều ứng dụng thực tiễn như:

Quản lý bãi øiữ xe thông minh: Tự động nhận diện biển số để quản lý việc ra vào của các phương tiện ¬

Thu phí đường bộ tự động: Sử dụng nhận diện biến số đề tự động hóa quá trình thu phí;

Quản lý phương tiện doanh nghiệp: Theo dõi và quản lý các phương tiện thuộc sở hữu của doanh nghiệp

Kiểm soát giao thông: Ghi nhận và theo dõi các phương tiện tham gia giao thông,

hỗ trợ việc phát hiện vị phạm 1.4.2 Phạm vi nghiên cứu:

Nghiên cứu trong lĩnh vực nhận diện biển số xe không chỉ giới hạn ở việc phát triển thuật toán mà còn mở rộng sang việc ứng dụng công nghệ vào thực tiên, đồng thời cải thiện liên tục để đáp ứng nhụ câu thực tế và giải quyết các vấn đề phat sinh Đây là một lĩnh vực đang phát triển mạnh mẽ và có nhiễu tiềm năng ứng dụng trong tương lai.1.5.Phương pháp nghiên cứu

1.5.Phương pháp nghiên cứu:

1.5.1 Cơ sở phương pháp luận:

Xử lý Ảnh Đầu Vào:

- Sử dụng camera hoặc thiết bị thu nhận ảnh đề chụp ảnh biển số xe -

- Ap dung các kỹ thuật xử lý ảnh như cải thiện độ tương phan, loại bỏ nhiều,

và chuẩn hóa kích thước ảnh

Phát Hiện Biên Số Xe:

- Ap dụng mô hình YOLOv8, một mạng neural tích chập, để phát hiện vùng

chứa biên số xe trong ảnh

- _ YOLOv8 được huấn luyện đề nhận điện vị trí và kích thước của biển số xe một cách chính xác

Tách Biển Số Từ Hình Ảnh:

- _ Sử dụng các thuật toán sepment để tách biển số xe ra khói nền và chuẩn bị cho bước nhận diện ký tự

Chuẩn Hóa và Định Dạng Kết Quả:

- Thong tin trich xuất được từ biến số xe được chuẩn hóa và định dạng theo

yêu câu của hệ thống hoặc ứng dụng cụ thể

1.5.2 Các phương pháp nghiên cứu cụ thể:

Thu thập và Chuẩn bị Dữ liệu:

-_ Tập hợp một bộ dữ liệu hình ảnh biển số xe từ nhiều nguồn khác nhau để

đảm bảo đa dạng về kiêu dáng và kích thước

- Tiền xử lý dữ liệu bằng cách cắt, làm mịn, và chuẩn hóa kích thước hình

ảnh để cải thiện chất lượng đầu vào cho mô hình

Huấn luyện Mô hình YOLOv8:

- Sử dụng mô hình YOLOv8 đã được huấn luyện trước hoặc tiến hành huấn

luyện lại mô hình với bộ đữ liệu cụ thê về biến số xe

- _ Tỉnh chỉnh mô hình để tối ưu hóa khả năng phát hiện biển số xe trong các

điều kiện ánh sáng và góc chụp khác nhau

Nhận Diện Biển Số Xe:

- Ap dung mé hình YOLOv8 để phát hiện vùng chứa biển số xe trong hình

Đánh Giá và Tối Ưu:

- _ Đánh giá hiệu suất của mô hình nhận diện biển số xe vả nhận diện ký tự

bằng cách sử dụng các phép đo như độ chính xác, recall, và F1-score -_ Thực hiện các bước tối ưu hóa mô hình dựa trên kết quả đánh giá để cải thiện hiệu suất

CHƯƠNG 2 CƠ SỞ LÝ THUYÉT

2.1 Kiến thức cơ sở về cấu tạo và nguyên lý hoạt động của mô hình

2.1.1 Kiến trúc cơ sở về cấu tạo của mô hình

YOLOv8:

- YOLOv8 là phiên bản mới nhất của dòng mô hình YOLO (You Only Look Once), sử dụng mạng neural tích chập (CNN) để phát hiện đối tượng trong thời gian thực

- Nó cải tiến hiệu suất bằng cách xử lý toàn bộ hình ảnh một cách nhanh

chóng và chính xác, vượt trội so với các phương pháp hai giai đoạn truyền thông

- — Các cải tiến kiến trúc như spatial attention, feature fusion, và context a0pregation giúp tăng cường khả năng phát hiện và phân loại đối tượng CNN:

- CNN la mét kiến trúc mang neural sâu chuyên biệt cho việc xử ly hình ảnh, sử dụng các lớp tích chập để trích xuất đặc trưng và tạo ra thông tin trừu tượng hơn qua mỗi lớp

- _ Các hàm kích hoạt phí tuyến như ReLU và tanh giúp kích hoạt các trọng số

trong mạng và tạo ra các đặc trưng phức tạp hơn

- CNN được ứng dụng rộng rãi trong nhiều lĩnh vực như nhận dạng khuôn

mặt và phân loại hình ảnh

EasyOCR:

- EasyOCR là một thư viện nhận dạng ký tự quang học (OCR) dựa trên Python, cho phép nhận dạng văn bản từ hình ảnh và chuyên đổi thành dạng văn bản có thế chỉnh sửa

- - Mô hinh AI của EasyOCR được huấn luyện trên một bộ dữ liệu lớn chứa hình ảnh với văn bản viết, giúp nó có khả năng nhận dạng văn bản chính

- Nó cũng cho phép lấy thông tin hệ thống và quản lý tiến trình, làm cho nó trở thành một công cụ mạnh mẽ cho việc phát triển ứng dụng và tự động hóa

Thư viện pathlib:

- Pathlib cung cap các lớp đại diện cho đường dẫn hệ thống tệp, giúp làm

việc với đường dân trở nên dê dàng và trực quan hơn ;

- No chia thanh pure paths, cho các phép toán không thay đôi hệ thông tệp,

va concrete paths, cho phép thực hiện các phép toán L/O

Skimage va PIL:

- Skimage va Pillow (PIL Fork) la hai thư viện xử lý anh trong Python, cung cấp các công cụ và chức năng cho việc tạo mới, chỉnh sửa, biên đôi và phan

tích hình ảnh

Thư viện keyboard:

- Keyboard là một thư viện hỗ trợ tương tác với bàn phím, cho phép thực hiện các thao tác như gửi phím nhắn và phát sự kiện phím, hữu ích trong tự

động hóa và kiểm thử

Thu vién datetime:

- Datetime cung cap các lớp và hàm đề làm việc với ngày và giờ, giúp xử lý

và chuyên đôi giữa các định dạng thời gian khác nhau một cách dễ dảng 2.1.2 Nguyên lý hoạt động của mô hình

- _ Thư viện EasyOCR được sử dụng để nhận dạng ký tự ;

- Ky ty duoc doc ti anh da cat va thông tin chỉ tiệt (bao gôm tọa độ khung giới hạn) được lưu trong bién results

Chủ thích hình ảnh:

- Anh da cat duoc chuyén déi thanh anh PIL (Python Imaging Library)

- Khung màu đỏ được vẽ quanh từng ký tự sử dụng tọa độ khung giới hạn

- _ Văn bản đã nhận dạng được hiện thị màu xanh lên ảnh

Tương tác với người dùng:

- _ Ảnh đã chú thích sau khi thay đổi kích thước sẽ được hiển thị

- _ Người dùng có thé nhan UsE đề lưu ảnh với chú thích hoặc ỪqÊ đề thoát quá

2.2 Mô hình hóa các tình huống hoạt động thực tế:

Những hình ảnh đã được nhận dạng bién sé xe: