Đồ Án môn trí tuệ nhân tạo nghiên cứu mô hình nhận dạng biển số xe bằng mô hình cnn

Trong luận vănbáo cáo môn học này, nhóm chúng em đi vào nghiên cứu về mạng neuralcũng như mạng Convolution tích chập cũng như ý tưởng của mô hình CNNtrong phân lớp ảnh Image Classificati

ĐỒ ÁN MÔN TRÍ TUỆ NHÂN TẠO

NGHIÊN CỨU MÔ HÌNH NHẬN DẠNG BIỂN SỐ XE BẰNG

MÔ HÌNH CNN

Giảng viên hướng dẫn: BÙI QUANG THỊNH

TP Hồ Chí Minh, 2023

LỜI MỞ ĐẦU

Ngày nay trong bối cảnh của sự bùng nổ dân số dẫn đến việc dân số

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM

Sinh viên thực hiện : MSSV :

công nghiệp hóa , hiện đại hóa đất nước khiến cho nhu cầu di chuyển củangười dân ngày càng tăng đặc biệt là trong giao thông đường bộ với xe máy

và xe ô tô Chính vì lẽ đó đã gây ra không ít khó khăn cho việc quản lý và

xử lý các vi phạm Vì vậy vấn đề cần thiết là có một hệ thống để quản lý và

xử lý một cách tự động

Trong những năm trở lại đây , ta đã chứng kiến được nhiều thành tựuvượt bậc trong ngành Artificial Intelligence ( Trí tuệ nhân tạo ) đặc biệt làtrong chuyên ngành Computer Vision (Thị giác máy tính ) Các hệ thống xử

lý ảnh lớn như Google , Tiktok hoặc Instergram đã đưa vào những sản phẩmcủa mình các chức năng thông minh như nhận diện khuôn mặt , giao hàng

tự động hay xe hơi tự lái

Convolutional Neural Network (CNN) là một trong những mô hìnhDeep Learning tiên tiến và phát triển hiện nay giúp cho người dùng xâydựng được những hệ thống thông minh với độ chính xác cao Trong luận vănbáo cáo môn học này, nhóm chúng em đi vào nghiên cứu về mạng neuralcũng như mạng Convolution (tích chập) cũng như ý tưởng của mô hình CNNtrong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng

hệ thống nhận dạng biển số xe tự động

2

MỤC LỤC

LỜI MỞ ĐẦU 2

CHƯƠNG I : TỔNG QUAN 4

1.1 Giới thiệu về mô hình nhận diện biển số xe : 4

1.2 Giới thiệu về phương pháp nhận diện : 4

CHƯƠNG II : CƠ SỞ LÝ THUYẾT 5

2.1 Mô hình CNN : 5

2.1.1 Kiến trúc CNN : 5

2.1.2 Nguyên tắc hoạt động của mô hình CNN : 5

2.1.3 Ưu điểm nhược điểm của mô hình CNN : 5

2.2 Thu thập và xử lý tập dữ liệu ảnh : 5

2.2.1 Thu thập tập dữ liệu ảnh : 5

2.2.2 Xử lý ảnh : 5

2.3 Bài toán nhận diện biển số xe : 5

2.3.1 Các phương pháp giải quyết bài toán : 5

2.3.2 5

2.4 Môi trường thực nghiệm : 5

2.4.1 Cài đặt môi trường Python : 5

2.4.2 Cài đặt mô hình và thiết lập dữ liệu : 5

CHƯƠNG III : KẾT QUẢ THỰC NGHIỆM 6

3.1 Bộ dữ liệu thứ nhất : 6

3.2 Bộ dữ liệu thứ hai : 6

3.3 Kiểm tra đánh giá đánh giá kết quả : 6

CHƯƠNG IV : KẾT LUẬN 7

CHƯƠNG V : TÀI LIỆU THAM KHẢO 8

PHỤ LỤC 9

CHƯƠNG I: TỔNG QUAN1.1 GIỚI THIỆU VỀ MÔ HÌNH NHẬN DIỆN BIỂN SỐ XE :

Hệ thống nhận dạng biển số xe là hệ thống có khả năng phân tích hình ảnh và xác địnhbiển số trên xe thông qua hình ảnh, thiết bị ghi hình và video Sau đó xác định thông tin như: chủ

sở hữu, loại xe, biển số xe,

Ứng dụng nhận dạng biển số xe là ứng dụng có khả năng phân tích hình ảnh và xác địnhbiển số xe từ các video, hình ảnh thu được từ các thiết bị thu hình Các nguồn về hình ảnh vàvideo khá phong phú Trước đây, hình ảnh thường được chụp bằng máy ảnh hoặc thu thập từ cáccamera giao thông Cho tới hiện tại, với sự phát triển của công nghệ, hình ảnh được trực tiếp thunhận từ camera

Phân loại ứng dụng nhận dạng biển số:

Có nhiều cách khác nhau để phân loại các ứng dụng nhận dạng biển số xe Một trongnhững cách đơn giản là phân loại ứng dụng nhận dạng biển số xe bằng mục đích sử dụng Có thểchia ứng dụng nhận dạng biển số xe thành hai loại sau:

Loại 1: Giới hạn vùng nhìn :

 Đầu vào: Ảnh thu được thu trực tiếp từ các thiết bị ghi nhận ảnh kỹ thuật số Ảnh ghi nhận

thường chỉ giới hạn trong vùng có biển số xe

 Nguyên lý hoạt động: Các phương tiện giao thông phải chạy với một tốc độ đủ chậm để máy

ghi nhận hình ảnh có thể thu được ảnh vùng biển số xe

 Ứng dụng: Những ứng dụng nhận dạng biển số xe này thường được lắp đặt tại các trạm kiểm

soát, các bãi gửi xe tự động, các trạm thu phí, các trạm gác cổng

Loại 2: Không giới hạn vùng nhìn :

 Đầu vào: Ảnh đầu vào thu được từ các thiết bị ghi hình tự động, không phụ thuộc vào góc độ,

các đối tượng xung quanh, ảnh không bắt buộc chỉ chụp vùng chứa biển số xe, có thể ảnh tổnghợp như chứa thêm các đối tượng khác như người, cây, biển báo , chỉ cần là vùng biển số xe

đủ rõ để có thể thực hiện nhận dạng được ký tự trong vùng đó

 Nguyên lý hoạt động: Vì có đặc tính không giới hạn vùng nhìn mà ảnh đầu vào có thể thu từ

một thiết bị ghi hình (camera, máy ảnh ) Do đó, công việc đầu tiên là dò tìm trong ảnh, đểxác định đúng vùng nào là biển số xe Tiếp theo là thực hiện tách vùng và nhận dạng Cuối

4

cùng tùy vào mục đích sử dụng mà kết quả nhận dạng được truyền đi hay lưu trữ để phục vụnhu cầu người dùng.

 Ứng dụng: Vì không phụ thuộc vào hình ảnh thu được nên có thể dùng ứng dụng tại nhiều

nơi như tại những nơi điều tiết giao thông, tại các khu vực nhạy cảm của giao thông như ngã

ba, ngã tư đường giao nhau Kiểm soát, phát hiện hành vi vi phạm an toàn giao thông

 Phát hiện đối tượng: Phương pháp này sử dụng các thuật toán máy học để xác định vị trí của

biển số xe trong hình ảnh hoặc video

 Phân loại ký tự: Phương pháp này sử dụng các thuật toán máy học để xác định các ký tự trên

biển số xe

Trong những năm 2000, LPR tiếp tục được phát triển mạnh mẽ Các thuật toán LPR được cảithiện để có độ chính xác cao hơn, ngay cả trong điều kiện ánh sáng yếu và biển số xe bị chekhuất Ngoài ra, các nghiên cứu cũng tập trung vào việc phát triển các hệ thống LPR có thể hoạtđộng với tốc độ cao

Những thách thức trong nhận diện biển số xe:

Nhận diện biển số xe là một nhiệm vụ khó khăn vì một số lý do sau:

 Biển số xe có thể bị nhiễu, mờ hoặc biến dạng do các yếu tố môi trường, chẳng hạn như ánhsáng, mưa, bụi bẩn,

 Các ký tự trên biển số xe có thể bị che khuất bởi các vật thể khác, chẳng hạn như biển quảngcáo, người đi đường,

 Các biển số xe có thể được thiết kế khác nhau giữa các quốc gia hoặc khu vực

Những tiến bộ trong nghiên cứu LPR :

Trong những năm gần đây, nghiên cứu về LPR đã đạt được những tiến bộ đáng kể Các hệthống LPR hiện nay có thể đạt được độ chính xác cao, ngay cả trong điều kiện môi trường khókhăn

Những tiến bộ này là nhờ sự phát triển của các công nghệ sau:

 Công nghệ học sâu: Các mạng nơ-ron nhân tạo (CNN) có khả năng học các đặc trưng phức

tạp từ dữ liệu, giúp cải thiện độ chính xác của hệ thống LPR

 Công nghệ xử lý ảnh tiên tiến: Các thuật toán xử lý ảnh tiên tiến, chẳng hạn như kỹ thuật

giảm nhiễu, tăng cường độ tương phản, giúp cải thiện chất lượng của ảnh biển số xe, giúp hệthống LPR dễ dàng hơn trong việc phát hiện và phân loại các ký tự

Các ứng dụng của nhận diện biển số xe:

Hệ thống LPR có nhiều ứng dụng trong đời sống, chẳng hạn như:

 Quản lý giao thông: Hệ thống LPR có thể được sử dụng để kiểm soát tốc độ, phạt nguội,

quản lý phương tiện,

 An ninh: Hệ thống LPR có thể được sử dụng để giám sát các khu vực nhạy cảm, phát hiện

các phương tiện bị truy nã,

 Thương mại: Hệ thống LPR có thể được sử dụng để quản lý bãi đậu xe, theo dõi hoạt động

vận tải, quản lý nhân viên,

Giới thiệu về hệ thống thu phí ở các bãi giữ xe:

Chức năng cơ bản của hệ thống thu phí:

Các mô hình hoạt động của một hệ thống thu phí ở các bãi giữ xe truyền thống thường là:người lái xe có mua vé ở lối vào và khi lấy xe ra khỏi bãi đưa vé cho người có chức năng thu vé ởlối ra Trạm thu vé cùng với rào cản xe tự động được đặt ở đầu của mỗi bãi xe để thuận tiện choviệc thu và phát vé Với sự tiến bộ nhanh chóng của công nghệ, các hệ thống này hầu hết đều đã

có thể tự động, đem lại sự lưu thông tốt hơn cho các phương tiện và cải thiện nhiều mặt về dịch

vụ cho người dùng cũng như nhà khai thác

6

Hình 1.1 : Mô hình kiểm soát xe sử dụng công nghệ nhận diện số xe tự động.

Hệ thống thu phí bãi giữ xe ở Việt Nam :

Hệ thống thu phí bãi giữ xe ở Việt Nam có nhiều loại, tùy thuộc vào quy mô và tính chấtcủa bãi giữ xe Các loại hệ thống thu phí bãi giữ xe phổ biến ở Việt Nam bao gồm:

 Hệ thống thu phí truyền thống: Hệ thống này sử dụng nhân viên thu phí để thu phí trực tiếp

từ khách hàng Hệ thống này có chi phí đầu tư thấp, nhưng hiệu quả thấp, dễ xảy ra sai sót vàgian lận

 Hệ thống thu phí bằng thẻ từ: Hệ thống này sử dụng thẻ từ để xác định phương tiện và tính

phí Hệ thống này có chi phí đầu tư cao hơn so với hệ thống thu phí truyền thống, nhưng hiệuquả cao hơn, ít xảy ra sai sót và gian lận

Ưu điểm của hệ thống thu phí bằng thẻ từ tại bãi giữ xe :

Hệ thống thu phí bằng thẻ từ có nhiều ưu điểm so với hệ thống thu phí truyền thống, giúpnâng cao hiệu quả hoạt động của bãi giữ xe :

 Tăng tốc độ lưu thông: Phương tiện không cần dừng lại để trả phí, giúp tăng tốc độ lưu thông

trong bãi giữ xe

 Giảm thiểu ùn tắc: Hệ thống thu phí bằng thẻ từ có thể xử lý nhiều phương tiện hơn so với hệ

thống thu phí truyền thống, giúp giảm thiểu ùn tắc trong bãi giữ xe

 Tiết kiệm chi phí: Hệ thống thu phí bằng thẻ từ có thể giúp tiết kiệm chi phí thu phí cho chủ

bãi giữ xe

Nhược điểm của hệ thống thu phí bằng thẻ từ tại bãi giữ xe :

Hệ thống thu phí bằng thẻ từ cũng có một số hạn chế, chẳng hạn như:

 Thời gian trả phí lâu hơn: Phương tiện cần phải dừng lại để quẹt thẻ, mất thời gian hơn so

với hệ thống thu phí truyền thống

 Dễ xảy ra gian lận: Phương tiện có thể sử dụng thẻ của người khác để trả phí, gây thất thoát

cho chủ bãi giữ xe

Hệ thống thu phí bằng thẻ từ là một giải pháp thu phí hiệu quả, có nhiều ưu điểm so với hệthống thu phí truyền thống Hệ thống này đang được triển khai rộng rãi tại các bãi giữ xe ở ViệtNam

1.2 TỔNG QUAN VỀ PHƯƠNG PHÁP NHẬN DIỆN :

Các phương pháp nhận diện hiện có nhiều loại, nhưng có thể chia thành 2 phương phápchính để nhận dạng biển số xe:

 Phương pháp dựa trên mẫu sẵn có: phương pháp này sử dụng một tập dữ liệu các mẫu biển

số xe để nhận dạng biển số xe trong hình ảnh

 Phương pháp dựa trên học máy: phương pháp này sử dụng một mô hình học máy để nhận

dạng biển số xe trong hình ảnh

Phương pháp dựa trên mẫu sẵn có:

Phương pháp dựa trên mẫu hoạt động bằng cách so sánh các biển số xe trong hình ảnh với các mẫu biển số xe trong tập dữ liệu Nếu một biển số xe trong hình ảnh khớp với một mẫu trong tập dữ liệu, thì biển số xe đó được nhận dạng là biển số xe đó

Các bước chính của phương pháp dựa trên mẫu:

1 Tìm kiếm vùng chứa biển số

2 Chuẩn hóa hình ảnh biển số

3 Phân tách ký tự

4 Phân loại ký tự

Phương pháp dựa trên mẫu có thể được sử dụng để nhận dạng các biển số xe đơn giản, chẳnghạn như biển số xe của một quốc gia cụ thể Tuy nhiên, phương pháp này có thể gặp khó khăntrong việc nhận dạng các biển số xe phức tạp, chẳng hạn như biển số xe của một quốc gia kháchoặc biển số xe đã bị biến dạng

8

Phương pháp dựa trên học máy:

Phương pháp dựa trên học máy hoạt động bằng cách đào tạo một mô hình học máy trên mộttập dữ liệu các hình ảnh biển số xe Mô hình học máy sẽ học cách nhận dạng các biển số xe tronghình ảnh dựa trên các đặc điểm của các biển số xe đó

Các bước chính của phương pháp học máy:

Nhận dạng biển số xe có thể được ứng dụng trong nhiều lĩnh vực khác nhau, bao gồm:kiểm soát giao thông, an ninh, quản lý bãi đậu xe

Tuy nhiên, hiện nay, các phương pháp nhận dạng biển số xe vẫn còn tồn tại một số hạn chế, chẳng hạn như:

 Độ chính xác: Các phương pháp nhận dạng biển số xe truyền thống có thể gặp khó khăn

trong việc nhận dạng các biển số xe phức tạp, chẳng hạn như biển số xe của một quốc gia khác hoặc biển số xe đã bị biến dạng

 Khả năng mở rộng: Các phương pháp nhận dạng biển số xe truyền thống có thể gặp khó khăn

trong việc mở rộng để hỗ trợ các quốc gia và loại biển số xe mới

Do đó, việc nghiên cứu và phát triển các phương pháp nhận dạng biển số xe mới với độ chính xác cao và khả năng mở rộng tốt là rất cần thiết

Ý nghĩa khoa học và thực tiễn :

Nghiên cứu phương pháp nhận diện biển số xe có ý nghĩa khoa học quan trọng đối với sựphát triển của lĩnh vực xử lý hình ảnh và trí tuệ nhân tạo Nghiên cứu này sẽ góp phần phát triểncác phương pháp nhận dạng biển số xe mới với độ chính xác cao và khả năng mở rộng tốt.Nghiên cứu phương pháp nhận diện biển số xe có ý nghĩa thực tiễn to lớn đối với ứngdụng trong các lĩnh vực kiểm soát giao thông, an ninh, và quản lý bãi đậu xe Nghiên cứu này sẽgóp phần nâng cao hiệu quả quản lý, giám sát giao thông, đảm bảo an ninh trật tự, và nâng caohiệu quả hoạt động của các bãi đậu xe

Mục tiêu nghiên cứu

Mục tiêu của đề tài là nghiên cứu và phát triển một phương pháp nhận diện biển số xe mớivới độ chính xác cao và khả năng mở rộng tốt Phương pháp này sẽ sử dụng các kỹ thuật học máytiên tiến để nhận dạng biển số xe trong các điều kiện phức tạp, chẳng hạn như biển số xe bị chekhuất, biển số xe của một quốc gia khác, hoặc biển số xe mới

Đối tượng nghiên cứu

Đối tượng nghiên cứu của đề tài là các phương pháp nhận dạng biển số xe dựa trên họcmáy

Phạm vi giới hạn:

 Được thiết kế để nhận diện các biển số xe ở các bãi giữ xe, các khu vực có thiết bị thu nhận cốđịnh

 Phương pháp nhận dạng biển số xe chỉ được áp dụng cho các biển số xe của Việt Nam

 Các biển số xe được nghiên cứu là các biển số xe thông thường, không bao gồm các biển số

xe đặc biệt, chẳng hạn như biển số xe quân sự, biển số xe ngoại giao, hoặc biển số xe cảnh sát

CẤU TRÚC ĐỒ ÁN:

 Chương 1: Tổng quan về đề tài

Tổng quan về đề tài, những lý thuyết và nghiên cứu trước đây liên quan đến đề tài, phạm

vi và đối tượng nghiên cứu, phạm vi đề tài, mục tiêu đề tài

 Chương 2: Cơ sở lý thuyết

Các khái niệm và phương pháp giải quyết vấn đề , các công nghê €, hê € thống, các ràng buô €c hoă €c các giải pháp mới, lý giải xây dựng mô hình, cài đặt, giao diện của mô hình

10

 Chương 3: Kết quả thực nghiệm

Các công việc thực nghiệm đã tiến hành, các kết quả nghiên cứu lý thuyết, kết quả thực nghiệm đạt được

 Chương 4: Kết luận và kiến nghị:

Trình bày các yếu tố cần khắc phục sau quá trình thực hiện đề tài, những kết luận chung, chỉ ra hướng và công nghệ áp dụng vào đề tài

 Chương 5: Tài liệu tham khảo

Các nguồn tài liệu của những phương pháp nghiên cứu, những mô hình nghiên cứu được tham khảo, thu thập từ Internet

CHƯƠNG II : CƠ SỞ LÝ THUYẾT2.1 MÔ HÌNH CNN :

2.1.1 Kiến trúc CNN :

Convolutional Neural Network là một loại mang nơ-ron cơ bản được áp dụng nhiều vàoHọc Sâu ( Deep Learning) trong Thị giác máy tính (Computer Vision) như nhận diện, phân loạiảnh , nhận diện khuôn mặt, phân loại đối tượng và rất nhiều ứng dụng khác trong ngành côngnghệ nói chung và các ngành lân cận nối riêng Từ một mạng nơ-ron đơn giản với vài lớp mạngngười ta có thể tạo ra các kiến trúc mạng nơ-ron khác nhau với độ phức tạp cao tới hàng trăm lớpmạng

CNN bao gồm các tập cơ bản : Convolutional Layer + Nonlinear Layer , Pooling Layer ,Fully Connected Layer Các lớp này liên kết với nhau theo một thức tự nhất định và bộ baConvolutional Layer + Nonlinear + Pooling Layer có thể lặp lại nhiều lần trong network

Hình 1 : Cấu trúc cơ bản của một mạng CNN cho phân loại đối tượng trong ảnh.

Thường CNN gồm 3 loại lớp chính : lớp tổng hợp (pooling layer), lớp phi tuyến linearity layer) và lớp tích chập (convolutional layer) Về cơ bản thì kiến trúc của một mạng CNNbao gồm các lớp này được xếp chồng lên nhau theo thứ tự nhất định, kết hợp với các lớp đầy đủkết nối (fully connected layers) ở cuối để phân loại dữ liệu

(non-Các lớp chính trong kiến trúc CNN:

 Lớp tích chập (Convolutional Layer): Lớp này sử dụng các bộ lọc nhỏ (kernel hoặc filter) để

thực hiện phép tích chập trên đầu vào Mỗi bộ lọc nhận dạng các đặc trưng cục bộ trong ảnh

12