BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ - ĐHQGHN KHOA CƠ HỌC KỸ THUẬT & TĐH~~~~~~*~~~~~~ BÀI TIỂU LUẬN ĐỀ TÀI: HỆ THỐNG TỰ ĐỘNG NHẬN DIỆN BIỂN SỐ XE ỨNG DỤNG TRONG MÔ HÌNH QUẢN
Giới thiệu chung
Nội dung chính
Trong báo cáo này, nhóm nghiên cứu tập trung vào thiết kế và tối ưu hóa hệ thống tự động nhận diện biển số xe cho dịch vụ quản lý bãi xe Họ đã xây dựng mô hình và phần mềm để mô phỏng hệ thống, tiến hành kiểm thử, phát hiện và khắc phục lỗi Cuối cùng, báo cáo đưa ra kết luận về những thành tựu đạt được và định hướng phát triển tương lai của hệ thống.
Công nghệ, công cụ và ngôn ngữ lập trình
Python, C, OpenCV, Pytorch, CUDA, mySQL, Tesseract, Qt b Công cụ
Một số thư viện: Pytesseract, Easyocr, Serial, Mysql.connector,
Arduino IDE c Ngôn ngữ lập trình:
Phương án thiết kế và tối ưu hoạt động tự động nhận diện biển số xe ứng dụng
Yêu cầu kĩ thuật
1.1 Yêu cầu về cảm biến
Dùng để phát hiện xe và phát tín hiệu quét biển số xe.
Sai số không quá 1mm
Gắn cố định chống nhiễu sóng và vật cản
Đảm bảo theo dõi liên tục để quét xe vào ra của bãi.
1.2 Yêu cầu về lập trình Arduino Đọc dữ liệu cảm biến:
Đọc tín hiệu từ cảm biến siêu âm.
Sử dụng hàm mở, đóng barrier (điều khiển servo theo góc từ 0 ° đến 90 ° ).
Để tính toán khoảng cách từ xe đến cảm biến, cần sử dụng hàm tính khoảng cách dựa trên tín hiệu phản hồi từ cảm biến siêu âm Qua đó, ta có thể xác định chính xác khoảng cách giữa xe và cảm biến.
Các hàm đều do nhóm tự nghiên cứu và phát triển Điều khiển đầu ra:
Điều chỉnh servo để mở/đóng thanh chắn dựa trên tín hiệu cảm biến và xử lý thuật toán gửi về từ Python.
Hiển thị và cảnh báo:
Hiển thị giao diện trên màn hình điều khiển và đèn LED.
1.3 Yêu cầu về một số yếu tố kĩ thuật khác
Nắm được kiến thức code để vận hành các module cảm biến
Đảm bảo độ chính xác và ổn định của hệ thống: Các cảm biến phải có độ chính xác cao và hoạt động ổn định liên tục.
Yêu cầu thiết kế
Chất lượng: Camera có độ phân giải cao (720p)
Góc quay và khoảng cách: Đặt camera ở vị trí có góc nhìn trực diện biển số, khoảng cách 10cm.
Máy tính: Laptop có GPU để xử lý ảnh và chạy thuật toán nhận diện.
Bộ nhớ: Lưu trữ dữ liệu biển số trực tiếp trên máy tính và trên cơ sở dữ liệu mySQL.
Hệ thống cổng và cảm biến:
Cổng barrier tự động, được điều khiển bằng hệ thống.
Cảm biến phát hiện xe để bắt đầu nhận diện biển số khi xe đến gần.
Nguồn điện và kết nối với các thiết bị điều khiển
Nguồn cấp trực tiếp bởi máy tính điều khiển (5V), kết nối qua dây cáp USB và cáp Type C.
Thuật toán nhận diện biển số (Haar Cascade):
Xử lý hình ảnh: Sử dụng các công cụ OpenCV và Haar Cascade để phân đoạn, làm sắc nét và chuẩn hóa ảnh biển số.
Nhận diện ký tự: Sử dụng OCR (Optical Character Recognition) để đọc các ký tự trên biển số.
Ngôn ngữ hỗ trợ: Tích hợp nhận diện ký tự phù hợp với định dạng biển số
Lưu trữ thông tin xe ra/vào, thời gian, ngày tháng.
Có khả năng tích hợp với hệ thống khách hàng thuê bao (vé tháng).
Giao diện ứng dụng để hiển thị thông tin xe, quản lý bãi đỗ.
2.3 Yêu cầu thiết kế chức năng
Hệ thống phải nhận diện biển số chính xác ≥80% trong điều kiện tiêu chuẩn (ánh sáng tốt, góc nhìn phù hợp).
Tự động điều khiển cổng:
Khi xe được nhận diện, cổng barrier tự động mở nếu thông tin hợp lệ.
Thông báo thời gian thực:
Gửi thông báo hoặc hiển thị trạng thái xe (vào/ra) ngay lập tức trên giao diện.
Hiển thị số lượng chỗ trống còn lại theo thời gian thực.
Phương án thiết kế và ý nghĩa các linh kiện
2 Thanh chắn barrier: kết hợp với servo để tạo thành hệ thống cơ điện tử barrier.
2 Giá đỡ camera: Đảm bảo camera được lắp đặt ở vị trí chính xác để thu thập hình ảnh biển số rõ ràng.
1 Mặt phẳng đỡ làm bằng formex 40x30cm: Đặt các thiết bị hệ thống.
1 Hộp che cho thiết bị: Bảo vệ các thành phần điện tử như cảm biến, và mạch điều khiển khỏi tác động bên ngoài.
Dây dẫn: Dây đực, dây cái, 1 dây cáp USB-Type C.
1 mạch arduino nano: Điều khiển servo và cảm biến
2 động cơ servo: Điều khiển barrier đóng, mở khi nhận được tín hiệu từ bộ điều khiển.
Hình 3: Động cơ Servo SG90 quay 180 độ
2 module cảm biến siêu âm HY SRF05: Cảm biến phát hiện xe để kích hoạt camera khi xe đến gần.
Hình 4: Cảm biến siêu âm HY-SRF05
1 laptop: Đóng vai trò mô phỏng máy chủ của hệ thống đồng thời cung cấp nguồn điện cho hệ thống.
2 camera: thu thập hình ảnh hiện trường để xử lý thông tin
Nguyên lý hoạt động
Hệ thống phát hiện xe sử dụng cảm biến siêu âm để nhận diện ô tô khi tiến gần cổng bãi đỗ Khi cảm biến phát hiện xe, tín hiệu sẽ được gửi đến hệ thống điều khiển, kích hoạt camera chụp ảnh biển số Đây là bước khởi đầu quan trọng cho quá trình nhận diện và xử lý thông tin.
Khi cảm biến phát hiện xe, camera sẽ tự động kích hoạt để chụp ảnh phần đầu xe, tập trung chủ yếu vào biển số.
Mở Barrier lối vào: khi chụp ảnh biển số hoàn tất, barrier sẽ mở lên để xe có thể di chuyển vào bãi đỗ.
Xử lý ảnh biển số xe bắt đầu khi hình ảnh được chụp và gửi đến hệ thống Máy tính điều khiển sẽ thực hiện các bước cần thiết để nhận diện biển số xe, đảm bảo toàn bộ quá trình diễn ra một cách chính xác và hiệu quả.
Tiền xử lý ảnh: Cắt ảnh: Sử dụng thư viện OpenCV và thuật toán Haar
Cascade được sử dụng để cắt và giữ lại khu vực có biển số, loại bỏ thông tin thừa Sau đó, hình ảnh được chuyển sang dạng trắng đen nhằm nhận diện ký tự màu “thực sự” đen, làm rõ chi tiết trên biển số và nâng cao độ chính xác trong quá trình nhận diện.
Sử dụng công nghệ CUDA và GPU, cùng với thư viện OCR (Nhận diện Ký tự Quang học), hệ thống có khả năng phát hiện và trích xuất ký tự từ biển số xe OCR phân tích các ký tự trên biển số, chuyển đổi chúng thành dạng số, chữ cái, và các dấu hiệu như “-” và “.” để có thể xử lý và so sánh với cơ sở dữ liệu Quá trình xử lý hình ảnh mất khoảng 5 giây, đảm bảo độ chính xác cao trong việc nhận diện biển số.
Thông tin biển số xe sẽ được lưu trữ trong Cơ sở dữ liệu MySQL, giúp dễ dàng tra cứu và đối chiếu khi xe rời khỏi bãi Bên cạnh đó, hình ảnh minh chứng của biển số cũng được lưu trực tiếp trên máy tính xử lý, thuận tiện cho việc kiểm tra khi cần thiết.
Khi xe tiếp cận lối ra, cảm biến siêu âm sẽ nhận tín hiệu và chụp lại biển số xe Quá trình xử lý ảnh sẽ diễn ra để xác định chuỗi ký tự biển số, giống như tại lối vào Nếu biển số đã được ghi nhận, barrier sẽ mở Ngược lại, nếu biển số chưa có trong hệ thống, barrier sẽ không mở và cần tiến hành xác minh thêm.
Xây dựng ứng dụng xử lý biển số
Xử lý ảnh biển số
Sơ đồ luồng hoạt động chính của chương trình Hệ thống được thiết kế với quy trình hoạt động chính như sau:
Khi chương trình khởi động, hai camera hoạt động đồng thời, mỗi camera xử lý một luồng khung hình riêng biệt Hệ thống nhận diện biển số xe bằng cách tìm kiếm các hình chữ nhật có bốn cạnh với diện tích tối thiểu 500 đơn vị Sau khi xác định khu vực chứa biển số, hệ thống cắt biển số từ khung hình để xử lý Nếu không cắt được biển số, hệ thống sẽ tiếp tục đọc lại từ khung hình tiếp theo Nếu cắt được, hình ảnh biển số sẽ được lưu lại và chuyển đến GPU (CUDA) để xử lý sâu hơn.
Về cơ bản, hai luồng camera lối vào và ra đều xử lý ảnh khi nhận tín hiệu là như nhau, nhưng khác ở phần hậu xử lý ảnh.
Lưu đồ 1: Luồng hoạt động chính
Biển số xe sẽ được nhận diện và trích xuất tại lối vào, sau đó lưu trữ vào cơ sở dữ liệu để tham chiếu trong các lần xử lý sau Tại lối ra, hệ thống sẽ so sánh thông tin biển số với dữ liệu đã lưu từ lối vào; nếu trùng khớp, rào chắn sẽ tự động mở Ngược lại, nếu có sai lệch, hệ thống sẽ yêu cầu xác minh bổ sung để đảm bảo tính chính xác Cả hai luồng hình ảnh tại lối vào và lối ra đều tuân theo nguyên lý xử lý giống nhau, đảm bảo đồng bộ và chính xác trong việc nhận diện và xác thực.
Truyền thông tin lên Giao diện quản lý
Hệ thống truyền thông tin lên giao diện quản lý được triển khai với quy trình cụ thể như sau:
Hai luồng frame của camera giám sát tại lối vào/ra luôn hiển thị trên giao diện quản lý.
Hệ thống sẽ đọc dữ liệu từ các khung hình do camera ở lối vào và lối ra cung cấp, tương tự như quy trình xử lý biển số đã trình bày Qua các thuật toán xử lý, biển số xe được trích xuất từ khung hình và chuyển đổi thành dạng văn bản (Text).
Các khung hình chứa biển số được cắt từ camera sẽ được đánh dấu là ảnh minh chứng và hiển thị trực tiếp trên màn hình quản lý, đồng thời biển số cũng sẽ được chuyển đổi thành dạng Text.
Lưu đồ 2 mô tả quy trình truyền tin lên giao diện người dùng và hiển thị trên giao diện quản lý, giúp giám sát và đối chiếu dễ dàng Hệ thống lưu trữ ảnh minh chứng, bao gồm hình ảnh biển số cắt từ khung hình, cùng với thông tin biển số dạng Text trong cơ sở dữ liệu để phục vụ kiểm tra và xác minh sau này Quy trình này đảm bảo thông tin từ các camera được truyền tải một cách trực quan và minh bạch, đồng thời hỗ trợ lưu trữ dữ liệu hiệu quả.
Xây dựng giao diện chương trình
Giao diện quản lý hệ thống được thiết kế đơn giản nhưng đầy đủ chức năng giám sát và thao tác, tối ưu hóa để nâng cao sự thuận tiện và hiệu quả trong việc theo dõi và xử lý thông tin.
Hình 5: Giao diện quản lý
Các thành phần chính của giao diện bao gồm:
2 Khung hình giám sát: hiển trị trực tiếp từ camera giám sát tại lối vào và ra.
2 Khung hình minh chứng biển số: hiển thị ảnh minh chứng được cắt từ frame.
1 khung hình hiển thị thông tin biển số: được sử dụng để hiển thị biển số xe vừa được nhận diện, dưới dạng văn bản
1 ô hiển thị số lượng chỗ trống: hiển thị số lượng chỗ trống hiện có trong bãi xe, giúp người quản lý dễ dàng theo dõi tình trạng hoạt động
Chức năng quản lý và thao tác thủ công bao gồm hai nút xử lý nhanh: Nút Save và Nút Check Hai nút này cho phép người dùng thực hiện các thao tác thủ công khi gặp sự cố phần cứng hoặc cần can thiệp nhanh trong quá trình vận hành.
Nút Save giúp lưu biển số tại lối vào khi có sự cố tại phần cứng lối vào.
Nút Check ghi lại biển số xe tại lối ra, hỗ trợ tra cứu thông tin phương tiện ra vào bãi đỗ Thông tin lưu trữ bao gồm ảnh minh chứng, văn bản biển số và thời gian ra/vào bãi.
Nút thoát ứng dụng được thiết kế để giúp người dùng thoát khỏi phần mềm khi hệ thống gặp lỗi hoặc bị treo, từ đó đảm bảo tính linh hoạt và trải nghiệm mượt mà trong quá trình sử dụng.
V Quá trình thực hiện và hoạt động của hệ thống tự động nhận diện biển số xe
Tích hợp hệ thống
Tích hợp Hệ thống tự động nhận diện biển số xe vào dịch vụ quản lý bãi xe là một giải pháp hiện đại, giúp tự động hóa quy trình và tối ưu hóa vận hành Giải pháp này không chỉ nâng cao trải nghiệm người dùng mà còn đảm bảo hiệu quả và an toàn trong quá trình vận hành.
Hệ thống quản lý bãi đỗ xe thông minh tự động kích hoạt camera và barrier khi xe tiếp cận, sử dụng cảm biến để phát hiện và ghi nhận thông tin về việc đỗ xe.
Loại cảm biến: Cảm biến siêu âm.
Arduino Nano: Bộ điều khiển logic lập trình thực hiện chức năng điều khiển, đảm bảo hệ thống vận hành trơn tru.
Barrier tự động: Đóng/mở theo lệnh từ hệ thống.
Camera tự động: Tự động chụp lại biển số xe theo lệnh từ hệ thống.
Phần mềm nhận diện biển số: Xử lý hình ảnh từ camera, sử dụng thuật toán để trích xuất thông tin.
Hiển thị: Các thông số của hệ thống sẽ được hiển thị trên app quản lí của hệ thống giúp người vận hành dễ dàng theo dõi.
Truyền dữ liệu: Hệ thống hỗ trợ truyền dữ liệu bằng giao thức , cho phép kết nối với máy chủ và các linh kiện.
Dữ liệu về việc xe vào/ra được lưu trữ cục bộ, giúp quản lý hiệu quả và bảo vệ tài sản của khách hàng.
Khi xe chưa di chuyển, barrier sẽ mở cho đến khi xe đi qua, sau đó mới đóng lại Điều này đảm bảo an toàn và bảo vệ tài sản của khách hàng trong suốt quá trình trải nghiệm dịch vụ.
Trung tâm quản lý đóng vai trò quan trọng trong việc tổng hợp và xử lý dữ liệu từ các cảm biến, cung cấp thông tin chi tiết về tình trạng bãi đỗ xe và số lượng chỗ trống còn lại Ngoài ra, trung tâm này còn có khả năng giám sát và điều khiển các thiết bị trong hệ thống, đảm bảo hoạt động hiệu quả và tối ưu hóa việc sử dụng không gian đỗ xe.
Để quản lý hiệu quả các phương tiện tại bãi đỗ xe, cần nhiều yếu tố quan trọng trong hệ thống quản lý bãi đậu xe thông minh Hầu hết các hệ thống này đều áp dụng các yếu tố này để tối ưu hóa quy trình quản lý.
Kiểm thử và đánh giá hệ thống
2.1 Điều kiện và dữ liệu chạy kiểm thử
Nhóm tiến hành chạy kiểm thử ở hai điều kiện hoạt động khác nhau: Địa điểm: Không gian đầy đủ ánh sáng
Hệ thống: Nguồn điện được đáp ứng
Kết nối ổn định đến CSDL
Phần mềm hoạt động trơn tru. Địa điểm: Không gian đầy đủ ánh sáng
Hệ thống: Nguồn điện được đáp ứng
Kết nối ổn định đến CSDL
Phần mềm hoạt động trơn tru. Điều kiện kiểm thử 1 Điều kiện kiểm thử 2
Nhóm tiến hành kiểm thử ở mỗi điều kiện kiểm thử 20 biển số xe khác nhau:
Hình 6: Danh sách biển số kiểm thử
2.2 Quy trình kiểm thử và kỳ vọng
Quy trình kiểm thử (Mô phỏng lại quá trình đỗ xe và rời xe)
Đưa mô hình xe lại gần barrier lối vào.
Khi barrier mở, đưa mô hình xe tiến vào bãi đỗ.
Đưa mô hình xe gần barrier lối ra.
Khi barrier mở, đưa mô hình xe ra khỏi bãi đỗ.
Barrier lối vào mở, ảnh kèm text biển hiện lên.
Barrier lối ra mở khi biển số tại lối ra hiển thị giống tại lối vào
Hiển thị số lượng chỗ trống trong bãi
2.3 Kết quả kiểm thử và đánh giá
Biển số Điều kiện kiểm thử 1 Nguồn lỗi
(ĐKKT1) Điều kiện kiểm thử 2
Bảng 1: Kết quả kiểm thử
Trong điều kiện kiểm thử đầu tiên, hệ thống ghi nhận 3 lỗi trên 20 lần thử nghiệm, tương ứng với tỷ lệ lỗi 15%, do cảm biến siêu âm hoạt động không chính xác Nghiên cứu trước đó về cảm biến siêu âm HC-HRF05 cho thấy nó hoạt động hiệu quả nhất trong khoảng cách từ 15 – 500 cm, trong khi khoảng cách thử nghiệm thực tế chỉ là 10 cm, dẫn đến sai lệch trong nhận diện Trong điều kiện kiểm thử thứ hai, tỷ lệ lỗi tăng cao lên 75% do thiếu ánh sáng, gây ra các lỗi như hệ thống không bắt được khung hình từ camera và ảnh đầu vào không đủ chất lượng để phân tích biển số Kết quả cho thấy ánh sáng là yếu tố quan trọng ảnh hưởng trực tiếp đến khả năng nhận diện và xử lý hình ảnh của hệ thống.
Những phát hiện này sẽ là cơ sở để nhóm thực hiện các điều chỉnh và tối ưu hóa hệ thống trong giai đoạn tiếp theo.
2.4 Xử lý lỗi khi vận hành
Sau khi xác định nguyên nhân lỗi từ cảm biến siêu âm, nhóm đã cải tiến và bổ sung giải pháp khắc phục để nâng cao độ ổn định của hệ thống Cụ thể, nhóm thiết kế thêm 2 nút nhấn thủ công, cho phép người vận hành gửi tín hiệu nhận diện biển số khi cảm biến gặp lỗi Điều này giúp duy trì quá trình nhận diện và kiểm soát liên tục, giảm thiểu thời gian gián đoạn khi có sự cố kỹ thuật xảy ra.