CHƯƠNG 1 : Tổng quan về nhận dạng ......................................................... 4 1.1 Tính chất và sự cần thiết của bài toán nhận dạng ................................. 4 1.1.1. Tính chất ....................................................................................... 4 1.1.2 Sự cần thiết .................................................................................... 5 1.2. Cơ sở lý thuyết ........................................................................................ 5 1.2.1 Nhị phân hóa ảnh văn bản ............................................................ 5 1.3 Cải thiện hình ảnh văn bản ..................................................................... 5 1.3.1 Mịn ảnh .......................................................................................... 6 1.4 Xác định góc nghiêng ảnh văn bản ......................................................... 7 1.5 Tách dòng văn bản, ký tự ........................................................................ 9 CHƯƠNG 2 : Nhận diện biển số bằng OpenCV ......................................... 10 2.1. Thư viện Tesseract ........................................................................ 10 2.1.1. Ứng dụng nhận dạng ký tự quang học ...................................... 10 2.1.2. Thư viện Tesseract ...................................................................... 11 2.2. Xử lý ảnh ............................................................................................... 12 2.2.1 Đọc dữ liệu ........................................................................................... 13 2.2.2 Tiền xử lý ảnh .............................................................................. 14 2.2.3 Xử lý ảnh trích xuất vùng biển số............................................... 15 2.2.4 Nhận dạng ký tự bằng Tesseract ................................................ 15 Kết luận .......................................................................................................... 17 TÀI LIỆU THAM KHẢO .......................................................................... 18
01:04 04/12/2023 Bài tiểu luận cuối kỳ Các vấn đề đại Kỹ thuật máy tính Đề tài : Nhận diện biển số xe Họ tên: Đinh Quốc Hiếu Lớp: K65K MSSV: 20020663 Mã môn học: ELT 3241 Hà Nội tháng 12/2023 about:blank 1/19 01:04 04/12/2023 Nhận diện biển số xe Mục lục CHƯƠNG : Tổng quan nhận dạng 1.1 Tính chất cần thiết toán nhận dạng 1.1.1 Tính chất 1.1.2 Sự cần thiết 1.2 Cơ sở lý thuyết 1.2.1 Nhị phân hóa ảnh văn 1.3 Cải thiện hình ảnh văn 1.3.1 Mịn ảnh 1.4 Xác định góc nghiêng ảnh văn 1.5 Tách dòng văn bản, ký tự CHƯƠNG : Nhận diện biển số OpenCV 10 2.1 Thư viện Tesseract 10 2.1.1 Ứng dụng nhận dạng ký tự quang học 10 2.1.2 Thư viện Tesseract 11 2.2 Xử lý ảnh 12 2.2.1 Đọc liệu 13 2.2.2 Tiền xử lý ảnh 14 2.2.3 Xử lý ảnh trích xuất vùng biển số 15 2.2.4 Nhận dạng ký tự Tesseract 15 Kết luận 17 TÀI LIỆU THAM KHẢO 18 about:blank 2/19 01:04 04/12/2023 Nhận diện biển số xe MỞ ĐẦU Hiện nay, với phát triển kinh tế xã hội bùng nổ số lượng phương tiện giao thông Gây khó khăn cơng tác quản lý, xử lý vi phạm giao thông mà nguồn nhân lực người khó đảm đương Vì vấn đề cần thiết có hệ thống quản lý, xử lý vi phạm giao thông tự động Để xây dựng hệ thống quản lý giao thông tự động “ Bài tốn nhận diện biển số xe “ tiền đề để xây dựng mơ hình quản lý Tuy nhiên Việt Nam hệ thống chưa nhiều lĩnh vực nhận dạng cịn phát triển Từ thực tế đó, trình học mơn Các vấn đề đại Kỹ thuật máy tính, em lựa chọn tìm hiểu toán nhận diện biển số xe Trong điều kiện lực thời gian có hạn, nên báo cáo em khơng khỏi tránh sai sót Em xin gửi lời cảm ơn sâu sắc tới thầy giáo Hoàng Gia Hưng trực tiếp giảng dạy cho bọn em kiến thức mẻ hấp dẫn môn Các vấn đề đại Kỹ thuật máy tính Tiếp em xin cảm ơn thầy Mạnh thầy Hiếu tạo điều kiện cho chúng em tìm hiểu sâu kiến thức môn học mức độ doanh nghiệp, tạo điều kiện, khuyến khích chúng em trình làm tiểu luận học tập about:blank 3/19 01:04 04/12/2023 Nhận diện biển số xe CHƯƠNG : Tổng quan nhận dạng 1.1 Tính chất cần thiết toán nhận dạng 1.1.1 Tính chất - Nhận dạng q trình phân loại đối tượng biểu diễn theo mô hình gán cho chúng vào lớp dựa theo quy luật mẫu chuẩn Quá trình nhận dạng dựa vào mẫu học biết trước gọi nhận dạng có thầy ( supervised learning), trường hợp ngược lại gọi học không thầy (non supervised learning) 1.1.2 Sự cần thiết - Cùng với phát triển không ngừng kinh tế xã hội ngành kỹ thuật nay, đòi hỏi quản lý xử lý thơng tin xác mà vượt q sức người Vì cần có cơng cụ làm thay người với độ xác cao Việc giúp máy móc nhận diện người giúp chúng hoạt động hiệu người với độ xác cao nhiều Một số ứng dụng toán nhận diện : - Nhận diện dấu vân tay : sử dụng chấm cơng, điểm danh, làm khóa an tồn cho cửa, máy tính xách tay… - Nhận diện khn mặt : ứng dụng loại smartphone cửa vào để tăng độ bảo mật… 1.2 Cơ sở lý thuyết 1.2.1 Nhị phân hóa ảnh văn Trong thực tế, ảnh văn ban đầu ảnh chứa nhiều màu trắng đen Vì để thực q trình phân tích nhận dạng, cần phải chuyển chúng thành ảnh nhị phân điểm ảnh biểu diễn giá trị 255 Đầu tiên, ảnh màu nhận vào chuyển thành about:blank 4/19 01:04 04/12/2023 Nhận diện biển số xe ảnh xám với mức xám có giá trị từ đến 255 dựa ba giá trị red, green, blue ảnh đầu vào Phương trình chuyển đổi ảnh màu sang ảnh xám: greycolor = r * 0.299 + g * 0.587 + b * 0.114 Từ ảnh xám này, so sánh mức xám điểm với ngưỡng cho trước để định điểm 255, giá trị biểu diễn cho màu đen 255 biểu diễn cho màu trắng Một phương pháp giải thuật Otsu đề nghị để tìm ngưỡng thích hợp ảnh nhận vào 1.3 Cải thiện hình ảnh văn Mục tiêu cải thiện ảnh số chức xử lý ảnh nâng chất lượng từ ảnh ban đầu phù hợp với ứng dụng đặc trưng Đối với toán nhận dạng văn bản, ảnh số tạo từ trang văn với thiết bị quét lúc cho hình ảnh tốt nhất, văn gốc lâu năm nên ảnh quét có chữ viết mờ hay nét, có nhiễu Trong mục này, ta xem xét hai kỹ thuật nâng cao chất lượng ảnh số văn phục vụ cho trình nhận dạng làm mịn ảnh tăng cường sắc nét ảnh 1.3.1 Mịn ảnh Mịn ảnh thực dựa lọc trơn (Smoothing filter) nhằm loại nhiễu, bước dùng trình tiền xử lý (Pre-processing) phải giảm bớt số chi tiết không cần thiết đối tượng ảnh Một hướng áp dụng phổ biến để giảm nhiễu lọc tuyến tính, lọc tuyến tính theo hướng biết đến lọc thông thấp Ý tưởng cho lọc thông thấp thay giá trị mức sáng điểm ảnh giá trị mức sáng trung bình hàng xóm, định nghĩa theo mặt nạ lọc Kết dẫn tới ảnh số văn chi tiết nhiễu, ma trận lọc làm mịn ảnh thường sử dụng có hệ số sau: about:blank 5/19 01:04 04/12/2023 Nhận diện biển số xe M= M= 1.3.2 Tăng cường sắc nét ảnh Trái ngược với lọc mịn ảnh, lọc tăng cường độ sắc nét (Sharpening filter ) để nhấn mạnh hay cải thiện chi tiết bị mờ đối tượng xét ảnh văn bản, ví dụ dấu chữ khơng rõ ràng Qua lọc loại này, ảnh màu tối có mức sáng trung bình tồn điểm ảnh tăng cường Ma trận loại lọc tăng cường độ sắc nét ảnh thường sử dụng có hệ số sau: M= M= 1.4 Xác định góc nghiêng ảnh văn Q trình chụp hay quét ảnh không chuẩn dẫn tới văn bị nghiêng (Skewed document) Nếu văn bị nghiêng ảnh hưởng đến bước giải thuật nhận dạng góc nghiêng cỡ khoảng o, khiến cho hiệu nhận dạng giảm sút Đã có nhiều hướng tiếp cận nhằm khắc phục vấn đề nhiều mức độ khác Có hai tiêu chuẩn để khử độ nghiêng (De-skew) ảnh văn bản: Tiêu chuẩn giới hạn góc ước lượng, ví dụ góc ước lượng văn giới hạn khoảng giới hạn Tiêu chuẩn cịn lại số lượng góc nghiêng tồn văn nghĩa văn có hay nhiều góc nghiêng Trong trường hợp này, ta xét văn có góc nghiêng nhỏ Nếu cho trước tập đỉnh phân biệt mặt phẳng, cần kiểm tra xem chúng có tạo thành đường thẳng không Mỗi cặp điểm khác tạo thành đường thẳng n điểm tạo thành n(n – 1)/2 đường thẳng, với đường thẳng about:blank 6/19 01:04 04/12/2023 Nhận diện biển số xe cần kiểm tra n – điểm cịn lại có thuộc vào đường thẳng khơng, cần 0(n3) phép thử Với ảnh số kích thước lớn hướng giải tạo số lượng phép tính bùng nổ Do đó, có lựa chọn khác sử dụng biến đổi Hough (Hough transform) Giải thuật áp dụng việc phát đối tượng hình học sở đường thẳng, đường trịn hay elip Từ đó, ý tưởng biến đổi Hough áp dụng ước lượng góc nghiêng văn nhằm tối ưu số lượng phép tính Biến đổi Hough tính tốn theo phương trình tọa độ cực: r = x 0cosθ + y0sinθ, r khoảng cách nhỏ gốc tọa độ đường thẳng, θ góc tạo trục hồnh với đoạn thẳng OA Như hình 1.1 góc nghiêng đường thẳng trục hoành α 90 – θ Hình 1.1 Đường thẳng góc nghiêng Hình 1.2 Đường thẳng qua điểm Tập đoạn thẳng mặt phẳng xác định từ cặp tham số (r, θ) Ta xét trường hợp ảnh đầu vào có màu đen trắng, chứa dòng văn sử dụng phơng chữ Có thể coi dịng văn song song với nên góc nghiêng tồn văn góc nghiêng dịng, hình 1.3 Trước tiên, ta tìm tập điểm màu đen chân dòng văn đó, với điểm duyệt góc θ khoảng giới hạn ước lượng khoảng cách r tương ứng Với cặp tham số (r, θ) ghi nhận số lượng điểm about:blank 7/19 01:04 04/12/2023 Nhận diện biển số xe tập điểm màu đen xét thuộc vào đường thẳng tương ứng cặp tham số Đường thẳng qua nhiều điểm màu đen có tham số θ cần tìm Hình 1.2 phía mơ tả có đường thẳng khác tương ứng cặp (r, θ) qua điểm, có đường thẳng thỏa mãn điều kiện qua điểm Hình 1.3 Văn nghiêng Trong dòng văn bản, số lượng ký tự có hạn nên tập điểm màu đen chân dịng có số lượng nhỏ Hơn nữa, θ chọn giá trị rời rạc theo bước ngưỡng (-90o, 90o) Từ kích thước ma trận chứa cặp (r, θ) khơng lớn 1.5 Tách dịng văn bản, ký tự Để nhận dạng toàn văn ảnh số, ta phải nhận dạng dòng ký tự ảnh Sau qua tiền xử lý, dựa đặc trưng văn tách dòng từ, ký tự ảnh Mỗi dịng văn ln có tọa độ chặn chặn trên, ký tự có tọa độ chặn dưới, chặn trên, giới hạn trái giới hạn phải Giải thuật xác định tọa độ chặn dịng văn mơ tả tóm tắt sau: Từ tọa độ ban đầu (0,0), duyệt theo chiều ngang để tìm điểm about:blank 8/19 01:04 04/12/2023 Nhận diện biển số xe có màu đen, hết dịng mà chưa thấy bắt đầu duyệt lại từ đầu dòng Nếu tìm thấy điểm có màu đen ghi nhận tung độ điểm tung độ dịng chặn dừng duyệt Tương tự với tọa độ chặn dưới, xuất phát từ điểm có hồnh độ tung độ tung độ dòng chặn trên, duyệt theo chiều ngang, sau hết dịng khơng thấy điểm đen ghi nhận tung độ dịng xét tung độ dòng chặn dưới, tìm thấy điểm đen lại xét lại từ dịng Dòng chặn Vùng tọa độ ký tự Dòng chặn Lặp lại bước để tìm tọa độ chặn chặn cho dòng lại ảnh văn Giải thuật xác định vùng tọa độ cho ký tự sau: Có tọa độ giới hạn dịng, xác định tọa độ chặn chặn ký tự dịng Trong đó, để tìm tọa độ giới hạn trái phải ký tự, đầu dòng chặn trên, duyệt theo chiều dọc tới tung độ dòng chặn dưới, gặp điểm màu đen ghi nhận hồnh độ điểm hồng độ cột giới hạn trái, khơng thấy điểm màu đen tiếp tục lại từ đầu cột Tương tự với tọa độ giới hạn phải, đầu dòng chặn trên, duyệt theo chiều dọc tới tung độ dòng chặn dưới, sau hết cột khơng tìm thấy điểm màu đen hồnh độ about:blank 9/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 Nhận diện biển số xe cột xét hoành độ cột giới hạn phải ký tự, tìm thấy tiếp tục lại từ đầu cột CHƯƠNG : Nhận diện biển số OpenCV 2.1 Thư viện Tesseract 2.1.1 Ứng dụng nhận dạng ký tự quanghọc Nhận dạng ký tự quang học (OCR) chương trình xây dựng để chuyển đổi hình ảnh chữ viết tay chữ đánh máy thành văn tài liệu số Ứng dụng OCR lĩnh vực nghiên cứu lý thuyết nhận dạng mẫu, trí tuệ nhân tạo thị giác máy tính Mặc dù công việc nghiên cứu học thuật tiếp tục, phần công việc OCR chuyển sang thực tế với giải thuật chứng minh So với chữ đánh máy, nhận dạng chữ viết tay khó khăn cho hiệu thấp Nhìn chung, khơng có thơng tin thêm ngữ pháp ngữ cảnh nhận dạng chữ viết tay khơng dẫn tới kết tốt 10 about:blank 10/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 Nhận diện biển số xe Ngày nay, hệ thống nhận dạng thỏa mãn độ xác nhận dạng cao Hình 2.1 Quy trình xử lý ứng dụng nhận dạng ký tự quang học hầu hết phông chữ tiêu chuẩn Unicode Một số hệ thống cịn có khả tái tạo lại định dạng tài liệu gần giống với gốc bao gồm hình ảnh, cột, bảng biểu, thành phần văn 2.1.2 Thư viện Tesseract Khác với phần mềm mục tiêu thương mại, Tesseract thư viện – khơng phải chương trình – nhận dạng ký tự quang học Nó có mã nguồn mở, công khai giấy phép Apache, phiên 2.0, phát triển tài trợ Google từ năm 2006 Tesseract đánh giá số thư viện nhận dạng ký tự quang học mã nguồn mở tốt Giải thuật nhận dạng chữ in : Sơ đồ nhận dạng từ quy trình phân tích từ chia thành ký tự: 11 about:blank 11/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 Nhận diện biển số xe Hình 2.2 Sơ đồ nhận dạng từ Cơ chế hoạt động Tesseract OCR: Trước tiên, hình ảnh phân tích để tìm vùng kết nối (connected component) Bước cho phép OCR dễ dàng nhận biết vùng ký tự ngược để nhận diện ký tự bên Tiếp đến, blob tiếp tục phân tích để tìm dịng, đến ký tự Việc tìm dịng xử lý thuật tốn dựa vào vùng ký tự, cỡ chữ toạ độ (trục x) Sau đó, đường sở (baseline) tìm kiếm nhờ vào việc qt dịng xác định Sau xác định dòng ký tự đối số tương ứng, dòng ký tự chia nhỏ thành từ dựa vào ký tự phân cách Bước vào trình nhận diện, input đánh giá, phân tích hai lần Ở lần đầu tiên, OCR nhận diện ký tự với kết phân tích bước trước Các kết nhận diện thoả mãn yêu cầu đưa vào tập tin huấn luyện để hỗ trợ cho trình nhận diện lần thứ hai với kết chưa đạt yêu cầu 2.2 Xử lý ảnh Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhăm cho 12 about:blank 12/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 Nhận diện biển số xe kết mong muốn Kết đầu trình xử lý ảnh ảnh tốt theo ý muốn kết luận Đọc liệu Xử lý trích xuất từ Tiền xử lý ảnh vùng biển số Nhận dạng ký tự Tesseract 2.2.1 Đọc liệu Ứng dụng nhận diện biển số xe có khả phân tích hình ảnh xác định biển số xe từ hình ảnh chụp từ thiết bị thu hình Hình ảnh lấy từ liệu máy tính trích xuất từ camera (realtime) Sử dụng OpenCV để đọc liệu đầu vào : - Dữ liệu ảnh tĩnh : - Dữ liệu trích xuất từ camera: 13 about:blank 13/19 01:04 04/12/2023 Báo cáo xử lý ảnh - cảm biến Nhận diện biển số xe 2.2.2 Tiền xử lý ảnh Sau đọc liệu, bước tiền xử lý chuyển đổi không gian màu, lọc nhiễu, cân ánh sáng, chuyển đổi sang ảnh xám,… từ ảnh thu Hình 2.3 Chuyển sang ảnh xám 14 about:blank 14/19 01:04 04/12/2023 Báo cáo xử lý ảnh - cảm biến Nhận diện biển số xe Hình 2.4 Ảnh threshold canny 2.2.3 Xử lý ảnh trích xuất vùng biển số Sau chuyển ảnh ảnh xám ảnh threshold ta tiến hành làm rõ vùng biển số cách tìm tất vùng biên hàm findContours thư viện OpenCV để trích vùng lấy thơng số tọa độ điểm hay diện tích vùng Lọc contour theo vùng lấy contour có giá trị lớn để tránh nhiễu Sau ta tính chu vi contour cv2.arcLength dùng cv2.approxPolyDP để xấp xỉ đa giác hình chữ nhật cần giữ lại contour có cạnh Tách contour khỏi image ta thu hình dưới: 2.2.4 Nhận dạng ký tự Tesseract Sau thu contour chứa biển số xe bước trên, ta tiến hành tách riêng ký tự Ý tưởng lọc nhiễu tách ký tự khỏi image thu Sử dụng cv2.GaussianBlur để lọc nhiễu, sau dùng cv2.thresh_binary_inv để đưa 15 about:blank 15/19 01:04 04/12/2023 Báo cáo xử lý ảnh - cảm biến Nhận diện biển số xe ảnh trắng đen, cuối thu contour image: Do ký tự thu có số contour nhiễu nên ta tính area contour để lấy kí tự lớn in hình Một số kết thu : 16 about:blank 16/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 Nhận diện biển số xe Kết luận Với phát triển công nghệ thông tin có tác động tích cực đến nhiều mặt đời sống xã hội phải kể đến lĩnh vực giám sát tự động, việc giám sát phương tiện giao thông vấn đề quan trọng Nhiều thành phố xây dựng hệ thống giám sát tự động phương tiện giao thông lấy biển số xe mục tiêu giám sát Với mục đích phát biển số, báo cáo tìm hiểu tốn “ Nhận diện biển số xe” để quản lý giám sát phương tiện giao thơng Do thời gian có hạn nên khơng thể tránh khỏi sai sót q trình nhận diện Qua báo cáo giúp em biết thêm nhiều kiến thức xử lý ảnh ứng dụng chúng thực tế 17 about:blank 17/19 Báo cáo xử lý ảnh - cảm biến 01:04 04/12/2023 TÀI LIỆU THAM KHẢO [1] Xử lý ảnh điện tử T.s Mạc Thị Thoa [2] Luận văn nhận diện biển số xe anh Phạm Thế Tài trường Đại học Thủy Lợi [3] Đề tài ứng dụng thư viện lập trình mã nguồn mở xây dựng chương trình nhận dạng văn chữ việt, anh từ ảnh số Th.S Phạm Tuấn Đạt, Th.S Nguyễn Văn Thủy trường Đại học Hàng Hải [4] https://vi.wikipedia.org [5] http://docs.opencv.org 18 about:blank 18/19 01:04 04/12/2023 about:blank Báo cáo xử lý ảnh - cảm biến 19/19