Báo cáo đề tài: Nhận dạng biển số xe (có phần mềm test)

LỜI CẢM ƠN Qua thời gian học tập rèn luyện trường Đại học Công nghệ thông tin truyền thơng Thái Ngun, đến Em hồn thành đề tài thực tập sở Để có kết em xin chân thành cảm ơn:  Ban chủ nhiệm trường đại học Công nghệ thông tin truyền thông thầy cô giáo khoa giảng dạy, quan tâm tạo điều kiện thuận lợi để chúng em học tập rèn luyện suốt thời gian theo học trường  Tiến Sỹ: Nguyễn Hải Minh tận tình hướng dẫn, giúp đỡ em trình học tập đặc biệt suốt thời gian làm đồ án tốt nghiệp Thầy quan tâm nhiệt tình hướng dẫn em từ việc tìm tài liệu việc định hướng lựa chọn giải pháp để triển khai đồ án Thầy ln nhắc nhở, động viên em gặp khó khăn, nhờ mà em hoàn thành tốt đồ án tốt nghiệp thời hạn  Em xin gửi lời cảm ơn tới gia đình, bạn bè, người động viên, giúp đỡ em nhiều thời gian học tập làm đồ án tốt nghiệp Thái nguyên, ngày 11 tháng năm 2018 Sinh viên thực Nguyễn Ngọc Anh ~1 ~ LỜI CAM ĐOAN đề tài thực tập sản phẩm toàn kiến thức mà sinh viên học suốt thời gian học tập trường đại học Ý thức điều với tinh thần nghiêm túc, tự giác lao động miệt mài thân hướng dẫn nhiệt tình thầy giáo - Nguyễn Hải Minh em hoàn thành xong đề tài thực tập sở Em xin cam đoan nội dung đồ án em không chép nội dung từ đồ án khác sản phẩm đồ án thân em nghiên cứu xây dựng lên Mọi thông tin sai lệch em xin hoàn toàn chịu trách nhiệm trước hội đồng bảo vệ Mục lục Lời nói đầu Cùng với phát triển khoa học kỹ thuật nhu cầu lại ngày tăng, số lượng phương tiện giao thông đường ngày xuất nhiều Với số lượng phương tiện giao thơng lớn, khơng ngừng tăng lên làm nảy sinh nhiều vấn đề việc kiểm soát quản lý phương tiện Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động Do mục đích nghiên cứu tìm hiểu xây dựng hệ thống “Nhận dạng biển số xe” từ hình ảnh, phim thiết bị ghi hình kỹ thuật số Nhằm trợ giúp cho công tác phát xe vi phạm giao thông, chống trộm, quản lý, … dễ dàng nhanh chóng Sau ứng dụng hệ thống nhận dạng biển số xe nói chung: Thu phí giao thơng, Kiểm sốt xe đường biên giới, trạm gác cổng, công tác chống trộm, bãi giữ xe tự động, … Như hệ thống tự động khác, hệ thống yêu cầu có phần cứng phần mềm Phần cứng camera có tác dụng thu nhận hình ảnh, phần mềm xử lý hình ảnh Với phát triển kỹ thuật điện tử, camera dễ dàng có khả thu nhận hình ảnh vấn đề đặt vấn đề quan trọng hệ thống, định tính hiệu hệ thống xử lý ảnh phần mềm xử lý ảnh Với vai trò phân tích nghiên cứu tập trung vào giải vấn đề đặt xử lý ảnh để đưa xác biển số xe CHƯƠNG I: TỔNG QUAN ĐỀ TÀI 1.1 Giới thiệu đề tài 1.1.1 Khái niệm chức hệ thống thu phí Mơ hình hoạt động hệ thống thu phí đơn giản là: người lái xe có mua vé lối vào đưa cho người có chức thu vé lối Phòng thu vé với rào cản xe tự động đặt đầu trạm thu vé Với tiến công nghệ, hệ thống tự động, từ đem lại lưu thông tốt cho phương tiện cải thiện dịch vụ cho người dùng nhà khai thác 1.1.2.Sự phát triển hệ thống thu phí nước khác giới Hệ thống kiểm sốt thu phí cài đặt lần Singapore vào năm 1990 cách sử dụng công nghệ Nhật Bản Gần thành phố London – Anh đưa cách tính thuế với hy vọng giảm lưu lượng xe vào thành phố khoảng 15% Hệ thống hoạt động từ tháng năm 2003 mang lại kết mong muốn thành phố việc quản lý dòng phương tiện vào thành phố Khoảng 800 máy quay video đặt lối vào bên khu vực rộng khoảng 22km2 tâm London.Các máy quay tự động nhận dạng biển số xe tự động so sánh chúng với vé xe toán sở liệu Hệ thống khơng có cửa vào trạm thu phí lựa chọn để tránh lãng phí thời gian lái xe họ lái xe vào thành phố Công nghệ tự động thu phí phát triển cách rộng rãi theo cách khác quốc gia toàn giới 1.1.3.Hệ thống trạm thu phí Việt Nam Thời gian gần đây, mơ hình trạm thu phí tự động phát triển rộng rãi Việt Nam Đã sử dụng nhiều mơ hình quản lý xe điều kiện khác như: bãi gửi xe tự động, trạm thu phí, v.v… Tuy vậy, nhiều bãi gửi xe sử dụng phương pháp ghi biển số xe người gửi vào tờ vé xe đưa cho người gửi Cách làm dẫn đến việc, lưu lượng xe vào lúc đơng dẫn đến vấn đề ùn tắc nơi gửi xe việc ghi vé không nhanh chóng, dẫn đến việc ghi nhầm lẫn số ghi nhanh để đáp ứng nhu cầu người gửi, v.v… 1.2.Công nghệ nhận dạng ảnh 1.2.1.Khái niệm nhận dạng mẫu Nhận dạng mẫu (pattern recognition) ngành thuộc lĩnh vực học máy(machine learning) Nói cách khác, xem việc “cần thực tác động vào liệu thô mà tác động cụ thể tùy thuộc vào loại liệu đó” Như tập hợp phương pháp học có giám sát (supervised learning) Nhận dạng mẫu nhằm mục đích phân loại liệu (là mẫu) dựa trên: kiến thức tiên nghiệm dựa vào thơng tin thống kê trích rút từ mẫu có sẵn Các mẫu cần phân loại thường biểu diễn thành nhóm liệu đo đạc hay quan sát được, nhóm điểm không gian đa chiều phù hợp Đó khơng gian đặc tính mà dựa vào ta phân loại Một hệ thống nhận dạng mẫu hồn thiện gồm có thiết bị cảm nhận (sensor) để thu thập quan sát cần cho việc miêu tả; chế trích rút đặc trưng để tính tốn thơng tin dạng số hay dạng tượng trưng từ liệu quan sát được; phân loại nhằm thực công việc phân loại thực dựa vào đặc tính trích rút Việc phân loại thường dựa vào có sẵn tập mẫu mà phân loại hay mô tả sẵn Tập mẫu gọi tập huấn luyện chiến lược học nhằm phân loại mẫu vào lớp có sẵn gọi học có giám sát Việc học khơng có giám sát, theo nghĩa hệ thống không cung cấp mẫu cung cấp mẫu đánh nhãn tiên nghiệm, mà phải tự đưa lớp để phân loại dựa vào tính ổn định thống kê mẫu Việc phân loại thường dùng hướng tiếp cận sau: thống kê, cú pháp Nhận dạng mẫu dùng thống kê dựa vào đặc tính thơng kê mẫu, chẳng hạn mẫu tạo hệ thống xác suất Nhận dạng dùng cấu trúc dựa vào tương quan cấu trúc mẫu Các ưng dụng phổ biến là: nhận dạng tiếng nói tự động, phân loại văn thành nhiều loại khác (ví dụ: thư điện tử spam/ non-spam), nhận dạng tự động mã bưu điện viết tay bao thư, hay hệ thống nhận dạng danh tính dựa vào mặt người 1.2.2.Mơ hình triển khai ứng dụng nhận dạng biển số vào toán quản lý biển số xe Từ phân tích dựa điều kiện áp dụng điều kiện mặt cơng nghệ Mơ hình triển khai cho toán quản lý biển số xe gồm phần: - Clients: o Nhận ảnh đầu vào, tách biển số đưa lên server để kiểm tra o Do điều kiện thực tế Việt Nam, có vài trường hợp biển số khó nhận dạng nhân viên quản lý xem nhập trực tiếp biển số vào hệ thống o Kiểm tra thông tin từ server, tùy vào loại vé, vé in để đưa cho người gửi xe - Server: o Quản lý thông tin vé xe, xe khách đăng ký gửi, quản lý biển số xe, loại vé o Xem thông tin khách đăng ký - Webservice: o Mã hóa liệu o Kiểm tra liệu đầu vào từ clients gửi thông tin lên o Bảo mật sở liệu H.1: Mơ hình triển khai CHƯƠNG II: CƠ SỞ LÝ THUYẾT 2.1 XỬ LÝ ẢNH, CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 2.1.1.Xử lý ảnh gì? Con người thu nhận thơng tin qua giác quan, thị giác đóng vai trò quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng sống Xử lý ảnh đồ hoạ đóng vai trò quan trọng tương tác người máy Q trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “tốt hơn” kết luận Ảnh “Tốt hơn” Ảnh XỬ LÝ ẢNH Kết luận Hình 1.1 Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c1, c2, , cn) Do đó, ảnh xử lý ảnh xem ảnh n chiều Sơ đồ tổng quát hệ thống xử lý ảnh: a, Giá trị Gradients b, Kết thuật tốn Hình ảnh demo d) Tách hai ngưỡng Những điểm biên lại sau thực bước đánh dấu Rất nhiều số đương nhiên biên ảnh vài lý độ nhiễu ảnh, khác biệt màu thể bề mặt Cách đơn giản để nhận khác biệt dùng ngưỡng, để đưa cạnh thật cạnh lưu trữ lại Thuật toán phát biên Canny sử dụng hai ngưỡng Điểm biên rõ ràng mức ngưỡng cao đánh dấu strong Điểm nhỏ mức ngưỡng thấp bị loại bỏ điểm nằm hai ngưỡng đánh dấu “weak” a, Kết biên có sau bước b, Tách hai ngưỡng Hình ảnh minh họa bước e) Dò biên hysteresis Cạnh “rõ ràng” (Strong edge) giải thích “cạnh chắn”, đưa vào tập hợp biên thực ảnh Biên mờ bao gồm chúng nối liền với biên rõ Do đó, biên rõ biên ảnh gốc Biên mờ biên nhiễu thay đổi màu Loại thứ hai chắn phân bố riêng lẻ tồn biên ảnh, lượng nhỏ biên đặt gần biên rõ Biên mờ biên ảnh nhiều khả nối liền với biên rõ Dò biên thực phân tích BLOB (Binary Large OBject) Các điểm biên chia vào kết nối BLOB sử dụng láng giềng BLOB chứa điểm biên rõ lưu giữ lại, BLOB lại bị loại bỏ Tách ngưỡng Dò biên theo hysteresis Kết cuối 2.4.2.Kỹ thuật Contour Tracing 2.4.2.1Khái niệm Contour Contour dùng để nói đến đường viền đối tượng, tập hợp điểm ảnh tách đối tượng khỏi Có điểm ý contour không dùng để xác định pixel biên đối tượng tách chúng khỏi Cái cần chuỗi pixel biên để tách lấy hình dạng mẫu Kỹ thuật tách Contour nhiều kỹ thuật tiền xử lý thực ảnh số nhằm tách riêng thơng tin hình dạng chung ảnh Một contour tách, đặc điểm khác sử dụng nét đặc trưng sử dụng để phân loại mẫu sau Vì vậy, tách contour xác, từ ta nhận mẫu có đặc tính xác giúp hội nhận dạng, phân loại mẫu tăng lên đáng kể Nhưng bạn tự hỏi rằng: Tại lại lãng phí thời gian để lấy contour mơ hình sau thu thập đặc điểm riêng nó? Tại khơng thu thập từ đầu? Điều lý giải là: điểm ảnh đường viền nói chung tập hợp tổng số điểm ảnh đại diện cho mơ hình Vì khối lượng cơng việc phải tính tốn giảm nhiều sử dụng thuật toán tách đường viền thay cho việc tồn mơ hình.Từ đó, contour có nhiều đặc tính nhận so với tồn mơ hình ban đầu.q trình xử lý dễ dàng thực với mơ hình ban đầu Q trình thực dò contour đóng vai trò quan trọng lĩnh vực nhận dạng mẫu 2.4.2.2.Các thuật tốn Contour Tracing Chúng ta có thuật toán Contour Tracing chung số có tên là: Square Tracing algorithm Moore – Neighbor Tracing dễ để thực thường xuyên dùng để dò tìm contour mẫu Thật khơng may, thuật tốn có điểm yếu, ngun nhân dẫn đến việc dò tìm sai contour lớp mẫu mẫu có chứa kiểu “connectivity” phức tạp Một vài thuật toán Contour Tracing: - Square Tracing Algorithm - Moore-Neighbor Tracing - Radial Sweep - Theo Pavlidis' Algorithm Các thuật toán bỏ qua tất “holes” xuất mẫu Ví dụ, nhận mẫu hình 2.1 bên dưới, contour dò đơn giản hình 2.2 (màu xanh thể contour) Một vài ứng dụng chấp nhận vấn đề với ứng dụng nhận dạng ký tự, lại muốn dò contour “holes” mẫu hình 2.3 Vấn đề dò tìm “hole searching” sử dụng sau hồn thành việc dò tìm contour ngồi mẫu sau áp dụng dò contour lần cho holes Hình 2.2 Hình 2.1 Hình 2.3 2.4.3.Cơng nghệ nhận dạng OCR 2.4.3.1.Khái niệm OCR Nhận dạng ký tự quang học (Optical Character Recognition, viết tắt OCR), loại phần mềm máy tính tạo để chuyển hình ảnh chữ viết tay chữ đánh máy (thường quét máy scanner) thành văn tài liệu OCR hình thành từ lĩnh vực nghiên cứu nhận dạng mẫu, trí tuệ nhận tạo machine vision Mặc dù công việc nghiên cứu học thuật tiếp tục, phần công việc OCR chuyển sang ứng dụng thực tế với kỹ thuật chứng minh Nhận dạng ký tự quang học (dùng kỹ thuật quang học chẳng hạn gương ống kính) nhận dạng ký tự số (sử dụng máy qt thuật tốn máy tính) lúc đầu xem xét hai lĩnh vực khác Bởi có ứng dụng tồn với kỹ thuật quang học thực sự, thuật ngữ Nhận dạng ký tự quang học mở rộng bao gồm ý nghĩa nhận dạng ký tự số Đầu tiên hệ thống nhận dạng yêu cầu phải huấn luyện với mẫu ký tự cụ thể Các hệ thống "thông minh" với độ xác nhận dạng cao hầu hết cácphông chữ trở nên phổ biến Một số hệ thống có khả tái tạo lại định dạng tài liệu gần giống với gốc bao gồm: hình ảnh, cột, bảng biểu, thành phần văn Hiện nay, với chữ Việt, phần mềm nhận dạng chữ Việt in VnDOCR 4.0 có khả nhận dạng trực tiếp loại tài liệu quét qua máy quét, không cần lưu trữ dạng tệp ảnh trung gian Các trang tài liệu quét lưu trữ dạng tệp tin nhiều trang Kết nhận dạng lưu trữ sang định dạng Microsoft Word, Excel phục vụ tốt nhu cầu số hóa liệu Ngồi ra, có dự án OCR Tiếng Việt có tên VietOCR, phát triển dựa tảng mã nguồn mở tesseract-ocr Google tài trợ VietOCR có khả nhận dạng chữ Việt tốt Đây chương trình nguồn mở Java/.NET, hỗ trợ nhận dạng cho dạng ảnh PDF, TIFF, JPEG, GIF, PNG, BMP ABBYY - hãng công nghệ hàng đầu giới lĩnh vực Nhận dạng ký tự quang học tiến hành nghiên cứu triển khai công nghệ nhận dạng Tiếng Việt vào tháng năm 2009 Với cơng nghệ độ xác việc nhận dạng tài liệu chữ in Tiếng Việt lên tới 99% (cứ nhận dạng 100 ký tự có chưa đến ký tự sai) Công nghệ ABBYY chấp nhận hầu hết định dạng ảnh đầu vào như: PDF, TIFF, JPEG, GIF, PNG, BMP, PCX, DCX, DjVu Kết nhận dạng lưu trữ định dạng MS Word, MS Excel, HTML, TXT, XML, PDF, PDF lớp, định dạng PDF lớp định dạng hoàn hảo cho việc lưu trữ khai thác tài liệu Với định dạng này, người đọc đọc trung thực ảnh gốc nhờ lớp ảnh bên trên, cơng cụ tìm kiếm tìm kiểm toàn văn văn nhờ lớp text nhận dạng bên CHƯƠNG III : ỨNG DỤNG NHẬN DẠNG BIỂN SỐ TRONG QUẢN LÝ NHÀ GỬI XE 3.1.Giới thiệu Những vấn đề bất tiện thường xuyên xảy bãi gửi xe trường Đại học, Trung học phổ thông như: ùn tắc, an ninh chưa đảm bảo, hệ thống quản lý chưa chặt chẽ… dẫn đến thất tiền bạc nhà trường, gây tâm lý chán nản cho người gửi xe… Vấn đề đặt phải khắc phục nhược điểm mô hinh bãi gửi xe cũ Xây dựng phần mềm quản lý nhà gửi xe, giúp chuyển số công đoạn thao tác tay vào tin học hóa ghi biển số xe, tính tốn chi phí gửi xe, tổng kết cuối tháng,… Từ khắc phục phần nhược điểm mà mơ hình nhà gửi xe cũ tồn Với giúp đỡ tin học, việc quản lý trở nên đơn giản, thuận tiện, nhanh chóng hiệu nhiều 3.2.Mơ tả tốn 2.2.1Bài tốn ứng dụng nhận dạng biển số quản lý nhà gửi xe Trường đại học công nghệ thông tin muốn sử dụng phần mềm nhận dạng biển số xe việc quản lý nhà gửi xe tự động Mơ tả quy trình làm việc hệ thống: o Đăng ký vé tháng  Người dùng đăng ký biển số thông tin liên lạc để đăng ký vé tháng với người quản lý hệ thống o Nhận dạng biển số  Người gửi xe phải dắt xe qua vị trí yêu cầu, nơi có camera đặt để chụp lại biển số xe  Hệ thống chụp lại biển số xe, nhận dạng biển số, hiển thị biển số thông tin hình o Xem thơng tin vé tháng  Người quản lý xem thơng tin vé tháng đăng ký o In vé tháng  Hệ thống có chức in vé xe Phân tích toán Requirement Thiết kế hệ thống Kiến trúc hệ thống (Component Diagram) Thiết kế Class (Class Diagram) Chức Tương tác hệ thống Chức Login (Sequence Diagram Login) KẾT LUẬN Sau thời gian nghiên cứu đánh giá thuật toán xử lý ảnh áp dụng mạng noron vào nhận dạng ký tự Em hoàn thành báo cáo đề tài thực tập sở cài đặt vài chức chương trình “nhận dạng biển số xe” Vì khoảng thời gian có hạn nên chức hạn chế chưa hoàn thiện Trong thời gian tới em cố gắng nghiên cứu để tìm hiểu sâu lĩnh vực xử lý ảnh nhận dạng chữ viết sử dụng mạng nơron Em mong nhận nhiều ý kiến đóng góp thầy bạn Em xin chân thành cảm ơn thầy Nguyễn Hải Minh hướng dẫn có ý kiến đóng góp giúp em hồn thành đề tài thực tập này! TÀI LIỆU THAM KHẢO [1] PGS,TS Đỗ Năng Tồn ,TS Phạm Việt Bình , Giáo trình xử lý ảnh (Khoa CNTT – Đại học Thái Nguyên) [2] http://en.wikipedia.org/wiki/Canny_edge_detector [3] Ngơn ngữ lập trình C# [4] Một số tài liệu tìm hiểu Internet [5] Đ M Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [6] Khoa Công nghệ thông tin trường ĐH Cần Thơ, Võ Huỳnh Trâm – Trần Ngân Bình, Trí Tuệ Nhân Tạo, 164 – 176 [7] MathNeuralNetworks Ben Krose, faculty of Mathematics and computer science, university of Amsterdam And Patrick van der smagt, institute of robotics and system dynamics German aerospase Reseach establishment http://www.emgu.com/wiki/index.php/License_Plate_Recognition_ in_CSharp [9] http://www.dtksoft.com/dtkanpr.php [8] [10] http://www.pixel-technology.com/freeware/tessnet2/ NHẬN XÉT ... phương tiện vào thành phố Khoảng 800 máy quay video đặt lối vào bên khu vực rộng khoảng 22km2 tâm London.Các máy quay tự động nhận dạng biển số xe tự động so sánh chúng với vé xe tốn sở liệu Hệ thống... cho người dùng nhà khai thác 1.1.2.Sự phát triển hệ thống thu phí nước khác giới Hệ thống kiểm so t thu phí cài đặt lần Singapore vào năm 1990 cách sử dụng công nghệ Nhật Bản Gần thành phố London... Với số lượng phương tiện giao thơng lớn, khơng ngừng tăng lên làm nảy sinh nhiều vấn đề việc kiểm so t quản lý phương tiện Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động Do mục đích nghiên