Nhận dạng biển số xe sử dụng phần mềm matlab

TRƢỜNG ĐẠI HỌC VINH KHOA ĐIỆN TỬ VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: NHẬN DẠNG BIỂN SỐ XE SỬ DỤNG PHẦN MỀM MATLAB Sinh viên thực : Trần Văn Mạnh Lớp: : 51K1 - ĐTVT Giảng viên hƣớng dẫn : ThS Lê Văn Chƣơng Cán phản biện : PGS.TS Nguyễn Hoa Lƣ NGHỆ AN - 2016 LỜI CẢM ƠN Em xin gửi đến toàn thể q thầy trƣờng Đại học Vinh nói chung q thầy khoa Điện tử viễn thơng nói riêng lời cảm ơn chân thành Quý thầy cô truyền đạt cho em kiến thức chuyên môn nhƣ kinh nghiệm học tâp vô quý báu phong phú suốt thời qua Đặc biệt em xin cảm ơn sâu sắc đến Giảng viên ThS.Lê Văn Chƣơng hƣớng dẫn em tận tình suốt thời gian qua lời động viên, khích lệ lúc giúp em vƣợt qua thời điểm khó khăn Những tài liệu bổ ích mà thầy cung cấp nhƣ lời góp ý vơ quý báo giúp chúng em hoàn thành đồ án Cảm õn tất bạn bè, ngýời ðã đóng góp ý kiến ln ðộng viên khuyến khích giúp ðỡ nhóm hồn thành đồ án Xin chân thành cảm õn ! Sinh viên thực Trần Văn Mạnh Mục lục LỜI CẢM ƠN .1 TÓM TẮT ĐỒ ÁN MỞ ĐẦU .6 CHƢƠNG I: TỔNG QUAN VỀ XỬ LÝ VÀ NHẬN DẠNG ẢNH 1.1 Tổng quan xử lý ảnh 1.2 Tổng quan nhận dạng ảnh CHƢƠNG II: LÝ THUYẾT VỀ ẢNH SỐ VÀ XỬ LÝ ẢNH SỐ 13 1.1 Lý thuyết ảnh số 13 1.1.1 Khái niệm ảnh số 13 1.1.2 Phần tử ảnh (pixel) 14 1.1.3 Cấu trúc file ảnh 14 Một file ảnh tập hợp nhiều điểm ảnh đƣợc minh họa hình 2.1 14 1.1.4 Mức xám ( Gray Level) 15 1.1.5 Ảnh số .15 1.1.6 Ảnh biểu diễn theo độ sáng 16 1.1.7 Ảnh trắng đen hay ảnh nhị phân 16 1.1.8 Ảnh RGB 16 1.1.9 Dãy ảnh đa khung .18 2.2 CÁC KỸ THUẬT XỬ LÝ ẢNH SỐ 18 2.2.1 Mục đích việc xử lý ảnh số 18 2.2.2 Kỹ thuật nâng cao chất lƣợng ảnh 18 2.2.3 Kỹ thuật biến đổi ảnh 19 2.2.4 Kỹ thuật phân tích ảnh 19 2.2.5 Kỹ thuật nhận dạng ảnh 19 CÁC PHƢƠNG PHÁP XỬ LÝ ẢNH SỐ 20 2.3.1 Chuyển ảnh màu RGB thành ảnh mức xám ( Gray level) 20 2.3.2 Phƣơng pháp lọc nhiễu ảnh 20 2.3.2 Phân vùng ảnh .22 2.3.4 Tìm hiểu biên 24 CHƢƠNG III: THIẾT KẾ CHƢƠNG TRÌNH NHẬN DẠNG BIỂN SỐ XE 31 SỬ DỤNG PHẦN MỀM MATLAB 31 3.1 Đặt vấn đề 31 3.2 Phân tích yêu cầu thiết kế 31 3.3 Trích vùng biển số xe 33 3.3.1 Xác định ngƣỡng xám .33 3.3.2 Chƣơng trình tìm góc nghiêng 33 3.4 Cách li kí tự biển số 35 3.1.4 Chia biển số thành hàng 35 3.4.2 Cắt ký tự hàng 36 3.5 Phƣơng pháp nhận dạng biển số xe 36 3.5.1 Tạo mẫu .36 3.5.2 Tiến hành nhận dạng kí tự 37 3.6 Thiết kế chƣơng trình 39 3.6.1 Giao diện chƣơng trình 39 3.6.2 Kết thử nghiệm 40 KẾT LUẬN .42 TÓM TẮT ĐỒ ÁN Đồ án vào tìm hiểu xây dựng hệ thống nhận dạng biển số xe sử dụng phần mềm MATLAB Cũng nhƣ hệ thống tự động khác bao gồm phần cứng phần mềm Phần cứng hệ thống Camera hay Webcam có tác dụng thu nhận chụp hình ảnh biển số xe, hay ảnh chụp từ máy ảnh liệu đầu vào Phần mềm Matlab xử lý nhận dạng ảnh, sau đƣa xác biển số xe Nội dung đồ án bao gồm chƣơng:  Chƣơng I: Tổng quan xử lý ảnh nhận dạng Chƣơng II: Lý thuyết ảnh số xử lý ảnh số Chƣơng III: Thiết kế chƣơng trình nhận dạng biển số xe sử dụng phần mềm matlab ABSTRACT This thesis was studied and build recognition system license plates using MATLAB software Like any other automated system including hardware and software Hardware system is Camera or Wedcam effective acquisition license plate capture images, or photos from camera data is input Matlab software will handle and photo identification, then given accurate license plate Topic includes chapter: - Chapter I: Overview of image processing and recognition - Chapter II: Theory of digital image and digital image processing - Chapter III: program design license plate recognition using matlab software DANH MỤC CÁC HÌNH VẼ Hình 1.1: Các giai đoạn hệ thống xử lý ảnh…………………… ……7 Hình 2.1: Mảng hai chiều file ảnh…………………………………… … 14 Hình 2.2: Minh họa mức xám sau mã hóa………………………………… 15 Hình 2.3: Minh họa ảnh nhị phân sau mã hóa…………………………… …16 Hình 2.4: Mơ hình màu RGB………………………………………………… …17 Hình 2.5: Minh họa ảnh màu sau mã hóa……………………………… … 17 Hình 2.6: Mơ tả biến đổi radon…………………………………………… .… 26 Hình 2.7: Hình chiếu theo góc cho trƣớc biến đổi Radon………… …27 Hình 2.8: Phép biến đổi Radon dƣới hình dạng hình học .28 Hình 2.9: Biến đổi ảnh mức xám sang nhị phân……………………………… …28 Hình 2.10: Thể miền Radon…………………………………………… … 29 Hình 2.11: Thể phát đƣờng thẳng biến đổi Radon… … 29 Hình 2.12: Trƣờng hợp đƣờng thẳng lệch phía dƣới…………………… 30 Hình 2.13: Trƣờng hợp đƣờng thẳng lệch phía trên…………………… 30 Hình 3.1: Sơ đồ khối chƣơng trình nhận dạng biển số xe……………………… 32 Hình 3.2: Sơ đồ thuật tốn chƣơng trình nhận dạng biển số xe………………… 32 Hình 3.3: Sơ đồ thuật tốn chƣơng trình xoay ảnh…………………………… .34 Hình 3.4: Sơ đồ thuật toán cắt biển số thành hàng………………………… ….35 Hình 3.5: Sơ đồ thuật tốn cắt kí tự……………………………………… 36 Hình 3.6: Giao diện chƣơng trình……………………………………………… 39 Hình 3.7: Giao diện chƣơng trình thị số………………………………… 40 Hình 3.8: Sử dụng ảnh mẫu…………………………………………………… .40 Hình 3.9: Sử dụng camera……………………………………………………… 41 MỞ ĐẦU Cùng với phát triển kinh tế xã hội nhu cầu di chuyển ngƣời ngày tăng, với số lƣợng phƣơng tiện giao thơng lớn cịn khơng ngừng tăng lên Vấn đề làm nảy sinh nhiều vấn đề việc kiểm soát nhƣ quản lý phƣơng tiện Để giải vấn đề nhu cầu đặt áp dụng hệ thống tự động Một hệ thống hệ thống “ Nhận dạng biển số xe ”.Đây là hệ thống có khả thu nhận hình ảnh nhƣ “đọc” “hiểu” biển số xe cách tự động, đƣợc ứng dụng rộng rãi nhƣ: trạm cân rửa xe tự động hoàn toàn, bãi giữ xe tự động, kiểm sốt lƣu lƣợng giao thơng hay ứng dụng an ninh, đồ án trình bày phƣơng pháp thiết kế hệ thống nhận dạng biển số xe phần mềm MATLAB CHƢƠNG I TỔNG QUAN VỀ XỬ LÝ VÀ NHẬN DẠNG ẢNH 1.1 Tổng quan xử lý ảnh a Khái niệm Xử lý ảnh (XLA) đối tƣợng nghiên cứu lĩnh vực thị giác máy, trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính tuân theo ý muốn ngƣời sử dụng Xử lý ảnh gồm q trình phân tích, phân lớp đối tƣợng, làm tăng chất lƣợng, phân đoạn tách cạnh, gán nhãn cho vùng hay q trình biên dịch thơng tin hình ảnh ảnh Cũng nhƣ xử lý liệu đồ hoạ, xử lý ảnh số lĩnh vực tin học ứng dụng Xử lý liệu đồ họa đề cập đến ảnh nhân tạo, ảnh đƣợc xem xét nhƣ cấu trúc liệu đƣợc tạo chƣơng trình Xử lý ảnh số bao gồm phƣơng pháp kỹ thuật biến đổi, để truyền tải mã hoá ảnh tự nhiên Mục đích xử lý ảnh gồm: - biến đối làm tăng chất lƣợng ảnh - Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá nội dung ảnh Nhận biết đánh giá nội dung ảnh phân tích hình ảnh thành phần có ý nghĩa để phân biệt đối tƣợng với đối tƣợng khác,dựa vào ta mơ tả cấu trúc hình ảnh ban đầu.có thể liệt kê số phƣơng pháp nhận dạng nhƣ nhận dạng ảnh đối tƣợng ảnh,tách cạnh,phân đoạn hình ảnh,… Kỹ thuật đƣợc dùng nhiều y học(xử lý tế bào,nhiễm sắc thể),nhận dạng chữ văn b Hệ thống xử lý ảnh - Xử lý ảnh: Ảnh vào -> Ảnh kết - Đối tƣợng xử lý hệ thống ảnh(hàm biến liên tục rời rạc) - Có thể tóm tắt hệ thống xử lý ảnh gồm q trình nhƣ sau Thu nhận ảnh Tiền xử lý Phân đoạn Tách đặc tính Nhận dạng Hình 1.1: giai đoạn hệ thống xử lý ảnh - Thu nhận ảnh: Đây công đoạn mang tính định trình XLA Ảnh đầu vào đƣợc thu nhận qua thiết bị nhƣ camera, sensor, máy scanner,v.v… sau tín hiệu đƣợc số hóa Việc lựa chọn thiết bị thu nhận ảnh phụ thuộc vào đặc tính đối tƣợng cần xử lý Các thông số quan trọng bƣớc độ phân giải, chất lƣợng màu, dung lƣợng nhớ tốc độ thu nhận ảnh thiết bị - Tiền xử lý: Ở bƣớc này, ảnh đƣợc cải thiện độ tƣơng phản, khử nhiễu, khử bóng, khử độ lệch,v.v… với mục đích làm cho chất lƣợng ảnh trở lên tốt nữa, chuẩn bị cho bƣớc xử lý phức tạp sau trình XLA Quá trình thƣờng đƣợc thực lọc - Phân đoạn ảnh: phân đoạn ảnh bƣớc then chốt XLA Giai đoạn phân tích ảnh thành thành phần có tính chất dựa theo biên hay vùng liên thơng Tiêu chuẩn để xác định vùng liên thơng màu, mức xám v.v… Mục đích phân đoạn ảnh để có miêu tả tổng hợp nhiều phần tử khác cấu tạo lên ảnh thơ Vì lƣợng thơng tin chứa ảnh lớn, đa số ứng dụng cần trích vài đặc trƣng đó, cần có q trình để giảm lƣợng thơng tin khổng lồ Q trình bao gồm phân vùng ảnh trích chọn đặc tính chủ yếu - Tách đặc tính: Kết bƣớc phân đoạn ảnh thƣờng đƣợc cho dƣới dạng liệu điểm ảnh thơ, hàm chứa biên vùng ảnh, tập hợp tất điểm ảnh thuộc vùng ảnh Trong hai trƣờng hợp, chuyển đổi liệu thô thành dạng thích hợp cho việc xử lý máy tính cần thiết Để chuyển đổi chúng, câu hỏi cần phải trả lời nên biểu diễn vùng ảnh dƣới dạng biên hay dƣới dạng vùng hoàn chỉnh gồm tất điểm ảnh thuộc Biểu diễn dạng biên cho vùng phù hợp với ứng dụng quan tâm chủ yếu đến đặc trƣng hình dạng bên ngồi đối tƣợng, ví dụ nhƣ góc cạnh điểm uốn biên chẳng hạn Biểu diễn dạng vùng lại thích hợp cho ứng dụng khai thác tính chất bên đối tƣợng, ví dụ nhƣ vân ảnh cấu trúc xƣơng Sự chọn lựa cách biểu diễn thích hợp cho vùng ảnh phần việc chuyển đổi liệu ảnh thơ sang dạng thích hợp cho xử lý sau Chúng ta phải đƣa phƣơng pháp mô tả liệu đƣợc chuyển đổi cho tính chất cần quan tâm đến đƣợc làm bật lên, thuận tiện cho việc xử lý chúng - Nhận dạng giải thích: Đây bƣớc cuối trình XLA Nhận dạng ảnh đƣợc nhìn nhận cách đơn giản việc gán nhãn cho đối tƣợng ảnh Ví dụ nhận dạng chữ viết, đối tƣợng ảnh cần nhận dạng mẫu chữ, ta cần tách riêng mẫu chữ tìm cách gán ký tự bảng chữ tƣơng ứng cho mẫu chữ thu đƣợc ảnh Giải thích cơng đoạn gán nghĩa cho tập đối tƣợng đƣợc nhận biết Chúng ta thấy rằng, khơng phải ứng dụng XLA bắt buộc phải tuân theo tất bƣớc xử lý nêu trên, ví dụ nhƣ ứng dụng chỉnh sửa ảnh nghệ thuật dừng lại bƣớc tiền xử lý Một cách tổng quát chức xử lý bao gồm nhận dạng giải thích thƣờng có mặt hệ thống phân tích ảnh tự động bán tự động, đƣợc dùng để rút trích thơng tin quan trọng từ ảnh, ví dụ nhƣ ứng dụng nhận dạng ký tự quang học, nhận dạng chữ viết tay v.v… 1.2 Tổng quan nhận dạng ảnh a Khái niệm Nhận dạng trình phân loại đối tƣợng đƣợc biểu diễn theo mơ hình gán cho chúng vào lớp (gán cho đối tƣợng tên gọi) dựa theo quy luật mẫu chuẩn Bốn cách tiếp cận khác lý thuyết nhận dạng là: 1.Đối sánh mẫu dựa đặc trƣng đƣợc trích chọn Phân loại thống kê Đối sánh cấu trúc Phân loại dựa mạng nơ-ron nhân tạo Trong ứng dụng rõ ràng dùng có cách tiếp cận đơn lẻ để phân loại “tối ƣu” cần sử dụng lúc nhiều phƣơng pháp cách tiếp cận khác Do vậy, phƣơng thức phân loại tổ hợp hay đƣợc sử dụng nhận dạng có kết có triển vọng dựa thiết kế hệ thống lai (hybrid system) bao gồm nhiều mô hình kết hợp góc lệch đƣờng thẳng mà góc lệch trục Ox’ so với trục Ox ban đầu Quan sát hình vẽ sau ta thấy rõ vấn đề Trƣờng hợp đƣờng thẳng lệch xuống phía dƣới Giá trị góc lệch cần tìm 90 - max , ta thấy > 0, nên ảnh đƣợc xoay theo chiều ngƣợc chiều kim đồng hồ Hình 2.12: Trường hợp đường thẳng lệch phía Trƣờng hợp đƣờng thẳng lệch lên phía Góc lệch : = 90 - max, ta thấy < 0, nên ảnh đƣợc xoay theo chiều thuận chiều kim đồng hồ Hình 2.13: Trường hợp đường thẳng lệch phía 30 CHƢƠNG III THIẾT KẾ CHƢƠNG TRÌNH NHẬN DẠNG BIỂN SỐ XE SỬ DỤNG PHẦN MỀM MATLAB 3.1 Đặt vấn đề Ngày nay, với số lƣợng phƣơng tiện giao thơng lớn cịn khơng ngừng tăng lên nhƣ làm nảy sinh nhiều vấn đề việc kiểm soát nhƣ quản lý phƣơng tiện Để giải vấn đề yêu cầu đặt phải áp dụng hệ thống tự động Một hệ thống nhƣ hệ thống tự động nhận dạng biển số xe hệ thống có khả thu nhận ảnh nhƣ “đọc” “hiểu” biển số xe cách tự động Một hệ thống nhƣ đƣợc sử dụng nhiều ứng dụng chẳng hạn nhƣ: trạm cân rửa xe tự động hoàn toàn, bãi giữ xe tự động, kiểm sốt lƣu lƣợng giao thơng hay ứng dụng an ninh nhƣ tìm kiếm xe cắp Phần cứng hệ thống có phần camera có tác dụng thu nhận hình ảnh cịn phần mềm có tác dụng xử lý hình ảnh 3.2 Phân tích u cầu thiết kế Mục đích đề tài xây dựng chƣơng trình đọc biển số xe vị trí cố định, ví dụ nhƣ lối vào khu vực bãi đậu xe Hệ thống xây dựng dựa vào máy tính PC thơng thƣờng có giao tiếp với máy ghi hình (camera hay webcam) nhằm đáp ứng trạng thái thực chụp lấy ảnh, hay ảnh đƣợc chụp từ máy ảnh, để tạo ảnh ( ảnh gốc) đƣợc đƣa vào máy tính PC Từ hình ảnh thu đƣợc có chứa biển số xe phần mền xử lý nhận dạng kết đƣa biển số xe Một biển số xe đƣợc phát (nhận dạng), chữ số đƣợc đọc xuất giao diện ngƣời dùng đối chiếu lại với sở liệu Quá trình nhận dạng biển số xe từ ảnh thu đƣợc thực theo giai đoạn khác nhau, tóm tắt theo sơ đồ khối nhƣ sau: 31 ẢNH GỐC TRÍCH VÙNG BIỂN SỐ ẢNH ĐƠN ẢNH TỪ CAMERA TÁCH CÁC KÝ TỰ NHẬN DẠNG KÝ TỰ XỬ LÝ SAU NHẬN DẠNG Hình 3.1: Sơ đồ khối chương trình nhận dạng biển số xe Đối với xe bánh ( xe gắn máy) biển số có kí tự chia làm hàng hàng có kí tự, theo qui định nhà nƣớc hành Sơ đồ thuật toán chương trình nhận dạng biển số xe: BẮT ĐẦU KHỞI ĐỘNG CAMERA THU ẢNH CÁCH LY CÁC KÝ TỰ TÍNH GĨC NGHIÊNG TRÍCH VÙNG BIỂN SỐ NHẬN DẠNG CÁC KÝ TỰ NHỊ PHÂN ẢNH KẾT THÚC Hình 3.2: Sơ đồ thuật tốn chương trình nhận dạng biển số xe 32 3.3 Trích vùng biển số xe Mục đích phần trích đƣợc biển số xe từ ảnh đơn hay lấy ảnh từ máy quay (camera, webcam) đƣa vào máy tính (PC) làm sở liệu Ảnh chụp đƣợc thƣờng ảnh màu, ngõ khối ảnh gốc ảnh màu (RGB), sau ta tiến hành trích vùng biển số, tiếp tục chuyển ảnh màu thành ảnh trắng đen Do vùng ảnh biển số xe ảnh trắng đen, trƣớc chuyển hóa thành ảnh nhị phân hóa nhận dạng 3.3.1 Xác định ngƣỡng xám Việc xác định ngƣỡng xám quan trọng định đến khả chọn vùng biển số Chọn xác vùng biển số thật khó ta xác định xác khoảng Thơng qua lƣợc đồ xám ta nhận thấy vùng biển số thƣờng có độ sáng tƣơng đối lớn ( từ 100-140 ) ta xác định lƣợc đồ xám lớn khoảng ngƣỡng xám cần chọn thuộc vùng nhờ ta giảm đƣợc thời gian lặp tìm ngƣỡng xám Kết có đƣợc nhờ vào trình khảo sát thống kê nhiều ảnh kết tối ƣu mà ta tìm đƣợc Ảnh nhị phân ảnh mà giá trị điểm ảnh có hai giá trị (trắng đen) Để chuyển từ ảnh xám ảnh nhị phân ta đặt ngƣỡng thích hợp để so sánh Mức xám ảnh đƣợc dùng để so sánh với giá trị ngƣỡng Biểu thức: u