Nhân dạng biển số xe dùng mạng neuron

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA HUỲNH THỊ THU HIỀN NHẬN DẠNG BIỂN SỐ XE DÙNG MẠNG NEURAL Chuyên ngành : Tự Động Hóa LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 10 năm 2007 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : TS HỒNG MINH TRÍ (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng năm ĐẠI HỌC QUỐC GIA TP HCM CỘNG HOÀ Xà HỘI CHỦ NGHIà VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày tháng năm 2007 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HUỲNH THỊ THU HIỀN Ngày, tháng, năm sinh : 09/12/1980 Giới tính : Nơi sinh : Chuyên ngành : Tự động hóa Nữ Bình Phước Khố (Năm trúng tuyển) : K16 (năm 2005) 1- TÊN ĐỀ TÀI: NHẬN DẠNG BIỂN SỐ XE DÙNG MẠNG NEURAL 2- NHIỆM VỤ LUẬN VĂN: Tìm hiểu ảnh số phương pháp xử lí ảnh Tìm hiểu neural tự nhiên mạng neural nhân tạo Tìm hiểu ứng dụng ngơn ngữ lập trình Matlab Xây dựng mô hình đơn giản giao tiếp qua cổng COM để mô trình nhận dạng tự động Phân tích ảnh nhận dạng biển số xe dùng mạng neural 3- NGÀY GIAO NHIỆM VỤ : (Ngày bắt đầu thực LV ghi Quyết định giao đề tài): 4- NGÀY HOÀN THÀNH NHIỆM VỤ : 5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN (Ghi đầy đủ học hàm, học vị ): TS HỒNG MINH TRÍ Nội dung đề cương Luận văn thạc sĩ Hội Đồng Chuyên Ngành thông qua CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) LỜI CẢM ƠN Lời đầu tiêên xin gởi đến cha mẹ, người cho nhiều điều tốt đẹp hạnh phúc Em xin gởi lời cảm ơn đến thầy TS Hòang Minh Trí lời cảm ơn chân tình Cảm ơn dẫn giúp đỡ tận tình thầy giúp em thực luận văn đạt kết tốt Em xin cảm ơn thầy cô khoa Điện trường Đại học Bách khoa thành phố Hồ Chí Minh, đặc biệt thầy cô môn Tự Động, cảm ơn thầy cô trường Đại học Sư Phạm Kỹ Thuật, truyền đạt kiến thức, tạo môi trường, điều kiện để choem phấn đấu rèn luyện thân, mặt tri thức, tư tưởng, lónh nhân cách Xin cảm ơn anh Tân, bạn Cường giảng viên trường Đại Học Sư Phạm Kỹ Thuật tận tình giúp đỡ trình thực đề tài Cảm ơn bạn động viên, đồng hành trình rèn luyện hoàn thiện thân Học viên Huỳnh Thị Thu Hiền Biểu mẫu…… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHẬN XÉT PHẢN BIỆN CTĐT THẠC SĨ KHÓA 2007 (Xin lấy biểu mẫu địa chỉ: http://www.rd.hcmut.edu.vn; trang giáo vụ SĐH) Chuyên ngành: Phương thức đào tạo: Giảng dạy môn học (by course work) Nghiên cứu (by research) Người nhận xét: Cơ quan công tác: Ý KIẾN NHẬN XÉT Về nhu cầu KT - XH chuyên ngành đào tạo Về mục tiêu đào tạo chuyên ngành Về khối lượng, cấu trúc, nội dung chương trình; phương pháp đào tạo; sở vật chất phục vụ đào tạo; đội ngũ giảng viên a Về khối kiến thức sở: Biểu mẫu…… b Về khối kiến thức chuyên ngành: c Về tỷ lệ kiến thức lý thuyết thực tiễn (học phần thực hành; tự nghiên cứu): d Về tính liên thơng với CTĐT bậc ĐH; bậc tiến sĩ: e Về nguồn tài liệu tham khảo: f Về sở vật chất phịng thí nghiệm nghiên cứu: Biểu mẫu…… g Về đội ngũ giảng viên: Về môn học cụ thể a Môn học: b Môn học: c Môn học: d Môn học: e Môn học: Biểu mẫu…… Về khả đáp ứng nhu cầu KT - XH a Khả đáp ứng yêu cầu kiến thức, kỹ trình độ đào tạo thạc sĩ: b Khả đáp ứng yêu cầu người học: c Khả đáp ứng yêu cầu nguồn nhân lực thị trường lao động: d Tính hội nhập quốc tế nội dung chương trình, phương pháp đào tạo: Ý kiến khác Ngày tháng năm 200 … Người nhận xét Abstract Automatic number plates recognition system is practical topic It applies image processing and character recognition technology to identify vehicles automatic reading their license plates It is widely applied in many countries in the word Application of license plates recognition system include private parking lot management, traffic monitoring, automatic toll payment… In the thesis, I use Webcam to capture the license plates and I use matlab software with the principle of Neural network to programme and recognize the license plates i MỤC LỤC CHƯƠNG1: MỞ ĐẦU 1.1 Đặt vấn đề…………………………………………………………………………………………………………………… 1.2 Khả ứng dụng giới nước…………………………………………….3 1.3 Lợi ích hệ thống nhận dạng biển số xe ………………………………….……………….4 1.4 Mục tiêu đề tài, Phương pháp thực …………………………….……………………5 1.5 Cấu trúc luận văn……………………………………………………………………………………………………….6 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ ẢNH SỐ 2.1 Biểu diễn hệ thống ảnh …………………………………………………………………………………………9 2.2 Hệ thống ảnh tuyến tính…………………………………………………………………………………….10 2.3 Hệ thống ảnh phi tuyến …………………………………………………………………………………… 11 2.4 Khái niệm ảnh số ………………………………………………………………………………………………….13 2.41 Khái niệm phần tử ảnh ………………………………………………………………….13 2.42 nh xám …………………………………………………………………………………………………………14 2.43 Ảnh trắng đen hay ảnh nhị phân ……………………………………………………………14 2.43 Ảnh màu mô hình màu RGB ……………………………………………………………14 2.5 Cơ sở lý thuyết trình thu nhận ảnh……………………………………….16 2.5.1 Các thiết bị thu nhận ảnh…………………………………………………………………….……16 2.5.1 Lấy mẫu lượng tử hóa ảnh…………………………………………………………………17 2.5.2 Mã hóa ảnh………………………………………………………………………………………… .18 2.5.3 Các định dạng ảnh……………………………………………………………………………………….19 a Định dạng ảnh IMG………………………………………… …………………………….19 b Định dạng ảnh PCX………………………………………………………………………….20 c Định dạng ảnh TIF……………………………………………………………………………21 d Định dạng ảnh GIF………………………………………………………………………… 23 Trang 110 5.3.1.2 Kết phân tách thành ký tự Biển số xe Kết tách ký tự Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 111 5.3.2 Biển số vuông 5.3.2.1 Kết minh họa giải thuật trích biển số xe Ảnh chụp Tìm vùng biển số xe Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 112 Lấy vùng biển số xe Xác định gốc nghiêng Xoay ảnh Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 113 Chọn lấy vùng biển số Cắt biên thừa Cải thiện chất lượng ảnh Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 114 Định kích thước chuẩn Đảo ảnh 5.3.2.2 Kết phân tách thành ký tự Biển số xe Kết tách ký tự Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 115 5.4 Giao diện chương trình Hình 5.1 Giao diện chương trình nhận dạng Khối chọn ảnh File open: nút nhấn mở file ản cần nhận dạng (file lưu sẳn ổ cứng) Image Capture: nút nhấn bắt ảnh từ camera Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 116 Khối xử lý nhận dạng( Processing recognition) Extract: nút nhấn trích vùng chứa biển số xe Segment: nút nhấn tách ký tự biển số xe Recognition: nút nhấn nhận dạng ký tự biển số xe Exit: nút nhấn thoát khỏi chương trình nhận dạng Khối nhận dạng chuỗi ảnh có sẳn ổ cứng Start: bắt đầu thực nhận dạng End: kết thúc trình nhận dang chuỗi ảnh Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 117 Result Recognition: khối hiển thị kết nhận dạng biển số xe Hình 5.2 Kết nhấn nút file open Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 118 Hình 5.3 Kết sau nhấn nút extract Hình 5.4 Kết sau nhấn nút Segment Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 119 Hình 5.5 Kết sau nhấn nút Recognition Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 120 5.5 Mô hình Mô hình thiết kế đơn giản, dùng để thực mô trình nhận dạng cách tự động Mô hình bao gồm: 1.Webcam để bắt ảnh Giá đỡ Webcam Dây nối với cổng COM Cảm biến quang để tác động co xe qua Bộ nguồn cung cấp cho cảm biến Xe ô tô điều khiển từ xa Biển số xe ô tô Chương 5: Thiết kế chương trình nhận dạng kết thực Trang 121 Chương KẾT LUẬN Chương kết luận Trang 122 6.1 Kết luận - Qua thời gian thực đề tài: ‘Nhận dạng biển số xe dùng mang neural’ tác giả hoàn thành số nội dung sau: ƒ Tìm hiểu ảnh số phương pháp xử lí ảnh để lọc nhiễu, tăng cường độ tương phản, trích vùng chứa biển số xe ảnh chụp từ camera, tách ký tự biển số xe ƒ Tìm hiểu ứng dụng mạng neural nhận dạng ký tự ƒ Tìm hiểu ứng dụng ngôn ngữ lập trình Matlab ƒ Xây dựng mô hình giao tiếp qua cổng Com để mô trình nhận dạng tự động - Kết đạt từ chương trình nhận dạng biển số xe đạt khoảng 90%, chương trình nhận dạng (offline) ảnh có sẳn ổ cứng, nhận dạng ảnh chuỗi ảnh Ngoài ra, chương trình có khả nhận dạng ảnh trực tiếp từ camera (WebCam) thông qua tác động cảm biến - Đối tượng nhận dạng biển số đen trắng, dài, vuông 6.2 Hạn chế đề tài - Mặc dù cố gắng nhiều tránh thiếu sót, hạn chế ¾ Chương trình nhận dạng biển số xe nhận dạng biển số đen trắng, không nhận dạng biển số màu xanh, màu đỏ ¾ Chưa dùng trình biên dịch Matlab sang C++ Vì vậy, tốc độ xử lý không nhanh, chưa đáp ứng nhu cầu thực tế ¾ Độ phân giải Webcam (thiết bị thu nhận ảnh) mô hình không cao, chưa đáp ứng yêu cầu thực tế, chụp xe di chuyển với tốc độ chậm ¾ Không nhận dạng ảnh bị chói, sáng, tối bẩn Chương kết luận Trang 123 6.3 Hướng phát triển đề tài - Qua hạn chế nêu trên, tác giả mong muốn đề tài hoàn thiện Đề tài nhận dạng biển số xe mang ý nghóa thực tế cao Vì vậy, tác giả kiến nghị vài hướng phát triển để đề tài hoàn thiện ứng dụng thực tế ¾ Thay webcam camera chuyên dụïng để tăng khả xử lý độ xác trình nhận dạng ¾ Cải thiện tốc độ xử lý cách thay ngôn ngữ lập trình Matlab ngôn ngữ lập trình C/C++ ¾ Thay chương trình thực máy tính chip DSP dùng VHDL ¾ Thực nhiều giải thuật tối ưu hơn, đặc biệt phần tiền xử lý cần khôi phục ảnh mờ, ảnh bị thông tin Chương kết luận TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá , Nguyễn Thanh Thủy, Nhập môn xử lý ảnh, Nhà xuất khoa học kỹ thuật, 1999 [2] Nguyễn Thiện Thành, Mạng neural – Nhận dạng - Dự báo - Điều khiển,bài giảng, 2006 [3] Rafael C.Gonzales, Richard E.Wood, Steven L.Eddins,Digital image processing using Matlab, 1993 [4] Image Processing Toolbox, Matlab 7.0 [5] Rafael C.Gonzales, Richard E.Wood, Digital image processing, 1993 [7] Walid A Salameh, Mohammed A Otair, Online Handwritten Character Recognition using an Optical Backpropagation Neural network [8] Haim Cohen – Gadi Berman , Car license plate Recognition, 2002 [9] D.A.Duc, L.Du, T D Tuan, Building an automatic vehicle licence plate recognition System, 2005 [10] Stockholm, Sweden ,Low- Cost Real Time license plate recognition for a Vehicle PC,2006 [11] Roger W.Ehrich, Calvin J.Ribben, Chris L.Wyatt, A Lynn Abbott, Experiments in image segmentation for automatic us license plate recognition, 2004 [12] T.Lindlad, J.M.Kinser, Image processing using pusle-coupled neuron networks,2005 ... trích vùng biển số xe, phân tách ký tự biển số xe? ?? Chương : Nhận dạng mạng neural nhận dạng: giới thiệu phương pháp nhận dạng Giới thiệu mạng neural, trình bày cấu trúc luật học số mạng neural... cách biển số camera gần không đổi • Góc nghiêng biển số nhỏ 0-30 độ, cân chỉnh không chuẩn • Biển số xe ôtô, xe máy không thu phí Biển số thông thường, hình chữ nhật, hình vuông, trắng chữ số đen... thống nhận dạng: - Hệ thống nhận dạng biển số xe ứng dụng trạm thu phí, bãi giữ xe tự động, hệ thống tự động ghi biển số xe, việc tăng an ninh … Tất hệ thống mang lại lợi ích như: ¾ Giảm nhân công