ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LÊ THỊ THU HẰNG
NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TOÁN
NHẬN DẠNG BIỂN SỐ XE
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
HÀ NỘI, 2016
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LÊ THỊ THU HẰNG
NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TOÁN
NHẬN DẠNG BIỂN SỐ XE
Ngành : Công nghệ thông tin
Chuyên ngành : Kĩ thuật phần mềm
Mã số : 60480103
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Người hướng dẫn khoa học: TS.Nguyễn Văn Vinh
HÀ NỘI, 2016
Trang 3LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của Tiến sĩ Nguyễn Văn Vinh Các kết quả đạt được trong luận văn là sản phẩm của riêng cá nhân, không sao chép của người khác Nội dung của luận văn có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn sách, tạp chí được liệt kê trong danh mục các tài liệu tham khảo
Tác giả luận văn
Lê Thị Thu Hằng
Trang 44
LỜI CẢM ƠN
Em xin chân thành cảm ơn các thầy, các cô khoa Công nghệ Thông tin- Trường Đại học Công nghệ - Đại học quốc gia Hà Nội đã tận tình dạy dỗ, truyền đạt cho em nhiều kiến thức quý báu
Em xin tỏ lòng biết ơn sâu sắc đến thầy Ts Nguyễn Văn Vinh, người đã tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để đề tài có thể được thực hiện
và hoàn thành
Xin chân thành cảm ơn các bạn trong khoa Công Nghệ Thông Tin, Trường ĐH Công nghệ đã giúp đỡ, động viên tôi rất nhiều trong quá trình thực hiện đề tài
Em xin chân thành cảm ơn !
Hà nội, tháng 5 năm 2016
Học viên
Lê Thị Thu Hằng
Trang 5MỤC LỤC
LỜI MỞ ĐẦU 10
CHƯƠNG 1: MẠNG NƠRON 12
VÀ MẠNG NƠRON TÍCH CHẬP 12
1.1 Mạng nơron và mạng nơron lan truyền ngược 12
1.1.1 Giới thiệu về mạng Nơron 12
1.1.2 Kiến trúc mạng truyền thẳng 14
1.1.3 Mạng nơron truyền thẳng và thuật toán lan truyền ngược 15
1.2 Mạng nơron tích chập 23
1.2.1.Định nghĩa mạng nơron tích chập [1] 23
1.2.2.Tích chập (convolution) 23
1.2.3 Mô hình mạng nơron tích chập 25
1.2.4. Xây dựng mạng nơron tích chập 26
CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 37
2.1 Khái niệm về hệ thống nhận dạng biển số xe 37
2.1.1 Khái niệm 37
2.1.2 Lịch sử và phát triển 37
2.1.3 Cách thức hoạt động của hệ thống nhận dạng biển số xe 38
2.1.4 Phân loại các ứng dụng nhận dạng biển số xe 38
2.1.5 Ứng dụng thực tiễn tại Việt Nam 39
2.1.6 Phân loại biển số xe 40
2.2 Phương pháp phát hiện biển số xe từ ảnh chụp của camera 41
2.2.1 Phương pháp chuyển đổi Hough 42
2.2.2 Phương pháp hình thái học 42
2.3 Quy trình nhận dạng biển số xe 43
CHƯƠNG 3: ÁP DỤNG MẠNG NƠRON TÍCH CHẬP 45
TRONG NHẬN DẠNG KÝ TỰ 45
3.1 Xây dựng mô hình mạng 45
Trang 66
3.2 Cấu hình thử nghiệm 47 3.3 Thiết kế mạng cho bài toán: 48 3.4 Kết quả thực nghiệm nhận dạng biển số xe với mạng nơron tích chập 48 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 56
Trang 7DANH MỤC BẢNG
Bảng 1.1 Một số hàm truyền thông dụng 14 Bảng 2.1 Quy định biển số cho quân đội 40
Trang 88
DANH MỤC HÌNH
Hình 1.1 Cấu tạo một Nơron 12
Hình 1.2 Mạng truyền thẳng 15
Hình 1.3 Mạng nơron truyền thẳng nhiều tầng 16
Hình 1.4 Ảnh hưởng của kích thước mẫu 21
Hình 1.5 Minh họa tích chập 24
Hình 1.6 Ảnh mờ sau khi chập 24
Hình 1.7 Ảnh được phát hiện biên sau khi chập 25
Hình 1.8 Mô hình mạng nơron tích chập 26
Hình 1.9 Mô hình mạng perceptron nhiều tầng 27
Hình 2.1 Ảnh xám và lược đồ xám của ảnh 43
Hình 3.1 Mô hình mạng nơron tích chập trong nhận dạng ký tự số 45
Hình 3.2 Minh họa mạng liên kết đầy đủ (full connection) 47
Hình 3.3 Mô hình nhận dạng kí tự số 47
Hình 3.4 Mô hình mạng cho bài toán 48
Hình 3.5 Một số biển không tách đúng ký tự 49
Trang 9DANH MỤC TỪ VIẾT TẮT
Từ viết
tắt
MNIST Mixed National Institute of
Standards and Technology database
Viện liên hợp các quốc gia Tiêu chuẩn và Công nghệ cơ sở
dữ liệu
Trang 1010
LỜI MỞ ĐẦU
Mạng Nơron Nhân Tạo -Artificial Neural Network (ANN) là một mạng
có khả năng mô phỏng và học rất hiệu quả ANN có thể mô phỏng gần như bất
cứ hàm mục tiêu nào với số biến nhập và xuất tuỳ ý, ở điểm này thì có lẽ chưa
có một phương pháp nào trước đây đạt được ANN còn có một ưu điểm tuyệt vời khác, đó là khả năng học Một ANN gần giống như một đối tượng có thể tư duy Mỗi khi có kiến thức mới (Data mới) ta lại đưa cho ANN học Khả năng này của mạng nơron nhân tạo là rất cần thiết cho các vấn đề có dữ liệu luôn thay đổi, cập nhật như các bài toán về nhận dạng mà tôi đang nghiên cứu
Học sâu – deep learning (hay còn gọi là học có cấu trúc sâu – deep structured learning, học nhiều lớp – hierarchical hoặc học máy sâu – deep machine learning) là một nhánh của học máy dựa trên tập các giải thuật cố gắng trừu tượng hóa dữ liệu bởi nhiều tầng với cấu trúc phức tạp và nhiều biến đổi phi tuyến
Học sâu là một nhánh lớn của phương pháp học máy dựa trên việc học cách biểu diễn dữ liệu Ví dụ một bức ảnh có thể biểu diễn theo nhiều cách như một véc tơ giá trị mức xám của điểm ảnh hoặc theo cách trừu tượng hơn là một tập các biên, các vùng của hình khối cụ thể,…
Nhiều kiến trúc học sâu như mạng nơron sâu (deep neural networks), mạng nơron tích chập và mạng hồi quy đã được áp dụng trong các lĩnh vực như thị giác máy, tự động nhận dạng tiếng nói, xử lí ngôn ngữ tự nhiên, nhận dạng âm thanh và tin sinh học đã thu được kết quả tiến bộ
Hiện nay rất nhiều các bài toán nhận dạng sử dụng học sâu để giải quyết
do học sâu có thể giải quyết các bài toán với kích thước đầu vào lớn với hiệu năng cũng như độ chính xác vượt trội so với các phương pháp phân lớp truyền thống
Những năm gần đây, ta đã chứng kiến được nhiều thành tựu vượt bậc trong ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn như Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận diện khuôn mặt người dùng, phát triển xe hơi tự lái,
Mạng nơron tích chập (Convolutional Neural Networks- CNNs) là một trong
những mô hình học sâu tiên tiến giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay Mạng nơron tích chập là một kiểu
Trang 11mạng nơron truyền thẳng đặc biệt mà có thể kết xuất các thuộc tính hình học trong một bức ảnh Mạng nơron tích chập có thể nhận dạng ảnh có nhiều thay đổi, kết quả nhận dạng độ chính xác và tốc độ cao Trong luận văn cao học này, em đi vào nghiên cứu
về mạng nơron tích chập và ý tưởng của mô hình mạng nơron tích chập trong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng hệ thống nhận dạng biển
số xe tự động
Nội dung bài báo cáo bao gồm 3 chương
Chương 2: Tổng quan về nhận dạng biển số xe
Trang 1212
CHƯƠNG 1: MẠNG NƠRON
VÀ MẠNG NƠRON TÍCH CHẬP
1.1 Mạng nơron và mạng nơron lan truyền ngược
1.1.1 Giới thiệu về mạng Nơron
Định nghĩa: Mạng nơron nhân tạo, Artificial Neural Network (ANN) là
một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học Nó được tạo nên từ một số lượng lớn các phần tử (nơron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ) thông qua một quá trình học từ tập các mẫu huấn luyện Về bản chất học chính
là quá trình hiệu chỉnh trọng số liên kết giữa các nơron
Cấu trúc nơron nhân tạo:
Hình 1.1 Cấu tạo một Nơron
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
• Tập các đầu vào: Là các tín hiệu vào (đầu vào signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều
• Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wkj Thông thường, các trọng số này được khởi tạo một cách
Wk
Wk
x1
x2
⬚
Hàm truyền
Hàm
bk
Ngưỡng
Đầu ra
Trang 13TÀI LIỆU THAM KHẢO
Tiếng Việt
https://ongxuanhong.wordpress.com/2015/12/29/convolutional-neural-networks-la-gi/
Tiếng Anh
[2] http://neuralnetworksanddeeplearning.com/chap6.html
[3] http://neuralnetworksanddeeplearning.com/chap2.html
[4] Y LeCun and Y Bengio.“Convolutional networks for images, speech, and
time-series.” In M A Arbib, editor, The Handbook of Brain Theory and Neural
Networks MIT Press, 1995
[5] Fabien Lauer, ChingY Suen, Gérard Bloch,”A trainable feature extractor for handwritten digit recognition“,Elsevier, october 2006
[6] Patrice Y Simard, Dave Steinkraus, John Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis," International Conference on Document Analysis and Recognition (ICDAR), IEEE
[7] Chirag N Paunwala & Suprava Patnaik “A Novel Multiple License Plate Extraction Techniquefor Complex Background in Indian Traffic Conditions”, Sarvajanik College of Engineering and Technology, 2010
[8] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng and Shahrel A Suandi,
“Malaysian Car Number Plate Detection and Recognition System”, 2012
[9] Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du, “Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates”, University of Natural Sciences, 2004
[10] Nobuyuki Otsu, "A threshold selection method from gray-level histograms”, 1979
[11] Suman K Mitra “Recognition of Car License Plate using Morphology”, hirubhai Ambani Institute of Information and Communication Technology, Gandhinagar, Gujarat, India
[12] Các tài liệu về EmguCV tại www.emgucv.com OPenCV tại www.opencv.com
[13] www.Deeplearning.net/software/theano/
Trang 1457
[14] Quoc V Le, A Tutorial on Deep Learning - Part 2: Autoencoders,
qvl@google.com, Google Brain, Google Inc,1600 Amphitheatre Pkwy, Mountain View, CA 94043, October 20, 2015