2. Cho điểm của cỏn bộ phản biện
3.2.4.2 Huấn luyện mạng
Quỏ trỡnh huấn luyện mạng được trỡnh bày ở đõy là quỏ trỡnh học cú giỏm sỏt với tập mẫu Xs,Ys . Quỏ trỡnhhọc cú thể túm tắt như dưới:
Mỗi khi một mẫu Xs x1,....,xn vào mạng, ta thực hiện cỏc cụng việc sau: Lan truyền mẫu Xs qua mạng để cú outs Tinh Xs,NN ,
Tớnh sai số Errs của mạng dựa trờn sai lệch outs Ys,
Lớp vào
Lớp ẩn
Lớp ra
Hiệu chỉnh cỏc trọng số liờn kết nơron dẫn tới lớp ra
ij
W từ nơron j tại lớp ẩn cuối cựng tới nơron i tại lớp ra: wij wij aj i (1)
Với:
là hệ số học.
j
a là đầu ra của nơron j,
i là sai số mà nơron I ở lớp ra phải chụi trỏch nhiệm, được xỏc định theo cụng thức: i errig' Neti (2)
với erri là sai số thành phần thứ I trong err , Neti là tổng thụng tin vào cú trọng số của nơron thứ i Neti wij.aj và g' . là đạo hàm của hàm kớch hoạt g được dựng trong cỏc nơron.
Hiệu chỉnh cỏc trọng số liờn kết nơron Wik dẫn tới tất cả lớp ẩn từ nơron thứ k sang nơron j (cỏc lớp ẩn được xột từ dưới lờn):
Tớnh tổng sai số tại nơron j phải chụi trỏch nhiệm
i j
j g' Net w (3) Hiệu chỉnh trọng số wjk wjk ak j (4)
(Trường hợp xột liờn kết từ nơron vào thứ k sang nơron j trờn lớp ẩn thứ nhất, ta cú ak ik) chớnh là tớn hiệu vào).
Chỳ ý:
a) Trường hợp xột hàm kớch hoạt tại cỏc nơron
x e x g 1 1 Ta cú hệ thức g' x g x 1 g x b) Từ cỏc cụng thức (1) và (4) ta cú thể viết lại: ij ij ij w w w với wij aj i và jk jk jk w w w với wjk ak j
Trong thực tế, thường hiệu chỉnh wij theo nguyờn tắc cú chỳ ý đến thao tỏc trước đú. Do vậy: cu ij i j moi ij a w w , ở đõy là hệ số quỏn tớnh.
Quỏ trỡnh huấn luyện mạng cần chỳ ý tới cỏc yếu tố sau:
ị Cỏc trọng số ban đầu wij được gỏn cỏc giỏ trị ngẫu nhiờn, nhỏ,
iị Lựa chọn cỏc hệ số học và hệ số quỏn tớnh sao cho 1, với khụng lớn hơn quỏ nhiều,
Cỏc tớn hiệu vào, ra nờn được định cỡ chỉ nằm trong khoảng 0,1. Cỏc nghiờn cứu thực nghiệm chỉ ra rằng nờn ở trong khoảng 0.2,0.8
3.2.4.3 Sử dụng mạng
Giả sử đó huấn luyện mạng như hỡnh ở trờn với tập mẫu Xs,Ys để được ma trận trọng số W. Quỏ trỡnh lan truyền trong mạng một vecto tớn hiệu vào
3 , 2 1,x x x
X được cho bởi:
3 53 2 52 1 51 65 3 43 2 42 1 41 64 5 65 4 64a w a g w g w x w x w x w g w x w x w x w g out W X F ,
Khả năng tớnh toỏn của mạng nhiều lớp
Với một lớp ẩn, mạng cú thể tớnh toỏn xấp xỉ một hàm liờn tục bất kỳ đối với cỏc biến tương ứng là cỏc tớn hiệu vàọ
Với 2 lớp ẩn, mạng cú thể tớnh toỏn xấp xỉ một hàm bất kỹ. Tuy vậy, số nơron trong cỏc lớp ẩn cú thể tăng theo hàm mũ đối với số đầu vào và cho đến nay vẫn chưa cú cỏc hàm cú thể xấp xỉ nhờ cỏc mạng nhiờu lớp
3.3 Sử dụng mạng nơron lan truyền ngƣợc hƣớng cho nhận dạng ký tự 3.3.1 Nhận dạng bằng mạng nơron lan truyền ngƣợc hƣớng (kn chung)
Mạng nơron núi chung và mạng lan truyền ngược hướng núi riờng là sự mụ phỏng sinh học bằng mỏy tớnh bộ nóo ngườị Nú cú khả năng học từ kinh nghiệm hay từ một tập mẫụ Quỏ trỡnh học của mạng lan truyền ngược hướng là quỏ trỡnh học cú giỏm sỏt với một mẫu Xs,Ys cho trước, ở đõy Xs là vecto vào (ma trận điểm ảnh của một ký tự) và Ys là giỏ trị ASCII của ký tự đú. Thực chất việc học của mạng là biến đổi và ỏnh xạ topo vỏc ký tự xuống mặt phẳng hai chiều tương ứng với cỏ nơron. Sau khi huấn luyện, mạng lan truyền ngược hướng hoạt động như một bảng tra với đầu vào là cỏc vecto điểm ảnh của cỏc
ký tự. Một trong những ưu điểm chớnh của mạng là khụng đũi hỏi cỏc quỏ trỡnh tiền xử lý như làm mảnh, làm trơn đường biờn hay khử nhiễụ
Quỏ trỡnh học của mạng lan truyền ngược hướng là quỏ trỡnh học cú giỏm sỏt. Do đú nú cần cú một tập mẫu chuẩn { Xs, Ys}. Trong quỏ trỡnh học vectơ vectơ vào Xs đi vào mạng Kohonen, ở đõy diễn ra quỏ trỡnh học cạnh tranh . Vectơ lời giải Ys đi vào lớp ra theo hướng ngược lại làm thay đổi giỏ trị cỏc trọng số của cỏc nơ ron trờn lớp rạ Giả thiết chỳng ta cú mạng lan truyền ngược hướng gồm N nơ ron trờn lớp Kohonen và M nơ ron trờn lớp rạ Wji là trọng số thứ i của nơ ron thứ j trờn lớp Kohonen. Cji là trọng số của nơ ron thứ i trờn lớp ra nối với nơ ron thứ j trờn lớp Kohonen. Quỏ trỡnh học của mạng lan truyền ngược hướng bao gồm cỏc bước sau đõy:
- Một đối tương gồm cặp vectơ (Xs, Ys) được lấy ra từ tập mẫụ - Vectơ Xsđi vào lớp Kohonen.
- Nơ ron trung tõm được chon theo phương trỡnh
- Tất cả cỏc trọng số của nơ ron trờn lớp Kohonen được điều chỉnh theo phương trỡnh .
- Cỏc trọng số của nơ ron trờn lớp ra được điều chỉnh theo phương trỡnh:
Cji(new) = Cji(old) + (t).ădc - dj).(yi - Cji(old)) - Quỏ trỡnh lặp lại đối với đối tượng tiếp theọ
Mỗi lần tất cả cỏc đối tượng mẫu đó đi qua mạng được gọi là một lượt. Thụng thường cần phải thực hiện từ vài trăm đến hàng nghỡn lượt để mạng ổn định. Khi chọn được cỏc hằng số đặc trưng của quỏ trỡnh học amax, amin thớch hợp, quỏ trỡnh học của mạng luụn hội tụ.
3.3.2 Cài đặt mạng lan truyền ngƣợc hƣớng cho nhận dạng ký tự
Một mạng tổng quỏt cho việc nhận dạng ký tự được cài đặt trờn ngụn ngữ C như một lớp (Class) cú tờn gọi là Netcount. Cỏc tham số của mạng là cỏc biến thành viờn cũn cỏc chức năng của mạng được thiết kế cho cỏc hàm thành viờn. Mạng chỉ cú một nơ ron trờn lớp ra và cú kiếu là ký tự.
Class Netcount {protected: int dai, rong, N;
float amax, amin, *W[1600]; char C[1600];
public;
Netcount(int, int);
Void hoc(char*, long T); Char doan (char*);
};
Cỏc trọng số Wji được cấp phỏt động cho bảng cỏc con trỏ W. Khoảng cỏch giữa nơ ron cú toạ độ kj, lj với nơ ron trung tõm kc, lc được tớnh theo cụng thức:
D = max[min(|kj-kc|, |kj-kc+dai|, |kj-kc-dai|), min(|lj-lc|, |lj-lc+rong|,|lj-lc- rong|)]
Hàm phụ thuộc topo ădc - dj) được dựng trong chương trỡnh là hàm tam giỏc: max max max max 0 D D D D D D D d a ci ci cj
Trong đú: Dmax là khoảng cỏch từ lõn cận xa nhất cú thể cú của mạng: Dmax = max(dai/2, rong/2) + 1;
Nhỡn chung để cài đặt mạng nơ ron cho nhận dạng ký tự cần:
Tổ chức số liệu
Tập mẫu được tổ chức trong một tệp số liệụ Cỏc cặp (Xs, Ys) được viết lần lượt theo từng dũng. Một điều đặt ra là phải số thực hoỏ cỏc vectơ vào khoảng [0, 1] vỡ cỏc trọng số của mạng là cỏc số thực. Cỏc nghiờn cứu cho thấy việc số thực hoỏ làm cho mạng cú khả năng đoỏn nhận cỏc ký tự từ cỏc ảnh số sai lệch lớn hơn. Hơn nữa, với việc tổ chức số thực hoỏ, chỳng ta cú thể làm giảm kớch thước của vectơ vào và cú khả năng làm việc đối với cỏc ký tự cú kớch
thước ảnh khỏc nhaụ Thực tế chỉ ra cỏc phương phỏp số thực hoỏ khỏc nhau sẽ ảnh hưởng đến khả năng cực đại mà mạng cú thể đoỏn nhận từ cỏc ảnh sai lệch.
Cấu trỳc và cỏc tham số học
Mục đớch của việc xõy dựng mạng là xỏc định số lượng nơ ron trờn lớp Kohonen. Với số lượng nơ ron trờn lớp Kohonen càng lớn, khả năng đoỏn nhận cỏc ký tự từ cỏc ảnh cú tỷ lệ sai lớn hơn. Tuy nhiờn, khi tăng số lượng cỏc nơ ron, khả năng nhận biết sẽ tiến sỏt tới khả năng cực đại mà mạng cú thể đoỏn nhận với cỏc ảnh sai (phụ thuộc vào phương phỏp số thực hoỏ). Chỳng ta cũng dễ nhận thấy thời gian học và thời gian đoỏn nhận, cũng như bộ nhớ của mỏy tớnh tăng tỷ lệ , cú thể hàm mũ với số lượng nơ ron trờn lớp Kohonen. Thực tế, việc xõy dựng mạng là cụng việc thử nghiệm, dần dần tăng kớch thước mạng cho đến khi đạt được cỏc chỉ tiờu mong muốn.
Cỏc giỏ trị trọng số ban đầu thực sự khụng quan trọng với quỏ trỡnh học nhưng chỳng phải được gỏn bằng cỏc số ngẫu nhiờn từ 0 đến 1.
Cỏc tham số học amax, amin ảnh hưởng khụng nhiều đến quỏ trỡnh học nếu chỳng thoả món cỏc điều kiện sau:
amax [0.3, 1]; amin [0, 0.1].
Với giỏ trị amax = 0.5 và amin = 0.01 cú thể là giỏ trị tốt cho quỏ trỡnh học.
3.3.3 Nhận dạng cỏc ký tự sử dụng mạng lan truyền ngƣợc hƣớng
Một tập mẫu 37 ký tự từ A Z, 0 9 và ký tự '<' được tỏch ra từ tệp ảnh quột bởi scanner cú kớch thước 32 x 32 điểm ảnh.
Ba thử nghiệm được tiến hành là: - Khụng số thực hoỏ
- Lọc cỏc điểm ảnh bằng mặt nạ 3 x 3
- Phõn mảnh ảnh thành 64 mảnh. Mỗi vựng cú giỏ trị thực bằng tổng điểm số điểm ảnh đen ( giỏ trị 1) chia cho 16
Bảng 1 thống kờ khả năng nhận đỳng ký tự từ cỏc ảnh cú tỷ lệ sai cực đại của mạng 20 x 20 nơ ron sau 3000 lượt học.
Bảng 2 thống kờ sự phụ thuộc của khả năng nhận dạng cỏc ảnh sai vào kớch thước với việc số thực hoỏ là phõn 64 mảnh.
Bảng 1 Khụng số thực hoỏ Mặt nạ 3 x 3 Phõn 64 mảnh 3% 15% 19% Bảng 2 10 x 10 20 x 20 30 x 30 40 x 40 3% 19% 24% 25%
Với việc phõn bố của cỏc ký hiệu ở hỡnh bờn ta dễ nhận thấy mạng đó phỏt hiện một cỏch khỏch quan cỏc đặc trưng topo của cỏc ký tự thường được dựng trong cỏc phương phỏp nhận dạng cấu trỳc truyền thống. Cỏc ký tự cú cấu trỳc topo tương đối giống nhau được sắp xếp đặt gần nhau, như cỏc ký tự cú điểm kết thỳc như nhau {'Z', '2'}, {'5', 'S'}; cỏc ký tự cú một chu trỡnh {'ể, '0', 'Q', 'R', '9', 'D'}; Cỏc ký tự cú hai chu trỡnh {'B', '8'}. Một đặc điểm rất quan trọng là mạng đó phỏt hiện ra cỏc ký tự cú "tiềm năng" giống nhau như cỏc ký tự {'H', 'ẫ, 'W'} rất dễ trở thành cú hai chu trỡnh khi ảnh bị sai lớn. Ký tự 'Á khi bị mất gúc cuối bờn trỏi cú thể trở thành số '4'; Ký tự 'Ú rất dễ trở thành cú chu trỡnh. Ngoài ra mạng đó phỏt hiện cỏc ký tự cú một hay nhiều phần giống nhau khú cú khả năng mụ tả trong cỏc chương trỡnh nhận dạng truyền thống như mật độ cỏc điểm đen như {'M', 'X', 'Á}, hay nột cong của đường biờn ký tự 'G' và 'ể.
Kết luận
Từ vớ dụ nhận dạng 37 ký tự cho thấy việc nhận dạng ký tự bằng mạng lan truyền ngược hướng cú hiệu quả, đơn giản và nhanh hơn cỏc phương phỏp truyền thống. Nú cú khả năng nhận dạng được cỏc ký tự từ cỏc ảnh cú chất lượng tồi với số điểm ảnh sai 25%. Lợi thế chớnh của mạng loại này xuất phỏt từ khả năng học cỏc đặc trưng topo của cỏc mẫụ Tuy nhiờn với một tập mẫu khỏ lớn, việc sử dụng tài nguyờn của mỏy tớnh sẽ rất lớn.
PHẦN KẾT LUẬN
Sự phỏt triển của cụng nghệ thụng tin đó cú tỏc động đến nhiều mặt của đời sống xó hội trong đú phải kể đến lĩnh vực giỏm sỏt tự động. Trong giỏm sỏt tự động, việc giỏm sỏt đối với cỏc phương tiện giao thụng là một vấn đề nổi trộị Nhiều chớnh phủ, thành phố trờn thế giới đó xõy dựng hệ thống giỏm sỏt tự động đối với cỏc phương tiện giao thụng cảu mỡnh. Và cỏc hệ thống giỏm sỏt đều lấy biển số xe là mục tiờu giỏm sỏt.
Ở nước ta, cỏc hệ thống giỏm sỏt tự động núi chung và cỏc hệ thống nhận dạng biển số xe núi riờng chưa được chỳ ý tới và nú cũng là một lĩnh vực tương đối mới mẻ. Đa phần cỏc cụng tỏc quản lý, xử lý đối với cỏc phương tiện giao thụng đều cần nhõn lực là con ngườị Bỏo cỏo nhằm mục đớch tỡm hiểu bài toỏn giỏm sỏt, quản lý cỏc phương tiện giao thụng một cỏch tự động thụng qua việc “Phỏt hiện và nhận dạng chữ, số trong biển số xe”.
Khoỏ luận đó trỡnh bày một cỏch hệ thống về bài toỏn nhận dạng biển số xe và cỏc hướng giải quyết trờn cơ sở cỏc bài toỏn cơ bản: Phỏt hiện vựng chứa biển số xe và bài toỏn nhận dạng chữ và số trong vựng được phỏt hiện.
Với mục đớch để tỡm hiểu do thời gian cú hạn nờn em khụng hoàn thành được sản phẩm ứng dụng của mỡnh. Em hy vọng rằng ở Việt nam khụng xa, thỡ cỏc hệ thống này được sử dụng nhiềụ Để hỗ trợ một phần cụng tỏc giỏm sỏt, quản lý cỏc phương tiện giao thụng một cỏch hiệu quả hơn.
TÀI LIỆU THAM KHẢO
[1] Nhập mụn xử lý ảnh số. Ths. Lương Mạnh Bỏ, Pts. Nguyễn Thanh Thủỵ Nxb KHKT 2003.
[2] Một thuật toỏn phỏt hiện vựng và ứng dụng của nú trong quỏ trỡnh vecto húa tự động.PGS.TS Đỗ Năng Toàn.Tạp chớ Tin học và Điều khiển, Tập 16 số 1 năm 2000
[3] Machine Vision: Theory, Algorithms and Practicalities. ẸDavies. Academic Press 1990
[4] A robust and fast skew detection algolrithm for generic document. B.Yu and ẠJain. Pattern Reconigtion 1996
[5] Khoỏ luận của anh Đào Đỡnh Dũng trường ĐHQGHN khoỏ 2005 Và 1 số tạp chớ tin học khỏc…