K iến trúc m ạn g được xây ở đây gồm bốn lớp không kể lớp đầu vào. Lớp đầu tiên của m ạ n g (lớp được thiết kế đặc biệt) được gọi là lớp trích chọn đặc trư ng (lớp F), tiếp th eo là hai lớp ẩn (lớp H| và lớp H 2), cuối cùng là lóp đầu ra (lớp O). C ác liên kết g iữ a lớp F với mặt phẳng đầu vào là liên kết có chọn lọc (được chọn lọc dựa trên các luật cho trước). Các liên kết giữa lớp Hị với lớp F, lớp H 2 với lớp t ì Ị, và lớp o với lớp H 2 là các liên kết đầy đủ.
Nguyễn Thị Thanh Tân Trang - 32 - Luận văn thạc sĩ
Ảnh gốc Anh đầu Lớp trích chọn Lớp ẩn 1 vào 24 X 24 đặc trưng (Lớp F) (Lớp Hi)
Tiền xử lý: Xoá nhiễu, nối nét đứt, làm mảnh ảnh Lớp ẩn 2 Lớp đầu ra (Lơp H2) (Lớp O) (h’4, f , y 4) 1 Oị I Liên kết đầy đủ Liên kết đầy đủ Liên kết đầy đủ M ạ n g no'ron t r u y ề n t h ẳ n g b ố n ló p X "* Ấ Ẩ
Hình 2.2: Mô hình mạng no'ron truyên thăng bôn lóp cải tên
1. L ớ p trích chọn đặc trưng (lóp F)
V ới bất kỳ m ộ t m ạng nơron nào thì đầu vào bao giờ cũng là các v e cto r đặc trư ng c ủa đối tư ợ n g cần nhận dạng. Có hai cách tiếp cận thườ ng được sử dụng để xác định vector đặc trưng của m ột đối tượng:
■ T h ứ nhất, là chúng ta tự xây dựng các hàm để tính toán các đặc trưng v à sử d ụ ng kết quả c ủ a các hàm đó làm đầu vào của m ạn g nơron.
■ T h ứ hai, là thiết kế các lớp m ạng nơron để tính toán các đặc trưng đó m ột cách tự động.
P h ư ơ n g p h á p của chú ng tôi dựa trên cách tiếp cận thứ hai. L ớ p m ạ n g đượ c xây đự n g để trích chọn các đặc trưng là lớp đầu tiên của m ạng (được gọi là lớp F). Đ ầ u và o của lóp này là ảnh của kí tự (kích thước 24 X 24) sau khi đã được tiền x ử lý (n h ằ m làm tốt và làm m ảnh ảnh). V iệc làm m ảnh ảnh đảm bảo cho các v ù ng đặc trư ng trên ảnh được thể hiện rõ nét hơn. C ác noron của lớp này đượ c ph ân bố trên
N ç u y e n Thị Thanh Tân Trang - 33 - Luận văn thạc sĩ
m ột m ặt p hản g (đ ư ợc kí hiệu là mặt phảng P|), mặt phẳng này có kích thước 6 X 24. Đ e trích chọn đượ c các đặc trưng của ảnh một cách tự động, mỗi phần tử của mặt p h a n g P| sẽ đư ợ c liên kết với m ột vùng đặc trưng (feature area) trên mặt p h ẳ n g đầu vào. M ộ t số kiểu v ù n g đặc trưng điển hình được thể hiện trên Hình 2.3.
Vùng ảnh được xác định Các vùng đặc trưng xác định theo tiêu chuẩn entropy theo trục chiếu chéo của ảnh
Các vùng đặc trưng A---được xác định theo trục chiếu dọc của ảnh - ... . ... . Li Ặ Các vùng đặc trưng được xác định theo trục chiếu ngang của ảnh
Hình 2.3: Một số vùng đặc trung trên ảnh
M ỗ i liên kết đ ư ợ c thể hiện b ằ n g m ột trọng số liên kết, tập các trọ n g số liên kết của cá c n ơ ro n trên m ặt p h ẳ n g Pi với tất cả các v ùn g đặc trưng trên ảnh đầu vào đượ c
g ọ i là m ộ t m a trận t r ọ n g s ố l i ê n k ế t ( đ ư ợ c k í hiệu là m a trận W 1). Ở đ â y c h ú n g tô i
qui định kích th ư ớ c lớn nhất của m ột vùng đặc trưng là 24 v à nhỏ nhất là 1.
D o đặc đ iểm là m ỗi n ơ ro n trên m ặt p h ẳng Pi k h ôn g liên kết với tất cả các nơron trê n m ặt p h ẳ n g đ ầ u v à o m à đư ợ c chỉ liên kết với các nơron trên m ột v ùn g đặc trư ng
Nguyen Thị T ha nh Tân Trang - 34 - Luận văn thạc sĩ
nên các liên kết giữa mặt phẳng P| với m ặt phẳng đầu vào được gọi là sự liên kết chọn lọc (hay còn gọi là liên kết không đầy đủ ). M ột số kiểu liên kết g iữ a lóp F với lóp đầu vào được thể hiện trên Hình 2.4.
Ả nh đầu vào
M ặt p h ẳ n g p , (lớp F)
Hình 2.4: M ột số kiểu liên kết giữa lớp F vói ló p đầu vào
Nguyen Thị Thanh Tân Trang - 35 - Luận vãn thạc sĩ
K hông giống như dôi với các lớp Hi, H2 và o . T ron g quá trình huấn luyện mạng, Các giá trị ban đầu c ủa ma trận trọng số liên kết vv' sẽ không đ ư ợ c khởi tạo một cách ngẫu nhiên m à được xác định theo các qui tắc đã được qui định trước.
Độ lệch v à h àm kích hoạt của các nơron trên lớp này được kí hiệu lần lượt là b' và f 1. T ro n g đó, hàm kích hoạt f 1 là m ột hàm tuyến tính (purelin - Bảng 1-1), với giá trị của hàm được tính theo công thức: f \ à ) = a, với giá trị của a € [0,1].
2. L ó p ẩn 1 (ló p H i)
C ác nơron của lóp này được phân bố trên m ột m ặt phẳng (kí hiệu là mặt p hẳn g p 2) có kích thước 6 x 1 2 . Các nơron nằm trên m ặt p h ẳ n g này được liên kết m ột cách đầy đủ với các nơron của mặt p h ẳn g P| (kích thước 6 X 24), ma trận trọ ng số liên kết giữa lớp này với lớp F được kí hiệu là w 2. T ổ n g số liên kết của lớp này là 10368 liên kết, trong đó có 10082 liên kêt có thể thay đổi trọng số. Đ ộ lệch và hàm kích hoạt c ủa lớp n ày được kí hiệu lần lượt là b 2 v à T ro n g đó, hàm kích hoạt f2 là m ột hàm phi tuyến Log-Sig m oid, giá trị của h àm được tính theo công thức:
f ( a ) --- •
' l + e-°
3. L ó p ẩ n 2 (ló p H 2)
Các nơron của lớp này được ph ân bố trên m ộ t m ặt p hẳng (kí hiệu là m ặt p h ẳ n g p 3) có kích thước 6 x 6 . C ác nơron n ằm trên m ặt p h ẳ n g này được liên kết m ột cách đầy đủ với các nơron của m ặt p h ẳ n g p 2 (kích thướ c 6 X 12). M a trận trọng số liên kết giữa lớp này với lớp Hi được kí hiệu là w 3. T ổ n g số liên kết của lớp này là 2592 liên kết, trong đó có 2485 liên kết có thể thay đổi trọng số. Đ ộ lệch v à hàm kích hoạt c ủa lớp này được kí hiệu lần lượt là b 3 và f3. T ro ng đó, hàm kích hoạt f3 là m ột hàm phi tuyến L og-Sigm oid.
4. L ớp đầu ra (lóp O )
Ng u y ễn Thị Thanh Tân Trang - 36 - Luận văn thạc sĩ
Để tăng tốc dộ nhận dạng, số nơron cùa lớp này k hông được thiết kế m ột cách cố định m à được xác định một cách tuỳ chọn theo kiểu mạng, ở đây, ch úng tôi qui định ba kiểu mạng:
■ M ạn g dùng để nhận dạng toàn bộ các chữ số và chữ cái viết tay k h ôn g dấu, số nơron của lớp này là 62 nơron (62 đầu ra) tươ ng ứng với 10 chữ số (0 —>9), 26 chữ cái viết thườ ng (a -> z ) và 26 chữ cái viết hoa (A —>Z).
■ M ạng chỉ dùng để nhận dạng chữ cái viết tay, số nơron của lớp này là 52 nơron tương ứng với 26 chữ cái viết th ư ờ n g và 26 ch ữ cái viết hoa.
■ M ạn g chỉ dùng để nhận dạng chữ số viết tay, số nơron của lớp này sẽ là 10 nơron tương ứng với 10 chữ số.
C ác nơron của lớp này được liên kết m ột cách đầy đủ với các nơron nằm trên m ặt ph ẳn g p 3 (kích thướ c 6 X 6). M a trận trọng số liên kết giữa lớp này với lớp H | được kí hiệu là w 4. T ổ n g số liên kết giữa lớp này với mặt ph ẳn g p 3 được xác định theo số số đầu ra của mạng. Cụ thể là:
■ N e u số nơron của m ạng là 62 thì tổng số liên kết là 2232 liên kêt, trong đó 2170 liên kết có thể thay đổi trọng số
■ N ếu số nơron của m ạng là 52 nơron thì tổng số liên kết sẽ là 1872 liên kết, trong đó 1820 liên kết có khả năng thay đổi trọng số
■ N ếu số nơron của m ạng là 10 nơron thì tổng số liên kết sẽ là 360 liên kết, trong đó 350 liên kết có khả năng thay đổi trọng số.
H ệ số độ lệch và h àm kích hoạt của lớp này được kí hiệu lần lượt là b 4 và f4. T rong đó, h àm kích hoạt í4 là m ộ t h à m phi tuyến L og-Sigm oid.