CHƯƠNG 2: MẠNG NƠRON VỚI BÀI TOÁN NHẬN DẠNG ẢNH
2.2 Mô hình toán học và kiến trúc mạng nơron
2.2.1 Mô hình toán học của mạng nơron
2.2.1.1 Mô hình toán học của một nơron nhân tạo
Dựa trên những kiến thức cơ bản về nơron nhân tạo nhƣ đã trình bày ở phần trên, ta có thể xây dựng một mô hình toán học của nơron nhân tạo nhƣ hình vẽ 2.3 dưới đây:
Hình 2.3 Mô hình toán học mạng nơron nhân tạo
Các tín hiệu vào ( còn gọi là mẫu vào) pi (i=1..R) đƣợc đƣa tới đầu vào của nơron S tạo thành ma trận tín hiệu vào P. Mỗi đầu vào của nơron S sẽ có một trọng số kí hiệu là ws,i (i=1..R) và các trọng số này tạo thành một ma trận trọng số đầu vào W của nơron. Mức ngƣỡng của nơron có thể đƣợc biễu diễn trong mô hình toán học bằng hệ số bias b ( gọi là thế hiệu dịch). Ta có b=-. Hàm PSP (Post Synaptic Potential function ) khi các đại lượng là vô hướng là tổng của các tín hiệu vào có trọng số và hệ số bias (khi ở dạng vectơ thì là hàm radial). Nhƣ vậy tín hiệu vào là nnet sẽ đƣợc tính theo công thức sau:
nnet w ps,1 1w ps,2 2...ws R, pR b (2.1) Viết dưới dạng ma trận sẽ là:
nnet WPb (2.2) Xem các biểu thức trên thì ta có thể coi hệ số bias nhƣ trọng số của một đầu vào với tín hiệu bằng 1. Có một số loại nơron có thể bỏ qua hệ số bias này.
Hàm hoạt hoá activation function (hay còn gọi là hàm truyền đạt transfer function) đƣợc kí hiệu là f sẽ biến đổi tín hiệu đầu vào net thành tín hiệu đầu ra nơron a.Ta có biểu thức:
a=f(nnet)=f(WP+b) (2.3) Thông thường thì hàm đầu ra sẽ được chọn bởi người thiết kế tuỳ theo mục đích của mạng. Các trọng số và hệ số bias là các thông số điều chỉnh đƣợc của mạng
nơron. Chúng đƣợc điều chỉnh bởi một số luật học (learning rule). Nhƣ vậy quan hệ giữa đầu ra và các đầu vào của nơron sẽ tuỳ thuộc vào việc nơron đó đƣợc dùng cho các mụch đích cụ thể nào.
2.2.1.2 Cấu trúc mạng nhân tạo
Mạng nơron thường được cấu tạo thành các lớp gồm lớp vào (input layer), lớp ra (output layer) và các lớp ẩn (hidden layer). Các nơron trong một lớp chỉ nối với các nơron lớp tiếp theo, không cho phép có các liên kết giữa các nơron trong cùng một lớp.
Lớp vào là lớp nhận thông tin từ số liệu gốc. Thông tin này đƣợc đƣa đến đầu vào của một số hay toàn bộ các nơron của lớp tiếp theo (lớp ẩn). Nhƣ vậy mỗi nút của lớp ẩn sẽ nhận đƣợc tín hiệu của một số các nút lớp vào. Các giá trị này sẽ đƣợc nhân với hệ số nhân (trọng số) của các nút ẩn và đƣa vào hàm thế sau khớp nối-PSP (Post Synaptic Potential function) thực hiện chức năng đầu vào để tạo tín hiệu duy nhất net. Chức năng kích hoạt đầu ra đƣợc thực hiện bằng hàm hoạt hoá ặ) (activation function) hay còn gọi là hàm truyền f(.) (transfer function). Hàm này sẽ nhận tín hiệu đầu vào net để tạo ra tín hiệu đầu ra của nơron (kết xuất của nơron lớp ẩn). Tín hiệu ra của các nút ẩn lại đƣợc đƣa đến các nút của lớp tiếp theo. Quá trình xử lý tương tự cho đến khi tín hiệu được đưa ra tại các nút lớp ra. Đây chính là tín hiệu đầu ra của mạng. Nó chính là giá trị của các biến cần tìm.
Mạng nơron có thể tổ chức theo kiểu liên kết đầy đủ tức là đầu ra của các nơron lớp trước sẽ có liên kết với tất cả các nơron ở lớp tiếp theo hoặc ngược lại theo kiểu không đầy đủ-mỗi đầu ra chỉ liên kết với một số nơron của lớp tiếp theo tuỳ theo chức năng của mạng.
2.2.1.3 Hàm truyền (Hàm hoạt hoá)
Hàm hoạt hoá (activation function) có thể là một hầm tuyến tính hoặc phi tuyến của tín hiệu đầu vào net-nnet ,nó đƣợc chọn để thoả mãn một số đặc điểm kỹ thuật của bài toán mà mạng nơron cần giải quyết. Hình 3.4 cho thấy quan hệ giữa
tín hiệu vào p và tín hiệu ra a của nơron một đầu vào, với hàm kích hoạt là hàm Hardlimit.
Hình 2.4 Nơron 1 đầu vào với hàm hoạt hoá là hàm hardlimit
Tên hàm Quan hệ đầu vào đầu ra
Hard-limit (Hardlimit)
a=0 net<0 a=1 net 0 Hard-limit đối xứng
(Symmetrical Hardlimit)
a=-1 net<0 a=1 net 0 Đường thẳng
Linear a=net
Hàm logistic
(log-sigmoid) e net
a
1
1
Hàm Hypecbol xích ma
(Hyperloic Tangent Sigmoid) net net
net net
e e
e
a e
Cạnh tranh (Competitive)
a=1 nơron có net lớn nhất a=0 còn lại
Hình 2.5 Một số dạng hàm hoạt hóa trong mạng nơron nhân tạo