3. Đối tượng và phạm vi nghiên cứu
2.3. Mạng Perceptron một tầng
2.3.1. Kiến trúc mạng Perceptron một tầng
Mạng Perceptron được chỉ ra trong Hình 2.12, với đầu ra của mạng
a = hardlim(Wp + b) và W là ma trận trọng số liên kết. Hình 2.12.Mạng Perceptron 1,1 1,2 . 1, 2,1 2,2 . 2, W = . . . . . . . . . . . . [ ,1 ,2 . , ]
,1
,2
1
.
2
Nếu ký hiệu véc tơ hàng của ma trận W là: iW = Thì: W = .
. .
. .
[ , ] [ ] Và khi đó phần tử thứ i của véc tơ đầu ra là:
ai = hardlim(ni) = hardlim(iWTp + b)
Như vậy nếu iWTp > -b thì đầu ra của mạng là 1, ngược lại đầu ra là 0, do đó mỗi nơ-ron trong một mạng chia không gian vào thành hai miền.
2.3.1.1. Mạng Perceptron một nơ-ron
Xét mạng perceptron một nơ-ron có hai đầu vào được chỉ ra trong Hình 2.13.
Hình 2.13. Mạng Perceptron một nơ-ronhai đầu vào
Đầu ra của mạng: a = hardlim(Wp + b) = hardlim(W1,1p1+ W1,2p2+ b) Biên quyết định được xác định bởi véc tơ đầu vào khi đầu vào của mạng
bằng không. Tức là:
N = 1WTP + b = W1,1P1 + W1,2P2 + b = 0. Dễ dàng chứng minh được biên
quyết định trực giao với véc tơ trọng số liên kết 1WT và chia không gian vào thành 2 miền, một miền cho đầu ra bằng 1 và một miền cho đầu ra bằng 0.
2.3.1.2. Mạng Perceptron nhiều nơ-ron
Mỗi nơ-ron có một biên quyết định, biên quyết định của nơ-ron thứ i là:
iWTp + bi= 0
Hình 2.14. Mạng Perceptron
Mạng Perceptron nhiều nơ-ron có thể phân lớp đầu vào thành nhiều dạng. Mỗi dạng được biểu diễn bởi một véc tơ đầu ra khác nhau. Vì mỗi phần tử của véc tơ đầu ra có thể là 0 hoặc 1 nên có 2s dạng với s là số nơ-ron.
2.3.2. Luật học Perceptron
Đây là luật học có giám sát, với mỗi đầu vào pq cần cung cấp mục tiêu tq. Khi mỗi đầu vào được đưa vào mạng, đầu ra của mạng được so sánh với mục tiêu. Luật học điều chỉnh trọng số và hệ số hiệu chỉnh sao cho đầu ra của mạng gần với mục tiêu nhất.
a. Luật học cấu trúc.
Quá trình huấn luyện được bắt đầu với giá trị khởi tạo tham số mạng có thể được xác định ngẫu nhiên. Sau đó, tương ứng với mỗi véc tơ đầu vào p, mạng nơ-ron tiến hành so sánh đầu ra a với mục tiêu t để xác định quy tắc hiệu chỉnh ma trận trọng số liên kết.
Nếu t = l và a = 0 thì 1WNew = 1Wold + p
Nếu t = 0 và a = 1 thì 1WNew = 1Wold–p (2.3)
b. Luật học hợp nhất
Định nghĩa sai số Perceptron e = t - a là chênh lệch giữa mục tiêu và đầu ra của mạng, khi đó ba luật trong phương trình (2.3) có thể được viết thành:
Nếu e = l thì 1WNew = 1Wold + p
Nếu e = -l thì lWNew = 1Wold – p (2.4)
Nếu e = 0 thì 1WNew = 1Wold
Xét hai phương trình đầu, dấu của p trùng với giá trị e, phương trình thứ ba vắng mặt p tương ứng với e = 0 do dó ta có thể hợp ba luật trên thành:
1WNew=1Wold+ ep =1Wold+ (t - a) p (2.5)
Luật này có thể được mở rộng để huấn luyện hệ số hiệu chỉnh:
bNew = bold + e = bold + (t - a) (2.6)
c. Huấn luyện mạng Perceptron nhiều nơ-ron
Luật Perceptron được đưa ra ở phương trình (2.5) và (2.6) dùng để huấn luyện mạng Perceptron một nơ-ron. Ta có thể tổng quát luật này cho mạng Perceptron nhiều nơ-ron như sau:
iWNcw = iWold + ei p và biNew = biold + ei
hoặc viết dưới dạng ma trận: WNew= Wold+ epT và bNew= bold+ e
2.3.3. Hạn chế của mạng Perceptron một tầng
Luật học Perceptron bảo đảm hội tụ sau một số bước hữu hạn. Nhưng hạn chế của luật học Perceptron là chỉ cho phép giải quyết các bài toán mà miền phân chia không gian vào là khả tách tuyến tính (linear separability). Ví dụ đối với các bài toán đơn giản sau mà miền phân chia không khả tách tuyến tính thì mạng Perceptron một tầng không thể giải quyết được. Năm 1970 Rosenblatt đã nghiên cứu một mạng phức tạp hơn để giải quyết những hạn chế trên là mạng Perceptron nhiều tầng nhưng ông không thể đưa ra được luật học đủ mạnh để huấn luyện mạng. Cho đến giữa năm 1980 David Rumelhart, Geoffrey Hinton và Ronald Williams mới đưa ra thuật toán lan truyền ngược