Ạ Cấu trúc mạng
Mạng Perceptron do F Rosenblatt đề xuất năm 1960. Đây là mạng truyền thẳng một lớp có một hoặc nhiều đầu rạ Để đơn giản trong các trình bày ta giả sử mạng có một đầu rạ
Lớp vào Lớp ra Hình 7.22. Mạng Perceptron out = 1 nếu Σwjsj >= 0 0 nếu ngợc lại (14) B. Huấn luyện mạng
Mạng học dựa trên nguyên tắc có giám sát với tập mẫu {(Xs,Ys)}
ý tởng cơ bản của quá trình huấn luyện mạng là xác điịnh bộ trọng số W sao cho outs = Tinh(Xs,W)=Ys
đối với mọi mẫu học s.
Ban đầu các trọng số đợc gán ngẫu nhiên trong khoảng [-0,5 0,5]. Sau đó hiệu chỉnh các trọng số sao cho phù hợp với các mẫu học, làm giảm sai số giữa giá trị quan sát Ys với giá trị tính toán outs .
Các bớc tiến hành nh sau:
• Xác định ngẫu nhiên bộ trọng số trong [-0.5, 0.5].
• Với mỗi mẫu học (Xs,Ys), Xs=(Xs1,..Xsn), thực hiện các bớc : - Tính giá trị outs theo công thức (14)
- Xác định Err = Ys -outs
Hiệu chỉnh các trọng số Wj=Wj+α Xsj*Err, trong đó α là hằng số học.
Luật học này có khác một chút so với nguyên bản do Rosenblatt đề nghị. Rosenblatt đã chứng minh đợc rằng quá trình học của mạng Perceptron sẽ hội tụ tới bộ trọng số W, biểu diễn đúng các mẫu học với điều kiện là các mẫu này biểu thị các điểm rời rạc của một hàm khả tách tuyến tính nào đó (hàm f : Rn -> R đợc gọi là khả tách tuyến tính nếu các tập {f -1(xk)}, với xk thuộc miền trị của f, có thể tách đợc với nhau bởi các siêu phẳng trong không gian Rn).
Năm 1969, Minsky và Papert đã chứng minh một cách chặt chẽ rằng lớp hàm phụ thuộc (giữa đầu ra vào đầu vào) có thể học bởi mạng Perceptron là lớp hàm khả tách tuyến tính.
Có thể thấy rằng sự hội tụ của quá trình học của mạng dựa trên nguyên lý tìm kiếm gradient trong không gian trọng số làm cực tiểu hàm sai số :
Err(W) = 1/2(Ys -outs(w))2
Một điểm đáng chú ý là hệ số học α phải đợc chọn không quá lớn để đảm bảo sự hội tụ của quá trình.
C. Sử dụng mạng và khả năng biểu diễn của mạng
Nh đã chỉ ra trong phần nhập môn, các nơ ron riêng lẻ có thể biểu diễn các hàm logic sơ cấp nh: AND, OR, NOT. Từ đó có thể hình dung rằng lớp các hàm có thể tính dợc nhờ mạng nơ ron Perceptron tơng đối phong phú. Sau đây là một số hàm tiêu biểu:
- Hàm "Đa số"; Hàm này cho giá trị 1 nếu có hơn nửa số đối số có giá trị 1 và 0 trong trờng hợp ngợc lạị Ta xây dựng mạng Perceptron có n đầu vào nhận giá trị 0, 1 và một nơ ron ra với các trọng số liên kết wj = 1 và ngỡng θ = n/2.
- Hàm "thiểu số": Hàm này cho giá trị 1 nếu không quá nửa số đối số có giá trị 1 và 0 trong trờng hợp ngợc lạị Mạng Perceptron tơng ứng đợc xây dựng với các trọng số liên kết wj = -1 và ngỡng θ = -n/2.
Tuy vậy, không thể dùng Perceptron để tính hàm X xor Y, bởi lẽ hàm này không khả tách tuyến tính, không tồn tại 1 đờng thẳng phân chia 2 vùng {(0,0), (1,1)}và {(0,1), (1,0)}, tơng ứng với các kết quả 0 và 1.