b) Phương pháp độ cao
3.3.3.2. Trạng thái học
Mạng nơ ron khi mới hình thành thì chưa có tri thức, tri thức của mạng được hình thành dần qua quá trình học. Mạng nơ ron được học bằng cách trước tiên đưa vào nó một bộ dữ liệu chuẩn (tập mẫu học) gồm những tín hiệu đầu vào và tín hiệu đầu ra mong muốn. Sau đó qua trạng thái ánh xạ, với mỗi tín hiệu đầu vào mạng đưa ra một tín hiệu đầu ra thực. Giữa tín hiệu đầu ra thực và đầu ra mong muốn luôn có một sai số nhất định nào đó. Quá trình học sẽ là quá trình hiệu chỉnh các bộ trọng số của mạng để sao cho đầu ra thực là gần giống với đầu ra mong muốn nhất. Sau mỗi quá trình như vậy thì những đáp ứng phù hợp với từng loại kích thích sẽđược lưu giữ và hình thành nên tri thức cho mạng. Có thể phân quá trình học thành ba loại sau đây.
- Học có giám sát: trong học có giám sát, mạng được cung cấp một tập mẫu học với p cặp véc tơ vào/ra {x(k), d(k)}. Qua trạng thái ánh xạ ứng với mỗi véc tơ đầu vào x(k) mạng cho ra một véc tơ đáp ứng đầu ra y(k). Sai lệch Ek ứng với mẫu học thứ k được biểu diễn dưới dạng hàm mục tiêu bằng trung bình bình phương sai lệch giữa mẫu d(k) và đáp ứng thực y(k) của mạng: p 2 2 (k) (k) (k) (k) k j j j 1 1 1 E d y d y 2⎡ ⎤ 2 = ⎡ ⎤ = ⎣ − ⎦ = ∑⎣ − ⎦ (3.15)
Mặc dù quá trình học được thực hiện từng bước, nhưng hàm mục tiêu vẫn phải được xây dựng cho toàn bộ chu trình học:
p 2 (k) (k) k j j (k) (k) j 1 1 E E d y 2 = ⎡ ⎤ =∑ = ∑∑⎣ − ⎦ (3.16)
Quá trình học là quá trình thực hiện nhiệm vụ giá trị cực tiểu Emin cho hàm mục tiêu E bằng cách thay đổi giá trị của các phần tử trong véc tơ trọng số.
Một trong những cách thực hiện bài toán này là sử dụng phương pháp lan truyền ngược sai số với kỹ thuật cập nhật trọng số theo hướng giảm gradien.
- Học không giám sát: Trong kỹ thuật học này không có sự hồi tiếp từ môi trường để cho biết tín hiệu ra thực của mạng nên được điều chỉnh như thế nào hoặc có đúng với đầu ra mong muốn hay chưa, mà mạng nơ ron phải tự nó phát hiện ra mối liên hệ có liên quan có thể tồn tại trong dữ liệu vào (chẳng hạn như các mẫu, các đặc trưng, các quy tắc, sự tương quan, ...) và chuyển mối liên hệ này cho đầu ra. Với cách học này thì mạng sẽ cho chúng ta biết được một mẫu mới đồng dạng như thế nào với mẫu đặc trưng trong quá khứ.
- Học tăng cường: Như đã nói ở phần trên, kỹ thuật học có giám sát là hiệu chỉnh dần tín hiệu đầu ra tương ứng với từng cặp mẫu tín hiệu vào – ra. Tuy nhiên, thực tế nhiều khi không có được thông tin một cách chi tiết do đó thường phải sử dụng thuật toán học tăng cường, trong đó bổ sung thêm tiêu chuẩn đánh giá mức độ tốt của đầu ra mạng với đầu vào tương ứng.
Tóm lại, các kỹ thuật học trong mạng nơ ron có thể nhắm vào việc hiệu chỉnh các trọng số liên kết gọi là học thông số, hoặc nhằm vào việc hiệu chỉnh cấu trúc của mạng bao gồm số lớp, số nơ ron, kiểu và trọng số liên kết – gọi là học cấu trúc, đểđảm bảo đầu ra của mạng là gần với đầu ra mong muốn nhất.
3.3.4. Một số mô hình mạng nơ ron 3.3.4.1. Mạng truyền thẳng một lớp