lớp
Chơng này trình bày các vấn đề sau:
3.1. Mạng nơ ron truyền thẳng và thuật toán lan truyền ngợc của sai số 3.1.1. Kiến trúc cơ bản
3.1.2. Cơ chế học của mạng nơ ron truyền thẳng nhiều lớp 3.1.3. Thuật toán lan truyền ngợc (Back-Propagation) 3.1.4. Một số cải tiến thuật toán lan truyền ngợc
3.2. Sử dụng giải thuật di truyền kết hợp với giải thuật lan truyền ngợc của sai số trong việc học tham số của mạng nơ ron truyền thẳng nhiều lớp
3.2.1. Đặt vấn đề
3.2.2. Giải thuật di truyền trong việc học tham số
3.2.3. Ghép nối với giải thuật lan truyền ngợc của sai số
3.1. Mạng nơ ron truyền thẳng và thuật toán lan truyền ngợc của sai số3.1.1. Kiến trúc cơ bản 3.1.1. Kiến trúc cơ bản
Một mạng nơ ron truyền thẳng nhiều lớp (Multi-layer Feed Forward) gồm một lớp vào, một lớp ra và một hoặc nhiều các lớp ẩn. Các nơ ron đầu vào thực chất không phải các nơ ron theo đúng nghĩa, bởi lẽ chúng không thực hiện bất kỳ một tính toán nào trên dữ liệu vào. Các nơ ron ở lớp ẩn và lớp ra mới thực sự thực hiện các tính toán. Cụm từ “truyền thẳng” có nghĩa là tất cả các nơ ron chỉ có thể đợc kết nối với nhau theo một hớng tới một hay nhiều các nơ ron khác trong lớp kế tiếp (loại trừ các nơ ron ở lớp ra).
Mỗi liên kết gắn với một trọng số, trọng số này đợc thêm vào trong quá trình tín hiệu đi qua liên kết đó. Các trọng số có thể dơng (kích thích) hay âm (kiềm chế). Mỗi nơ ron tính toán mức kích hoạt của chúng bằng cách cộng tổng các đầu vào và đa ra hàm chuyển (hàm kích hoạt). Một khi đầu ra của tất cả các nơ ron trong một lớp mạng cụ thể đã thực hiện tính toán thì lớp kế tiếp có thể bắt đầu thực hiện tính toán của mình bởi vì đầu ra của lớp hiện tại là đầu vào của lớp kế tiếp. Khi tất cả các nơ ron đã thực hiện tính toán thì các nơ ron đầu ra thể hiện kết quả của chúng. D ới đây là hình vẽ minh hoạ mạng nơ ron truyền thẳng hai lớp.
Hình 3.1: Mạng nơron truyền thẳng 2 lớp
Trong đó: