3.2.2. Quá trình học mạng nơ-ron truyền thẳng một lớp
Với mỗi mẫu học ( ( ), ( )), = ̅̅̅̅̅1, các bước được thực hiện sau [36][45]:
Bước 1: Tính giá trị ( ) theo công thức (3.6):
y ( k ) = g (w i
Bước 2: Xác định sai số tại nơ-ron i: = − , trong đó là giá trị đầu ra mong muốn và là giá trị đầu ra tính tốn tại nơ-ron thứ .
Bước 3:Tính ∆ là số gia của trọng số theo công thức (3.7):
∆ = ( là tốc độ học, 0< <1) (3.7)
Bước 4: Hiệu chỉnh
1) là trọng số sau khi điều chỉnh ở lần học tại thời điểm .
Sau quá trình học, đầu ra tính tốn được ( ) sẽ bằng với đầu ra mẫu học ( ), thỏa phương trình (3.8).
y ( k ) = g (w i
với = 1,2, . . , ; = 1,2, . . ,
(3.8)
3.3. Mạng nơ-ron truyền thẳng nhiều lớp
Mạng Perceptron nhiều lớp là một mở rộng của mơ hình mạng Perceptron một lớp với sự bổ sung thêm những lớp ẩn và các nơ-ron ẩn có hàm chuyển (hàm kích hoạt) là phi tuyến. Hình 3.3 minh họa mạng nơ-ron truyền thẳng có ba lớp.
3.3.1. Thuật toán học lan truyền ngược
Thuật toán học lan truyền ngược (truyền lỗi) do Rumelhart và cộng sự đề xuất là một trong số những kết quả nghiên cứu quan trọng nhất đối với sự phát triển của mạng nơ-ron nhân tạo. Thuật toán sử dụng một tập các mẫu gồm các cặp vào - ra để huấn luyện mạng. Hình 3.3 mơ tả một ví dụ của q trình huấn luyện mạng truyền thẳng có nhiều lớp [36]. Mạng nơ-ron được xét có nơ-ron ở lớp vào, nơ-ron trong lớp ẩn và nơ-ron ở lớp ra. Đường kẻ liền thể hiện luồng tín hiệu được truyền thuận từ đầu vào tới đầu ra còn các đường kẻ nét đứt thể hiện luồng tín hiệu lỗi được truyền ngược trở lại từ đầu ra. Trọng số của liên kết từ nơ-ron của lớp vào tới nơ-ron của lớp ẩn ký hiệu là và trọng số của kết nối từ nơ-ron ℎ của lớp ẩn tới nơ-ron của lớp ra ký hiệu là .
Tham chiếu Lớp ra Lớp ẩn Lớp vào x1 x2 xm L an tr uy ền n gư ợc