Trong mục này trình bày một kiến trúc mạng truyền thẳng được ứng dụng rộng rãi trong hồi quy và nhận dạng mẫu: mạng truyền thẳng đa tầng (multilayer feedforward network). Trong kiến trúc này các nơron được sắp xếp thành các tầng.
Hình 4.8. Kiến trúc các mạng truyền thẳng đa tầng
Hình 4.8 mơ tả một mạng ba tầng: tầng vào, tầng ra và một tầng ẩn. Các đơn vị của tầng vào khơng phải là các nơron mà chỉ là các “trạm” lưu các giá trị đầu vào. Các đơn vị của một tầng (trừ tầng ra) được nối với tất cả các đơn vị của tầng sau nĩ (mạng kết nối đầy đủ). Các đơn vị trong mỗi tầng được đánh số bắt đầu từ 1, 2, … Chúng ta ký hỉệu wij là trọng số của đường nối từ nơron thứ i ở một tầng tới nơron thứ j ở tầng sau. Về nguyên tắc khơng cĩ gì hạn chế
lựa chọn các hàm kích hoạt ở các nơron. Tuy nhiên, để thuận tiện cho ký hiệu và tính tốn, thường chọn cùng một hàm kích hoạt cho tất cả các nơron trong cùng một tầng. Các hàm kích hoạt ở tầng ẩn thường được chọn là hàm sigmoid, cịn các hàm kích hoạt ở tầng ra là hàm tuyến tính hoặc hàm sigmoid hoặc hàm tanh… tuỳ thuộc vào mục tiêu của ứng dụng.
Mơ tả quá trình tính tốn diễn ra trong mạng. Đĩ là quá trình truyền thẳng các thơng tin qua mạng, diễn giải điều này với mạng ba tầng trong hình 4.8. Đầu tiên các giá trị đầu vào x ,x ,...,x1 2 nđược đưa vào mạng và được truyền tới tất cả các nơron của tầng ẩn. Mỗi nơron j của tầng ẩn sẽ thực hiện tính đầu ra
j
z của nĩ, sự tính tốn này gồm hai giai đoạn; đầu tiên tính tổng trọng số, sau đĩ truyền tổng này qua hàm kích hoạt để tính đầu ra. Giả sử h là hàm kích hoạt ở tầng ẩn này, khi đĩ ta cĩ: n J ji i j0 i 1 s w x w (4.12) n j j ji i j0 i 1 z h(s ) h( w x w ) (4.13)
Các tính tốn trên được tiến hành đồng thời trên tất cả các nơron của tầng ẩn. Sau đĩ các đầu ra zj đĩ được truyền tới tất cả các nơron của tầng sau (trong mạng này thì đĩ là tầng ra), tức là các zj trở thành các đầu vào của các nơron ở tầng tiếp theo. Trong mạng hình 4.8, nếu ta ký hiệu yk là đầu ra của nơron k của tầng ra và g là hàm kích hoạt ở tầng ra, thì tương tự như trên ta cĩ
m k kj i k0 j 1 y g( w x w ) (4.14)
trong đĩ, m là số nơron của tầng ấn. Cần lưu ý rằng, các trọng số wji và wkj
trong các cơng thức (4.13) và (4.14) là khác nhau, đáng lẽ phải ký hiệu chẳng hạn là w(1)ji và w(2)kj , nhưng để dễ nhìn ta đã bỏ đi.
Thay các zj được xác định bởi (4.13) vào (4.14), ta nhận được: m n k kj ji i j0 k0 j 1 i 1 y g( w h( w x w ) w ) (4.15)
Như vậy, với mạng truyền thẳng đa tầng thì các đầu ra của mạng là hàm hồn tồn xác định của các đầu vào (khi mà các trọng số trong mạng đã được xác định). Các hàm đĩ được tính bởi cơng thức khi mạng cĩ ba tầng. Rõ ràng là nếu các hàm kích hoạt trong mạng được chọn khơng phải là hàm tuyến tính thì các hàm được biểu diễn bởi mạng (các đầu ra) khơng phải là hàm tuyến tính của các biến đầu vào.
Nếu thêm vào một biến đầu vào x0 cho các nơron của tầng ẩn, giá trị của nĩ luơn luơn bằng 1, thì các đầu ra zj trong cơng thức (4.13) được viết dưới dạng:
n j ji i0 i 0 z h( w x ) (4.16)
Cũng như vậy, thêm vào biến đầu vào z 10 các nơron của tầng ra, khi
đĩ cơng thức (4.14) cĩ dạng sau: m k kj j j 0 y g( w z ) (4.17)
Từ cơng thức (4.14) thấy rằng, các đầu ra của mạng truyền thằng đa tầng là hàm tuyến tính tống quát của các đẩu vào với các hàm cơ sở zj được xác định bởi (4.13). Tuy nhiên, sự khác biệt là các hàm cơ sở này chưa được xác định trước, mà phụ thuộc vào các trọng số wji, các trọng số này sẽ được xác định trong thời gian huấn luyện mạng, sử dụng các ví dụ huấn luyện. Chính vì thế, mơ hình mạng truyền thẳng đa tầng linh hoạt thích ứng hơn với sự đa dạng của dữ liệu.
Nếu mạng chỉ cĩ một tầng (tức là khơng cĩ tầng ẩn), thì hàm biếu diễn bởi mạng là hàm tuyến tính tổng quát (dạng (4.13)). Nếu các hàm kích hoạt ở tầng ẩn là hàm tuyến tính thì mạng này chỉ tương đương với mạng một tầng.
Do đĩ, sau khi thiết kế mạng cho các ứng dụng thì mạng cần cĩ ít nhất một tầng ẩn và các hàm kích hoạt ở các tầng ẩn cần được chọn là hàm sigmoid.
Mạng nơron truyền thẳng đa tầng là mơ hình xấp xỉ hàm vạn năng. Khi thiết kế một mạng truyền thẳng cho một ứng dụng, nĩi chung, chỉ cần sử dụng mạng một hoặc hai tầng ấn với hàm kích hoạt sigmoid. Khĩ khăn là số nơron trong tầng ẩn phụ thuộc vào hàm cần biểu diễn. Thế nhưng, trong các nhiệm vụ học, các hàm mục tiêu mà cần học lại hồn tồn khơng được biết, chỉ biết các thơng tin về nĩ thơng qua các ví dụ huấn luyện.