1. Tập các liên kết thần kinh (synapses) hay các đường kết nối có trọng số. Mỗi tín hiệu xj ở đầu vào của liên kết thứ j được kết nối với nơ-ron k được nhân với trọng số wkj . Chỉ số thứ nhất (k) tham chiếu đến nơ-ron được đề cập đến và chỉ số thứ hai (j) tham chiếu đến liên kết tương ứng qua trọng số. Không giống liên kết trong bộ não, trọng số liên kết của nơ-ron nhân tạo có thể nằm trong một phạm vi bao gồm cả các giá trị âm và giá trị dương.
2. Một bộ cộng để lấy tổng các tín hiệu vào đã được đánh trọng số. Các thao tác được mô tả ở đây tạo nên bộ tổ hợp tuyến tính.
40
3. Một hàm kích hoạt hay cịn gọi là hàm kích hoạt (Activation Function) để hạn chế độ đầu ra của nơ-ron. Hàm kích hoạt cũng được xem như là hàm chặn (Squashing Function) để ép phạm vi biên độ cho phép của tín hiệu ra thuộc giá trị hữu hạn nào đó. Thơng thường phạm vi biên độ chuẩn hóa đầu ra của nơ-ron được biểu thị dưới dạng khoảng đóng [0,1] hoặc [-1,1].
Mơ hình nơ-ron ở Hình 1.3 cũng bao gồm thiên áp từ bên ngồi bk. Thiên áp bk có tác dụng làm tăng hoặc giảm mạng đầu vào của hàm kích hoạt tùy thuộc vào giá trị của bk là dương hay âm tương ứng.
Về mặt toán học, nơ-ron k có thể được biểu diễn bằng cặp phương trình:
𝑢𝑘= ∑ 𝑤𝑘𝑗𝑥𝑗 𝑚 𝑗=1 (1.19) và 𝑦𝑘 = 𝜑(𝑢𝑘+ 𝑏𝑘) (1.20)
trong đó đó x1, x2, …, xm là các tín hiệu vào; wk1, wk2, …, wkm là trọng số của các liên kết của nơ-ron k; uk là bộ tổ hợp tuyến tính đầu ra đối với các tín hiệu vào; bk là thiên áp. 𝜑(. ) là hàm kích hoạt; và yk là tín hiệu ra của nơ-ron. Việc dùng bk có tác dụng làm biến đổi mịn đầu ra uk của bộ tổ hợp tuyến tính trong mơ hình (Hình 1.3) như sau:
𝑣𝑘= 𝑢𝑘+ 𝑏𝑘 (1.21)
Đặc biệt, tùy thuộc vào giá trị bk là dương hay âm mà quan hệ giữa trường cảm ứng cục bộ (induced local field) hay hoạt thế (activation potential) vk của nơ-ron k và đầu ra bộ tổ hợp tuyến tính uk được thay đổi theo cách như ở Hình 1.4 [148]. Lưu ý do phép biến đổi làm mịn mà quan hệ của vk đối với uk không đi qua gốc tọa độ.
Thiên áp bk là một tham số bên ngồi của nơ-ron nhân tạo k, có thể tính đến bk như ở biểu thức (1.20). Một cách tương đương, có thể kết hợp cơng thức (1.19) với (1.21) thành: 𝑣𝑘 = ∑ 𝑤𝑘𝑗𝑥𝑗 𝑚 𝑗=0 (1.22) và 𝑦𝑘 = 𝜑(𝑣𝑘) (1.23)
41