3. Đối tượng và phạm vi nghiên cứu
2.2.2. Mạng nơ-ron một tầng
Kiến trúc mạng nơ-ron một tầng được chỉ ra trong Hình 2.5
Hình 2.5. Kiến trúc mạng nơ-ron một tầng
Trong đó P là véc tơ đầu vào kích thước Rxl, W là ma trận trọng số liên kết kích thước SxR, b là véc tơ hệ số hiệu chỉnh, n là véc tơ đầu ra kích thước
Sxl và a là véc tơ đầu ra kích thước Sx1.
1
[ ]
1,1 2,1 . . [ ,1 1,2 2,2 . . ,2
1 1 2 2 ; b = . ; n = Wp + b = . . . [ ] [ ]
Chú ý rằng các nơ-ron trong cùng một tầng mạng không nhất thiết có cùng dạng hàm truyền.
Cũng giống như mô hình nơ-ron nhiều đầu vào kiến trúc mạng nơ-ron một tầng có thể rút gọn như sau:
Hình 2.6. Mạng nơ-ron một tầng S nơ-ron,R đầu vào2.2.3. Mạng nơ-ron đa tầng (Multiple layer of neuron)
Trong kiến trúc mạng nơ-ron nhiều tầng, mỗi tầng có một ma trận trọng số liên kết W, một véc tơ hiệu chỉnh b, một véc tơ đầu vào mạng n và một véc tơ đầu ra a. Chúng ta dùng các chỉ số trên để chỉ ra ký hiệu của các tầng.
Ví dụ : W1 là ma trận trọng số của tầng 1.
b1là véc tơ hiệu chỉnh cùa tầng 1.
n1là véc tơ đầu vào mạng của tầng 1.
a1là véc tơ đầu ra mạng của tầng 1.
Hình 2.7. Mạng 3 tầng
Hình 2.8. Ký hiệu tắt của mạng nơ-ron 3
tầng n1 = W1p + b1 a1 = f1(n1) = f1(Wlp + b1) n2 = W2a1 + b2 = W2f1(W1 p + b1) + b2 a2 = f2(n2) = f2(W2 f1(W1 p + b1) + b2) n3 = W3a2 + b3 = W3f2(W2 f1(W1 p + b1) + b2) + b3 a3 = f3(n3) = f3(W3 f2(W2f1(W1p + b1) + b2) + b3)
Tầng cuối cùng của mạng gọi là tầng ra, những tầng khác gọi là tầng ẩn. Mạng chỉ ra trong Hình (2.9) có 2 tầng ẩn là tầng 1 và tầng 2, tầng 3 là tầng ra. Véc tơ đầu ra của tầng ẩn là vec tơ đầu vào của tầng kế cận.
Số đầu vào và đầu ra của nơ-ron được quyết định bởi bài toán còn số tầng mạng và số nút của tầng ẩn thì không có lời giải đáp chính xác. Thực nghiệm cho thấy mạng nơ-ron 2 hoặc 3 tầng là có thể giải quyết được hầu hết các bài toán.
2.2.4. Mạng nơ-ron hồi quy (Recurent networks)
Trước khi mô tả các mạng hồi quy cần xét một số khối cơ bản. Đầu tiên là khối trễ được minh họa trong Hình 2.9.
Hình 2.9. Khối trễ
Đầu ra a(t) được tính từ đầu vào u(t) như sau: a(t)= u(t-1). Đầu ra chính là đầu vào được trễ đi một bước thời gian (giả sử rằng thời gian được rời rạc hóa và chỉ có giá trị nguyên).
Một khối khác dùng cho mạng hồi quy thời gian liên tục là khối tích phân được chỉ ra trong Hình 2.10. Đầu ra của khối tích phân a(t) được tính :
a(t)=∫01 ( ) + (0)
Mạng hồi quy là mạng có phản hồi, nghĩa là véc tơ đầu ra phù thuộc vào véc tơ đầu vào và các véc tơ đầu ra trong quá khứ. Véc tơ đầu vào cung cấp điều kiện khởi tạo khối trễ.
Một loại mạng hồi quy rời rạc thời gian được chỉ ra trong Hình 2.11.
Hình 2.11. Mạng hồi quy
Trong đó: Với a(0) = p; a(t +1) = satlins(Wa(t) + b).
2.2.5. Huấn luyện mạng nơ-ron
Huấn luyện mạng nơ-ron được thực hiện thông qua các luật học (learning rule), luật học chính là phép hiệu chỉnh trọng số liên kết của mạng và véc tơ hiệu chỉnh của bộ tổng. Để thực hiện nhiệm vụ đó có nhiều loại luật học nhưng nói chung có thể chia thành 3 lớp chính : Học có giám sát (Supervised learning), học không có giám sát (Unsupervised learning) và học tăng cường (Reinforcement Learning).
1. Học có giám sát hay còn gọi là học có chỉ đạo: Ở đây luật học được cung cấp các mẫu học (training set) {p1, t1},{p2, t2},…,{pQ, tQ} với pq là một mẫu đầu vào và tq (target) là mục tiêu đầu ra tương ứng (q= 1…Q).
Khi đầu vào được đưa vào mạng, đầu ra của mạng được so sánh với mục tiêu. Luật học có chỉ đạo hiệu chỉnh trọng số liên kết và hệ số hiệu chỉnh dựa vào tập mẫu học sao cho đầu ra gần với mục tiêu nhất.
luật học này ma trận trọng số liên kết và hệ số hiệu chỉnh chỉ phụ thuộc đầu vào của mạng nơ-ron. Hầu hết các thuật toán thực hiện một số loại thao tác nhóm, thuật toán học phân mẫu đầu vào ứng với số lớp hữu hạn.
3. Luật học tăng cường: Luật học tăng cường tương tự luật học có giám sát nhưng không cung cấp tập mẫu học mà đưa ra thuật toán chấm điểm. Thực chất đây là phép xác định hiệu năng của mạng thông qua tập đầu vào. Luật học này ít được dùng hơn luật học có giám sát.