- Lớp ra: Là lớp nơron tạo các tín hiệu ra cuối cùng.
1.8.2.4 Mạng hồi quy hoàn toàn (Fully Recurrent Networks)
Một trong những loại mạng nơron hồi quy đầu tiên được Gossberg (1969c, 1982a) xây dựng để học và biểu diễn các mẫu bất kỳ. Loại mạng này đã được xây dựng theo mẫu Instar – Outstar. Loại mạng … hồi quy hoàn toàn (Fully Recurrent Networks), hay còn gọi là Sequential Competivive Avalanche Field (SCAF), có tác dụng nhận số lượng mẫu nhiều hơn, đã được Hecht – Nielsen (1986); Freeman và Skapura (1991) xây dựng. North (1988) đã áp dụng mạng một lớp avalanche trong việc nhận dạng chữ ký của 7 thuyền nhân.
Mạng RBP được áp dụng trong một số lĩnh vực như: hoàn thiện mẫu
(Almeldam 1987), nhận dạng ảnh (Krishnapuram và Chen, 1993) và điều khiển rô bốt (Barhen, 1989). Elman (1991) đã luyện mạng SPN để nhận dạng chữ viết ở dạng câu đơn giản gồm 2 đến 3 từ. Jodouin (1993) cũng đã trình bày một số phương pháp và thành quả ứng dụng SPN. Mozer (1989) đã đề xuất một số mạng hồi quy khác, được gọi là mạng lan truyền ngược hội tụ (Focused Back – Propgation Networks). Trong loại mạng này, các lớp và bản thân mỗi phần tử của lớp đều có liên hệ ngược với bản thân chúng. Watrous và Shastri (1987), Morgan và Scofield
(1991) cũng đã đề xuất một vài dạng mạng hồi quỵ
Với mạng hồi quy hoàn toàn (Fully Recurrent Networks), hình thành quan điểm thực hiện và luyện mạng hồi quy là hình thành mạng hồi quy từ mạng truyền thẳng nhiều lớp được xây dựng từ lớp cho mỗi bước tính. Khái niệm này gọi là lan truyền ngược theo thời gian (Back Propagation Through Time-BPTT) (Rumelhart,
Lớp ra
Lớp ra
Lớp ra Lớp Context yi
xi
Hình 1.12 Sơ đồ cấu trúc mạng nơron hồi quy đơn giản
1986a, b) phù hợp khi quan tâm đến các dãy với độ lớn T là nhỏ. Nó đã được sử dụng học cho máy ghi cho nhiệm vụ thực hiện cho các dãy (Rumelhart, 1986b). Nó có khả năng áp dụng cho điều khiển thích nghi (Miller, 1990). Luật RTRL được giới thiệu bởi Williams và Zipser (1989a). Sun (1992) đã đề xuất cải tiến luật RTRL. Họ đã đề xuất phương pháp tăng tốc độ tính toán của RTRL bởi sử dụng hàm Green. Một cải tiến khác của Schmidhuber (1992a) đã đề xuất luật học kết hợp của 2 luật RTRL và BPTT. Li và Haykin (1993) sử dụng luật RTRL luyện mạng hồi quy với cấu trúc lọc phi tuyến thích nghi thời gian thực. Ba luật học của mạng hồi quy TDRB, RTRL và phương pháp hàm Green (Sun, 1992) đã được so sánh với nhau về tốc độ tính toán và độ chính xác (Logar, 1993). Tính chất học và đặc tính gọi lại của TDRB trong mạng lan truyền ngược hồi quy với tín hiệu nhận mẫu (Signal Recognition) được đề cập bởi Sterzing và Schurmann (1993). Các luật học giám sát RTRL, TDRB là cơ sở của mạng động học hồi quỵ
Giles (1992) đã đề xuất thủ tục học mạng hồi quy bậc 2 (Second – Order Recurrent Networks). Mạng hồi quy bậc 2 được sử dụng bởi Watrous và Kuhn
(1992) học phương pháp Tomita (Tomita’s Grammars), sử dụng các luật khác nhau trên cơ sở phương pháp gradient. Zeng (1993) đề xuất một loại mạng hồi quy bậc 2, gọi là mạng hồi quy tự tổ chức (Self – Clustering Recurrent Networks), có thể học các dãy dàị Kết quả sử dụng mạng hồi quy nhận mẫu theo phương pháp hình thức được Pollack (1989), Sun (1990), Morgan và Scofild (1991) đề cập đến. Nó chỉ rõ RTRL và RTRL có tín hiệu chỉ đạo là 2 loại đơn giản của luật học EKF (Williams, RTRL có tín hiệu chỉ đạo là 2 loại đơn giản của luật học EKF (Williams, 1992b). Bàn về luật EKB đã được nhiều tài liệu đề cập (Singhal và Wu, 1989; Douglas và
Meng, 1991; Puskorius và Feldkamp, 1991, 1992, 1993; Shah, 1992).
Narendra và Thathchar (19989) và Lin (1994) đã đề cập đến lịch sử phát triển của luật học củng cố. Lý thuyết hội tụ của TS (λ) cho λ được Dayan (1992) đề cập. Dạng khác của luật học củng cố TD là luật Q (Watkins, 1989; Watkins và
Dayan, 1992) đã giới thiệu lớp Dynn của cấu trúc học củng cố. Nó được sử dụng cho điều khiển chuyển động của rô bốt hàng hải trong môi trường không biết trước (Peng và Williams, 1993; Lin, 1993).