Cấu trúc mạng được kết nối chuyển tiếp tín hiệu từ lớp vào thông qua lớp ẩn đến lớp ra và đồng thời hồi tiếp tín hiệu về đơn vị xử lý chính nó hoặc các đơn vị xử lý trong lớp hoặc ở lớp khác. Mạng hồi qui cho phép các liên kết nơron tạo thành chu trình. Vì các thông tin ra của các nơron được truyền lại cho các nơron đã góp phần kích hoạt chúng, nên mạng hồi qui còn có khả năng lưu trữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơron.
c) Mạng tự tổ chức (Self Origanizing Feature Maps – SOM)
Con người có khả năng sử dụng kinh nghiệm quá khứ để thích nghi với những thay đổi của môi trường. Sự thích nghi đó không cần hướng dẫn hay chỉ đạo từ bên ngoài. Mạng nơron thực hiện theo nguyên lý đó gọi là mạng tự tổ chức. SOM được Kohonen phát triển vào đầu thập những năm 80, nên cũng thường được gọi là mạng
Kohonen. SOM được dùng để gom cụm dữ liệu (data clustering), nghĩa là học không
có hướng dẫn (unsupervised learning).
Cấu trúc SOM thường có hai lớp: lớp đầu vào (input layer) và lớp Kohonen (Kohonen layer). Các nơ ron của lớp đầu vào tương ứng với một thành phần trong vector đặc trưng đang xét. Ví dụ nếu xét dữ liệu có vector đặc trưng là 4 thành phần thì lớp đầu vào sẽ có 4 nơ ron. Mỗi nơ ron của lớp đầu vào được nối với tất cả các nơ ron của lớp Kohonen. Các nơ ron trong lớp Kohonen được tổ chức thành một không gian n chiều. N được gọi là số chiều của SOM. Ví dụ N=2: lớp Kohonen là một lưới 2 chiều các nơ ron. Với N=3: lớp Kohonen là một khối 3 chiều các nơ ron. Mỗi nơ ron thuộc lớp Kohonen ngoài các giá đầu vào, đầu ra còn có vector trọng số liên kết với các nơ ron thuộc lớp đầu vào. Hay nói cách khác, mỗi nơ ron của lớp Kohonen sẽ có thêm một vector trọng số N chiều. Có thể xem mỗi nơ ron trong lớp Kohonen như là đại diện cho một cụm với vector trọng số chính là vector trọng tâm của cụm đó. Thật sự điều này không hẳn lúc nào cũng như vậy mà cần có sự linh hoạt trong việc xác định cấu hình (số chiều) và số nơ ron trong lớp Kohonen, đây chỉ là một gợi ý cho những ai chưa biết về SOM trong cài đặt sau này.
5. Huấn luyện mạng
Mạng nơron như một hệ thống thích nghi có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng như cấu trúc của nó sao cho phù hợp với các mẫu học (sample). Có hai cách học trong các mạng nơron nhân tạo đó là học cấu trúc và học thông số:
Học cấu trúc là quá trình học thay đổi cấu trúc bên trong của mạng. Việc học
cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớp của mạng và số nơron trên mỗi lớp. Tuy nhiên, với các mạng hồi qui còn phải xác định thêm các tham số ngưỡng θ của các nơron trong mạng. Về thực chất, việc điều chỉnh cấu trúc mạng đều qui về bài toán tìm kiếm tối ưu trong không gian tham số. Vì vậy, có thể áp dụng các giải thuật tìm kiếm tối ưu (gradient, giải thuật di truyền…).
Học tham số là quá trình học cập nhật các trọng số kết nối giữa các đơn vị xử lý trong mạng sao cho xấp xỉ với bộ trọng số mong muốn để có được ánh xạ vào ra như mong muốn.
Cho wij là trọng số kết nối giữa đơn vị thứ i với đơn vị thứ j, luật học cập nhật trọng số được thiết lập: ij ij w w wij = +∆ Trong đó: ij w ∆ : số gia trọng số Có 3 kỹ thuật học:
a) Học có thầy (Supervised Learning)
Trong học có thầy, mạng được cung cấp một tập mẫu học {(Xs,Ys)} theo nghĩa Xs là các tín hiệu vào, thì kết quả ra đúng của hệ phải là Ys. Ở mỗi lần học, vectơ tín hiệu vào Xs được đưa vào mạng, sau đó so sánh sự sai khác giữa các kết quả ra đúng Ys với kết quả tính toán thực tế. Sai số này sẽ được dùng để hiệu chỉnh lại các trọng số liên kết trong mạng. Quá trình cứ tiếp tục đến khi thỏa mãn một tiêu chuẩn nào đó.
b) Học không có thầy (Unsupervised Learning)
Với cách học không có thầy, không có tập mẫu dữ liệu đẩu ra mong muốn, quá trình học với tập dữ liệu vào mong muốn, mạng tự cập nhật các trọng số kết nối dựa trên cơ sở tập dữ liệu vào mong muốn sao cho dữ liệu ra thực sự của mạng thích nghi với tập dữ liệu vào mong muốn.
Thể loại học này thường sử dụng dữ liệu không phân lớp và quá trình học tự khám phá để phân lớp dữ liệu.
c) Học tăng cường (Reinforcement Learning)
Xs Ds zs Mạng Neuron Sai số Hiệu chỉnh W
Cũng như học có thầy, tuy nhiên, tín hiệu ra mong muốn của mạng là tín hiệu tăng cường là tín hiệu thưởng và phạt. Quá trình học, cập nhật câc trọng số kết nối giữa các đơn vị xử lý sao cho dữ liệu ra thực sự của mạng xấp xỉ với dữ liệu ra mong muốn thường với độ tin cậy càng cao càng tốt.
6. Hàm đánh giá
Để huấn luyện một mạng và xét xem nó thực hiện tốt đến đâu, người ta xây dựng hàm đánh giá để cung cấp cách thức đánh giá hệ thống một cách không nhập nhằng. Việc chọn hàm đánh giá là rất quan trọng bới vì hàm này thể hiện các mục tiêu thiết kế và thuật toán huấn luyện nào có thể được áp dụng. Để phát triển một hàm mục tiêu đo chính xác cái chúng ta muốn không phải là việc dễ dàng. Hàm được sử dụng rộng rãi là hàm tổng bình phương lỗi ( Sum Of Squares Error Function).
2 1 ) ( 2 1 k k n k y d E= ∑ − =
Trong đó: E sai số gặp phải
dk: giá trị mong muốn tại đầu ra thứ k yk: giá trị thực tế tại đầu ra thứ k
II. Mạng nơron truyền thẳng nhiều lớp và thuật toán lan truyền ngược hướng
1. Kiến trúc mạng
Một mạng truyền thằng nhiều lớp bao gồm một lớp vào (Input Layer), một lớp ra (Output Layer) và một hoặc nhiều lớp ẩn (Hidden Layer) nằm giữa lớp vào và lớp ra. Các nơron đầu vào thực chất không phải là các nơron theo đúng nghĩa, bởi vì chúng không thực hiện bất kỳ một tính toán nào trên dữ liệu vào mà chỉ đơn giản là nhận dữ liệu từ bên ngoài đưa vào và chuyển cho các lớp kế tiếp. Các nơron lớp ẩn và lớp ra mới thực sự thực hiện các tính toán, kết quả được tính toán thông qua hàm chuyển. Cụm từ “truyền thẳng “ (Feed Forward) (không phải là trái nghĩa của lan truyền ngược) liên quan đến một thực tế là mỗi nơron của lớp này chỉ được nối với các nơron ở lớp kế tiếp theo một hướng, không cho phép các liên kết giữa các nơron trong cùng lớp hoặc các liên kết ngược giữa nơron lớp vào với lớp ra.
Luồng thông tin trong mạng nơron đi từ trái qua phải, các giá trị đầu vào x được truyền tới các nơron lớp ẩn thông qua trọng số kết nối sau đó đưa tới lớp ra. Trọng số kết nối từ phần tử vào thứ i tới nơron ẩn thứ j được ký hiệu wij, trong khi trọng số kết nối từ nơron ẩn thứ j tới nơron ra thứ k được ký hiệu là vjk.
Hình 4.7: Mạng truyền thẳng nhiều lớp