Mạng nơron gồm một số lƣợng lớn các đơn vị xử lý kết nối với nhau hoạt động song song và cấu hình nên kiến trúc của hệ thống. Do mô phỏng cách thức hoạt động
{ f (x) 1 0 = nếu x >t nếu x <t 1 nếu x >0 -1 nếu x <0 = = { f(x) 1 - e - x 1 + e - x = = f(x) {0 x z 1 nếu x >1 nếu 0 x1 f(x) = = nếu x <0 1 1 + e – nx = = f(x)
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
của nơron thần kinh, nên mạng nơron có khả năng học, tái tạo, tổng quát hóa từ dữ liệu đã đƣợc huấn luyện.
Đơn vị tạo nên mạng nơron là các nút. Các nút này sẽ nằm ở các lớp (Layer) khác nhau. Mỗi lớp có một nhiệm vụ riêng:
- Lớp nhập (Input layer): nhận dữ liệu đầu vào. Các nút thuộc lớp nhập gọi là nút nhập.
- Lớp xuất (Output layer): kết xuất dữ liệu. Các nút thuộc lớp xuất gọi là nút xuất.
- Lớp ẩn (Hidden layer): lớp này có thể có hoặc không, tùy loại mạng. Số lƣợng lớp ẩn của một nơron cũng tùy theo ngƣời thiết kế mạng. Các nút thuộc lớp ẩn gọi là nút ẩn.
Hình 3.2: Mô hình mạng nơron 3 lớp
Mỗi nút trong lớp nhập nhận giá trị của biến độc lập và chuyển vào mạng. Các nút trong lớp ẩn nhận dữ liệu từ nút nhập “tổng trọng hóa”, chuyển tín hiệu cho lớp xuất. Các nút tại lớp xuất cũng tổng trọng hóa tín hiệu nhận từ lớp ẩn. Mỗi nút trong lớp xuất tƣơng ứng với một biến phụ thuộc. Mỗi cung liên kết trong mạng nơron đều có một trọng số riêng.
Số lƣợng biến độc lập, biến phụ thuộc mà nơron cho phép là tùy ý. Đồng thời, mạng nơron làm việc đƣợc trên cả biển định lƣợng lẫn các biến lớp. Mạng nơron hoạt động ở hai trạng thái:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
- Học. - Ánh xạ.
Trong trạng thái học, tập dữ liệu mẫu đƣa vào mạng bao gồm cả giá trị đầu vào lẫn giá trị kết xuất của các biến phụ thuộc. Thông tin nhập đƣợc đƣa vào mạng. Các dữ liệu đƣợc tính toán và cho ra kết quả xuất. Kết quả xuất này của mạng đƣợc so sánh với kết quả xuất thực đƣợc cho trong tập mẫu để rút ra sai số. Sai số này đƣợc lan truyền ngƣợc trở lại các nút xuất, nút ẩn, để các nút này điều chỉnh lại các trọng số của mình. Quá trình lan truyền theo hai chiều này đƣợc tiến hành nhiều lần, cho đến khi sai số chấp nhận đƣợc: nghĩa là trọng số các nút trong mạng đã đúng: mạng đƣợc luyện xong.
Khi mạng đã đƣợc luyện xong, thì ngƣời ta có thể dùng mạng cho các mục đích của mình. Nghĩa là bây giờ, đƣa dữ liệu các biến độc lập vào mạng sẽ cho giá trị các biến phụ thuộc cần xác định.
Luật học:
Luật học là thành phần quan trọng trong mạng nơron. Có hai loại học trong các nơron đó là học thông số và học cấu trúc.
Học thông số là loại học quan tâm đến việc cập nhật các trọng số kết nối trong mạng và học cấu trúc là loại học tập trung vào việc thay đổi cấu trúc mạng, bao gồm số các đơn vị xử lý và các loại kết nối. Hai loại học này có thể đƣợc thực hiện đồng thời hoặc tách rời. Tuy nhiên, học thông số là loại học đƣợc quan tâm nhất vì hầu hết các luật học đƣợc tồn tại trong loại học này.
Giả sử mạng có n đơn vị xử lý, mối đơn vị có chính xác m trọng số kết nối thích nghi. Nhƣ vậy, ta có ma trận W với kích thƣớc m x n chứa tất cả các phần tử thích nghi của mạng. Quá trình xử lý thông tin, ta muốn có một ma trận thích hợp sao cho có thể xấp xỉ ma trận W. Muốn vậy, ta phải phát triển luật học để cập nhật các trọng số kết nối của mạng trong quá trình học.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Luật học tổng quát đƣợc phân làm ba dạng đó là học giám sát, học không giám sát và học tăng cƣờng.
Hình 3.3: Mô hình học giám sát
Trong dạng học giám sát, mạng đƣợc cung cấp các cặp vào ra mong muốn tại thời điểm học để đảm bảo chính xác tín hiệu ra của nó. Sự khác biệt giữa đầu ra thực tế so với đầu ra mong muốn đƣợc thuật toán sử dụng để thích ứng trọng số trong mạng.
Hay nói một cách cụ thể, trong học có giám sát mỗi vector tín hiệu đầu vào x đƣợc cấp cho mạng thì đồng thời cũng cấp luôn cho mạng vector đầu ra mong muốn Y. Do đó, mạng sẽ chỉ đạo phải sản sinh ra tín hiệu đầu ra nhƣ thế nào. Độ lệch giữa tín hiệu đầu ra của mạng và vector đầu ra Y sẽ đƣợc một bộ sản sinh sai số thu nhận. Bộ này sẽ sinh ra tín hiệu sai số. Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số sao cho tín hiệu đầu ra sẽ gần với vector đầu ra mong muốn Y.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Học mạng nơron không giám sát là cách học không có sự phản hồi từ môi trƣờng để chỉ ra rằng đầu ra của mạng là đúng nhƣ thế nào? Khi đó, mạng tự khám phá các đặc điểm, tính tƣơng quan, hay các lớp trong dữ liệu một cách tự động. Trong thực tế, phấn lớn học không giám có các đích trùng với đầu vào. Nói cách khác, học không giám sát thực hiện công việc tƣơng tự nhƣ một mạng liên kết cô đọng thông tin từ dữ liệu vào.
Phần lớn ứng dụng của học không giám sát nằm trong vùng các bài toán ƣớc lƣợng nhƣ mô hình hóa thống kê, nén, lọc và phân cụm.
Học củng cố cũng là dạng học giám sát, tuy nhiên, tín hiệu đầu ra mong muốn của mạng là tín hiệu ở dạng bit để đảm bảo đầu ra của nó đúng hoặc sai. Luật học này chỉ khác luật học giám sát ở chỗ, thông tin phản hồi từ môi trƣờng chỉ mang tính chất đánh giá chứ không mang tính chất dạy. Mạng nơron nhân tạo thƣờng đƣợc dùng trong học củng cố nhƣ là một phần của thuật toán toàn cục. Các bài toán thƣờng đƣợc giải quyết bằng học củng cố là các bài toán điều khiển, trò chơi…