Suốt những năm 1960 – 1980 các nhà nghiên cứu về trí tuệ nhân tạo đã tìm ra Expert Systems dựa trên mô hình cấp cao về xử lý lý luận của bộ não. Mặc dù mô hình đã rất thành công trong một vài lĩnh vực, nhưng vẫn chưa bắt chước được trí tuệ con người. Do đó, để tái tạo trí thông minh, chúng ta cần phải xây dựng những hệ thống có cấu trúc giống bộ não con người.
Nơron nhân tạo được định nghĩa như sau:
• Nơron nhân tạo nhận một số các ngõ vào - input (từ dữ liệu gốc, hay từ ngõ ra các nơron khác trong mạng). Mỗi kết nối đến ngõ vào
có một cường độ (hay trọng số - weight), những trọng số này tương ứng với tác dụng synapse trong nơron sinh học. Mỗi nơron cũng có một giá trị ngưỡng.
• Tín hiệu được truyền qua hàm kích hoạt (hay còn gọi là hàm truyền - activation function) tạo giá trị ngõra– output của nơron.
Hình 0.2. Cấu trúc 1 nơron nhân tạo – 1 phần tử xử lý
Trọng số X1 X2 Xj Xn …. Wij Wi2 Win Wi1 Giá trị ngõ ra yi fi ∑ f(fi) bi Hàm truyền tín tín Giá trị ngưỡng Giá trị ngõ vào
Xj : giá trị ngõ vào thứ j
Wij:Trọng số kết nối giữa ngõ vào thứ j với nơron i
∑ = + = n j i j ij i w x b f 1 ( fi gọi là hàm tổng trọng hóa)
f( fi ): Hàm truyền hay còn gọi là hàm tác động yi=f(fi) : Ngõ ra của nơron thứ i
Trên đây mô tả các nơron đơn lẻ. Trong thực tế các nơron được kết nối với nhau. Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị hoặc biến của thế giới thực) và ngõ ra (dùng để dự báo hoặc điều khiển). Trong sinh học,
ngõ vào và ngõ ra tương ứng với các nơron giác quan và vận động, như tín hiệu đưa vào mắt và điều khiển cánh tay. Tuy nhiên còn có các nơron ẩn đóng vai trò ẩn trong mạng. Ngõ vào, nơron ẩn và ngõ ra cần được kết nối với nhau.
Một mạng đơn giản có cấu trúc tiến: tín hiệu đi vào ở ngõ vào, qua các nơron ẩn và cuối cùng đến các nơron ngõ ra. Cấu trúc như thế chạy ổn định. Tuy nhiên, nếu mạng có cấu trúc hồi quy (chứa các kết nối ngược trở về các nơron trước đó) mạng có thể chạy không ổn định và dao động rất phức tạp.
Mạng hồi quy rất được các nhà nghiên cứu quan tâm, nhưng cấu trúc tiến đã chứng minh rất hiệu quả trong việc giải quyết các vấn đề thực tế. Trong phạm vi của đồ án này, chúng tôi chỉ nghiên cứu về mạng có cấu trúc tiến.
Mạng nơron có cấu trúc tiến cho như hình dưới. Các nơron được sắp xếp theo cấu trúc liên kết lớp riêng biệt. Lớp ngõ vào không phải là nơron thực: các nơron này hoạt động đơn giản là giới thiệu các giá trị của các biến
vào. Các nơron lớp ẩn và lớp ngõ ra được kết nối với tất cả các nơron lớp trước đó.
Hình 0.3. Cấu trúc Mạng Nơron nhân tạo
Khi mạng hoạt động, các giá trị biến ngõ vào được đặt vào các nơron
ngõ vào, và sau đó các nơron lớp ẩn và lớp ngõ ra lần lượt được kích hoạt. Mỗi nơron tính giá trị kích hoạt của chúng bằng cách lấy tổng các trọng số ngõ ra của các nơron lớp trước đó, và trừ cho ngưỡng. Giá trị kích hoạt truyền qua
hàm tác động tạo ra giá trị ngõ ra của nơron. Khi toàn bộ mạng đã hoạt động, các ngõ ra của lớp ngõ ra hoạt động như ngõra của toàn mạng.