- Các rễ của nơ-rôn được chia làm hai loại: rễ đầu vào nhận thông tin từ các nơ- rôn khác qua axon và rễ đầu ra đưa thông tin qua axon tới các nơ-rơn khác. Một nơ-rơn có thể có nhiều rễ đầu vào, nhưng chỉ có một rễ đầu ra. Bởi vậy nếu coi nơ-rôn như một khâu điều khiển thì nó chính là khâu có nhiều đầu vào và một đầu ra.
Quá trình hoạt động của một nơ-rơn là một q trình điện hố tự nhiên. Khi có tác động từ bên ngồi vào nơ-rơn, tức ở đầu vào của nơ-rơn xuất hiện một tín hiệu tác động vượt q ngưỡng cân bằng của nó thì nơ-rơn sẽ ở trạng thái kích thích. Trong tế bào nơ-rơn xảy ra hàng loạt các phản ứng hoá học tạo thành lực tác động làm nơ-rơn bị kích thích hồn tồn. Thế năng sinh ra khi nơ-rôn ở trạng thái bị kích thích hồn tồn này chỉ tồn tại vài mili giây sau đó nơ-rơn lại trở về trạng thái cân bằng cũ. Thế năng này được chuyển vào mạng qua axon và có khả năng kích thích hoặc kìm hãm tự nhiên các nơ-rôn khác trong mạng.
Một tính chất rất cơ bản của mạng nơ-rôn sinh học là các đáp ứng theo kích thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết các tế bào nơ-rôn với nhau, sự thay đổi trạng thái của một nơ-rôn dẫn theo sự thay đổi trạng thái của những nơ-rôn khác và dẫn tới sự thay đổi của tồn bộ mạng nơ-rơn. Việc thay đổi trạng thái của mạng nơ-rơn có thể thực hiện qua một q trình “dạy” hoặc do khả năng “học” tự nhiên.
Hoạt động tư duy của con người phần nhiều mang tính chủ quan định tính, dựa trên những bài học, kinh nghiệm học được từ khi còn nhỏ. Càng lớn dần thì những bài học hay kinh nghiệm của con người ngày càng nhiều, giúp con người giải quyết các vấn dề trong tự nhiên, xã hội tốt hơn. Bộ não có khả năng tự thay đổi cấu trúc để thích nghi dần với mơi trường, làm cho cấu trúc bộ não ngày càng trở nên phức tạp sau mỗi lần học. Cấu trúc của mạng nơ-rôn sinh học cũng luôn luôn được phát triển và thay đổi. Một số cấu trúc của nơ-rôn được xác định trước, một số sau này mới được hình thành và một số thì bị huỷ bỏ qua quá trình chọn lọc tự nhiên, học và thích nghi.
Qua q trình tìm hiểu, nghiên cứu cấu trúc và hoạt động của bộ não người, các nhà khoa học đã và đang xây dựng và phát triển các mơ hình xử lý thông tin mô phỏng hoạt dộng của bộ não người. Đó chính là mơ hình mạng nơ-rơn nhân tạo.
2.3. Mạng nơ-rơn nhân tạo
2.3.1. Lịch sử hình thành và phát triển
Mạng nơ-rôn nhân tạo (Artificial Neural Network-ANN) là một hệ thống xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-rôn sinh học. Nó được tạo lên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơ-rôn) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Các phần tử này được liên kết với nhau và cùng hoạt động song song. Bởi vậy mạng nơ-rơn nhân tạo có hành vi như bộ não người với các khả năng học (learning) và tái tạo (recall) lại những gì đã được dạy; tổng
hợp thông tin từ sự luyện tập các mẫu dữ liệu. Đây chính là lý do khiến mạng nơ-rôn nhân tạo phát triển rất mạnh mẽ và được ứng dụng nhiều trong thực tế, đặc biệt trong lĩnh vực dự báo, nhận dạng, điều khiển...
Năm 1943, Warrem McCulloch và nhà toán học Walter Pitts đã chỉ ra rằng: về nguyên tắc mạng nơ-rơn nhân tạo có thể tính tốn bất kỳ một hàm số học hay logic nào. Vàn những năm tiếp sau đó, các nhà khoa học Donald Hebb, Friedrick Hayek, Rosenblatt, Minsky và Papert, Paul Werbos đã có những nghiên cứu về mạng nơ-rơn như các luật thích nghi, sự phân tán trong các mạng nơ-rôn, phát triển và ứng dụng phương pháp học lan truyền ngược BP (back-propagation). Năm 1982, John Hopfield đã chỉ ra cách thức các mạng nơ-rôn làm việc và những cơng việc chúng có thể thực hiện được, từ đó đã thúc đẩy trở lại các nghiên cứu về mạng nơ-rôn.
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứu ứng dụng mạng nơ-rơn để giải quyết các bài tốn thực tế được diễn ra ở khắp mọi nơi. Các ứng dụng mạng nơ-rôn ra đời ngày càng nhiều và ngày càng hồn thiện hơn. Điển hình là các ứng dụng: xử lý ngơn ngữ (Language Processing), nhận dạng kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), Lọc dữ liệu (Data Filtering),…
2.3.2. Mơ hình mạng nơ-rơn nhân tạo
Mạng nơ-rôn nhân tạo bao gồm nhiều nơ-rôn độc lập liên kết với nhau. Trước khi định nghĩa thế nào là mạng nơ-rơn nhân tạo, chúng ta sẽ tìm hiểu mơ hình của một nơ-rơn nhân tạo.
Một nơ-rơn nhân tạo phản ánh các tính chất cơ bản của nơ-rôn sinh học. Mỗi nơ-rôn nhân tạo là một đơn vị xử lí thơng tin làm cơ sở cho hoạt động của một mạng nơ-rơn. Nó có chức năng nhận tín hiệu vào, tổng hợp và xử lý các tín hiệu vào để tính tín hiệu ra. Dưới đây là một mơ hình của một nơ-rơn nhân tạo:
Hình 2.5. Mơ hình một nơ-rơn nhân tạo Trong đó:
- xi với i 1,2,...,n: Các tín hiệu đầu vào;
nj w 1 x 2 x n x j y 1j w 2j w j j net j ( j) f net
- wij với i 1,2,...,n: Các trọng số tương ứng với đầu vào; - j: Ngưỡng kích hoạt của nơ-rơn j;
- netj: Tín hiệu tổng hợp đầu vào của nơ-rôn j; - f net( j): Hàm kích hoạt;
- yj: Tín hiệu ra của nơ-rơn j.
Đầu vào của nơ-rơn nhân tạo gồm n tín hiệu xi với i 1,2,...,n. Mỗi tín hiệu đầu vào tương ứng với một trọng số wij, nó thể hiện mức độ ảnh hưởng của tín hiệuxi
đến nơ-rơn j. Tín hiệu đầu vào của một nơ-rơn có thể là dữ liệu từ bên ngồi mạng, hoặc đầu ra của một nơ-rôn khác, hoặc là đầu ra của chính nó.
Nhằm tăng khả năng thích nghi của mạng nơ-rơn trong q trình học, người ta sử dụng thêm một tham số (Bias) gán cho mỗi nơ-rơn. Tham số đó cịn gọi là trọng số của nơ-rơn, ta kí hiệu trọng số của nơ-rơn thứ j là j.
Các tín hiệu đầu vào của mỗi nơ-rôn được tổng hợp bằng một bộ cộng, kết quả cho ta một giá trị gọi là netj của nơ-rôn thứ j. Ta giả định netj là hàm của các tín hiệu
i
x và các trọng số wij.
Có nhiều cách để tính tổng tín hiệu vào của nơ-rơn, có thể là:
1 1 2 2 1 ... n j j j n nj i ij i net x w x w x w x w . (2.1) hoặc netj max[min x wi, ij ], i = 1, 2, …, n. (2.2) Nếu wij 0 thì nơ-rơn được coi là đang ở trạng thái kích thích. Ngược lại, nếu
0
ij
w thì nơ-rơn ở trạng thái kiềm chế.
Sau khi tổng hợp được tín hiệu đầu vào netj, sử dụng hàm kích hoạt f biến đổi netj để thu được tín hiệu đầu ra outj.
yj outj f netj (2.3)
Tóm lại có thể xem nơ-rơn là một hàm phi tuyến nhiều đầu vào, một đầu ra. Hàm kích hoạt phải thoả mãn các điều kiện sau:
- Tín hiệu đầu ra phải khơng âm với mọi giá trị của netj, j = 1, 2, …, n. - Hàm f phải liên tục và bị chặn trong khoảng 0,1 .
Hàm kích hoạt hay cịn được gọi là hàm nén vì chúng nén tín hiệu đầu ra vào một khoảng nhỏ. Hàm kích hoạt hay được sử dụng là:
- Gồm một tập các đơn vị xử lý (các nơ-rôn nhân tạo) - Trạng thái kích hoạt hay đầu ra của đơn vị xử lý - Liên kết giữa các đơn vị. Xét tổng quát, mỗi liên kết được định nghĩa bởi một trọng số Wjk cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn vị k - Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị từ đầu vào của nó - Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại - Một đơn vị điều chỉnh (độ lệch) (bias, offset) củ a mỗi đơn vị - Phương pháp thu thập thông tin (luật học - learning rule) - Mơi trường hệ thống có thể hoạt động.
* Định nghĩa mạng nơ-rôn nhân tạo
Hiện vẫn chưa có một định nghĩa tổng quát nào về mạng nơ-rôn, song phần lớn những người làm việc trong lĩnh vực mạng nơ-rơn đều có thể đồng ý với định nghĩa sau [3]: “Mạng nơ-rôn là một hệ thống gồm nhiều phần tử xử lý đơn giản gọi là các nơ-rôn được liên kết với nhau và cùng hoạt động song song. Tính năng hoạt động của mạng phụ thuộc vào cấu trúc mạng, trọng số liên kết giữa các nơ-rơn và q trình xử lý bên trong các nơ-rơn. Ngồi chức năng xử lý, hệ thống cịn có khả năng học số liệu và tổng quát hóa từ các số liệu đã học”.
Những mơ hình mạng nơ-rơn có tiềm năng tạo nên một cuộc cách mạng trong cơng nghệ máy tính và các q trình xử lý thơng tin. Nhận xét đó hồn tồn có cơ sở và chủ yếu bắt nguồn từ các đặc trưng chính sau của mạng nơ-rơn:
- Một là, tính chất phi tuyến. Đây là một tính chất này rất quan trọng. Mạng nơ-
rơn nhân tạo có thể tính tốn một cách tuyến tính hay phi tuyến. Nó cho phép mạng nơ-rơn tạo ra các mặt cắt trong không gian dữ liệu không phải là siêu phẳng mà lồi lõm không đều. Như vậy không gian mẫu có thể chia thành nhiều miền. Mỗi miền được gọi là một lớp. Đặc trưng này được sử dụng nhiều, ví dụ trong xấp xỉ mạng, miền nhiễu và có khả năng phân lớp.
- Hai là, tự thích nghi và tự tổ chức. Các mạng nơ-rơn có khả năng xử lý thích nghi và điều chỉnh bền vững dựa vào các thuật toán học và quy tắc tự tổ chức. Khả năng xử lý thích nghi thể hiện ở khả năng biến đổi các trọng số trong mạng tuỳ theo sự thay đổi của môi trường xung quanh. Một mạng nơ-rôn đã được huấn luyện trong môi trường xác định, vẫn có thể thích nghi trong mơi trường khác bằng cách tự thay đổi trọng số các kết nối. Vì vậy dù mẫu khơng ổn định hay bị nhiễu thì nó vấn có thể đáp ứng thích hợp. Tuy nhiên, khơng phải lúc nào tính tự thích nghi cũng mang lại hiệu quả hay sức mạnh cho mạng.
- Ba là, tính chịu lỗi. Não của con người có khả năng dung thứ lỗi, tức là với
những thơng tin thiếu chính xác, khơng đầy đủ mà vẫn có thể xử lý, giải quyết được các vấn đề đặt ra. Mạng nơ-rôn bắt chước khả năng này của bộ não. Hệ thống mạng
phần thông tin bị sai lệch hay bị thiếu. Khi một số nơ-rôn khơng thực hiện tính tốn, hay một vài kết nối bị hỏng thì khả năng của mạng chỉ bị giảm đi chứ không bị đổ vỡ. Mạng nơ-rơn ln đưa ra kết quả thích hợp trong mọi tình huống.
- Bốn là, tính đồng dạng trong thiết kế. Các mơ hình mạng nơ-rơn đều có chung
đặc điểm là được cấu thành từ các nơ-rôn riêng biệt liên kết với nhau. Liên kết càng phức tạp thì mơ hình mạng nơ-rơn càng mạnh. Các mạng tổ hợp có thể xây dựng bằng cách tích hợp nhiều mạng khác nhau.
Với những tiềm năng to lớn ANN thực sự đã và đang mang lại rất nhiều lợi ích cho cuộc sống của con người và chứng minh sức mạnh của nó.
2.3.3. Các hàm kích hoạt
Phần lớn các đơn vị trong mạng nơ-rôn chuyển net input bằng cách sử dụng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit's activation). Loại trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay được sử dụng là: Hàm đồng nhất (Linear function, Identity function )
g(x)=x (2.4)
Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với net-input để tạo ra một hàm đồng nhất.
Hình 2.6. Hình hàm đồng nhất
Hàm bước nhị phân (Binary step function, Hard limit function) Hàm này cũng được biết đến với tên "Hàm ngưỡng" (Threshold function hay Heaviside function). Đầu ra của hàm này được giới hạn vào một trong hai giá trị:
(2.5) Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau, θ được chọn bằng 1.
Hình 2.7. Hàm bước nhị phân (Binary step function)
Hàm sigmoid (Sigmoid function (logsig))
(2.6) Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện (trained) bởi thuật toán Lan truyền ngược (back-propagation), bởi vì nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính tốn trong q trình huấn luyện. Hàm này được ứng dụng cho các chương trình ứng dụng mà các đầu ra mong muốn rơi vào khoảng [0,1].
Hình 2.8. Hàm Sigmoid
Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig))
(2.7) Hàm này có các thuộc tính tương tự hàm sigmoid. Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1].
Hình 2.9. Hàm sigmoid lưỡng cực
Hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự phi tuyến vào trong mạng. Lý do là hợp thành của các hàm đồng nhất là một hàm đồng nhất. Mặc dù vậy nhưng nó mang tính chất phi tuyến (nghĩa là, khả năng biểu diễn các hàm phi tuyến) làm cho các mạng nhiều tầng có khả năng rất tốt trong biểu diễn các ánh xạ phi tuyến. Tuy nhiên, đối với luật học lan truyền ngược, hàm phải khả vi (differentiable) và sẽ có ích nếu như hàm được gắn trong một khoảng nào đó. Do vậy, hàm sigmoid là lựa chọn thông dụng nhất. Đối với các đơn vị đầu ra (output units), các
hàm chuyển cần được chọn sao cho phù hợp với sự phân phối của các giá trị đích mong muốn. Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0,1], hàm sigmoid là có ích; đối với các giá trị đích mong muốn là liên tục trong khoảng đó thì hàm này cũng vẫn có ích, nó có thể cho ta các giá trị ra hay giá trị đích được căn trong một khoảng của hàm kích hoạt đầu ra. Nhưng nếu các giá trị đích khơng được biết trước khoảng xác định thì hàm hay được sử dụng nhất là hàm đồng nhất (identity function). Nếu giá trị mong muốn là dương nhưng không biết cận trên thì nên sử dụng một hàm kích hoạt dạng mũ (exponential output activation function).
2.3.4. Phân loại các mạng nơ-rôn
Liên kết các đầu vào và ra của nhiều nơ-rôn với nhau ta được một mạng nơ-rôn. Nguyên lý cấu tạo của một mạng nơ-rôn bao gồm một hoặc nhiều lớp. Mỗi lớp bao gồm nhiều nơ-rơn có cùng một chức năng trong mạng. Dựa vào số lớp hay sự liên kết giữa các lớp trong mạng mà người ta phân mạng nơ-rơn nhân tạo thành các nhóm khác nhau.
* Phân loại theo số lớp
Dựa theo số lớp thì mạng nơ-rơn gồm hai loại: mạng một lớp và mạng nhiều lớp. - Mạng một lớp: Mạng một lớp cấu thành từ một lớp mạng, nó vừa là lớp vào vừa là lớp ra.
Hình 2.10. Mơ hình mạng nơ-rơn một lớp - Mạng nhiều lớp
Mạng nhiều lớp được cấu thành từ nhiều lớp liên kết với nhau, bao gồm một lớp vào, lớp ẩn và một lớp ra. Trong đó, lớp nhận tín hiệu đầu vào được gọi là lớp vào.