Mô hình mạng nơron

3.3.1. Mô hình mạng nơron sinh học

3.3.1.1. Chức năng, tổ chức và hoạt động của bộ não con ngƣời

Bộ não người có chức năng hết sức quan trọng trong đời sống của con ngườị Nó hầu như kiểm soát hết hành vi của con người từ hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo,…

Bộ não người được hình thành từ sự liên kết của khoảng 11

10 phần tử (tế bào),

trong đó có khoảng 10

10 phần tử là nơron, số còn lại là các tế bào thần kinh đệm và

chúng có nhiệm vụ cũng như hỗ trợ cho các nơron. Bộ não có cấu trúc nhiều lớp, lớp bên ngoài thường thấy như các nếp nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành động như nghe, nhìn, tư duy,…[6]

Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con người quan tâm, nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa thực sự hiểu rõ về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo,…tuy thế, người ta đã có những hiểu biết căn bản về hoạt động cấp thấp của nãọ

Mỗi nơron liên kết với khoảng 4

10 nơron khác, cho nên khi hoạt động thì bộ

não hoạt động một cách tổng lực và đạt hiệu quả caọ Nói cách khác, các phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi, phức tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp. Về tốc độ xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơron là rất chậm so với xử lý

của các cổng logic trong các chíp vi xử lý ( 3

10 giây so với 10

10 giây ).

Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như sau:

Trước hết con người bị kích thích bởi các giác quan từ bên ngoài hoặc trong cơ thể. Sự kích thích đó được biến thành các xung điện bởi chính các giác quan tiếp nhận kích thích. Những tín hiệu này được chuyển về trung ương thần kinh là não bộ để xử lý. Trong thực tế, não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với thông tin lưu trữ để đưa ra các quyết định thích đáng.

Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi hành thích hợp như tay, chân,…Những bộ phận thi hành biến những xung điện thành dữ liệu xuất hiện hệ thống.

Bộ não người có chức năng hết sức quan trọng đối với đời sống của con ngườị Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ hàng chục tỉ tế bào nơron với mức độ liên kết giữa các nơron là rất caọ Hơn nữa, nó còn được chia thành các

vùng và các lớp khác nhaụ Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơron tạo nên nó.

3.3.1.2. Mạng nơron sinh học

Cấu tạo

Hình 3.2. Mô hình mạng nơron sinh học

Một nơron điển hình có 3 phần tử chính:

- Thân nơron (soma): nhân của nơron được đặt ở đâỵ

- Các nhánh (dendrite): Đây chính là các mạng cây của các dây thần kinh để nối các soma với nhaụ

- Sợi trục (Axon): đây là một kết nối, hình trụ dài và mang các tín hiệu từ đó ra ngoàị Phần cuối của sợi trục được chia thành nhiều nhánh nhỏ. Mỗi nhánh nhỏ (cả các nhánh và sợi trục) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là nơi tiếp giáp hai tế bào thần kinh (synapse) mà tại đây các nơron đưa các tín hiệu của nó vào các nơron khác. Những điểm tiếp nhận với các khớp thần kinh trên các nơron khác có thể ở các nhánh hay chính thân nơron.

Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm2). Đầu dây thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơron tới nơron khác. Các nhánh của đầu dây thần kinh được nối với các khớp thần kinh. Các khớp thần kinh này được nối với thần kinh vào của các nơron khác. Các nơron có thể sửa đổi tín hiệu tại các khớp. Hình ảnh đơn giản của một nơron thể hiện trong hình 3.2.

 Hoạt động

Các tín hiệu đưa ra bởi các khớp thần kinh và được nhận bởi các nhánh là các kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi tiếp nốị Điều này làm tăng hay giảm điện thế bên trong thân của nơron nhận. Nơron nhận tín hiệu sẽ kích hoạt nếu điện thế vượt khỏi một ngưỡng nào đó và một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố định được gửi ra ngoài thông qua sợi trục tới phần nhánh của nó rồi tới các chỗ nối giữa các khớp với các nơron khác. Sau khi kích hoạt, nơron sẽ chờ trong một khoảng thời gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lạị Các khớp thần kinh là hưng phấn nếu chúng cho phép các kích thích truyền qua gây ra tình trạng kích hoạt đối với nơron nhận. Ngược lại, chúng bị ức chế nếu các kích thích truyền qua làm cản trở trạng thái kích hoạt của nơron nhận.

3.3.2. Mạng nơron nhân tạo

3.3.2.1. Khái niệm

Mạng nơron nhân tạo là một mô phỏng xử lý thông tin được xây dựng trên mô hình một số tính chất của mạng nơron sinh học, tuy nhiên, khác với mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật. Mạng nơron nhân tạo là máy mô phỏng cách hoạt động của bộ não thực hiện nhiệm vụ của nó. Một mạng nơron nhân tạo là bộ xử lý song song phân tán lớn, nó giống bộ não người về 2 mặt:

- Tri thức được nắm bắt bởi nơron thông qua quá trình học

Thông thường một nơron có 3 phần chính như hình 3.3.

Hình 3.3. Mô hình nơron nhân tạo

Các đầu vào có hàm trọng Wijvà bộ tổng. Đầu ra của bộ tổng được sử dụng để

quyết định một giá trị của đầu ra thông qua hàm chuyển. Có nhiều kiểu hàm chuyển khác nhaụ Tương tự như nơron sinh học của con người, nơron sẽ được kích hoạt nếu tổng giá trị vào vượt quá ngưỡng và không được kích hoạt nếu tổng giá trị vào thấp hơn ngưỡng. Sự làm việc như vậy của nơron gọi là sự kích hoạt nhảy bậc.

Các trọng số này tương tự như các tế bào cảm giác của mạng nơron sinh học. Tổng trọng:         M k i k jk N j j ij i i t net t W y t W u t V 1 * 1 ) ( . ) ( . ) ( ) (  (3.1)

Với Vi(t)là tổng trọng của nơron thứ i, yi(t)là các đầu ra của các nơron thứ j và uk(t) là đầu vào từ bên ngoài tương ứng với các trọng số Wijvà W*jk, θ là hằng số gọi là ngưỡng của nơron thứ ị

Hệ động học tuyến tính SISO: Đầu vào là vi, đầu ra là xi ở dạng toán tử laplace ta có: ) ( ). ( ) (s H s V s Xi  i (3.2)

Dạng thời gian của (3.2) có dạng (3.3)

   v d t h t x t i i      ( ) ( ) ) ( (3.3)

Quan hệ của H(s) và h(t) và quan hệ vào ra tương ứng của nơron được cho trong bảng sau: H(s) 1 s 1 1 1  sT sT e H(t) (t) 1(t) T t e T  1 (tT) ) ( ) (t w t xi  i xi(t)vi(t) Txi(t)xi(t)vi(t) xi(t)vi(tT)

Hàm động học phi tuyến: Mô tả mối quan hệ đầu ra yi với đầu vào xi:

i i ax y 

với ặ) là hàm chuyển đổị

Hàm chuyển đổi: Để tìm được giá trị đầu ra của nơron ta phải tiến hành qua

hai bước như sau:

- Tìm các giá trị tổng trọng lượng đầu vào neti(t).

- Căn cứ vào neti(t) để tìm ra yi bằng các hàm chuyển đổi vào rạ

Hàm chuyển đổi ặ) xem nơron như một hộp đen, chuyển đổi một tín hiệu vào thành tín hiệu rạ Các dạng hàm chuyển đổi thường được sử dụng có dạng như sau:

+ Hàm Ramp (Ramp function) là hàm có biểu diễn toán học như (3.4) và biểu diễn hình học như hình 3.4.

1 nếu f > 1

ăf) = f nếu 0 ≤ f ≤ 1 (3.4)

Hình 3.4. Hàm Ramp

+ Hàm bước nhảy (Step Function) là hàm có biểu diễn toán học như (3.5) và biểu diển hình học như hình 3.5.

1 nếu f ≥ 0

ăf) = (3.5)

0 nếu f < 0

Hình 3.5. Hàm bước nhảy

+ Hàm giới hạn cứng (threshold function) có hàm biểu diễn toán học như (3.6) và biểu diễn hình học như hình 3.6.

1 nếu f ≥ 0

ăf) = (3.6)

Hình 3.6. Hàm giới hạn cứng.

+ Hàm sigmoid hai cực (Bipolar Sigmoid Function) có hàm biểu diễn toán học như (3.7) và biểu diễn hình học như hình 3.7.

1 1 2 ) (    n e n a  (3.7) Hình 3.7. Hàm Sigmid hai cực

3.3.2.2. Phân loại mạng nơron

Cũng như các nơron sinh học, nơron nhân tạo có thể liên kết với nhau để tạo thành mạng nơron nhân tạọ

Dựa vào số lớp có trong mạng:

- Mạng một lớp: là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi

một phần tử.

- Mạng nhiều lớp: Gồm một lớp đầu vào và một lớp đầu ra riêng biệt, Các lớp

nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (hiđen layers).

- Mạng truyền thẳng: Là mạng hai hay nhiều lớp mà quá trình truyền tín hiệu

từ đầu ra của lớp này đến đầu vào lớp kia theo một hướng.

- Mạng phản hồi: Là mạng trong đó có một hoặc nhiều đầu ra của phần tử lớp

sau truyền ngược tới đầu vào lớp trước.

- Mạng tự tổ chức: Là mạng có khả năng sử dụng những kinh nghiệm quá khứ

để thích ứng với những biến đổi của môi trường (không dự báo trước). Loại mạng này thuộc nhóm tự học, thích nghi không cần có tín hiệu chỉ đạo bên ngoàị

Một số mô hình mạng nơron cơ bản được mô tả trong các hình saụ

Hình 3.8. Mạng truyền thẳng một lớp

Hình 3.11. Mạng phản hồi một lớp.

Hình 3.12. Mạng phản hồi nhiều lớp.

3.3.2.3. Phƣơng thức làm việc của mạng nơron

Phương thức làm việc của mạng nơron nhân tạo có thể chia làm hai giai đoạn: - Tự tái tạo (Reproduction)

- Giai đoạn học (Learning Phase)

Ở một mạng nơron có cấu trúc bền vững có nghĩa là véctơ hàm trọng lượng đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi về mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo các nơron trong mạng. Ở đầu vào của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng. Đối với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi đầu vào xuất hiện thông tin, còn đối với mạng có hàm truyền đạt động thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp ứng.

Mạng nơron khi mới hình thành chưa có tri thức, tri thức của mạng hình thành dần sau một quá trình học. Mạng nơron được dạy bằng cách dựa vào những đầu vào kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của mạng. Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách đúng đắn. Đó có thể là những vấn đề áp dụng khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và đáp ứng đầu rạ

3.3.2.4.Các luật học

Như đã trình bày, học là vấn đề quan trọng trong mạng nơron.

Cấu trúc huấn luyện mạng được chỉ ra trong hình 3.13. Ở đây hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn cho tới khi đầu ra mạng phù hợp với đích. Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng.

Hình 3.13. Cấu trúc huấn luyện mạng nơron

Có hai kiểu học:

- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số về trọng số, cập nhật kết nối giữa các nơron.

- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng nơron gồm nhiều mạng nút (node) và các mẫu liên kết.

Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron có sẵn.

Để làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng. Có ba phương pháp học:

- Học có giám sát (Supervised Learning):

Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu xi vào mạng nơron,

tương ứng sẽ có đáp ứng mong muốn dicủa đầu ra cho trước ở thời điểm đó (hình

3.14). Hay, trong quá trình học có giám sát, mạng nơron được cung cấp liên tục các cặp số liệu mong muốn vào/ra ở từng thời điểm (x1,d1), (x2,d2),…,(xk,dk),…khi

cho đầu vào thực của mạng là xk tương ứng sẽ có tín hiệu đầu ra cũng được lặp lại

là dkgiống như mong muốn. Kết quả của quá trình học có giám sát là tạo được một

hộp đen có đầu vào là véctơ tín hiệu vào x sẽ đưa ra được câu trả lời đúng là d. Để đạt được kết quả mong muốn nói trên khi đưa tín hiệu vào xk, thông thường sẽ có sai lệch ekgiữa tín hiệu đầu ra ykvà tín hiệu đầu ra mong muốn dk. Sai lệch đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơron là ma trận trọng số W…Quá trình cứ tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả ta nhận được ma

trận trọng số W với các trọng số wij đã được điều chỉnh phù hợp với đặc điểm của

đối tượng hay hàm số mạng nơron cần học.

- Học củng cố (Reinforcement Learning):

Tín hiệu d có thể được đưa từ bên ngoài môi trường (hình 3.14), tín hiệu này có thể không được đưa đầy đủ mà chỉ đưa đại diện 1bit có tính chất kiểm tra quá

trình đúng hay saị Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcementsignal).

Phương pháp học củng cố thực chất chỉ là 1 trường hợp của phương pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chủ đạo (giáo viên) phản hồi từ môi trường. Chỉ khác là tín hiệu củng cố có tính ước lượng hơn là để dạỵ Có nghĩa là chỉ đưa ra kết quả tốt hay xấu cho một số tín hiệu đầu ra cá biệt.

- Học không có giám sát (Unsupervised Learning):

Học không có giám sát hoàn toàn không có tín hiệu từ bên ngoài (hình 3.15). Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường. Mạng phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan,…trong khi tự khám phá các đặc trưng mạng tự thay đổi thông số, vấn đề đó còn gọi là tự tổ chức (Self - Organizing).

Hình 3.16. Sơ đồ cấu trúc chung của quá trình học

Trong đó:

: là số dương còn được gọi là hằng số học, xác định tốc độ học.

r: là tín hiệu học, r  fr(wi,x,di). (3.8)

Hình 3.16 mô tả cấu trúc chung quá trình học của ba phương pháp học đã nêu trên. Trong đó tín hiệu vàoXjvới j1,2,3,...,m, có thể được lấy từ đầu ra của các

nơron khác hoặc được lấy từ bên ngoàị Thông số ngưỡng icó thể được bao trong