Nơron sinh học

L ời cảm ơn

4.1.1. Nơron sinh học

Bộ não con người có khoảng 1011 tế bào thần kinh liên kết phức tạp với nhau

được gọi là nơron thần kinh. Mỗi nơron thần kinh có khoảng 104 liên kết với các

nơron khác. Như vậy tổng cộng có 1015 liên kết. Mỗi nơron được kết nối với nhiều

nơron khác tạo thành một mạng nơron sinh học (Biological neuron network) có khả

năng tính toán và lưu trữ vô cùng lớn. Hình 4.1 trình bày sơ đồ khối cơ bản của một

nơron sinh học bao gồm 4 phần chính sau:

Hình 4.1 Sơ đồ khối cơ bản của nơron sinh học

1. ωác đầu vào (nhận thông tin): Gồm các dây thần kinh tiếp nhận (dendrites)

nhận thông tin từcác nơron khác.

2. Chọn lựa thông tin và biến đổi phi tuyến: Là thân của nơron (soma) có

nhiệm vụ lựa chọn, phối hợp và biến đổi thông tin nhận được từcác nơron

khác.

3. ωác đầu ra (chuyển đổi thông tin): Là sợi trục thần kinh ra (axon) truyền

thông tin đến các nơron khác.

4. Giao tiếp (contact): Điểm nối của một axon với một dendrite của nơron

khác gọi là khớp nối (synapse). Một nơron có khoảng 103 đến 105 synapse. Trong thực tế có nhiều loại khớp nối khác, trong mô h̀nh nơron đơn giản bỏ qua khớp nối này.

Các tín hiệu truyền trong các dây thần kinh vào và ra của các nơron là các tín

Nhận thông tin (dendrites) Lựa chọn thông tin (soma) Chuyển đổi thông tin (axon) input output synapse

phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽlàm tăng giảm điện thế của nhân tế bào. Khi điện thếđạt tới một ngưỡng nào đó (gọi là ngưỡng kích hoạt), sẽ

tạo ra một xung điện dẫn tới trục dây thần kinh ra. Xung này được truyền theo trục tới các nhánh rẽ, khi chạm vào các khớp nối với các nơron khác sẽ giải phóng các chất truyền điện. Tốc độ của các xung phụ thuộc vào nhiều hệ số ( như kích thước và chiều dài của nơron).

Tóm lại, trạng thái mà một mô h̀nh nơron đơn giản có thể là: nhận tín hiệu từ

dendrite, soma xử lý chúng và xuất ra ngõ ra (axon). Một nơron được kích hoạt nếu nó tạo ra một chuỗi xung.

4.1.2. Mô hình nơron nhân tạo.

Dựa vào đặc tính của nơron sinh học có thể tạo ra một mô h̀nh nơron nhân

tạo.

Nơron nhân tạo gồm 4 phần:

1. ωác đầu vào

2. Bộ tổng trọng số

3. Hàm truyền (trong hầu hết các ứng dụng là phi tuyến) 4. Đầu ra

Hình 4.2 trình bày mô hình một nơron nhân tạo trong một mạng có nhiều

nơron.

Mô hình nơron đơn giản nhất chỉ có một nơron, ở dạng tổng quát hình 4.2 có n ngõ vào: x1(t), x2(t), x3(t), … xn(t).

Mỗi ngõ vào xi được gắn với một hệ số nhân wi gọi là trọng số (weight). Mỗi

nơron có một giá trị ngưỡng gọi là hệ số bias. Bộ tổng thực hiện tính tổng có trọng số các tín hiệu vào kết hợp với ngưỡng để tạo ra đầu vào net input:

i i,1 1 i,2 2 i,n n i

S = w x + w x +... + w x + b (4.1)

n

i i, j i i

j=1

S =w x + b (4.2)

Các trọng số thu được từ việc huấn luyện mạng nơron. Trong quá trình huấn luyện, các trọng số bị thay đổi theo các dữ liệu huấn luyện ở ngõ vào cho đến khi ngõ ra hệ thống đúng với ngõ ra theo mẫu dữ liệu. Ngay khi việc huấn luyện kết thúc, các trọng số là hằng số. Thông thường các giá trị khởi tạo của các trọng số được chọn ngẫu nhiên và chúng có thểdương hoặc âm.

Các ngõ vào, bias:

- Ngõ vào cho một nơron có hai nguồn: Các ngõ vào bên ngoài và các ngõ vào bên trong, hoặc là các ngõ vào từcác nơron khác.

- Bias là ngõ vào thứ (n+1) luôn có giá trị là 1. Nó được thêm vào bộ tổng

n i, j i j=1

w x

 để tạo ra sự dịch hàm truyền của nơron bởi hằng số bi. Một nơron

bị kích thích nếu tổng trọng sốcác ngõ vào vượt quá giá trị ngưỡng bi. Hàm truyền (transfer function), nhận tín hiệu đầu vào net input và tạo ra tín

hiệu đầu ra của nơron:

  n i i i i i i, j i i j=1 a = y = f S = f  w x + b      (4.3)

Hàm truyền f có thể là hàm tuyến tính hoặc phi tuyến. Các dạng hàm truyền

Tên hàm Vi t t t Quan hệ vào/ra Đ th

Hard Limit Hardlim a = 1, n > 0 a = 0, n < 0

Hàm truyền tuyến tính

(linear transfer function) Purelin a = n

Hàm truyền log-sigmoid Logsig a = 1-n 1+ e

Hàm truyền Hyperbolic

tangent sigmoid Tansig

-2n 1- e a = -2n

1+ e

Bằng cách sử dụng các hàm truyền khác nhau, ta thu được các nơron có tính

chất khác nhau tương ứng.

Tóm lại, nơron nhân tạo chính là mô h̀nh đơn giản của một nơron sinh học,

đầu vào xi tương ứng với dây thần kinh tiếp nhận, trọng sốw tương ứng mức độ liên kết của khớp nối trong mạng nơron sinh học. Trọng số kết nối dương tương ứng đầu vào kích thích, trọng số kết nối âm tương ứng đầu vào ức chếtrong nơron sinh học.

Hệ sốbias cũng giống như một trọng số với đầu vào luôn là 1. Một nơron nhân tạo

có hoặc không có hệ số bias. Thân nơron được mô hình bởi bộ tổng và hàm truyền

đạt. Đầu ra ai diễn tả tín hiệu ra trên sợi trục axon.

4.1.3. Mạng nơron nhân tạo. 4.1.3.1. Đ nh nghĩa. 4.1.3.1. Đ nh nghĩa.

Mạng nơron nhân tạo là sự liên kết giữa các nơron nhân tạo với nhau. Các

nơron được sắp xếp trong mạng theo các lớp, bao gồm lớp ngoài cùng gọi là lớp ra

(output layer), các lớp còn lại gọi là các lớp ẩn (hidden layer). ωác nơron trong cùng

Cấu trúc mạng, quá trình xử lý bên trong của từng nơron và mức độ liên kết giữa

các nơron.

Khi các vector tín hiệu vào x = (x1, x2,…, xn) được đưa vào mạng, các nơron ở

các lớp ẩn và lớp ra sẽ được kích hoạt dần dần. Sau một quá trình tính toán tại các

nơron, mạng được kích hoạt hoàn toàn và cho ra vector tín hiệu đầu ra a = (a1, a2,…,

an) tại lớp ra.

Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hóa dựa trên các mẫu đã

học.

4.1.3.2. Ki n trúc mạng nơron.

Kiến trúc mạng nơron là sự sắp xếp, bốtrí các nơron và cách thức liên hệ giữa chúng. Mạng nơron một lớp (single-layer) là mạng chỉ có một lớp ra, còn mạng nhiều lớp (multiple-layer) là mạng ngoài lớp ra còn có lớp ẩn.

Theo cách liên hệ giữa các nơron ta có kiến trúc mạng truyền thẳng (feedforward neural network) và kiến trúc mạng hồi quy (recurrent neural network).

- Mạng truyền thẳng:

Trong mạng truyền thẳng, liên kết giữa các nơron không tạo thành chu trình. Tín hiệu đi từcác nơron lớp vào lần lượt qua các lớp ẩn và cuối cùng

đi ra ở các nơron lớp ra. Liên kết giữa mỗi nơron trong một lớp với các

nơron lớp liền trước có thể là liên kết đầy đủ hoặc liên kết một phần.

Mỗi lớp trong mạng có ma trận trọng số w, vector bias b, vector net

input S và vector đầu ra a.

Hình 4.5 Mô hình mạng nơron một lớp

Mô hình mạng nơron một lớp với n nơron vào và m nơron ra như h̀nh 4.5.

Mỗi phần tửtrong vector vào x được nối với từng nút vào tương ứng thông qua ma

trận trọng số W: 1,1 1,2 1,m 2,1 2,2 2,m n,1 n,1 n,m w w ... w w w ... w W = w w ... w (4.4)

Nơ ron thứ i (trong lớp tính toán) có: i n i, j i i

j=1

S =w x + b

Ngõ ra tương ứng của nơron thứ i là ai = f(Si)

Trong đó f là hàm truyền của nơron. ωhúng ta có thể biểu diễn ngõ ra của mạng: a = f(wx + b)

Tùy vào bài toán cụ thể mà lựa chọn số lớp nơron, sốnơron trên mỗi lớp, hàm truyền cho từng lớp. Trong thực tếthường dùng mạng một lớp ẩn và số nơron trên

lớp ẩn thường được xác định dùng phương pháp thử sai.

- Mạng hồi quy

Trong mạng hồi quy (recurrent network) hình 4.4 có những liên kết từ các

liên kết hồi tiếp. Chúng tạo thành chu tr̀nh mà trong đó các tín hiệu ra của

nơron lại được truyền ngược lại thành đầu vào cho các nơron đã kích hoạt chúng. Vì các thông tin ra của các nơron được truyền lại cho các nơronđã góp

phần kích hoạt chúng, nên mạng hồi quy còn có khả năng lưu trữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết

nơron.

4.1.4. Hu n luyện mạng nơron nhân tạo.

Sau khi đã lựa chọn kiến trúc mạng, ta cần phải huấn luyện mạng. Quá trình

huấn luyện mạng (training) là quá trình hiệu chỉnh các trọng số và hệ số bias của mạng bằng một số luật học (thuật toán huấn luyện mạng). Các luật học được chia làm 3 loại:

- Luật học có giám sát (supervised learning) - Luật học không giám sát (unsupervised learning)

- Luật học tăng cường (reinforcement learning)

4.1.4.1. Lu t học có giám sát.

Là giải thuật điều chỉnh các trọng số kết nối dựa vào sự khác biệt giữa ngõ ra thực tế của mạng (actual network output) và ngõ ra mong muốn (target or desired network output), ứng với một tập tín hiệu vào.

Trong luật học có giám sát, mạng được cung cấp một tập hợp các mẫu chuẩn (training set) thể hiện mối quan hệ giữa đầu vào và đầu ra của mạng {x1,t1}, {x2,t2},…,{xn,tn}.

Trong đó x là đầu vào của mạng, t là đầu ra đích (đầu ra mong muốn) tức là

ứng với ngõ vào x th̀ ngõ ra đúng của hệ phải là t. Gọi ngõ ra thực tế của mạng là a, thì giải thuật học phải điều chỉnh mạng (điều chỉnh các trọng số và hệ số bias của mạng) sao cho sai số e = |t-a| nhỏhơn một tiêu chuẩn nào đó.

Sơ đồ khối mô tả luật học có giám sát như h̀nh 4.6

Để đánh giá sai số e, người ta dùng hàm sai số. Hàm này thể hiện chất lượng

học của mạng và có nhiều cách để lựa chọn. Một khái niệm liên quan là mặt lỗi (error surface). Mỗi một trọng số và hệ số bias của mạng tương ứng với một chiều

trong không gian. Nếu mạng có tất cả N trọng số và hệ số bias thì chiều thứ N+1 biểu diễn sai số của mạng. Mỗi một bộ trọng số và hệ số bias của mạng ứng với một

điểm của mặt lỗi. Mục tiêu của luật học là t̀m được điểm thấp nhất (điểm cực tiểu) của mặt lỗi này, tức là điểm ứng với bộ trọng số của hệ số bias tối ưu.

Hình 4.6 Sơ đồ khối mô tả luật học có giám sát

4.1.4.2. Lu t học không có giám sát.

Trong luật học này, mạng không được biết trước về vector đầu ra đích đối với

từng vector đầu vào. Mạng phải tự phân tích các đặc trưng, tính chất của các mẫu

đầu vào để phân loại chúng.

Các trọng số và hệ số bias của mạng phải được thay đổi để đáp ứng đầu vào của mạng. Hầu hết các luật học này thực hiện thao tác phân loại mẫu: Chúng tự động phân loại các mẫu vào thành một số hữu hạn các lớp. Các mạng với cơ chế

học không giám sát gọi là các mạng tổ chức.

4.1.4.3. Lu t học tăng cư ng.

Học tăng cường là một giải thuật đặc biệt của học giám sát nhưng thay v̀ được

cung cấp đầu ra đúng, th̀ mạng chỉ nhận được đánh giá theo các mức độ đối với

mỗi đầu vào. Đánh giá này cho phép đo hiệu suất của mạng trên một dãy đầu vào.

Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường tạo ra các tín hiệu

đánh giá giúp mạng hiệu chỉnh các trọng số với hy vọng nhận được tín hiệu đánh

giá tốt hơn.

Sơ đồ khối của luật học tăng cường có dạng như sau:

Mạng nơron W Đầu ra thực Đầu ra đích Tính sai số Hiệu chỉnh Đầu vào

Hình 4.7 Sơ đồ khối mô tả luật học tăng cường

4.1.5. Gi i thu t lan truy n ngư c.

Lan truyền ngược là một phương pháp cho phép xác định tập trọng số tốt nhất của mạng để giải một bài toán được cho. Việc áp dụng phương pháp lan truyền

ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính: ánh xạ và lan

truyền ngược sai số. Hai tiến tr̀nh này được áp dụng trên một tập mẫu xác định

4.1.5.1. Chuẩn b d liệu cho gi i thu t lan truy n ngư c.

Lan truyền ngược sử dụng 3 loại dữ liệu: tập huấn luyện, tập kiểm tra và tập giám sát (dữ liệu thật). Tập huấn luyện được sử dụng để giúp mạng nơron (ANN:

Artificial Neural Network) thiết lập các trọng số. Tập kiểm tra dùng để kiểm tra

mạng ANN sau khi đã được huấn luyện xong. Tập giám sát đóng vai trò như tập

kiểm tra, nhưng nó được áp dụng vào mạng ngay trong quá trình huấn luyện. Nếu

mạng ANN không ghi nhớ được tập huấn luyện (ví dụ có quá nhiều nút ẩn trong lớp

ẩn của ANN) thì nó nên thực hiện tốt với tập giám sát ANN có thể được áp dụng cho các vấn đề thực tế, được xác định bởi các dữ liệu thực.

Dữ liệu huấn luyện có một vai trò quan trọng và yêu cầu lựa chọn cẩn thận. Việc chuẩn bị dữ liệu bao gồm 3 bước chính: Xác định dữ liệu, kiểm tra dữ liệu và tiền xử lý dữ liệu.

ψước đầu tiên đôi khi lại là bước khó khăn. Nó liên quan đến vấn đề cần xác

định. Tuy nhiên không thể thực hiện được mọi kiểu đặc tính của mạng ANN, vì mỗi

ngõ vào được đặc trưng bởi một nút vào trong mạng và nếu số lượng ngõ vào lớn

yêu cầu mạng ANN lớn. Hay mạng ANN với yêu cầu tính toán lớn hơn th̀ độ hội tụ

càng chậm hơn. Mạng ANN chỉ yêu cầu các ngõ vào cho phép nó học mối quan hệ

Mạng nơron W Đầu ra thực Tín hiệu tăng cường Bộ sinh tín hiệu đánh giá Hiệu chỉnh Đầu vào

vào – ra. Những ngõ vào nào thật sự không được yêu cầu bởi mạng ANN sẽ có trọng số nhỏ sau vài chục chu kỳ huấn luyện mạng (epoch), tuy nhiên không cần phải loại bỏ các ngõ vào này. Mạng ANN sẽ thực hiện thêm vài chu kỳ huấn luyện

nữa, nếu độ lớn của những ngõ vào “ nghi ngờ” này không thay đổi thì những ngõ

vào này không quan trọng lắm.

ψước thứ hai là chuẩn bị tập dữ liệu để kiểm tra các hành vi bất thường để ngăn chặn các dữ liệu giả trong tập huấn luyện.

ψước thứ ba là tiền xử lý dữ liệu. Giải thuật lan truyền ngược thích hợp với các dữ liệu nằm trong phạm vi giữa 0 và 1. Vì vậy có thể chuẩn hóa lại dữ liệu huấn luyện (nv) theo phương pháp sau:

nv = (4.5)

Số lượng dữ liệu được yêu cầu cho huấn luyện theo giải thuật lan truyền

ngược là một hệ số rất quan trong. Nếu phạm vi yêu cầu phức tạp, yêu cầu phải có một tập dữ liệu lớn có đầy đủ các thông tin vềđối tượng.

4.1.5.2. Chọn l a s nút ẩn, l p ẩn.

Một trong những khó khăn nhất của giải thuật lan truyền ngược là lựa chọn số

nút ẩn và số lớp ẩn vì không có một phương pháp chung cho vấn đề này. Các nút

vào và ra được ấn định theo bài toán (ngõ vào thực và ngõ ra). Còn sốlượng nút ẩn

và lớp ẩn th̀ không được biết. Ví dụ, trong một mạng ANN có một lớp ẩn, nếu số

lớp ẩn đủ lớn thì mạng có thể ghi nhớ được huấn luyện. Tuy nhiên, nếu có quá nhiều nút ẩn thì mạng có thể không học tốt được (quá khớp). Trong ứng dụng, trước tiên sốlượng nút ẩn được cho một giá trị nào đó và mạng ANN được kiểm tra bằng

tập kiểm tra. Thông thường, ANN ghi nhớ được dữ liệu huấn luyện nhưng khi dữ

liệu mới được ứng dụng th̀ nó thường cho kết quả ngõ ra không đúng. Trong

trường hợp này sốlượng nút ẩn cần được giảm và huấn luyện lại sau đó kiểm tra lại. Trong ANN chứa một lớp ẩn (và một lớp ra) đôi khi chỉ có một nút ẩn được sử

dụng, nhưng tổng quát sốlượng nút ẩn tùy thuộc vào bài toán liên quan.

Actual value – minimum value maximum value – minimum value

4.1.5.3. Gi i thu t hu n luyện.

Quá trình huấn luyện mạng được bắt đầu với các giá trị trọng số tùy ý (ngẫu