M ng thần kinh nhơn t o có thể xem nh lƠ mô hình toán học đ n gi n c a bộ nƣo con ng i. M ng thần kinh nhơn t o gồm các t bƠo thần kinh nhơn t o k t nối v i nhau b ̉i cac liên kê t. Mỗi liên kêt kem theo mô ̣t tro ̣ng sô , đă ̣c tr ng cho đă ̣c tích kích thích hay c ch gi a các t bƠo thần kinh nhơn t o.
Trang 25
So sanh v i tê bao thơn kinh sinh ho ̣c , t bƠo thần kinh nhơn t o, trọng số w
đă ̣c tr ng cho m c liên kêt của cac kh p (synapse), phơn thơn (cell body ) đ ̣c biểu diễn b ̉i phep toan cộng và hàm chuyển đổi f. Và ngõ ra a là tín hi u ra trên tr c (axon). Inputs Weights Output Bias 1 3 p 2 p 1 p f a 3 w 2 w 1 w f p w p w p w b f p w b a 1 1 2 2 3 3 i i
Trang 26
3.2 Lịch sử phát triển c a m ng Neural nhân t o
Lịch s m ng thần kinh nhơn t o (gọi tắt là m ng neural) có thể xem đ c tô điểm b i nhi u màu sắc, vƠ đ c t o ra b i t ng cá nhân trong nhi u lĩnh v c khác nhau.
- Tr ớc năm 1940: một vài nghiên c u liên quan đ n lĩnh m ng thần kinh nhân t o đ c xem xét. Các nhà khoa học Von Hemholtz, Ernst Mach và Ivan Pavlov đƣ có nh ng nghiên c u lý thuy t tổng quan v v t lý, h tâm lý và b nh học thần kinh. Nh ng nghiên c u này làm nổi b c lý thuy t tổng quan v s học, s nhìn, tình c nh, v.v.. Nh ng nó không chỉ ra mô hình toán học c a t bào thần kinh sinh học.
- Th p niên 1940: Donald Hebb đƣ đ xu t c ch cho vi c học trong các t bào thần kinh sinh học. Warren McCulloch vƠ Walter Pitts đƣ đ xu t một mô hình đầu tiên cho m ng thần kinh nhân t o có kh năng tính toán số học b t kỳ hoặc các hàm logic b t kỳ.
- Th p niên 1950: Frank Rosenblatt đƣ có nh ng thí nghi m đầu tiên m ng thần kinh nhân t o và với phát minh c a m ng Perceptron và lu t học hỗ tr . Rosenblatt đƣ xơy d ng m ng perceptron và minh ch ng kh năng c a m ng có thể nh n d ng m u v t. Tuy nhiên, m ng perceptron chỉ có thể gi i quy t đ c một số vần đ giới h n.
- Cùng th i, Bernard Widrow and Ted Hoff giới thi u một lu t học mới và s d ng để hu n luy n m ng neural tuy n tính thích nghi - Adaline. M ng này có c u trúc t ng t và kh năng giống m ng perceptron. Tuy nhiên, c m ng perceptron và adaline gặp ph i nh ng v n đ giới h n c a chính b n thân c a m ng. Rosenblatt vƠ Widrow đƣ đ xu t m ng mới có thể gi i quy t đ c nh ng giới h n nội t i. Tuy nhiên, họ đƣ không thƠnh công trong chỉnh s a thu t toán hu n luy n cho một m ng ph c h p.
- Th p niên 1960: Nhi u nhà khoa học tin rằng m ng neural không phát triển đ c vƠ cũng không có một máy tính đ m nh để th c hi n nh ng thí nghi m, m ng neural bị lãng quên trong th p niên 1960.
Trang 27
- Th p niên 1970: Teuvo Kohonen vƠ James Anderson đƣ độc l p và tách bi t phát triển một m ng neural mới. M ng này có thể ho t động nh một bộ nhớ. Stephen Grossberg cũng phát minh ra m ng t tổ ch c (Self-Organizing)
- Th p niên 1980: Nh ng nghiên c u v m ng neural đƣ bị lãng quên trong th p niên 1960 b i vì không có ý t ng mới cho m ng và không có máy tính th nghi m. Tuy nhiên trong th p niên 1980, c hai v n đ nƠy đi u đ c gi i quy t và nh ng nghiên c u v m ng neural phát triển một cách đột phá.
Hai khái ni m mới đƣ lƠm hồi sinh cho m ng neural.
Đầu tiên là s d ng c ch thống kê để di n t ho t động c a một lớp m ng hồi quy (recurrent network). M ng này có thể ho t động nh một bộ nhớ và đ c phát minh b i John Hopfield
Th hai là gi i thu t học lan truy n ng c (backpropagation) cho hu n luy n m ng perceptron đa lớp. Gi i thu t nƠy đ c phát hi n b i r t nhi u nhà khoa học và hoàn thi n b i David Rumelhart và James McClelland.
- Nh ng phát triển mới l i ti p thêm sinh l c cho m ng neural. Trong m i năm gần đơy, hƠng ngƠn bƠi báo đ c vi t và nhi u ng d ng đ c th c hi n trên nhi u lĩnh v c. R t khó đểtuyên đoán m c độ thƠnh công trong t ng lai c a m ng neural, một số l ng r t lớn vƠ đa ng d ng đƣ vƠ đang s d ng kỹ th t m ng neural .
Tóm lại: Lịch sử phát triển của mạng Neural nhân tạo có thể được tóm tắt lại như sau:
M ng neural ban đầu - Perceptron
- Adaline
M ng neural đ ng đ i
- Multilayer feed-forward networks
Multilayer perceptron
Radial Basis Function network… - Hopfield Network
Trang 28
- Self Organizing Network - Probabilistic Network
- Boltzmann Machine, ART Models...
3.3 Các tính chất c a m ng Neural nhân t o
- Là hệ phi tuyến: M ng n ron có kh năng to lớn trong lĩnh v c nh n d ng vƠ đi u khiển các đối t ng phi tuy n.
- Là hệ xử lý song song: M ng n ron có c u trúc song song, do đó có tốc độ tính toán r t cao, r t phù h p với lĩnh v c nh n d ng vƠ đi u khiển.
- Là hệ học và thích nghi: M ng đ c luy n t các số li u quá kh , có kh năng t chỉnh khi số li u đầu vào bị m t, có thể đi u khiển on-line.
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (Many Input Many Output - MIMO), r t ti n d ng khi đi u khiển đối t ng có nhi u bi n số.
3.4 Mô hình Neural và ki n trúc m ng
3.4.1 Mô hình Neural
Một neuron nhân t o là một đ n vị tính toán hay đ n vị x lý thông tin c s cho ho t động c a một m ng neural.
đơy, chúng ta xác định ba thành phần c b n c a một mô hình neural :
- Một t p h p các trọng số - weights, mà mỗi một trong chúng đ c đặc tr ng b i một trọng số c a riêng nó. T c là một tín hi u pj t i đầu vào c a weights j nối với neural k sẽ đ c nhân với trọng số weights wkj. đó k lƠ chỉ số c a neural t i đầu ra c a weights đang xét, còn j chỉ điểm đầu vào c a weights. Các trọng số weights c a một neural nhân t o có thể nh n c các giá trị âm và các giá trịd ng.
- Một bộ cộng để tính tổng các tín hi u đầu vào c a neuron, đƣ đ c nhân với các trọng số weights t ng ng; phép toán đ c mô t đơy t o nên một bộ tổ hợp tuyến tính.
- Một hàm kích hoạt (activation function) để giới h n biên độ đầu ra c a neuron. Hàm kích ho t cũng đ c xem xét nh lƠ một hàm nén; nó nén (giới h n) ph m vi biên độ cho phép c a tín hi u đầu ra trong một kho ng giá trị h u h n.
Trang 29
Hình 3.4: Mô hình Neural
3.4.1.1 Mô hình Neural đ n gi n
Một mô hình n ron đ n gi n nh t chỉ gồm một input p và trọng số w. Sau khi qua hàm truy n, đầu ra sẽ nh n đ c là a= f(wp) (hình 3.5a).
Trên hình 3.5b, ngoài input còn có thêm phân c c b. Khi đó a=f(wp+b), th c ch t phân c c b cũng có tác d ng nh trọng số, chỉ khác là input c a nó bằng 1.
Trang 30
Hình 3.5a Hình 3.5b
Hình 3.5: Mô hình Neural đ n gi n
Tuỳ theo yêu cầu mà hàm truy n có thể khác nhau, tuy nhiên d ới đơy lƠ ba hƠm truy n thông d ng nh t: Hàm truy n ng ng Hình 3.6a: Hàm truy n ng ng 0 0 0 1 net if net if a (3.1) Hình 3.6b: Hàm truy n ng ng
Trang 31 0 1 0 1 net if net if a (3.2) Hàm truy n tuy n tính Hình 3.7: Hàm truy n tuy n tính 1 1 1 1 1 1 net if net if n net if a (3.3)
Hàm truy n log ậ sigmoid
Hình 3.8: Hàm truy n log ậ sigmoid
n e a 1 1 (3.4)
Trang 32
3.4.1.2 Mô hình Neural nhi u ngõ vào
Thông th ng, một neuron có nhi u h n 1 ngõ vƠo. Một neuron với R ngõ vƠo đ c thể hi n trên hình 3.9. Các ngõ vào riêng bi t p1, p2, …, pRđ c nhân với các thành nhân tố trọng sốt ng ng w1,1 , w1,2,…, w1,Rcủa ma trận trọng sốW.
Hình 3.9: Mô hình Neural nhi u ngõ vào Lúc này net input n sẽđ c biểu di n:
b p w p w p w net 1,1 1 1,2 2... 1,R R (3.5) 3.4.2 Ki n trúc m ng Neural
M ng n ron (Neural Network-NN) đ c hình thành b i các thành phần đ n gi n, ho t động song song. Nguồn gốc ý t ng hình thành m ng bắt nguồn t c ch c a m ng n ron c a sinh v t. Các ch c năng m ng đ c hi n th c b i t ng quan nối k t gi a các thành phần hay trong thu t ng chuyên ngƠnh th ng dùng là trọng số (weights).
Để m ng có thể đáp ng yêu cầu thì ph i đi u chỉnh các trọng số. Muốn v y ta ph i hu n luy n cho nó (training). Thông th ng để luy n cho m ng thì ta s d ng các cặp đầu vào và tham kh o đầu ra (inputs vƠ targets). Quá trình đi u chỉnh các trọng số đ c th c hi n dần dần sao cho đáp ng đầu ra c a m ng ti n tới gía trị targets một sai sốcho phép (th ng đ c gọi là goal).
Trang 33
Hình 3.10: Mô hình hu n luy n m ng Neural
3.4.2.1 M ng Neural đ n lớp
Một lớp m ng n ron với R inputs và Sn ron nh sau (hình 3.11)
Trong lớp này, mỗi y u tố c a vector input p, sẽ đ c nối với các n ron qua các thành phần t ng ng c a ma tr n trọng sốW. n ron th i sẽ có một bộ cộng để l y tổng input đƣ nhơn trọng số và thành phần phân c c cho ra net input n(i). Các n(i)
h p thành vector net input n=Wp+b.VƠ t ng ng đầu ra cũng lƠ một vector S phần t a =f(Wp+b) nh gi i thiê ̣u trên hình 3.11
Trang 34
Hình 3.12: D ng kí hi u c a m ng Neural đ n lớp
3.4.2.2 M ng Neural đa lớp
Một m ng có thể có nhi u lớp. Mỗi lớp có một ma tr n trọng số W, một vector phân c c b và ouput a.
Hình 3.13: M ng Neural đa lớp
Lớp n ron th c hi n ti p nh n các tín hi u vào gọi là lớp vào (Input Layer). Lớp n ron th c hi n đ a tín hi u ra gọi là lớp ra (Output Layer).
Gi a hai lớp n ron vƠo vƠ ra có một hoặc nhi u lớp n ron không liên h tr c ti p với môi tr ng bên ngoƠi đ c gọi là các lớp ẩn (Hidden Layer). M ng n ron truy n thẳng nhi u lớp có thể có 1 hoặc nhi u lớp n ron ẩn.
Trang 35
Hai lo i m ng n ron một lớp và nhi u lớp đ c gọi là truy n thẳng (Feedforward Network) n u đầu ra c a mỗi n ron đ c nối với các đầu vào c a các n ron cùng lớp đó hoặc đầu vào c a các n ron c a các lớp tr ớc đó. Trong m ng không tồn t i b t kỳ một m ch hồi ti p nào kể c hồi ti p nội l n hồi ti p t đầu ra tr v đầu vào.
M ng n ron bao gồm một hay nhi u lớp trung gian gọi là m ng MLP (Multilayer perceptrons Networks).
3.4.2.3 M ng Neural h i qui
Tr ớc khi th o lu n v m ng hồi quy, chúng ta cần giới thi u 1 số các khối xây d ng đ n gi n.
Khối delay, đ c thể hi n trên hình bên
Tín hi u ra delay a(t) đ c tín t các tín hi u vào u(t) ph thuộc công th c
a(t) = u(t-1)
Bộ tích phân
Ngõ ra c a bộ tích phân a(t) đ c tính t các ngõ vào u(t)
ph thuộc vào: t u d u t a 0 ) 0 ( ) ( ) ( Một m ng h i quy là 1 m ng truy n ng c, một số các ngõ ra c a m ng đ c nối với các ngõ vào c a nó.
Trang 36
Hình 3.14: M ng hồi quy
3.5 Phư ng th c làm vi c c a m ng Neural
Ph ng th c làm vi c c a một m ng n ron nhơn t o có thểchia lƠm 2 giai đo n: - Tự tái tạo (reproduction)
- Và giai đoạn học (learning phase)
một m ng n ron có c u trúc b n v ng có nghĩa lƠ véct hƠm trọng l ng đầu vào, khâu t o đáp ng và khâu t o tín hi u đầu ra đ u cố định không bị thay đổi v mặt c u trúc cũng nh tham số thì m ng có một quá trình truy n đ t xác định chắc chắn, tĩnh hoặc động ph thuộc vào c u t o c a các n ron trong m ng. đầu vào c a m ng xu t hi n thông tin thì đầu ra cũng xu t hi n một đáp ng t ng ng. Đối với m ng n ron có quá trình truy n đ t tĩnh,đáp ng đầu ra xu t hi n ngay sau khi đầu vào nh n đ c thông tin, còn đối với m ng n ron có quá trình truy n đ t động thì ph i sau một th i gian quá độ đầu ra c a m ng n ron mới xu t hi n đáp ng. Xu t phát t quan điểm mọi đáp ng c a m ng n ron đ u ti n định t nhiên, có nghĩa lƠ khi xu t hi n các kích thích đầu ra th i điểm t ng ng cũng hoƠn toàn giống nhau. Quá trình làm vi c nh v y c a một m ng n ron đ c gọi là quá trình tái di n (reproduction phase). Khi đó thông tin đầu vào m ng l u gi thông tin đó và d a trên các tri th c c a mình đ a ra các đáp ng đầu ra phù h p với l ng thông tin thu đ c t đầu vào.
M ng n ron khi mới hình thƠnh còn ch a có tri th c, tri th c c a m ng hình thành dần sau một quá trình học. M ng n ron đ c d y bằng cách d a vƠo đầu vào
Trang 37
nh ng kích thích và hình thành nh ng đáp ng t ng ng, nh ng đáp ng phù h p với t ng lo i kích thích sẽ đ c l u gi , giai đo n nƠy đ c gọi là giai đoạn học của mạng. Khi đƣ hình thƠnh tri th c m ng có thể gi i quy t các v n đ c thể một cách đúng đắn. Đó có thể là nh ng v n đ ng d ng r t khác nhau, đ c gi i quy t ch y u d a trên s tổ ch c h p nh t gi a các thông tin đầu vào c a m ng và các đáp ng đầu ra.
- Nhi m v c a một m ng liên k t là hoàn chỉnh hoặc hi u chỉnh các thông tin thu th p đ c không đầy đ hoặc bịtác động nhi u. M ng n ron kiểu nƠy đ c ng d ng trong lĩnh v c hoàn thi n m u, mà một trong lĩnh v c c thểđó lƠ nh n d ng ch vi t.
- Nhi m v tổng quát c a m ng n ron lƠ l u gi tác động thông tin. D ng thông tin l u gi đó chính lƠ quan h gi a các thồng tin đầu vào c a m ng và các đáp ng đầu ra t ng ng, để khi có một kích thích b t kỳ tác động vào m ng,