Tìm hiểu mạng nơ ron và ứng dụng mạng nơ ron trong kĩ thuật điều khiển

57 Trang 4 CHƯƠNG 1 MẠNG NƠ RON NH N TẠOÂ1.1 MƠ HÌNH MẠNG NƠ RON NHÂN TẠO1.1.1 Cấu trúc một nơ ron nhân tạo Mạng nơ ron là sự tái tạo bằng kĩ thuật những chức năng của hệ thần kinh con

-

Luận văn thạc sỹ khoa học

Tìm hiểu mạng nơ ron và ứng dụng mạng nơ ron trong kĩ

thuật điều khiển

Ngành: tự động hoá & điều khiển

Nguyễn thái sơn Ngời hớng dẫn khoa học: pgs.ts phan xuân minh

Hà nội 2008

M ỤC ỤC L

L ờicam đoan………

M l ……… ục ục Danh mục các h v ……… ình ẽ L M ỜI Ở ĐẦU………

CHƯƠNG 1: MẠNG N ƠRON NH N TẠOÂ ……… 1

1.1: Mô hình mạng ơ n ron nh n tạoâ ……… 1

1.1.1: Cấu trúc một nơ ron nh n tạoâ ……… 1

1.1.2: Các c ấutrúc c b c mơ ản ủa ạng ơ n ron nh n tạoâ …… 4

1.2: Huấn luyện mạng……… 6

1.2.1: Nguyên tắc huấn luyện mạng……… 6

1.2.2: Cấu trúc và phương pháp huấn luyện trong các ạng m n ơron ti u biê êu……… 8

1.2.2.1: Mạng truyền thẳng……… 8

1.2.2.2: Mạng RBF……… 16

1.2.2.3: Mạng t t ự ổchức Kohonen……… 20

1.2.2.4: Mạng h quy……… ồi 22 1.2.2.5: Mạng n ơron động……… 26

CHƯƠNG 2: ỨNG DỤNG MẠNG Ơ N RON TRONG NHẬN DẠNG H ỆTHỐNG PHI TUYẾN……… 30

2.1: Giới thiệu……… 30

2.2: Nhận dạng đối tượng động ọc phi tuyến h ……… 32

2.2.1: Mô t ả đối tượng……… 32

2.2.2: Nhận dạng đối ượng t ……… 33

2.2.3: Kết luận……… 41

CHƯƠNG 3: ỨNG DỤNG MẠNG Ơ N RON TRONG BÀI TOÁN ĐIỀU KHIỂN……… 42

3.1: Giới thiệu……… 42

3.2: Điều khiển d o ự đ án trên m ình……… ô h 43 3.2.1: Nhận dạng ệ h thống……… 43

3.2.2: Điều khiển d o dự đ án ựa trên m ình……… ô h 45 3.2.3: Khối i đ ềukhiển ự áo trê d b n m ình bô h ằng ạng ơ m n ron c Matlab……… ủa 47 3.3: Điều khiển NARMA-L2……… 54

3.3.1: Nhận dạng ẫu m NARMA-L2……… 54

3.3.2: Bộ đ iều khiển NARMA-L2……… 55

3.3.3: Khối i đ ềukhiển ARMA L2 của N - Matlab……… 57

3.4: Điều khiển theo m ình m ……… ô h ẫu 63 3.4.1: Thiết k b i ế ộ đ ềukhiển ơ ron theo m ình m ……… n ô h ẫu 65 3.4.2: Kết luận……… 74

3.5: Kết luận……… 74

K ẾTLUẬN CHUNG……… 75

PHỤ LỤC……… 76

T ÀI LIỆU THAM KHẢO……… 113

CHƯƠNG 1

1.1.1 Cấu trúc một nơ ron nhân tạo

Mạng nơ ron là sự tái tạo bằng kĩ thuật những chức năng của hệ thần kinh con người Trong quá trình tái tạo, không phải tất cả các chức năng của bộ não con người có đều được tái tạo, mà chỉ có những chức năng cần thiết Bên cạnh đó, còn có những chức năng mới được tạo ra nhằm giải quyết một bài toán điều khiển đã định hướng trước

Mạng nơ ron bao gồm vô số các nơ ron được liên kết truyền thông với nhau trong mạng Một nơ ron chứa đựng các thành phần cơ bản:

là nhân Từ thân nơ ron còn có rất nhiều đường rẽ nhánh tạm gọi là

có một rễ đầu ra Bởi vậy nếu xem n ơ ron như ột kh u điều khiển ì nó m â th

chính là âkh u c nhiều đầu v , mó ào ột đầu ra (MISO) Một ínht ất rất c ch ơ

b c mản ủa ạng ơ ron sinh học n là c ác đáp ứng theo kích thích có khả ăng nthay đổi theo thời gian Các đáp ứng có thể ă t ng l n, giê ảm đi hoặc hoàntoàn biến mất Qua các nhánh ax on li n kê ết t b n ế ào ơ ron n v cày ới ác n ơ

ron khác, sự thay đổi trạng thái ủa m c ột nơ ron cũng s k ẽ éo theo sự thay đổi trạng thái c những n ủa ơ ron khác và do là s đó ự thay đổi ủa c toàn ộ b

mạng ơ ron Việc thay đổi trạng thái ủa ạng ơ ron c thể thực hiện qua n c m n ó

một qu trình “dạyá ” hoặcdo khả ăng “học” tự nhi n n ê

S ự thay thế những ính chất ày ằng t n b một mô hình toán ọc ương h tđương được gọi là mạng n ơ ron nhân tạo Mạng n ơ ron nhân t có ạo thểđược chế ạo ằng t b nhi cáchều kh nhau, vì v trong thực t tác ậy ế ồn t r ại ấtnhiều ểu mki ạng ơ ron nhân tạo n

Đại lượng đầu vào vô hướng được p truy ôềnth ng qua ột đường dâm y có

h s ệ ố trọng Tích ố p l đối ố ủa àm truyền , tạo w s w à s c h f nên đầu ra vô

Hình 1.1: Mô hình một nơ ron nhân tạo không có trọng số

Hình 1.2: Mô hình một nơ ron nhân tạo có trọng số

hướng a ơ ron ở ình 2 N h có h s b có ệ ố ias b, vai tr giống như ột trọng ốò m s

nh ng ư đầu v c ào ố định bằng C w và 1 ả b đều là c ác tham số vô hướng có thểthay đổi được của m t nơộ ron Ý tưởng trung t m của mạng n â ơron là có thể đ iều chỉnh c ôác th ng số ày để thu được ác ành vi theo y u cầu n c h ê Vì

thế chúng ta có thể huấn luyện mạng ơ ron để ực n th hiện ột cô m ng việc ụ c thể hoặc mạng n ron s t iều chỉnh ôơ ẽ ự đ th ng số để đạt được ết quả như k ý muốn

Ở đây, f là hàm truyền, trong đó có 3 loại thường ùng, như sau: d

a) Hàm truyền Hard-limit

Hàm truyền ar limit giới ạn đầu ra của ột nơ ron hoặc ằng 0 nếu H d- h m bđối s ố đầu vào n n ỏ ơn 0; ho bh h ặc ằng 1 n n lớn hơn ho bếu ặc ằng 0 Hàmtruyền n ày được ử ụng trong mạng P c s d er eptron

b) Hàm truyền tuyến tính

Hình 1.3 Hà : m truyền Hard-lim

Hình 1.4 Hà : m truyền tuyến t ính

C mác ạng ơ ron của loại n này thường được ùng như d là c b x x ác ộ ấp ỉ tuyến

tính

c) Hàm truyền sigmoid

Hàm truyền ày n thường được ùng trong các d mạng ơ ron lan truyền n ngược

1.1.2 Các cấu trúc cơ bản của mạng nơ ron nhân tạo

Liên kết ác đầu ào c v và ra của nhiều ơ ron với nhau ta được m n ột mạng

n ơ ron Việc ghép ối ác ơ ron trong mạng ới nhau c thể theo một n c n v ó nguyên tắc bất k n ỳ ào đó Ở một mạng, các ơ n ron được ân biệt v ph ớinhau

thông qua vị í c nó tr ủa trong mạng, cụ ể là: th

- Nhóm ơ ron đầu ào (input layer) l những ơ ron nhận th ng tin n v à n ô

t môừ i trường bên ngoài ào trong mạng Chúng v có v í ị tr ngoài

cùng “b n trái” v được ối ới ác ơ ron khác trong mạng ừ (rễ) ê à n v c n t đầu ra

- Nhóm ơ ron được ác ơ ron khác trong mạng ết ối ới th ng n c n k n t ôqua (rễ) đầu v ào được gọi là n ơ ron đầu ra (output layer) Những n ơron đầu ra có v í ị tr ngoài ùng c ê“b n phải” và có nhiệm v ụ đưa tín hiệu của mạng ra b n ngoài ê

- Những ơ ron còn ại kh ng thuộc hai nhóm tr n được ọi n l ô ê g là n ơron b n trong (hiê dden layer )

Hình 1.5 Hà : m truyền sigmoid

Như vậy, một mạng n ơ ron cũng có chức năng của ột hệ truyền đạt m và

x lý t ử ín hiệu ừ đầu ào đến đầu ra của ạng Các ơ ron trong một mạn t v m n g thường được chọn ùng ột loại, chúng c m đượcphân biệt với nhau qua véc t ơ

S Các t ín hiệu đầu v àođược đưa đến S

n ơ ron đầu ào, các ơ ron này àm thành ớp đầu ào ủa v n l l v c mạng (input layer) Đầu ra của c n ác ơ ron n àyđược đưa đến đầu vào c c n ủa ác ơ ron tiếp theo, các nơron này không trực tiếp tiếp úc với môi trường xung quanh và x

làm thành ớp trung gian trong mạng l (hidden layer) Đầu ra của c n ác ơ ron

này được đưa đến ác ơ ron đưa tín hiệu ra m i trường c n ô bên ngoài, thuộc

l c n ớp ác ơ ron đầu ra (output layer)

Mạng ơ ron m ở đó kh ng tồn ại ất ỳ ột mạch ồi tiếp ào ể ả n à ô t b k m h n k c

h ồi tiếp ội ẫn ồi tiếp ừ đầu ra trở ề đầu ào, được ọi n l h t v v g là mạng truyền

Hình 1.6 M: ạng n ron ba l ơ ớptruyền thẳng

thẳng (f dforee ward net ork) Ngược ại, mạngw l có đường phản ồi ừ đầu ra h t

c mủa ột nơ ron tới đầu ào ủa ơ ron cùng ớp hoặc thuộc ớp phía trước v c n l l

có tên gọi là mạng ồi tiếp (feedback net ork) h w

Mạng ơ ron bao gồm n một hay nhiều ớp trong (lớp trung gian) l được

g là mọi ạng MLP (multilayer erceptrons net ork) Còn m p w ạng chỉ có một

lớp ừa, v là l v v là l ớp ào ừa ớp trung gian và cũng là l ớp ra thì mạng đó có

tê à n l mạng ột lớp m

Mạng ơ ron lu n c n ô ó c ấu trúc ghép ối hoàn toàn, tức n là b c mất ứ ột nơron nào trong mạng cũng được ối v m n ới ột hoặc ài ơ v n ron khác Trong trường h c n ợp ác ơ ron trong mạng có âkh u tạo chức ăng đáp ứng n là âkh u tuyến tính ính, t phi tuyến chỉ ằm ở kh u tạo chức ăng ra th việc ắc ối n â n ì m n

tiếp c n ác ơ ron trong mạng kh ng còn ô ý nghĩa n và l ữa úc đó ta hoàn àn to

có thể thay thế ạng ơ ron nhiều ớp thành ạng ơ ron một lớp m n l m n

1.2.1 Nguyên tắc huấn luyện mạng

Huấn luyện mạng là công việc xác định các véc tơ trọng số wicó trong từng nơ ron của mạng sao cho mạng nơ ron có khả năng tạo ra các đáp ứng đầu ra mong muốn (giống như tín hiệu ra của một hệ thống) khi cùng được kích thích bằng một lượng thông tin đầu vào của hệ thống đó Như vậy, có

thể xem việc huấn luyện mạng là t ạo ra cho mạng khả ăng của ột thiết b ị n m

x x ôấp ỉ th ng tin

Để huấn luy , ngện ườita cho tác động v mào ạng hàng loạt kích ích th x(k)

, k = 1, 2, có khả ăng lặp ại trong qu trình ạng àm việc Những t n l á m l ácđộng n ày được g là kọi ích thích mẫu Các giá trị ~ ky( )

-tương ứng tại đầu ra

của mạng được so sánh ới v đáp ứng mẫu y( )k

- cho trước Các phần ử ủa t c những v t éc ơ trọng s ố wi I = 1, 2, …, n có trong tất ả n nơ ron của ạng c mđược hiệu chỉnh theo từng ước b huấn luy ện sao cho ổng c t ác sai lệch

2 ( )

-= = - là nhỏ nhất Như ậy, thực chất việc v hu luy ấn ện

mạng chính là á qu trình giải ài toán ối ưu tham số b t và để thực hiện được

b ài toán ối ưu tham số ày, phải t n xây dựng được phiến àm ục đích h m mô t ả

rõ ràng sai lệch Hình 1.7 m ả nguy n l huấn luyện ột mạng ơ ron.ô t ê ý m n

Có hai phương pháp huấnluyện ạng là phương pháp h có giám s m ọc át

và h ôọc kh ng c giám átó s

Trong ph ng phươ áp học có giám sát, khi các đầu v t ào ác động v ào

mạng, đầu ra của ạng ẽ được so sánh ới ác ục ti u Khi đó, ta sẽ ử m s v c m ê s

dụng luật huấn luyện để đ ều chỉnh trọng ố i s và b c mias ủa ạng để đưa đầu ra

c mủa ạng ề ần ới ục ti u v g v m ê

Hình 1.7 : Nguy ê n tắc ấn hu luyện mạng

Trong ph ng phươ áp học không có giám sát, trọng s và bố ias ủa m c ạngđược chỉnh định t ng ươ ứng với đầu vào của mạng mà ôth i, kh ng cô ó c ácđầu ra mục ê ti u.

1.2.2 C ấu tr và phương pháp huấn luyện trong các mạng Nơ ron tiêu úcbiêu

1.2.2.1 Mạng truyền thẳng

Mạng truyền thẳng là kiểu ạng ơ ron nh n tạo đầu ti n v đơn giản m n â ê à

nhất Trong cấu tr núc ày, th ng tin sẽ chỉ di chuyển theo một chiều, thẳng, ô

t c n ừ ác út đầu ào, th ng qua các út ẩn (nếu v ô n có) đến út đầu ra n , không có

c ác chu trình hay vòng ào trong mạng n

a Mạng P ceptron một lớp er

* Cấu trúc

Hình 1.8 C ú: ấu tr c mạng erceptron một ớp P l

C ấu trúc mạng ơ ron sớm nhất n là mạng er eptron một lớp do Frank P c

Rosenblatt phát minh năm 1957, chỉ bao gồm một lớp đơn các út đầu ra; n

c ác đầu ào được ối trực tiếp ới đầu ra th ng qua một loạt ác trọng ố v n v ô c s

Tổng ủa trọng ố c s và c ác đầu ào được ính tr n các út, nếu gi trị ày v t ê n á n

vượt ngưỡng (thường là 0) và n ơ ron sẽ nhận gi trị á là 1; ngược ại, nơ ron l

s ẽ nhận gi trị á là - 1

* Thuật toán huấn luyện

C p các er eptron được huấn lu ện ằng ột thuật toán ọc đơn giản ọi y b m h g

là luật Delta Phương pháp ày ính toán ác sai lệch giữa đầu ra thực ế ới n t c t v

b s ộ ố đầu ra theo mẫu, v ử ụngà s d nó i để đ ều chỉnh ác trọng ố, v thế đây c s ì

là cách thực hiện theo kiểu ngược ướng gradient h

Cụ thể:

V i n ớ ơ ron thứ j c ó hàm ích hoạt g(x) th luật Delta cho trọng ố thứ i của k ì s

n ơ ron thứ j ( wji) được tínhnhư sau:

Trong trường hợp này, ta muốn di chuyển qua một “không gian trọng số”

c n ủa ơ ron (kh ng gian bao gồm ất ả ác gi trịô t c c á có thể có c t c c ủa ất ả áctrọng s c n ố ủa ơ ron) ương ứng ới gradient của àm sai lệch Để m đ ều t v h là i

đó, ta đi tìm đạo hàm riêng c sai lệch tương ứng ới ừngủa v t trọng số Đối

v ới trọng ố thứ i, đạo àm ri ng được viết như sau: s h ê

Vì đẩu ra yj c n ủa ơ ron là hàm ích hoạt ủa ơ ron g() tác ụng n đẩu k c n d lê

v hào j nên ta c thể viết ại ph ng ó l ươ trình như sau:

Ta sẽ viết lại hj dưới ạng ổng ủa ất ả k trọng ố ủa d t c t c s c m ỗi trọng ố s wjk

nhân với đẩu ào v xk tương ứng:

Luật Delta thường được dùng dưới dạng đơn giản h n cơ ho một Perceptron với hàm kích hoạt tuyến tính như sau:

v c hới ác àm truyền phi tuyến ẽ cho phép ạng ọc ác quan hệ tuyến ính s m h c t

và phi tuyến giữa các véc ơ đầu ào t v và đầu ra ớp đầu a tuyến ính ẽ trả L r t s

k ết quả ngoài khoảng ừ 1 đến +1 t - M ặt khác, nếu ta muốn khống chế đầu

ra của mạng (v ụ trong khoảng từ 0 đến 1), ta c thể ử ụng hàm truyền í d ó s dsigmoid ở đầu ra (ví dụ nh hư àm ogsig) l

* Thuật toán huấn luyện

Mạng ơ ron nhiều ớp ử ụng ất nhiều phương pháp huấn luyện, n l s d r

nhưng phổ ến bi nhất v là ẫn phương pháp lan truyền ngược Nội dung cơ

b c ản ủa phương pháp như sau: từ ột mẫu ọc ụ thể m h c ( ) k

- người ta lại hiệu chỉnh trọng ố ủa ác ơ ron thuộc s c c n

l ớp phía trước, v ụ nhưí d ( ) k

v

- thành ( k 1)

v +

- Cứ nh vậy cho đến trọng s của ư ố

l n ớp ơ ron đầu ào v

Ta xét tổng quát mạng nhiều l ớp truyền thẳng v ới m đầu vào xj, j = 1, 2,

…, m và n đầu ra ~y , i i = 1, 2, …, n gồm Q lớp ới ỗi ớp v m l có np n ơ ron, p =

1, 2, …, Q Gọi cip, zip, p = 1, 2, …, Q là đối ố àm s h a (.) cũng như đầu ra

c n ủa ơ ron thứ i thuộc ớp p trong mạng K hiệu l ý wijp, j = 1, 2, …, np-1; i =

1, 2, …, np là trọng ố chuyển s zjp-1thành zip Như vậy ì: th

Hình 1.9 M: ạng P cer eptr on nhiều l ớp

1 1

ADALINE được viết ắt ừ Adaptive Lin t t ear Neuron, sau được g là ọi

nhưng hàm truyền của nó tuy n tê ính hơn dạng h d-ar limit Đ ều ày i n cho

phép ác c đầu ra của mạng đượcnhận b c ất ứ á ngi trị ào, trong khi đầu ra của

P cer eptron chỉ có thể nhận gi trị 0 hoặc 1 á

* Phương pháp huấn luyện

bình phương tối thiểu LMS

~

~ i

n

y y y

i i im -

 , i = 1, 2,…, n (x là đầu vào, y là đầu ra)

Nhiệm vụ huấn luyện mạng là xác định các trọng s wố ij, i = 1, 2, , n ; j =

1, 2, ., m để t bại ước i đ ều khiển thứ k bất ỳ lu n c đáp ứng k ô ó đầu ra

( )

k k

k m

x x x

(1.14) cho tất cả p bước sẽ tương đương với:

thu được s ự ệu hi chỉnh trọng ố s wij(k+1) t bại ước thứ k + 1 từ ác gi trị đã c á

có là wij(k) ở ngay bước thứ k trước đó ột cách đơn giản như sau: m

1.2.2.2 Mạng RBF (Radial Basis Function)

Mạng RBF là một c ng cụô mạnh để ội suy trong kh ng gian nhiều n ôchiều RBF được ứng ụng trong rất d nhiều mảng c mủa ạng n ơ ron, ở đóchúng có thể thay thế cho các lớ ẩn có s dp ử ụng àm sigmoid trong mạng h

P cer eptron nhiều ớp l

a) Cấu trúc mạng

* Mô hình nơ ron

Ta có thể thấy biểu thức cho đầu vào của nơ ron radbas khác so với những nơ ron khác Ở đâ đầuy, v ào cho àm truyền radbas là h chiều ài éc d v

t ơ giữa éc ơ trọng ố v t s w và v t éc ơ đầu ào , sau đó nh n với ias b v p â b

Hàm truyền của nơ ron radial basis là:

Hàm truyền radbas có giá trị tối đa là 1 khi đầu vào của nó là 0 Khi khoảng

cách giữa w và p giảm xuống th đầu ra sẽ ăng l n ì t ê Vì thế, nơ ron radial

basis giống như ột thiết ị m b dò, sẽ sinh ra gi trị 1 khi má à w giống p ias b B đóngvai tr giúp thay ò đổi độnhạy của n ơ ron

* Mô hình mạng

Mạng RBF bao gồm ba ớp: ột lớp đầu ào, ột lớp ẩn radial basis vl m v m à

một lớp đầu ra tuyến ính t Hàm radial basis thường được chọn là Gaussian

Nguyên tắc ạt động của mho ạngnhư sau: Nếu ta cho véc đầu v t tơ ào ácđộng lên mạng, thì m n ỗi ơ ron radial b is sas ẽ cho gi trị đầu á ra tuỳ thuộc

v m g c v t ào ức độ ần ủa éc ơ đầu ào so véc ơ trọng ố ủa ỗi ơ ron v t s c m n

Cụ thể: nếu nơ ron radial basis có véc tơ ọng tr s ố khác với v t éc ơ đầu vào

thì đầu ra sẽ ến t 0 ti ới Những gi á trị n ày ch có t ỉ ác động nh đến đầu ra ỏ

c mủa ạng Ngược ại, nếu éc ơ trọng ố ần ới éc ơ đầu ào th đầu ra l v t s g v v t v ì

s ẽ tiến ới 1 Trong trường ợp đó, th ác trọng ố ở ớp thứ hai sẽ chuyển t h ì c s l giá n trị ày đến ác ơ ron tuy c n ến tính ở ớp thứ hai l Trong thực tế, nếu chỉ

có một nơ ron radial b is c đầu ra l 1, còn ất ả ác đầu ra còn ạias ó à t c c l có á gi

Hình 1.13 M: ạng RBF

trị là 0 (hoặc gần với 0) th đầu ra của lớp ì tuyến tính ẽ s là trọng s ố đầu ra

c n ủa ơ ron chủ động Tuy nhi n, đây chỉ ê là một trường ợp ất hiếm ặp h r g

Mạng RBF c ưu đ ểmó i là kh ng bị đ ểm ực tiểu ục ộ nhưô i c c b mạng

Perceptron nhiều ớp Đó l là vì chỉ những th ng số được hiệu chỉnh trong ô

quá trình ọc m là h ới ánh ạ x tuyến tính ừ ớp ẩn t l cho đến l ớp đầu ra ự S tuyến tínhđảm ảo ằng đường cong sai lệch b r là dạng bìnhphương và vì thế chỉ có m t độ iểm c c tiểu ự đơn

Tuy nhiên, nó cũng có nhược iđ ểm là đòi hỏi hàm radial basis phải có

độ bao phủ tốt đối với không gian đầu vào C ác trọng tâm c RBF được ủa

x ác định ựa theo sự ph n bố ủa ữ liệu đầu ào, chứ kh ng dựa theo d â c d v ônhiệm v d bụ ự áo V thế, cácì nguồn ểu bi thị có thể ị ãng ph trong vùng b l í

không gian đầu v àonhưng kh ng li n quan ô ê đến nhiệm vụ học Cách thứcphổ biến là êli n kết từng đ ểm ữ liệu ới trọng tâ i d v m ri ng của nóê , mặc dù

điều n có ày th khiến h thống tuyến tể ệ ính được giải quyết tại lớp cuối cùng

khá rộ , và đòi hỏi c k ng ác ĩ thuật co ngắn

b) Huấn luyện ạng m

V c ới ấu trúc như tr n của ạng RBF, ta sẽ ê m có phương trình ủa đầu ra y c

c mủa ạng như sau:

trong đó: N là số nơ ron của lớp ẩn, cilà véc tơ trung tâm của ơ ron thứ n i

và ai là c ác trọng ố ủa ơ ron tuyến ính đầu ra Ở ạng ơ ản, tất ả đầu s c n t d c b c

v ào đều ối ới ỗi ơ ron ở ớp ẩn àm ơ ản n v m n l H c b có dạng aussian: G

Đối ới v một số nhiệm vụ, c xác địnhần hàm mục êti u v chọn c ôà ác th ng s ố

để ối t thiểu ho giá á ctrị ủa nó Hàm ục ê m ti u phổ biến nhất là hàm tối thiểu

trị của hàm đó được x ác định ên một số đtr iểm hữu hạn: y(pi) = bi, i = 1, 2,

…, N Đưa các iđ ểm pi đã biết đến trọng m của ác àm radial basis v tâ c h à đánh gi nhá ững giá ctrị ủa hàm tr n các đ ểm tương tự ê i g ij = r( p j - p i), c ác

trọng s ố được tính t ừ phương trìnhsau:

w w w

N N

toán h bọc ìnhphương tốithiểu ực giao (Orthogonal Least Square tr

Learning Algorithm) Bề ộng ủa RBF thường được ố định đến r c c

giá t l v trị ỉ ệ ớikhoảng cách ài d nh giất ữa c ác trọng tâm được chọn

- Giả nghịch đảo cho các trọng ố tuyến ính: Sau khi các trọng m s t tâ

ci được ố định, các trọng ố àm ối thiểu ho sai lệch ại đầu ra c s l t á t được tính toán với ph ng pháp giả nghịch đảo tuyến tươ ính:

w = G b + (1.26)

trong đó các đầu ào ủa v c G là những á cgi trị ủa hàm radial basis

tính toán ại ác đ ểm t c i pi: g ij = r( p j - c i) S t t c hự ồn ại ủa àm tuyến

tính ày chứng ỏ ằng, kh ng giống n t r ô mạng er eptron nhiều ớp, P c l

mạng RBF c duy nhất ột đ ểm ực tiểu ục bộ (khi các trọng m ó m i c c tâ

đã được c ốđịnh)

- Phương pháp huấn luyện ngược ướng gradient của c h ác trọng ố s tuyến tính: Một thuật án huấn to luyện n là ữa ngược ướng gradient hTrong phương pháp ày ác n , c trọng s ố được đ ều chỉnh ại ỗi b i t m ước

bằng ách ịch chuyển chúng theo hướng đối diện ới gradient của c d v

s x c iắp ếp ác đ ểm trong kh ng gian đầu ào phối ợp ới kh ng gian đầuô v h v ô

ra Kh ng gian đầu v có ô ào thể có kích thước và cấu trúc kh v ôác ới kh ng gian đầu ra và mạng ự ổ chức ẽ ảo t t s b quản i n đ ều ày

a) Cấu trúc ạng m

C ấu trúc ày giống như ạng ạnh tranh nhưng kh ng c n m c ô ó b Hias àm truyền

cạnh tranh cho ra gi trị 1 với thành phần đầu a aá r 1

i tương ứng ới i* v - n ơron ”giành thắng l ợi” Tất c cả ác ành th phần đầu ra khác êtr n a1đều nhận

giá trị 0

Như hình tr n ta thấy m ê , ạng ự ổ chức t t bao gồm ác ơ ron, mỗi ơ ron c c n n ó

m v t ột éc ơ trọng ố s có kích thước ương tự như ích thước ủa ác éc ơ t k c c v t đầu vào C n ác ơ ron s x theo một kho g cách ắp ếp ản đều đặn trong một lưới

hình chữ nhật hoặc ình ục giác h l B t t ản đồ ự ổ chức mô t mả ột qu trìnhá

s x t ôắp ếp ừ kh ng gian đầu ào v có kích thước cao hơn cho đến kh ng gian ô

thấp hơn Thủ ục đặt t mộ v t t t éc ơ ừ kh ng gian dữ ệu lên trêô li n bản đồ

chính là việc tìm một ơ ron c n ó véc t ơ đầu v gần nhất v vào ới éc t t ơ ừkhông gian dữ liệu và đặt to độ b ạ ản đồ ủa n c ơ ron này ào éc v v t cơ ủa

chúng ta

Hình 1.14 M: ạng t t ự ổ chức

b) Phương pháp ấn hu luyện

Quá trình ọc trong mạng ự ổ chức diễn ra cho mỗi éc ơ trong một h t t v t

thời iđ ểm, kh ng phụô thuộc vào việc mạng được huấn luyện ực ếp hay tr tiđược huấn luy ki thích ện ểu nghi

Việc huấn luyện ử ụng phương pháp ọc ạnh tranh Khi một ví d s d h c ụ

huấn luyện được đưa vào mạng, mạng s tẽ ính to k ảng cán ho ách Ơclit của

t c c v t ất ả ác éc ơ trọng ố ơ ron c s N ó v t éc ơ trọng ố ần ới đầu ào nhất ẽ s g v v s được gọi là BMU (Best Matching Unit) ác trC ọng s cố ủa BMU và c n ác ơron gần v nó ới được đ ều chỉnh tiến ề éc ơ đầu ào Bi n độ của s i v v t v ê ự thay đổi s ẽ giảm ần d theo thời gian v theo khoà ảng cách t ừBMU Công thức để

c ập nhật cho nơ ron có v t éc ơ trọng ố s Wv(t) là :

( 1) ( ) ( , ) ( )( ( ) ( ))

Wv t + = Wv t + q v t a t D t - Wv t (1.29)

trong đó a ( ) t là hệ số học và D(t) là véc tơ đầu vào Hàm lân cận q ( , ) v t phụ thuộc vào khoảng cách giữa BMU và nơ ron v Ở dạng đơn giản nhất, hàm nhận giá trị 1 cho tất cả các nơ ron đủ gần với BMU và bằng 0 với các nơ ron còn lại; nhưng th ng thô ường hàm Gaussian sẽ được ch Bất k là ọn ể

dạng ào th n ì hàm n cận ũng út lâ c r ng l ắn ại theo thời gian Qu trình àyá n được lặp ại l mỗikhi có một v t éc ơđầu vào ác t động

1.2.2.4 Mạng hồi quy

Đối lập v c mới ác ạng truyền thẳng, mạng ồi h quy c hai hó ướng dòng

chảy d ữ liệu Trong khi mạng truyền thẳng truyền d ữ liệu một cách tuyến

tính ừ đầu ào cho tới đầu ra th t v ì mạng ồi quy òn h c có thể truyền ữ liệu ừ d t

c ác giai đ ạn ửo x lý sau cho đến giai đ ạn ửo x lý trước

a) Mạng Elman

* Cấu trúc

Thông thường, mạng Elman là mạng hai lớp, có phản ồi ừ đầu ra của h t

l ớp đầu ti n tới đầu ào ủa ớp đầ ti Việc ết ối kiểu ồi quy cho ê v c l u ên k n h

phép mạng Elman vừaph hiát ện v t ừa ạo ra các ẫu ến đổi theo thời m bi gian

Mạng Elman có nơ ron tansig trong lớp ẩn (lớp h quy)ồi và c n ác ơ ron

purelin tại ớp ra ự ết ợp này ất đặc biệt ở chỗ ác ạng hai lớp ới l S k h r c m v

c hác àm truyền ày n có thể ấp ỉ ất ứ hàm nào ới độ chính ác tuỳ x x b c v x ý Chỉ có m t yêu cầu duy nhất là l ộ ớp ẩn phải có n đủ ơ ron Trong mạng có

thành phần ễtr để chứa d ệu t bữli ừ ước ước, có ểtr th được s dụng tại bước ử

hiện thời Vì vậy, mạng có thể ọc t c m h ừ ác ẫu thời gian cũng ư c mnh ác ẫu không gian

* Phương pháp huấn luyện

C bác ước để huấn luyện ạng Elman cụ thể như sau: m

- Toàn ộ chuỗi đầu ào được đưa vào ạng, các đầu ra của chúng b v mđược tính toán và so sánh với chuỗi m êục ti u tạo để ra chuỗ sai i

lệch

Hình 1.15 M: ạng Elman

- V m bới ỗi ước thời gian, sai lệch được lan truyền ngược để ìm ác t c gradient của sai lệch cho mỗi trọng s và bố ias Đại ượng gradient l

n ày thực chất là một xấp ỉ ởi x b vì phần đóng óp ủa ác trọng ố g c c s

và c bác ias ới ác sai lệch th ng qua kết ối ồi quy c trễ đã ị v c ô n h ó b

Mạng ơ ron này n có thể được kiểm tra với một hoặc nhiều éc ơ đầu v t

vào Sau khi cho các i đ ều kiện ban đầu, mạng ẽ ạo ra tín hiệu đầu ra, tín s t

hiệu n s ày ẽ được phản hồi v ề để trở thành ín ệu v t hi ào Qu trình ày đượcá n

l ặp đi lặp ại cho đến khi đầu ra ổn định l

* Thuật toán huấn luyện mạng

Ta có quan hệ giữa đầu v và ào đầu ra của mạng opfield như H sau:

~

~ i

n

y y y

i

i im -

Cuối cùng, với gi trị gia tăng á ( ) k

ij

w

D trên ta sẽ thu được ự hiệu chỉnh s

wij(k+1) t bại ước thứ k + 1 từ ác gi trị đã c á có wij(k) ở ngay bước thứ k trước

đó như sau:

ij + = w ij + D w ij (1.32)

1.2.2.5 Mạng N ơron động (Dynamic Neural Network)

Mạng ơ ron được chia thành hai nhóm: mạng động n và tĩnh ác ạngC m

tĩnh (truyền thẳng kh ng c chứa ác thành phần phản ồi) ô ó c h và trễ; đầu ra được tính toán tr tiếpực t ừ đầu vào ôth ng qua c k nối truyền thác ết ẳng Trong mạng n ơ ron động, đầu ra không chỉ phụ thuộc v c ào ác đầu ào hiện v

t c mại ủa ạng mà c òn phụ thuộc ào đầu ào, đầu ra hiện ại hoặc trước đó v v t

cũng như trạng thái ủa ạng c m Mạng động ũng c thể chia thành 2 nhóm: c ó

mạng chỉ có k n dết ối ạng truyền thẳng và mạng có k n ết ối phản ồi hoặc h

h ồi quy (như đã trình ày ở ục M b m ạng ồi quy) h

a) Cấu trúc ạng m

C ấu trúc ủa c mạng ơ ron động bao gồm nhiều ớp, mỗi ớp được ấu n l l c

t b c ạo ởi ác thành phần sau:

- Bộ ma trận trọng số của ớp đó, c thể được ết ối ừ l ó k n t các lớp khác

hoặc t c ừ ác đầu ào v bên ngoài, cùng v hới àm luật trọng s ố để k ết

h ợp trọng ố ủa ma trận ới đầu ào ủa s c v v c nó và đường trễ (tapped delay line TDL)

- V t béc ơ ias

Mạng có c ác đầu ào được ối ới ác trọng ố đặc biệt, ọi v n v c s g là c ác trọng

s ố đầu ào, k hiệu v í là IWij(trong đó j l à kí hiệu ố ủa éc ơ đầu ào đưa s c v t v

v ào trọng ố, i l s à kí hiệu ố ủa ớp s c l mà trọng ố ối ới) ác trọng ố ối s n v C s n

m l v c l ột ớp ới ác ớp khác ọi g là trọng ố ớp s l LWij(trong đó j l à kí hiệu ố s

c l ủa ớp đi vào trọng ố, i l s à kí hiệu ố ủa ớp ại đầu ra của trọng ố) s c l t s

Hình sau m ảô t ví d c ụ ấu trúc ủa c mạng ơ ron động ba lớp ớp đầu n L

tiên có ba trọng s ố êli n quan: ột trm ọng s ố đầu ào, mộ v t trọng l t l ớp ừ ớp

thứ nhất, một trọng s l t l ố ớp ừ ớp ứth ba Hai trọng s lớp đều có ành phần ố thtrễ

Một số ấu trúc ạng ơ ron động ti u biểu bao gồm c m n ê :

Hình 1.18 M: ạng n ơron động

Hình 1.19 M: ạng FTDNN

Đây là mạng Focused Time-Delay, thu dạng mộc ạng n ơ ron động truyền

thẳng, bao gồm mạng truyền thẳng và có ành phần trễ tại đầu v Mth ào ạng

n ù h v d o ày ph ợp ới ự đ án theo thời gian

* Mạng DTDNN (Distributed Tape-Delay Neural Network)

Mạng FTDNN có thành phần trễ nhưng chỉ ở đầu ào ủa lớp đầu ti n Ta v c ê

Những mạng nêu tr n mới ê chỉ có c ác thành phần động ại ớp t l đầu ào hoặc v trong một mạng truyền thẳng Mạng ARX l N à mạng động ểu hồi ki quy, có

k n ết ối phản ồi ới h v một vài ớp trong mạng l Mạng ày n có thể ứng ụng dtrong dự đ oán, lọc phi tuyến hoặc trong mô hìnhhoá h ệ thống động h ọcphi tuyến

b) Phương pháp ấn hu luyện ạng m

C mác ạng ơ ron động ũng được huấn luyện theo thuật toán ngược n c

hướng gradient giống như trong các ạng ĩnh Tuy nhi n, ách thức thực m t ê c

hiện c ác thuật toán trong mạng n ơ ron động thường khác một ch và útgradient được tính theo c h phác ức t hạp ơ n

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG HỆ THỐNG

PHI TUYẾN

2.1 GIỚI THIỆU

Việc mô hình ho , nhận ạng ác ệ thống động ọc tuyến ính á d c h h t và phi tuyến bằng cách sử ụng ữ ệu d d li đo được là một vấn đề quan trọng trong

lĩnh ực thiết ế Nhận ạng ệ thống ựa tr n ph ng ph v k d h d ê ươ áp ình ph ng b ươ

c ực tiểu có thể được chia làm hai nhóm: nhóm theo cách thức tiền định và nhóm theo cách thức thống kê Những ĩ thuật ày được ử ụng để nh k n s d ận

dạng m v ôột ài th ng số ệ thống Trong những phương pháp nhận ạng h d

không cần tham số, mạng ơ n ron đang là k ĩ thuật ới được m phát triển Với

những tính ăng nổi bật n như tính song song, khả ă n ng thích nghi, sự ổn định và khả ăng di truyền n , kĩ thu này ật được ử s dụng rộng rãi nhận để

dạng ác ệ thống phi tuyến c h

Tuỳ theo từng trường hợp ứng dụng ụ thể, ta sẽ phải lựa c chọn ấu trúc c

mạng ơ ron (số ớp trong mạng, số ơ ron trong mỗi ớp, số kh u trễ trong n l n l âđường dây trễ) sao cho h lýợp Từ đó, ta sẽ x ác định tham s t ố ốiưu cho hệthống

Mạng ơ ron dùng để nhận ạng đối ượng động ọc phi tuyến n d t h mà bên trong đối tượng có thể có một số khâu phi tuyến ư: khâu có nh đặc ính phi ttuyến dạng ình sin, khâ h u bão ho , kh u giới ạn ốc độ, … Để nhận ạng à â h t d

c ác đối ượng ày, ta c thể t n ó xây dựng một cấu trúc mạng ơ ron truyền n thẳng gồm 2 l , trong ớp đó:

động học của hệ thống Số khâu trễ trong đường dây trễ sẽ tăng theo số bậc của hệ thống cần được nhận dạng

- L ớp thứ nhất (Layer 1) bao gồm S1 n ơ ron và có hàm truyền là hàm

‘tansig’ với ý ngh biĩa ểu ễn tdi ính chất phi tuyến của h ệ thống

- L ớp thứ hai (Layer 2) bao gồm 1 nơ ron và có hàm ‘purelin’ với ý nghĩa tổng h c t ợp ác ín ệu t l hi ừ ớp thứnhất

- M ột đầu ào p(k), qua các kh u trễ ào ạng v â v m

- M ột đầu ra, đầu ra này được phản ồi ào ác h v c mạng qua các kh u âtrễ

S ơ đồ mô hình mạng ơ ron của đối ượng động ọc phi tuyến trong n t h

trường h n có dợp ày ạng nhưsau:

C bác ước ần thực hiện để nhận ạng c d m ột đối ượng động ọc phi tuyến t h bao gồm:

- X ác định đáp ứng đầu ra T của đối ượng ới ín hiệu ào đã ạo ở t v t v t trê n

- T mạo ạng ơ ron c n ó c ấu trúc ợp h lý để nhận ạng đối ượng (xác d tđịnh cấu trúc mạng n ơ ron nh dận ạngđối tượng)

- Huấn luyện mạng ơ ron ới ộ P, T của đối ượng đã ác định ơ n v b t x trên (xác định tham số ạng ơ ron nhận ạng đối tượng) m n d

Hình 2.1 C : ấu tr múc ạng ơ n ron mẫu

- Kiểm tra phản ứng đầu ra của mạng ơ ron, xác định sai số giữa n đầu ra của đối tượng và đầu ra của mạng nh dận ạng

2.2.1 Mô t ả đối tượng

X mét ột đối ượng đ ều khiển t i là một cánh tay rô - b ốt như ình h

Phương trình chuyển động của cánh tay là:

2.2.2 Nhận dạng đối tượng

Với các thông số cho trên, ta xây dựng sơ đồ Simulink mô tả đối tượng:

Để th hiệnực công đoạn nh dận ạng cánh tay m , ta sẽ ửáy s dụng mạng n ơron theo sơ đồ như hình2.1 với cấu trúc ồm g hai lớp như sau:

- L ớp thứ nhất có 15 nơ ron với àm truyền h là tansig

- L ớp thứ hai c 1 nơ ron với àm truyềnó h là purelin

Mạng ơ ron mẫu đối ượng n t có hai gi trịá mô men trễ (m = 2) v hai gi trịà á

v í cị tr ánh tay trễ (n = 2) tại đầu ào ủa ạng v c m

Tham số huấn luyện:

Hình 2.4: Lư đồ u thuật án to chương trình t và ạo huấn luyện mạng n ron ơ

Đáp ứng của mạng, sai số giữa đáp ứng

c ủa đối ượng ới đáp ứng ủa ạng t v c m

Khai báo mạng (cấu trúc

và tham số W,b ban đầu)

Huấn luyện ạng (chỉnh mđịnh W, b)

Tính sai số và chu k huấnì

luyện (g, h)

g ≤ 10-10

hoặc

h = 100Sai

1) Chương trình tạo bộ mẫu P, T :

-PR = [-10 10]; % range of input signal (amplitude)

StepR = [0.2 2]; % range of duration of a step (sec)

ts = 0.02; % sampling time (sec)

tspan = 100; % time interval of input signal(sec)

Ns=fix(tspan/ts); % Number of samples in P

minStep=fix(StepR(1)/ts); % min number of points in a

P=P';

t=[0:ts:ts*(max(size(P))-1)]';

% +++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Khi chạy chương trình, ta sẽ thu được bộ số liệu P, T như sau :

2) Ch ng trươ ình t c ạo ấu úc mạng n tr ơ ron nhận dạng đối tượng