Tài liệu LÝ THUYẾT MẠNG NƠRON ppt

LÝ THUYẾT MẠNG NƠRON 1 Lí THUYẾT MẠNG NƠRON 1.1 Nơron tự nhiên Thành phần cấu thành cơ bản của hệ thần kinh trung ương là nơron. Tế bào sinh học này nhận và xử lý thụng tin và sau đú giao tiếp với cỏc phần khỏc của cơ thể con người. Hỡnh 1.1 trỡnh bày một mụ hỡnh đơn giản cỏc nơron sinh học và hỡnh 1.2 mụ tả một nơron sinh học. Thõn tế bào thần kinh được gọi là soma và được bao quanh bởi một lớp m ạng huyết tương mỏng. Hỡnh 1.1: Sơ đồ 5 nơron liờn kết với nhau 2 Hỡnh 1.2: Sơ đồ một nơron sinh học Mỗi tế bào thần kinh nhận nhiều đầu vào thụng qua cỏc dendrite và sau khi xử lý sẽ tạo một đầu ra dọc theo axon. Điểm nối giữa một axon và một dendrite được gọi là synapse. Thụng tin do một tế bào thần kinh tạo ra được truyền dọc theo axon của nú. Một axon kết thỳc ở mối nối khớp của m ột nơron khỏc. Về mặt xử lý thụng tin, một nơron với nhiều dendrite như nhiều đầu vào và một axon đại diện một đầu ra cú thể được xem như một hệ MISO. Cỏc hàm xử lý thụng tin trong hệ MISO này được chia thành 4 loại. Hỡnh 1.3 mụ tả một nơron đơn giản. Hỡnh 1.3: Mụ hỡnh một nơron đơn giản cú nhiều đầu vào và một đầ u ra 3 Dendrites: Chỳng bao gồm một cõy nhiều nhỏnh, đúng vai trũ như cỏc đầu vào của nơron. Trung bỡnh cú 34 10 10− dendrite trờn một nơron. Synapse: Đõy là vựng chứa đựng cỏc kinh nghiệm trong quỏ khứ. Nú cung cấp bộ nhớ dài hạn cho cỏc kinh nghiệm được thu thập trong quỏ khứ. Vựng này nhận thụng tin từ cỏc giỏc quan hay từ cỏc nơron khỏc và cung cấp đầu ra thụng qua axon. Soma: Thõn tế bào thần kinh được gọi soma. Nú nhận thụng tin từ synapse và sau đú xử lý thụng tin. Hầu như tất cỏ c cỏc chức năng logic của nơron được thực hiện ở soma. Axon: Đầu ra của nơron được gọi là axon. 1.2 Nơron nhõn tạo Hỡnh 1.4: Nơ-ron nhõn tạo Cấu trỳc một nơron nhõn tạo (xem hỡnh 1.4) bao gồm cỏc thành phần sau: Đầu vào 12 , , ., n x xx : Cỏc đầu vào nhõn với cỏc trọng số 12 , , ., n ww w . Một đầu vào cú giỏ trị bằng 1 được gọi là 1 bias và được ký hiệu là 0 x . Hàm số đầu vào f tớnh tập hợp cỏc tớn hiệu đầu vào cho nơron (, )ufxw= , trong đú x và w lần lượt là cỏc vectơ đầu vào và trọng số. Thụng thường chọn f là hàm tổng 1 n ii i uxw = = ∑ . Hàm kớch thớch s tớnh toỏn mức độ kớch thớch của nơron a=s(u). 4 Hàm đỏp ứng tớnh toỏn giỏ trị tớn hiệu đầu ra của nơron o=g(a). Tớn hiệu đầu ra của tớn hiệu thụng thường bằng mức độ kớch thớch của nơron o=a. Tựy theo sự khỏc nhau của từng tham số ở trờn mà sinh ra cỏc kiểu nơron khỏc nhau. Cỏc giỏ trị đầu vào và đầu ra của 1 nơ ron cú thể số nhị phõn {0,1}, số lai {-,1}, giỏ trị liờn tục trong đoạn [0,1], hoặc cỏc số rời rạc trong 1 khoảng được định nghĩa trước. Hỡnh 1.5: Cỏc hàm kớch thớch hay được sử dụng nhất: (a) Hàm chặn cứng; (b- 1), (b-2) Cỏc hàm chặn tuyến tớnh ; (c) Cỏc hàm sigma: hàm logsig (c-1), hàm logsig 2 cực (c-2); (d) hàm gaussian (hàm hỡnh quả chuụng) Hỡnh trờn mụ tả cỏc loại hàm kớch th ớch hay được sử dụng nhất. Hàm chặn cứng (hỡnh 1.5[a]). Nếu giỏ trị đầu vào của mạng lớn hơn 1 giỏ trị chặn nào đú thỡ nơron trở nờn tớch cực (giỏ trị kớch thớch bằng 1), ngược lại nú sẽ khụng tớch cực (giỏ trị kớch thớch bằng 0). Hàm chặn tuyến tớnh. Giỏ trị kớ ch thớch sẽ tăng tuyến tớnh cựng với sự tăng của tớn hiệu đầu vào và khi đến một ngưỡng nào đú đầu ra sẽ bóo hũa. Cỏc kiểu hàm chặn tuyến tớnh khỏc nhau phụ thuộc vào phạm vi của giỏ trị đầu ra nơron (hỡnh 1.5[b-1], 1.5[b-2]). 5 Hàm sigma. Hàm sigma là hàm truyền phi tuyến hỡnh chữ S được đặc trưng bởi cỏc yếu tố sau. Bị chặn, cỏc giỏ trị của nú bị hạn chế giữa 2 ngưỡng, vớ dụ như [0 1], [-1 1]. Đơn điệu tăng, nghĩa là cỏc giỏ trị của g(u) khụng bao giờ giảm khi u tăng. Liờn tục và tăng, do đú cú thể đạo hàm ở mọi điểm trong miền của hàm xỏc định của hàm. Cỏc kiểu hàm sigma khỏc nhau được sử dụng trong thực tế là: hàm logsig 1 1 cu a e − = + (hỡnh 1.5[c-1]) trong đú c là hằng số. Một hỡnh thức khỏc của hàm logsig là hàm logsig 2 cực: () 1 1 cu cu e hu e − − − = + (hỡnh 1.5[c-1]) và hàm tansig: () tanh cu cu cu cu ee u ee − − − = + . Hàm gaussian (hàm hỡnh quả chuụng, hỡnh 1.5[d]). 1.3 Mạng truyền thẳng và huấn luyện mạng theo thuật toỏn Brandt-Lin 1.3.1 Mạng truyền thẳng Mạng nơron nhõn tạo là tập hợp cỏc nơron nhõn tạo được liờn kết với nhau theo một quy luật nhất định nhằm phục vụ nhu cầu của người thiết kế mạng. Cú 2 loại mạng nơron thường được sử dụng là mạng truyền thẳng và mạng hồi tiếp. Hỡnh 1.6 mụ tả mạng truyền thẳng và mạng hồi tiếp. Dự cấ u trỳc của mạng nơron thuộc loại nào thỡ mạng nơron đều cú cấu tạo chung là được cấu thành từ cỏc lớp. Lớp đầu tiờn được gọi là lớp đầu vào (input layer), lớp cuối cựng được gọi là lớp đầu ra (output layer), cỏc lớp giữa được gọi là cỏc lớp ẩn (hidden layer). 6 Hỡnh 1.6 : (a) Mạng truyền thẳng ; (b) Mạng hồi tiếp Khi ứng dụng đối với một hệ động học, yờu cầu tớnh toỏn nhanh luụn được lờn hàng đầu. Mạng hồi tiếp tốn nhiều thời gian để tớnh toỏn nờn trong nội dung đồ ỏn này, chỳng em sử dụng mạng truyền thẳng. Sau đõy sẽ xem xột mộ t mạng nơron truyền thẳng và tớnh toỏn đầu ra của mạng. Vớ dụ xột mạng nơron 2 lớp sau: Hỡnh 1.7: Mạng nơron 2 lớp Gọi (k) ij w là trọng số của nơron thứ i, cú đầu vào là j, thuộc lớp thứ k. 7 i x là đầu vào thứ i, i=1,2,3 i z là đầu ra của nơron thứ i thuộc lớp ẩn, i=1,2,3. o là đầu ra của lớp đầu ra. 1 net , 2 net lần lượt là hàm truyền của lớp ẩn, lớp đầu ra. Tớnh đầu ra của cỏc lớp: Lớp ẩn: (1) (1) (1) (1) 1111212313 (1) 111 (1) (1) (1) (1) 2 1 21 2 22 3 23 (1) 212 (1) (1) (1) (1) 3131232333 (1) 313 www () www () www () ax x x zneta ax x x zneta ax x x zneta =++ = =++ = =++ = Lớp đầu ra: (2) (2) (2) (2) 111 212 313 (2) 2 a=zw+zw+zw o=net (a ) 1.3.2 Thuật toỏn Brandt-Lin Tư tưởng của thuật toỏn Brandt-Lin chia nhỏ một hệ thống phức tạp thành N hệ thống con gọi là cỏc nỳt. Mỗi nỳt cú 1 tớn hiệu đầu ra khả tớch n y và nhiều tớn hiệu đầu vào khả tớch n x . Đầu vào và đầu ra của cỏc nỳt được nối với nhau thụng qua cỏc trọng số. n x . Đặc tớnh động học của mỗi trạm được mụ tả bằng một hàm nhõn quả := { } nn n F : , n 1,2, .,N , XY N®Î trong đú n X và n Y là khụng gian đầu vào và đầu ra. Như vậy, đầu ra ( ) t n y của nỳt thứ n được xỏc định bằng phương trỡnh sau 8 () () () nnn yt=Fxt n ,NÎ Hỡnh 2.1: Phõn tớch 1 hệ thống theo thuật toỏn Brandt-Lin Định lý. Đối với một hệ thống cú tớnh động học cho bởi p ji iji j Fwy ll ll y - = é ù ê ú = ê ú ë û å 1 1 (1) nếu cỏc trọng số liờn kết ij w l được thớch nghi theo q +1 ij jk jk i ij i k jj E www Fxy yy lll l'll ll ()()g +- = ¶ =- ¶ å 11 1 1 && (2) thỡ chỉ số chất lượng 2 1 1 () 2 n mi i E yy = =− ∑ sẽ giảm dần theo thời gian. Núi túm lại là phương trỡnh sau luụn thỏa món: q +1 ij jk jk i ij i k jj E www Fxy yy lll l'll ll ()()g +- = ¶ =- ¶ å 11 1 1 && (3) trong đú g>0 là hệ số thớch nghi. Trong đú ij w l là trọng số liờn kết của nỳt thứ j thuộc lớp l xuất phỏt từ nỳt thứ i. j y l là đầu ra của nỳt thứ thứ j thuộc lớp l . l ij ij i xwy - = 1ll . là đầu vào của nỳt thứ j thuộc lớp l xuất phỏt từ nỳt thứ i. 9 q là số lượng nhỏnh ra xuất phỏt từ nỳt thứ j của lớp l Chứng minh. Hỡnh 2.2: Một phần của mạng nơron ij ij ij ij 1 i ij '1 ij ww () ll j llll j l j l ll j lll ji l j dy dx dE dE ddydxd dy dE y dy dx dE Fxy dy − − = = = '1 ij ij 1 1 1 11'+1 jk 1 1 1 (1) w() ()(2) lllll jji l q k ll ll k jj kj q lll jk k ll k jk dE dE dy d F x y dy dE E dE dy y dy dy EdE wFx ydy − + + = ++ + = ⇒= ∂ =+ ∂ ∂ =+ ∂ ∑ ∑ [...]... bit dữ liệu là bit 7) PA6 AD6 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 6) PA5 AD5 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 5) PA4 AD4 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 4) PA3 AD3 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 3) PA2 AD2 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 2) PA1 AD1 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 1) PA0 AD0(mở rộng bộ nhớ ngoài với bit dữ liệu. .. của mạng Hỡnh 3.1: Hệ thống điều khiển PID-Neural Mạng nơron được dựng để thiết kế bộ điều khiển là mạng 1 lớp cú 3 đầu vào Mạng chỉ cú 1 nơron và hàm truyền của nơron là hàm purelin s (x )= x 33 Hỡnh 3.2: Neural network controller Theo thuật toỏn Brandt-Lin, hệ thống trờn được chia thành 3 lớp, 5 nỳt Nỳt 11 là khõu P cú hệ số khuếch đại bằng 1, nỳt 12 là khõu I, nỳt 13 là khõu D, nỳt 21 gồm phần mạng. .. rộng bộ nhớ ngoài với bit dữ liệu là bit 15) PC6 AD14 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 14) PC5 AD13 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 13) PC4 AD12 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 12) PC3 AD11 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 11) PC2 AD10 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 10) PC1 AD9 (mở rộng bộ nhớ ngoài với bit dữ liệu là bit 9) PC0 AD8(mở rộng... SPI, JTAG hoặc cổng song song Atmega 128 sử dụng kiến trỳc Harvard với bộ nhớ dữ liệu và bộ nhớ chương trỡnh tỏch biệt nhau Hỡnh 3.4 minh họa phỏc thảo kiến trỳc bờn trong của bộ điều khiển Atmega 128 Bus dữ liệu dựng cho bộ nhớ dữ liệu là một bus 8 bit, cho phộp 16 nối hầu hết cỏc bộ phận ngoại vi với tệp thanh ghi Bus dữ liệu dựng cho bộ nhớ chương trỡnh cú độ rộng 16 bit và chỉ nối với thanh ghi lệnh... sỏnh tương tự dương PE1 PDO/TXD0 ( chõn truyền dữ liệu của UART0) PE0 PDI/RXD0 (chõn nhận dữ liệu của UART0) Port F : ngoài chức năng vào ra thụng thường, Port F cũn cú thờm chức năng mở rộng bộ nhớ ngoài chõn ở Port F Pin Chức năng PF7 ADC7/TDI (đầu vào ADC kờnh 7 hoặc kiểm tra dữ liệu đầu vào của JTAG) PF6 ADC6/TDO (đầu vào ADC kờnh 6 hoặc kiểm tra dữ liệu đầu ra của JTAG) PF5 ADC5/TMS (đầu vào ADC... trỡnh giao tiếp của hệ thống bộ xử lý với thế giới bờn ngoài, nhiều sự việc xảy ra theo cỏch khụng đồng bộ, chẳng hạn người dựng cú thể đó nhấn một cụng tắc để thực hiện một cụng việc nào đú, trong khi một byte dữ liệu cú thể đó đến cổng nối tiếp Điều này gõy khú khăn cho hoạt động của bộ xử lý khi mà nú phải kiểm tra tất cả cỏc thiết bị để giỏm sỏt sự di chuyển của dữ liệu Ngược lại mọi việc sẽ trở nờn... bộ biến đổi A/D 27 Hỡnh 2.9 : Sơ đồ khối của bộ biến đổi A/D 2.3.7 Bộ truyền/nhận UART Hỡnh 2.10 minh họa sơ đồ khối của bộ truyền/nhận UART Việc truyền dữ liệu được khởi tạo bằng cỏch ghi dữ liệu vào thanh ghi dữ liệu I/O USART, ký hiệu là UDR Dữ liệu được truyền từ UDR đến thanh ghi dịch truyền khi : 28 Hỡnh 2.10 : Sơ đồ khối của bộ truyền/nhận UART Một ký tự mới đó được ghi vào UDR sau khi bit stop... TRấN MẠNG NƠRON 3.1 Thiết kế bộ điều khiển PID-Neural cú chỉnh định thớch nghi trọng số của mạng 3.1.1 Thuật toỏn chỉnh định trọng số Trong phần này sẽ trỡnh bày việc vận dụng thuật toỏn tương tỏc thớch nghi vào việc chỉnh định cỏc trọng số wP , wI , wD của bộ điều khiển PID-Neural Hỡnh 2.1 là sơ đồ khối của hệ thống điều khiển với bộ điều khiển PID-Neural cú chỉnh định thớch nghi trọng số của mạng. .. của Atmega 128 • Khả năng thực thi cao, cụng suất tiờu thụ thấp, bộ vi xử lý 8 bit • Bộ vi xử lý với cấu trỳc RISC : Cú thể tớnh toỏn 16 triệu lệnh trờn 1s ở tần số 16MHz Tạo ra đầy đủ cỏc trạng thỏi 32 thanh ghi với mục đớch làm việc và điều khiển thiết bị ngoại vi Bộ nhớ chương trỡnh khụng đổi và bộ nhớ dữ liệu : Bộ nhớ dữ liệu chương trỡnh là 128K Bytes với chu kỡ tẩy xúa cho bộ nhớ là 10 000 lần... truyền đến thanh ghi dịch, bit start bị dịch chuyển ra chõn TXD Sau đú kế tiếp là dữ liệu, LSB trước tiờn Khi bit 29 stop đó được dịch chuyển ra, thanh ghi dich được nạp nếu bất kỳ dữ liệu nào đó được ghi vào thanh ghi UDR trong khoảng thời gian truyền Trong thời gian nạp, bit UDRE được đặt thanh “1” Nếu như khụng cú dữ liệu mới trong thanh ghi UDR để truyền di khi bit stop được dịch chuyển ra, cờ UDRE . LÝ THUYẾT MẠNG NƠRON 1 Lí THUYẾT MẠNG NƠRON 1.1 Nơron tự nhiên Thành phần cấu thành cơ bản của hệ thần kinh trung ương là nơron. Tế bào. dụng mạng truyền thẳng. Sau đõy sẽ xem xột mộ t mạng nơron truyền thẳng và tớnh toỏn đầu ra của mạng. Vớ dụ xột mạng nơron 2 lớp sau: Hỡnh 1.7: Mạng nơron