Đề tài điều khiển mobile robot ứng dụng các mạng neuron nhân tạo

1.1.1 Hệ điều khiển neuron sinh học : Với sự phát triển của các loại máy móc ,ngày nay các nhà khoa học muốn tạo ra một loại máy có thể hoạt động độc lập với sự điều khiển của con người

T h a à y Nguyễn Thiện

TRƯỜNG ĐẠI HỌC BÁCH KHOA TPHCM

KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG

LUẬN VĂN TỐT NGHIỆP TỰ ĐỘNG

K97

ĐỀ TÀI :

ĐIỀU KHIỂN MOBILE ROBOT ỨNG DỤNG

CÁC MẠNG NEURON NHÂN TẠO

GIÁO VIÊN HƯỚNG DẪN : Thầy NGUYỄN THIỆN THÀNH

SINH VIÊN THỰC HIỆN :

NGUYỄN TRUNG DŨNG MSSV : 49700311

HOÀNG TRUNG HIẾU MSSV : 49700468

1.1.1 Hệ điều khiển neuron sinh học :

Với sự phát triển của các loại máy móc ,ngày nay các nhà khoa học muốn tạo

ra một loại máy có thể hoạt động độc lập với sự điều khiển của con người trongmột môi trường luôn thay đổi và không chắc chắn , những máy này được gọi làmáy tự động hay máy thông minh ( hay thường được gọi là robot ) Sự thành côngcủa một robot phụ thuộc vào khả năng nó có thể xử lý được nhiều tình huống đadạng trong môi trường hoạt động của nó Mục tiêu của các nhà khoa học là tạo ranhững robot có thể hoạt động liên tục và luôn hồi tiếp những hành động của nó.Robot có thể thực hiện những công việc mà những máy móc thông thường đượcđiều khiển bằng tay khó có thể thực hiện được Ngoài ra ,robot có thể thích nghivà thực hiện hiệu quả công việc trong một môi trường luôn thay đổi Vì vậy,robot rất hữu ích khi thay thế con người trong những công việc khó khăn ,nguyhiểm ,và nhàm chán như sử dụng robot trong chiến tranh , trong lò phản ứng hạtnhân , trong quân sự , dò phá mìn

Cấu trúc mạng sinh học được xem như là nguồn gốc và bộ khung để thiết kếrobot Mô hình mạng sinh học cung cấp không chỉ động cơ mà còn một vài manhmối để phát triển giải thuật học thích nghi và bền vững trong robot Ngày nay ,kỹthuật điều khiển thích nghi và bền vững còn ít phổ biến so với kỹ thuật điều khiểncổ điển như bộ điều khiển tỷ lệ (P) , tích phân (I) , vi phân (D) và bộ điều khiển vitích phân (PID) và mô hình tham khảo của bộ điều khiển thích nghi

Cơ cấu điều khiển dùng mạng sinh học phù hợp để điều khiển những đốitượng có mô hình phức tạp, không chắc chắn Mô hình mạng thường rất phức tạpvà bất chấp mô hình toán chính xác Chúng có thể thực hiện những nhiệm vụ

T h a à y Nguyễn Thiện

phức tạp mà không cần xây dựng mô hình toán của đối tượng cũng như môitrường mà nó hoạt động ; điều đó có nghĩa là ta không phải giải quyết những bàitoán tích phân ,vi phân và toán phức

Ví dụ : hành vi cầm ly nước của con người Trước tiên ,bộ não người tác độnglên ly nước ;và nó sẽ xác định khoảng cách từ tay đến ly nước và tính toán hướng

di chuyển của tay để cầm ly nước ,sau đó bộ não sẽ lên kế hoạch và thực hiệncông việc là cầm ly nước lên

Cũng như bộ não người , mạng sinh học cũng thực hiện công việc dựa vào khảnăng nhận thức của nó Những bước tính toán tiếp theo hoàn toàn là dựa vào tiềmthức Ở đây ,chúng ta không xem xét đến quan hệ giữa cổ tay với khuỷu tay hoặcvai , cũng như sức lực của mỗi người ra sao Mà những tính toán chi tiết về góchay lực được thực hiện bởi những mức thấp hơn của tính toán tiềm thức nằm ở hệthống thần kinh trung tâm (CNS) Ngoài ra , hệ điều khiển sinh học có thể học đểthực hiện những công việc mới cũng như có thể thích nghi với những thay đổi củamôi trường một cách dễ dàng

Giả thuyết rằng , nếu nguyên tắc cơ bản của những tính toán neuron trong hệđiều khiển sinh học được sáng tỏ ,lúc này những bộ điều khiển thế hệ mới có thểđược phát triển càng bền vững và thông minh hơn vượt xa khả năng những bộđiều khiển cổ điển dựa trên mô hình toán học

Mặc dù nhiều nhà sinh vật học và tâm lý học đều cho rằng bộ não có cấu trúcmodule thần kinh Nhưng không có cái nhìn chung về số lượng module thần kinhhay cách hình thành cấu trúc module thần kinh Lý do là vì module tự nhiên củanão có số lượng lớn những bộ phận tác động qua lại với nhau Thậm chí khi xâydựng một mô hình với một vài bộ phận tương tác qua lại ( để so sánh với một bộnão thật sự ) thì xuất hiện những tính toán kinh khủng và những phân tích khókhăn Trong nhiều trường hợp , mô hình toán cung cấp những công những công cụcần thiết để làm rõ những khía cạnh khác nhau của hệ thống

Thiên nhiên đã tạo ra một cấu trúc thần kinh rất phức tạp trong các loài sinhvật Có trên 100 tỷ neuron sinh học trong hệ thống thần kinh trung tâm của conngười , chúng đóng một vai trò quan trọng trong những khía cạnh khác nhau củaquá trình xử lý thông tin và thực hiện những quyết định ( như nhận biết ,điềukhiển và nhận thức ) Trong quá trình xử lý thông tin ;xuất hiện những hoạt động

đa dạng ,phức tạp và những chức năng ánh xạ ( mapping function ) trong cấu trúc

T h a à y Nguyễn Thiện

tầng song song ( parallel_cascade ) ,hình thành một mô hình phức tạp ở những lớpNeuron và phát triển thành mô hình hình chóp Thông tin được truyền từ lớpNeuron này sang lớp Neuron khác theo hướng tiến và liên tục được hồi tiếp đểhình thành một cấu trúc hình chóp động

1.1.2 Những tiền đề để thiết kế hệ thống điều khiển cổ điển :

Phương pháp thiết kế hệ thống điều khiển cổ điển dựa trên mô hình toán họcmô tả hành vi của đối tượng và ứng dụng những kỹ thuật phân tích trên mô hìnhnày để đi đến luật điều khiển Thông thường , những mô hình toán thường chứanhững phương trình vi phân tuyến tính hoặc phi tuyến Hầu hết những phươngtrình này đều được xây dựng xấp xỉ và đơn giản hoá Đối với một đối tượng phứctạp hoạt động trong một môi trường luôn thay đổi thì kỹ thuật cổ điển sẽ gặp khókhăn khi xây dựng mô hình toán và luật điều khiển ,thậm chí không thể thực hiệnđược Mô hình của một hệ thống điều khiển có hồi tiếp liên quan đến sai số giữamô hình đơn giản hoá và mô hình thực ; sai số này quyết định hành vi và hoạtđộng của hệ thống

Có hai phương pháp điều khiển thường được mô tả để đạt được kết quả điềukhiển theo ý muốn từ những hiểu biết mơ hồ về đối tượng Phương pháp thứ nhấtlà ổn định bền vững (robust stabilizer ) hay còn gọi là bộ điều khiển bền vững.Điều khiển thích nghi (Adaptive control) là phương pháp thứ hai để giải bài toánđiều khiển cho một đối tượng phức tạp Các thông số của bộ điều khiển thích nghiphải phù hợp với giải thuật thích nghi để giữ cho hệ thống hoạt động như mongmuốn Nhìn chung ,bộ điều khiển thích nghi được áp dụng rộng rãi để điều khiểnnhững đối tượng không chắc chắn ,nhưng nó phức tạp hơn bộ điều khiển bền vững.Sơ đồ của bộ điều khiển thích nghi được mô tả như sau :

T h a à y Nguyễn Thiện

nghi đo được những giá trị như đầu vào ,trạng thái và đầu ra của hệ thống động.So sánh những giá trị này với giá trị mong muốn ,luật thích nghi sẽ hiệu chỉnhthông số của bộ điều khiển để đảm bảo đối tượng làm việc như mong muốn Mặc dù kỹ thuật điều khiển thích nghi được dùng rất rộng rãi nhưng nhữngứng dụng của chúng vào các bài toán thực tế còn rất hạn chế Lý do là vì trongthực tế yếu tố ổn định được ưu tiên hơn trong hệ thống điều khiển thích nghi.Đốivới những hệ thống lớn và phức tạp thì sự phức tạp của phương pháp thích nghitruyền thống gây khó khăn cho người thực hiện Hơn nữa ,phương pháp này cầnhiểu biết về bậc của đối tượng điều khiển ;nhưng trong thực tế nhiều hệ thống takhông biết được bậc của đối tượng nên việc áp dụng phương pháp điều khiểnthích nghi truyền thống rất khó khăn và đôi khi không thể thực hiện được

Hình trên biểu diễn một hệ thống điều khiển thích nghi Bộ điều khiển thích

Controller

Plant [.]

Adaptive

algorithm

Input

n

R t

u ) ∈

1

) (t R

y ∈

Output

n

R t

y

J

T h a à y Nguyễn Thiện

1.1.3 Giải thuật học trong bộ điều khiển Neuron :

Để đương đầu với một đối tượng động không chắc chắn , bộ điều khiển phảiước lượng những thông tin không rõ ràng trong suốt thời gian hoạt động Nếunhững thông tin được ước lượng gần với thông tin thật thì bộ điều khiển được thiếtkế sẽ là bộ điều khiển tối ưu.Sự cải tiến các hành vi nhờ vào sự hiệu chỉnh thôngtin ước lượng, vì vậy bộ điều khiển này được xem như là bộ điều khiển học thíchnghi Bộ điều khiển được huấn luyện từ những thông tin không rõ ràng trong suốtthời gian hoạt động ,thông tin này được dùng như một kinh nghiệm cho những

quyết định và điều khiển trong tương lai ràng của đối tượng hoặc của môi trường được thu thập khi hoạt động và nhữngthông tin này được dùng để ước lượng cho những bước tiếp theo Ví dụ như bộđiều khiển được thay đổi kiểu điều khiển hoặc những thông số của bộ điều khiểnsau khi học nếu bộ điều khiển hiện tại không thoả mãn yêu cầu

Bộ điều khiển được huấn luyện có thể tăng hiệu quả hoạt động và có thể tạo

ra những bộ điều khiển bền vững Bộ điều khiển có thể bù một số lượng lớnnhững thay đổi trong bộ điều khiển và môi trường hoạt động của nó Luật họcnhằm để xác định các thông số của bộ điều khiển Neuron để hệ thống hoạt độngtối ưu Luật học có khả năng cải tiến những hành vi trong tương lai dựa vàonhững thông tin trong hiện tại Cả bộ điều khiển học hỏi và thích nghi có thể đượcthực hiện dùng giải thuật điều chỉnh thông số dựa vào thông tin hồi tiếp

Mô hình của một bộ điều khiển Neuron được biễu diễn ở hình sau :

Bộ điều khiển được gọi là bộ điều khiển học hỏi nếu những thông tin không rõ Desired response

Learningalgorithm

Neural network

Error

Output

T h a à y Nguyễn Thiện

1.1.4 Cấu trúc sinh học của Neuron :

Bộ não người bao gồm xấp xỉ 100 tỷ tế bào thần kinh , còn được gọi làNeuron Tất cả những hoạt động của con người phụ thuộc vào những tế bào nhỏbé này Mỗi Neuron kết hợp với nhiều Neuron khác tạo thành mạng Neuron Sựkết nối thành mạng tạo làm cho con người có khả năng tính toán và ghi nhớ Neuron là đơn vị cơ bản của hệ thần kinh trung tâm ( Central NervousSystem:CNS ) , những Neuron này có chức năng xử lý và thông tin qua lại từnhững bộ phận khác nhau của cơ thể con người Theo quan điểm về xử lý thôngtin , mỗi Neuron bao gồm 3 phần ,mỗi phần liên hệ với nhau bằng một phươngtrình toán cụ thể :

Denrite : có chức năng nhận thông tin từ những Neuron khác

Thân Neuron ( hay Soma ) :thu thập và kết nối những thông tin nhận đượctừ những Neuron khác

Đầu ra Axon :mỗi Neuron chỉ có một đầu ra axon có chức năng truyềnthông tin đến các Neuron khác

Điểm nối giữa đầu ra Axon và đầu vào dendrite của Neuron gọi là synapse,synapse có chức năng như một bộ nhớ Một đầu ra axon có thể liên kết với hàngtrăm synapse từ các Neuron khác Cấu trúc sinh học của Neuron được mô tả ởhình sau :

Mô hình toán cho đầu ra của Neuron được định nghĩa như sau :

i=1

Synapse kích động Synapse thụ động

Dendrite soma

Neural Processor

T h a à y Nguyễn Thiện

với [x1, ,xn] là đầu vào của Neuron [w1, ,wn] là trọng số y(t) : là đầu ra Neuron ; y [.] : là hàm tác độngphi tuyến w0 : giá trị ngưỡng

Mạng nuôi tiến là mô hình thường được đề cập ,mô hình này đáp ứng ngaylập tức đến các đầu vào vì cấu trúc của nó không chứa các yếu tố động ,vì vậycấu trúc mạng này còn được gọi là mạng Neuron tĩnh Mô hình mạng tĩnh m đầuvào và n đầu ra được mô tả như ở hình sau :

hợp yếu tố hồi tiếp và yếu tố động trong cấu trúc của nó Mô hình mạng truyềnlùi được mô tả như sau :

Với sự phát triển song song của logic mờ ,nhiều mô hình mạng Neuron chứanguyên tắc của mạng Neuron và cả logic mờ đang được phát triển Mặc dù ,cácmạng tĩnh ,động và các mạng Fuzzy_Neuron đang được ứng dụng trong nhiều bộ

x 1

x 2

x m

y 1

y 2

y n

1.2.2 Tính toán trong mạng Neuron :

Mục đích của việc nghiên cứu những tính toán trong mạng Neuron là để pháttriển mô hình toán mạng Neuron mà không cần thiết nghiên cứu về mặt sinhhọc ,mô hình toán có thể thực hiện bằng những hàm tính toán khác nhau MạngNeuron nhân tạo (ANNs) ,hay những mạng Neuron đơn giản thường được mô tảbằng những mô hình kết nối hay mạng xử lý phân bố song song (paralleldistributed processing networks)

Bắt đầu với sự phát triển của những tính toán Neuron dựa trên những hiểubiết về cấu trúc sinh học của nó cùng với luật học Điều này dẫn đến quá trìnhtính toán trong mạng Neuron được thực hiện theo 3 bước sau :

Phát triển mô hình Neuron dựa trên cấu trúc sinh học của nó

Mô hình kết nối và cấu trúc synapse

Luật học Các nhà nghiên cứu đã khám phá ra nhiều cấu trúc mạng Neuron khác nhaunhưng nếu xét về cấu trúc ;mạng Neuron có thể phân thành mạng tĩnh ,mạngđộng ,mạng một lớp và mạng nhiều lớp Hơn nữa ,những cách tính toán khác nhautrong mạng Neuron cũng làm nảy sinh những cách kết nối synapse khác nhau giữacác Neuron

Mặc dù các nhà nghiên cứu đã đưa ra nhiều cấu trúc mạng Neuron cũng nhưgiải thuật học khác nhau ,những mạng Neuron cũng có chung nhiều đặc tính ,mànhững đặc tính này là duy nhất đối với một hệ sinh học Những đặc tính này tươngphản với phương pháp tính toán truyền thống Những tính toán trong mạng Neuroncó thể điều tiết nhiều đầu vào song song và mã hoá thông tin theo mô hình phânbố Kiểu mã hoá này tương phản với sơ đồ bộ nhớ truyền thống ,ở đó những mẫuthông tin cụ thể được chứa trong một vùng bộ nhớ Sự phân phát bộ nhớ trong

T h a à y Nguyễn Thiện

mạng Neuron có nhiều thuận lợi ,quan trọng nhất là bộ nhớ chứa dư ra nhiềuthông tin tiêu biểu một lúc Vì vậy mạng Neuron vẫn có thể hoạt động tốt khi bịphá huỷ một vài bộ phận trong cấu trúc mạng

Thuộc tính của mạng Neuron như luật học ,sự tổng hợp thông tin dư thừa vàdung sai cho phép là động cơ chọn lựa mô hình sinh học thích hợp cho mạngNeuron Những kích thích (potential benefits) của mạng Neuron có thể được tómtắt như sau :

Mô hình Neuron có nhiều Neuron liên kết với nhau theo một cấu trúcsong song Vì có cấu trúc song song nên sự bất thường của một vài Neuron khônggây ra những ảnh hưởng quan trọng lên toàn bộ hệ thống Đặc tính này được xemnhư dung sai

Chiều dài của mạng phụ thuộc vào luật học và khả năng thích nghi củanó Khả năng thích nghi và học từ môi trường có nghĩa là mạng Neuron có thể xửlý được những dữ liệu mơ hồ,không rõ ràng(imprecise data) và những tình huốngkhông được định nghĩa tốt (ill_defined situation ).Mạng được huấn luyện thích hợpsẽ có khả năng tổng hợp khi đầu vào không xuất hiện trong quá trình huấn luyện

Đặc tính quan trọng nhất của mạng Neuron là khả năng xấp xỉ nhữnghàm liên tục phi tuyến đến độ chính xác mong muốn Khả năng này của mạnglàm cho chúng trở nên hữu ích khi xây dựng một mô hình trong bộ điều khiển phituyến

Mạng Neuron có thể có nhiều đầu vào và nhiều đầu ra nên có thể ứngdụng cho nhiều hệ thống khác nhau

Với sự tiến bộ của kỹ thuật phần cứng ,gần đây nhiều nhà cung cấp đãgiới thiệu kỹ thuật VLSI trong mạng Neuron,điều này làm tăng tốc độ tính toántrong mạng

Mặc dù một số lượng lớn những phép toán trong mạng Neuron và giải thuậthọc được đưa ra ,nhưng hầu hết những mạng này đều có một đặc tính chung nàođó với hệ Neuron sinh học Cấu trúc cơ bản của một mạng Neuron bao gồm nhiềuNeuron được phân bố song song và cách thức giải mã thông tin trong kết nốisynapse và cách thức gọi thông tin với đáp ứng đầu vào hiện tại Các mạngNeuron khác nhau đều có cách học tương tự nhau ,chúng đều rút ra những kinhnghiệm từ những dữ liệu được đưa vào

T h a à y Nguyễn Thiện

Trên đây là những giới thiệu tổng quát về cấu trúc mạng Neuron Mô tả chi tiết về cấu trúc mạng động và mạng tĩnh sẽ được trình bày trong các phần sau

1.3 Mạng nuôi tiến hay còn gọi là mạng tĩnh :

1.3.1 Mô hình toán của mạng nuôi tiến :

Một Neuron bao gồm synapse ( điểm nối ) và soma ( thân Neuron ) Trong môhình mạng Neuron ,đầu ra axon của Neuron này được nối với các đầu vàodendrite của các Neuron khác thông qua kết nối synapse và sự kết nối này quyếtđịnh trọng số giữa các Neuron Mỗi soma có trung bình 104 đầu vào dendrite và

Nguyễn Thiện Thành

soma có chức năng tổng hợp trọng số của tất cả các đầu vào này Nếu trọng số nàylớn hơn giá trị ngưỡng thì nó sẽ tạo thành xung kích ở đầu ra Neuron ,những xungkích này thông qua axon để chuyển đến đầu vào các Neuron khác

Nhìn ở góc độ về xử lý tín hiệu ,Neuron có hai yếu tố then chốt là synapse vàsoma-nó có chức năng tính toán và nhớ những dữ liệu trong quá khứ Mỗi synapse làmột phần tử để lưu trữ dữ liệu (hay trọng số ) và nó sẽ được học để hiệu chỉnhnhững trọng số này cho đến khi đạt được đầu ra như mong muốn Soma có nhiệm vụtổng hợp các trọng số đầu vào của Neuron và tạo thành kích thích ở đầu ra Axonthông qua hàm tác động dạng phi tuyến

Một cách đơn giản , ta có xem một Neuron như là một phần tử xử lý thông tin (PE) gồm có n đầu vào X(t) =[x1 (t), x2 (t), , x n (t)] T ∈R n và đầu ra vô hướng y(t) ∈R1

.Vector đầu vào X(t) chính là các đầu ra của các Neuron ở lớp trước hay từ các Neuron cảm biến từ môi trường

Xét về mặt toán học khả năng xử lý thông tin của một Neuron được xem như làphép toán ánh xạ phi tuyến(NE) từ Vector đầu vào X(t) ∈ R n đến đầu ra mong muốn

y(t) ∈R1 :

với W(t) vector trọng số ,Ψ[.] là hàm tác động phi tuyến Ánh xạ phi tuyến Ne bao gồm 2 thành phần là : Hàm tổng hợp và Hàm tác độngphi tuyến Hàm tổng hợp cung cấp trọng số ,cách kết nối và giá trị ngưỡng đến đầuvào Neuron Để tính toán giá trị ngưỡng chúng ta sẽ định nghĩa thêm một vector ởđầu vào Neuron ,lúc này đầu vào và trọng số của Neuron được cho như sau :

n

R t

X ) ∈

[.]

)(t =Ψ

Nguyễn Thiện Thành

và W a (t) = [w0 (t), w1 (t), , w i (t), , w n (t)] T ∈R n+1 (1.5) trong đó w0(t) là giá trị ngưỡng ,Xa(t) là vector đầu vào ,Wa(t) là vector trọng số

a Hàm tổng hợp :

Về mặt sinh học ,hàm tổng hợp tượng trưng cho trọng số của tín hiệu đầu vào

Xa(t) ,dữ liệu được tồn trữ tại vector trọng số (synapse ) Wa(t) ,sự kết nối nhữngtrọng số đầu vào được thực hiện bởi Soma Synapse và Soma ánh xạ tuyến tính nhưđược mô tả ở phương trình sau :

u(t) =W a (t) T X a (t) =∑n w i x i (1.6) ; Xa(t) và Wa(t) được định nghĩa

i=0 theophương trình (1.4) và (1.5)

b Chức năng của hàm tác động phi tuyến :

Các chức năng của hàm tác động phi tuyến Ψ[.] ánh xạ giá trị hàm tổng hợp u(t)thành giá trị đầu ra Nhìn chung đầu ra của Neuron trong khoảng [0,1] hoặc [1,1],vàđược tính như sau :

Nguyễn Thiện Thành

c Luật học :

Trọng số và phép tổng hợp được thực hiện bởi synapse và soma ,chúng tạo raphép đo đồng bộ giữa vector đầu vào Xa(t) và vector trọng số Wa(t) Khi có một đầuvào mới thì nó sẽ được so sánh với dữ liệu ở các bước học trước để hiệu chỉnh cáctrọng số sao cho sai số ở đầu ra giảm đi Nói cách khác quá trình huấn luyện (học )là làm cho vector Xa(t) tương đương với vector Wa(t)

Hầu hết cấu trúc của mạng neuron đều phải trải qua quá trình học để cập nhậttrọng số Giải thuật để thay đổi trọng số được gọi là luật học Mục đích của luật họcphụ thuộc vào từng ứng dụng

Trong bài toán về phân loại và xấp xỉ ,mỗi lần huấn luyện xong một cơ sở dữliệu được gọi là chu kỳ huấn luyện Tuy nhiên không có công thức tổng quát đểhuấn luyện chung cho các mạng neuron Giản đồ minh hoạ cho những luật học khácnhau để cập nhật trọng số được trình bày trong hình sau :

Nguyễn Thiện Thành

Học giám sát Học không giám sát

Theo như hình vẽ trên , nếu chỉ xét về học thông số thì luật học có thể phân loạithành luật học giám sát và luật học không giám sát

Dùng một tín hiệu mong muốn ở ngoài như một thầy giáo và sai số của tín hiệuđược phát sinh bằng cách so sánh đầu ra mong muốn và đầu ra thực sự của mạng.Dựa trên tín hiệu sai số mạng neuron sẽ cải tiến trọng số để cải tiến hoạt động củahệ thống với giả sử đầu ra mong muốn của mạng được biết trước như hình sau :

∆Wa(t) ya(t)

Phương trình tổng quát cho giải thuật học giám sát được trình bày như sau :

wi(t+1) = wi(t) + ∆wi(t) (1.8) với ∆wi (t) = µ.xi (t) [yd(t) – y(t)](1.9)

Với wi(t) là trọng số khi đầu vào là x(t), ∆wi(t) là sự thay đổi của trọng số , µ làhằng số học ,yd(t) là đầu ra mong muốn , y(t) là đầu ra thực sự của mạng Sự lựachọn hằng số học µ rất quan trọng trong luật học này, một giá trị rất nhỏ của hằng số

Học thông số Học cấu trúc

Nguyễn Thiện Thành

học sẽ làm cho kết quả học chậm đi rất nhiều, một giá trị lớn của hằng số học sẽlàm cho quá trình học diễn ra nhanh hơn nhưng nó cũng có thể làm cho hệ thống trởnên dao động bất ổn định

Ngược lại ,luật học không giám sát không có tín hiệu mong muốn Trong cáchhọc này không có thông tin hồi tiếp từ môi trường để báo các đầu ra thực sự củamạng là đúng hay sai, mạng sẽ tự điều chỉnh các trọng số kết nối giữa các neuronbằng cách sử dụng các đầu ra thực sự của mạng Có hai cấu trúc quan trọng củaluật học không giám sát đó là luật học Hebbian và luật học cạnh tranh Luật họcHebbian làm thay đổi trọng số theo đáp ứng tương quan của hai neuron nối liềnnhau Luật học Hebbian đơn giản dùng để mô tả tương quan giữa tín hiệu đầu vàovà tín hiệu đầu ra được mô tả bằng phương trình :

∆w i (t) =mx i (t)y(t)

Mô hình mô tả luật học Hebbian :

nguyên tắc một đầu vào đại diện cho một lớp neuron, mỗi neuron cạnh tranh đếntất cả các neuron khác để nhận được tín hiệu tích cực và gởi tín hiệu thụ động đếncác neuron xung quanh Sau một khoảng thời gian neuron có trạng thái hoạt độnglớn nhất sẽ tích cực (hay còn được gọi là neuron chiến thắng) và các neuron khác sẽ

bị huỷ bỏ

Luật học Competitive được ứng dụng cho lớp neuron ẩn Luật học dựa trên

xWa(t)

T

ψ )]

)

Nguyễn Thiện Thành

Tóm lại : Có hai luật học là luật học giám sát và luật học không giám sát Họcgiám sát cần đầu ra mong muốn nếu đầu ra mong muốn là không biết truớc thì giảithuật giám sát sẽ không thể sử dụng điều này có nghĩa là giải thuật giám sát sẽ trởnên hữu ích Gần như tất cả các mạng neuron kết hợp chặt chẽ hai luật này hoặcbiến đổi chúng Tuy nhiên một vài mạng neuron có trọng số cố định và những mạngnày hoạt động bằng cách thay đổi khả năng của mỗi neuron nếu như nó không thayđổi trọng số

1.3.2 Mạng nuôi tiến nhiều lớp :

Trong những phần trước, mô hình toán học chi tiết của một mạng neuron đơn( mạng một lớp ) đã được mô tả Mặc dù một mạng đơn có thể thực hiện một chứcnăng đơn giản nào đó nhưng khả năng tính toán của mạng phụ thuộc vào số lượngneuron được kết nối trong cấu trúc mạng Một mạng lớn đưa ra một khả năng tínhtoán vĩ đại Sự xắp xếp neuron trong một lớp bắt chước một phần cấu trúc của bộnão con người Những mạng neuron nhiều lớp được chứng minh rằng có khả năngvượt xa mạng neuron đơn Cấu trúc mạng neuron được dùng thông thường nhấttrong các ứng dụng như các hệ thống nhận dạng và điều khiển là những mạngneuron nhiều lớp (Multilayer neural network :MNN) với giải thuật truyền lùi sai số Một mạng (MNN) tiêu biểu gồm một lớp neuron đầu vào, một lớp neuron đầu ravà một lớp neuron ẩn được biểu diễn như hình sau :

Hay mô hình khối :

Input layer Hidden layer Output layer

Nguyễn Thiện Thành

Y (t) ∈ Rm X (t) ∈ R

Aùnh xạ đầu vào và ra của MNN được mô tả bởi công thức :

a(t) , ∆w2

a(t), ∆w3

a(t) Trọng số cũng có thể được cậpnhật dùng giải thuật giảm sai số hay thường được gọi là giải thuật truyền lùi bằngcách truyền sai số về phía sau từ nút đầu ra thông qua lớp neuron ẩn để điều chỉnhtrọng số Một mạng nuôi tiến có thể dùng kỹ thuật học không giám sát nếu trọng sốcủa mạng nuôi tiến được cập nhật dùng luật học Hebbian Với mạng nuôi tiến nhiềulớp luật học được sử dụng phổ biến là giải thuật học truyền lùi Giải thuật truyền lùilà một luật tổng quát hoá luật bình phương sai số tối thiểu cho một mạng neuronnhiều lớp Nó cố gắng giảm sai số tại mỗi nút bằng cách tối thiểu trọng số nhiễuloạn và cải tiến nội dung của thông tin trước khi giải mã trọng số Giải thuật họctruyền lùi có thể được áp dụng đến mạng có lớp neuron ẩn bất kỳ bằng cách tính saisố đầu ra và sai số được truyền lùi về lớp đứng trước nó và cập nhật trọng số với saisố tối thiểu Nguyên tắc của giải thuật học truyền lùi đươc tóm tắt như sau :

vCấu trúc mạng neuron dùng giải thuật học truyền lùi tiêu biểu bao gồm lớp neuron đầu vào ,lớp neuron ẩn và lớp neuron đầu ra Lớp neuron ẩn có thể có nhiều lớp, rất khó xác định mô hình của mạng neuron có bao nhiêu lớp ẩn là cần thiết cho một ứng dụng cụ thể Không có nhiều tính toán xảy ra ở lớp neuron đầu vào, số lượng neuron ở lớp neuron đầu vào bằng với số lượng thành phần vector đầuvào Trong quá trình học tập lớp neuron đầu vào sẽ gởi tín hiệu đầu vào đến neuron ẩn như được biểu diễn ở hình sau :

n

Nguyễn Thiện Thành

vCác neuron ẩn truyền kết quả của chúng đến tất cả các neuron đầu ra Mỗiđầu ra sẽ tính tổng trọng số ,tức là đầu ra thực sự và trừ đi đầu ra mong muốn đểtạo ra sai số tại đầu ra của mạng ,quá trình được biểu diễn như sau :

vNút đầu ra tính đạo hàm các thành phần của vector sai số và truyền kết quả này về lớp ẩn Những tính toán này trong suốt quá trình học gọi là giải thuật truyềnlùi Mỗi neuron ẩn tính tổng đạo hàm sai số để biết ảnh hưởng của nó đến sai số ởđầu ra Sự truyền lùi sai số đến lớp neuron được biểu diễn ở hình sau :

Nguyễn Thiện Thành

Mỗi neuron trong lớp ẩn và lớp đầu ra thay đổi trọng số của nó theo một luậthọc được định trước được cho bởi công thức 1.8 và 1.9

Như vừa trình bày : giải thuật truyền lùi đòi hỏi đầu ra mong muốn trong suốtquá trình học đã được tính toán sai số và điều chỉnh trọng số, sau quá trình học mạngneuron được đưa vào những giá trị mới và biết trước (những dữ liệu này không đượcdùng trong suốt quá trình học) để kiểm tra mạng Độ chính xác của mạng neuronvới dữ liệu bên ngoài luật học cho biết khả năng khái quát của mạng neuron tức lànó cho biết độ tin cậy của mạng Sau giai đoạn học và kiểm tra, mạng neuron có thểdùng để phân loại mô hình và mô hình hoá cho những mạng phi tuyến không biếttrước

Một trong những đặc tính quan trọng nhất của mạng neuron là khả năng xấp xỉhàm phi tuyến Nghiên cứu chức năng xấp xỉ chiếm một vị trí quan trọng trong mạngneuron

1.4 Mạng Truyền Lùi :

1.4.1 Giới thiệu :

Trong những phần trước chúng ta đã trình bày ngắn gọn về cấu trúc của mạngneuron nuôi tiến một lớp, nhiều lớp với cấu trúc không hồi tiếp Những mạng neuronnày được gọi là mạng tĩnh,nuôi tiến hoặc không tuần hoàn Những mạng như thếkhông có bộ nhớ động như là đáp ứng của mạng vì vậy nó phụ thuộc vào đầu vàohiện tại và trọng số, những mạng này không có hồi tiếp nên nó ổn định

Quá trình nuôi tiến và nuôi lùi ảnh hưởng qua lại lẫn nhau, điều chỉnh trọng số,làm giảm sai số đầu ra trong suốt quá trình học Một mạng neuron được thành lập tốtsẽ có thể xấp xỉ hàm phi tuyến với độ chính xác như mong muốn Đặc tính này của

Nguyễn Thiện Thành

mạng nuôi tiến được các nhà nghiên cứu dùng trong mô hình động, tuy nhiên mạngnày cũng có những hạn chế nhất định

Trong phần này chúng ta sẽ mô tả cấu trúc của mạng nuôi lùi hay còn gọi làmạng động , mạng tuần hoàn Những mạng này không chỉ cung cấp những đặc tínhtính toán bền vững mà còn mang lại sự hiểu biết sâu sắc hơn trong cấu trúc sinh họccủa mạng neuron Mạng neuron động đưa ra những tính toán thuận lợi hơn so vớimạng tĩnh

Ví dụ : bộ lọc có bậc vô hạn (FIR) tương đương với bộ lọc xác định bậc 1 (IIR)như trong hình vẽ :

v(k +1) )

v(k)

Nguyễn Thiện Thành

phương trình (1.14) :

y(k) = ψ[W1

a(k) T*Xa(k) + W2

a(k)T* Ya(k-1)] (1.14) với k là biến rời rạc trong miền thời gian, ψ[.] là hàm tác động phi tuyến, Xa(k)

∈ Rn+1 là vector đầu vào tại thời điểm k, Ya(k) và Ya(k-1) là vector đầu ra tại thờiđiểm k và k-1 W1

a(k) là ma trận trọng số nuôi tiến, W2

a(k) là ma trận trọng số nuôilùi Mô hình học tổng quát cho mạng được minh hoạ trong hình sau :

Phương tình toán mô tả neuron trong miền thời gian rời rạc được mô tả bởi

xa(k)

w 1

a(k)T

y a( -1k)

[U(

k

X(k)

∈Rn

Y(k-1)

∈Rm

Y(k) ∈ Rm

Nguyễn Thiện Thành

Bởi vì mạng nuôi lùi có hồi tiếp từ neuron đầu ra đến neuron đầu vào nên đápứng của mạng được gọi là đáp ứng động Sau khi cập nhật một đầu vào mới, đầu rasẽ được tính toán và hồi tiếp để hiệu chỉnh đầu vào, sau đó đầu ra lại được tính toánlại và quá trình tiếp tục được lập lại như thế Sự lập lại liên tục làm đầu ra có sựthay đổi ngày càng nhỏ thậm chí là hằng số Trong một vài trường hợp quá trình xửlý thông tin sẽ không kết thúc , những mạng như vậy gọi là mạng không ổn định Cấu trúc neuron của mạng nuôi lùi thích hợp cho mô hình nhận dạng và điềukhiển , những mạng này rất quan trọng bởi vì nhiều hệ thống thực tế mà các nhàkhoa học muốn xây dựng mô hình thực là những hệ thống động không tuyến tính,những hệ thống điều khiển mà chúng ta muốn xây dựng mô hình đó là máy bay, tênlửa, robot và tàu không gian

Trong phần này chúng ta mô tả hai loại mạng neuron động Loại thứ nhất pháttriển mở rộng từ mạng neuron tĩnh được mô tả ở trên, trong đó chúng ta mô tả hailoại là mạng tuần hoàn và mạng thời gian trễ Loại thứ hai sẽ được phát triển dựatrên những dấu hiệu sinh học của những neuron tích cực trong CNS, phụ thuộc vàonhững tác động qua lại của neuron tích cực và neuron thụ động

1.4.2 Mở rộng mạng neuron tĩnh :

a Mạng tuần hoàn :

Cấu trúc mạng tuần hoàn được giới thiệu bởi Hopfiel, tạo ra những mô hìnhthay đổi của mạng neuron tĩnh Cấu trúc bao này bao gồm mạng neuron một lớp cóđặc tính truyền lùi với thời gian trì hoãn được biểu diễn như hình vẽ :

Nguyễn Thiện Thành

Mạng nuôi lùi này đặc trưng cho hệ thống động rời rạc và có thể được mô tả bởiphương trình (1.15a)

y(k+1) = ψ [w(k) y(k)] , x(0) = x0 (1.15a) với y(k) và y(k+1) là trạng thái của mạng neuron ở thời điểm k và k+1 , x(0) là giá trị đầu, w(k) là vector trọng số , ψ[.] là hàm tác động phi tuyến

Giá trị ban đầu x(0) của hệ thống động suy ra trạng thái cân bằng nếu chọn ψ[.]thích hợp, điều kiện đầu trong vùng lân cận của x(0) hội tụ đến cùng một trạng thái

cân bằng thì được đồng nhất với trạng thái đó Bộ nhớ liên hợp (assocoative

memory) được dùng để mô tả hệ thống như thế Một mạng nuôi lùi với đầu vào hằng

số hay thay đổi chỉ đơn thuần là một hệ thống động phi tuyến và tiệm cận của hệthống này phụ thuộc vào trạng thái đầu vào cụ thể và hàm phi tuyến

Mạng tuần hoàn một lớp gồm n neuron có giá trị ngưỡng là woi được mô tả bởihình sau :

z-1

Nguyễn Thiện Thành

Đầu vào hồi tiếp đến neuron thứ i bằng với tổng trọng số của đầu ra yi với i = 1-> n ,wij là trọng số kết nối giữa neron thứ j và neuron thứ i

Chúng ta có thể biểu diễn tổng đầu vào ui của neuron thứ i như sau :

n

ui = ∑ wijyj + xi –w0i ; i = 1,2… n (1.15b)

j=1Biểu thức 1.15b có thể viết lại như sau :



0 

ma trận này là ma trận đối xứng wij = wji và wii = 0 nó nói lên rằng không có kết nối về chính nó

Nguyễn Thiện Thành

b Mạng neuron thời gian trễ (TDNN):

Ta có thể sử dụng mạng tĩnh để xử lý dữ liệu nối tiếp bằng cách chuyển đổi thờigian liên tục thành mô hình rời rạc bằng cách thời gian được xem như một khía cạnhkhác của bài toán Từ thực tế nó có thể biến đổi thời gian liên tục thành nhữngkhoảng thời gian xác định bằng cách đưa đầu vào liên tục vào cơ cấu trì hoãn sau đótín hiệu ra sẽ được đưa vào mạng neuron tĩnh Một cấu trúc như thế được gọi làmạng neuron trì hoãn thời gian Cấu trúc mạng này dựa trên mạng nuôi tiến với yếutố động vì phép toán làm trễ nên mạng TDNN được xem như mạng neuron động Đơn vị neuron thời gian trễ cơ bản được trình bày như ở hình vẽ có chức năng cơbản như một bộ lọc thích nghi bằng cách tính tích vô hướng giữa vector đầu vào

Xa(k) và vector trọng số Wa(k) Vector trọng số Wa(k) sẽ được hiệu chỉnh bởi giảithuật học bình phương sai số tối thiểu Đơn vị neuron này được huấn luyện bằngcách lấy đầu ra mong muốn của mạng làm đầu vào được trì hoãn

Nguyễn Thiện Thành

nhau trong vùng tần số đó Tuy nhiên tín hiệu và nhiễu đè lên nhau trong vùng tầnsố thì sau đó quá trình xử lý có khuynh hướng lọc ra tín hiệu Nói cách khác cấu trúcnày có thể làm suy yếu đặc tính của hệ thống

Đơn vị neuron thời gian trễ được mô tả như phương trình 1.16a và 1.16b v(k )

= ∑n wi.x(k - i) (1.16a)

i=0y(k) = ψ[v(k)] (1.16b)

c Đơn vị neuron động (Dynamic Neural Unit DNU) :

Được đưa ra bởi Gupta và Rao là một mô hình động của neuron sinh học, cấutrúc của neuron được phát triển dựa trên cấu trúc sinh học của một mạng neuronluôn được hồi tiếp liên tục

Ví dụ của hệ thống này là sự phản xạ vòng quanh trong một nhóm neuron củahệ thần kinh trung tâm (CNS),chức năng được mô tả như sau : một tín hiệu kích thíchđến neuron đầu tiên sau đó kích thích đến neuron thứ 2,3,4… nhiều nhánh trở vềneuron đầu tiên cung cấp hồi tiếp và kích thích lại nó như được mô tả ở hình sau :

Nguyễn Thiện Thành

Sự phản xạ vòng là hoạt động cơ bản trong nhiều hoạt động của CNS , nó chophép một tín hiệu đầu vào để suy ra đáp ứng sau vài giây , vài phút thậm chí vài

giờ Hầu hết tất cả các hoạt độâng nhịp nhàng của cơ bắp như sự di chuyển thường

Cấu trúc DNU như hình trên chỉ tương tự như phản xạ vòng mà không tiêu biểu

cho bất cứ cơ cấu cụ thể nào trong hệ thống thần kinh sinh học Vì thế DNU thựchiện hai quá trình riêng biệt đó là quá trình synape và quá trình soma Thao tác thứnhất tương ứng với việc cập nhật trọng số nuôi tiến và nuôi lùi trong khi thao tác thứhai tương ứng với việc cập nhật độ lợi của hàm tác động phi tuyến

Một DNU động tuyến tính có thể biểu diễn như phương trình 1.17 :

với S(k) là vector đầu vào của DNU Si ∈ Rn là đầu vào từ những neuron kháchoặc từ cảm biến w∈Rn là trọng số đầu vào θ là giá trị ngưỡng v1(k) ∈ R1 là đầu racủa cấu trúc động, u(k) là đầu ra của neuron aff=[a0, a1,a2]T, bfb=[b1,b2]T là vecto trọng

Nguyễn Thiện Thành

số hồi tiếp nuôi tiến hay nuôi lùi có thể thích nghi Một cách viết khác phương trình1.17 có thể mô tả như sau :

v1(k) = -b1v1(k-1) – b2v1(k-2) + a0s(k) +a1s(k-1) + a2s(k-2) (1.18) Vector của tín hiệu và trọng số thích nghi được của DNU được định nghĩa nhưsau:

và

x (aff, bfb) = [-b1 –b2 a0 a1 a2]T (1.20) Dùng 1.18, 1.19 và 1.20chúng ta có thể viết lại như sau:

1.4.3 Cấu trúc neuron động dựa trên số lượng Neuron:

Cấu trúc mạng neuron dùng để tính toán dựa trên những khái niệm mạng tĩnhđơn, cấu trúc neuron này thường bắt chước một phần cấu trúc sinh học của chúng, vìvậy chúng không phản ánh nhiều đặc tính của neuron sinh học Ví dụ mô hìnhneuron tĩnh không đưa vào tính toán thời gian trễ, mà những yếu tố này ảnh hưởngđến hệ thống động, nhiều đầu vào tạo ra một đầu ra mà không có bộ nhớ Hơn nữanó không chứa đựng tính đồng bộ hay chức năng điều chế tần số của neuron sinhhọc Neuron sinh học thường tập hợp trung bình hơn 10.000 sysnape đầu vào Mỗi

Nguyễn Thiện Thành

neuron là một phần tử tính toán phức tạp và chúng thực hiện nhiều phép toán hơn làchỉ phép toán cộng

Cấu trúc mạng neuron được mô tả trong những phần trước xem tác động của mộtneuron riêng rẽ như là một phần tử tính toán cơ bản Mỗi đơn vị tính toán trongmạng neuron dựa trên một neuron được lý tưởng hóa Neuron lý tưởng hóa được giảsử là đáp ứng tối ưu với những đơn vị đầu vào Tuy nhiên kinh nghiệm nghiên cứutrong neuron sinh học cho thấy, đáp ứng của một neuron sinh học xuất hiện một cáchngẫu nhiên

Hơn nữa nghiên cứu những neuron riêng biệt có thể thích hợp để cạnh tranh vớinhững chức năng của mạng neuron sinh học Tuy nhiên nó không cần thiết chonghiên cứu trong những phần có liên quan đến chức năng bên ngoài như là xử lýthông tin từ sensor kèm theo những luật học phức tạp, bộ nhớ lưu trữ

Tổng thể những hoạt động của neuron tạo ra bên trong một lớp mô thần kinh là

kết quả của những tế bào thần kinh kết nối dày đặc gọi là số lượng neuron (neuron

population) hoặc khối neuron (neuron mass) Khối neuron bao gồm nhiều neuron và

đặc tính của nó có đặc điểm giống với những neuron riêng rẽ Đặc tính của khốineuron phụ thuộc vào những thông số khác nhau của những neuron cá nhân và nócũng phụ thuộc vào sự kết nối bên trong của những neuron này

Mỗi khối neuron có thể được chia nhỏ thành tạo thành những khối nhỏ cùng tồntại bao gồm những lớp neuron tương tự nhau nằm trong một vùng không gian gầnnhau Những neuron trong mỗi khối con được giả sử nhận những đầu vào thôngthường để cho đáp ứng đầu ra Kết nối sysnape bên trong bất cứ một khối con nàođều là ngẫu nhiên, nhưng cường độ thì đủ để có sự kết nối giữa bất kỳ hai neuronnào Những khối neuron thông thường thì được pha trộn giữa khối nhỏ tích cực vàkhối nhỏ thụ động Khối nhỏ tích cực tăng xung lực điện giữa kết nối sysnape củaneuron trong khi khối con thụ động làm giảm xung lực điện Những neuron riêngbiệt trong khối con phát sinh ra y(k) nhận xung lực từ những neuron khác trong lớpmô thần kinh và tự hồi tiếp về chính nó

Cấu trúc hình học tối thiểu của một khối neuron bao gồm neuron tích cực,

neuron thụ động( kết nối sysnape từ neuron kích động đến neuron thụ động) ,thụ động-tích cực (kết nối sysnape từ thụ động đến kích động) và vòng hồi tiếp Cấu trúc

khối neuron được mô tả như hình sau :

Hồi tiếp tích

Nguyễn Thiện Thành

a PN_Bộ xử lý neuron :

Vai trò tính toán được thực hiện bởi bộ xử lý neuron PN ,nó cạnh tranh với khảnăng xử lý thông tin Mô hình không gian trạng thái của bộ xử lý những thông tin rõràng tương ứng với một mảng hai chiều với mật độ kết nối bên trong PEs phi tuyến.Một phần tử xử lý riêng rẽ đại diện cho một neuron tích cực được đưa ra bởi nhữngkhối con cục bộ của những tế bào thần kinh tích cực hay thụ động Sự kết nối nuôitiến đến mỗi PEs sẽ chuyển đổi tín hiệu bên ngoài thành những nét đặc trưng củathông tin Sự kết nối nuôi lùi giữa các PE khác nhau trong một mạng phát sinh đặctính động mà tính chất này rất hữu ích cho việc thực hiện những tính toán đa dạngnhư bộ lọc STF ,phát hiện di động, ổn định (STS), bộ nhớ ngắn hạn(STVN) ,địa chỉnội dung bộ nhớ(CAM), điều chế tần số xung(PFM) Tính toán trên hệ thống rõ cóthể phát triển nếu bộ xử lý neuron rõ đựơc kết hợp chặt chẽ bên trong cấu trúc tínhtoán hình chóp, nó sử dụng kỹ thuật xử lý thông tin song song và nối tiếp Nhữngứng dụng trong hệ thống neuron rõ bao gồm robot thông minh, giám sát tự động,robot y học và hệ thống chế tạo máy Sơ đồ mô hình không gian trạng thái cho bộxử lý neuron được biểu diễn như hình vẽ :

cựu

Nguyễn Thiện Thành

Sự phát triển của PE bên trong bộ xử lý neuron được cho bởi phương trình 1.24

Với α là tốc độ phân rã tại trạng thái hiện tại X(k)∈[0,1] và (1-α ) là tốc độ sinhtrưởng trạng thái mới tại đầu vào Y(k) ∈ [0.1] nếu α tiến đến 0 thì trạng thái mớiX(k+1) tỷ lệ với đầu vào hiện tại Y(k) ,trạng thái đầu vào của Y(k) được cho bởi

phương trình 1.25

Với φ là phép ánh xạ phi tuyến, U(k) ∈ [-∞,+ ∞] ,Y(k) ∈ [0,1] Tổng tác độngđầu vào đến những phần tử PEs khác nhau của các bộ xử lý rõ được cho bởi phươngtrình 1.26

Có hai loại đầu vào được cấu thành bởi PEs Loại thứ nhất phát sinh từ đầu vàobên ngoài : tín hiệu S(k) và loại thứ 2 bắt nguồn từ kết nối tuần hoàn giữa PEs bêntrong mạng X(k) Phép biến đổi tín hiệu từ bên ngoài được cho bởi ma trận A củamạng nuôi tiến Trọng số kết nối của mạng tuần hoàn giữa mỗi PE riêng rẽ đượccho bởi ma trận W của mạng nuôi lùi

Sự đa dạng của quá trình xử lý thông tin kết hợp với trạng thái trước đó của cơcấu rõ có thể thực hiện bởi cấu trúc bộ xử lý neuron cơ bản Những phép tính khácnhau đạt đựơc bằng cách chọn lựa ma trận A và W, và những thông số của phép ánhxạ phi tuyến φ[.] Hệ số của ma trận A trong mạng nuôi tiến được xem như bộ lọckhông gian tuyến tính sẽ làm tăng độ phẳng đầu ra với đầu vào S(k) Hệ số đượcchọn cho W trong mạng nuôi lùi phù hợp với thông số φ[.] sẽ quyết định vai trò tínhtoán của bộ xử lý

b Bộ xử lý mạng neuron động (Dynamic Neural Processor: DNP):

DNP được phát triển dựa trên đặc tính sinh học của những neuron Nó phụ thuộcvào sự tác động qua lại của khối neuron tích cực và thụ động DNP bao gồm 2 nút

S(k) F(k) U(k) Y(k) X(k+1) X(k)

Nguyễn Thiện Thành

cơ bản được gọi là đơn vị neuron động và một cặp neuron tích cực và thụ động Cấutrúc của DNU biểu hiện phần tử trì hoãn-nuôi lùi, trọng số nuôi tiến nuôi lùi theosau bởi hàm phi tuyến biến đổi theo thời gian Mô hình của DNP được mô tả tronghình sau :

Trong cấu trúc này Sλ(k) và Uλ(k) tiêu biểu cho kích thích của neuron đầu vàovà đầu ra, λ chỉ đến trạng thái tích cực hay thụ động Stλ(k) là tổng đầu vào củaneuron đơn vị Wλλ là cường độ kết nối sysnape từ một neuron đơn vị đến mộtneuron khác, phần tử Z-1 biểu diễn sự trì hoãn thời gian

Chức năng động của đơn vị tính toán neuron(DNU) Được định nghĩa bởi phươngtình vi phân bậc 2 được trình bày như phương trình 1.18 Biến trạng thái uE(k+1) phátsinh tại thời điểm k+1 bởi các đơn vị neuron kích động và thụ động được biểu diễnbởi hàm phi tuyến như sau:

u E (k +1) = E[u E (k),v E (k)] (1.27a) u1 (k +1) = [u1 (k),v1 (k)] (1.27b)

với vE(k) và vI(k) là đại diện cho sự cân xứng neuron trong neuron đơn vị nghĩa là đầu vào sẽ lớn hơn giá trị ngưỡng, E và I là neuron phi tuyến tích cực và thụđộng Những neuron có đầu vào lớn hơn giá trị ngưỡng thì được cho bởi hàm phituyến Vλ(k) và ψ[ Vλ(k)] Tổng đầu vào tác động lên đơn vị tích cực hay thụ động

Nguyễn Thiện Thành

được biểu diễn bởi 1.28a và 1.28b stE(k) = wEsE(k) + wEEuE (k-1) – wiEuI (k-1) - φE

(1.28a) stI(k) = wIsI(k) - wIIuI (k-1) + wiE uE(k-1) - φI (1.28b) Với wE và wI là trọng số tại đầu vào neuron tích cực và thụ động ;wEE và wII làcường độ kết nối với chính nó ;wIE và wEI là cường độ kết nối giữa các neuron φE và

φI là giá trị ngưỡng của neuron kích động và thụ động, phương trình 1.28a và 1.28b có thể viết lại dưới dạng ma trận 1.29

s iEiI (k) ) = w0 E w0 I  ss IE ((kk)) + ww EEEI −−wwIIIE

uu EI ((kk−−11)) - qqIE (1.29)

s (k  

Dùng phép giải tích trực tiếp để xác định trạng thái ổn định và đáp ứng thời giancủa DNP thì không thể thực hiện được bởi vì tính phi tuyến vốn có trong phươngtrình 1.28a và 1.28b Tuy nhiên phương trình phi tuyến có thể phân tích định tínhbằng phương pháp quỹ đạo pha trong miền pha phẳng uE-uI Quỹ đạo pha này thểhiện tính chất của hệ thống mà không cần giải phương trình phi tuyến Quỹ tích

những điểm mà quỹ đạo pha dốc được gọi là đường cong đẳng khuynh ( isocline

surve) , trạng thái ổn định được mô tả bởi DNU của bộ xử lý neuron có thể được

nghiên cứu bằng cách xác định đường cong đẳng khuynh tương ứng với uE

(k+1)=uE(k) và uI(k+1)=uI(k)

c Mô hình neuron động tổng quát :

Phát triển mô hình tính toán chung trong mạng neuron là thật sự cần thiết , môhình này có thể đại diện cho đặc tính và cạnh tranh với phương trình toán của cấutrúc neuron sinh học Trong phần này chúng ta phải phát triển một mô hình neurontổng quát dựa trên khái niệm mạng neuron được mô tả trưới đây và cũng chứngminh sự tồn tại của mô hình neuron như mạng nuôi tiến ,nuôi lùi TDNN, DNU lànhững mạng tổng quát

Nguyễn Thiện Thành

động phi tuyến thay đổi theo thời gian Mô hình tổng quát là mở rộng của DNU vàkết hợp với hồi tiếp đặc trưng cho trọng số giữa các neuron

Trong hình trên ,ma trận trọng số nuôi tiến được mô tả bởi G,H,P trong khi matrận nuôi lùi A,B với giá trị ngưỡng là θ , ma trận C được mô tả như cường độ tự kếtnối hồi tiếp của neuron bên trong (selt – inter- neuron) Ma trận F,D đặc trưng cho

ma trận đầu vào và đầu ra của tín hiệu Trong mạng neuron tĩnh cổ điển ,ma trận Fđặc trưng cho trọng số Đầu ra của neuron động được xác định từ hàm tác động phituyến thường dùng là hàm dấu với độ dốc thay đổi Sự thích nghi trong hàm sigmoidslope tạo ra đặc tính tự điều hưởng đến mô hình của mạng neuron

Hàm tác động mô tả cấu trúc neuron được đặc trưng bởi phương trình sai phân 1.30

x(k) = Fs(k) -θ (a) q(k) = x(k) + Aq(k-1) + Bq(k-2) +Cq(k-1) (b) v1(k) = G[q(k)] + H[q(k-1)] + P[q(k-2)] (c)v(k) = g sv1(k) (d) u(k) = Ψ[v(k)] (e) y(k) = Du(k)(f)

Sau đây chúng ta sẽ chỉ ra rằng cấu trúc của neuron đã tồn tại có nguồn gốc từmô hình neuron tổng quát này

Mạng nuôi tiến (tĩnh) như đã được trình bày ở những phần trước: cấu trúc tĩnhcủa mạng neuron nhân tạo có đầu vào nhận từ neuron khác hoặc từ những cảmbiến Tổng trọng số của những đầu vào này cấu thành argument của hàm tácđộng Kết quả của hàm tác động nếu vượt qua giá trị ngưỡng thì cũng chính là đầu

ra Đầu ra này phân bố các trọng số đến các đơn vị xử lý khác Mạng neuron tĩnh cócấu trúc tổng quát với C = H = P = C = 0,G=1, gs = 1(hàm phi tuyến với độ dốc thayđổi ) được biểu diễn như hình sau :

Nguyễn Thiện Thành

Đầu ra

Trọng số của synape

Trọng số đầu ra đến các neuron khác

Mạng nuôi lùi (mạng tuần hoàn) : cấu trúc mạng cổ điển được trình bày tronghình bên dưới ,nó là trong trường hợp đặc biệt của cấu trúc tổng quát A = B = H = P

=0 , G=gs=1

các neuron khác

Mạng neuron thời gian trễ : tính chất động của mang neuron thời gian trễ có thểđược mô tả như trường hợp tổng quát với A=B=C=0, gs=1 Cấu trúc này được biểudiễn như hình vẽ sau :

Trọng số củasynape

∑

∑

∑ z-1

z-1

∑ v(k)

Nguyễn Thiện Thành

ỨNG DỤNG MẠNG NEURON NHÂN TẠO

TRONG ROBOT

2.1 Giới thiệu :

Thế mạnh của mạng neuron nhân tạo là tạo ra những đặc tính khác biệt trongxử lý bền vững và thích nghi trong một môi trường thay đổi và có nhiễu Người taước lượng rằng bộ não con người gồm khoảng 100 tỉ neuron, cấu trúc neuron gồmnhiều đầu vào dendrite có chức năng nhận tín hiệu từ những neuron khác hoặc từmôi trường bên ngoài thông qua điểm nối sysnape mỗi neuron chỉ có một đầu ragọi là axon, có chức năng truyền xung kích đến những neuron khác Mặc dù thờigian chuyển đổi trong mạng neuron chậm hơn những phần tử xử lý trong máytính nhưng bù lại bộ não con người có số lượng phần tử xử lý lớn hơn rất nhiềulần so với những máy tính hiện đại ngày nay

Mạng neuron nhân tạo là lĩnh vực vừa khoa học vừa kỹ thuật, trong đó khoahọc được định nghĩa như là kiến thức có cấu trúc, và kỹ thuật chính là khoa họcứng dụng Vì kỹ thuat đơn lẻ không thể giải quyết tối ưu những bài toán mà bướchiện tại luôn là kết quả của các bước trước đó Công nghệ mạng neuron nhân tạohình thành, nó thay thế cho các giải pháp tính toán truyền thống và đưa ra một vàikhả năng để tiếp cận nhiều vấn đề hiện tại không giải quyết được Mạng neuronđược ứng dụng rộng rãi trong các ngành kỹ thuật như : kỹ thuật điều khiển, điệntử viễn thông, hệ thống điện và công nghệ thông tin Trong kỹ thuật điều khiển,mạng neuron nhân tạo được ứng dụng để nhận dạng, dự báo và điều khiển các hệthống động Trong điện tử viễn thông, mạng neuron nhân tạo được ứng dụng đểxử lý ảnh, nhận dạng ảnh và truyền thông Trong hệ thống điện, mạng neuronnhân tạo được ứng dụng để nhận dạng, dự báo và điều khiển các trạm biến áp

Nguyeãn Thieän Thaønh

2.2 Giôùi thieäu toång theå caùc maïng Neuron : 2.2.1 Maïng Perception moät lôùp:

Trong phaàn naøy chuùng ta trình baøy maïng nuoâi tieán moät lôùp coøn goïi la maïngPerception moät lôùp Moâ hình cuûa maïng Perception moät lôùp ñöôïc trình baøy nhösau:

trong ñoù d (k) = [d1(k) ,d 2 (k ) d n (k ) ]T laø ñaàu ra mong muoán cuûa maïng x

vôùi k = 1,2 p laø soá caëp maãu vaøo ra duøng ñeå söû duïng huaán luyeän maïng,

y i (k) = ăw i T x (k) ) = ă∑w ij x j) (2.1)

j=1trong ñoù ặ) laø haøm taùc ñoäng

Nguyễn Thiện Thành

SVTH Hoàng Trung Hiếu & Nguyễn Trung Dũng trang

a Luật Học Perception :

mong muốn chỉ nhận giá trị +1 hoặc –1 đầu ra thực sự của mạng được xácđịnh như sau :

y i (k) = sgn( w i T x (k) ) (2.2) với i = 1,2… m , k = 1,2 … p

trọng số wi của phần tử xử lý thứ i phải được chọn tương ứng với đầu vào

x(k)

để đầu ra thực sự của mạng yi(k) tiến đến đầu ra mong muốn di(k) Mặt phẳngphân cách có phương trình wiTx(k) =0 chia không gian ra làm hai phần wiTx(k) > 0và wiTx(k) < 0 Từ phương trình 2.2 ta thấy rằng đầu ra yi(k) tiến tới giá trị âm hoặcdương ( 1 hoặc -1)

Miền phân cách được đề cập ở trên không phải luôn luôn tồn tại, nghĩa là luậthọc Perception sẽ không giải quyết được một số bài toán Một bài toán tiêu biểumà luật học Perception không thể giải quyết được, nghĩa là chúng ta không tìm

Cho trước tập các cặp giá trị vào ra :

Đầu vào

1

n

x x x

2 ( , 2, ,2)

2

2 1

2

n

x x x

K

), ,,(1 2 K

n K K