xây dựng, phát triển, ứng dụng một số mô hình kết hợp giữa mạng nơron(NN), logic mờ(FL) và thuật giải di truyền(GA) C

ngày nay hệ thống thông minh đã trở thành thông dụng trong việc giải quyết các bài toán thực tế phức tạp và nó cũng đảm bảo đáp ứng đầy đủ các yêu cầu thực tiễn của bài toán

Trang 1

PHU LUC C

Mang Noron nhdn tao (Artificial Neural Network -ANN)

ANN ra đời đầu tiên vào năm 1949, Donald Hebb đã đưa ra lý thuyết học Noron và áp dụng cho mạng xử lý phân phối song song [7,TLTK], [26,TLTK] Vào

cuối năm 1950, Frank Rosenblatt đã xây dựng mơ hình mạng Perceptron Tuy

nhiên, mơ hình này cịn nhiều hạn chế khi ứng dụng cho lớp bài toán lớn (xem chỉ

tiết trong [26, TUTK], [27, TUTK]) Vào những năm 1980, công nghệ Nơron đặc biệt được quan tâm và đã xuất hiện nhiều kiến trúc mạng đa dạng ứng dụng rộng

rãi cho nhiều bài toán phức tạp trong thực tế, những nhà khoa học và kỹ thuật mang

lại các đóng góp chính trong giai đoạn này là: Hopfiel, Grossberg, Widrow, Anderson va Kohonen (Xem chi tiét trong [26, TLTK], [27,TLTK])

Dinh nghĩa C.1 (mạng Nơron nhân tạo)

Mạng Nơron nhân tạo là sự mô phỏng sinh học bằng máy tính của bộ não con người Nó có cấu trúc song song được cấu thành từ nhiều phan tử (Vøơron nhân tạo) liên kết với nhau thông qua các trọng số Ä⁄ỗi Nơron nhân tạo là một hệ thống động phi tuyến có khả năng tự học Như vậy, mạng Nơron có khả năng học từ kinh

nghiệm hay từ tập mẫu[5, TLTK], [23, TLUTK], [27, TLTKI C.1 Mơ hình tổng qt một Nơron nhân tạo [16, TUTK]

Định nghĩa C.2 (một Nơron nhân tạo)

Trang 2

cấp hai kiểu biến đổi toán học khác nhau hình thành lên cơ chế xử lý thông tin của một Nơron: Biến đổi toán học nối kết và biến đổi toán học bên trong thân Noron

Mô hình tốn học tổng qt của một Xơron được chỉ ra trong Hình C.1(a) Hoạt động xử lý thông tin của một Nơron

(1) Nhận véc tơ nhập x(t)=(x¡(1), xz(t), x;(t))ÏeR"

(2) Xây dựng toán tử nổi kết @ giữa véc tơ nhập x(t) với véc tơ trọng nối kết

w(†)=(i(0), wa(t), ny Walt) ER"

(3) X4c định tin hiéu dau ra cla khéi ndi két u(t)ER", gtti u(t) dén khéi thân ben trong của Nơron

(4 Thực hiện các biến đổi toán học bên trong thân Nơron: Tính tổng, đặt ngưỡng,

xây dựng hàm truyền phi tuyến

(5) Xác định độ đo y(t)eR tại đầu ra của Nơron

Định nghĩa C.3 (biến đổi toán học trong Nơron)

Các biến đổi toán học trong Nơron (xem Hình C.1(a)):

(1) Biến đổi toán học nối kết

u,(t) =x,(N@ wt), i=1n

(2) Biến đổi toán học bên trong than Noron @) — Tính tổng: vợ) = đz,(0),v() e R

(ii) Đặtngưỡng z() = v()E, z(/) R

Gii) Hàm truyén phi tuyến

Trang 3

than Noron Nối kết + ƒ (Œ@)<R t

x()eR? @w( L—j4j*9 1 Jam LOL te)

w(t)e R® u(t) eR" v(t)eR 6(QeR z(0eR

màn

Nơron toán tử toán tử toán tử hàm truyền Nơron

đầu vào nối kết tính tổng đặt phi tuyến đầu ra

— Biến đổi toán học hợp nhất oF

(a) Các phép toán tại nối kết và thân của Nơron

x(t) €R"

{@, 8 (Đ] ©x()

Đầu vào của Biến đổi toán Hàm truyền Đầu ra của |

Noron học hợp nhất phi tuyến Nơron

(b) Các xử lý tương đương trong một Nơron: Biến đổi toán học hợp nhất và hầm truyền phi tuyến

Trang 4

Tóm lại, mục tiêu chính của hoạt động xử lý thông tin trong Noron la cung cap

một ánh xạ phi tuyến từ véc ?ơ nhập x(t) eR" đến độ đo đầu ra y(£)eR Khả năng

thích nghỉ của ơron được bảo đảm bằng việc hiệu chỉnh bộ trọng số w(¿) nhờ một

Thuật giải học dành riêng Hàm truyền phi tuyến ƒƒ trong thân Mơron tăng cường tính mềm dẻo và chặt chẽ của tính tốn Nơron trong những điều kiện bất thường (có thể biến đổi) Véc tơ trọng số nối kết w(¿) là một đại diện cho những tri thức tích lũy đã học được nạp vào trong khối nối kết của một Nơron

Hai biến đổi toán học: Nối kết và Tính tổng có chức năng chính là: thăm dò, đo lường mối quan hệ qua lại giữa véc tơ nhập x(¿) với bộ giá trị véc tơ trọng nối kết

w(t) (biểu diễn những kinh nghiệm tích luỹ trước dé) Dé do v(t) thu dude ty hai

phép tốn nối kết và tính tổng phản ánh giá trị đo lường tính đơng dạng hay khác

biệt giữa véc tơ nhập x(¡) và véc to trong w(t) Néu v(t) vượt qua ngưỡng 6) thì độ

đo z(t) phẩn ánh mối quan hệ qua lại được chọn làm giá trị kích hoạt Mơron và đầu ra y(t) sé được sản sinh thông qua hàm truyền phi tuyến ƒƒ.J

Ham ngưỡng 6(:) phần ánh mức độ sai lệch cho phép đối với giá trị kích hoạt

z(z) Mức độ sai lệch này được thống kê dựa trên những tri thức tích lũy từ trước

(w(z)) Với mục tiêu giải quyết những bài toán phức tạp trong thực tế, mỗi Nơron

trong mạng Nơron cần có ngưỡng sai lệch cho phép đối với giá trị kích hoạt sao cho

đảm bảo những yêu cầu đa dạng của các hàm tính tốn bên trong ¿hân Nơron Hơn nữa, ngưỡng 6:) cũng phải thícH nghỉ với véc tơ trọng nối két w(t)

Định nghĩa C.4 (véc tơ tham số)

Véc tơ tham số phản ánh sự kết hợp giữa ngưỡng sai lệch với các phép toán

Trang 5

Ka(t)=(Xo(t), X4(t), X2(t)y oy X(t) ER", xo(t)=1 va wu(f)=(wa(t), Wilt), Wot), Walt)" ER", wolt)= Ot)

trong d6, xo(t)=/ va wo(t)= &t) phẩn ánh ngưỡng sai số

— ————

x(t) € R" ——> Nơron - Đơn vị xử lý thông tin yoeR

———> ——>

[— Ị

Ấn vàn nể Đâu ra của

Đầu vào của Neon

Noron Anh xạ phi tuyến trong Noron (độ đo)

(véc tơ) :

Không gian đầu Không gian đầu ra

vào của Nơron của Nơron

Hình C.2 Hoạt động tính tốn của Mơron: Anh xạ phi tuyến từ x()<R" đến y(t) eR

Định nghĩa C.Š (ánh xạ phi tuyến)

Những biến đổi trong một Nøron từ véc tơ nhập x(/)eR" sang độ đo y(:)eR

được xem là ánh xạ phi tuyến từ nhiều đầu vào đến một đầu ra duy nhất (Hình C.2) Anh xạ phi tuyến chuyển đổi của Nơron được phân thành hai phép tốn (Hình C.1(b)):

Trang 6

Định nghĩa C.6 (phép toán hợp nhất)

Phép toán hợp nhất được định nghĩa là phép toán đo lường các quan hệ qua lại

giữa véc tơ nhập x(¿) và véc tơ trọng nối kết w(¿) Như vậy, nó là một biến đổi tốn học tích hợp gồm: nối kết, tính tổng, và đặt ngưỡng Xác định như sau:

Z(t)=[w(1), 6t)] © x(t)

trong đó, © là toán tử hợp nhất va z(¿) là hàm đo lường các quan hệ qua lại

Nếu phép toán đặt ngưỡng được gắn kết vào trong các hoạt động nối kết và tính tổng bằng véc tơ tham số (Định nghĩa C.4) thì phép tốn hợp nhất được xác

định:

2(t)=Wa(t) Ơ x4(t)

®_ Hàm truyền phi tuyến ƒ[.] có chức năng xếp hạng độ đo z(:) sao cho đảm bảo tính

mềm dẻo và chặt chẽ của ánh xạ Nøron và trả về độ đo y(£)cR tại đầu ra của Noron

C.2 Cấu trúc mạng Nơron nhân tạo [23, TLUTK]

Mạng Nơron nhân tạo bao gồm tập hợp các liên kết qua lại bên trong giữa các

Nơron trên nguyên tắc: đầu ra của mỗi Mơron được liên kết thông qua các trọng số đến các Nơron khác hoặc tới chính nó Như vậy, việc bố trí các Wơron và sơ đô liên

kết qua lại giữa chúng sẽ hình thành một kiểu mạng Nơron nhân tạo Hình C.3 chỉ

ra năm sơ đồ liên kết cơ bản của mạng Nơron nhân tạo:

Hình C.3(a) đại diện cho mang Nơron truyền thẳng môt lớp, trong đó mỗi

Nơron sẽ kết hợp với các Nơron khác làm thành một lớp các Nơron Véc tơ đầu vào

Trang 7

Hình C.3(b) minh họa cho mang Nơron truyền thẳng đa lớp, chúng ta có thể

tạo thêm một vài lớp bên trong để hình thành mạng: Lớp nhận các véc tơ đầu vào

gọi là lớp nhập, các đầu ra của mạng hình thành từ iớp xuất Các lớp nằm giữa các lớp nhập và lớp xuất gọi là các lớp ẩn vì chúng chỉ có các liên kết bên trong mạng mà không liên kết trực tiếp với mơi trường bên ngồi Mạng Nơron truyền thẳng đa lớp được gọi là liên kế: đẩy đủ nếu tất cả các đầu ra từ lớp trước được liên kết với tất cả các Nơron trong lớp kế tiếp Hình C.3(b) là một mạng /iên kết không đẩy dit

wi RV EKO x1 (Lớp nhập) (Các lớpẩn) (Lớp xuất) (b)

Hình C.3 Năm mơ hình liên kết mạng cơ bản: (a) mơ hình mạng truyền thẳng

một lớp; (b) mơ hình mạng truyền thẳng đa lớp; (c) mơ hình: một Mơron đơn với

Trang 8

jal ff ly |

TREAT

Hình C.4 Liên kết bên trong của phản hồi

Cả hai sơ đồ trong Hình C.3(a) và Hình C.3(b) được gọi là mang truyền thẳng vì sơ đồ liên kết các Mơron trong mạng lan truyền theo một hướng (khơng có đầu ra

nào của Nơron ở lớp sau lại là đầu vào của Nơron ở lớp trước nó)

Khi đầu ra của một Nơron lại đóng vai trò là đầu vào của các Nơron trên cùng lớp đó hoặc trong các lớp trước thì gọi là mang phản hồi Hình C.3(d) minh họa mang phản hồi một lớp: trong đó đầu ra của Nơron hướng trở lại đến chính nó và đến các Nơron khác

Phản hồi trong đó đầu ra của Nơron được hướng trực tiếp trở lại làm đầu vào của các Nơron trong cùng một lớp gọi là phẩn hồi nhánh( Hình C.4 minh hoạ mang

phản hồi nhánh một lớp)

Mạng phản hồi, trong đó: tất cả các chu trình đều kín gọi là mang lăp ( Hình C.3(c) chỉ ra một mạng lặp đơn giản (mỗi nút đơn phản hồi đến chính nó)) Trong mạng lặp đa nhánh (Hình C.3(c)), mỗi đâu ra của Nơron được hướng trở lại các

Nơron trong lớp trước nó Đồng thời, cũng hướng trực tiếp trở lại chính bản thân nó và đến các Nơron khác trên cùng một lớp

C.3 Các luật học [23, TLTK]

Có hai kỹ thuật học trong mạng Nơron nhân tạo: Hoc (ham số tập chung vào

Trang 9

trúc đề cập đến sự thay đổi cấu trúc mạng: gắn liễn với sự thay đổi số lượng Nơron và các hình thức liên kết giữa chúng Hai kiểu học được thực hiện đồng bộ hoặc tách rời nhau Trong mục này, chúng tôi đề cập đến ludt học tham số, trong luật học này: giả định cho trước cấu trúc AMN, cần phải cập nhật lại bộ trọng liên kết W

sao cho thích hợp với bài toán cần giải quyết

Về luật hoc cấu trúc (xác định cấu trúc mạng) được để cập đến trong Thuật

giải học tự tổ chức của mạng Nơron mờ - kết hợp Logie mờ với mạng Nơron (FNN)

đã trình bày chỉ tiết trong chương 2- mục 2.2

Định nghĩa C.7 (ma trận trọng số nối kết)

Cho trước né Wøron trong mạng Nơron nhân tạo và mỗi Nơron có m trọng số nối

kết tới nó Lúc này zma trận trọng số nối kết W được định nghĩa như sau: r a Wy Wp 99% “Wis wy Wa Wn °°? Wom ° eo e se ° We ° = ee ° ee ee z Ww, W, ooo wy, w, n n2 nm

trong d6, wi=(Wiz, Wiz, « Wim )", i=1n 1a véc tơ trọng của Noron thit i va w, 1a trong số liên kết từ Vơron j đến Noron i

Ma trận trọng W tiềm năng xác định cấu hình xử lý thơng tin của mạng Nơron

nhân tạo Nói cách khác, một mạng Nơron nhân tạo muốn thực hiện hiệu quả một hoạt động xử lý thông tin nào đó, thì mạng phải tìm ra được một ma trận trọng số W

Trang 10

trọng số W về ma trận tối ưu sao cho hiệu quả hoạt động của mạng Nơron nhân tạo là cao nhất Nhìn chung, các luật học được phân thành ba loại: hoc có giám sát, học tăng cường và học không giám sát

ANN * ¥ xX ANN ai

(Đầu vào) 4 (Đầu ra (Đầu x ( Đầu ra

thực sự) vào) thực sự)

Các tín Các tín hiệu lỗi | hiệu đánh|

| gid ee [4 A Bộ phát ( Tín hiệu

es sinh tăng cường)

tín hiệu lỗi tín hiệu

¡ đánh giá (Đầu ra mong muốn ) (a) (b) =

( Đầu vào) ( Đầu ra thực sự)

(c)

Hình C.5 Ba mơ hình minh họa kỹ thuật học: (a) Học có giám sát, (b) Học tăng cường,(c) Học không giám sát

Trong học có giám sát, cho trước phúc đáp mong muốn d của hệ thống tương

ứng với mẫu nhập X : đầu vào của ANN Lúc này, ANN được thơng báo chính xác

Trang 11

nhau giữa đầu ra thực sự y® và đâu ra mong muốn d9 được đo lường trong bộ phá: sinh tín hiệu lỗi, và bộ nay sé tạo ra những tín hiệu lỗi cho AMXN để điều chỉnh các trọng số của nó sao cho đầu ra thực sự được chuyển gần đến đâu ra mong muốn

Trong học có giám sát, giả thiết: các giá trị đầu ra “đích” chính xác đã được biết trước ứng với từng mẫu nhập Tuy nhiên, trong nhiều tình huống, chỉ rất ít thơng tin chỉ tiết được biết Ví dụ, AMX chỉ được báo rằng: giá trị đầu ra hiện tại của

nó là “quá cao” hoặc “chính xác 50%” Thậm chí, chỉ có một giá trị phản hổi báo hiệu kết quả của AWN là “đúng” hoặc “sai” Việc học dựa trên cơ sở thông tin đánh

giá ANN gọi là hoc tăng cường và thông tin phản hồi được gọi là :ín hiệu tăng cường (Hình C.5(b)) Học tăng cường là một hình thức học có giám sát vì mạng vẫn cịn

nhận một vài phản hồi từ mơi trường của nó Tuy nhiên, phản hồi này mang ý nghĩa đánh giá, nhưng không mang tính chỉ dẫn Nó chỉ nhận xét đầu ra thực sự là ¿ố? hay tôi mà không đưa ra một gợi ý nào cho ANN

Tín hiệu tăng cường này sẽ được chuyển vào bộ phát sinh tín hiệu đánh giá để tạo ra những ¿hơng tin tín hiệu đánh giá truyền vào ANN Từ đó, ANN sẽ điều chỉnh bộ trọng của nó với hy vọng có được những đánh giá phản hồi tốt hơn trong tương lai Như vậy, nhận thấy: Hoc tăng cường còn gọi là học với lời nhận xét khác với

hoc có giám sát cịn gọi là học có thầy

Trong học không giám sát, sẽ khơng có người thây nào cung cấp bất cứ thông tin phần hổi nào cho AWX (Hình C.5(c)) Cũng khơng có phần hồi từ mơi trường để đánh giá mức độ chính xác đầu ra của ANX Mạng phải chủ động khai thác các mẫu, các đặc trưng, các qui tắc, các mối liên hệ hoặc các chủng loại của dữ liệu

nhập và mã hoá chúng trong đầu ra Trong quá trình khai thác những đặc trưng trên,

Trang 12

chức” Một ví dụ điển hình của Thuật giải học không giám sát là: phân loại các đối tượng mà không có các thơng tin về số lượng lớp cần phân loại Việc phân nhóm chính xác được hình thành từ việc khai thác mức độ tương tự và khác biệt giữa các

đối tượng Hình C.5 minh họa ba zmơ hình học cơ bản Hình C.6 minh họa cấu trúc

học tổng quát của một Nơron trong ANN Trong Hình này, véc tơ nhập x; j=(1,2,.„m) có thể là đầu ra của một Nơron khác hoặc véc tơ nhập từ ngoài vào

Chú ý: trong quá trình học, tham số ngưỡng 6 được gắn làm trọng số của giá trị đầu

vào x„=-J, đ; đóng vai trị làm ứí: hiệu mong nuốn trong trường hợp học có giám sát hoặc đóng vai trị là tín hiệu tăng cường trong trường hợp học tăng cường Như vậy,

với hai phương pháp học trên, các trọng số của Nơron thứ ¡ được sửa đổi dựa theo tín hiệu đầu vào mà nó nhận được, giá trị đầu ra của nó và các phúc đáp chỉ dẫn

liên quan

Trong phương pháp học không giám sát, Nơron sửa đổi trọng số của nó chỉ dựa vào giá trị đầu vào và/ hoặc giá trị đầu ra đạt được

Công thức tổng quát của luật học trong s6 trong ANN xác định độ gia tăng của véc tơ trọng w; tại bước lặp : ứng với tín hiệu huấn luyện z và mẫu nhập x() là:

Aw,(t)xrx(t) hoặc Aw,(t) =nrx(t) (C.1)

trong đó, rị là một số nguyên dương gọi là hằng số học: nó xác định tốc độ học

và r là tín hiệu huấn luyện được xác định theo công thức tổng quát sau: # (w,,x,d,) trường hợp học có giám sát hoặc học tăng cường

Trang 13

ee B6 phat sinh T tín hiệu học

Hình 1.7 Luật học phát sinh trọng số (d; không được cung cấp trong

trường hợp học không giám sát)

Theo công thức (C.1) và (C.2), véc tơ trọng số tại bước lặp (+7) được xác định: w,ứ + D = w,0) +1/,(9,(9,x(),4,(9)x0)

hoặc

wit) = snp (wx, dle (C3)

Công thức tập trung vào việc sửa đổi các trọng số có miễn giá trị rời rạc, và bản sao của nó cho việc sửa đổi các trọng số có miễn giá trị liên tục được xác định

như sau:

oO nr x(t) (C.4)

Với hai công thức (C.3) và (C.4), các trọng số sẽ được khởi tạo (ví dụ: khởi tạo

ngẫu nhiên) trước khi thực hiện quá trình học

Trên cơ sở luật học tổng quát trong công thức (C.3), nhiều luật huấn luyện và

Trang 14

C.4 Một số mạng Nơron nhân tạo sử dụng trong luận án

Từ xưa đến nay, xuất hiện rất nhiều kiểu mạng Nơron với các luật học khác

nhau Trong luận án, chúng tôi sử dụng ba mạng Nơron truyền thống sau:

Kiểu mạng Luật học

Mạng truyền thẳng ba lớp | Truyền thẳng Có giám sát

Mạng Kohonen Tự tổ chức Không giám sát