Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác

Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI

Khoa Công nghệ thông tin



-BÁO CÁO NGHIÊN CỨU KHOA HỌC Đề tài Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác Hà Nội, 04-2008 Mục lục Phần I: Giới thiệu 2

I Lý do chọn đề tài 2

II Mục đích nghiên cứu 3

III Nội dung nghiên cứu 3

IV Bố cục báo cáo 3

Phần II Nội dung 4

Chương I:Tập mờ và một số phép toán trên các số mờ 4

I.1 Tập mờ 4

I.1.1 Nhắc lại tập kinh điển 4

I.1.2 Định nghĩa tập Mờ 5

I.1.3 Các phép toán trên tập mờ 6

I.1.3.1 Phép hợp hai tập mờ 6

I.1.3.2 Phép giao 2 tập mờ 7

I.1.3.3 Phép bù của một tập mờ 8

I.2 Các phép toán trên những số mờ 9

Chương II Mạng noron 11

II.1.Mô hình của 1 noron 11

II.2 Lớp noron 12

II.3 Khái niệm và phân loại mạng noron 13

II.4.Thủ tục học của mạng 16

 Học tham số 16

 Học cấu trúc 18

II.5 Giải thuật học lan truyền ngược 18

II.5.1 Kiến trúc mạng 18

II.5.2 Huấn luyện mạng 20

II.5.3 Sử dụng mạng 21

Chương III: Một giải thuật học của các mạng noron mờ 22

với những trọng số mờ tam giác 22

III.1 Kiến trúc của mạng noron mờ 22

III.2 Giải thuật 23

Kết luận: 24

Phần I: Giới thiệu

I Lý do chọn đề tài

Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêcxây dựng các mô hình tính toán, mô phỏng quá trình hoạt động của bộ não conngười Trước đây, do công cụ tính toán chưa phát triển mạnh nên ý tưởng đó vẫnnằm trong phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó Khimáy tính điện tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tớimức độ cao thì những ý tưởng này đã được hiện thực hoá Chất lượng và khốilượng của các hoạt động trí óc này không ngừng tăng lên theo sự tiến triển nhanhchóng về khả năng lưu trữ và xử lý thông tin của máy Từ hàng chục năm nay,cùng với khả năng tính toán khoa học kỹ thuật không ngừng được nâng cao, các hệthống máy tính đã được ứng dụng và thực hiện được rất nhiều mô hình tính toánthông minh để phục vụ cho các ngành kinh tế, xã hội, hình thành dần kết cấu hạtầng thông tin quốc gia, nền móng của sự phát triển kinh tế thông tin ở nhiều nước.

Sự phong phú về thông tin, dữ liệu cùng với khả năng kịp thời khai thác chúng đãmang đến những năng suất và chất lượng mới cho công tác quản lý, hoạt độngkinh doanh, phát triển sản xuất và dịch vụ

Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính làmạng Noron nhân tạo Điểm quyết định nên sự tồn tại và phát triển ở một conngười đó chính là bộ não Cùng với sự phát triển như vũ bão của công nghệ thôngtin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, đểtạo ra một mạng noron nhân tạo có thể thực hiện tính toán và làm được những điềuhuyền bí, tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinhhọc, con người đã có thể mô phỏng được hoạt động của các mạng noron trong bộnão của chúng ta thông qua các chương trình máy tính

Có lẽ mạng noron không chỉ hấp dẫn đối với những người yêu thích côngnghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứngdụng thực tiễn trong cuộc sống của nó Chúng ta hoàn toàn có thể nhận dạng dấuvết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dựđoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấmảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnhđiều khiển bằng cử chỉ, hành động, thậm chí là suy nghĩ của người ngồi trên xev.v… nhờ có mạng noron nhân tạo

Khi nghiên cứu mạng noron nhân tạo, dễ thấy việc huấn luyện mạng luôn làvấn đề khó và được nhiều người quan tâm Ngày nay,các mạng noron đã được

phát triển thành các mạng noron mờ để xử lý các thông tin mờ, trong những pháttriển như vậy vấn đề huấn luyện mạng ngày càng trở nên phức tạp.Trong khuônkhổ của một báo cáo khoa học, em chọn đề tài “Một giải thuật học của các mạngnoron mờ và các trọng số mờ tam giác” nhằm tìm hiểu chung về mạng và thuậttoán huấn luyện mạng noron mờ.

II Mục đích nghiên cứu

- Nghiên cứu các bước xây dựng một ứng dụng nhờ mạng noron

III Nội dung nghiên cứu

1 Lý thuyết tập mờ

2 Mạng noron

3 Một giải thuật học của các mạng noron mờ với các trọng số mờ

IV Bố cục báo cáo

1.Chương 1: Lý thuyết tập mờ và một số phép toán trên những số mờ

I.1.1 Nhắc lại tập kinh điển

Định nghĩa 1: Cho một tập hợp A Ánh xạ A: A  {0 , 1} được định nghĩatrên tập A như sau:

1 nếu x  A

 )

(x

A

0 nếu x  A

nhận một trong hai giá trị hoặc bằng 1 hoặc bằng 0 Giá trị 1 của hàm thuộc

)

(x

A

không thuộc A Một tập X luôn có

 )

a Hiệu của hai tập hợp

b Giao của hai tập hợp

BAB

A

B

x Từ đó ta đi đến khái niệm tập mờ.

Định nghĩa 2: Tập mờ là một tập hợp mà mỗi phần tử cơ bản x của nó được

cho Khi độ phụ thuộc (độ thuộc) bằng 0 thì phần tử đó hoàn toàn không phụ thuộcvào tập đã cho, ngược lại với độ thuộc là 1, phần tử đó sẽ thuộc tập hợp với xácsuất là 100%

của X gọi là tập vũ trụ của tập mờ Cho x chạy hết các giá trị thuộc U ta sẽ có hàm)

(x

kinh điển và tập mờ

Kí hiệu: A(x) :U  [ 0 , 1 ] hay A= {( A(x) /x) :xU}

Về mặt ngữ nghĩa, hàm thành viên cho ta khả năng biểu thị trực cảm củachúng ta về mặt ý nghĩa của khái niệm mờ Nhưng tại sao khái niệm một tập mờlại được biểu thị bằng một hàm thành viên này mà không phải là một hàm khác

Có thể thấy, không thể xác định chính xác cho một hàm thành viên cho một kháiniệm mờ Vì vậy người ta nói hàm thành viên có tính chất chủ quan và Zadeh đưa

ta ý tưởng là việc chấp nhận một khái niệm mờ được biểu thị bằng một tập mờ(hàm thành viên) là một rằng buộc (constraint).

I.1.3 Các phép toán trên tập mờ

Một nguyên tắc cơ bản trong việc xây dựng các phép toán trên tập mờ là khôngđược mâu thuẫn với những phép toán đã có trong lý thuyết tập hợp thông thường

mờ, song sẽ không mâu thuẫn với các phép toán tương tự của tập hợp thôngthường nếu như chúng không thỏa mãn những tính chất tổng quát của lý thuyết tậphợp thông thường

cũng xác định trên tập vũ trụ X với hàm thuộc thỏa mãn :

I.1.3.3 Phép bù của một tập mờ.

Định nghĩa 5:

định trên tập vũ trụ X với hàm thuộc thỏa mãn :

 = 0c) Nếu x A thì x A

A x

 = 1d) Nếu A  B thì A B  tức là

Tập bù của tập mờ A định nghĩa trên tập vũ trụ X là một tập mờ  A cũng xác

định trên tập vũ trụ X với hàm thuộc

x x

   

I.2 Các phép toán trên những số mờ

Trước khi mô tả kiến trúc mạng noron mờ chúng ta đề cập ngắn gọn phéptoán số học mờ đã xác định bởi nguyên lý mở rộng Trong bài báo này, chúng tabiểu thị lần lượt những số thực và những số mờ là những chữ thường và chữ inhoa

Từ đó những vector tín hiệu vào và những trọng số kết nối của mạng noron

mờ truyền thẳng nhiều noron được mờ hoá trong bài báo này, dưới đây là phépcộng, phép nhân, và ánh xạ không tuyến tính của những số mờ trong mạng noronmờ:

) 14 1 ( )}

(

| ) ( max{

)

(

) 13 1 ( }

| ) ( ) ( max{

)

(

) 12 1 ( }

| ) ( ) ( max{

z

μ

y x z y x

z

μ

Net Net

f

B A

AB

B A



 1

1 )

những noron ra của mạng noron mờ Các phép toán đó được minh hoạ trong hình

1 và hình 2

Những phép toán trước của những số mờ được thực hiện trên các tập mức

} , ) (

| { ]

những tập mức của những số mờ trở thành những khoảng đóng, chúng ta biểu thị

] ] [ , ] [[

]

h

L h

) 19 1 ( )]

] ([

]), ] ([

[

]) ] [ , ] ([[

)

]

([

) 18 1 ( }]

] [

] [ , ] [

] [ , ] [

] [ , ] [

] max{[

}, ] [

] [ , ] [

] [ , ] [

] [ , ] [

] [min{[

] ] [ , ] ].[[

] [ , ] [[

] [ ] [ , ] [ ] [[

] ] [ , ] [[

] ] [ , ] [[

L h

U h

L h h

U h

U h

L h

U h

U h

L h

L h

L h

U h

U h

L h

U h

U h

L h

L h

L h

L h

U h

L h

U h h

h

U h

U h

L h

L h

L h

U h

L h

U h h

h

Net f Net f

Net Net

f

Net

f

B A B A B A B A

B A B A B A B A

B B A A

B

A

B A B A B

B A

A B

] [ ] [ , ] [ ] max{[

}, ] [ ] [ , ] [ ] {[

L h

U h

U h

L h

L h

L h h

Chương II Mạng noron II.1.Mô hình của 1 noron

tới noron thứ j Giả sử các trọng số là khác nhau, chúng ta có thể ước lượng tổng

tín hiệu đi vào của noron và được gọi là Net đầu vào, nhưng ta có thể giả định là:

- Net đầu vào là hàm của các tín hiệu Xi và các trọng số Wi

Đây không phải là cách duy nhất biểu diễn tổng tín hiệu vào của noron Cócòn rất nhiều hàm phức tạp nhưng cách trên là đơn giản và hữu ích khi chúng taxây dựng một mạng có nhiều noron

Ngoài ra ra còn có một hàn kích hoạt f biến đổi từ Net sang tín hiệu đầu ra

OUT=f(Net) Hàm này thoả mãn các điều kiện sau:

- Tín hiệu Out phải không âm đối với mọi giá trị của Net

- Hàm f phải liên tục và không bị chặn trên khoảng [0,1]

Hình 1.4: noron nhân tạo

Có nhiều hàm f thảo mãn điều kiện trên, song trong báo cáo này em sử dụnghàm chữ S (Sigmoidal):

) (

1

1 )

, ,

F

Với giá trị Net âm lớn, hàm F có giá trị 0 (sai); với giá trị Net dương lớn,hàm F có giá trị 1 (đúng) Hàm cũng nhận các giá trị liên tục từ 0 đến 1 (các giá trị

mờ giữa 0 và 1) Khả năng này của hàm tạo nên mối liên hệ giữa mạng noron và

mờ của hàm Điều này tạo điều kiện thuận lợi cho các thủ tục học, thủ tục dự báocủa mạng

net e Net



 1

1 )

II.2 Lớp noron

Một lớp bao gồm một nhóm các noron được tổ chức theo một cách sao chotất cả chúng đều nhận cùng một vecto đầu vào X để xử lý tại cùng thời điểm Việcsản sinh ra Net đầu vào, biến đổi thành tín hiệu ra Out xuất hiện cùng một lúctrong tất cả các noron

Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêngnên tất cả các tín hiệu này được tổ chức thành các vecto Net và Out Các vecto Outnày có thể dùng như tín hiệu vào X của các noron kế tiếp Hình vẽ sau là một ví dụ

về 1 lớp có 4 noron và vecto tín hiệu vào có 3 biến

II.3 Khái niệm và phân loại mạng noron

Một mạng noron bao gồm một vài lớp liên kết với nhau

Nếu lấy số lớp là tiêu chuẩn để phân loại mạng thì ta có: mạng một lớp vàmạng nhiều lớp

+ Mạng 1 lớp: đây là cấu trúc mạng noron đơn giản nhất Mạng noron này chỉgồm 1 lớp xuất, không có lớp ẩn

+ Mạng nhiều lớp: có lớp vào, lớp ra và các lớp ẩn Trong đó, lớp nhận tín hiệuđầu vào (vecto đầu vào X) được gọi là lớp vào Các tín hiệu đầu ra của mạng đượcsản sinh bởi lớp ra của mạng Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp

ẩn và nó là thành phần nội tại của mạng và không có bất kỳ tiếp xúc nào với môitrường bên ngoài Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp Càngnhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiềuinput và output Tuy nhiên, thực tế cho thấy chỉ cần một lớp ẩn là mạng đã đủ đểgiải quyết được một lớp các bài toán khá phức tạp

Noron Noron Noron Noron

Hình 1.6- Cấu trúc mạng Noron 1 lớp

Hình1.7- Cấu trúc mạng noron nhiều lớp

Nếu lấy liên kết giữa các noron, giữa các lớp vào nhau làm tiêu chuẩn đểphân loại thì ta có: mạng truyền thẳng và mạng nối ngược (mạng hồi quy)

+ Mạng truyền thẳng (feedforrward): là mạng có đặc điểm không có tín hiệu ranào của một lớp là tín hiệu vào của noron nào đó trên cùng một lớp

Hình 1.8- Mạng feedforrward

+ Mạng nối ngược (feedback): là mạng có các tín hiệu ra được gửi trở lại như làcác tín hiệu vào của cùng một lớp hay lớp trước đó Mạng noron có các vòng lặpkhép kín gọi là mạng hồi quy.

Vậy các thông số cấu trúc của mạng noron nhân tạo gồm có là:

+ Số tín hiệu vào và tín hiệu ra

+ Số lớp noron

+ Số noron trên mỗi lớp

+ Số trọng số của mỗi noron

+ Cách các trọng số được nối bên trong hoặc giữa các lớp

+ Những noron nào nhận tín hiệu hiệu chỉnh

+ Số lượng liên kết của mỗi noron (liên kết đầy đủ, liên kết bộ phận và liên kếtngẫu nhiên)

II.4.Thủ tục học của mạng

Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấutrúc Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số củacác noron trong mạng Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm

số lớp, số noron, cấu trúc topo của các trọng số Cả 2 loại có thể học đồng thờihoặc tách biệt

Hình 1.9- Mạng hồi quy

W W W

2 1

n

m m W W

W

W W

W

W W

2 1

2 22

21

1 12

11

Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng

có khả năng đưa ra các dự báo sát với thực tế Các thủ tục học tham số có thể chia

thành 3 lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không

có chỉ đạo(học không có thầy)

 Học có chỉ đạo(học có thầy): Mỗi lần vectơ tín hiệu vào X được cung

cấp cho mạng, ta cũng cấp luôn cho mạng vectơ đầu ra mong muốn là Y Và mạng

phải sản sinh ra tín hiệu ra Out sao cho nó gần với Y nhất Cụ thể, nếu ta cấp một

được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số Tín hiệu sai số này

sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu

Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ

 Học tăng cường: cũng là một dạng của học có chỉ đạo vì mạng noron

vẫn nhận tín hiệu bên ngoài môi trường Tuy nhiên, tín hiệu ngoài môi trường chỉ

là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể nhưtrong học có chỉ đạo Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tínhiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu đúng nhưthế nào Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (hình 2)nhằm mục đích giúp cho mạn hiệu chỉnh các trọng số với hi vọng nhận được tínhiệu tăng cường tốt hơn trong tương lai Các thủ tục học tăng cường thường đượcbiết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy nhưcác thủ tục học có chỉ đạo

 Học không chỉ đạo(học không có thầy): Trong thủ tục này, không có

thông tin nào từ bên ngoài môi trường chỉ ra tín hiệu đầu ra Out phải như thế nàohoặc đúng hay sai Mạng noron phải tự khám phá các đặc điểm, các mối quan hệđang quan tâm như: dạng đường nét, có chuẩn – có bình thường hay không, các hệ

số tương quan, tính cân xứng, tính chạy,… của các mẫu học và sau đó chuyểnnhững quan hệ tìm thấy qua đầu ra Trong quá trình học, các trọng số của mạng sẽthay đổi để thể hiện các đặc tính được phát hiện

Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhàthống kê, nhất là các nhà thống kê dùng máy tính hiện đại

Vecto vào

Sản sinh tín hiệu tăng cường

Tín hiệu tăng cường

Hình 1.11- Sơ đồ học tăng cường

 Học cấu trúc

Viêc học cấu trúc là việc tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là việc tìm

ra số lớp ẩn và số noron trên mỗi lớp đó Các kĩ thuật như giải thuật di truyền hay lập trình tiến hoá thường được sử dụng trong các thủ tục học cấu trúc Các kỹ thuật này thường chạy rất lâu thậm chí đối với các mạng có kích thước trung bình

II.5 Giải thuật học lan truyền ngược

II.5.1 Kiến trúc mạng

I1

I2 I3

Lớp ra (0)

Lớp ra (1)

Lớp ra (2)

Ik

wjk

Oi

wjk

Các noron lớp thứ t được nối đầy đủ với các noron lớp thứ t+1 Trong nhiềuứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng có 1 lớp ẩn, sốnoron trong lớp ẩn được xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuậttìm kiếm khác nhau.

Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô hình

mà mạng sản sinh ra, đó là số lớp, số noron và cách mà chúng được nối với nhau.Các đặc điểm chính của mạng với chiến lược học lan truyền ngược sai số thườnglà:

- Các lớp của mạng noron lan truyền ngược của sai số được nối đầy đủ vớinhau, tức là tín hiệu ra của các noron trên lớp này chính là tín hiệu vào của tất cảcác noron trên lớp kế tiếp

- Mỗi noron có một kết nối với Bias làm tăng khả năng thích nghi và tăngtính mềm dẻo của mạng trong quá trình học

- Số noron trên lớp vào và lớp ra là cố định đối vì nó chính là số chiều củavecto vào và vecto lời giải Chúng được xác định trước phụ, thuộc vào tương ứngứng dụng cụ thể mà mạng noron xây dựng

- Thường chỉ sử dụng mạng có 3 lớp: một lớp vào, một lớp ra, một lớp ẩn là

đã có thể mô hình hoá được một lớp các bài toán lớn

Với thủ tục học lan truyền ngược sai số truyền thống, các thông số cấu trúc(số lớp, số noron trên mỗi lớp) thường được xác định thông qua việc thử và sai.Phần nhiều các tác giả xây dựng mạng noron lan truyền ngược của sai số nhỏ liênkết với nhau chứ không xây dựng một mạng noron lớn Các thiết kế như vậy mộtphần xuất phát từ khả năng tài nguyên của máy tính có hạn và phần khác là tậpmẫu học không đủ bao phủ toàn không gian biến