Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác.doc

Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI

Khoa Công nghệ thông tin

Giáo viên hướng dẫn: TS Nguyễn Tân Ân

Lớp : B_K54

Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêc xây dựng các mô hình tính toán, mô phỏng quá trình hoạt động của bộ não con người Trước đây, do công cụ tính toán chưa phát triển mạnh nên ý tưởng đó vẫn nằm trong phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó Khi máy tính điện tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tới mức độ cao thì những ý tưởng này đã được hiện thực hoá Chất lượng và khối lượng của các hoạt động trí óc này không ngừng tăng lên theo sự tiến triển nhanh chóng về khả năng lưu trữ và xử lý thông tin của máy Từ hàng chục năm nay, cùng với khả năng tính toán khoa học kỹ thuật không ngừng được nâng cao, các hệ thống máy tính đã được ứng dụng và thực hiện được rất nhiều mô hình tính toán thông

minh để phục vụ cho các ngành kinh tế, xã hội, hình thành dần kết cấu hạ tầng thông tin quốc gia, nền móng của sự phát triển kinh tế thông tin ở nhiều nước Sự phong phú về thông tin, dữ liệu cùng với khả năng kịp thời khai thác chúng đã mang đến những năng suất và chất lượng mới cho công tác quản lý, hoạt động kinh doanh, phát triển sản xuất và dịch vụ

Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính là mạng Noron nhân tạo Điểm quyết định nên sự tồn tại và phát triển ở một con người đó chính là bộ não Cùng với sự phát triển như vũ bão của công nghệ thông tin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một mạng noron nhân tạo có thể thực hiện tính toán và làm được những điều huyền bí, tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh học, con người đã có thể mô phỏng được hoạt động của các mạng noron trong bộ não của chúng ta thông qua các chương trình máy tính

Có lẽ mạng noron không chỉ hấp dẫn đối với những người yêu thích công nghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn trong cuộc sống của nó Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng noron nhân tạo

Khi nghiên cứu mạng noron nhân tạo, dễ thấy việc huấn luyện mạng luôn là vấn đề khó và được nhiều người quan tâm Ngày nay,các mạng noron đã được phát triển thành các mạng noron mờ để xử lý các thông tin mờ, trong những phát triển như vậy vấn đề huấn luyện mạng ngày càng trở nên phức tạp.Trong khuôn khổ của một báo cáo khoa học, em chọn đề tài “Một giải thuật học của các mạng noron mờ và các trọng số mờ tam giác” nhằm tìm hiểu chung về mạng và thuật toán huấn

III.Nội dung nghiên cứu

1 Lý thuyết tập mờ.

2 Mạng noron.

3 Một giải thuật học của các mạng noron mờ với các trọng số mờ.

IV.Bố cục báo cáo

1.Chương 1: Lý thuyết tập mờ và một số phép toán trên những số mờ 2 Chương 2: Mạng noron.

3.Chương 3: Giới thiệu về một thuật toán của các mạng noron mờ với những trong số mờ tam giác.

Phần II Nội dung

Chương I:Tập mờ và một số phép toán trên các số mờ

I.1 Tập mờ

I.1.1 Nhắc lại tập kinh điển

Định nghĩa 1: Cho một tập hợp A Ánh xạ µA: A → {0 , 1} được định nghĩa trên tập A như sau:

được gọi là hàm thuộc của tập hợp A Tập A là tập kinh điển Như vậy µA(x)chỉ nhận một trong hai giá trị hoặc bằng 1 hoặc bằng 0 Giá trị 1 của hàm thuộc µA(x)

ứng với trường hợp x thuộc A , ngược lại giá trị 0 ứng với trường hợp x không

A = { x ∈ X | x thỏa mãn một số tính chất nào đó}

thì được nói là có tập vũ trụ X, hay được định nghĩa trên tập vũ trụ X Ví dụ tập

A = { x ∈ R | 2< x <4} có tập vũ trụ là tập các số thực R.

Với khái niệm tập vũ trụ như trên thì hàm thuộc µA của tập A có tập vũ trụ X

sẽ được hiểu là ánh xạ µA: X → {0,1} từ X vào tập {0,1} gồm 2 phần tử 0 và 1. Với cách sử dụng hàm thuộc như vậy thì các phép toán trên tập hợp được biểu diễn như thế nào? Sau đây ta sẽ xét lần lượt các phép đó

Hàm thuộc µA(x) với bốn phép toán trên tập hợp gồm phép hợp, giao, hiệu

(hình 1.1) và phép bù có các tính chất sau:

Hình 1.1: Các phép toán trên tập hợpa Hiệu của hai tập hợpb Giao của hai tập hợp

Xét tập B = { x ∈ R | x ≈ 6} Khi đó A là một tập mờ tập vũ trụ X vì các giá trị xấp xỉ 6 sẽ gây phân vân cho người đọc Có người cho rằng bắt đầu từ số 5.4455 là xấp xỉ 6 Trong khi đó, người khác lại cho rằng 3.56666

Nhằm thống nhất những quan điểm trái ngược nhau đo, người ta đưa thêm vào một giá trị trong khoảng từ 0 đến 1 để chỉ mức độ phụ thuộc của một giá trị vào 2 quan điểm trên Việc đưa thêm giá trị thuộc này gọi là việc mờ hoá giá trị rõ x Từ đó ta đi đến khái niệm tập mờ.

Định nghĩa 2: Tập mờ là một tập hợp mà mỗi phần tử cơ bản x của nó được gán thêm 1 giá trị thực µX ∈[0,1] để chỉ sự phụ thuộc của phần tử đó vào tập đã cho Khi độ phụ thuộc (độ thuộc) bằng 0 thì phần tử đó hoàn toàn không phụ thuộc vào tập đã cho, ngược lại với độ thuộc là 1, phần tử đó sẽ thuộc tập hợp với xác suất là 100%

Như vậy tập mờ là tập gồm các cặp (x, µ(x)) Tập kinh điển U các phần tử của

X gọi là tập vũ trụ của tập mờ Cho x chạy hết các giá trị thuộc U ta sẽ có hàm µ(x)

nhận các giá trị thuộc [0,1] Đây chính là điều khác biệt cơ bản giữa tập kinh điển và tập mờ.

Kí hiệu: µA(x):U →[0,1] hay A= {(µA(x)/x):x∈U}

µ gọi là hàm thuộc (hàm thành viên)

Về mặt ngữ nghĩa, hàm thành viên cho ta khả năng biểu thị trực cảm của chúng ta về mặt ý nghĩa của khái niệm mờ Nhưng tại sao khái niệm một tập mờ lại được biểu thị bằng một hàm thành viên này mà không phải là một hàm khác Có thể thấy, không thể xác định chính xác cho một hàm thành viên cho một khái niệm mờ Vì vậy người ta nói hàm thành viên có tính chất chủ quan và Zadeh đưa ta ý tưởng là việc chấp nhận một khái niệm mờ được biểu thị bằng một tập mờ (hàm thành viên) là một rằng buộc (constraint).

I.1.3 Các phép toán trên tập mờ

Một nguyên tắc cơ bản trong việc xây dựng các phép toán trên tập mờ là không được mâu thuẫn với những phép toán đã có trong lý thuyết tập hợp thông thường Hàm thuộc của các tập mờ A∧ ∪ B∧ , A∧ ∩ B∧ , ˆA% … được định nghĩa cùng với tập mờ, song sẽ không mâu thuẫn với các phép toán tương tự của tập hợp thông thường nếu như chúng không thỏa mãn những tính chất tổng quát của lý thuyết tập hợp thông thường.

Trong phần nghiên cứu này, chúng ta sử dụng công thức (1.2) dùng để tính toán Các công thức còn lại có thể sử dụng trong hướng phát triển sau này

∩ → nào thỏa mãn 5 tiêu chuẩn đã

nêu trong định nghĩa trên đều được xem như là hàm thuộc của giao hai tập mờ A∧

Từ 5 công thức nêu trên thì có luật min và tích đại số là hai loại luật xác định hàm thuộc của giao hai tập mờ được dùng nhiều hơn Trong tài liệu này, chúng ta sử dụng luật min (1.8) để tính toán

I.1.3.3 Phép bù của một tập mờ.

Định nghĩa 5:

Tập bù của tập mờ A∧ định nghĩa trên tập vũ trụ X là một tập mờ °A∧ cũng xác

định trên tập vũ trụ X với hàm thuộc thỏa mãn :

Tập bù của tập mờ A∧ định nghĩa trên tập vũ trụ X là một tập mờ °A∧ cũng xác

định trên tập vũ trụ X với hàm thuộc

Trước khi mô tả kiến trúc mạng noron mờ chúng ta đề cập ngắn gọn phép toán số học mờ đã xác định bởi nguyên lý mở rộng Trong bài báo này, chúng ta biểu thị lần lượt những số thực và những số mờ là những chữ thường và chữ in hoa.

Từ đó những vector tín hiệu vào và những trọng số kết nối của mạng noron mờ truyền thẳng nhiều noron được mờ hoá trong bài báo này, dưới đây là phép cộng, phép nhân, và ánh xạ không tuyến tính của những số mờ trong mạng noron

( là hàm kích hoạt của những noron ẩn và những noron ra của mạng noron mờ Các phép toán đó được minh hoạ trong hình 1 và hình 2

Những phép toán trước của những số mờ được thực hiện trên các tập mức (như cắt-α ) Tập mức h của một số mờ X được xác định như sau: Trong đó µx(x)là hàm thuộc của X và R là tập hợp các số thực Từ đó những tập mức của những số mờ trở thành những khoảng đóng, chúng ta biểu thị

II.1.Mô hình của 1 noron

Đầu vào của noron nhân tạo gồm n tín hiệu xi (i=1,2,…,n) Mỗi tín hiệu đầu vào tương ứng với một trọng số Wi (i=1,2, ,n) biểu thị mức độ ảnh hưởng của Xi

tới noron thứ j Giả sử các trọng số là khác nhau, chúng ta có thể ước lượng tổng tín

hiệu đi vào của noron và được gọi là Net đầu vào, nhưng ta có thể giả định là:

- Net đầu vào là hàm của các tín hiệu Xi và các trọng số Wi.

- Hàm liên kết Net là tổng của tích các tín hiệu XI và Wi.

Đây không phải là cách duy nhất biểu diễn tổng tín hiệu vào của noron Có còn rất nhiều hàm phức tạp nhưng cách trên là đơn giản và hữu ích khi chúng ta xây dựng một mạng có nhiều noron

Ngoài ra ra còn có một hàn kích hoạt f biến đổi từ Net sang tín hiệu đầu ra

OUT=f(Net) Hàm này thoả mãn các điều kiện sau:

- Tín hiệu Out phải không âm đối với mọi giá trị của Net - Hàm f phải liên tục và không bị chặn trên khoảng [0,1].

Hình 1.4: noron nhân tạo

Có nhiều hàm f thảo mãn điều kiện trên, song trong báo cáo này em sử dụng

Với giá trị Net âm lớn, hàm F có giá trị 0 (sai); với giá trị Net dương lớn, hàm F có giá trị 1 (đúng) Hàm cũng nhận các giá trị liên tục từ 0 đến 1 (các giá trị mờ giữa 0 và 1) Khả năng này của hàm tạo nên mối liên hệ giữa mạng noron và liên kết mờ Bằng việc thay đổi các thông số α,θ chúng ta có thể tác động tới tính mờ của hàm Điều này tạo điều kiện thuận lợi cho các thủ tục học, thủ tục dự báo của

Một lớp bao gồm một nhóm các noron được tổ chức theo một cách sao cho tất cả chúng đều nhận cùng một vecto đầu vào X để xử lý tại cùng thời điểm Việc sản sinh ra Net đầu vào, biến đổi thành tín hiệu ra Out xuất hiện cùng một lúc trong tất cả các noron.

Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng nên tất cả các tín hiệu này được tổ chức thành các vecto Net và Out Các vecto Out này có thể dùng như tín hiệu vào X của các noron kế tiếp Hình vẽ sau là một ví dụ về 1 lớp có 4 noron và vecto tín hiệu vào có 3 biến.

Hình 1.5- Lớp noron.

II.3 Khái niệm và phân loại mạng noron

Một mạng noron bao gồm một vài lớp liên kết với nhau.

Nếu lấy số lớp là tiêu chuẩn để phân loại mạng thì ta có: mạng một lớp và

+ Mạng nhiều lớp: có lớp vào, lớp ra và các lớp ẩn Trong đó, lớp nhận tín hiệu đầu vào (vecto đầu vào X) được gọi là lớp vào Các tín hiệu đầu ra của mạng được sản sinh bởi lớp ra của mạng Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp ẩn và nó là thành phần nội tại của mạng và không có bất kỳ tiếp xúc nào với môi trường bên ngoài Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp Càng nhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều input và output Tuy nhiên, thực tế cho thấy chỉ cần một lớp ẩn là mạng đã đủ để giải quyết được một lớp các bài toán khá phức tạp.

Hình1.7- Cấu trúc mạng noron nhiều lớp

Nếu lấy liên kết giữa các noron, giữa các lớp vào nhau làm tiêu chuẩn để phân loại thì ta có: mạng truyền thẳng và mạng nối ngược (mạng hồi quy).

+ Mạng truyền thẳng (feedforrward): là mạng có đặc điểm không có tín hiệu ra nào của một lớp là tín hiệu vào của noron nào đó trên cùng một lớp.

+ Mạng nối ngược (feedback): là mạng có các tín hiệu ra được gửi trở lại như là các tín hiệu vào của cùng một lớp hay lớp trước đó Mạng noron có các vòng lặp khép kín gọi là mạng hồi quy.

Vậy các thông số cấu trúc của mạng noron nhân tạo gồm có là: + Số tín hiệu vào và tín hiệu ra

+ Số lớp noron

+ Số noron trên mỗi lớp + Số trọng số của mỗi noron

+ Cách các trọng số được nối bên trong hoặc giữa các lớp + Những noron nào nhận tín hiệu hiệu chỉnh.

+ Số lượng liên kết của mỗi noron (liên kết đầy đủ, liên kết bộ phận và liên kết ngẫu nhiên).

II.4.Thủ tục học của mạng

Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấu trúc Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số của các noron trong mạng Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm số lớp, số noron, cấu trúc topo của các trọng số Cả 2 loại có thể học đồng thời hoặc

Trong đó, wi=(wi1,wi2,…,wim)T, i=1,2,…,n là vecto trọng số của noron thứ i và wij là trọng số kết nối từ noron thứ j đến noron thứ i.

Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng có khả năng đưa ra các dự báo sát với thực tế Các thủ tục học tham số có thể chia thành 3 lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không có chỉ đạo(học không có thầy).

 Học có chỉ đạo(học có thầy): Mỗi lần vectơ tín hiệu vào X được cung cấp

cho mạng, ta cũng cấp luôn cho mạng vectơ đầu ra mong muốn là Y Và mạng phải sản sinh ra tín hiệu ra Out sao cho nó gần với Y nhất Cụ thể, nếu ta cấp một tập ngẫu nhiên M=(Xi,Yi) tức là khi vectơ Xi đi vào mạng, vectơ đầu ra Yi cũng được cung cấp (hình 1).Độ lệch giữa tín hiệu đầu ra Out và vectơ đầu ra Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra Out sẽ gần với vectơ đầu ra mong muốn Yi .

Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ tục

 Học tăng cường: cũng là một dạng của học có chỉ đạo vì mạng noron

vẫn nhận tín hiệu bên ngoài môi trường Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu đúng như thế nào Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (hình 2) nhằm mục đích giúp cho mạn hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo.

 Học không chỉ đạo(học không có thầy): Trong thủ tục này, không có

thông tin nào từ bên ngoài môi trường chỉ ra tín hiệu đầu ra Out phải như thế nào hoặc đúng hay sai Mạng noron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn – có bình thường hay không, các hệ số tương quan, tính cân xứng, tính chạy,… của các mẫu học và sau đó chuyển những quan hệ tìm thấy qua đầu ra Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện

Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhà thống kê, nhất là các nhà thống kê dùng máy tính hiện đại.

Hình 1.11- Sơ đồ học tăng cường

Hình 1.12- Sơ đồ học không chỉ đạo

I2 I3

 Học cấu trúc

Viêc học cấu trúc là việc tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là việc tìm ra số lớp ẩn và số noron trên mỗi lớp đó Các kĩ thuật như giải thuật di truyền hay lập trình tiến hoá thường được sử dụng trong các thủ tục học cấu trúc Các kỹ thuật này thường chạy rất lâu thậm chí đối với các mạng có kích thước trung bình.

II.5 Giải thuật học lan truyền ngược