xây dựng, phát triển, ứng dụng một số mô hình kết hợp giữa mạng nơron(NN), logic mờ(FL) và thuật giải di truyền(GA) 5

ngày nay hệ thống thông minh đã trở thành thông dụng trong việc giải quyết các bài toán thực tế phức tạp và nó cũng đảm bảo đáp ứng đầy đủ các yêu cầu thực tiễn của bài toán

Trang 1

Chuong 3

KET HOP BA KY THUAT: THUAT GIAI DI TRUYEN, MANG NORON vA LOGIC MO

Chương 1 tổng kết các kỹ thuật kết hợp giữa Thuật giải di truyền, mạng Nơron

va Logic mo đã có của các nhà nghiên cứu trong và ngoài nước Chương 2 đã để

xuất một số mơ hình kết hợp cặp đôi riêng: mơ hình Di :ruyễn- Mờ, mơ hình Nơron- Mo va mé hinh Di truyén- Noron và chi ra tính khả thi của nó trong lớp bài tốn phân loại mẫu khơng mất mát thông tin: chứng thực mẫu, phân lớp mẫu(mẫu là 1 véc tơ) và phân lớp mẫu (mẫu gồm M véc ta)

Tuy nhiên, trong thực tế xuất hiện nhiều bài toán khá phức tạp, muốn giải quyết hiệu quả chúng, đôi khi phải thiết kế những mơ hình liên kết cả ba phương pháp: Thuật giải di truyền, mạng Nơron và Logic mờ Ba thành phần cơ bản của kỹ thuật tính tốn mềm này sẽ hỗ trợ bổ xung cho nhau trong quá trình giải quyết một ứng dụng cụ thể Mơ hình kết hợp cả ba thành phần: D¡ ¿ruyên- Nơron- Mờ được

xây dựng với mục tiêu giải quyết hiệu quả một số bài toán tổng quát phức tạp trong

thực tế

Trong phạm vi chương này, luận án để xuất việc ứng dụng kỹ thuật két hợp Di truyền- Nơron- Mờ để giải quyết các vấn dé sau (xem chỉ tiết trong mục 3.1):

- _ Mạng Kohonen ấn định Trị số thích nghỉ mờ cho Thuật giải di truyền

Trang 2

Tiến tới, để xuất mơ hình kết hợp ba kỹ thuật: Di truyễn - Nơron - Mờ để giải uyết bài toán tổng quát: phân loại mẫu mất mát thông tin về không gian mẫu cho trước Q,;¡ e {I,2, n}(xem chỉ tiết mục (3.2))

31 Một số kỹ thuật kết hợp Di truyền- Nơron- Mờ

3.1.1 Mạng Kohonen ấn định trị số thích nghỉ mờ cho Thuật giải di truyền

Các khái niệm cơ bản

Định nghĩa 3.1 (véc tơ đặc trưng)

Mẫu Ƒ được định nghĩa là một véc to đặc trưng có L phần tử:

F=(fi, fis fd

Trong 46, f; € {0, Max}; gid tri Max tay thuộc vào bài todn cu thé; i=1 L Dinh nghia 3.2 (mdu trung binh)

Véc tơ đặc trưng biểu diễn mẫu trưng bình O được định nghĩa: O=(O;, O2, , Or)

oie] Di tạ =0 và ƒ„„ = Max; Í=1 L, GB.)

Dinh nghia 3.3 (mdu dai dién)

Biết 2 = UJ 9,;9,=Ø;0,n Q ¡+ Ø với L#j

I=

Cho trước một mẫu:

P=(`, ph Did) € Q; Lúc đó PÍ được gọi là mẫu đại diện của khơng gian ©,

Định nghĩa 3.4 (Khoảng cách ràng buộc)

Cho trước 2 mẫu A, 8 Khoảng cách ràng buộc giữa A và 8 được định nghĩa ị

Trang 3

L

d(4,B) = 4B =|4-B|=,] `(a, ~ð,} (3.2)

i= Định nghĩa 3.5 (Géc)

Cho trước 2 mẫu A, B Géc gitfa A va B được định nghĩa như sau:

IA-=O)(B— ¬1 (A-O)(B—

1 ( = ONB=9O) = cog 1 )(B- 0)

a(A,B)= ZAOB= COS A0x BO d(A,O) x d(B,O) ——~ (3.3)

Xét bai todn sau

Cho trước mẫu đại diện PÍ<Q, (định nghia 3.3) va quan thé Nc thể F;, j =I,M tại lần tạo sinh thứ ø của Thuật giải di truyền Vấn đề đặt ra là: Cần xác định mức độ đông dạng giữa cá thể F; trong lần tạo sinh thứ g với mẫu đại diện P'

Để giải quyết vấn để này, chúng tôi đưa ra một kỹ thuật xây dựng hàm thích nghỉ mờ cho Thuật giải di truyền sao cho:

` 1.0 cho mẫu đại diện PÏ

ti tị =

010041 |7 fda.g)< L0 cho cá thể Fj.j=EM, Trong đó,

đ: là Khoảng cách giữa FƑ; và P' (định nghĩa 3.4) a: là Góc ⁄F,OP' (định nghĩa 3.5)

ø: Lần tạo sinh thứ ø của Thuật giải di truyền Phương pháp tạo tri số thích nghỉ mờ

Xây dựng một hệ thống mờ (FS) với ba đầu vào: Khoảng cách (2), Góc (2), và Lần tạo sinh thif (g), FS sẽ tra vé tri so thich nghỉ ƒ(d,a,g)<1 cho cá thể #; tương ứng

trong quần thể kích thước (công thức trên)

Trang 4

A Cách biểu diễn mờ cho các đầu vào

Các đầu vào: Khoảng cách (2), Géc (a), Lan tạo sinh thứ (ø) có những giá trị được nhắc đến dưới dạng ngơn ngữ như: Nhỏ, Trung_ bình, Lớn

Mỗi giá trị ngôn ngữ của từng đại lượng đầu vào được xác định bằng một tập

mờ [1,TLTK], [7,TLTK] định nghĩa trên cơ sở là tập các số thực dương chỉ giá trị vật lý của từng đại lượng đầu vào (Khoảng cách (2), Góc (a), Lần tạo sinh thứ (ø)) Các hàm thành viên của chúng được ký hiệu: wna(Tên_đại_lượng_đầu_vào),

trang bnn(Tên_ đại lượng, đầu_ vào), uan(Tên_ đại_lượng_đâu_vào)

Như vậy, mỗi đại lượng đầu vào có hai miễn giá trị khác nhau: -_ Miễn giá trị ngơn ngữ

NN=(Nhỏ, Trung_bình, Lớn}

- Miễn giá trị vật lý (giá trị rõ) Dai_lugng_ddu_vao=({xeRI x20} Ví dụ biểu diễn các giá trị đầu vào:

se Khoảng cách (4)

Hình 3.1 Mơ tả các giá trị ngôn ngữ của đại lượng Khoảng cách (2) bằng tập mờ

pal a psna(@

Trang 5

e Géc (a)

1.04

Nhỏ ; Lén

0 2 50 T5 100 125

Hình 3.2 Mơ tả các giá trị ngôn ngữ của đại lượng Góc (2) bằng tập mờ Ánh xạ: HNhỏ(đ) Góc (4) E——> u= HTrung_binh(@) MLsn(2) ©_ Lần tạo sinh thứ (g) 1.0 Trung binh ok of oO " e4 n Hội 0 30

Hình 3.3 Mơ tả các giá trị ngôn ngữ của đại lượng Lần tạo

sinh thứ (ø) bằng tập mờ

Ánh xạ:

ĐNhỏ(8) Lần tạo sinh thứ (g) ———* M=S rang bmh(8)

Trang 6

Sau khi mờ hóa các đầu vào, bước tiếp theo xây dựng bộ luật mờ để xác định trị số thích nghi- TSTN của FS từ ba đầu vào (Khoảng cách (đ), Góc (a), Lần tạo

sinh thứ (ø))

B Xây dựng bô luật mờ cho các đầu vào[9.CTNC

Đầu tiên, định nghĩa một vài /rị số thích nghỉ riêng giữa trị số thích nghỉ cao nhất và thấp nhất để ấn định cho tập số lượng xác định các mẫu

Ví dụ:

Lớn:1.0 Trung bình _lớn: 0.7 Trung bình: 0.4 Trung bình_nhỏ: 0.1 Nhỏ: 0.02 Sau đó, xây dựng tập luật mờ từ các đầu vào: Khoảng cách (đ), Góc (a), Lan tao sinh thứ (g) để xác định rrị số thích nghỉ tưởng ứng dựa trên nguyên tắc:

Uu tiên đầu tiên là khoảng cách: đ càng nhỏ= Trị số thích nghỉ càng lớn Ưu tiên thứ hai là Góc(z): Nếu hai mẫu có đ trùng nhau (so với mẫu đại diện P) thì Góc⁄ F,OP' càng nhỏ = Trị số thích nghỉ càng lớn Fi

Hình 3.4 Minh họa góc ⁄FOP trong trường hợp d trùng nhau (Ĩ là mẫu

trung bình; P' là mẫu đại diện eQ,); F¡, F; là các mẫu số 1 và số 2 trong quần thể các N cá thể của Thuật giải di truyền)

Nhận xét thấy: F,P' = F;P' nhưng Ƒ; lại gần với OP hơn so với Ƒ) vì ⁄ F;ĨPÍ

nhé hon Z F,OP’

Trang 7

Vi dụ một vài luật:

R1: Nếu (2=Nhỏ) và (a=Nhỏ) Thì TSTN=Lớn

R2: Nếu (đ=Nhỏ) va (a=Trung_binh) và (g= Nh6) Thi TSTN=Trung binh_Lén R3: Néu (d=Nhé) va (a=Trung_binh) va (g= Trung_binh) Thi TSTN=Trung_binh

R4: Nếu (đ=Nhỏ) và (a=Trung_binh) va (g= Lén) Thi TSTN=Trung bình_nhỏ

R5: Néu (d=Nhd) va (a=L6n) va (g= Trung_binh) Thi TSTN=Trung bình_nhỏ Ta biểu diễn vế trái của các luật bằng các hàm thành viên tương ứng của nó

Ví dụ:

R1: Nếu (đ=Nhỏ) và (a=Nhỏ) Thì 7STN=Lớn

R2: Nếu (đ=Nhỏ) và (a=Trung_bình) và (g= Nhỏ) Thì 7STN=Trung bình_Lớn

Như vậy, có thể tính được giá trị của hàm thành viên ở vế trái đối với từng luật

[1.TLTK], [7TLTK].Ví đu: R1: có

Bì=Ewno(2) Ewna(2)= MIN (Hune(2), Hụnỏ(2) }

tị= TSTN=Lớn

RI: có

Ho=Hns(@)O Mtrung_binh(@) “A Hwna(g)S MIN [ Haunỏ(2), Hreng bình(2), HNne(8) } -

Hạ= TSTN=Trung bình_Lớn

Với 27 luật, chúng ta có 27 giá trị của hàm thành viên ở vế trái Như vậy, từ

các đầu vào: Khoảng cách(2), Góc(2), và Lần tạo sinh thứ(ø), sẽ xác định được 27

Trang 8

Bài toán trở thành: Bằng cách nào để phân lớp các véc tơ ụ gồm 21 phần tử

u=(M\, Hạ, , Mại) tính được từ các đâu vào: (Khoảng cách(đ), Góc(a), và Lần tạo

sinh thứ(g)) về năm nhóm ứng với các trị số thích nghỉ- TSTN (Lén(1), Trung

bình _Lớn(0.7), Trung_bình(0.4), Trung bình_nhỏ(0.1), Nhỏ(0.02))

Để giải quyết vấn để này, chúng tôi đã sử dụng Thuật giải học cạnh tranh

không giám sát của mạng Nơron Kohonen

C Ứng dung Thuật giải học cạnh tranh không giám sát mạng Kohonen để xác

định trị số thích nghỉ

e _ Hoạt động của Thuật giải học cạnh tranh không giám sát Kohonen Các bước thực hiện: [9,CTNC], [23,TLTK]

BI: Khởi tạo bộ trọng số (W¡;} với các giá trị ngẫu nhiên nhỏ trong khoảng [0,1]

B2: Thiết lập tập các mẫu nhập {uu} tại lớp đầu vào

B3: Tính khoảng cách Euclid {(u¡} và (W¡} cho Nơron thứ j

B4: Chọn ra Nơron có khoảng cách nhỏ nhất (Nơron trọng tâm)

B5: Điều chỉnh bộ trọng số (Wn} của Nơron trọng tâm và các láng giềng của nó sao cho gân với bộ mẫu nhập {}

B6: Trở lại bước 2 với bộ mẫu nhập mới

° Ứng dung mang Noron Kohonen

1 Quá trình học để tạo lớp

Nhận xét: Luật đúng nếu giá trị hàm thành viên {Ò;} trong vế trái = 1 và Luật

Trang 9

TS(g)=0 Tuts¢)=10 — THTS)=20 ——1%(e0=30 Khoảng cách(2 Góc(4)

Hình 3.5 757W mờ biến đổi theo các đại lượng đầu vào

Ví dụ: R1: uị=l > TSTN=Lớn

Có mẫu học thứ nhất cho lớp lớn:

(10000 00000 00000 00000 00000)

Sau khi học theo Thuật giải Kohonen, chúng tơi có được 5 lớp mẫu ban đầu

ứng với 5 7STN tương ứng (Lớn, Trung bình lớn, Trung_bình, Trung bình nhỏ, Nhỏ)

2 Định vị TSTN cho một mẫu bất kỳ

Bất cứ từ một đầu vào (Khoảng cách(2), Góc(2), Lần tạo sinh thứ (g)) nào,

chúng tôi đều xây dựng được một véc tơ trực thuộc {u¡} tương ứng và dễ dàng sử dụng mạng Kohonen để nhóm nó vào một trong 5 lớp 7S7N được tạo ở bước học

Như vậy, từ một đầu vào (Khoảng cách(2), Góc(a), và Lần tạo sinh thứ (g)) bat ky,

đều dinh vi duoc TSTN twong tng (Hinh 3.5)

D Kế luận

Trang 10

Géc(a) va Lan tao sinh thứ(g) là cơ sở để đánh giá mức độ đồng dạng này Trong

đó, ưu tiên số 1 là Khoảng cách(2): phan ánh sự sai khác về giá trị giữa các phần tử của hai véc tơ A và Ö Ưu tiên số 2 là Góc(4):phảẩn ánh độ lệch giữa hai véc tơ _ thơng qua mẫu trung bình O Cuối cùng là Lần tạo sinh thứ(g) để đánh giá mức độ

tối ưu của Thuật giải Ba đại lượng là đầu vào để xác định mức độ đồng dạng của hai mẫu A và Ö trên nguyên tắc: (đ) và( a) càng nhỏ thì A và càng giống nhau và (g) nhỏ thì thuật giải càng tối ưu Kỹ thuật này được sử dụng để xây dựng một không gian các mẫu đồng dạng với một mẫu đại diện chọn trước (mục 3.1.2) tiến

tới áp dụng cho bài toán chuẩn bị dữ liệu học (mục 3.1.3)

3.1.2 Ứng dụng Thuật giải di truyền với hàm thích nghỉ mờ được ấn định trong mục 3.1.1 để tạo ra quần thể mẫu #,,k=1,M đồng dạng với P' <9, Định nghĩa 3.6 (ngưỡng trị số thích nghỉ ©)

Cho trước mẫu đại diện PeO, (định nghĩa 3.3) và quần thể M cá thể

FJ =1N, Ngưỡng trị số thích nghỉ ee[0,1] là ngưỡng qui định cần thiết để đánh

giá mức độ đồng dạng giữa Ƒ; và mẫu đại diện P' (mức độ F;e©))

Nếu trị số thích nghỉ của F,> e thì kết luận: F;eQ, Ngược lại kết luận: F;£Q,

Đặt bài toán

Cho trước mẫu đại diện PÍ eQ; (định nghĩa 3.3) cần xác định ⁄ mẫu #¿ k=1,M đồng dạng với PÍ Có nghĩa là tìm ra mẫu F; sao cho F, € Qk =1,M

Thuật giải (1) k=0;

Trang 11

(3) Thuật giải di truyền tìm M mẫu đồng dạng với Pi

3.1 Khéi tao ngdu nhién N mau #,„ j=1,N;nguyên>1 Đặt g=1;

3.2 Với từng mẫu F tại lần tạo sinh thứ ø, thực hiện:

- Tính “Khoảng cách (đ)” và “Góc (a)” của mẫu F; với P° theo định

nghĩa 3.4 và 3.5

- Xác định ứrị số thích nghi- TSTN của mẫu F; với 3 đầu vào ”Khoảng

cách (đ)”, “Góc (a)” và “Lần tạo sinh thứ (ø)” (mục 3.1.1 )

Nếu mẫu F; có TSTN >e thì (k=k+1; F,=F;} 3.3 Biến hóa tạo lập quần thể mới

Trên cơ sở TS7N thu được của từng cá :hể, chọn ra những cá thể tốt nhất trong quân thể hiện tại và ứng dung các toán tử di truyền của EA(phu luc A) tạo ra quân thể mới Đặt lại số lần tạo sinh: g=g+1

Ở đây, dùng cdc todn ti di truyén sau:

- Todn ttt lai: Poros

- _ Toán tử đột biến: Pmuanon-

Sau khi tạo ra qudn thể mới quay lại bước 3.2 để thực hiện

Thuật giải kết thúc khi k= M Hoặc nếu sau số lượng ø=G lớn lần tạo sinh mà k<M thì cũng dừng Thuật giải

3.1.3 Hiệu quả của mơ hình kế? hợp Di truyền- Kohonen- Mờ trong xác định mẫu đồng dạng

Mệnh để 3.1

Cho trước mẫu đại điện P'eQ, (định nghĩa 3.3) và quần thể khởi tạo gồm N cá

Trang 12

số lượng các lần tạo sinh G Giả thiết quần thể chứa các cá thể phân biệt và biết hệ

số của các toán tử di truyền Lúc này, số lượng mẫu đồng dạng với P'eQ; là M(G)

được xác định theo công thức :

G

M(G) = ¥'m(g) (3.4)

gal Trong đó,

m(g) là số lượng mẫu đồng dạng với PÍ (có TSTN > e) tại lần tạo sinh thứ g

Chứng minh mệnh đề 3.1:

Xuất phát từ quần thể khởi tạo Z; 7 =1, , xác định được /rị số thích nghỉ của cá thể Ƒ; trong lần tạo sinh thứ g:

TSTN, (g) = ƒ; (đ,a,g);(mục 3.1.1)

Trong đó,

đlà Khoảng cách giữa Ƒ; và P' (định nghĩa 3.4), alà Góc ⁄F,OP* (định nghĩa 3.5)

0 nếu TSTN;(g) - 6 <0

Xác định ƒ/ (g) = :

1 néu TSTN;(g) -¢ 20

= m(g)= YF) jal

và xác định được số cá thể đồng dạng với P' sau G lần tạo sinh :

G

Trang 13

Bổ dé 3.1

Néu M(G) = 0 (tính theo mệnh để 3.1) thì kết luận : không tổn tại mẫu đồng dạng với P’ sau G lần tạo sinh của Thuật giải di truyền thao tác trên miễn quan thé

khdi tao F, j =1,N (Chitng minh hién nhiên)

Ménh dé 3.2

Cho trước mẫu đại điện P'eQ; (định nghĩa 3.4) và quan thể khởi tạo gồm N cd thể Ƒ, 7 =1,M Cho trước ngưỡng trị số thích nghỉ e và số lượng tối thiểu các mẫu đồng dạng với PÍ e ©, là (3) Giả thiết, quân thể chứa các cá thể riêng biệt và biết hệ số của các toán tử di truyền Lúc này, số lần tạo sinh G được xác định:

G= Knếu Š'm(g)>M (3.5)

Trong đó, zm(g) là số lượng các mẫu đồng dạng với P’ tai lan tao sinh thit g

Chứng minh mệnh đề 3.2:

Áp dụng chứng minh mệnh để 3.1, xác định được số lượng cá thể đồng dạng với P' tại lần tạo sinh thứ g:

N

mg) = > f,(g)- m

K

Chọn lần lượt K nguyên dương, K >g, biét g>=1 tinh: KT = È`m(g)

gal

Néu KT >M thi Két Luan: G = K

Bổ dé 3.2

K

Nếu không tổn tại giá trị K nguyên dương để 3z(ø) > 1⁄ (nh theo mệnh để

gal

Trang 14

Hé qua 3.1

G

Néu t6n tai G lan tao sinh sao cho )" m(g) = M ( ménh dé 3.2) thì chắc chắn sẽ =

có tối thiểu A mẫu đồng dạng với P’ cho truéc (tối thiéu M mau F,,k =1,M €Q)

(Chứng minh hiển nhiên)

3.1.4 Phân tích, đánh giá việc xác định bộ mẫu đồng dạng bằng mơ hình kết hợp

Di truyền- Kohonen- Mờ

Nhu câu

Một số kỹ thuật tính tốn thong minh (vi du: mang Noron) yéu cau qué trình

hoc, huấn luyện, dẫn đến cần thiết phải có một bộ dữ liệu huấn luyện chuẩn Từ đó, phát sinh nhu cầu: phải có phương pháp tìm kiếm, xây dựng bộ dữ liệu huấn luyện chuẩn ban đầu Giai đoạn này được gọi là Chuẩn bị dữ liệu Thông thường, các phương pháp chọn lọc thủ công được sử dụng để tàm ra Bộ đữ liệu huấn luyện

ban đầu (thông qua ý kiến các chuyên gia) Tuy nhiên, với phương pháp này có

những hạn chế sau: Rất tốn thời gian; gặp nhiều khó khăn khi phải tìm kiếm một cơ sở dữ liệu các mẫu huấn luyện lớn; việc chọn lọc bộ mẫu huấn luyện bằng phương pháp thủ công mang nặng tính cẩm tính, dễ xuất hiện nhiều sai sót Để khắc phục những hạn chế trên, cần thiết phải thiết kế một hệ thống tự động cho việc chuẩn bị _ đữ liệu Luận án đề xuất hệ thống kết hợp Di truyền- Kohonen- Mờ Hệ thống đề _ xuất cho phép # đông xây dựng không gian bộ mẫu huấn luyên đông dạng với những

Trang 15

So sénh mé hinh dé xudt voi phương pháp thủ công

Cho trước 4 nhóm vân tay: Vịng trái, vòng phải, vòng tròn, vòng cung Cho

trước mẫu vân tay đại diện thuộc một trong 4 nhóm trên Mẫu vân tay này sẽ được chuyển về ma trận định hướng 6x5 (xem mục 4.3.2) Như vậy, chúng ta có véc tơ đặc trưng có chiều dài 30 biểu diễn mẫu vân tay cho trước Từ véc tơ này, hệ thống

kết hợp sẽ phát sinh thêm 15 véc tơ đồng dạng với nó (mục 3.1.2) Các véc tơ phát

sinh biểu diễn cho 15 mẫu vân tay thuộc cùng một nhóm với mẫu vân tay đại diện (chỉ tiết trong chương 4- mục 4.3)

Hệ thống kết hợp đề xuất được thực hiện trên máy PentiumII-PC 266 MHz với

30 vòng lặp và thời gian tạo ra 15 mẫu là 3 giây

Cùng với bài toán trên, 7 người tìm kiếm 15 mẫu vân tay thuộc cùng một

nhóm trong cơ sở dữ liệu máy tính gồm 1000 mẫu vân tay đặt xen kẽ nhau tốn thời

gian trung bình là 9 phút (cũng thực hiện trên máy PentiumlI-PC 266 MHz)

Điều này chứng té ring: Hé thdng kết hợp đề xuất rất hiệu quả so với phương pháp tìm kiếm thủ cơng trong q trình chuẩn bị dữ liệu ban đầu

Bình luận

Với lớp bài toán xây dựng một cơ sở dữ liệu lớn chứa một hoặc nhiều nhóm

mẫu Đồng thời, mỗi nhóm lại chứa một không gian lớn các mẫu đồng dạng Lúc này, hệ thống kết hợp Di ruyễn- Kohonen- Mờ đề xuất là thích hợp

Với lớp bài toán xây dựng một cơ sở dữ liệu nhỏ, việc tìm kiếm mẫu bằng

phương pháp thủ cơng khơng khó khăn gì và tốn ít thời gian Lúc này, không cần

Trang 16

Với lớp bài toán xây dựng một cơ sở dữ liệu, trong đó các mẫu là khác biệt

(khơng có hoặc có rất ít các mẫu đồng dạng với nhau) Không cần thiết tạo không gian mẫu đồng dạng với mẫu cho trước Do đó, hệ thống để xuất khơng thích hợp 3.1.5 Bộ nhớ kết hợp phục hồi mẫu mất mát thông tin

Định nghĩa 3.7 (mẫu mất mát thông tin)

Mẫu mất mát thông tin X„„„ là một véc tơ đặc trưng có L phần tử với những phần tử bị thiếu hụt được quy về giá trị 0:

Thông tin bị mất

X„ø =(Xu X20 05070: ; 0; 0, 0, 0; X2) Đặt bài toán

Cho trước mẫu đại diện P'eQ,, biết:

Q = 09 2,489,005 # 8 wi iz;

Cho mẫu mất mát thông tin X„„„ (Định nghĩa 3.7) Biết Xpruc_ndi €Q

Cần xác định phục nài tỲ X„m„ và không gian mẫu ©

Cách giải quyết

(1) Xác định © từ mẫu đại điện P":

Từ P'<Q,xác định dugc M miu F,, k=1,M déng dạng với PỶ (mục 3.1.2) M :

=>9,~ U Fy

k=1

M +1 uU TẺ« U F,uPi >a; uork M : M +1

k=1 k=l k=1

f= ttt

Trang 17

(2) Bộ nhớ kết hop (Associative Memory- AM) phuc héi mau mat mat thông tin

(phu luc F), [9,CTNC], (23, TLTK]

Bộ nhớ kết hợp (Associative Memory- AM) gọi tắt là AM áp dụng cho phục hồi mẫu mất mát thông tin sẽ trải qua hai quá trình: Học và Phục hồi

(a) Hoc Cho

Q=ÿ° = i0 tai k=l

au =r, | xt

Học để xác định Wj theo công thức Hebb:

(M+lxn k=l

W, = (ort -iert -1)V

V6i Wi=0, Vi=1, 2, 3, ,L

(b) Phục hồi

Cho X„„„ =(Xị, Xạ, , Xz)

Hỏi X„„„ gần P;e ©; nào nhất?

Thuật giải

(1) Xphục_ hội” Xmmer3 (2) Lặp

TG=Xphuc_ hồi)

Xphuc_hdi = Ẩphục_ hội X AM;

Trang 18

3.1.6 GA liên kết các mạng mờ (FNN): ứng dụng cho phân loại mẫu

¢ Phuong pháp kết hợp nhiều mạng Nơon mờ(ENN) [7,CTNC], [11,CTNC] Có hai phương pháp tổng quát cho việc kết hợp của các mạng Nơron: cách thứ

nhất dựa vào kỹ thuật hợp nhất, còn cách thứ hai dựa vào kỹ thuật tuyển chọn Mục này để cập đến Phương pháp dựa vào kỹ thuật hợp nhất

Cho trước mẫu X ={' =(Xƒ, X‡, Xj„„,):X* <Q,k ={ ]} (chưa biết thuộc

M

lớp nào) và không gian các lớp €2 = Us, 0; FD, QIANQ = S ,i # j

=

Để phân lớp mẫu X về khơng gian ©,, ¡ = 1, cho trước, đầu tiên phải phân lớp cdc trang thai X*, k=1,n về một trong Ä lớp ban đầu Sử dụng ø mạng mờ cho mẫu

X, mạng mờ & sẽ dùng cho trạng thái X!, nó đánh giá giá trị xác suất đúng để

X'°eO,k=Ln;i=1,M như sau:

B(O.|X°9)>yJ), 1<k<n,l<i<M (3.6)

Trong đó, yx"), 1< ¡< M, 1< k< n, chính là đầu ra của tầng thứ 3 trong mang Nơron mờ (FNN) thứ k (chương 2- mục 2.2.2) Như vậy, không cần thực hiện tầng thứ 4, các kết quả của tầng thứ 3 sẽ là đầu vào để thực hiện kỹ thuật kết hợp

Lúc này, sơ đổ kết hợp bao gồm ø mạng, mỗi mạng k sẽ đánh giá giá trị xác

suất đúng P,(Q,|X*}k=Ln;i=1LM

Một phương pháp đơn giản để kết hợp các kết quả trên cùng mẫu X từ tất cả ø mạng mờ là sử dụng giá trị trung bình dưới đây như một cách đánh giá mới của các mạng đã được kết hợp:

Trang 19

Như vậy, có thể hiểu giá trị kết hợp trên như một phân lớp trung bình của

phương pháp Bayes [34,TLTK] Đánh giá này sẽ được cải tiến nếu ta thêm vào khả

năng định hướng cho các đâu ra dựa trên cơ sở các tri thức về mức độ tin cậy của từng mạng: n PQ, X)= 7iP.(@,|XĐ, 1<i<M kel (3.8) G9) Oday Yor} =1

+ Thuật giải di truyền xác định hệ số tin cậy cho các đầu ra của từng mạng

Nơron mờ [T,CTNC], [11,CTNC]

Với mục tiêu kết hợp các mạng Nơron mờ bằng kỹ thuật hợp nhất có xét đến

độ tin cậy của từng mạng (hệ số tin cậy r¿ ) như trong công thức (3.8) và (3.9)

Thuật giải di truyền sẽ được sử dụng để xác định bộ hệ số tin cậy (z/) Các bước

thực hiện của thuật giải cũng như hiệu quả của nó đã được trình bày chỉ tiết trong

mục 2.3.3 và 2.3.4 thuộc chương 2 Mục này chỉ áp dụng chứ khơng trình bày lại + Phân tích, đánh giá mơ hình GA kết hợp các mang FNN

Để chứng minh tính khả thi của mơ hình GA kết hợp các mạng FNN, chúng ta

quay trở lại bài toán ví dụ ở chương 2(mục 2.2.3): Nhận dạng chữ viết tay: với 5460 chữ dùng cho huấn luyện và 2340 chữ được kiểm tra (trên 26 chữ cái thường) Mỗi

chữ cái thường sẽ được biểu diễn dưới ba kiểu véc tơ đặc trưng khác nhau: véc £ø 4

Trang 20

ENNI ding cho véc to 4 ddc trung dia phuong, FNN2 ding cho véc to ddc trung toan cục 8x8, FNN3 dùng cho véc tơ đặc trưng biểu diễn biên của các ký tự Như vậy, sơ

đồ kết hợp bao gồm ø mạng (ø=3), nên mỗi mạng & sẽ tự đánh giá tập các giá tri

xác suất đúng theo công thức (3.6) Từ đó, ta có: P¿(@¡I X),(1< i< M; 1< k<n, n=3)

Việc liên kết các FNXN bằng GA được thực hiện tương tự như trong mơ hình GA liên kết ba mạng Nơron (NN) (được trình bày chỉ tiết trong mục 2.3.3 và 2.3.4 thuộc chương 2), cùng các tham số tương ứng Bảng 3.1 so sánh kết quả tỷ lệ nhận dạng trên bộ mẫu thử (2340 chữ cái thường) giữa mơ hình kết hợp: GA kết hợp 3 mạng

FNN; GA kết hợp 3 mạng MN (chương 2- mục 2.3.5) với các mô hình mạng đơn lẻ: ENNI; FNN2; FNN3; FNN,n (dùng cho cả ba bộ véc tơ đặc trưng) (chương 2- mục

K22)

Bảng 3.1 So sánh kết quả của tỷ lệ nhận dạng(%) giữa haiphương pháp kết hợp: GA liên kết 3 FNN; GA liên kết 3 WW và mạng FNN đơn lẻ (kiểm tra 2340 chữ)

Phương pháp đơn lẻ | Số chữ đúng SO chi sai | Tỷ lệ nhận dạng | Tỷ lệ lỗi

ENNI 2076 264 88.71% 9.32% FNN2 2122 218 90.68% 9.32% FNN3 2051 289 87.65% 12.35% FNNai 2125 215 90.81% 9.19% Phương pháp kết hợp GA két hop 3 NN 2183 157 | 9329% | 671% GA kết hợp 3 FNN 2258 82 | 9650% | 3.50%

Nhận thấy phương pháp sử dụng GA để kết hợp 3 FNN là hiệu quả hơn cả Trên thực tế phương pháp này đã tận dụng được những lợi thế về tỷ lệ nhận dạng

Trang 21

¢ Dé xuất lớp bài tốn thích hợp với mơ hình GA kết hợp các FNN

Tương tự Mơ hình GA kết hợp nhiều NN, GA kết hợp các FNN thích hợp cho lớp bài tốn, trong đó mẫu cần phân lớp được đánh giá theo nhiều tiêu chí khác nhau Hơn nữa, tầm quan trọng(hệ số tin cậy) của từng tiêu chí là khác nhau và chưa được xác định trước Sử dụng GA kết hợp các FNN giảm thời gian huấn luyện mạng(mục 2.2) và đạt được kết quả nhận dạng cao hơn GA kết hợp nhiều NN (Bảng 3.L)

3.1.7 Kết luận và để xuất mơ hình ứng dụng

Tóm lại, mục 3.1 đã trình bày việc áp dụng đồng bộ cả ba ky thuat Di truyén-

Noron- Mo để giải quyết một số bài toán nhỏ và cũng chỉ ra tính khả thi của nó: - Hiệu quả của mơ hình kết hợp Di truyền- Kohonen- Mờ trong xác định mẫu

đồng dạng

-_ Đánh giá được hiệu quả của mơ hình kết hợp: GA kết hợp ba FNN so với

một số mơ hình kết hợp và đơn lẻ khác

Tiến tới, để chứng minh khả năng ứng dụng rộng rãi của việc kết hợp ba kỹ thuật: Di ruyên- Nơron- Mờ trong lĩnh vực thực tế Mục 3.2 sẽ để xuất cách tiếp

cận kết hợp ba kỹ thuật cho một ứng dụng tổng hợp: Mơ hình kết hợp Di truyền-

Nơron- Mờ giải bài toán phân loại mẫu có mất mát thơng tin

3.2 Mơ hình kết hợp Di Truyên- Nơron- Mờ giải bài toán phân loại mẫu có mất mát thơng tin

3.2.1 Đặt bài toán

Xét bài toán phân loại mẫu tổng quát:

loại mẫu tổng quát là bài toán xác định ánh xạ:

Trang 22

3.2.2 Các bước giải quyết bài tốn

Trong q trình giải quyết bài toán, sẽ có hai tình huống xảy ra:

Với tình huống 1 (X không bị mất mát thông tin), chúng ta chỉ cần phân loại X về khơng gian mẫu ©;; ¡e {, 2, , z} tương ứng

Nếu mẫu X là một véc tơ:

X =(X,, Xo, Xp

Thì chọn một trong hai kỹ thuật phân loại: mạng Nơron truyền thẳng ba lớp

(phụ lục D) hoặc mạng Nơron mờ truyền thẳng bốn tầng(FNN) (chương 2- mục 2.2) Nếu mẫu X được biểu diễn dưới M trạng thái khác nhau (tập hợp M véc ta):

x=' =(,x¡ x?):X? s9,J={, M}

Thì chọn lựa một trong hai kỹ thuật kết hợp sau: ŒA liên kết M mạng Nơron

truyên thẳng (GA-NN) hoặc GA liên kết M mạng Nơron mờ (GA-FNN)

Với tình huống 2, (X bị mất mát thông tin @) Lúc này, quá trình giải quyết

bài tốn chia thành hai bước:

Bước 1:

Nếu mẫu X„„„ là một véc tơ thì X„„„ sẽ được phục hổi thành X ban đầu sao cho Xphyc_pai€ Q

Nếu mẫu X„„„ là tip hop M véc to thi X’mme J=1,M sé dude phuc héi thành

X’ ban ddu sao cho X”z„„ ;¿;€ Q

Bước 2: Sau khi phục hổi mẫu X, phân loại Xphucndi về không gian mẫu Q,

Trang 23

So dé thudt giải như sau: Chuẩn bị dữ liệu | | Dflệu | 3i gang ] Ỳ Ỷ

EX amen ie Mơ hình ge Kipper Mơ hình se: Họp

hợp phục hồi phân loại mẫu

mẫu nhiễu

Kết luận:

Xphuc_rdi €Q, i € {1, , nm}

Hình 3.6 Thuật giải áp dụng mơ hình kết hợp cho phân loại mẫu mất mát thông tin 3.2.2.1 Mô hình kết hợp GA, NN va FL cho phuc héi Mau Mat Mat Thong Tin

Mục này tập trung giải quyết bước 1 của bài toán: mẫu X ban đầu bị mất mát thông tin (X„„„e @) Cần phải xây dựng hệ thống phục hồi lại mẫu X sao cho Xzx„e sài Q.(Xem xét trường hợp X là một véc tơ) Để giải quyết bài tốn, có sơ đồ thuật giải trong Hình 3.7

Chuẩn bị dữ liệu Ỷ Dữ liệu

| | Huấn luyện mơ hình bộ nhớ kết hợp( AM)

[Wi]

X mmit AM phục hồi mẫu nhiễu

Hình 3.7 Ä⁄ơ hình kết hợp phục hổi mẫu mất mát thông tin

Trang 24

Chuẩn bị dữ liệu[9.CTNC]

Mục tiêu của mục này là: Xây dựng một không gian lớn các mẫu đồng dạng

eO (sử dụng phương pháp để xuất trong mục 3.1.2) Bộ mẫu được tạo ra này sẽ dùng để huấn luyện bộ nhớ kết hợp AM [23,TLTK] nhằm xác định bộ trọng [W;j], từ đó giúp cho việc phục hồi mẫu mất mát thông tin

Biết e=| Jo Như vậy, chúng ta phải tạo ra một lượng M+1 mau FjeQ; sao

isl

M+1

j=l Jj

Để giải quyết bài tốn, có sơ đồ thuật giải di truyền sử dụng hàm thich nghi mo (FL+

Kohonen) trong Hình 3.8

M +1

Sau khi có khơng gian các mau déng dang Q; * j= U ; tụ

n n(M +1

Xác định được không gian = U @; ~ i=l i=i\ jai / Geek

Trang 25

Mau trung binh O i = II TT đại diện P eo €Q)) Py TT see | ESBS 1 LTT] ee Tittle 000

Phat sinh Hoạt động di

truyền của GA(Pcross,Pm) cácmẫu |«——] [rao 1.0 | + Khoảng cách (2) Góc (⁄F,0P (a)) Số vòng lặp(g) Chọn các mẫu đồng dạng: cho trước ee[0,1].TSTN»>=e Hoặc sau sv/

Trang 26

Huấn lun mơ hình bộ nhớ kết hơp(AM)

Sau bước chuẩn bị dữ liệu, thu được: Q_=

cs

Ua,= 0 (;): 1=1 †51( /S1

Như vậy, bộ mẫu gồm (1⁄+1)x mẫu Z; sẽ được dùng để huấn luyện AM Sau quá trình huấn luyện, chúng ta thu được bộ trọng số [W//]; „¿

AM phục hôi mẫu mất mát thông tin

Mẫu mất mát thông tin X„„„ sẽ được phục hồi bởi AM= [Wÿ] rx 1

3.2.2.2 Mơ hình kết hợp GA, NN va FL cho phân lớp mẫu

trước

Sơ đê thuật giải như sau:

Dữ liệu n n(M+1

2= UU) i=l iz1\ j=1 UF,

Huấn luyện NN, FNN i

" ¡| Hệ thống kếthợp GA,NN, | | [ gụ;

X phuc_hdi ————®) FL phan loai mau H 320 1e cư Dị) phục_ hồi ụ

Mơ hình kết hợp GA, MN, FL

Hình 3.9 Mơ hình kết hợp cho phân loại mẫu Huấn Luyên NN Và FNN

Trong phạm vi nghiên cứu, chúng tôi sử dụng Thuật giải lan truyền ngược (phụ

Trang 27

(mục 2.2.2) cho việc huấn luyện mạng Nơron mờ (FNN) Bộ mẫu huấn luyện được tạo ra trong giai đoạn: chuẩn bị dữ liệu

Mơ hình kết hợp GA NN, FL cho phân loại mẫu

Nếu X„„„ =(Xị, X;, 0, 0, 0, 0, , 0, 0,0, 0, X;) ¢Q thi 4p dụng mục 3.2.2.1, chúng ta thu được Xz;„e ;¿¡ =(X\, X2, X;) 6Q Sau khi có X»z„¿ ;¿, sử dụng một

trong hai phương pháp sau để phân loại mẫu:

(a) Mạng Nơron truyền thẳng ba tầng(NN) (Phụ lục D) Cho trước tập mẫu huấn luyện P-lPÌ

Các mẫu đại diện PÍ sẽ trải qua gia đoạn chuẩn bị dữ liệu để tạo ra bộ mẫu huấn luyện cho MA Thuật giải lan truyền ngược với luật tổng quát delta (Phụ lục

D) được dùng cho quá trình huấn luyện với các thông số: Lặp cho đến khi bình phương trung bình lỗi <e ứng với bộ mẫu huấn luyện hoặc số vòng lap bing SVL (điểm giới hạn của quá trình huấn luyện), hệ số học=ơ Véc tơ đầu vào được phân về một lớp đầu ra trên cơ sở giá trị đầu ra lớn nhất của nó Sau khi được huấn luyện, WAW có khả năng phân loại mẫu X„„„ ;¿ về không gian tương ứng

O/0e (1n)

(b) Mạng Nơron mờ truyền thẳng bốn tâng(FNN) (Chương 2- mục 2.2.2) Cũng tương tự như mơ hình (a), cho trước tập mẫu huấn luyện ={P}””

Các mẫu đại diện PÍ sẽ tạo ra khơng gian bộ mẫu huấn luyện thông qua giai

đoạn chuẩn bị dữ liệu ở đây, Thuật giải học tự tổ chức dàng riêng của FNN (mục

Trang 28

X={x' = (xf, X4, 0,0, 0,0, X4):X! €Q, k= fh MI} (3.10)

Thì áp dụng mục 3.2.2.1 cho ting X4,,;k=1M thu được X” „;È=], phuchdi?

Tap hgp lai, x4c dinh dude Xphuchsi

X=Í#! =(X‡, X‡, x‡):X' eo, k={ 7)}

Lúc này, chọn lựa một trong hzi phương pháp kết hợp đã đề xuất, để phân loại mẫu: (c) GA kết hợp các mạng Nơron_ truyền thẳng ba tầng(NN) (xem chỉ tiết trong

chương 2- mục 2.3)

(4) GA kết hợp các mạng Nơron mờ truyền thẳng bốn tằng(FNN) (xem chỉ tiết

trong mục 3.1.6)

Việc so sánh để chọn lựa phương pháp thích hợp đã được trình bẩy trong ví dụ

mục 3.1.6: chọn GA kết hợp các mạng Nơron mờ truyền thẳng bốn tẳng(FNN)

3.2.3 Kết luận

Mục 3.2 đã trình bày việc ứng dụng mơ hình kế! hợp Di truyên- Nơron- Mờ cho

Trang 29

không cần phục hồi Các kết quả thử nghiệm trên những ứng dụng cụ thể sé được để cập trong chương 4

3.3 Kết luận chương 3

Tóm lại, chương 3 đã để xuất một số kỹ thuật kết hợp Di truyền- Nơron- Mờ Tiến tới, ứng dụng nó cho bài toán tổng quát: phân loại mẫu mất mát thông tin về khơng gian ©¡; với ¡e {I,2, n}cho trước Cụ thể, bài toán đặt ra như sau:

Cho Q, i €{1,2, 2}, Q4O; va Q 1A mét phan hoach cdc Q; Bai todn phan loại mẫu tổng quát là bài toán xác định ánh xạ:

p:Q>{1,2, n}: VX eQ, p(X) = i(nghia laXeQ,) Trong quá trình giải quyết bài tốn, sẽ có hai tình huống xảy ra: Tình huống 1: X không bị mất mát thông tin tương đương X <Q Tình huống 2: X bị mất mát thông tin tương đương X,„„„ ¢Q

Với tình huống 1 (X không bị mất mát thông tin), chúng ta chỉ cần phân loại X về không gian mẫu @¡¿ /e (1, 2, , :} tương ứng Trong chương 3, đã để xuất bốn kỹ

thuật phân loại: MW, FNN : cho trường hợp X là một véc tơ; GA-VN, GA-ENN: cho

trường hợp X là tập hợp nhiều véc tơ

Với tình huống 2, (X bị mất mát thông ting Q) Liic này, quá trình giải quyết

bài toán chia thành hai bước:

Bước 1: X„„„ sẽ được phục hổi thành X ban đầu sao cho XeQ Để phục hồi mẫu X, chúng tôi xây dựng mơ hình kết hợp giữa GA, mạng Kohonen, Logic mờ và

Trang 30

Bước 2: phân loại X về khơng gian mẫu ©; ¿e{I, 2, , z} bằng bốn kỹ thuật phân loại như trong tình huống 1 Việc so sánh, đánh giá các kỹ thuật phân loại

được thể hiện thơng qua bài tốn nhận dạng 26 chữ cái thường viết tay

Về mặt lý thuyết, chương 3 chứng minh được hiệu quả của việc ứng dụng

Thuật giải di truyền với hàm thích nghỉ mờ cho bài toán xây dựng không gian tập

mẫu đồng dạng với một mẫu đại diện PÌ (P'eQ,) cho trước

Các kết quả thử nghiệm trong bài toán nhận dạng chữ viết tay cũng khẳng định được tính khả thi của mơ hình kết hợp Di truyền- Nơron- Mờ (GA kết hợp nhiều

Định dạng
Số trang	30
Dung lượng	8,28 MB