PPt4 Radial Basis Function Network - RBN pps

2 RBFs là các hàm có dạng Với  là hàm activation phi tuyến, x là các đầu vào và t i là vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung... 7 Faculty of Electronics and Tel

Trang 1

1

Radial-basis function (RBF) networks

Trang 2

2

RBFs là các hàm có dạng

Với  là hàm activation phi tuyến, x là các đầu vào và t i là

vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung

Trang 4

2 ) (

Trang 5

5

• Inverse multiquadrics và Gaussian RBFs là hai ví dụ về các hàm ‘localized’

Trang 6

6

‘nonlocalized’ functions ‘localized’ functions

Trang 7

7

Faculty of Electronics and Telecommunications, HUT

HIDDEN NEURON MODEL

t được gọi là tâm ( center)

 được gọi là trải rộng ( spread)

center và spread là các tham số

φ( || x - t||) Đầu ra phụ thuộc vào khoảng cách đầu

vào x tới tâm t

Trang 9

 Đối với Gaussian RBF khả năng nhạy này

có thể được chỉnh bằng cách thay đổi hệ

số trải  , ở đó hệ số trải lớn có độ nhạy giảm.

 Ví dụ trong Biologic: cochlear stereocilia

cells (in our ears ) have locally tuned

frequency responses.

Trang 10

-Không gian <x1,x2> là không gian đầu vào

Trang 11

r t

x

r t

x t

2

r t

x

r t

x t

Chọn các tâm t1 ,t2 cho hai vòng tròn.

Cho r1, r2 là các bán kính của hai vòng tròn, và x = (x1,x2) là mẫu

x

c t

x t

x

||

if 0



Trang 12

Xét về hình học: các mẫu được ánh xạ từ không gian đầu vào

<x1,x2> tới không gian đặc tính (feature space) <1, 2>:

1 Các mẫu trong vòng tròn 1 được ánh xạ vào điểm (1,0),

2 Các mẫu trong vòng tròn 2 được ánh xạ vào (0,1),

3 Các mẫu ngoài cả hai vòng tròn được ánh xạ về (0,0)

Như vậy hai lớp được tách tuyến tính trong không gian (1, 2)

2

1 -

2

1

Trang 13

13

Ví dụ 2: the XOR problem

 Không gian đầu vào:

 Không gian đầu ra:

 Xây dựng bộ phân loại mẫu RBFcó hàm activation

Gaussian sao cho:

(0,0) và (1,1) được map vào 0, lớp C1

(1,0) và (0,1) được map vào 1, lớp C2

(1,1) (0,1)

(0,0) (1,0) x1

x2

y

1 0

Trang 14

Ví dụ 2: lời giải

2 2

2 1

||

2 2

||

1 1

||) (||

t x

e t

x

e t

) 1 , 1 ( 2

Biên giới quyết định

(0,1) and (1,0)

Trang 15

15

Ví dụ 2: lời giải (cont.)

22

21

||

2 2

||

1 1

||) (||

||)

(||

t x

e t

x

e t

Khi y>0 là lớp 1 và ngược lại

Trang 16

16

RBF: Các tham số được học

hiện ntn với các tham số sau?

 Tâm của RBF activation functions

 Hệ số trải của hàm activation- Gaussian RBF

 Các giải thuật học khác nhau có thể được dùng cho quá trình học các tham số của

mạng RBF Ta mô tả 3 phương pháp có thể cho việc học tâm, hệ số trải và weights.

Trang 17

17

Dạy kiểu lai cho RBF NN

Quá trình học gồm 2 giai đoạn

Giai đoạn 2: Tìm các giá trị của weight cho các

neuron ở lớp hidden và output

Trang 18

18

Giải thuật học 1

nhiên từ tập dữ liêu dạy cho mạng

việc chuẩn hóa (normalization):

 Sau đó hàm activation của các neuron thứ trở thành:

1 m

max

d

centers of

number

centers 2

any between

Trang 19

19

Giải thuật học 1 (cont.)

||) (||

) ( x i w 1 1 x i t 1 w m 1 m 1 x i t m 1

) , ( x i d i

i m

m

x

w 1  1 (||  1 ||)   1  1 (||  1 ||) 

Trang 20

20

 Có thể viết lại ở dạng ma trận cho một mẫu

i m

T m m

N m

N

m m

d d

w

w t

x t

x

t x

t

x

]

[ ]

[

||) (||

||)

(||

||) (||

||)

(||

1 1

1

1 1

Trang 21

21

coi

Ta có thể viết

Nếu là pseudo-inverse của ma trận

ta nhận được các weights dùng biểu thức sau

T N

||) (||

11

m N

m m

t x



Trang 23

phương pháp chuẩn hóa

3 Tìm weights dùng phương pháp

pseudo-inverse

Trang 25

25

Learning Algorithm 2: Centers

 Giải thuật nhóm để tìm tâm/centers

1 Khởi đầu/initialization : tk(0) ngẫu nhiên k = 1, …, m1

2 Lấy mẫu/sampling : rút x từ không gian đầu vào

3 Quá trình tìm sự tương đồng/Similarity matching : tìm chỉ

arg k(x)  k  k

 x(n) t ( n )  if k k(x) )

n (

otherwise

) n (

tk



 1 ) n

(

tk

Trang 26

26

Giải thuật học 3

 Áp dụng phương pháp giảm dần dần để tìm tâm, hệ số trải và các weights, bằng quá trình tối

thiểu hóa sai số bình phương

(

( 2

1

d x

y

E  

Trang 27

27

So sánh với FF NN

RBF-Networks được dùng cho hồi quy và cho

việc thực hiện phân loại phức tạp/phi tuyến.

Trang 28

 Lớp hidden của RBF là phi tuyến (non-linear) , lớp đầu ra

của RFB là tuyến tính ( linear)

 Các lớp hidden và output của FFNN thường là phi tuyến

Trang 29

29

So sánh với NN nhiều lớp, cont

 Các hàm Activation :

 Tham biến của hàm activation của mỗi neuron hidden trong RBF NN tính toán khoảng cách Euclidean giữa vector vào và tâm của vòng tròn.

 Trong FFNN, các hidden neuron tính toán tích nội (inner

product) của vector vào và vector trọng số synaptic của

neuron

 Việc xấp xỉ:

 RBF NN dùng hàm Gaussian xây dựng xấp xỉ nội ( local

approximations) vào quá trình ánh xạ vào/ra phi tuyến tính.

 FF NN xây dựng xấp xỉ toàn cục ( global approximations) vào quá trình vào/ra phi tuyến

Trang 31

Sussex, mũi ở giữa

và được lấy mẫu

tiếp theo

(subsampled) ở

25x25 trước khi tiền

xử lý

Trang 32

32

Dataset

 Sussex database (university of Sussex)

resolution 384 x 287)

 Với mỗi người, 10 ảnh của đầu ở các góc chụp

khác nhau từ chụp thẳng đến nghiêng

 Dataset được thiết kế để thực hiện đánh giá các kỹ thuật nhận dạng mặt khi có nhiều tư thế chụp

Trang 33

33

Cách tiếp cận: Face unit RBF

 RBF NN dùng cho nhận dạng khuôn mặt được dạy để nhận ra một người

 Quá trình dạy sử dụng các mẫu ảnh của

người sẽ được nhận dạng như là những

positive evidence , cùng với các ảnh có thể nhầm lẫn được chọn của người khác như

là negative evidence

Trang 34

34

Kiến trúc mạng

 Lớp vào chứa 25*25 đầu vào biểu diễn các cường

độ điểm ảnh (được chuẩn hóa) của một ảnh.

 Lớp Hidden chứa p+a neurons:

 Một cho tất cả những người còn lại.

Đầu ra bị hủy bỏ nếu sự khác nhau tuyệt đối của hai neuron đầu ra nhỏ hơn tham số R nào đó.

Trang 35

35

Kiến trúc RBF cho nhận dạng mặt

Output units Linear

RBF units Non-linear

Input units

Supervised

Unsupervised

Trang 36

 Pro neurons: Evidence for that person.

 Anti neurons: Negative evidence.

 Tổng số các pro neurons bằng với số mẫu

positive của tập dữ liệu dùng để dạy Đối với mỗi pro neuron có 1 hoặc 2 anti neurons

 Mô hình của Hidden neuron: Gaussian RBF

function.

Trang 37

37

Quá trình dạy và kiểm tra

 Các tâm của/centers:

 pro neuron: mẫu positive tương ứng

 anti neuron: mẫu negative hầu như tương tự với pro neuron tương ứng theo khoảng cách Euclidean.

 Hệ số trải/spread: khoảng cách trung bình của một tâm đến tất cả các tâm khác Do đó, hệ số trải của một hidden neuron n là

Ở đó H là tổng số các hidden neurons và là tâm của neuron

 Weights : được xem xét dùng phương pháp pseudo-inverse.

 Một mạng RBF với 6 pro neurons, 12 anti neurons, và R= 0.3, loại bỏ 23 pro cent của ảnh trong tập test và được phân lọai đúng vào

96 pro cent của các ảnh không bị hủy bỏ

Trang 38

 Speech processing (Renals 1989)

 Control (Roscheisen, Hofmann, Tresp

Trang 39

39

Supervised learning Non-linear classifiers

Linear classifiers

Feed-forward networks Radial basis function networks

Support vector machines

Định dạng
Số trang	39
Dung lượng	2,55 MB