Nnet đ c nghiên c u m nh trong h ng trí tu nhân t o. Wiener là ng i đã s d ng Nnet đ phân lo i v n b n, s d ng 2 h ng ti p c n : ki n trúc ph ng (khơng s d ng l p n) và m ng n ron 3 l p (bao g m m t l p n)[Wiener et al, 1995]
C hai h th ng trên đ u s d ng m t m ng n ron riêng r cho t ng ch đ , NNet h c cách ánh x phi tuy n tính nh ng y u t đ u vào nh t , hay mơ hình vector c a m t v n b n vào m t ch đ c th .
Khuy t đi m c a ph ng pháp NNet là tiêu t n nhi u th i gian dành cho vi c hu n luy n m ng n ron.
2.2.5.1. Ý t ng
Mơ hình m ng neural g m cĩ ba thành ph n chính nh sau: ki n trúc
algorithm). Ki n trúcđ nh ngh a d ng ch c n ng (functional form) liên quan giá tr nh p (inputs) đ n giá tr xu t (outputs).
Ki n trúc ph ng ( flat architecture ) : M ng phân lo i đ n gi n nh t ( cịn g i là m ng logic) cĩ m t đ n v xu t là kích ho t k t qu (logistic activation) và khơng cĩ l p n, k t qu tr v d ng hàm (functional form) t ng đ ng v i mơ hình h i quy logic. Thu t tốn tìm ki m chia nh mơ hình m ng đ thích h p v i vi c đi u ch nh mơ hình ng v i t p hu n luy n. Ví d , chúng ta cĩ th h c tr ng s trong m ng k t qu (logistic network) b ng cách s d ng khơng gian tr ng s gi m d n (gradient descent in weight space) ho c s d ng thu t tốn interated-reweighted least squares là thu t tốn truy n th ng trong h i quy (logistic regression).
Ki n trúc mơ dun (modular architecture ): Vi c s d ng m t hay nhi u l p n c a nh ng hàm kích ho t phi tuy n tính cho phép m ng thi t l p các m i quan h gi a nh ng bi n nh p và bi n xu t. M i l p n h c đ bi u di n l i d li u đ u vào b ng cách khám phá ra nh ng đ c tr ng m c cao h n t s k t h p đ c tr ng m c tr c.
Hình 2. 3. Hình Ki n trúc mơ đun (Modular Architecture) . Các k t qu c a
t ng m ng con s là giá tr đ u vào cho m ng siêu ch đ và đ c nhân l i v i
nhau đ d đốn ch đ cu i cùng .
2.2.5.2. Cơng th c chính
Trong cơng trình c a Wiener et al (1995) d a theo khung c a mơ hình h i quy, liên quan t đ c tr ng đ u vào cho đ n k t qu gán ch đ t ng ng đ c h c t
t p d li u. Do v y, đ phân tích m t cách tuy n tính, tác gi dùng hàm sigmoid sau làm hàm truy n trong m ng neural:
1 1 p e−η = + Trong đĩ, T x η β= là s k t h p c a nh ng đ c tr ng đ u vào và p ph i th a đi u ki n p∈(0,1)