Mạng -ron liên kết chức năng (nơ Functional Linked Neural Network - FLNN) là mạng nơ-ron loại bỏ sự cần thiết của các tầng n trong mạng nơ-ron truyền thẳng. Mạng nơ-ron này được tạo ra bởi Pao và đã thành công ứng dụng trong nhiều bài toán như hệ thống nhận dạng, hệ thống phân loại, hệ thống nhận dạng khuôn mẫu và các bài toán dự đoán. Trong mô hình mạng nơ-ron FLNN tất cả các tầng n được loại bỏ và thay vào đó chỉ sử dụng mạng nơ-ron chỉ có một tầng để có thể loại bỏ sự phức tạp của các tầng n trong mạng nơ-ron truyền thẳng. Tuy nhiên, khi loại bỏ các tầng n này thì cấu trúc mạng thường thất bại trong việc tạo ra các mô hình trong đó quan hệ giữa đầu vào và đầu ra là phi tuyến tính. Để có thể giải quyết được vấn đề này, FLNN được đề xuất sử dụng mạng nơ-ron một tầng kết hợp với một tập hàm số để mở rộng đầu vào giúp mạng tránh khỏi vấn đề tuyến tính trên.
s x là t p d u v
Giả ử ậ ữ liệ ới trong đó là
s ố lượng điểm d u trong t p d u x, I là s c tính có trong mữliệ ậ ữliệ ố đ ột điểm d ữliệu và t p m hàm m rậ ở ộng đầu vào . N u b d ế ộ ữ liệu trên được s dử ụng là đầu vào cho mạng nơ-ron FLNN, thì m i giá tr ỗ s được m r ng s ở ộ ử
27
d ng t t c hàm s trong tụ ấ ả ố ập hàm được s dử ụng. Khi đó đầu ra s có giá tr như sau:
V i m i giá tr ớ ỗ là m r ng cở ộ ủa s d ng t p hàm s , ử ụ ậ ố s là t p giá tr ậ sau:
Sau khi m rở ộng đầu vào, đầu ra s là m ột vector có D = I * m chiều. Đầu ra -ron m t t hu n luy n. Do
được đưa vào mạng nơ ộ ầng để ấ ệ đầu vào có D đc trưng nên t p tr ng s c a m ng s là m t vector có D chi u gi s ậ ọ ố ủ ạ ộ ề ả ử . Đầu ra của điểm d li u th k là: ữ ệ ứ
Trong đó F là hàm truyền, giá tr u ra c a mlà đầ ủ ạng nơ-ron FLNN với đầu vào . Trong hình 10 là mô hình chung c a mủ ạng nơ-ron FLNN.
Mạng nơ-ron FLNN nhận được s quan tâm c a r t nhi u nhà nghiên c u do c u trúc ự ủ ấ ề ứ ấ đơn giản và giảm độ ph c tứ ạp hơn rất nhi u so v i mề ớ ạng nơ-ron nhi u tề ầng do đó đã có nhiều đề xu t v t p hàm s ấ ề ậ ố và các phương pháp để tìm ra tr ng s (weights) c a m ng. ọ ố ủ ạ
28
Hnh 10: Mô hình mạng nơ-ron FLNN 9 Các tp hàm s thưng s dng trong FLNN
Trong mạng nơ ron FLNN tập hàm mở ộ- r ng s dử ụng đóng một vai trò quan tr ng nh ọ ả hưởng lớn đến hiệu năng của m ng. Khi mạ ạng nơ ron FLNN được đề- xu t tác gi ấ ả cng đề xu t mấ ột phương pháp để ở ộng đầ m r u vào. Gi s ả ử vector đầu vào là , ta có có
thể m r ng thành ở ộ … trong đó . Ví d ụ khi đầu vào
thì có thể được m r ng thành t p sau ở ộ ậ
Nhưng theo tác giả ủ c a mạng nơ-ron FLNN nh ng tích có d ng ữ ạ là không c n thi t. Do vầ ế ậy đầu ra sau khi m r ng cho ở ộ có th ể chọn là
Tuy rằng cách mở rộng trên được sử dụng nhưng tùy bài toán cần giải quyết các tập hàm khác có thể cho kết quả tốt hơn. Sau đây là một số tập hàm mở rộng phổ biến hay được sử dụng10.
a) Chebyshev
Hàm Chebyshev được biết đến với khả năng có thể xấp xỉ các hàm không tuyến tính nên đã có đề xuất kết hợp hàm này với mạng FLNN và gọi mạng nơ ron đó -
9 Ganapati Panda, Debi Prasad Das (2003)
10 Dwiti Krishna Bebarta và Birendra Biswal (2012)
29
là CFLNN. Cấu trúc ủc a m ng CFLNN bao g m m t kh i m rạ ộ ố ở ộng đầu vào s ử d ng hàm Chebyshev và m t m ng neural m t t ng. ụ ộ ạ ộ ầ
Hàm Chebyshev có các giá tr u tiên đầ các
giá tr tiếp theo được tính theo công th c: ứ
b) Legendre
Hàm Legendre cng được áp d ng cho m ng FLNN và mụ ạ ạng này được g i là ọ LeFLNN. C u trúc c a m ng LeFLNN bao g m mấ ủ ạ ột khối m rở ộng đầu vào s ử d ng hàm ụ Legendre và m t mộ ạng nơ-ron một tầng.
Hàm Legendre có các giá tr p theo tính công thtiế ức sau:
c) Laguerre
Hàm Laguerre có các giá tr u tiên đầ
Các giá tr tiếp theo được tính như công ứth c:
d) Power Series
Hàm m có dạng như sau:
Tm trng s mạng FLNN s dng giải thut lan truyền ngưc
Giải thuật lan truyền ngược sai số là một phương pháp phổ biến được sử dụng để huấn luyện mạng nơ ron được sử dụng kết hợp với một phương pháp tối ưu như gradient - descent. Thuật toán học lan truyền ngược có thể được chia thành hai giai đoạn.
Giai đoạn 1 đầu vào được đưa vào mạng và thông qua các tính toán tính ra các giá tr tại tầng đầu ra.
30
Giai đoạn 2 tính gradient của tất cả các tham số trong mạng dựa trên sai số đầu ra của tầng đầu ra và giá tr thực có sẵn trong bộ dữ liệu.
Thuật toán sau đó sử dụng gradient của trọng số để cập nhật trọng số tương ứng. Trong mạng nơ ron FLNN thuật toán lan truyền ngược cng được sử dụng để tối ưu hóa trọng - số của mạng. Sau đây là thuật toán tối ưu hóa trọng số mạng nơ-ron FLNN sử dụng giải thuật lan truyền ngược.
Thut ton lan truyn ngược s dng v i FLNN 11
Đu vào: T p d li u x v i có N đim d li u trong
đó và là tập hàm s m rố để ở ộng đầu vào
FLNN
Đu ra: là t p tr ng s tậ ọ ố ốt nh t cho m ng FLNN ấ ạ
1 M r. ở ộng đầu vào của tập d u vữliệ ới tập hàm cho ta tập d u m r ng ữliệ ở ộ trong đó , k = 1, 2, …, N là một điểm d li u sau khi m rữ ệ ở ộng đầu vào v i tớ ập hàm số . Gi s ả ử là m t vector có D chi u ộ ề
2. Sinh ra ng u nhiên t p tr ng s ẫ ậ ọ ố là một vector có D chi u ng v i s ề ứ ớ ốchiều của vector
3. Tính toán đầu ra c a m ng FLNN: ủ ạ
4.Tính toán giá tr l ỗi
5. C p nh t tr ng s c a mậ ậ ọ ố ủ ạng nơ-ron FLNN
trong đó là tham s tố ốc độ h c ọ
6. Nếu điều ki n d ng thệ ừ ỏa mãn đến bước 7, ngược lại quay lại bước 3 7. T p tr ng s ậ ọ ố được lưu lạ ểi đ thử nghi m sau nàyệ
11 Ina Khandelwal (2015)
31