CHƯƠNG I: TỔNG QUAN VỀ NHẬN DẠNG CÁC HỆ SỐ KHÍ ĐỘNG CỦA MÁY BAY
2.3. Mô hình động học dùng cho nhận dạng các đạo hàm hệ số khí động của thiết bị bay khi ứng dụng mạng nơron nhân tạo
2.3.2. Mạng nơron đột biến
Trong những năm gần đây, lĩnh vực nghiên cứu về ANN có nhiều nghiên cứu rất sâu về các quá trình sinh – hóa học diễn ra trong não bộ cũng như trong từng nơron thần kinh động vật sống, tương ứng, cũng đã xuất hiện các nghiên cứu trong việc xây dựng cấu trúc, các thuật toán xử lý liên quan đến các mô hình, luật học..., ứng dụng đối với một thế hệ ANN mới, được gọi là mạng nơron đột biến (SNN) [16], [44]. Đối với ANN thế hệ thứ nhất và ANN thế hệ thứ hai dựa trên mô hình nơron của McCulloch-Pitts, trong đó sự lan truyền, xử lý thông tin dựa trên trọng lượng liên kết giữa các nơron và sự kích hoạt phản ứng đầu ra của nơron có thể được xem như tốc độ kích hoạt được chuẩn hóa trong một chu kỳ thời gian nào đó, tức là thực hiện mã hóa tỷ lệ (Rate Coding). Với ANN thế hệ thứ nhất, hàm kích hoạt nơron được sử dụng là hàm
dạng mức; với ANN thế hệ thứ hai, hàm kích hoạt được dùng là các dạng hàm liên tục (dạng hàm sigmoid) [46].
Đối với ANN thế hệ thứ ba (SNN), việc xử lý thông tin dựa trên liên kết trọng lượng giữa các nơron và thời điểm xuất hiện đột biến (Skipping) dưới dạng xung khi đầu ra nơron đạt tới một mức ngưỡng nào đó, tức là thực hiện mã hóa thời gian xung (Pulse Encoding).
So với ANN, SNN có những ưu điểm nổi bật sau:
- Do thông tin được truyền trong mạng dưới dạng mã xung do đó bền vững với các tác động nhiễu loạn;
- Cho phép ứng dụng các quy tắc học gần giống như các quy tắc học của nơron sinh học, ví dụ như quy tắc Hebbian và quy tắc Spike Time Dependant Plasticity (STDP) [26], [44]. Các quy tắc này cho phép tăng cường hệ số trọng lượng giữa 2 nơron nếu như 2 nơron này có tương quan và suy giảm hệ số này nếu như ngược lại;
- Do sự mã hóa thông tin theo thời gian, SNN có khả năng sử dụng động học của mạng trong quá trình học, ví dụ như chuỗi các đột biến cho phép giải mã đầu ra của mạng từ các mẫu đồng bộ và điều này dẫn đến yêu cầu một số lượng nhỏ các nơron trong các tính toán [23].
2.3.2.1 Tổng quan về mô hình nơron đột biến
SNN có thể được mô hình hóa bằng nhiều mô hình khác nhau. Những mô hình này gần giống nhau trong các hành vi nơron sinh học có thể tạo ra. Hai đặc trưng quan trọng đối với mô hình nơron đột biến:
- Sự tương tự về mặt sinh học: Nơron đột biến có thể tạo các mẫu đột biến hoặc hành vi được thể hiện gần giống nơron sinh học như hình 2.4 [10];
- Hiệu quả tính toán: Yếu tố này được xác định bởi số lượng biến được sử dụng để biểu diễn mô hình nơron và số lượng các phép toán số thực cần thiết để thực hiện trong 1 ms của mô hình mô phỏng.
Hình 2. 4. Các hành vi nơron đột biến
Khi nghiên cứu SNN có thể sử dụng nhiều loại mô hình khác nhau [10], [51], [59], các mô hình SNN có thể kể đến như sau [10]:
- Mô hình Izhikevich;
- Mô hình tích lũy và kích hoạt IF (Integrate and Fire) và tích lũy và kích hoạt có tổn thất LIF (Leaky Integrate and Fire);
- Mô hình Wilson;
- Mô hình Wang-Buszaki;
- Mô hình Morris–Lecar;
- Mô hình Hindmarsh–Rose;
- Mô hình đáp ứng đột biến SRM (Spike Response Model).
Trong các mô hình nơron đột biến, trong kỹ thuật nhận dạng tham số các hệ thống điều khiển, sử dụng nhiều nhất là mô hình IF và mô hình SRM [59].
Mô hình IF và LIF
Mô hình LIF và IF có vai trò quan trọng trong việc tìm hiểu mối quan hệ giữa tác động đầu vào nơron và sự biến đổi đầu ra của chúng. Trong mô hình LIF, hoạt động của nơron được xây dựng theo nguyên tắc nạp – phóng điện:
màng nơron được nạp bởi dòng chạy trong nó, khi điện thế màng đạt ngưỡng ung thì sẽ kích hoạt ra điện thế (đột biến) và phóng điện.
Động học của nơron theo LIF mô tả theo công thức sau:
0
1
( ) 1
- ( ) ( ( ) ( ))
m j j j
Cdu t u t i t w i t
dt R (2.39)
trong đó: u t - biến trạng thái mô hình (điện thế màng nơron); C - điện dung màng; R - điện trở đầu vào; i t0 - dòng điện đưa vào nơron; i tj - dòng điện đưa vào lớp màng từ khớp nối j; wj - trọng số của khớp nối thứ j; m- số khớp nối đến nơron, khi R→ ∞, công thức (2.39) trở thành mô tả mô hình IF.
Trong cả mô hình IF và LIF, điện thế màng nơron ban đầu ures. Dưới tác động của dòng điện i t0 và i tj đưa đến, điện thế màng được tăng lên. Khi
u t đạt ngưỡng ung nơron phát đột biến và u t trở về giá trị ures hình 2.5.
Hình 2. 5. Đồ thị thời gian của điện thế màng u(t) của nơron LIF
Trong mô hình đơn giản, dòng i t có thể mô tả bằng hàm mũ:
0
( ) j( - )exp(- )
s
i t S s t s ds
(2.40)
trong đó: s - hằng số thời gian khớp và Sj t - chuỗi đột biến trước khớp.
Mô hình SRM
Mô hình đáp ứng đột biến (SRM) mô tả mối quan hệ giữa đột biến đầu vào và biến trạng thái trong của nơron. Để xác định mô hình SRM, xét SNN có cấu trúc như hình 2.6 [24], gồm 3 lớp: lớp đầu vào H (có SHnơron), lớp ẩn I (có SInơron) và lớp đầu ra J (có SJnơron). Các nơron tạo các kích hoạt (đột biến) khi biến trạng thái trong "điện thế màng" u t đạt mức ngưỡng ung.
Hình 2. 6. Mô hình SNN
trong hình 2.6: a) SNN truyền thẳng, b) kết nối nhiều khớp đầu ra.
Xét nơron thứ j trong lớp đầu ra J , nhận tác động của chuỗi đột biến
1, , ,..., 2 3 I
S t t t tS
T từ lớp I . Trạng thái u tj được xác định:
1
( ) ( )
SI
j ij i
i
u t w t t
(2.41)
trong đó: wij- trọng số liên kết; ti- thời điểm tác động đột biến đầu vào;
a) b)
Lớp đầu vào H Lớp ẩn I Lớp đầu ra J
t
- hàm mô tả phản ứng kích động có dạng:
1
( ) t t
t e
(2.42)
Mỗi nơron thứ ilớp ẩn I và nơron thứjlớp ra J có nhiều đường kết nối (m khớp) (hình 2.6- b), xem xét tác động của khớp thứ k có độ giữ chậm
dk đến nơron được xác định:
( ) ( )
k k
i t t ti d
y (2.43)
Mở rộng phương trình (2.41) đến m khớp xác định như phương trình (2.43). Biến trạng thái uj t được mô tả như tổng có trọng số các tác động:
1 1
( ) ( )
SI m
k k
j ij i
i k
u t w y t
(2.44)
trong đó: wijk - trọng số liên kết với đầu ra thứ k ; k - ký hiệu chỉ số khớp kết nối giữa nơron ivới nơron j (k 1 m ).
2.3.2.2 Các phương pháp luyện mạng SNN theo mô hình SRM
Việc luyện SNN đã được xem xét trong nhiều nghiên cứu [16], [44].
Thuật toán luyện được nghiên cứu đầu tiên dựa trên thuật toán luyện ANN thế hệ 2 là thuật toán lan truyền ngược (BP), được gọi là SpikeProp (Spike Propagation) đã được trình bày chi tiết trong [51]. Thuật toán SpikeProp có ưu điểm cơ bản là khá đơn giản trong cấu trúc và dễ triển khai theo các tính toán toán học. Hạn chế của SpikeProp là gặp phải sai số lớn khi thực hiện lấy đạo hàm bậc nhất tại các thới điểm xuất hiện đột biến và sự hội tụ khá chậm.
Giải quyết hạn chế này, đã có nhiều nghiên cứu một số thuật toán sửa đổi được đề xuất như thuật toán lan truyền ngược sai số đột biến chuẩn hóa (NSEBP) [60], SpikeProp với động học [49], [51], SpikeProp tác động nhanh lan truyền đàn hồi (RProp) [24], phương pháp học có giám sát từ xa (ReSuMe) [44]. Mỗi một thuật toán này đều có các ưu điểm và hạn chế nhất định.
2.3.2.3 Thuật toán lan truyền ngược sai số đột biến
Trong thuật toán lan truyền ngược sai số đột biến (SpikeProp) [24], [51], thời điểm phát đột biến đầu ra tout đối với nơron khi điện áp đầu ra (xác định theo công thức (2.44)) đạt mức ngưỡng ( ( )u t ung), biểu diễn trên hình 2.7.
Hình 2.7. Đồ thị biểu diễn đột biến được phát khi u t( )ung Việc lan truyền ngược sai số thời gian được thực hiện như sau:
- Đối với lớp đầu ra
- Xác định hàm sai số trung bình bình phương giữa chuỗi đột biến đầu ra mong muốn Td tdj và thực tế Ta taj :
2
1
1 2
NJ
a d
j j
j
E t t
(2.45)
trong đó: taj - thời điểm đột biến đầu ra thực tế thứ j( j 1 NJ); tdj - thời điểm đột biến đầu ra mong muốn; NJ - số lượng đột biến đầu ra;
- Khi lan truyền ngược sai số, tính toán thay đổi trọng số liên kết wijk:
k
ij k
ij
w E
w
(2.46)
với - tốc độ học; wijk- trọng số của liên kết k từ nơron i đến j.
- Thành phần gradient được tính theo công thức chuỗi:
( ) ( )
a a a
j j j j
k a k a a k
ij j ij j j j ij
t t u t
E E E
w t w t u t w
(2.47)
trong đó: a ( - )
j
a d
j j
E
t t t
;
1 1
{ ( )}
( ) ( )
NI m
k k a
a ij i j
j j i k
k k
ij ij
k a
i j
w y t u t
w w y t
(2.48) Với giả thiết u tj thay đổi tuyến tính bậc nhất so với t trong khoảng lân cận giá trị tại thời điểm đạt đến mức ngưỡng kích hoạt đột biến:
1 1
1 1
( ) ( ) ( ) ( ( ) / )
I
j ng
j ng
a
j j
j
a N m
k k a a
j j j u u j ij i j j
i k
j j
u u
t t u
u t u t u t w y t t
t u
(2.49) do đó:
1 1
( 1
( ( ) / )
( ) - ) ( )
I j
N m
k k a a
ij i j j
i k
k k a a d k a
ij i j j j i j
w y t t
w y t t t y t
(2.50)
với
1 1
( 1
( ( ) / )
- )
j NI m
k k a a
ij i j j
i k
a d
j j
w y t t
t t
(2.51)
- Đối với lớp ẩn
Để truyền ngược sai số trong các lớp ẩn, sai số i đối với từng nơron trong lớp I với thời điểm kích động thực tế tia:
1 1
( ) ( )
( ) ( ) ( ) ( )
J a a J a
N N
a a a
j j j j j
i i i
i a a a a a a a j a
j j
i i i i i j j j i i i i
t u t u t
t E t E t
u t t u t t u t t u t t
(2.52)
Các thành phần trong (2.52) được tính như sau:
- Thành phần thứ nhất:
1 1
1 1
( ) ( )
( ( ) / )
H
a i
a N L
i l l a a
i i
a hi h i i
i h l
t u t u t
w y t t
t
-Thành phần thứ hai:
1 1
1
( )
NI m
k k a
k a
a ij i j m
i j
i k
j j k
a a ij a
i i k i
w y t u t y t
t t w t
Như vậy đối với lớp ẩn, quy tắc điều chỉnh trọng số như sau:
1 1
1 1
( ) ( )
( ( ) / )
J
H
k a
N m
i j
k a k
h i j ij a
j k
k k a i
hi h i i N L
l l a a
hi h i i
h l
y t
y t w
y t t
w y t t
w
(2.53)
Quy tắc điều chỉnh trọng số trong phương trình (2.53) với SNN nhiều lớp ẩn bằng cách tính theo ảnh hưởng lan truyền ngược sai số.
Thuật toán SpikeProp được thực hiện theo các bước sau [51]:
Bước 1: Xác định chuỗi đột biến đầu vào TS t1, , ,..., t2 t3 tSI; chuỗi đột biến đầu ra đích Td tdj ; Chọn giá trị sai số trung bình bình phương mong muốn E0mà bài toán cần đạt được;
Bước 2: Xác định cấu trúc SNN (số nơron trong lớp đầu vào S H , số nơron lớp ẩn SIvà số nơron lớp đầu ra SJ, số khớp kết nối m);
Bước 3: Khởi tạo ma trận trọng số ban đầu; tính toán lan truyền thuận theo công thức (2.44) với các trọng số W0 đã chọn, so sánh giá trị ngưỡng, xác định thời điểm kích hoạt thực tế taj ;
Bước 4: Xác định hàm sai số trung bình bình phươngE giữa tập đột biến đầu ra mong muốn Td tdj và thực tế Ta taj theo biểu thức (2.45);
Bước 5: Đối với lớp đầu ra J , Tính j cho tất cả các đầu ra theo (2.51);
điều chỉnh trọng số lớp ra theo (2.50);
Bước 6: Đối với lớp ẩn I , tính i cho tất cả nơron theo (2.52); Điều chỉnh trọng số các lớp ẩn theo (2.53);
Bước 7: Thuật toán SpikeProp sẽ lặp lại từ bước 2 đến bước 7 cho đến khi sai số trung bình bình phương E E0.
Bước 8: Xác định chuỗi đột biến đầu ra Tavà sai lệch chuẩn.