CHƯƠNG I NGHIÊN CỨU TỔNG QUAN VỀ MÔ HÌNH DỰ BÁO NGHIÊN CỨU TỔNG QUAN VỀ MÔ HÌNH DỰ BÁO
2.1. TỔNG QUAN VỀ MẠNG NEURA NHÂN TẠO
M ng Neural nh n t o (ANN) là m h nh xử lý th ng tin ƣ m phỏng trên ho t ng hệ thống thần kinh sinh vật o gồm số lƣ ng l n Neural ƣ g n kết ể xử lý th ng tin. ANN giống nhƣ não on ngƣ i ƣ họ ởi kinh nghiệm (th ng qu huấn luyện) ó kh n ng lưu gi nh ng kinh nghiệm hiểu iết (tri th ) và sử ụng nh ng tri th ó trong việ o n liệu hƣ iết (unseen data).
C ng ụng m ng Neural ƣ sử ụng trong rất nhiều lĩnh v nhƣ iện iện tử kinh tế qu n s … ể gi i quyết ài to n ó ph t p và òi hỏi ó h nh x o nhƣ iều khiển t ng kh i ph liệu nhận ng …
2.1.1. Kiến trúc tổng quát của một ANN
Kiến tr hung m t ANN gồm 3 phần ó là Input L yer Hi en L yer và Output Layer [3] (h nh 2.1)
Trong ó l p ẩn (Hi en l yer) gồm Neural nhận liệu input từ Neural ở Input Layer và huyển ổi thong so này ho l p xử lý tiếp theo.
Trong ANN ó thể ó nhiều Hi en L yer.
Processing Elements (PE): là Neural mỗi Neural nhận liệu vào (Input) xử lý h ng và ho r m t kết qu (Output) uy nhất. Output c a m t Neural ó thể làm Input ho Neural kh .
Quá trình xử lý thông tin của một ANN
M t Neural là m t ơn vị xử lý th ng tin và là thành phần ơ n m t m ng ANN. Cấu tr m t ANN ƣ m t nhƣ h nh 2.2
Inputs: Mỗi Input tương ng v i 1 thu t nh ( ttri ute) liệu (p tterns) nhận t n hiệu từ ên ngoài.
Output: Kết qu m t ANN là m t gi i ph p ho m t vấn ề. Gửi liệu r ên ngoài.
Connection Weight (Trọng số liên kết): Đ y là thành phần rất qu n trọng m t ANN nó thể hiện m qu n trọng liệu input ối v i qu tr nh xử lý th ng tin (qu tr nh huyển ổi liệu từ L yer này s ng l yer kh ). Qu tr nh họ (Learning Pro essing) ANN th r là qu tr nh iều hỉnh trọng số (Weight) input ể ó ƣ kết qu mong muốn.
Summation Function (Hàm tổng): T nh tổng trọng số tất input ƣ ƣ vào mỗi Neural (phần tử xử lý PE). Hàm tổng m t Neural ối v i n input ƣ t nh theo ng th s u:
∑
Hàm tổng ối v i nhiều Neural trong ng m t L yer
∑
(a) Single Neural
Y = X1W1 + X2W2
PE = processing element
(b) Several Neurals
Transformation (Transfer) Function (Hàm chuyển đổi): Hàm tổng (Summ tion Fun tion) m t Neural ho iết kh n ng k h ho t (A tiv tion) Neural ó òn gọi là k h ho t ên trong (intern l tiv tion). C Neural này ó thể sinh r m t output hoặ kh ng trong ANN (Có thể output 1 Neural ó thể ƣ huyển ến l yer tiếp trong m ng Neural theo hoặ kh ng). Mối qu n hệ gi Intern l A tiv tion và kết qu (output) ƣ thể hiện ằng hàm huyển ổi (Tr nsfer Fun tion).
Summation function: Y=3(0.2) +1(0.4) + 2(0.1) =1.2 Transformation (transfer) function: YT=1/(1+e-1.2) = 0.77
Y1=X1W11 + X2W21 Y2=X1W12 + X2W22 Y3= X2W23
Về việ l họn Tr nsfer Fun tion ó t ng l n ến kết qu ANN. Hàm huyển ổi phi tuyến ƣ sử ụng phổ iến trong ANN là sigmoid (logical activation) function.
YT = 1/ (1+ e-Y) Trong đó: YT là hàm huyển ổi và Y hàm tổng
Kết qu xử lý t i Neural (Output) i khi rất l n v vậy tr nsfer fun tion ƣ sử ụng ể xử lý output này trƣ khi huyển ến l yer tiếp theo. Đ i khi th y v sử ụng Tr nsfer Fun tion ngƣ i t sử ụng gi trị ngƣ ng (Threshol v lue) ể kiểm so t output Neural t i m t l yer nào ó trƣ khi huyển output này ến l yer tiếp theo. Nếu output m t Neural nào ó nhỏ hơn Threshol th nó sẽ kh ng ƣ huyển ến l yer tiếp theo.
2.1.2 Mô hình mạng Neural nhân tạo
M ng Neural nh n t o (Artifi i l Neural Network) o gồm n t ( ơn vị xử lý Neural) ƣ nối v i nh u ởi liên kết Neural. Mỗi liên kết k m theo m t trọng số nào ó ặ trƣng ho ặ t nh k h ho t/ hế gi Neural. Có thể xem trọng số là phương tiện ể lưu th ng tin ài h n trong m ng Neural và nhiệm vụ qu tr nh huấn luyện là ập nhật trọng số khi ó thêm th ng tin về mẫu h y nói m t h kh trọng số ƣ iều hỉnh s o ho ng iệu vào r nó m phỏng hoàn toàn ph h p m i trƣ ng ng xem x t.
Trong m ng m t số Neural ƣ nối v i m i trƣ ng ên ngoài nhƣ output, input.
Mỗi Neural nh n t o (n t) ƣ nối v i Neural kh và nhận t n hiệu xi từ h ng v i trọng số wi tổng th ng tin vào ó trọng số là:
∑
là thành phần tuyến t nh Neural. Hàm k h ho t f (hàm huyển) óng v i trò iến ổi từ s ng t n hiệu output z.
z =f(a) Trong ó:
- xi - c t n hiệu input;
- Wi - C trọng số tương ng v i input;
- n - số input c a Neural;
- a - Tổng trọng số c a mỗi Neural;
- f - Hàm k h ho t;
- z - là output c a Neural y là thành phần phi tuyến c a Neural.
Hàm k h ho t f thƣ ng ó 3 ng h y ng trong th tế: hàm ng ƣ hàm dấu & hàm singmo nhƣ h nh 2.4
Hàm ng ƣ c:
Hàm ấu
Hàm singmoi
Ở y ngƣ ng óng v i trò làm t ng t nh th h nghi và kh n ng t nh to n m ng Neural. Sử ụng ký ph p ve tor X= (x1, x2 … xn) ve tor t n hiệu vào W = (w1, w2 … wn) ve tor trọng số khi ó t ó:
Z = f(a), a=WS
Trƣ ng h p x t ngƣ ng t iểu iễn ve tor m i X’ = (x1, x2 … xn Ɵ) W = (w1, w2 … wn, -1)
Phân loại các mạng Neural
ANN là s liên kết Neur l nh n t o. S s p xếp ố tr Neur l và h th liên hệ gi h ng t o nên kiến tr m ng Neur l.
Theo h s p xếp Neur l th ó kiến tr m ng m t l p (single-l yer) là m ng hỉ ó m t l p r (h nh 2.7) và kiến tr m ng nhiều l p (multiple-l yer) là m ng ó l p ẩn (h nh 2.8).
Theo h liên hệ gi neur l th t ó m ng Neur l truyền thẳng (feel- forward Neural Network) và m ng Neur l hồi quy (re urrent Neur l Network).
Ngoài r òn m t lo i liên kết theo s ph n ố neur l trong kh ng gi n h i hiều trong m t l p gọi là liên kết ên (l ter l one tion). V i liên kết này Kohonen ã t o r lo i m ng t tổ h (Self – Organizing Neural Network).
Có thể ph n lo i m ng Neur l thành h i nhóm h nh trên thuật to n họ h ng là lo i họ h ng là lo i họ ó gi m s t (supervise ) và họ n gi m s t (unsupervise ).
Khác nhau giữa mạng Neural truyền thẳng và Neural hồi qui
Trong m ng Neural truyền thẳng liên kết Neural i theo m t hƣ ng nhất ịnh kh ng t o thành ồ thị ó hu tr nh (Dire te A y li Gr ph) v i ỉnh là Neural ung là liên kết gi h ng (h nh 2.4).
Ngƣ l i m ng qui hồi ho ph p liên kết Neural t o thành hu tr nh. V th ng tin r Neural ƣ truyền l i ho Neural ã góp phần k h ho t h ng nên m ng qui hồi òn ó kh n ng lưu gi tr ng th i trong nó ư i ng ngƣ ng k h ho t ngoài trọng số liên kết Neural (h nh 2.5).
Hình 2.5: M ng neural nhiều l p và truyền thẳng
Hình 2.6: M ng neural hồi qui
Theo số l p: C Neural ó thể tổ h l i thành l p s o ho mỗi Neural l p này hỉ ƣ nối v i Neural ở l p tiếp theo kh ng ho ph p liên kết gi Neural trong ng m t l p hoặ từ Neural l p ƣ i lên Neural l p trên. Ở y ũng kh ng ho ph p liên kết Neural nh y qu m t l p.
Dễ àng nhận thấy rằng Neural trong ng m t l p nhận ƣ t n hiệu từ l p trên ng m t l o vậy về nguyên t h ng ó thể xử lý song song. Th ng thƣ ng l p Neural vào hỉ hịu tr h nhiệm truyền ƣ t n hiệu vào kh ng th hiện m t t nh to n nào nên khi t nh số l p m ng ngƣ i t kh ng t nh l p vào.
a) M ng neural nhiều l p
Luật học của mạng Neural
Gi sử m ng Neural ó n Neural vào và m Neural r khi ó v i mỗi ve to t n hiệu vào X = (x1 … xn) s u qu tr nh t nh to n Neural ẩn t nhận ƣ kết qu r Z = (z1 z2 … zm). Theo nghĩ nào ó m ng Neural làm việ v i tƣ h m t ng tr mà kh ng ần iết ng phụ thu hàm tƣ ng minh gi Z và X. Khi ó ó thể viết:
Z=Tinh (X, NN)
C Neural trên ng m t l p ó thể t nh to n ồng th i o vậy ph t p t nh to n nói hung sẽ phụ thu vào số l p m ng. C th ng số ấu tr m ng Neural bao gồm: số t n hiệu input& output, số l p Neural, số Neural trên mỗi l p ẩn, số lƣ ng liên kết mỗi Neural (liên kết ầy liên kết phận và liên kết ngẫu nhiên) và c trọng số liên kết Neural.
M ng Neural nhƣ m t hệ thống th h nghi ó kh n ng họ (huấn luyện) ể tinh hỉnh trọng số liên kết ũng nhƣ ấu tr m ng s o ho ph h p v i mẫu họ (s mples). Có lo i kỹ thuật họ :
Học có giám sát (supervised learning)
M ng ƣ huấn luyện ằng h ung ấp ho nó ặp mẫu inputvà output mong muốn (t rget v lues). C ặp ƣ ung ấp ởi “thầy gi o” h y ởi hệ thống trên ó m ng ho t ng. S kh iệt gi output th tế so v i output mong muốn ƣ thuật to n sử ụng ể th h ng trọng số trong m ng. Điều này thƣ ng ƣ ƣ r nhƣ m t ài to n xấp xỉ hàm số - ho liệu huấn luyện o gồm ặp mẫu inputx và m t h tương ng t mụ h là t m r hàm f(x) thỏ mãn tất mẫu họ input.
Học bán giám sát (Unsupervised Learning)
V i h họ n gi m s t kh ng ó ph n hồi từ m i trƣ ng ể hỉ r rằng output m ng là ng. M ng sẽ ph i kh m ph ặ trƣng iều hỉnh mối tương qu n h y l p trong liệu vào m t h t ng. Trong th tế ối v i phần l n iến thể họ n gi m s t h tr ng v i input. Nói m t h kh họ kh ng ó thầy lu n th hiện m t ng việ tương t như m t m ng t liên h p ọng th ng tin từ liệu vào.
Học tăng cường
D liệu x thƣ ng kh ng ƣ t o trƣ mà ƣ t o r trong qu tr nh m t gent tương t v i m i trư ng. T i mỗi th i iểm t gent th hiện hành ng yt và m i trƣ ng t o m t qu n s t xt v i m t hi ph t th i Ct theo m t quy tr nh ng nào ó (thƣ ng là kh ng ƣ iết). Mụ tiêu là m t s h lƣ l họn hành ng ể tiểu hó m t hi ph ài h n nào ó nghĩ là hi ph t h lũy mong i. Quy tr nh ho t ng m i trƣ ng và hi ph ài h n ho mỗi s h lƣ thƣ ng kh ng ƣ iết nhƣng ó thể ƣ lƣ ng ƣ . M ng Neural nh n t o thƣ ng ƣ ng trong họ
t ng ƣ ng nhƣ m t phần thuật to n toàn ụ . C ài to n thƣ ng ƣ gi i quyết ằng họ t ng ƣ ng là ài to n iều khiển trò hơi và nhiệm vụ quyết ịnh tuần t (sequenti l e ision m king) kh .
2.1.3 Mạng truyền thẳng
M t m ng truyền thẳng nhiều l p o gồm m t l p vào m t l p r và m t hoặ nhiều l p ẩn. C Neural input th hất kh ng ph i Neural theo ng nghĩ ởi lẽ h ng kh ng th hiện ất kỳ m t t nh to n nào trên liệu vào ơn gi n nó hỉ tiếp nhận liệu vào và huyển ho l p kế tiếp. C Neural ở l p ẩn và l p r m i th s th hiện t nh to n kết qu ƣ ịnh ng ởi hàm output (hàm huyển). Cụm từ “truyền thẳng” (fee forw r ) (kh ng ph i là tr i nghĩ l n truyền ngƣ ) liên qu n ến m t th tế là tất Neural hỉ ó thể ƣ kết nối v i nh u theo m t hƣ ng: t i m t h y nhiều Neural kh trong l p kế tiếp (lo i trừ Neural ở l p r ). Trong nhiều ng ụng th tế ể ơn gi n ngƣ i t thƣ ng sử ụng m ng ó 1 l p ẩn số Neural trong l p ẩn ƣ x ịnh trên kinh nghiệm trên kỹ thuật t m kiếm kh nh u
Trong ó:
P - Vector input (vector c t);
Wi - Ma trận trọng số c Neural l p th I;
(sixi - s hàng (Neural) - R c t (số input))
bi - Ve tor lệch (bias) c a l p th i (Six1: cho S Neural);
ni - net input (Six1);
fi - Hàm huyển (hàm k h ho t);
ai - net output (Six1);
⊕ - Hàm tổng th ng thƣ ng.
Mỗi liên kết g n v i m t trọng số trọng số này ƣ thêm vào trong qu tr nh t n hiệu i qu liên kết ó. C trọng số ó thể ƣơng thể hiện tr ng th i k h th h h y m thể hiện tr ng th i kiềm hế. Mỗi Neural t nh to n m k h ho t h ng
ằng h ng tổng inputvà ƣ r hàm huyển. M t khi output tất Neural trong m t l p m ng ụ thể ã th hiện xong t nh to n th l p kế tiếp ó thể t ầu th hiện t nh to n m nh ởi v output l p hiện t i t o r input l p kế tiếp. Khi tất Neural ã th hiện t nh to n th kết qu ƣ tr l i ởi Neural output. Tuy nhiên ó thể là hƣ ng yêu ầu khi ó m t thuật to n huấn luyện ần ƣ p ụng ể iều hỉnh th m số m ng.
Trong h nh 2.9 số Neural ở l p th nhất và l p th h i tương ng là S1 và S2. M trận trọng số ối v i l p tương ng là W1 và W2. Có thể thấy s liên kết gi l p m ng thể hiện trong h nh vẽ: ở l p th 2 ve tor ầu vào h nh là net output l p th nhất.
Tương t như vậy nếu thêm vào l p kh n vào trong ấu tr này th l p m ng uối ng thƣ ng là l p ho r kết qu toàn m ng l p ó gọi là l p r (Output Layer). M ng ó nhiều l p ó kh n ng tốt hơn là m ng hỉ ó m t l p hẳng h n nhƣ m ng h i l p v i l p th nhất sử ụng hàm sigmoi và l p th h i ng hàm ồng nhất ó thể p ụng ể xấp xỉ hàm to n họ kh tốt trong khi m ng hỉ ó m t l p th kh ng ó kh n ng này. X t trƣ ng h p m ng ó h i l p nhƣ h nh vẽ ng th t nh to n ho output nhƣ s u:
a2 = f2 (W2 (f1 (W1P + b1)) + b2)
Trong ó ý nghĩ ký hiệu nhƣ ã nêu trong h nh vẽ 2.9 2.1.4 Thuật toán lan truyền ngƣợc (Back-Propagation)
Cần ó m t s ph n iệt gi kiến tr m t m ng và thuật to n họ nó m t trong mụ trên mụ h là nhằm làm r yếu tố về kiến tr m ng và h mà m ng t nh to n output từ tập input. S u y là m t thuật to n họ sử ụng ể iều hỉnh hiệu n ng m ng s o ho m ng ó kh n ng sinh r ƣ kết qu mong muốn.
Về ơ n ó h i ng thuật to n ể luyện m ng: họ ó gi m s t và n gi m s t. C m ng Neural truyền thẳng nhiều l p ư luyện ằng phương ph p họ ó gi m s t. Phương ph p này n n trên việ yêu ầu m ng th hiện h n ng nó và s u ó tr l i kết qu kết h p kết qu này v i output mong muốn ể iều hỉnh th m số m ng nghĩ là m ng sẽ họ th ng qu nh ng s i sót nó. Về ơ n thuật to n l n truyền ngƣ là ng tổng qu t thuật to n trung nh nh phương tối thiểu (Le st Me ns Squ re-LMS). Thuật to n này thu ng thuật to n xấp xỉ ể t m iểm mà t i ó hiệu n ng m ng là tối ƣu. Chỉ số tối ƣu (performance index) thƣ ng ƣ x ịnh ởi m t hàm số m trận trọng số và input nào ó mà trong qu tr nh t m hiểu ài to n ặt r .