Thông th ng, một neuron có nhi u h n 1 ngõ vƠo. Một neuron với R ngõ vƠo đ c thể hi n trên hình 3.9. Các ngõ vào riêng bi t p1, p2, …, pRđ c nhân với các thành nhân tố trọng sốt ng ng w1,1 , w1,2,…, w1,Rcủa ma trận trọng sốW.
Hình 3.9: Mô hình Neural nhi u ngõ vào Lúc này net input n sẽđ c biểu di n:
b p w p w p w net 1,1 1 1,2 2... 1,R R (3.5) 3.4.2 Ki n trúc m ng Neural
M ng n ron (Neural Network-NN) đ c hình thành b i các thành phần đ n gi n, ho t động song song. Nguồn gốc ý t ng hình thành m ng bắt nguồn t c ch c a m ng n ron c a sinh v t. Các ch c năng m ng đ c hi n th c b i t ng quan nối k t gi a các thành phần hay trong thu t ng chuyên ngƠnh th ng dùng là trọng số (weights).
Để m ng có thể đáp ng yêu cầu thì ph i đi u chỉnh các trọng số. Muốn v y ta ph i hu n luy n cho nó (training). Thông th ng để luy n cho m ng thì ta s d ng các cặp đầu vào và tham kh o đầu ra (inputs vƠ targets). Quá trình đi u chỉnh các trọng số đ c th c hi n dần dần sao cho đáp ng đầu ra c a m ng ti n tới gía trị targets một sai sốcho phép (th ng đ c gọi là goal).
Trang 33
Hình 3.10: Mô hình hu n luy n m ng Neural
3.4.2.1 M ng Neural đ n lớp
Một lớp m ng n ron với R inputs và Sn ron nh sau (hình 3.11)
Trong lớp này, mỗi y u tố c a vector input p, sẽ đ c nối với các n ron qua các thành phần t ng ng c a ma tr n trọng sốW. n ron th i sẽ có một bộ cộng để l y tổng input đƣ nhơn trọng số và thành phần phân c c cho ra net input n(i). Các n(i)
h p thành vector net input n=Wp+b.VƠ t ng ng đầu ra cũng lƠ một vector S phần t a =f(Wp+b) nh gi i thiê ̣u trên hình 3.11
Trang 34
Hình 3.12: D ng kí hi u c a m ng Neural đ n lớp
3.4.2.2 M ng Neural đa lớp
Một m ng có thể có nhi u lớp. Mỗi lớp có một ma tr n trọng số W, một vector phân c c b và ouput a.
Hình 3.13: M ng Neural đa lớp
Lớp n ron th c hi n ti p nh n các tín hi u vào gọi là lớp vào (Input Layer). Lớp n ron th c hi n đ a tín hi u ra gọi là lớp ra (Output Layer).
Gi a hai lớp n ron vƠo vƠ ra có một hoặc nhi u lớp n ron không liên h tr c ti p với môi tr ng bên ngoƠi đ c gọi là các lớp ẩn (Hidden Layer). M ng n ron truy n thẳng nhi u lớp có thể có 1 hoặc nhi u lớp n ron ẩn.
Trang 35
Hai lo i m ng n ron một lớp và nhi u lớp đ c gọi là truy n thẳng (Feedforward Network) n u đầu ra c a mỗi n ron đ c nối với các đầu vào c a các n ron cùng lớp đó hoặc đầu vào c a các n ron c a các lớp tr ớc đó. Trong m ng không tồn t i b t kỳ một m ch hồi ti p nào kể c hồi ti p nội l n hồi ti p t đầu ra tr v đầu vào.
M ng n ron bao gồm một hay nhi u lớp trung gian gọi là m ng MLP (Multilayer perceptrons Networks).
3.4.2.3 M ng Neural h i qui
Tr ớc khi th o lu n v m ng hồi quy, chúng ta cần giới thi u 1 số các khối xây d ng đ n gi n.
Khối delay, đ c thể hi n trên hình bên
Tín hi u ra delay a(t) đ c tín t các tín hi u vào u(t) ph thuộc công th c
a(t) = u(t-1)
Bộ tích phân
Ngõ ra c a bộ tích phân a(t) đ c tính t các ngõ vào u(t)
ph thuộc vào: t u d u t a 0 ) 0 ( ) ( ) ( Một m ng h i quy là 1 m ng truy n ng c, một số các ngõ ra c a m ng đ c nối với các ngõ vào c a nó.
Trang 36
Hình 3.14: M ng hồi quy
3.5 Phư ng th c làm vi c c a m ng Neural
Ph ng th c làm vi c c a một m ng n ron nhơn t o có thểchia lƠm 2 giai đo n: - Tự tái tạo (reproduction)
- Và giai đoạn học (learning phase)
một m ng n ron có c u trúc b n v ng có nghĩa lƠ véct hƠm trọng l ng đầu vào, khâu t o đáp ng và khâu t o tín hi u đầu ra đ u cố định không bị thay đổi v mặt c u trúc cũng nh tham số thì m ng có một quá trình truy n đ t xác định chắc chắn, tĩnh hoặc động ph thuộc vào c u t o c a các n ron trong m ng. đầu vào c a m ng xu t hi n thông tin thì đầu ra cũng xu t hi n một đáp ng t ng ng. Đối với m ng n ron có quá trình truy n đ t tĩnh,đáp ng đầu ra xu t hi n ngay sau khi đầu vào nh n đ c thông tin, còn đối với m ng n ron có quá trình truy n đ t động thì ph i sau một th i gian quá độ đầu ra c a m ng n ron mới xu t hi n đáp ng. Xu t phát t quan điểm mọi đáp ng c a m ng n ron đ u ti n định t nhiên, có nghĩa lƠ khi xu t hi n các kích thích đầu ra th i điểm t ng ng cũng hoƠn toàn giống nhau. Quá trình làm vi c nh v y c a một m ng n ron đ c gọi là quá trình tái di n (reproduction phase). Khi đó thông tin đầu vào m ng l u gi thông tin đó và d a trên các tri th c c a mình đ a ra các đáp ng đầu ra phù h p với l ng thông tin thu đ c t đầu vào.
M ng n ron khi mới hình thƠnh còn ch a có tri th c, tri th c c a m ng hình thành dần sau một quá trình học. M ng n ron đ c d y bằng cách d a vƠo đầu vào
Trang 37
nh ng kích thích và hình thành nh ng đáp ng t ng ng, nh ng đáp ng phù h p với t ng lo i kích thích sẽ đ c l u gi , giai đo n nƠy đ c gọi là giai đoạn học của mạng. Khi đƣ hình thƠnh tri th c m ng có thể gi i quy t các v n đ c thể một cách đúng đắn. Đó có thể là nh ng v n đ ng d ng r t khác nhau, đ c gi i quy t ch y u d a trên s tổ ch c h p nh t gi a các thông tin đầu vào c a m ng và các đáp ng đầu ra.
- Nhi m v c a một m ng liên k t là hoàn chỉnh hoặc hi u chỉnh các thông tin thu th p đ c không đầy đ hoặc bịtác động nhi u. M ng n ron kiểu nƠy đ c ng d ng trong lĩnh v c hoàn thi n m u, mà một trong lĩnh v c c thểđó lƠ nh n d ng ch vi t.
- Nhi m v tổng quát c a m ng n ron lƠ l u gi tác động thông tin. D ng thông tin l u gi đó chính lƠ quan h gi a các thồng tin đầu vào c a m ng và các đáp ng đầu ra t ng ng, để khi có một kích thích b t kỳ tác động vào m ng, m ng có kh năng suy di n vƠ đ a ra một đáp ng phù h p. Đó chính lƠ ch c năng nh n d ng theo m u c a m ng n ron. Để th c hi n ch c năng nƠy m ng n ron đóng vai trò nh một bộ ph n tổ ch c các nhóm thông tin đầu vƠo vƠ t ng ng với mỗi nhóm là một đáp ng đầu ra phù h p. Nh v y một nhóm bao gồm một lo i thông tin đầu vào và một đáp ng ra. Các nhóm có thể hình thành trong quá trình học vƠ cũng có thể hình thành không trong quá trình học.
- Trong lĩnh v c ng d ng, m ng n ron có kh năng t o ra các đáp ng đầu ra d a trên thông tin thu th p vào c a m ng, đi u đó có nghĩa lƠ ng với một thông tin xác định đầu vào c a m ng cung c p một đáp ng t ng ng xác định đầu ra. Nhìn trên quan điểm lý thuy t h thống, m ng n ron đ c coi nh một bộ x p xỉ thông tin, thi t bị này có kh năng cung c p một quá trình x lý mong muốn một cách chính xác. M c đích c a quá trình học là t o ra một tri th c cho m ng thông qua rèn luy n. Nguyên tắc học đ c th c hi n cho m ng mà c u trúc c a m ng cũng nh c a các phần t n ron cố định, chính lƠ thay đổi giá trị c a các phần t trong véc t hƠm trọng l ng, véc t ghép nối gi a các phần t n ron trong m ng. Các phần t nƠy đ c chọn sao cho quá trình truy n đ t mong muốn đ c x p xỉ
Trang 38
một cách đ chính xác nh bƠi toán yêu cầu. Nh v y, học chính là quá trình gi i bài toán tối u tham số.
3.6 Các lu t học
Nh phần trên đƣ trình bƠy, học là v n đ quan trọng trong m ng n ron. Có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu th c c p nh t các thông số v trọng số c p nh t k t nối gi a các n ron.
- Học cấu trúc (Structure Learning): Trọng tâm là s bi n đổi c u trúc c a m ng n ron gồm sốl ng nút (node) và các m u liên k t.
Có hai lo i học: Th c hi n đồng th i vƠ không đồng th i. Chúng ta t p trung vào phần học thông số.
Gi s ma tr n trọng số bao gồm t t c các phần t thích ng c a m ng n ron. Nhi m v c a vi c học thông số là bằng cách nƠo đó, tìm đ c ma tr n chính xác mong muốn t ma tr n gi thuy t ban đầu với c u trúc c a m ng n ron có sẵn. Để lƠm đ c vi c đó, m ng n ron s d ng các trọng số đi u chỉnh, với nhi u ph ng pháp học khác nhau có thể tính toán gần đúng ma tr n W cần tìm đặc tr ng cho m ng. Có ba ph ng pháp học:
- Học có giám sát (Supervised Learning): Là quá trình học có giám sát (Hình 3.14), mỗi th i điểm th i khi đ a tín hi u vào xi m ng n ron, t ng ng sẽ có các đáp ng mong muốn di c a đầu ra cho tr ớc th i điểm đó. Hay nói cách khác, trong quá trình học có giám sát, m ng n ron đ c cung c p liên t c các cặp số li u mong muốn vào - ra t ng th i điểm (x1, d1), (x2, d2)…(xk, dk)… khi cho đầu vào th c c a m ng là xk t ng ng sẽ có tín hi u đầu ra cũng đ c lặp l i là dk giống nh mong muốn. K t qu c a quá trình học có giám sát là t o đ c một hộp đen có đầu vƠo lƠ véc t tín hi u vào x sẽđ a ra đ c câu tr l i đúng d.
Để đ t đ c k t qu mong muốn trên, khi đ a vƠo tín hi u xk, thông th ng sẽ có sai l ch ek gi a tín hi u đầu ra th c yk và tín hi u đầu ra mong muốn dk. Sai l ch đó sẽ đ c truy n ng c tới đầu vƠo để đi u chỉnh thông số m ng n ron lƠ ma tr n trọng số W… Quá trình c th ti p di n sao cho sai l ch gi a tín hi n ra mong
Trang 39
muốn và tín hi u ra th c t trong ph m vi cho phép, k t qu ta nh n đ c ma tr n trọng số W với các phần t wij đƣ đ c đi u chỉnh phù h p với đặc điểm c a đối t ng hay hàm số m ng n ron cần học
Hình 3.15: Mô hình học có giám sát và c ng cố.
- Học c ng cố (Reinforcement Learning): Tín hi u có thểđ c đ a tín hi u d t bên ngoƠi môi tr ng (Hình 3.15), nh ng tín hi u này có thể không đ c đ a đầy đ , mà có thể chỉ đ a đ i di n 1 bít để có tính ch t kiểm tra quá trình đúng hay sai. Tín hi u đó đ c gọi là tín hi u c ng cố (Reinforcement Signal). Ph ng pháp học c ng cố chỉ là một tr ng h p c a ph ng pháp học có giám sát, b i vì nó cũng có nh n tín hi u chỉ đ o (giáo viên) ph n hồi t môi tr ng. Chỉ khác là tín hi u c ng cố chỉ có tính ớc l ng h n lƠ để d y. Có nghĩa lƠ chỉ có thể nói là tốt hay x u cho một số tín hi u đầu ra cá bi t. Tín hi u giám sát bên ngoƠi d th ng đ c ti n hành b i các tín hi u ớc l ng để t o thông tin tín hi u ớc l ng cho m ng n ron đi u chỉnh trọng số với hy vọng s ớc l ng đó m ng l i s tốt đẹp cho quá trình tính toán. Học c ng cố còn đ c gọi là học với s ớc l ng (Learning With a Critic).
- Học không có giám sát (Unsupervised Learning): Trong tr ng h p này, hoàn toàn không có tín hi u bên ngoài (Hình 3.16). Giá trị m c tiêu đi u khiển không đ c cung c p vƠ không đ c tăng c ng. M ng ph i khám phá các m u, các nét đặc tr ng, tính cơn đối, tính t ng quan… Trong khi khám phá các đặc tr ng khác, m ng n ron đƣ tr i qua vi c t thay đổi thông số, v n đ đó còn gọi là t tổ ch c (Self ậ Organizing).
Trang 40
Hình 3.16: Mô hình học không có giám sát
3.7 Vấn đ thi t k cấu trúc m ng
Mặc dù, v mặt lý thuy t, có tồn t i một m ng có thể mô phỏng một bài toán với độ chính xác b t kỳ.Tuy nhiên, để có thể tìm ra m ng này không ph i lƠ đi u đ n gi n. Để định nghĩa chính xác một ki n trúc m ng nh : cần s d ng bao nhiêu lớp ẩn, mỗi lớp ẩn cần có bao nhiêu đ n vị x lý cho một bài toán c thể là một công vi c h t s c khó khăn.
D ới đơy trình bƠy một số v n đ cần quan tâm khi ta thi t k một m ng.
3.8.1 Số lớp ẩn
Vì các m ng có hai lớp ẩn có thể thể hi n các hàm với dáng đi u b t kỳ, nên, v lý thuy t, không có lý do nào s d ng các m ng có nhi u h n hai lớp ẩn. Ng i ta đƣ xác định rằng đối với phần lớn các bài toán c thể , chỉ cần s d ng một lớp ẩn cho m ng lƠ đ . Các bài toán s d ng hai lớp ẩn hi m khi x y ra trong th c t . Vi c hu n luy n m ng th ng r t ch m khi mà số lớp ẩn s d ng càng nhi u. Lý do sau đây gi i thích cho vi c s d ng càng ít các lớp ẩn càng tốt:
Phần lớn các thu t toán luy n m ng cho các m ng n ron truy n thẳng đ u d a trên ph ng pháp gradient. Các lớp thêm vào sẽ thêm vi c ph i lan truy n các lỗi làm cho vector gradient r t không ổn đị nh. S thành công c a b t kỳ một thu t toán tối u theo gradient ph thuộc vƠo độ không thay đổi c a h ớng khi mà các tham sốthay đổi.
Số các c c trị địa ph ng tăng lên r t lớn khi có nhi u lớp ẩn. Phần lớn các thu t toán tối u d a trên gradient chỉ có thể tìm ra các c c trị địa ph ng, do v y chúng có thể không tìm ra c c trị toàn c c. Mặc dù thu t toán luy n m ng có thể
M ng Neural
Trang 41
tìm ra c c trị toàn c c, nh ng xác su t khá cao là chúng ta sẽ bị tắc trong một c c trị địa ph ng sau r t nhi u th i gian lặp vƠ khi đó, ta ph i bắt đầu l i.
3.8.2 Sốđ n vị trong lớp ẩn
Một v n đ quan trọng trong vi c thi t k một m ng là cần có bao nhiêu đ n vị trong mỗi lớp. S d ng quá ít đ n vị có thể d n đ n vi c không thể nh n d ng đ c các tín hi u đầy đ trong một t p d li u ph c t p, hay thi u ăn khớp