Rất nhiều hàm kết hợp sử dụng một độ lệch hay ngưỡng để tớnh đầu vào mạng tới đơn vị Đối với một đơn vị đầu ra tuyến tớnh, thụng thường j
được chọn là hằng số và trong bài toỏn xấp xỉ đa thức thỡ j 1
- Hàm kớch hoạt (hàm truyền): Phần lớn cỏc đơn vị trong mạng nơ-ron chuyển đầu vào mạng bằng cỏch sử dụng một hàm vụ hướng (scalar-to-scalar function) gọi là hàm kớch hoạt, kết quả của hàm này là một giỏ trị gọi là mức độ kớch hoạt của đơn vị Loại trừ khả năng đơn vị đú thuộc lớp ra, giỏ trị kớch hoạt được đưa vào một hay nhiều đơn vị khỏc Cỏc hàm kớch hoạt hay được sử dụng hiện nay là:
Hàm truyền tuyến tớnh (Linear transfer function) (hỡnh 1 2), được gọi là hàm đồng nhất (Identity function)
g x x
Hỡnh 1 2 Hàm truyền tuyến tớnh
(1 3)
Hàm truyền giới hạn cứng (Hard - Limit transfer function), được biết đến với tờn hàm ngưỡng (Threshold function hay Heaviside function) hay hàm bước nhị phõn Đầu ra hàm này được giới hạn vào một trong hai giỏ trị:
g(x) = 1, nếu x ≥ 0
0, nếu x < 0 (1 4)
Dạng hàm này được sử dụng trong cỏc mạng chỉ cú một lớp Trong hỡnh 1 3, được chọn bằng 1
Hỡnh 1 3 Hàm truyền giới hạn cứng
Hàm truyền dạng Sigma (Sigmoid transfer function) (hỡnh 1 4): Hàm này thuận lợi khi sử dụng cho cỏc mạng được huấn luyện bởi thuật toỏn lan truyền ngược (Back-propagation), bởi vỡ nú dễ lấy đạo hàm, do đú cú thể giảm đỏng kể tớnh toỏn trong quỏ trỡnh huấn luyện Hàm này hay được dựng cho chương trỡnh ứng dụng mà cỏc đầu ra mong muốn rơi vào khoảng [0,1]
g x 1
1 e x (1 5)
Hàm truyền dạng tang-sigma (tan-sigmoid transfer function) (hỡnh 1 5):
g x 1 e x
1 e x (1 6)
Hàm này cú thuộc tớnh tương tự hàm Sigma, cú khả năng làm việc tốt đối với cỏc ứng dụng cú đầu ra yờu cầu trong khoảng [-1, 1]
Hỡnh 1 5 Hàm truyền dạng tang-sigma
Cỏc hàm truyền của đơn vị ẩn (Hidden units) cần thiết cho việc biểu diễn sự phi tuyến vào trong mạng Tuy nhiờn, đối với luật học lan truyền ngược, hàm phải khả vi và sẽ cú ớch nếu như hàm được gắn trong một khoảng nào đú Do vậy, hàm Sigma là lựa chọn thụng dụng nhất
1 2 1 3 Cỏc hỡnh trạng của mạng
Hỡnh trạng của mạng được định nghĩa bởi: số lớp, số đơn vị trờn mỗi lớp và sự liờn kết giữa cỏc lớp như thế nào Cỏc mạng về tổng thể được chia thành hai loại dựa trờn cỏch thức liờn kết cỏc đơn vị:
- Mạng truyền thẳng (hỡnh 1 6): Dũng dữ liệu từ đơn vị đầu vào đến đơn vị đầu ra được truyền thẳng Việc xử lý dữ liệu cú thể mở rộng ra nhiều lớp, nhưng khụng cú cỏc liờn kết phản hồi Nghĩa là, khụng thể cú cỏc liờn kết mở rộng từ cỏc đơn vị đầu ra tới cỏc đơn vị đầu vào trong cựng một lớp hay cỏc lớp trước đú
Hỡnh 1 6 Mạng nơ-ron truyền thẳng nhiều lớp
- Mạng hồi quy (hỡnh 1 7): Cú chứa cỏc liờn kết ngược và khỏc với mạng truyền thẳng, cỏc thuộc tớnh động của mạng mới quan trọng Trong một số trường hợp, cỏc giỏ trị kớch hoạt của cỏc đơn vị trải qua quỏ trỡnh nới lỏng (tăng giảm số đơn vị và thay đổi cỏc liờn kết) cho đến khi mạng đạt đến một trạng thỏi ổn định và cỏc giỏ trị kớch hoạt khụng thay đổi nữa
Hỡnh 1 7 Mạng nơ-ron hồi quy
1 2 1 4 Cỏc luật học của mạng nơ-ron nhõn tạo
Luật học là một trong ba yếu tố quan trọng tạo nờn một mạng nơ-ron nhõn tạo (mụ hỡnh của nơ-ron, cấu trỳc và sự liờn kết giữa cỏc nơ-ron, phương phỏp học được ỏp dụng cho mạng nơ-ron) Cú hai vấn đề cần học đối với mỗi
mạng nơ-ron nhõn tạo đú là học tham số (parameter learning) và học cấu trỳc (structure learning)
Học tham số là việc thay đổi trọng số của cỏc liờn kết giữa cỏc nơ-ron trong một mạng, cũn học cấu trỳc là việc điều chỉnh cấu trỳc của mạng bao gồm thay đổi số lớp nơ-ron, số nơ-ron của mỗi lớp và cỏch liờn kết giữa chỳng Hai vấn đề này cú thể được thực hiện đồng thời hoặc tỏch biệt
Về mặt phương phỏp học, cú thể chia ra làm ba loại: học cú giỏm sỏt hay cũn gọi là học cú thầy (supervised learning), học tăng cường
(reinforcement learning) và học khụng cú giỏm sỏt hay cũn gọi là học khụng cú thầy (unsupperviced learning)
1 2 2 Nhận dạng hệ thống sử dụng mạng nơ-ron nhõn tạo [3,10]
Bài toỏn nhận dạng là một vấn đề đặt lờn hàng đầu trong nhiều cỏc lĩnh vực khỏc nhau như: điện tử y sinh, điện tử viễn thụng, hệ thống điện, tự động húa và điều khiển… Vớ dụ như: nhận dạng mụ hỡnh tàu thủy, nhận dạng võn tay, nhận dạng ký tự, ảnh, tiếng núi, phỏt hiện và chẩn đoỏn bệnh,
1 2 2 1 Khả năng sử dụng mạng nơ-ron trong nhận dạng
Xột trường hợp đối tượng phi tuyến cú độ phức tạp cao, nếu sử dụng phương phỏp giải tớch thụng thường để nhận dạng sẽ rất khú khăn, thậm chớ khụng thực hiện được do sự hiểu biết nghốo nàn về đối tượng Vỡ vậy, cỏc nhà khoa học đó đưa ra ý tưởng là sử dụng cụng cụ tớnh toỏn mềm như hệ mờ, mạng nơ-ron, đại số gia tử để xấp xỉ - chớnh là nhận dạng đối tượng Mạng nơron là một trong những cụng cụ hữu hiệu để nhận dạng mụ hỡnh đối tượng, bằng phương phỏp này ta khụng biết được mụ hỡnh toỏn thực sự của đối tượng nhưng hoàn toàn cú thể sử dụng kết quả xấp xỉ để thay thế đối tượng
1 2 2 2 Mụ hỡnh nhận dạng hệ thống sử dụng mạng nơ-ron
Nhận dạng mụ hỡnh là quỏ trỡnh xỏc định mụ hỡnh của đối tượng và thụng số trờn cơ sở đầu vào và đầu ra của đối tượng Mụ hỡnh thu được sau khi nhận dạng gọi là tốt nếu nú thể hiện được đỳng đối tượng Như vậy cú thể sử dụng mụ hỡnh thay cho đối tượng để dự bỏo, kiểm tra và điều khiển
Mạng nơron được huấn luyện để mụ hỡnh húa quan hệ vào ra của đối tượng Như vậy quy trỡnh nhận dạng mụ hỡnh cú bản chất là thuật toỏn huấn luyện mạng Cấu trỳc mạng nơ-ron giải bài toỏn nhận dạng mụ hỡnh rất đa dạng, tựy thuộc vào từng bài toỏn cụ thể
Nhận dạng tham số chớnh là huấn luyện mạng, được biểu diễn trờn Hỡnh 1 8 Tớn hiệu sai số e= y - ŷ là cơ sở cho quỏ trỡnh luyện mạng Mạng nơron ở đõy cú thể là mạng nhiều lớp hoặc cỏc dạng khỏc và cú thể sử dụng nhiều thuật toỏn huấn luyện mạng khỏc nhau
u Đối tượng y e yˆ Mạng nơ-ron Hỡnh 1 8 Mụ hỡnh nhận dạng cơ bản 1 2 2 3 Nhận dạng hệ thống sử dụng mạng nơron
Nhận dạng hệ thống cần hai giai đoạn là lựa chọn mụ hỡnh và tối ưu tham số Đối với mạng nơron lựa chọn số nỳt ẩn, số lớp ẩn (cấu trỳc của mạng) tương đương với mụ hỡnh lựa chọn Mạng cú thể được huấn luyện theo kiểu giỏm sỏt với kỹ thuật lan truyền ngược, dựa vào luật học sai số hiệu chỉnh Tớn hiệu sai số được lan truyền ngược qua mạng Kỹ thuật lan truyền
ngược sử dụng phương phỏp giảm gradient để xỏc định cỏc trọng số của mạng, vỡ vậy tương đương với tối ưu tham số
1 2 3 Phương phỏp ứng dụng mạng nơ-ron trong điều khiển
Cú nhiều phương phỏp khỏc nhau để biến mạng nơ-ron thành bộ điều khiển thớch nghi cho đối tượng điều khiển và cỏc phương phỏp đú cú thể được chia làm hai loại là điều khiển giỏn tiếp và điều khiển trực tiếp [5, 29, 30, 31] Phương phỏp điều khiển giỏn tiếp, dựng một mạng nơ-ron để nhận dạng và ước lượng cỏc thụng số của đối tượng điều khiển và cỏc thụng số của BĐK được lựa chọn dựa vào giả thiết cỏc thụng số đó được nhận dạng chớnh là giỏ trị chớnh xỏc của vộc tơ thụng số đối tượng điều khiển dựa trờn nguyờn lý tương đương Phương phỏp này khụng yờu cầu phải biết trước cỏc thụng số của đối tượng điều khiển Tuy nhiờn, nú yờu cầu, ngoài mạng nơ-ron đúng vai trũ bộ điều khiển, phải thờm vào một mạng nơ-ron khỏc dựng để mụ phỏng đối tượng điều khiển (hỡnh 1 9)
Bộ mụ phỏng nhận dạng đối tượng điều khiển cần một giai đoạn huấn luyện trước với một tập dữ liệu đủ lớn để nhận dạng cỏc mụ hỡnh động học chớnh xỏc hay mụ hỡnh nghịch đảo của đối tượng điều khiển
p
Hỡnh 1 10 Sơ đồ phương phỏp điều khiển trực tiếp [31]
Phương phỏp điều khiển trực tiếp (hỡnh 1 10), đơn giản hơn phương phỏp giỏn tiếp, khụng yờu cầu quỏ trỡnh huấn luyện trước để nhận dạng cỏc thụng số của đối tượng điều khiển và cung cấp cỏc luật thớch nghi để cập nhật cỏc hàm trọng lượng của mạng nơ-ron