Chƣơng 3 Tổng quan về mạng nơron nhân tạo
3.3.2.2.Phân loại mạng nơron nhân tạo
3.3. Mô hình mạng nơron
3.3.2.2.Phân loại mạng nơron nhân tạo
Cũng như các nơron sinh học, nơron nhân tạo có thể liên kết với nhau để tạo thành mạng nơron nhân tạọ
Dựa vào số lớp có trong mạng:
- Mạng một lớp: là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi
một phần tử.
- Mạng nhiều lớp: Gồm một lớp đầu vào và một lớp đầu ra riêng biệt, Các lớp
nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (hiđen layers).
- Mạng truyền thẳng: Là mạng hai hay nhiều lớp mà quá trình truyền tín hiệu
từ đầu ra của lớp này đến đầu vào lớp kia theo một hướng.
- Mạng phản hồi: Là mạng trong đó có một hoặc nhiều đầu ra của phần tử lớp
sau truyền ngược tới đầu vào lớp trước.
- Mạng tự tổ chức: Là mạng có khả năng sử dụng những kinh nghiệm quá khứ
để thích ứng với những biến đổi của môi trường (không dự báo trước). Loại mạng này thuộc nhóm tự học, thích nghi không cần có tín hiệu chỉ đạo bên ngoàị
Một số mô hình mạng nơron cơ bản được mô tả trong các hình saụ
Hình 3.8. Mạng truyền thẳng một lớp
Hình 3.11. Mạng phản hồi một lớp.
Hình 3.12. Mạng phản hồi nhiều lớp.
3.3.2.3. Phƣơng thức làm việc của mạng nơron
Phương thức làm việc của mạng nơron nhân tạo có thể chia làm hai giai đoạn: - Tự tái tạo (Reproduction)
- Giai đoạn học (Learning Phase)
Ở một mạng nơron có cấu trúc bền vững có nghĩa là véctơ hàm trọng lượng đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi về mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo các nơron trong mạng. Ở đầu vào của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng. Đối với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi đầu vào xuất hiện thông tin, còn đối với mạng có hàm truyền đạt động thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp ứng.
Mạng nơron khi mới hình thành chưa có tri thức, tri thức của mạng hình thành dần sau một quá trình học. Mạng nơron được dạy bằng cách dựa vào những đầu vào kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của mạng. Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách đúng đắn. Đó có thể là những vấn đề áp dụng khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và đáp ứng đầu rạ
3.3.2.4.Các luật học
Như đã trình bày, học là vấn đề quan trọng trong mạng nơron.
Cấu trúc huấn luyện mạng được chỉ ra trong hình 3.13. Ở đây hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn cho tới khi đầu ra mạng phù hợp với đích. Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng.
Hình 3.13. Cấu trúc huấn luyện mạng nơron
Có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số về trọng số, cập nhật kết nối giữa các nơron.
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng nơron gồm nhiều mạng nút (node) và các mẫu liên kết.
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron có sẵn.
Để làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng. Có ba phương pháp học:
- Học có giám sát (Supervised Learning):
Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu xi vào mạng nơron,
tương ứng sẽ có đáp ứng mong muốn dicủa đầu ra cho trước ở thời điểm đó (hình
3.14). Hay, trong quá trình học có giám sát, mạng nơron được cung cấp liên tục các cặp số liệu mong muốn vào/ra ở từng thời điểm (x1,d1), (x2,d2),…,(xk,dk),…khi
cho đầu vào thực của mạng là xk tương ứng sẽ có tín hiệu đầu ra cũng được lặp lại
là dkgiống như mong muốn. Kết quả của quá trình học có giám sát là tạo được một
hộp đen có đầu vào là véctơ tín hiệu vào x sẽ đưa ra được câu trả lời đúng là d. Để đạt được kết quả mong muốn nói trên khi đưa tín hiệu vào xk, thông thường sẽ có sai lệch ekgiữa tín hiệu đầu ra ykvà tín hiệu đầu ra mong muốn dk. Sai lệch đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơron là ma trận trọng số W…Quá trình cứ tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả ta nhận được ma
trận trọng số W với các trọng số wij đã được điều chỉnh phù hợp với đặc điểm của
đối tượng hay hàm số mạng nơron cần học.
- Học củng cố (Reinforcement Learning):
Tín hiệu d có thể được đưa từ bên ngoài môi trường (hình 3.14), tín hiệu này có thể không được đưa đầy đủ mà chỉ đưa đại diện 1bit có tính chất kiểm tra quá
trình đúng hay saị Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcementsignal).
Phương pháp học củng cố thực chất chỉ là 1 trường hợp của phương pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chủ đạo (giáo viên) phản hồi từ môi trường. Chỉ khác là tín hiệu củng cố có tính ước lượng hơn là để dạỵ Có nghĩa là chỉ đưa ra kết quả tốt hay xấu cho một số tín hiệu đầu ra cá biệt.
- Học không có giám sát (Unsupervised Learning):
Học không có giám sát hoàn toàn không có tín hiệu từ bên ngoài (hình 3.15). Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường. Mạng phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan,…trong khi tự khám phá các đặc trưng mạng tự thay đổi thông số, vấn đề đó còn gọi là tự tổ chức (Self - Organizing).
Hình 3.16. Sơ đồ cấu trúc chung của quá trình học
Trong đó:
: là số dương còn được gọi là hằng số học, xác định tốc độ học.
r: là tín hiệu học, r fr(wi,x,di). (3.8)
Hình 3.16 mô tả cấu trúc chung quá trình học của ba phương pháp học đã nêu trên. Trong đó tín hiệu vàoXjvới j1,2,3,...,m, có thể được lấy từ đầu ra của các
nơron khác hoặc được lấy từ bên ngoàị Thông số ngưỡng icó thể được bao trong
việc học như là một trọng số thứ m: Wimcủa tín hiệu vào có giá trị Xm 1, tín hiệu mong muốndichỉ có sẵn trong phương pháp học có giám sát hoặc học củng cố.
Dạng tổng quát của luật học trọng số của mạng nơron cho biết gia số của véctơ wilà
i w
tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t).
wi(t).r.x(t) (3.9)
Từ (3.9) là biểu thức để tính số gia của trọng số, ta thấy véctơ trọng số
T im i
i
i w w w
w ( 1, 2,..., ) có gia số với tỷ lệ của tín hiệu vào x và tín hiệu học r. Từ các
biểu thức trên ta có véctơ trọng số ở thời điểm (t+1) được tính là.
)) ( ) ( ), ( ), ( ( . ) ( ) 1 (t w t f w t x t d t x t wi i r i i (3.10)
Với chỉ số trên là thời điểm tính toán. Phương trình liên quan đến sự thay đổi trọng số trong mạng nơron rời rạc và tương ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức.
( ) .r.x(t)
dt t
dwi (3.11)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng số có trọng số mạng nơron.
3.3.3. Mô hình toán học mạng nơron truyền thẳng và mạng nơron hồi quy quy
3.3.3.1. Mạng nơron truyền thẳng
a, Mạng truyền thẳng một lớp
Là mô hình liên kết cơ bản và đơn giản nhất. Các nơron tổ chức lại với nhau tạo thành một lớp, tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào được nối với các nơron theo trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi các tín hiệu đầu rạ
Hình 3.17. Mô hình mạng truyền thẳng 1 lớp
Với mỗi giá trị đầu vào T
m X X X
X [ 1, 2,..., ] qua quá trình xử lý của mạng sẽ thu
được đầu ra tương ứng T
n Y Y Y
Y [ 1, 2,..., ] với phương pháp xác định như sau:
( ) 1 m j i ij i i f W X y i 1.n (3.12) Trong đó:
n: số tín hiệu ra T in i i T j w w w
W [ 1, 2,... ] là véc tơ trọng số của nơron thứ i
i
f : là hàm kích hoạt của nơron thứ i
: là ngưỡng của nơron thứ i
b, Mạng truyền thẳng nhiều lớp
Khi giải bài toán phức tạp thì mạng nơron truyền thẳng một lớp với cấu trúc đơn giản sẽ gặp rất nhiều khó khăn. Để khắc phục nhược điểm này người ta đã xây dựng mạng truyền thẳng gồm nhiều lớp kết hợp với nhaụ Lớp nhận tín hiệu gọi là lớp đầu vào (input layer), lớp đưa tín hiệu đầu ra gọi là lớp đầu ra (output layer), các lớp ở giữa gọi là lớp ẩn (hiđen layers). Cấu trúc mạng nhiều lớp truyền thẳng được thể hiện trong hình sau:
Hình 3.18. Mạng nơron nhiều lớp truyền thẳng
Mỗi liên kết gắn với một trọng số, trọng số này được thêm vào trong quá trình tín hiệu đi qua liên kết đó. Các trọng số có thể dương thể hiện trạng thái kích thích, hay âm thể hiện trạng thái kiềm chế. Mỗi nơron tính toán mức kích hoạt của chúng bằng cách cộng tổng các đầu vào và đưa ra hàm chuyển. Một khi đầu ra của tất cả các nơron trong một lớp mạng cụ thể đã thực hiện xong tính toán thì lớp kế tiếp có thể bắt đầu thực hiện tính toán của mình bởi vì đầu ra của lớp hiện tại tạo ra đầu vào của lớp kế tiếp. Khi tất cả các nơron đã thực hiện tính toán thì kết quả được trả lại bởi các nơron đầu rạ Tuy nhiên, có thể là chưa đúng yêu cầu, khi đó một thuật toán huấn luyện cần được áp dụng để điều chỉnh các tham số của mạng.
3.3.3.2. Mạng nơron hồi quy
Mạng hồi quy còn được gọi là mạng phản hồi, là loại mạng tự liên kết thành các vòng và liên kết hồi quy giữa các nơron. Mạng nơron hồi quy có trọng số liên kết đối xứng như mạng Hopfield luôn hội tụ về trạng thái ổn định. Mạng liên kết hai chiều là mạng thuộc nhóm mạng nơron hồi quy hai lớp nơron liên kết tay đôi, trong đó đảm bảo nơron trong cùng một lớp không liên kết với nhau, cũng hội tụ về trạng thái ổn định. Nghiên cứu mạng nơron hồi quy có trọng số liên kết không đối xứng sẽ gặp nhiều phức tạp hơn so với mạng truyền thẳng và mạng hồi quy đối xứng. Mạng nơron hồi quy có khả năng về nhận mẫu, nhận dạng các hàm phi tuyến, dự báo,...một ưu điểm khác của mạng nơron hồi quy là chỉ cần mạng nhỏ hơn về cấu trúc cũng có khả năng như mạng truyền thẳng có cấu trúc lớn hơn.
Hình 3.19. Mạng nơron hồi quy một lớp
Hinh 3.20. Mạng nơron hồi quy nhiều lớp
a, Mạng nơron hồi quy không hoàn toàn
Cấu trúc mạng nơron hồi quy không hoàn toàn phần lớn là cấu trúc truyền thẳng nhưng có cả sự lựa chọn cho một bộ phận có cấu trúc hồi quỵ Trong nhiều trường hợp, trọng số của cấu trúc hồi quy được duy trì không đổi, như vậy luật học
thẳng được xảy ra rất nhanh hoặc không phụ thuộc vào thời gian. Mạng có thể nhận dãy mẫu dựa vào tình trạng cuối cùng của dãy và có thể dự báo tiếp theo cho tín hiệu của dãy theo thời gian. Như vậy, mạng hồi quy không hoàn toàn cơ bản là mạng truyền thẳng, liên kết hồi quy có thể đi từ các nút ở các lớp ra hoặc lớp ẩn.
b, Mạng nơron hồi quy hoàn toàn
Là một trong những mạng nơron hồi quy đầu tiên được Gossberg xây dựng để học và biểu diễn các mẫu bất kỳ. Loại mạng hồi quy hoàn toàn có tác dụng nhận số lượng mẫu nhiều hơn. Với mạng hồi quy hoàn toàn đã hình thành quan điểm thực hiện và luyện mạng hồi quy từ mạng truyền thẳng nhiều lớp được xây dựng từ một lớp cho mỗi bước tính. Khái niệm này được gọi là lan truyền ngược theo thời gian phù hợp khi quan tâm đến các dãy với độ lớn T là nhỏ.
Mạng truyền thẳng và mạng hồi quy là hai mô hình tiêu biểu của mạng nơron nhân tạo, mỗi loại mạng có những ưu nhược điểm riêng. Nắm vững ưu nhược điểm của chúng sẽ giúp ta lựa chọn mô hình mạng thích hợp cho từng ứng dụng. Ưu nhược điểm của từng mô hình thể hiện qua những nhận định sau:
- Mạng truyền thẳng 1 lớp dễ phân tích nhưng không mô tả được mọi hàm. Mạng nhiều lớp khắc phục được nhược điểm trên nhưng lại rất khó phân tích và gặp khó khăn trong quá trình xây dựng mạng. Mặt khác mạng truyền thẳng nhiều lớp có thể gây sai số tích lũy qua các lớp.
- Mạng phản hồi một lớp có cấu trúc đơn giản vì thế dễ phân tích, không chứa sai số tích lũỵ
- Mạng truyền thẳng chỉ đơn thuần tính toán tín hiệu ra dựa trên các tín hiệu vào và trọng số liên kết giữa các nơron đã xác định sẵn trong mạng. Do đó chúng không có trọng số bên trong nào khác ngoài trọng số W.
- Mạng hồi quy, trạng thái bên trong của mạng được lưu trữ tại các ngưỡng của nơron. Hay mạng hồi quy không ổn định, mạng cần phải tính toán rất lâu, thậm chí có thể lặp vô hạn trước khi đưa ra kết quả mong muốn. Quá trình học của mạng hồi quy cũng phức tạp hơn mạng truyền thẳng rất nhiềụ Tuy vậy, các mạng hồi quy có thể cho phép mô phỏng các hệ thống tương đối phúc tạp trong thực tế.
3.4. PHẠM VI ỨNG DỤNG CỦA MẠNG NƠRON3.4.1. Những bài toán thích hợp 3.4.1. Những bài toán thích hợp
Mạng nơron được coi như một hộp đen để biến đổi véctơ đầu vào m biến thành véctơ đầu ra n biến. Tín hiệu ra có thể là các tham số thực, số biến của véctơ ra không hạn chế song sẽ ảnh hưởng tới thời gian tính và tải dữ liệu của máy tính. Nói chung bài toán có thể áp dụng cho mạng nơron có 4 loại:
- Mô hình hóa (Modening). - Phân loại (classification).
- Liên kết và kỹ thuật dịch chuyển cửa sổ (asosiation and moving window). - Biến đổi, thực hiện ánh xạ từ không gian đa biến này vào không gian đa biến khác tương ứng (Transformation ađ mapping).
3.4.1.1. Mô hình hóa
Các hệ thống phân loại đưa ra các câu trả lời rời rạc như có, không hoặc một số nguyên định danh các đối tượng đầu vào thuộc lớp nàọ Mô hình hoá yêu cầu hệ thống phải sản sinh ra các câu trả lời mang tính liên tục. Trong quá trình mô hình hoá cần một lượng số liệu để xây dựng mô hình. Mô hình này có thể đưa ra các dự báo cho tất cả các đối tượng đầu vàọ Việc tìm ra đường cong phù hợp với các số liệu thực nghiệm là một trong những ứng dụng thuộc dạng nàỵ Trong bất kỳ loại mô hình nào cũng phải tuân theo một giả định là: Các thay đổi nhỏ của tín hiệu vào chỉ gây ra những biến đổi nhỏ của tín hiệu rạ
Trong các vấn đề đa biến mạng nơron có nhiều ưu thế hơn so với các mô hình