Mỗi nơron (nút) là một ñơn vị xử lý thông tin của mạng, nơron là yếu tố cơ bản
ñể cấu tạo nên mạng nơron.
Hình 2.6: Cấu trúc 1 nơron (Neural)
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 34
wkp1-wkp3: Trọng số của từng ñầu vào; F(.): Hàm hoạt ñộng;
yk: Kết xuất của nơron;
b: Thông sốảnh hưởng ñến ngưỡng ra của mạng. Phân loại cấu trúc mạng nơron.
a. Mạng dẫn tiến một lớp
ðây là cấu trúc mạng nơron ñơn giản nhất. Mạng nơron này chỉ gồm 1 lớp xuất, không có lớp ẩn.
Hình 2.7: Mạng dẫn tiến một lớp. b. Mạng dẫn tiến nhiều lớp
Hình 2.8: Cấu trúc mạng nơron nhiều lớp.
Mạng Nơron nhiều lớp có thể giải quyết các bài toán phi tuyến nhờ vào các lớp
ẩn. Các lớp ẩn này xen giữa các input bên ngoài và output của mạng. Càng nhiều lớp
ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều input và output. Ngoài ra còn có mạng hồi quy và mạng nơron dạng lưới.
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 35
Nelson và IIlingworth (1991) ñã ñưa ra mộy số loại cấu trúc của mạng nơron như hình 2.9. Nơron ñược vẽ là các vòng tròn xem như một tế bào thần kinh, chúng có các mối liên hệ ñến các nơron khác nhờ các trọng số, lập thành các ma trận trọng số
tương ứng.
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp các trọng số. Mạng một lớp truyền thẳng (Single- Layer Feedforward Network) như hình 2.9.a Có thể nối vài lớp nơron với nhau tạo thành mạng nhiều lớp truyền thẳng (Multi- Layer Feedforward Network) như hình 2.9.b Hai loại mạng nơron một lớp và nhiều lớp ñược gọi là truyền thẳng nếu ñầu ra của mỗi nơron ñược nối với các ñầu vào của các nơron của lớp trước ñó. Mạng nơron phản hồi là mạng mà ñầu ra của mỗi nơron
ñược quay trở lại nối với ñầu vào của các nơron cùng lớp ñược gọi là mạng Laeral như
hình 2.9.c .
Mạng nơron phản hồi có thể thực hiện ñóng vòng ñược gọi là mạng nơron hồi quy (Recurrent Network) như hình 2.9.d .
Hình 2.9: Một số cấu trúc mạng.
Các nơron lớp vào trực tiếp nhận tín hiệu ởñầu vào, ởñó mỗi nơron chỉ có một tín hiệu vào. Mỗi nơron ở lớp ẩn ñược nối với tất cả các nơron lớp vào và lớp ra. Các nơron ở lớp ra có ñầu vào ñược nối với tất cả các nơron ở lớp ẩn, chúng là ñầu ra của mạng. Cần chú ý rằng một mạng nơron cũng có thể có nhiều lớp ẩn. Các mạng nơron trong mỗi nơron chỉ ñược liên hệ với tất cả các nơron ở lớp kế tiếp và tất cả các mối
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 36
liên kết chỉñược xây dựng từ trái sang phải ñược gọi là mạng nhiều lớp truyền thẳng (perceptrons).
c. Luật học
Thông thường mạng nơron ñược ñiều chỉnh hoặc ñược huấn luyện ñể hướng các ñầu vào riêng biệt ñến ñích ở ñầu ra. Cấu trúc huấn luyện mạng ñược chỉ ra trên hình 2.10. Ở ñây, hàm trọng của mạng ñược ñiều chỉnh trên cơ sở so sánh ñầu ra với
ñích mong muốn (taget) cho tới khi ñầu ra mạng phù hợp với ñích. Những cặp vào/ñích (input/taget) ñược dùng ñể giám sát cho sự huấn luyện mạng.
Hình 2.10: Cấu trúc huấn luyện.
ðể có ñược một số cặp vào/ra, ở ñó mỗi giá trị vào ñược gửi ñến mạng và giá trị ra tương ứng ñược thực hiện bằng mạng là sự xem xét và so sánh với giá trị mong muốn. Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không hoàn toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương của tất cả các sai số. Sai số này ñược sử dụng ñể xác ñịnh các hàm trọng mới. Sau mỗi lần chạy, hàm trọng của mạng ñược sửa ñổi với ñặc tính tốt hơn tương ứng với ñặc tính mong muốn. Từng cặp giá trị vào/ra phải ñược kiểm tra và trọng lượng ñược ñiều chỉnh một vài lần. Sự thay
ñổi các hàm trọng của mạng ñược dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị ñặt trước hoặc ñã chạy ñủ một số lần chạy xác ñịnh (trong trường hợp này mạng có thể không thoả mãn yêu cầu ñặt ra do sai lệch còn cao) có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số về
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 37
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến ñổi cấu trúc của mạng nơron gồm số lượng nút (node) và các mẫu liên kết Nhiệm vụ của việc học thông số là bằng cách nào ñó, tìm ñược ma trận chính xác mong muốn từ ma trận giả thiết ban ñầu với cấu trúc của mạng nơron có sẵn. ðể làm ñược việc ñó, mạng nơron sử dụng các trọng số ñiều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần ñúng ma trận W cần tìm ñặc trưng cho mạng, có ba phương pháp học:
o Học có giám sát ( Supervised Learning). Là quá trình học ở mỗi thời
ñiểm thứ i khi ñưa tín hiệu xi vào mạng nơron, tương ứng sẽ có các ñáp ứng mong muốn di của ñầu ra cho trước ở thời ñiểm ñó. Hay nói cách khác, trong quá trình học có giám sát, mạng nơron ñược cung cấp liên tục các cặp số liệu mong muốn vào –ra ở
từng thời ñiểm (x1 ,d1), (x2, d2),… (xk, dk),…khi cho tín hiệu vào thực là xk sẽ tương
ứng có tín hiệu ñầu ra cũng ñược lặp lại là dk giống như mong muốn. Kết quả của quá trình học có giám sát là tạo ñược một hộp ñen có ñầu vào là véc tơ tín hiệu vào X sẽ ñưa ra ñược câu trả lời ñúng d.
ðể ñạt ñược kết quả mong muốn trên, khi ñưa vào tín hiệu xk, thông thường sẽ
có sai lệch ek giữa tín hiệu ñầu ra thực yk với tín hiệu ñầu ra mong muốn dk. Sai lệch
ñó sẽ ñược truyền ngược tới ñầu vào ñể ñiều chỉnh thông số mạng nơron là ma trận trọng số W…Quá trình cứ thế tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả nhận ñược ma trận trọng số
với các phần tử wijñã ñược ñiều chỉnh phù hợp với ñặc ñiểm của ñối tượng hay hàm số mạng nơ ron cần học. Mô hình học có giám sát ñược minh hoạ như hình sau:
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 38
o Học củng cố:(Reinforcement Learning). Là phương pháp học trong ñó tín hiệu d ñược ñưa từ bên ngoài nhưng không ñược ñầy ñủ mà có thể chỉñưa ñại diện 1 bít ñể có tính chất kiểm tra quá trình ñúng hay sai. Tín hiệu ñó ñược gọi là tín hiệu củng cố (Reinforcement Signal). Phương pháp học củng cố chỉ là một phương pháp học riêng của phương pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chỉ ñạo từ
bên ngoài. Chỉ khác là tín hiệu củng cố có tính ước lượng hơn là ñể dạy. Tín hiệu giám sát bên ngoài d thường ñược tiến hành bởi các tín hiệu ước lượng ñể tạo thông tin ước lượng cho mạng nơ ron ñiều chỉnh trọng số với hy vọng sự ước lượng ñó mang lại sự
chính xác trong quá trình tính toán. Mô hình củng cốñược minh hoạ như hình 2.11.
o Học không có giám sát (Unsupervied Learning).
Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài. Giá trị mục tiêu
ñiều khiển không ñược cung cấp và không ñược tăng cường. Mạng phải khám phá các mẫu, các nét ñặc trưng, tính cân ñối, tính tương quan… Trong khi khám phá các ñặc trưng khác, mạng nơron ñã chải qua việc tự thay ñổi thông số, vấn ñềñó ñược gọi tự tổ chức (Self- Organizing). Mô hình học không có giám sát ñược minh hoạ như hình 2.12.
Hình 2.12: Mô hình học không có giám sát.
Cấu trúc chung của quá trình học ñược mô tả như hình 2.13.
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 39
Trong ñó tín hiệu vào xj, (j=1,2,3…,m) có thể ñược lấy từ ñầu ra của các nơron khác hoặc có thể ñược lấy từ bên ngoài. Tín hiệu mong muốn di có sẵn chỉ có trong phương pháp học có giám sát hoặc củng cố. Từ hai phương pháp học trên, trọng số của nơron thứ i ñược thay ñổi tuỳ theo tín hiệu ởñầu vào mà nó thu nhận và giá trị ñầu ra của nó. Trong phương pháp học không có giám sát sự thay ñổi của trọng số chỉ dựa trên cơ sở các giá trị ñầu vào và ñầu ra. Dạng tổng quát của luật học trọng số của mạng nơron là cho biết gia số của véc tơ wi là ∆wi tỷ lệ với tín hiệu học r và tín hiệu ñầu vào x(t): ∆wi(t) = ηr.x(t); (2.4) η: Là hằng số học, xác ñịnh tốc ñộ học và là một số dương; r: Là tín hiệu học . r = fr(wi,x,di) ; (2.5) Biểu thức (2.4) là biểu thức chung ñể tính số gia của trọng số, ta thấy trọng số: wi = (wi1, wi2, …, wim)T ; có gia số tỷ lệ với tín hiệu vào x và tín hiệu học r. Từ các biểu thức trên ta có véc tơ trọng sốở thời ñiểm (t+1) ñược tính là: w i(t+1) = wi(t) + η.fr{wi (t), x(t), di(t)}.x(t) ; (2.6)
Vấn ñề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát hay không có giám sát là tín hiệu học r như thế nào ñể thay ñổi hoặc cập nhật trọng số
có trong mạng nơron. Có 2 phương pháp cơ bản ñể huấn luyện mạng nơron: Huấn luyện gia tăng (tiến dần) và huấn luyện theo gói. Sự huấn luyện theo gói của mạng nhận ñược bằng việc thay ñổi hàm trọng và ñộ dốc trong một tập (batch) của véc tơ ñầu vào. Huấn luyện tiến dần là thay ñổi hàm trọng và ñộ dốc của mạng sau mỗi lần xuất hiện của một phần tử véc tơñầu vào. Huấn luyện tiến dần ñôi khi ñược xem như
huấn luyện trực tuyến hay huấn luyện thích nghi. Mạng nơron ñã ñược huấn luyện ñể
thực hiện những hàm phức tạp trong nhiều lĩnh vực ứng dụng khác nhau như trong nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và ñiều khiển hệ thống theo.
Thông thường ñể huấn luyện mạng nơron, người ta sử dụng phương pháp huấn luyện có giám sát, nhưng cũng có mạng thu ñược từ sự huấn luyện không có giám sát.
Trường ðại học Nông nghiệp Hà Nội – Luận văn thạc sỹ kỹ thuật……….. ……… 40
Mạng huấn luyện không giám sát có thể ñược sử dụng trong trường hợp riêng ñể xác
ñịnh nhóm dữ liệu.