1.3. Mạng nơron nhân tạo
1.3.1. Mạng nơron sinh học
Não bộ con người là một mạng lưới khoảng 1011 tế bào thần kinh hay cịn gọi là nơron. Chúng cĩ cấu trúc và chức năng tương đối đồng nhất. Các nhà nghiên cứu sinh học về bộ não con người đã đưa ra kết luận rằng các nơron là đơn vị đảm nhiệm những chức năng nhất định trong hệ thần kinh bao gồm não, tuỷ sống và các dây thần kinh. Hình 1.5 chỉ ra cấu tạo của hệ thống tế bào sinh học này.
17
Hình 1.5. Cấu trúc cơ bản của nơron sinh học
Cấu trúc của một nơron được chia thành 3 phần chính: Phần thân, hệ thống dây thần kinh tiếp nhận và sợi trục thần kinh ra. Hệ thống dây thần kinh tiếp nhận tạo thành một mạng lưới dày đặc xung quanh thân tế bào (chiếm diện tích khoảng 0.25 mm2). Chúng là đầu vào để đưa các tín hiệu điện đến thân tế bào. Thân tế bào cĩ nhân bên trong sẽ tổng hợp các tín hiệu vào và sẽ làm thay đổi điện thế của bản thân nĩ. Khi điện thế này vượt quá một mức ngưỡng thì nhân tế bào sẽ kích thích đưa một xung điện ra sợi trục thần kinh ra. Sợi trục thần kinh ra cĩ thể dài một vài centimet đến vài met. Nĩ cĩ thể phân thành nhiều nhánh theo dạng hình cây để nối với các dây thần kinh vào của nhiều tế bào khác hoặc cĩ thể nối trực tiếp đến thân tế bào của duy nhất một nơron. Việc kết nối này được thực hiện nhờ các khớp nối. Số khớp nối của mỗi nơron cĩ thể lên tới hàng trăm ngàn. Người ta tính tốn rằng mạng lưới dây thần kinh ra và các khớp nối chiếm khoảng 90% diện tích bề mặt nơron. Các tín hiệu điện truyền trên các sợi dây thần kinh cũng như hiệu điện thế của nhân tế bào là kết quả của quá trình phản ứng và giải phĩng của các chất hữu cơ được đưa ra từ các khớp nối dẫn đến dây thần kinh vào. Xung điện đưa ra sợi trục axon sẽ truyền tới các khớp nối với đầu vào của các nơron khác và sẽ kích thích giải phĩng các chất truyền điện.
Thân nơron thần kinh
Khớp Synapse ) ( Sợi trục ( axon ) Nhân ) body ( Nhánh hình cây ) dendrites (
18
Tuỳ theo việc tăng hay giảm hiệu điện thế mà người ta chia thành hai loại khớp nối là khớp nối kích thích và khớp nối ức chế. Cường độ tín hiệu mà một tế bào thần kinh nhận được phụ thuộc chủ yếu vào mức độ liên kết của khớp nối. Các nghiên cứu chỉ ra rằng quá trình học của mạng nơron sinh học chính là việc thay đổi mức độ liên kết của các khớp nối. Chính cấu trúc mạng nơron và mức độ liên kết của các khớp nối đã tạo nên chức năng của hệ thần kinh con người. Quá trình phát triển của hệ thần kinh là một quá trình “học” liên tục. Ngay từ khi chúng ta sinh ra, một số cấu trúc thần kinh đơn giản đã được hình thành. Sau đĩ các cấu trúc khác lần lượt được xây dựng thêm nhờ quá trình học. Do đĩ cấu trúc mạng nơron liên tục biến đổi để ngày càng phát triển hồn thiện.
Một vấn đề đặt ra là dựa trên những kết quả nghiên cứu về hệ thần kinh con người chúng ta cĩ thể mơ phỏng, xây dựng lên các hệ thần kinh nhân tạo nhằm phục vụ cho một chức năng nào đĩ khơng. Nghiên cứu trả lời câu hỏi này đã đưa ra một hướng phát triển mới: Mạng nơron nhân tạo.
1.3.2. Mạng nơron nhân tạo
1.3.2.1 Giới thiệu về mạng nơron
Định nghĩa: Mạng nơron nhân tạo, Artificial Neural Network (ANN) là một
mơ hình xử lý thơng tin phỏng theo cách thức xử lý thơng tin của các hệ nơron sinh học. Nĩ được tạo nên từ một số lượng lớn các phần tử (nơron) kết nối với nhau thơng qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đĩ. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu...) thơng qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là q trình hiệu chỉnh trọng số liên kết giữa các nơron [4]
19
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
• Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều.
• Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wkj. Thơng thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong q trình học mạng.
• Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nĩ.
• Ngưỡng (cịn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền.
• Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nĩ nhận đầu vào là kết quả của hàm tổng và ngưỡng. • Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ cĩ tối đa là một
đầu ra. 66 667 667 f x1 x2 yk • • Hàm truyền • • Hàm tổng Đầu ra 6677 xN • • bk Ngưỡng Trọng số liên kết Đầu vào
20
Xét về mặt tốn học, cấu trúc của một nơron k, được mơ tả bằng cặp biểu thức sau:
Uk = ∑𝑝𝑗=1𝑊kjXj và Yk = f (uk - bk )
Trong đĩ: x1, x2, ..., xp: là các tín hiệu vào; (wk1, wk2, ..., wkp) là các trọng số liên kết của nơron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơron. Như vậy nơron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền).
Một số hàm truyền thơng dụng
Hàm truyền Đồ thị Định nghĩa
Symmetrical Hard Limit (hardlims) Linear (purelin)
Saturating Linear (satlin)
21 Log-Sigmoid (logsig) Bảng 1.1. Một số hàm truyền thơng dụng 1.3.2.2 Một số kiểu mạng Nơron
Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của mạng. Các nơron trong mạng cĩ thể kết nối đầy đủ (fully connected) tức là mỗi nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau. Người ta chia ra hai loại kiến trúc mạng chính [4]
Tự kết hợp (autoassociative): là mạng cĩ các nơron đầu vào cũng là các nơron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp.
Hình 1.7. Mạng tự kết hợp
♦ Kết hợp khác kiểu (heteroassociative): là mạng cĩ tập nơron đầu vào và đầu ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron), mạng Kohonen, … thuộc loại này.
22
Hình 1.8. Mạng kết hợp khác kiểu
Ngồi ra tùy thuộc vào mạng cĩ các kết nối ngược (feedback connections) từ các nơron đầu ra tới các nơron đầu vào hay khơng, người ta chia ra làm 2 loại kiến trúc mạng.
♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng khơng cĩ các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng khơng lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron. Các mạng nơron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ khơng ảnh hưởng tới tầng đĩ. Các mạng kiểu Perceptron là mạng truyền thẳng.
Hình 1.9. Mạng truyền thẳng
♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng cĩ các kết nối từ nơron đầu ra tới nơron đầu vào. Mạng lưu lại các trạng thái trước đĩ, và trạng thái tiếp theo khơng chỉ phụ thuộc vào các tín hiệu đầu vào mà cịn phụ thuộc vào các trạng thái trước đĩ của mạng. Mạng Hopfield thuộc loại này.
23
Hình 1.10. Mạng phản hồi