6. Bố cục luận văn
2.3.1. Cấu trúc của ANN
Mạng nơron nhân tạo được xây dựng trên cơ sở kế thừa cấu trúc và sự hoạt động của mạng nơron sinh học. Sau đây chúng ta sẽ xem xét một cách tổng quan về cấu trúc và sự hoạt động của mạng nơron sinh học, từ đó có những hình dung về cấu trúc và sự hoạt động của mạng nơron nhân tạo.
Như đã biết bộ não người chứa đựng khoảng 1011
nơron liên kết với nhau ở mức cao, mỗi nơron có khoảng 104 liên kết tới các nơron khác. Mỗi nơron có ba thành phần chính gồm: dendrites (vòi thu nhận tín hiệu), cell body (nhân nơron), axon (trục chuyển tín hiệu). Vòi nhận tín hiệu có hình cây để nhận các tín hiệu đưa vào trong nhân của nơron. Nhân có nhiệm vụ tổng hợp các tín hiệu được thu nhận từ các vòi và kích hoạt nó, nếu vượt một ngưỡng nào đó thì tín hiệu sẽ được chuyển tới axon và truyền đến các nơron khác. Khớp nối giữa axon của một nơron với vòi của nơron khác gọi là synapse.[3]
Hình 2.6. Sơ đồ mạng nơron sinh học
Khi mới sinh ra bộ não người có cấu trúc đơn giản, và ngày càng được hoàn thiện bởi việc học của con người. Đó là việc thiết lập các liên kết giữa các nơron với nhau để biểu diễn tri thức của con người có được, từ đó xử lý các thông tin khác.
Mạng nơron nhân tạo không tiếp cận theo cách liên kết phức tạp của não người. Tuy nhiên chúng có 2 điểm chính tương tự nhau, đó là: xây dựng các khối đều là những phần tính toán đơn giản được kết nối với nhau ở mức cao; liên kết giữa các
nơron để xác định chức năng của mạng.
Mạng nơ-ron nhân tạo hay thường gọi ngắn gọn là mạng nơ-ron là một mô hình toán học hay mô hình tính toán được xây dựng dựa trên các mạng nơ-ron sinh học. Nó gồm có một nhóm các nơ-ron nhân tạo (nút) nối với nhau, và xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút. Trong nhiều trường hợp, mạng nơ-ron nhân tạo là một hệ thống thích ứng tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong chảy qua mạng trong quá trình học. [6]
Neural Network là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Neuron được gắn kết để xử lý thông tin. Neural Network giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết. [2]
Cấu trúc cơ bản của 1 Neural Network gồm: một lớp vào (input layer), một lớp ra (output layer) và một hay nhiều lớp ẩn (hidden layer). Mỗi lớp chứa nhiều Neural. Các Neural giữa các lớp liên kết với nhau. Hình minh họa cho một mạng Neural:
Với mỗi Neural có cấu trúc như sau: Giá trị đầu vào Trọng số weight
1 1
Hàm truyền Giá trị đầu ra 2
2
…
Giá trị bias
Hình 2.8. Sơ đồ khối tổng quát của 1 Nơ-ron trong Neural Network
Chi tiết về các thành phần của một Nơ-ron như sau:
Inputs : Mỗi Input tương ứng với 1 thuộc tính (attribute) của dữ liệu (patterns).
Connection Weights (Trọng số liên kết) Wij: Trọng số kết nối giữa đầu vào thứ
j với Nơ-ron i. Đây là thành phần rất quan trọng của một mạng Nơ-ron, nó thể hiện mức độ quan trọng (độ mạnh) của dữ liệu đầu vào đối với quá trình xử lý thông tin (quá trình chuyển đổi dữ liệu từ lớp này sang lớp khác). Quá trình học (Learning Processing) của mạng Nơ-ron thực ra là quá trình điều chỉnh các trọng số (Weight) của các input data để có được kết quả mong muốn. [1]
Giá trị Bias( ): Hay còn được gọi là độ lệch, được đưa vào để thể hiện sự thiên vị cho một thông số nào đầu vào nào đó trong mạng.
Summation Function (Hàm tổng): Tính tổng trọng số của tất cả các input được
đưa vào mỗi Nơ-ron. Hàm tổng của một Nơ-ron đối với n input được tính theo công thức sau:
∑ 1 +
Hàm tổng (summation function) của một Neural cho biết khả năng kích hoạt (activation) của neuron đó còn gọi là kích hoạt bên trong (internal activation). Các Neural này có thể sinh ra một output hoặc không trong mạng Neural (nói cách khác rằng output của 1 Neural có thể được chuyển đến lớp tiếp theo trong mạng Neural hoặc không). Mối quan hệ giữa internal activation và kết quả (output) được thể hiện bằng hàm chuyển đổi (transfer function). [1]
f( ) là hàm truyền hay còn gọi là hàm kích hoạt, trong đề tài này em sử dụng
hàm truyền sigmoid ở lớp ẩn và hàm softmax ở lớp ra
oHàm sigmoid: ( ) 1 1
Kết quả của sigmoid function thuộc khoảng [0,1] nên còn gọi là hàm chuẩn hóa (normalized function).
oHàm softmax: ( ) ∑
Kết quả của hàm softmax là dãy kết quả có tổng bằng 1. là đầu ra của Nơ-ron thứ i
Kết quả xử lý tại các Nơ-ron (output) đôi khi rất lớn, vì vậy transfer function được sử dụng để xử lý output này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng transfer function người ta sử dụng giá trị ngưỡng (threshold value) để kiểm soát các output của các Nơ-ron tại một lớp nào đó trước khi chuyển các output này đến các lớp tiếp theo. Nếu output của một Nơ-ron nào đó nhỏ hơn threshold thì nó sẻ không được chuyển đến lớp tiếp theo. [1]