3.5. Mạng nơ-ron nhân tạo và ứng dụng ANN trong xâydựng mơ hình chuyển dịch
3.5.2. Cấu trúc mạng nơ-ron nhân tạo
3.5.2.1. Hàm xử lý - Hàm kết hợp
Hàm kết hợp (aj) có nhiệm vụ kết hợp các giá trị đưa vào nơ-ron thông qua các liên kết với các nơ-ron khác. Trong công thức (3.14) nếu wji > 0 nơ-ron ở trạng thái kích thích và ngược lại nếu wji < 0 nơ-ron ở trạng thái kiềm chế.
- Hàm truyền (hàm kích hoạt)
Một trong những ưu điểm của mạng nơ-ron là có khả năng biểu diễn phi tuyến tính rất tốt. Thực hiện được điều đó là nhờ vào hàm truyền hay hàm kích hoạt trong mạng. Q trình biến đổi giá trị aj thành tín hiệu đầu ra zj được thực hiện bởi hàm kích hoạt zj = h(aj). Hàm kích hoạt thường bị ép vào một khoảng giá trị xác định. Nơ- ron có thể sử dụng nhiều loại hàm truyền khác nhau để tạo ra tín hiệu đầu ra. Các hàm truyền hay được sử dụng là:
+ Hàm tuyến tính (Linear function, Identity function) h(x) = x
Nếu sử dụng hàm này thì đầu ra của mạng có thể lấy bất kỳ giá trị nào theo giá trị đầu vào.
Hình 3. 19: Đồ thị của hàm đồng nhất
+ Hàm bước nhị phân (Hàm ngưỡng)(Binary step function, Hard limit function): Dạng hàm này hay được dùng trong các mạng chỉ có một lớp. Đầu ra của hàm này được giới hạn vào một trong hai giá trị:
ℎ(𝑥) = {1 𝑛ế𝑢 𝑥 < 𝜃
0 𝑛ế𝑢 𝑥 > 𝜃 (3.15)
Hình 3. 20: Đồ thị của hàm bước nhị phân
+ Hàm sigmoid (Sigmoid function (logsig))
ℎ(𝑥) = 1
1+𝑒−𝑥 (3.16)
Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện (trained) bằng thuật tốn lan truyền ngược, bởi vì nó dễ lấy đạo hàm, nhờ vậy sẽ giảm đáng kể tính tốn trong q trình huấn luyện mạng. Hàm truyền logsig tạo giá trị đầu ra rơi vào khoảng [0,1] khi giá trị đầu vào biến thiên từ -∝ đến +∝.
+ Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig))
ℎ(𝑥) =1−𝑒−𝑥
1+𝑒−𝑥 (3.17)
Hàm này có các thuộc tính tương tự hàm sigmoid. Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1].
Hình 3. 22: Đồ thị của hàm sigmoid lưỡng cực 3.5.2.2. Cấu trúc mạng nơ-ron 3.5.2.2. Cấu trúc mạng nơ-ron
Mạng nơ-ron là sự liên kết các đầu vào và ra của nhiều nơ-ron với nhau. Cấu trúc của mạng nơ-ron được xác định bởi: sự liên kết giữa các nơ-ron, số lớp và số nơ- ron trên mỗi lớp. Dựa vào số lớp hoặc sự liên kết giữa các lớp trong mạng mà có thể phân mạng nơ-ron thành các nhóm khác nhau.
a. Phân loại theo số lớp
Dựa theo số lớp thì mạng nơ-ron có mạng một lớp và mạng nhiều lớp.
- Mạng một lớp (Simple perceptron): Lớp vào đồng thời cũng là lớp ra. Mạng này chỉ dùng cho các bài tốn mang tính chất tuyến tính, đơn giản.
Hình 3. 23: Mơ hình mạng nơron một lớp.
- Mạng nhiều lớp (Multi layer perceptron - MLP)
Mạng nhiều lớp được tạo nên từ nhiều lớp liên kết với nhau, bao gồm một lớp vào, một hoặc nhiều lớp ẩn và một lớp ra. Trong đó, lớp nhận tín hiệu đầu vào được gọi là lớp vào. Lớp vào thường khơng thực hiện phép tốn xử lý. Các tín hiệu đầu ra
của mạng được tạo thành bởi lớp ra của mạng. Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp ẩn. Lớp ẩn khơng có bất kỳ tiếp xúc nào với mơi trường bên ngồi, nó thực hiện tính tốn các tín hiệu vào và truyền kết quả tính tốn được cho lớp ra. Do có thêm lớp ẩn nên mạng nhiều lớp được sử dụng trong các bài toán phức tạp, các bài toán phi tuyến tính.
Hình 3. 24: Mơ hình mạng nơ-ron 3 lớp truyền thẳng
b. Phân loại theo sự liên kết giữa các lớp
Sự liên kết trong mạng nơ-ron sẽ tạo ra cấu trúc mạng. Có rất nhiều kiểu liên kết giữa các lớp trong mạng, nhưng thường hay gặp một số cấu trúc sau:
- Mạng truyền thẳng (Feedforward neural networks)
Dữ liệu đầu vào từ nơ-ron đầu vào đến các nơ-ron đầu ra chỉ được truyền thẳng. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp, nhưng khơng có các liên kết ngược hay khơng có các liên kết từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hoặc các lớp trước. Mạng truyền thẳng có từ 1 lớp ẩn trở lên gọi là mạng truyền thẳng nhiều lớp. Hình 3.24 là một minh họa về mạng truyền thẳng nhiều lớp.
- Mạng hồi quy (mạng nối ngược) (Recurrent neural network)
c. Lớp ẩn và số nơ-ron trong lớp ẩn
+ Số lớp ẩn
Mạng nơ-ron có thể nhiều hơn một lớp ẩn. Song, các nghiên cứu khoa học đã chứng minh rằng một lớp ẩn duy nhất là đủ để ANN có thể tính tốn được với độ phức tạp của hàm phi tuyến tính [23], [37], [56]. Với các bài tốn sử dụng nhiều hơn hai lớp ẩn, vì số lớp ẩn sử dụng càng nhiều thì cơng thức tốn học của mạng càng phức tạp, lúc này, các chương trình máy tính cài đặt các công thức sẽ hoạt động với tốc độ chậm hơn trong quá trình huấn luyện mạng nên trong thực tế, phần lớn các bài toán cụ thể thường sử dụng một lớp ẩn cho ANN.
+ Số nơ-ron trong lớp ẩn
Khi thiết kế mạng, việc lựa chọn số nơron trong lớp ẩn cũng rất quan trọng. Sử dụng quá ít nơ-ron sẽ dẫn đến việc khơng nhận dạng được các tín hiệu đầy đủ trong một tập dữ liệu phức tạp. Sử dụng quá nhiều nơ-ron sẽ tăng thời gian huấn luyện mạng. Số lượng của các nơ-ron trong lớp ẩn phụ thuộc rất nhiều vào các yếu tố như số đầu vào, đầu ra của mạng, độ nhiễu của dữ liệu đầu ra mong muốn (dữ liệu đầu ra thực tế), độ phức tạp của hàm mục tiêu, kiến trúc mạng, thuật toán luyện mạng.
Trong phần lớn các trường hợp, để xác định được số nơ-ron trong một lớp ẩn thì cách tốt nhất là sử dụng phương pháp thử - sai (trial – and - error). Có thể sử dụng phương pháp lựa chọn tiến (forward selection) hay lựa chọn lùi (backward selection) để xác định số nơ-ron trong lớp ẩn. Lựa chọn tiến bắt đầu với việc chọn các thông số hợp lý cho việc đánh giá hiệu năng của mạng. Sau đó, chọn số lượng nơ-ron trong lớp ẩn là một số nhỏ, huấn luyện và thử mạng, ghi lại hiệu năng của mạng. Tiếp theo sẽ tăng số lượng các nơ-ron trong lớp ẩn lên một ít, luyện và thử lại mạng cho đến khi kết quả của hàm mục tiêu đạt yêu cầu đã đặt ra, hoặc kết quả huấn luyện không thay đổi nhiều so với kết quả của lần huấn luyện trước. Ngược lại, lựa chọn lùi bắt đầu với một số lớn nơ-ron trong lớp ẩn, sau đó giảm dần. Tóm lại, q trình này rất mất thời gian nhưng sẽ giúp tìm được số lượng nơ-ron phù hợp cho lớp ẩn.