4. Đề nghị cho bảo vệ hay không?
3.2.4 Hàm kích hoạt
Các hàm kích hoạt (Activation Function) là các phương trình toán học xác định đầu ra của mạng nơron. Hàm này được gắn vào mỗi nơ-ron trong mạng và xác định xem nó có nên được kích hoạt hay không (khởi động), dựa trên việc mỗi đầu vào nơ-ron thần kinh có phù hợp với dự đoán mô hình hay không [1]. Chúng giúp loại bỏ nhiễu bất thường và chuyển từ mô hình tuyến tính sang mô hình phi tuyến tính. Các chức năng kích hoạt cũng giúp bình thường hóa đầu ra của mỗi nơ ron đến một phạm vi từ 0 đến 1 hoặc giữa -1 và 1 hoặc phạm vi khác.
Sau mỗi lớp chập, hàm kích hoạt được áp dụng. Nếu hàm kích hoạt không được áp dụng, mô hình sẽ hoạt động rất đơn giản, bởi vì tổng của tất cả các lớp vẫn sẽ là một mô hình tuyến tính, có nghĩa là đầu ra có thể được tính là sự kết hợp tuyến tính của các đầu ra. Một phương trình tuyến tính dễ giải quyết nhưng chúng bị giới hạn về độ phức tạp và có ít khả năng hơn để học các ánh xạ chức năng phức tạp từ dữ liệu. Mạng thần kinh không có hàm kích hoạt sẽ chỉ đơn giản là mô hình hồi quy tuyến tính, có khả năng giới hạn và hầu như không hoạt động tốt trong hầu hết trường hợp. Chúng tôi muốn mạng lưới thần kinh của chúng tôi không chỉ học và tính toán một hàm tuyến tính mà còn một cái gì đó phức tạp hơn thế. Do đó, một hàm phi tuyến tính sẽ giúp chúng ta làm điều đó. Hầu hết các loại chức năng kích hoạt phổ biến như
Sigmoid, Tanh, ReLU.
Hình 3.8 Các Activation Function phổ biến