6 Ứng dụng
2.3 Mơ hình hồi quy luận lý và mơ hình học sâu lan truyền thuận
Mơ hình học sâu lan truyền thuận bao gồm ba phần cơ bản gồm tầng đầu vào (input layer), các tầng ẩn (hidden layers) và tầng đầu ra (output layer). Số tầng ẩn và số node của mỗi tầng ẩn do người cài đặt định nghĩa. Số tầng ẩn phải lớn hơn 1, nếu số tầng ẩn là 1 thì mơ hình trở thành mạng neuron nhân tạo. Một mơ hình học sâu lan truyền thuận hoạt động dựa trên:
• Lớp liên kết đầy đủ (fully connected layer)
• Hàm kích hoạt (activation)
• Lớp chuẩn hóa (normalization layer)
Lớp liên kết đầy đủ
Các node ở tầngn sẽ liên kết với các node ở tầng n+ 1 thông qua liên kết đầy đủ, tức mỗi node ở tầngn sẽ kết nối với toàn bộ các node ở tầng n+ 1. Gọi giá trị ở tầng
n là zn ∈Rk, bộ tham số giữa tầng n và tầng n+ 1 là θn ∈Rk×t, đầu ra ở tầng n+ 1 là zn+1 ∈Rt được định nghĩa dựa trên công thức (2.6).
zn+1=θT.zn. (2.6) Việc sử dụng quá nhiều liên kết có thể dẫn đến hiện tượng quá khớp (overfitting). Để giảm bớt hiện tượng q khớp, một vài mơ hình học sâu đề xuất sử dụng cơ chế loại bỏ (drop-out). Cơ chế này sẽ ngẫu nghiên loại bỏ một tỷ lệ các node, thường từ
Kiến thức nền tảng 15
Hàm kích hoạt
Ta nhận thấy phép liên kết đầy đủ chỉ là tổ hợp tuyến tính nên việc liên kết nhiều node khơng có ý nghĩa vì kết quả vẫn là tuyến tính. Để giải quyết vấn đề trên, hàm kích hoạt được dùng để bẻ gãy tuyến tính ở đầu ra của mỗi node. Các hàm kích hoạt cơ bản trong mạng học sâu được trình bày ở Hình 2.4. Ở giai đoạn đầu hàm,“sigmoid”
và hàm“tanh” thường được sử dụng. Gần đây hàm“ReLu” được sử dụng rộng rãi hơn bởi tính đơn giản và giảm hiện tượng biến mất đạo hàm (vashing gradient). Đây là hàm khơng có tham số học.