2.1 .1Tổng quan
2.2 Quá trình học
2.2.6 Một số yếu tố ảnh hướng đến quá trình học
Khởi tạo trọng số:
Các giá trị được khởi tạo ban đầu cho các trọng số trong mạng lan truyền ngược sai số ảnh hưởng rất lớn đến kết quả học cuối cùng của mạng. Các giá trị này thường được khởi tạo ngẫu nhiên trong phạm vi giá trị tương đối nhỏ. Thơng thường hàm kích hoạt sử dụng cho mạng MLP là hàm Sigmoid, vì vậy nếu ta chọn các giá trị trọng số khởi tạo lớn thì các hàm này có thể bão hồ ngay từ đầu và dẫn tới hệ thống có thể bị ngưng đọng.
Hằng số học cũng là một yếu tố quan trọng ảnh hưởng đến hiệu quả và độ hội tụ của giải thuật lan truyền ngược. Hằng số học này thường được chọn bằng thực nghiệm cho mỗi bài toán ứng dụng cụ thể bằng phương pháp thử sai.
Hàm mất mát:
Đây là một phương pháp đánh giá độ hiệu quả của một thuật tốn nào đó trên bộ dữ liệu cho trước. Hàm mất mát trả về một số thực không âm thể hiện sự chênh lệch giữa kết quả dự đoán và thực tế. Nếu kết quả dự đoán chênh lệch quá nhiều so với kết quả thực tế, hàm mất mát sẽ là một số rất lớn. Ngược lại, trong trường hợp lý tưởng kết quả thực tế bằng với kết quả dự đốn thì hàm mất mát sẽ trả về giá trị cực tiệu bằng 0. Trong mọi bài tốn học có giám sát, mục tiêu của việc huấn luyện mơ hình là giảm thiểu hàm mất mát xuống nhỏ nhất.
Có rất nhiều yếu tố trong việc lựa chọn hàm mất mát cho vấn đề cần giải quyết, ví dụ như loại thuật tốn máy học được sử dụng, độ phức tạp trong việc tính tốn đạo hàm và tỉ lệ phần trăm các thành phần ngoại lai trong tập dữ liệu. Hàm mất mát có thể được phân chia thành 2 loại dựa trên u cầu của mơ hình: Regression losses và Classification losses.
Học chưa đủ (Underfitting)
Khi mạng có cấu trúc (số nút ẩn và liên kết) cũng như số lần học chưa đủ so với yêu cầu của bài tốn thì sẽ dẫn tới tình trạng mạng khơng đủ khả năng mơ tả gần đúng mối quan hệ tương quan giữa đầu vào và đầu ra của quá trình cần dự báo và dẫn tới học chưa đủ.
Học quá (Overfitting)
Khi số lượng trọng số lớn hơn số mẫu học, kết quả huấn luyện tham số không phản ánh đúng hoạt động của mạng. Trong trường hợp này mạng có q nhiều thơng tin,
- Lựa chọn cấu trúc mơ hình phù hợp. - Dừng học đúng lúc.