CHƯƠNG 4 KẾT QUẢ NGHIÊN CỨU
4.4. Phân tích mơ hình mạng neural
4.4.1.3. Huấn luyện mạng
Q trình huấn luyện (training) hay cịn gọi là quá trình học (learning) là một quá trình lặp đi lặp lại nhằm giảm thiểu sai số dự báọ Trong quá trình huấn luyện, giá trị đầu vào được đưa vào mạng và theo dòng chảy trong mạng tạo thành giá trị ở đầu rạ Sau đó giá trị tạo ra bởi mạng neural sẽ được so sánh với giá trị thực tế, nếu sai lệch giữa hai giá trị này vượt quá giá trị sai số mong muốn thì mạng sẽ tự điều chỉnh các trọng số liên kết giữa các neural với mục đích làm giảm sai lệch giữa giá trị đầu ra của mạng và giá trị thực tế.
Kiểu huấn luyện
Batch: chương trình sẽ cập nhật các giá trị của trọng số liên kết sau khi huấn luyện tất cả các mẫụ Cách huấn luyện này làm giảm tổng số lỗi tốt nhất khi số mẫu nhỏ (bé hơn 500 mẫu).
Online: chương trình sẽ cập nhật giá trị trọng số sau một lượt chạy huấn luyện, kiểu huấn luyện này thích hợp với dữ liệu lớn.
Mini-batch: tương tự như kiểu huấn luyện Online, tuy nhiên ta có thể xác định được số lượt huấn luyện cụ thể mà chương trình sẽ cập nhật lại giá trị trọng số. Ở đây, bài nghiên cứu sử dụng kiểu huấn luyện Batch.
Phương pháp tối ưu hóa: dùng để điều chỉnh giá trị của trọng số liên kết sao cho giá trị hàm sai số là nhỏ nhất trong q trình huấn luyện, có 3 phương pháp:
Gradient descent (Độ dốc đạo hàm): là phương pháp tối ưu hóa có thể nhanh chóng tìm ra điểm sai số cực tiểu thấp nhất trong không gian mặt phẳng sai số. Conjugate descent (Độ dốc liên hợp): là phương pháp tối ưu hóa nhanh nhất,
tính tốn trên chuỗi các đường thẳng để tìm kiếm điểm cực trị trong khơng gian mặt phẳng sai số.
Phương pháp BFGS (the Broyden Fletcher Goldfarb Shanno): là phương pháp tối ưu hóa khá mạnh với khả năng hội tụ nhanh nhưng tốn nhiều bộ nhớ máy do phải xử lý và chứa các thông tin ma trận Hessian.