3. Giới thiệu về mạng neural nhân tạo MPL và thuật tốn lan truyền ngược
3.3.2Hiệu quả của lan truyền ngược
Một trong những đặc tính quan trọng nhất của lan truyền ngược chính là ở khả năng tính tồn hiệu quả của nĩ [1].
Đặt w là tổng số các trọng số và trọng ngưỡng. Do đĩ một phép tính hàm lỗi (cho một mẫu nhập nào đĩ) cần O(w) thao tác với w đủ lớn. Điều này cho phép số lượng trọng số cĩ thể lớn hơn số lượng nút, trừ những mạng cĩ quá ít kết nối. Do vậy, hiệu quả của việc tính tốn trong lan truyền ngược sẽ liên quan đến việc tính giá trị của tổng trong cơng thức (I.35), cịn việc tính tốn các hàm
truyền thì tổng phí khá nhỏ. Mỗi lượt tính tổng trong (I.35) cần đến một phép nhân và một phép cộng, dẫn đến chi phí tính tốn tồn bộ sẽ bằng O(w). [1]
Với tất cả w trọng số thì sẽ cĩ w đạo hàm cần tính tốn. Với mỗi lần tính đạo hàm như vậy cần phải thực hiện tìm biểu thức hàm lỗi, xác định cơng thức tính đạo hàm và sau đĩ tính tốn chúng theo giải thuật lan truyền ngược, mỗi cơng việc đĩ sẽ địi hỏi O(w) thao tác. Như vậy tồn bộ quá trình tính tốn tất cả các đạo hàm sẽ tỉ lệ với O(w2). Giải thật lan truyền ngược cho phép các đạo hàm được tính trong O(w) thao tác. Điều này cũng dẫn đến rằng cả hai pha lan truyền ngược và lan truyền tiến đều cần O(w) thao tác, việc tính đạo hàm theo cơng thức (I.43) cũng cần O(w) thao tác.Như vậy giải thuật lan truyền ngược đã làm giảm độ phức tạp tính tốn từ O(w2) đến O(w) đối với mỗi vector nhập. Vì quá trình luyện mạng, dù cĩ sử dụng lan truyền ngược, cĩ thể cần rất nhiều thời gian, nên việc đạt được hiệu quả như vậy là hết sức quan trọng.Với tổng số N mẫu luyện, số lượng các bước tính tốn để đánh giá hàm lỗi trên tồn bộ tập dữ liệu sẽ là N lần bước tính tốn của một mẫu.
CHƯƠNG II: TƠNG THỂ HOẠT ĐỘNG CỦA HỆ THỐNG VÀ VẤN ĐỀ CHUẨN BỊ CƠ SỞ DỮ LIỆU