Điều khác biệt cơ bản giữa tính toán thông th−ờng vμ mạng nơ ron ở chỗ: trong tính toán thông th−ờng, các trọng số wi đ−ợc cho tr−ớc vμ chúng quyết định tín hiệu
ra, còn mạng nơ ron sau khi đ−ợc thiết lập ch−a có kiến thức. Muốn hoạt động đ−ợc, mạng phải đ−ợc huấn luyện, hay học (Training). Huấn luyện lμ tạo ra cho mạng kiến thức từ các thông tin có tr−ớc, gồm tập dữ liệu vμo vμ tập dữ liệu ra mẫu, còn đ−ợc
gọi lμ bộ dữ liệu học (Training Data Set). Trong quá trình học mạng tự xác định các tham số (wi) để có thể thu đ−ợc các kết quả đầu ra nh− trong bộ dữ liệu học.
Hình 32: Sơ đồ thuật toán lan truyền ng−ợc
Thuật toán th−ờng dùng nhất trong huấn luyện mạng lμ thuật toán lan truyền ng−ợc (Back Propagation Algorithm), nh− mô tả nh− hình 32. Dữ liệu mẫu gồm tập dữ liệu vμo x vμ dữ liệu ra y. Mô hình chính lμ mạng cần huấn luyện với bộ tham số rỗng hoặc giả định. Khi đ−ợc kích hoạt, mô hình cho ra kết quả y. Sai số giữa đích vμ kết quả so sánh e=f(d-y) đ−ợc tính tại lớp ra. Nếu e lớn hơn mức cho phép thì nó đ−ợc truyền ng−ợc về các lớp tr−ớc để tính lại các tham số của mạng theo h−ớng giảm e. Quá trình sẽ kết thúc khi e nhỏ hơn giá trị cho phép, bộ tham số đ−ợc giữ lại để sử dụng. Quá trình huấn luyện mạng nh− mô tả thực chất lμ giải bμi toán tối −u hóa theo hμm mục tiêu e. Các thuật toán huấn luyện khác nhau ở cách xác định e vμ ph−ơng pháp hiệu chỉnh các tham số. Thuật toán lan truyền ng−ợc th−ờng dựa trên ph−ơng pháp b−ớc giảm cực đại (Steepest-Descent Algoirthm), theo đó hμm số sẽ đ−ợc giảm cực đại theo h−ớng ng−ợc với h−ớng gradient của hμm. Thuật toán khác đ−ợc dùng nhiều dựa trên ph−ơng pháp Levenberg-Marquardt.
Ph−ơng pháp huấn luyện dùng mẫu với cả tập dữ liệu vμo vμ dữ liệu ra vμ có hμm mục tiêu e nh− mô tả ở trên đ−ợc gọi lμ huấn luyện có h−ớng dẫn (Supervised
Training). Ph−ơng pháp huấn luyện khác, không dùng tập dữ liệu ra đ−ợc gọi lμ
huấn luyện không có h−ớng dẫn (Un- Supervised Training), chủ yếu dùng trong bμi toán phân loại, trong đó các đối t−ợng đ−ợc phân thμnh các nhóm.
Sau khi đ−ợc huấn luyện, mạng cần đ−ợc kiểm tra với dữ liệu mới, không có trong dữ liệu mẫu.