Trong các ứng dụng thực tế, khơng thể chỉ cần áp dụng máy mĩc một trong các phương pháp huấn luyện trên; bởi vì hàm lỗi khơng phải là tuyến tính, cũng khơng phải là hàm lồi, nĩ cĩ nhiều cực tiểu địa phương; mặt khác kiến trúc mạng đã lựa chọn cĩ thể là quá phức tạp đối với mục tiêu cần học. Vì vậy áp dụng một phương pháp huấn luyện mạng cĩ thể dẫn tới kết quả tồi, mạng thu được khơng cĩ khả năng tổng quát hố tốt. Trong mục này sẽ trình bày các kỹ thuật được sử dụng trong quá trình huấn luyện mạng. Chưa được chứng minh chặt chẽ bằng tốn học, các kỹ thuật này chỉ mang tính heuristic, nhưng đã tỏ ra cĩ ích trong nhiều áp dụng thực tế.
4.2.3.1. Chuẩn hố dữ liệu
Véc tơ các giá trị đầu vào X = (x1, …, xn) gồm các đặc trưng cĩ thể cĩ bản chất rất khác nhau, được đo bởi các độ đo rất khác nhau; chẳng hạn xi cĩ thể là trọng lượng được đo bằng kG, xj cĩ thể là chiều dài được đo bằng cm; hai đặc trưng cĩ thể là chiều dài, nhưng một đặc trưng được đo bằng cm, cịn đặc trưng kia đo bằng m. Giá trị bằng số của các đầu vào ảnh hưởng lớn đến sự điều chỉnh trọng số trong quá trình huấn luyện và ảnh hưởng lớn đến kết quả huấn luyện. Mặt khác, xem các đặc trưng cĩ ảnh hưởng như nhau đến giá trị của hàm mục tiêu. Vì vậy, cần chuẩn hố các dữ liệu đầu vào trước khi sử dụng để huấn luyện. Các dữ liệu đầu vào cần được chuẩn hố sao cho giá trị trung
bình trên tập huấn luyện của mỗi đặc trưng là bằng 0 và các đặc trưng cĩ cùng phương sai (variance). Việc chuẩn hố dữ liệu đảm bảo cho các đặc trưng được xử lý bình đẳng trong quá trình điều chỉnh trọng số và cho phép đưa ra phạm vi các giá trị khởi tạo của các trọng số.
4.2.3.2. Khởi tạo bộ trọng số
Nếu các trọng số được khởi tạo bằng 0, thì sẽ dẫn đến các đạo hàm riêng bằng 0 và do đĩ thuật tốn huấn luyện mạng sẽ khơng hoạt động. Vì vậy, vấn đề đặt ra là cần khởi tạo các trọng số bằng bao nhiêu? Nếu các trọng số được khởi tạo cĩ giá trị gần bằng 0 bởi vì hàm sigmoid gần như là tuyến tính trong phạm vi gần 0 (cĩ thể thấy điều đĩ từ đồ thị của hàm sigmoid), cho nên ở các bước cập nhật trọng số ban đầu mạng biểu diễn hàm xấp xỉ là hàm tuyến tính của các đầu vào, chỉ sau khi các trọng số cĩ thời gian phát triển thì mạng mới cĩ thể biểu diễn các hàm khơng tuyến tính phức tạp mong muốn. Mặt khác, việc chuẩn hố các dữ liệu đầu vào dẫn đến kết quả là, các giá trị đầu vào cĩ cả giá trị dương và giá trị âm, do đĩ các giá trị khởi tạo của các trọng số cũng cần cĩ cả dương lẫn âm. Vì vậy, người ta đặt giá trị ban đầu của các trọng số là các số ngẫu nhiên gần 0, thơng thường là các số ngẫu nhiên được lấy ra trong khoảng (-0,7; +0,7).
4.2.3.3. Chọn tỉ lệ học
Các thuật tốn huấn luyện mạng được thiết kế theo kỹ thuật tụt dốc gradient, nên tỉ lê học 0 xác định độ lớn của bước chuyển dịch véc tơ W theo hướng của véc tơ gradient nhằm tìm đến điểm cực tiểu của hàm lỗi E (W). Về nguyên tắc, tỉ lệ học cần được chọn đủ nhỏ để đảm bảo dãy các véc tơ trọng số đã được cập nhật hội tụ đến điểm cực tiểu (địa phương) của hàm lỗi (thực tế, khi dừng huấn luyện chỉ đạt tới điểm gần với điểm cực tiểu). Nếu chọn tỉ lệ học quá lớn thì vecto trọng số W sẽ dao động xung quanh điểm cực tiểu. Chẳng hạn, muốn tìm cực tiểu của hàm trong khơng gian một chiều y = (x – 3)2, thấy ngay hàm đạt cực tiểu tại điểm x = 3. Bây giờ ta chọn tỉ lệ học 1 và xuất phát tại
0
ở các bước tiếp theo sẽ nhận được dãy điểm x11; x 7; x2 31,…, dãy này nhảy qua nhảy lại điểm cực tiểu. Trong thực tế, với mạng mà các kích hoạt là hàm sigmoid thì sự lựa chọn ban đầu 1 là thích hợp cho nhiều vấn đề, sau đĩ qua thực nghiệm cĩ thể điều chỉnh.