MS
E elapsed time: 111.06 s
Hình 2.29 Lỗi của giải thuật Levenberg-Marquardt
Giải thuật này cho tốc độ hội tụ nhanh nhất trong tất cả các giải thuật đã khảo sát. Chỉ cần 75 thời kỳ huấn luyện, lỗi bình phương trung bình của mạng đạt đến giá trị rất thấp.
2
2..6.6.8 8 SSoo ssaaùùnnhh ccaaùùcc ggiiaaûûii tthhuuaaäätt
Áp dụng cho bài toán 1, vài giải thuật huấn luyện tiêu biểu được trình bày trên hình 2.30.
Cần lưu ý rằng mọi sự so sánh đều có ý nghĩa tương đối. Thông thường người ta quan tâm đến tốc độ hội tụ, sự ổn định của mạng sau khi huấn luyện, khả năng tổng quát hóa của mạng đối với tất cả các mẫu đã huấn luyện, …
Nhìn chung hiệu quả của giải thuật phụ thuộc vào nhiều yếu tố như: Độ phức tạp của bài toán (nhất là khi quan hệ giữa các mẫu dữ liệu vào và các mẫu dữ liệu ra mong muốn dùng để huấn luyện có mức độ phi tuyến cao), mục đích sử dụng mạng (xấp xỉ hàm, nhận dạng, …), tiêu chuẩn về lỗi (error goal), số lượng mẫu dữ liệu huấn luyện, cũng như kích thước mạng. Trong nhiều trường hợp một giải thuật có thể rất hiệu quả cho mạng này nhưng lại rất tồi tệ cho mạng khác.
0 20 40 60 80 100 120 140 160 180 20010-6 10-6 10-5 10-4 10-3 10-2 10-1 100 101 Performance is 0.106499, Goal is 0 200 Epochs M ea n S qu are E rro r Levenberg-Marquardt Resilient Backpropagation BFGS-quasi Newton Standard GD GD with m GD with adaptive lr GD with m/lr
Hình 2.30 So sánh các giải thuật huấn luyện tiêu biểu
Theo nhiều tác giả, qua nghiên cứu thực tế, người ta đã so sánh được thứ tự các giải thuật áp dụng tốt cho các mạng nhận dạng đối tượng như bảng 2.5 (thứ tự từ tốt đến xấu)
Bảng 2.5 So sánh các giải thuật huấn luyện
Thứ tự Ký hiệu Giải thuật
1 LM trainlm – Levenberg-Marquardt 2 BFG trainbfg – BFGS Quasi-Newton 3 RP trainrp – Resilient backPropagation 4 SCG trainscg – Scaled Conjugate Gradient 5 CGB traincgb – C.G. with Powell/Beale Restarts 6 CGF traincgf – Fletcher-Powell Conjugate Gradient 7 CGP traincgp – Polak-Ribiére Conjugate Gradient 8 OSS trainoss – One-Step Secant
9 GDX Traingdx – Gradient Descent with m & adaptive lr 10 GDA Traingda – Gradient Descent with adaptive lr 11 GDM Traingdm – Gradient Descent with momentum 12 GD Traingd – Standard Gradient Descent
2.7 Qui trình thiết kế mạng Neuron ứng dụng
Qui trình thiết kế một mạng neuron ứng dụng như hình 2.31 [2].
Hình 2.31 Qui trình thiết kế mạng neuron ứng dụng
Xác định bài toán Xác định các biến vào/ra Thu thập dữ liệu Tiền xử lý dữ liệu Chọn mô hình mạng neuron Huấn luyện mạng Thử nghiệm mạng Đạt ? Tinh chỉnh mạng Đạt ? Ứng dụng Kết thúc Bắt đầu Đạt Không Đạt Không 2
2.8 Vài kỹ thuật phụ trợ
Để thiết kế và ứng dụng mạng neuron một cách hiệu quả, đòi hỏi người thiết kế phải có một số kinh nghiệm nhất định. Sau đây là vài kỹ thuật phụ trợ nhằm giảm bớt những khó khăn vướng mắc trong quá trình thiết kế mạng.
2
2..8.8.1 1 TTiieeàànn xxưưûû llyyùù ddưưõõ lliieeääuu
Nói chung khi mức độ phức tạp của bài toán tăng lên, cần phải thu thập nhiều mẫu dữ liệu huấn luyện. Lúc đó vấn đề huấn luyện trở nên khó khăn hơn, giải thuật huấn luyện khó hoặc rất lâu hội tụ, đặc biệt khi sự tương quan giữa các mẫu dữ liệu có độ phi tuyến cao. Có vài kỹ thuật tiền xử lý dữ liệu (preprocessing) như sau:
# Phương pháp chuẩn hóa dữ liệu huấn luyện
Trước khi huấn luyện ta có thể chuẩn hóa dữ liệu mẫu theo một tỉ lệ nhất định sao cho dữ liệu vào/ra của nó nằm trong một khoảng giới hạn nào đó, thường thì khoảng này là [-1 1], xem hình 2.32.
0 200 400 600 800 1000-5 -5
0 5
Training data before preprocessing
0 200 400 600 800 1000-1 -1
-0.50 0 0.5