CHƯƠNG 4 KẾT QUẢ NGHIÊN CỨU
4.4. Phân tích mơ hình mạng neural
4.4.1.2. Xác định cấu trúc mạng
Số lớp ẩn
Chương trình cho phép thiết lập thơng số cho mạng dẫn tiến nhiều lớp (MLP) và cả mạng bán kính xun tâm cơ sở (RBF). Trong đó, mạng dẫn tiến nhiều lớp có đặc điểm yêu cầu số lần huấn luyện lặp đi lặp lại nhiều nhưng hệ số hiệu quả cao và nhanh chóng đạt giá trị hội tụ. Cịn đối với mạng hàm bán kính xun tâm thì kém hiệu quả hơn khi số lượng đầu vào lớn và khả năng hội tụ chậm hơn (Warren S.S.,1994). Do đó, trong đề tài này, bài nghiên cứu tập trung nghiên cứu đối với mạng dẫn tiến nhiều lớp.
Mạng neural có thể biểu diễn một quan hệ phi tuyến bất kỳ là nhờ vào các neural trong lớp ẩn. Về mặt lý thuyết, mạng có hai lớp ẩn có khả năng thể hiện một hàm số bất kỳ nên khơng có lý do nào sử dụng các mạng có nhiều hơn hai lớp ẩn. Hơn nữa, khi tăng số lớp ẩn sẽ làm tăng thời gian thời gian huấn luyện mạng. Trên mặt thực tế, mạng với một lớp ẩn cho kết quả chính xác và tốt hơn nhiều so với mạng hai lớp ẩn, vì vậy đề tài chọn mạng neural có một lớp ẩn cho việc huấn luyện.
Số neural trong một lớp ẩn
Sử dụng quá ít hoặc quá nhiều neural trong lớp ẩn đều khơng cho kết quả tối ưụ Khơng có phương pháp nào có thể chọn được số tối ưu các neural sử dụng trong lớp ẩn. Ban đầu, số neural được xác định một cách tương đối nhờ một số công thức kinh nghiệm như: m [l, n]. m 2l. m ... với m, n, l lần lượt là số neural
trong lớp đầu vào, lớp ẩn và lớp đầu rạ Các công thức trên chỉ là các gợi ý để chọn lựa số neural ban đầụ Sau đó cần phải thử nghiệm nhiều lần bằng cách tăng hoặc giảm từ từ số neural để xác định được số neural cho kết quả tối ưụ Trong thực tế, khi thực hiện mô phỏng mơ hình mạng neural có thể khơng cần quan tâm đến bước này vì một số phần mềm mơ phỏng mạng hiện nay sẽ tự động chọn số neural trong lớp ẩn một cách tối ưụ
Số neural tối thiểu của lớp ẩn được chọn là 7 và tối đa là 22 đối mạng dẫn tiến nhiều lớp. Chương trình sẽ huấn luyện và giữ lại 5 mơ hình mạng neural tốt nhất. Mặc định, hàm lỗi sử dụng để kiểm tra quá trình huấn luyện là hàm Sum of squared (SOS) đối với mạng dẫn tiến nhiều lớp và hàm Cross entropy với mạng hàm bán kính xuyên tâm.
Lựa chọn các hàm tác động (Activation function) ở lớp ẩn và lớp đầu ra:
Hàm Identity: (c) c . hàm này lấy giá trị thực đầu vào và giữ nguyên không đổị
Hàm Logistic: là hàm Sigmod (c) = . hàm này lấy giá trị thực đầu vào và biến đổi thành giá trị nằm trong dãy (0,1).
Hàm tanh: (c) = . hàm này sẽ lấy giá trị thực đầu vào và biến đổi thành giá trị nằm trong dãy (-1,1).
Hàm Exponential: (c) e c với 0<x< và 0 hàm này lấy giá trị thực đầu vào và biến đổi thành giá trị nằm trong dãy (0, ).
Hàm tác động tùy chọn Sine có thể được chọn cho lớp ẩn và lớp đầu rạ Hàm này sẽ cho giá trị tốt nếu dữ liệu đầu vào có phân phối dạng bán kính (radial).
Chương trình sẽ huấn luyện các mơ hình mạng và tự động lựa chọn các hàm tác động tương ứng cho giá trị tốt nhất.
Lựa chọn tham số Weight decay: đây là một thông số của hàm lỗi nhằm hạn chế vấn đề huấn luyện quá hạn (overfitting), tham số này không được quá lớn hoặc quá nhỏ, vì vậy khoảng giá trị của nó là [0.0001. 0.001] (Bos, S., 1996).