IV. Các vấn đề thực tế
2. Phương pháp huấn luyện mạng theo mẫu gốc (pattern) và xử lý theo
Mạng lan truyền ngược có thể bắt đầu bằng một trong hai cách sau:
• Chế độ pattern: trọng số được cập nhật sau mỗi mẫu huấn luyện, để chính xác, chúng ta sẽ xem xét một giai đoạn gồm K mẫu huấn luyện được sắp xếp theo thứ tự [u1, d1] … [uk, dk]. Mẫu đầu tiên [u1, d1] đưa vào mạng, những tính toán chuyển tiếp và ngược lại được thực hiện. Sau đó mẫu thứ hai [u2, d2] được đưa vào mạng, lặp lại các bước tính toán, tiếp tục như thế cho đến mẫu cuối cùng. • Chế độ batch: trọng số được cập nhật sau khi đưa vào mạng tất cả các mẫu huấn
luyện.
Từ một điểm trên đường mạng, nơi mà dữ liệu được thể hiện như một chuỗi thời gian, thì chế độ pattern sử dụng bộ nhớ lưu trữ ít hơn. Tuy nhiên cho một mẫu gốc ngẫu nhiên, việc tìm kiếm trong không gian trọng số trở nên ngẫu nhiên và mạng lan truyền ngược ít có khả năng mắc kẹt trong một cực tiểu cục bộ.
Tuy nhiên, chế độ batch thích hợp cho việc cung cấp ước lượng một cách chính xác vector gradient. Do đó việc lựa chọn giữa hai phương thức trên phụ thuộc vào sự lụa chọn của mỗi người.
3. Khởi tạo giá trị ban đầu
Việc lựa chọn tốt giá trị ban đầu của trọng số là quan trọng, thông thường việc khởi tạo trọng số ban đầu được phân bổ một cách ngẫu nhiên đồng đều các giá trị trong một phạm vi nhỏ.
Lựa chọn sai giá trị ban đầu của trọng số có thể dẫn đến sự bão hòa khi giá trị là một hằng số không đổi trong suốt quá trình huấn luyện, tương ứng với việc dồn về một điểm trên bề mặt lỗi.
Thực hiện các quan sát sau đây:
• Để tránh độ bão hòa không đúng thì nên chọn giá trị trọng số ban đầu nằm bên trong phạm vi các giá trị nhỏ (small).
• Độ bão hòa không đúng ít có khả năng xảy ra khi số lượng các neural ẩn thấp.
• Độ bão hòa không đúng cũng hiếm khi xảy ra khi các neural hoạt động trong vùng tuyến tính của nó.
4. Hiệu chỉnh tỷ lệ.
Các dữ liệu huấn luyện mạng thường phải được thu hẹp. Dữ liệu được đo bằng các đơn vị vật lý, thường có thứ tự khác nhau về cường độ. Điều này gặp khó khăn khi hàm kích hoạt được xác định trên những đối tượng tiêu chuẩn.
Trong trường hợp kích hoạt S-shape, có nguy cơ các neural sẽ hoạt động trên đoạn cuối của hàm kích hoạt, gây ra hiện tượng bão hòa và gia tăng thời gian huấn luyện.
Một vấn đề khác là hàm lỗi ưu tiên các phần tử được đo tình cờ trong một đơn vị đo có cường độ lớn.
Hiệu chỉnh tỷ lệ có thể tránh được những vấn đề này. Sơ đồ hóa dữ liệu là một cách mà tỉ lệ tín hiệu có giá trị m là 0 và một độ lệch chuẩn s là một:
Với x là một tập hợp những đại lượng vật lý và x* tương ứng với một vector trong mạng.
KẾT LUẬN
Mạng bị ảnh hưởng rất nhiều từ trạng thái khởi đầu của những tham số. Trong quá trình học, mạng cố gắng đều chỉnh các tham số sao cho tổng bình phương lỗi là nhỏ nhất. Khả năng hội tụ của mạng phụ thuộc vào các tham số khởi đầu, khả năng tổng quát hóa thì lại phụ thuộc rất nhiều vào dữ liệu đầu vào.
Đối với mạng neural một vấn đề nữa là khả năng rơi vào cực tiểu cục bộ. Thuật toán lan truyền ngược lỗi không đảm bảo cho ta điểm cực tiểu toàn cục. Nếu rơi vào cực tiểu cục bộ ta sẽ phải bắt đầu huấn luyện lại, điều này sẽ khiến mạng neural sẽ không áp dụng được trong thực tế đối với các bài toán yêu cầu độ chính xác cao và thời gian tối thiểu. Do đó giải pháp xác định tỉ lệ huấn luyện là một trong các hướng để có thể vượt qua các nhược điểm trên. Ngoài ra, nếu dữ liệu phân bố không đồng đều trên từng mẫu thì khả năng tổng quát hóa cũng không tốt.
TÀI LIỆU THAM KHẢO
1- GS.TSKH Hoàng Kiếm - Slide bài giảng CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG – Trường ĐH CNTT _ Đại học QG Tp Hồ Chí Minh.
2- GS.TSKH Hoàng Kiếm - Giáo trình công nghệ tri thức và ứng dụng - năm 2004. 3- Agarwal, M. (1997). A systematic classification of neural-network-based control,
IEE CONTROL SYSTEM 17__(2): 75–93.
4- Demuth, H. and Beale, M. (1992). The Math-Works, Inc, Natick, MA, USA. 5- System Identification and Control with Neural networks – PhD thesis, Technical