PHƯƠNG PHÁP HỌC CHO MẠNG TIẾN (FEEDFORWARD) ĐA MỨC
2.2.5Kỹ thuật tinh giảm (pruning) mạng và rải mỏng (sparse) kết nố
Từ những kinh nghiệm tực tế, có thể thấy rằng tính năng của mạng neuron là một hàm tăng đối với số các neuron ẩn. Việc mở rộng các mức ẩn cũng là một cách thường được lựa chọn để cải thiện tính năng của mạng. Vấn đề là ở chỗ số lượng các kết nối (các synapse) sẽ tăng rất nhanh cùng với số lượng các neuron ẩn đến nỗi đôi khi làm cho việc tích luỹ và kiểm tra không thể thực hiện được. Tuy nhiên, thông qua nghiên cứu các mạng kết nối đầy đủ đã được tích luỹ, người ta nhận thấy rằng một phần không nhỏ các kết nối có giá trị trọng số rất nhỏ. Điều này gợi ý cho chúng ta khả năng nghiên cứu các phương pháp tinh giảm mạng và các chiến lược rải mỏng kết nối.
Tinh giảm mạng là cách thức giảm số lượng các kết nối của mạng. Phương pháp tinh giảm mạng nổi tiếng nhất là phương pháp ODB (optimal brain damage). Một tiêu chuẩn tinh giảm thô được sử dụng - chúng ta chỉ đơn giản loại bỏ đi các trọng số nhỏ hơn một ngưỡng nào đó. Cần chú ý rằng mạng phải được tích luỹ lại sau khi tinh giảm. Tích luỹ kiểu này hội tụ nhanh hơn nhiều so với tích luỹ gốc. Việc tích luỹ lại sẽ hiệu chỉnh hầu hết các lỗi gây ra bởi tiêu chuẩn tinh giảm.
Thật không may là việc tinh giảm không có ảnh hưởng tích cực tới thời gian tích luỹ bởi nó được áp dụng sau khi tích luỹ. Trong vấn đề giảm thời gian tích luỹ, một số thực nhiệm đã chứng minh khả năng của các mạng có các kết nối được
rải mỏng. Trước khi tích luỹ, không có một thông tin nào cho phép chúng ta biết được là những kết nối nào là quan trọng, và như vậy một tập hợp ngẫu nhiên các kết nối phải được lựa chọn.
Mục đích cuả chiến lược kết nối ngẫu nhiên là nhằm xem xét tất cả các kết nối trong một mạng kết nối đầy đủ tương ứng sao cho mỗi kết nối có một xác suất tồn tại là . Số lượng mong đợi các kết nối trong mạng được rải mỏng (mạng thực tế) là N, ở đó N là số các kết nối trong mạng kết nối đầy đủ giả thiết. Các kết quả từ một số nghiên cứu cho thấy các mạng có các kết nối được rải mỏng tốt không kém, thậm chí tốt hơn các mạng OBD và các mạng kết nối đầy đủ.
Trong mạng neuron hồi quy, số các kết nối là tỷ lệ với bình phương kích thước mức ẩn. Như vậy với các mức ẩn lớn, cần các giá trị xác suất kết nối nhỏ để giảm số lượng kết nối tới một giá trị có thể kiểm soát được. Điều này làm giảm tính năng của mạng hơn là có thể được bù đắp bởi số lượng lớn các neuron.
Để giải quyết khó khăn do mối quan hệ bình phương giữa kích thước mức và số lượng kết nối, chúng ta cục bộ hoá các xác suất kết nối. Theo quan điểm này, giá trị xác suất kết nối của các kết nối phản hồi sẽ phụ thuộc khoảng cách giữa hai neuron. Khoảng cách này có thể được xác định bằng độ chênh lệch chỉ số của hai neuron khi ta tiến hành sắp xếp các neuron theo thứ tự lần lượt từng neuron rồi đến từng mức. Ví dụ, xác suất kết nối của hai neuron ẩn un và um có thể là
(un,um)=e-|n-m|/
ở đó là một hằng số chọn trước.