tiến (feedforward) đa mức 2.1 Lý thuyết học và vấn đề nhận dạng mẫu
2.2.5 Kỹ thuật tinh giảm (pruning) mạng và rải mỏng (sparse) kết nố
nối
Từ những kinh nghiệm tực tế, có thể thấy rằng tính năng của mạng neuron là một hàm tăng đối với số các neuron ẩn. Việc mở rộng các mức ẩn cũng là một cách th−ờng đ−ợc lựa chọn để cải thiện tính năng của mạng. Vấn đề là ở chỗ số l−ợng các kết nối (các synapse) sẽ tăng rất nhanh cùng với số l−ợng các neuron ẩn đến nỗi đôi khi làm cho việc tích luỹ và kiểm tra không thể thực hiện đ−ợc. Tuy nhiên, thông qua nghiên cứu các mạng kết nối đầy đủ đã đ−ợc tích luỹ, ng−ời ta nhận thấy rằng một phần không nhỏ các kết nối có giá trị trọng số rất nhỏ. Điều này gợi ý cho chúng ta khả năng nghiên cứu các ph−ơng pháp tinh giảm mạng và các chiến l−ợc rải mỏng kết nối.
Tinh giảm mạng là cách thức giảm số l−ợng các kết nối của mạng. Ph−ơng pháp tinh giảm mạng nổi tiếng nhất là ph−ơng pháp ODB (optimal brain damage). Một tiêu chuẩn tinh giảm thô đ−ợc sử dụng - chúng ta chỉ đơn giản loại bỏ đi các
sau khi tinh giảm. Tích luỹ kiểu này hội tụ nhanh hơn nhiều so với tích luỹ gốc. Việc tích luỹ lại sẽ hiệu chỉnh hầu hết các lỗi gây ra bởi tiêu chuẩn tinh giảm.
Thật không may là việc tinh giảm không có ảnh h−ởng tích cực tới thời gian tích luỹ bởi nó đ−ợc áp dụng sau khi tích luỹ. Trong vấn đề giảm thời gian tích luỹ, một số thực nhiệm đã chứng minh khả năng của các mạng có các kết nối đ−ợc rải
mỏng. Tr−ớc khi tích luỹ, không có một thông tin nào cho phép chúng ta biết đ−ợc là những kết nối nào là quan trọng, và nh− vậy một tập hợp ngẫu nhiên các kết nối phải đ−ợc lựa chọn.
Mục đích cuả chiến l−ợc kết nối ngẫu nhiên là nhằm xem xét tất cả các kết nối trong một mạng kết nối đầy đủ t−ơng ứng sao cho mỗi kết nối có một xác suất tồn tại là φ. Số l−ợng mong đợi các kết nối trong mạng đ−ợc rải mỏng (mạng thực tế) là Nφ, ở đó N là số các kết nối trong mạng kết nối đầy đủ giả thiết. Các kết quả từ một số nghiên cứu cho thấy các mạng có các kết nối đ−ợc rải mỏng tốt không kém, thậm chí tốt hơn các mạng OBD và các mạng kết nối đầy đủ.
Trong mạng neuron hồi quy, số các kết nối là tỷ lệ với bình ph−ơng kích th−ớc mức ẩn. Nh− vậy với các mức ẩn lớn, cần các giá trị xác suất kết nối nhỏ để giảm số l−ợng kết nối tới một giá trị có thể kiểm soát đ−ợc. Điều này làm giảm tính năng của mạng hơn là có thể đ−ợc bù đắp bởi số l−ợng lớn các neuron.
Để giải quyết khó khăn do mối quan hệ bình ph−ơng giữa kích th−ớc mức và số l−ợng kết nối, chúng ta cục bộ hoá các xác suất kết nối. Theo quan điểm này, giá trị xác suất kết nối của các kết nối phản hồi sẽ phụ thuộc khoảng cách giữa hai neuron. Khoảng cách này có thể đ−ợc xác định bằng độ chênh lệch chỉ số của hai neuron khi ta tiến hành sắp xếp các neuron theo thứ tự lần l−ợt từng neuron rồi đến từng mức. Ví dụ, xác suất kết nối của hai neuron ẩn un và um có thể là
φ(un,um)=e-|n-m|/σ
ở đó σ là một hằng số chọn tr−ớc.