Mặc dù vẫn thƣờng đƣợc bảo dƣỡng nhƣ điểm chuẩn cho các thuật học MLP mới, hiệu quả của thuật toán lan truyền ngƣợc cơ bản đặt ra vấn đề khi thực thi: thuật toán thì chậm và mạng noron thƣờng có đƣợc dƣa vào vùng địa phƣơng mức tối thiểụ Vì vậy, một trọng số của thuật toán gần giống lan truyền ngƣợc (hoặc hoàn thiện của các thuật toán) thì đã xuất hiện. Rất nhiều sự hoàn thiện không thể thay đổi cấu trúc liên kết cơ bản của thuật toán và do đó thì dễ dàng đƣa vào trong cấu trúc VLSI điều này sẽ miêu tả ngắn hơn. Tuy nhiên, giá trị của sự hợp nhất thì phụ thuộc vào sự thực hiện chính xác.
Giảm bớt trọng số: Điều chỉnh luật cập nhật trọng số theo (3.4) nhƣ sau: w (lkj t 1) (w ( )lkj t w ( ))(1kjl t dec) (3.5) Trong đó 0dec1 là tham số giảm trọng số, ngăn cản độ lớn trọng số lớn và trọng số nhỏ thì bị loại trừ. Điều này hoàn thiện khả năng tổng quát hóạ Từ quan điểm một VLSI tƣơng tự, sự ngăn cản các trọng số lớn thì cũng có ƣu điểm nhƣ dải trọng số động giới hạn thì có thể đúng ít hơn thì vƣợt quá.
Xung lượng: điều chỉnh thay đổi trọng số, xác định tính delta bởi (3.4), nhƣ sau:
w ( )lkj t mtm w (lkj t 1) kl( ) ( )t z tlj
(3.6)
nhiên” và khuếch đại trọng số thích hợp. Điều này thì làm giảm các dao động thƣờng đƣợc tìm thấy trong các luật học. Nhƣợc điểm của việc sử dụng xung lƣợng là sự cần thiết phải bổ sung bộ nhớ (đặc biệt là yêu cầu khắt khe cho một hệ thống xử lý VLSI).
Giá trị của hàm chuyển: Sử dụng bình phƣơng giá trị hàm chuyển điều khiển sai lệch trọng số l
j
trong (3.3). Bằng cách sử dụng một hàm chuyển đổi là một sigmoid đặc biệt, những sai lệch trọng số này sẽ giảm về 0 khi đầu vào mạng noron
l j
s thì lớn về số lƣợng; do đó làm bằng phẳng sai lệch noron lớn lj, không thay đổi trọng số sẽ diễn rạ Vấn đề này có thể loại trừ bằng cách sử dụng hàm chuyển giá trị entropi hoặc sự nhiễu loạn Fahlmann. Kết luận cuối cùng trong sai lệch trọng số tiếp theo:
( ) ( ( ( )) ) ( )
l l l
j t g s tj F j t
(3.7)
Trong đó F 0 là sự nhiễu đạo hàm. (hàm chuyển giá trị entropi
( ) ( )
L L
j t j t
). Về mặt lý thuyết, sai lệch trọng số nên đƣợc chỉnh sửa duy nhất cho lớp đầu ra (l=L). Tuy nhiên, trong một hệ thống xử lý VLSI tƣơng tự bằng cách sử dụng sự nhiễu đạo hàm trên tất cả các sai lệch trọng số có thể đảm bảo
( ( ))lj F 0
g s t đúng hơn so với g s t( ( ))lj 0 cái mà sẽ có lẽ tính toán khác bởi phần cứng không lý tƣởng và sẽ pha hủy quá trình luật học.
Trong hệ thống có khả năng thích nghi thì đặc biệt quan trọng rằng các luật học có thể diễn ra cân bằng mặc dù các noron thì bão hòa nhƣ hàm chức năng hệ thống thay đổi theo thời gian. Trong một khoảng hàm chuyển giá trị entropi hoặc sự nhiễu loạn Fahlmann thì mạnh hơn hàm chuyển giá trị bình phƣơng.
Chỉ tiêu luật học động lượng: Chỉ tiêu luật học là tham số quan trọng nhất: Nếu nó qua lớn, sự giảm độ dốc thì dao động; nếu nó quá nhỏ, độ dốc hội tụ rất chậm. Một chỉ tiêu luật học thích hợp với sự gia tăng hàm chuyển đổi giá trị khi thiết lập cuối cùng của các thay đổi trọng số, J t( )J t( )J t( 1):
( ) , ( ), ( -1), ..., ( - ) 0 ( 1) (1 ) ( ), ( ) 0 ( ), t a for J t J t J t T t b t for J t t otherwise
Trong đó 0 < a,b << 1 và T là hằng số. Mặc dù không phải không thể thực hiện trong VLSI tƣơng tự, một chƣơng trình chỉ tiêu luật học động lƣợng thì hơi
phức tạp và đòi hỏi bộ nhớ (O(1)) (Ngoài ra, hàm chuyển đổi giá trị phải đƣợc đơn giản để tính toán). Ngoài ra, trong việc thực hiện một phần cứng cũng phải đảm bảo chỉ tiêu luật học không giảm dƣới một giá trị quan trọng critở đây thay đổi trọng số là không đáng kể so với rời rạc hóa trọng số hoặc sai lệch bù thay đổi trọng số, điều này là ngƣờng quá trình học.
Bộ dò eta: Để tránh sự phức tạp của một chỉ tiêu luật học động năng, ngƣời ta có thể lựa chọn một tốc độ học tối ƣụ Reyneri and Filippi đƣa ra (cho
ax, ax, ax, ax) :
k m m j m m
y y y z z z
(3.8)
Trong đó: kl l thì là chỉ tiêu luật học lớp l. Mkl Ml là số thứ tự đầu vào lớp l và t là độ dốc hàm chuyển chức năng noron. Có thể sử dụng:
l k l k M (3.9)
Mà có thể đƣợc kết hợp với một quy tắc chỉ tiêu luật học động lƣợng. Đối với một mạng không có khả năng tái cấu hình, chỉ tiêu luật học có thể đƣợc tính trƣớc cho các kiến trúc mạng hiện tạị Đối với một mạng tái cấu hình đƣợc, thêm phần cứng ở mỗi khối tái cấu hình thì cần thiết nếu tính toán chỉ tiêu luật học là tự động. Luật học hàng loạt: thực hiện giảm độ dốc thực trọng số thì đƣợc cập nhật duy nhất sau mỗi giai đoạn:
1 0 w ((1 ) ) w ( ) w ( 1) epc T l l l
kj epc kj epc kj epc
t
n T nT nT
(3.10)
Trong đó Tepc là chu kỳ. Thƣờng các luật học on-line thì đƣợc coi là phƣơng pháp nhanh hơn; tuy nhiên bằng cách sử dụng luật học hỗn hợp, nó có khả năng cập nhật trọng số trong “khối” lớn, và làm cho chƣơng trình này có khả năng ít nhạy hơn để bù đắp và rời rạc trọng số (Điều này thì rất quan trọng cho một hệ thống sử lý VLSI tƣơng tự). Điều bất lợi là việc cần phải bổ sung bộ nhớ.(O(N2))