Chip noron:

Đo lƣờng đặc tính chuyển đổi noron chế độ truyền thẳng có thể thấy trên hình 3.13 và 3.15; Sự gia tăng bù đầu ra so sánh với chip noron thế hệ đầu tiên thì đƣợc chú ý [11]. Độ không tuyến tính thì nhỏ hơn 2% (hình 3.16) và bù sai lệch thì chỉ quan trọng để thực hiện chế độ gọi lại (nhƣ cho bộ chip noron thế hệ thứ nhất). (Sự gia tăng bù đầu ra đƣợc so sánh với chíp noron thế hệ thứ nhất với lý do là dòng điện phản chiếu đƣợc đƣa thêm vào). Nhƣ hình 3.14 đã chỉ ra đạo hàm noron đƣợc tính toán điện tử nhƣ tính toán bởi các chip noron (nhƣ 2

/ 1

dy ds y , hình 3.17). Sự không đối xứng đƣợc gây ra bởi bù đầu ra của hàm chuyển đổi noron và bù đầu vào của tính toán đạo hàm khối "1y2". Tuy nhiên, chú ý rằng bù đầu vào noron không ảnh hƣởng tới tính chính xác của đạo hàm tính toán nhƣ đã có thể là trƣờng hợp nếu đạo hàm thì đã đƣợc tính toán trên cơ sở của đầu vào noron. Sự không tuyến tính của khối tính toán đạo hàm thì nhỏ hơn 2% (hình 3.18). Tổng tất cả sự không tuyến tính của tính toán đạo hàm là nhỏ hơn 6%. Lƣợng bù sai lệch liên quan đến tính toán đạo hàm thì khá lớn tuy nhiên: do tính toán đạo hàm không có trong các mẫu đặc biệt xấu của noron, nó phá hoại quá trình học. Bằng cách đƣa một nhiễu đạo hàm trong việc tính toán sai lệch trọng số nhƣ đã đề cập ở trên, chúng tôi hy vọng rằng lƣợng bù có thể dung nạp bởi các chƣơng trình học. Tất nhiên điều này vẫn chƣa đƣợc thực nghiệm chứng minh. Nhiễu đạo hàm có thể dễ dàng đƣợc đƣa vào bằng cách thay thế “1” bởi một trƣờng hợp xấu nhất 2

max

"y " khi tính toán đạo hàm: 2 2

ax

/ m

dy dsy y . Thủ tục này thì tƣơng tự nhƣ đƣợc sử dụng trên chip thế hệ đầu tiên; Sự thay đổi đầu ra noron thì lớn hơn so với chip thế hệ thứ hai, mặc dù, đó rất có thể sẽ làm giảm hiệu suất.

Hình 3.13: đặc tính noron trong chế độ truyền thẳng.

Hình 3.14: Tính toán đạo hàm noron.

Các phép đo trên các chíp chỉ ra rằng, với sự bao hàm của sự loại bỏ bù trên các tín hiệu nhất định, bộ chip sẽ hoạt động nhƣ cốt lõi của thời gian rời rạc, mạng noron lan truyền ngƣợc tƣơng tự: chức năng của bộ chíp nhƣ dự đoán. Các thay đổi trên độ dẫn, hệ số, sai lệch bù. v.v. nên đƣợc loại bỏ trong quá trình học.

Hình 3.15: Hàm chuyển đổi noron khác nhaụ

Hình 3.16: Sự không tuyến tính noron khác nhaụ

Hình 3.17: Hàm chuyển đổi parabol khác nhaụ

Hình 3.18: Sự không tuyến tính parabol đạo hàm.

Hình 3.19: Tỷ lệ độ suy giảm lấy mẫu noron.

Chip noron và khớp thần kinh lan truyền chậm đƣa ra một lớp lan truyền chậm với tlpd 2.5s, điều này đƣa ra một tốc độ chế độ gọi lại với 12.8 MCPS mỗi chip khớp thần kinh trên một lớp (hoặc 4 GCPS nếu một chíp khớp thần kinh cỡ đầy đủ 100x100 đƣợc sử dụng). chú ý rằng các thiết bị chuyển mạch cài đặt lại cấu hình ở đầu ra noron không làm giảm hiệu suất tải điện dung dòng điện (so với chíp thế hệ đầu tiên). Chíp noron lấy txwpd 3.6s để tính toán một trọng số mới đƣa ra một tốc độ học khoảng 0.25 MCUPS cho hệ thống lan truyền ngƣợc. Đƣa ra tỷ lệ suy giảm của lấy mẫu kích hoạt noron (hình 3.19), điều này sẽ giới hạn kích cỡ của hệ thống khoảng 2.106 kết nối cho độ chính xác 8 bit của hàm kích hoạt noron. (ứng dụng sử dụng 0,3.106 kết nối đƣợc biết đến chƣơng 2). Nên đây là một vấn đề, kỹ thuật số làm mới của lấy mẫu hàm kích hoạt noron có thể đƣợc sử dụng.