Cải thiện tính toán đạo hàm:

Một phần của tài liệu Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thường (Trang 79 - 80)

Ngoài việc bù đầu ra chip khớp thần kinh và bù thay đổi trọng số – mà có thể đƣợc hủy bỏ bởi một thiết lập chƣơng trình tự động loại bỏ bù – các vấn đề liên quan hầu hết đến các bộ chip là tính toán đạo hàm noron. Để đảm bảo một kết quả không phủ định của việc tính toán, chúng tôi có thể sử dụng một nhiễu loạn đạo hàm nhƣ đã đề cập ở trên. Ngoài ra, chúng tôi có thể kiểm soát chặt chẽ đầu ra bằng không bất cứ khi nào điều này thì phủ định: Bằng cách sử dụng một CCII+ hai chiều dựa trên IPM (IPM là chip thần kinh thế hệ thứ hai) để tính toán “1-y2”, đầu ra sẽ là một dòng điện. Trái lại dòng điện này bằng cách sử dụng một dòng điện phản chiếu đơn giản, chúng tôi sẽ chắc chắn rằng đầu ra thì không bao giờ phủ định (một vài phần cứng đƣợc thêm vào sẽ là cần thiết để đảm bảo một tốc độ, trở kháng đầu ra hợp lý v.v.v.) nó cũng có thể sử dụng kỹ thuật loại bỏ bù tự động để loại bỏ bù (mặc dù không nhất thiết phải cần thiết mà không có một số lƣợng đáng kể của phần cứng bổ sung).

Hơn nữa, phƣơng pháp tiếp cận đến xung quanh các vấn đề liên quan đến bù của tính toán đạo hàm thì cũng có thể cho bộ chip lan truyền ngƣợc: nó đã đƣợc nêu trong phần 2.2.5 rằng “chúng tôi sẽ không có quyền truy cập vào các đầu ra mạng noron” khi tính toán các đạo hàm noron cho thuật học. Tính toán tích phân thuật học on-chip – hơn thế nhƣ một modun đƣợc thêm vào – hiện tại, chúng tôi có dữ liệu đầu vào mạng noron. Điều này ngụ ý rằng chúng tôi có thể lựa chọn hàm chuyển đổi noron của chúng tôi độc lập hơn – nhƣ đạo hàm đã tính toán. Bogason đã đê nghị tính gần đúng đạo hàm bởi một tỉ số khác: ( ) ( ) ( ) 2 y s y s y s s i v i v V i v V v V          (3.12)

Trong đó V là một điện áp “nhỏ” biểu đồ khối cho một mạch cơ bản trên một bộ tổng hợp đạo hàm điện áp, đạo hàm dòng điện đầu ra noron thì đƣợc chỉ ra trên

hình 3.20. Dòng điện đầu ra là đầu ra noron khi các công tắc chuyển đổi thì đƣợc mở (và V=0) và tính gần đúng đạo hàm khi công tắc chuyển đổi đƣợc đóng.

Noron có thể làm đối tƣợng là một cặp MOST khác nhaụ Trong trƣờng hợp này độ lớn của một đầu ra phủ định có thể khi tính toán đạo hàm thì đƣợc xác định bởi sự kết hợp của hai nguồn dòng điện cuốị Bằng cách sử dụng một cặp khác nhau

MOST để thực hiện hàm chuyển đổi noron thì cũng là một lợi thế về tốc độ so với noron tiếp tuyến hypebol. Độ chính xác của phƣơng pháp tiếp cận tỷ số khác nhau có thể đƣợc đƣa ra với 10% sử dụng một cách hợp lý độ lớn V. Thay vì sử dụng hai khối chuyển noron để tính toán giá trị đạo hàm, một khối đơn giản kết hợp với một tụ điện chuyển mạch có thể đƣợc sử dụng. Điều này thì giảm các transitor tính toán.

Những khó khăn rõ ràng trong tính toán các đạo hàm hàm kích hoạt cần thiết giảm độ dốc đã lấy cảm hứng từ một số tác giả để làm mà không có các thông tin đạo hàm; ví dụ bằng cách thay thế một hằng số cho đạo hàm hoặc bằng cách sử dụng các kỹ thuật tối ƣu hóa hoàn toàn khác.

Hình 3.20: Tính gần đúng đạo hàm với tỷ số vi saị

Một phần của tài liệu Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thường (Trang 79 - 80)

Tải bản đầy đủ (PDF)

(92 trang)