Sự sắp đặt các thuật toán trên VLSI:

Biểu thức toán của chế độ gọi lại MPL có thể viết yl  g s( ),l sl (wlzl)

nhƣ chú ý trong phần 2.2. Hơn nữa, Chúng ta có thể viết một biểu thức tính sai lệch noron nhƣ sau: l1 (w )l Tl

 .Chúng ta nhận thấy hai đặc tính quan trọng của

2 2 2 ax ax 1 2 l k l m m t k y z M   

các phƣơng trình: (i) Ma trận đƣợc sử dụng để tính toán sai lệch noron là hoán vị của một ma trận sử dụng để tính toán đầu vào mạng noron. (ii) dòng tín hiệu thì đƣợc đảo ngƣợc. Đối với một hệ thống xử lý on-chip của thuật toán lan truyền ngƣợc, điều này có nghĩa là chúng tôi có thể tính toán sai lệch noron và cho phép các tín hiệu lan truyền từ lớp l tới lớp l-1 bằng cách sử dụng mạch nhân vecto-ma trận có đặc tính giống hệt nhau với các chip khớp thần kinh chế độ gọi lại nhƣng với sự trao đổi các vị trí của các đầu vào và đầu rạ Nói cách khác: chúng tôi sử dụng một phiên bản mở rộng của khớp thần kinh. Chíp noron phải lần lƣợt có thể đƣợc tính toán  nhƣ đƣa ra trọng (3.3).

Hình 3.1: Sơ đồ mạch khớp thần kinh lan truyền ngược.

Hình 3.2: Sơ đồ mạch noron lan truyền ngược.

Sơ đồ khối của khớp thần kinh và noron mở rộng có thể xem trên hình 3.1 và 3.2 tƣơng ứng. Trên khớp thần kinh cũng bao gồm phần cứng để tính toán thay đổi trọng số, wlkj phù hợp với (3.4). Các khớp thần kinh mở rộng có các đầu vào điện áp và đầu ra dòng điện cũng giống nhƣ khớp thần kinh nguyên bản. Lập bản đồ các thuật toán trên silic nhƣ thế này đƣa ra một sự cải tiến trật tự O(N2) trong tốc độ, so sánh với một cách tiếp cận nối tiếp, nhƣ tất cả (O(N2)) các trọng số có thể cập nhật đồng thờị Bằng cách cho phép noron định tuyến lại tín hiệu "ykl" trên đƣờng truyền

"kl". Thay vì đặt phần cứng cập nhật trọng số tại vị trí khớp thần kinh, có thể đặt chúng ở vị trí của các noron – làm giảm số lƣợng phần cứng cập nhật trọng số theo thứ tự O(N). Trong trƣờng hợp này chỉ có trọng số từ một neron trong lớp l-1 tới các noron trong lớp l có thể cập nhật tƣơng thích; do đó biện pháp này sẽ cung cấp một trật tự O(N) cải thiện về tốc độ so với một cách tiếp cận nối tiếp. Nên chú ý

rằng, theo (3.4), z tlj( ) thì cần thiết khi tính toán w ( )lj t s và do đó phải đƣợc chuyển đến các vị trí của phần cứng cập nhật trọng số; nếu thông số w (lj t1)s

đƣợc tính toán, ngoài ra thì w ( )lj t s thì cần thiết. Hiệu quả của bản thiết kế này thì phụ thuộc nhiều vào phƣơng pháp lƣu trữ đƣợc lựa chọn: Bằng cách sử dụng lƣu trữ điện dung đơn giản không cần bộ nhớ dự trữ, sự thay đổi trọng số thƣờng đƣợc áp dụng đặc biệt cho một bộ khuếch đại độ dẫn điện thì tƣơng thích với các “-khuếch đại” nhƣ hình 3.1. Để tránh suy giảm hay triệt tiêu trọng số bằng cách phân phối lại điện tích trên các đƣờng truyền bus. Bộ khuếch đại này (hoặc một vài kiểu mạch bảo vệ) sẽ phải có mặt trọng bất kỳ hệ thống xử lý nào hiện nay, do đó làm giảm số lƣợng của phần cứng lƣu trữ. Nhƣ bộ nhớ kỹ thuật số thƣờng có thể đọc không xóa, không có bất lợi giống nhƣ khi sử dụng lƣu trữ điện dung với một bộ nhớ lƣu trữ kỹ thuật số hoặc lƣu trữ kỹ thuật số (mục tiêu của các thuật học trong các trƣờng hợp này là thay đổi bộ nhớ kỹ thuật số). Phần cứng cập nhật trọng số lƣu trữ thì đặc biệt quan trọng khi thay đổi trọng số trong lĩnh vực kỹ thuật số nhƣ một công cụ chuyển đổi A/D thì cần thiết ở mỗi “vị trí thay đổi”. Sự định vị bộ chuyển đổi A/D với nhiều hơn một bit chính xác ở mỗi khớp thần kinh sẽ là không thực tế; mức sử dụng điện tích sẽ là quá lớn. Trong các hệ thống bằng cách sử dụng một bộ nhớ lƣu trữ RAM kỹ thuật số, truy cập trọng số sẽ là nối tiếp (chắc chắn nhất); do đó phần cứng cập nhật trọng số có thể không ở vị trí chip khớp thần kinh và noron trong một modun riêng biệt (như O(1)), Trong trƣờng hợp này, Chi phí của công cụ chuyển đổi A/D cập nhật trọng số thì không đáng kể nhƣng việc cập nhật trọng số sẽ là nối tiếp (một bậc O(1) để “cải thiện” tốc độ)

Bằng cách sử dụng một modun cập nhật trọng số O(1) có lợi thế của việc thực hiện chi phí thấp của một số cải tiến thuật toán (những modun liên quan tới trọng số hơn là tới các khớp thần kinh), không bổ sung phần cứng khớp thần kinh thì cần thiết cho một chƣơng trình cập nhật phức tạp hơn. Ví dụ, để thực hiện yêu cầu cơ bản một bộ nhớ và một bộ cộng (hoặc tích phân sự rò điện theo thời gian liện tục) ở mỗi vị trí khớp thần kinh khi sử dụng chƣơng trình cập nhật trọng số song song đầy đủ (O(N2)). Bằng cách sử dụng một modul cập nhật trọng số O(1), một bộ cộng thì đƣợc yêu cầụ Ma trận thay đổi trọng số có thể đƣợc đặt trong một RAM kỹ thuật số tiêu chuẩn, trong đó sẽ có chi phí ít hơn so với phần cứng khớp thần kinh bổ sung.

Nếu bộ nhớ lƣu trữ trọng số kỹ thuật số (hoặc bộ nhớ trọng số kỹ thuật số thật sự) đã đƣợc sử dụng ở vị trí đầu tiên, không cần bộ chuyển đổi dữ liệu đƣa thêm vàọ Hệ thống chƣơng trình cập nhật trọng số cũng có độ chính xác là khá tốt so với những bộ song song hoàn toàn.

 Tiếp cận phần cứng hiệu quả:

Cấu trúc trong hình 3.1 có hai nhƣợc điểm chính: (i) Đối với một khu vực silicon xác định, số lƣợng các khớp thần kinh đƣợc giảm so với số lƣợng các khớp thần kinh trong một hệ thống chê độ thu hồi, với ba mạch nhân đƣợc sử dụng thay thế cho một mạch. Ngoài ra, trong hầu hết chế độ thu hồi phần cứng khớp thần kinh ở trạng thái không hoạt động, đó tất nhiên là điều không mong muốn. (ii) Số lƣợng dây dẫn giữa các chíp khớp thần kinh và noron thì đƣợc tăng gấp đôi so với một hệ thống chế độ gọi lạị Cả hai bất lợi nghiêm trọng này có thể hạn chế các ứng dụng của mạng noron thích nghi, nếu kích thƣớc vật lý của nó là quan trọng. May mắn mạch thay thế có thể vƣợt qua đƣợc những bất lợi nàỵ

Hình 3.3: MRC hoạt động trong chế độ truyền thẳng.

Hình 3.4: MRC hoạt động trong chế độ phản hồị

Nghiên cứu mạch nhân khớp thần kinh đƣợc sử dụng trong chƣơng 2, Nó đƣợc nhắc lại trong hình 3.3 để cho thuận tiện, chúng tôi nhận thấy rằng nó thì đối xứng hoàn toàn [6,11]. Do đó, nếu chúng tôi ứng dụng một điện áp khác nhau v tại các nút đầu ra mạch và đảm bảo ngắn mạch ảo giữa các nút đầu vào mạch, Các dòng điện khác nhau iw sẽ đƣợc đƣa thêm vào các nút đầu vàọ

w w w w 1 MRC i i i V v v r          (3.11) Nó đƣợc minh họa trong hình 3.4. Điều này cho thấy rằng chúng tôi có thể kích hoạt mạch nhân vector ban bầu (phần 2.3.2) để thực hiện phép nhân với ma trận chuyển vị, tức là tính toán l1 (w )l Tl. Chỉ đơn giản bằng bộ trao đổi

truyền tải dòng điện đầu ra và các bộ đệm đầu vàọ Nhƣ hình 3.6. Khi chỉnh sửa một số mạch nhân ma trận vector thì đƣợc sắp xếp lại, nó vẫn phù hợp mà các phép nhân này với ma trận chuyển vị thì đƣợc thực hiện khi các đầu vào và đầu ra đƣợc trao đổị

Nếu phần cứng cập nhật trọng số đƣợc đặt tại các vị trí khớp thần kinh, do đó chúng tôi có thể thực hiện thuật toán lan truyền ngƣợc mà không cần thêm vào bất kỳ phần cứng nào ở vị trí khớp thần kinh; tức là với một chi phí phần cứng chỉ ở một trật tự giới hạn O(N). Định tuyến z tlj( ) để các modun noron thì có thể sử dụng các đƣờng truyền “s/” và một vài (O(N)) thiết bị chuyển mạch. Do đó, đinh tuyến tín hiệu đƣa thêm vào không đáng kể thì cần thiết. Cần phải chú ý rằng do thời gian ghép kênh “z/” và “s/” các đƣờng dẫn rõ ràng yêu cầu một hệ thống rời rạc theo thời gian. (Nếu bộ nhớ lƣu trữ trọng số kỹ thuật số đƣợc sử dụng, thuật toán đƣợc yêu cầu để chạy nhƣ trong thời gian rời rạc; nếu không điều này có thể áp dụng các nội dung của chƣơng trình). Các noron tƣơng ứng này để chíp khớp thần kinh đƣợc chỉnh sửa giống nhƣ các chip trên hình 3.2; chỉ có đầu ra sẽ phải đƣợc lấy mẫụ

Việc thực hiện một mạng noron tƣơng tự chi phí phần cứng thấp với on-chip lan truyền ngƣợc sẽ tiếp tục đƣợc nghiên cứụ Các hoạt động chủ yếu của hệ thống lan truyền ngƣợc thì đƣợc minh họa trong hình 3.5. Trong quá trình hoạt động bình thƣờng tất cả các chíp trong chế độ truyền thẳng và phản ứng với một mô hình đầu vào đƣợc lan truyền đến đầu ra sau một thời gian trễ nhất định. Khi một trọng số khớp thần kinh, wlkj trong một lớp l đƣợc cập nhật, tất cả các chíp trong các lớp trƣớc đó hoạt động trong chế độ truyền thẳng và tạo ra l

i

z s. Tất cả các chíp trong các lớp sau lớp l hoạt động trong chế độ truyền ngƣợc và tạo ra kls. Các chíp khớp thần kinh trong lớp l hoạt động trong chế độ định tuyến và định vị zlj các đầu vào của chíp noron trong lớp l. Những hoạt động lần lƣợt trong chế độ học và tính toán

truyền ngƣợc trong chế độ đảo chiềụ Điều này không chính xác khi thực hiện với thuật toán, mặc dù tỷ lệ học là nhỏ hơn, sự khác biệt là không rõ. Trên thực tế, một trong những mong đợi học tập nhanh hơn khi sử dụng cập nhật trọng số đồng bộ - điều này thực sự là tƣơng đƣơng với phƣơng pháp Gauss-Seidel giải quyết phƣơng trình tuyến tính bằng số.

Hình 3.5: Hệ thống lan truyền ngược.

Khai thác các tính chất hai chiều của mạch nhân khớp thần kinh MRC thì cũng có thể đặt phần cứng cập nhật trọng số tại vị trí khớp thần kinh để cải thiện tốc độ tối đạ Theo các quy tắc cập nhật trọng số (3.4) không phải skl cũng không phải lj1 , cần thiết khi cập nhật wlkjs. Do đó l

j

z s và kls có thể đƣợc phân bố đồng thời trên chíp khớp thần kinh trong khi bỏ qua mạch nhân khớp thần kinh – mạch nhân độ dẫn điện đặt tại các vị trí các khớp thần kinh sau đó sẽ có quyền truy cập các tín hiệu phù hợp với tính toán wls đồng thời cho một lớp. Nói cách khác: chi phí của việc sử dụng thời gian rời rạc, có thể loại bỏ các kết nối giữa các chíp đƣa thêm vào và ½ thành phần luật học khớp thần kinh so với một mạch truyền thẳng. hệ thống xử lý song song đầy đủ của thuật toán lan truyền ngƣợc trên một MLP VLSI

Thêm một lợi thế của việc sử dụng hai chiều của MRC là quá trình biến đổi không nhạỵ Các bóng bán dẫn giống nhau đƣợc sử dụng cho mạch nhân khớp thần kinh trong chế độ gọi lại tốt nhƣ trong chế độ lan truyền ngƣợc. Giả sử điện áp tham

chiều đầu vào thì gần với điện áp đầu, M4 trong hình 3.3, 3.4 sẽ không bao giờ thực hiện dòng điện bất kỳ. Trong chế độ truyền thẳng hiệu số dòng điện đầu là iD1iD2

và chế độ đảo ngƣợc là iD1iD3. Do đó, để phù hợp với dòng điện truyền thẳng và phản hồi, nó chỉ cần thiết để phù hợp với M2 và M3. (Nhƣ M4 lý tƣởng không thực hiện dòng điện, nó có thể đƣợc gỡ bỏ; tuy nhiên, điều này yêu cầu một trở kháng đầu vào noron rất thấp).