Cấu trúc của một hệ thống nhỏ, năng lƣợng thấp và ứng dụng cụ thể thì hoàn toàn thích hợp để ứng dụng. Việc xây dựng các khối thành phần cho các hệ thống nhƣ vậy là các bộ phận thành phần của mạng noron – khớp thần kinh và các noron – sẽ phải có một thƣ viện các khối để chế tạo một CMOS. Mặc dù các vấn đề nghiên cứu cho các hệ thống song song cỡ lớn, tốt cho các hệ thống nhỏ, năng lƣợng thấp. Bằng cách thay thế các mạch bởi mạch năng lƣợng thấp. Chúng tôi sẽ sử dụng các mạch nghịch đảo chăc chắc hơn so với một mạch ngƣỡng thấp.
Đối với mạch song song cỡ lớn, hệ thống ứng dụng cụ thể, mức độ kết hợp của các bộ linh kiện cấu trúc thì rất cao là tốt nhất. Điều này đặt ra các hạn chế về cấu trúc và để giảm thiểu các hạn chế này là một trong các đối tƣợng của thiết kế mạng noron VLSỊ
Củng cố lại công thức (2.2) cho một vecto của noron bậc nhất chúng ta có: yg(s), trong đó: swz
Trong đó g(.) nhƣ là một vecto của hàm chuyển đổi dạng sigmoid. Giả sử chúng ta có bộ nhân ma trận vector hoạt động song song (MVM) cung cấp cho đầu ra bằng cách nhân vecto đầu vào của nó và một ma trận lƣu trữ, số lƣợng hàng trong phép nhân tăng lên đơn giản bằng cách thêm vào một phép nhân khác với cùng một vecto đầu vàọ Số lƣợng các cột đƣợc tăng thêm bằng cách thêm vào vector đầu ra bộ nhân khác. Về kích thƣớc thì dễ dàng thêm vào một vector chức năng, hệ thống xử lý của một ANN có mối liên hệ đầy đủ (giữa các lớp, nếu có phân lớp) và điều này có thể sắp đặt với một kích thƣớc bất kỳ, cho phép sử dụng hai khối bộ phận cấu trúc. Điều này đƣợc chỉ ra trên hình 2.1; với giả thiết rằng việc cộng đầu ra từ nhiều mạch nhân thì
đơn giản bởi kết nối các đầu ra với nhaụ Những lớp này thì quan trọng nhất. Chúng ta sẽ sử dụng những điều kiện của chíp khớp thần kinh (mạch nhân) và chíp noron (chức năng chuyển đổi) cho hai modul. Hơn nữa chúng ta sẽ tham chiếu để những hàng/cột của w nhƣ hàng của khớp và cột của khớp.
Hình 2.1: Mở rộng mạng noron.
Đối với một mạng lặp lại, Một cách tiếp cận đơn giản là khớp đƣợc đặt trên chíp noron nhƣ minh họa hình 2. Điều này làm cho các modun liên kết với nhau dễ dàng hơn.
Trong đó: y=g(wy)
Ngƣời ta có thể hy vọng các vấn đề truyền tin trong hệ thống với các phần tử liên kết với nhau một cách chặt chẽ. Tuy nhiên, các vị trí ổn định và phân bố của các khớp thần kinh trong các hệ thống trên thực tế loại bỏ vấn đề này (các chip truyền thống cỡ lớn thì vẫn bất tiện). Đối với hệ thống kết nối ngẫu nhiên và hiếm sẽ tiêu thụ đáng kể vùng của mỗi khớp thần kinh.
Rõ ràng, với bất kỳ cấu trúc mạng ANN bậc nhất nào cũng có thể đƣợc ánh xạ vào một trong các hệ thống trên bằng cách thiết lập một số kết nối đầy đủ bằng các điểm gốc. Thích hợp hơn với hệ thống có khả năng kết nối rời rạc, không để lãng phí phần cứng cho tất cả các kết nối vô giá trị. Điều này có thể đƣợc thực hiện bằng cách “gấp nếp” ma trận khớp thần kinh, một cách tƣơng tự nhƣ gấp nếp PLAs rời rạc, nếu biết trƣớc
đƣợc cấu trúc của mạng. Tuy nhiên, thƣờng thì nó không phải là vậy và chắc chắn không phải khi thực hiện các kiến trúc noron tông quát.
Hình 2.2: Mạng noron hồi quy mở rộng.
Chúng ta muốn đạt đƣợc cấu trúc rời rạc đặc trƣng bởi sự loại bỏ các kết nối không cần thiết ở một mạng lƣới liên kết đầy đủ. Do đó thích hợp hơn, một mạng noron tái cấu hình sẽ có thể mô phỏng một kết nối đầy đủ trong giai đoạn loại bỏ trƣớc. Khi phụ thuộc vào cách nó sử dụng và những khớp thần kinh đơn giản có thể rất nhỏ, các mối liên kết này cần đƣợc bảo quản và thiết bị chuyển mạch tiêu thụ diện tích nhiều hơn vùng tự do cho phép bởi sự giảm số lƣợng các khớp thần kinh. Một cách khác để tránh lãng phí phần cứng trong mạng giảm thiểu, sẽ sử dụng “kết nối rỗng” của một cấu trúc kết nối đầy đủ để loại bỏ kết nối dƣ thừa trong hệ thống.
Chúng tôi tin rằng hệ thống kết nối đầy đủ với cấu trúc “xây dựng khối” liên kết nhƣ hình 2.1 thì đơn giản và rất cần thiết. Chúng tôi sẽ sử dụng nó trong các nghiên cứụ
Một số hệ thống với cấu trúc liên kết mạng tái cấu hình lại đƣợc đề xuất trong các tài liệụ Mặc dù nó có thể đƣợc đặt câu hỏi nếu một mạng noron kết nối ngẫu nhiên có thể đƣợc ứng dụng hiệu quả trên những hệ thống này, chúng tôi cung cấp một giải pháp giải quyết vấn đề chung. Ngoài ra, cấu trúc tái cấu hình có thể đƣợc sử dụng để thay đổi cấu trúc liên kết của ANN việc đào tạo và đƣa ra các khối khiếm khuyết.
Một ANN tái cấu hình đặc biệt thú vị thì đƣợc mô tả nhƣ saụ Trong việc thực hiện điều này để “gộp” các khớp thần kinh và noron ở trên thì đƣợc thay thế bởi “các khớp thần kinh-noron phân phối”: Mạch ép noron thì đƣợc phân phối trong các khớp thần kinh kết nối và có thể đƣợc kết nối song song với các khớp thần kinh noron khác, đảm bảo rằng khu vực công tắc truyền đƣợc giữ ở mức thấp hợp lý, nhƣ trong hình 2.3.
Hình 2.3: Mạng noron tái cấu hình được.
2.2.2.2. Sự phát tín hiệu:
Các khu vực trong đó các tín hiệu khác nhau đƣợc truyền thì có liên quan chặt chẽ đến các nhu cầu của bộ nhân ma trận ở trên – hoặc sự cần thiết của một khớp thần kinh:
Đầu ra từ một noron (hoặc một đầu vào noron) phải đƣợc dễ dàng phân phối cho một cột của các khớp thần kinh
Đầu ra tự một hàng của các khớp thần kinh phải dễ dàng đƣợc tích lũỵ Sự truyền phát một tín hiệu thì phải thực hiện dễ dàng nhất để sử dụng nhƣ một điện áp ngƣỡng, điều này có thể phát hiện bằng cách sử dụng cảm biến trở kháng cao trong mạch song song. Trong vùng dòng điện, sự bổ sung của tín hiệu tƣơng tự thì dễ dàng thực hiện bởi sự kết nối của dây nối đầu vào tới dây nối đầu rạ Nhƣ vậy, sử dụng khớp thần kinh với đầu vào điện áp và đầu ra dòng điện thì đáp ứng những yêu cầu trên – điều này thì tốt nhƣ mạch nhân điển hình có đầu vào điện áp và đầu ra dòng điện. Nó thì đƣợc mô tả trên hình 2.4. Một sự biến thiên của giản đồ đầu ra dòng điện thì đƣợc sử dụng bộ nạp, để có thể tích trữ trên mạch tích hợp.
Hình 2.4: Một khớp thần kinh điện đặc biệt.
Những tín hiệu tƣơng tự đƣợc truyền trong vùng điện áp/dòng điện thì nhạy cảm với nhiễu cho những cặp đối tƣợng thông qua nguồn năng lƣợng hoặc điện dung/điện cảm ký sinh. Trong mạng noron chuỗi xung dữ liệu, sự nhạy cảm với nhiễu của các đầu ra noron thì làm giảm hiệu quả bởi sự di chuyển thông tin từ miền điện thế tới miền thời gian – cho những trƣờng hợp sử dụng điều chế tần số xung (PFM) hoặc điều chế độ rộng xung (PWM): Một tín hiệu điện áp số có thể truyền và phục hồi dễ dàng, và thông tin về thời gian thì không nhạy tạo nên nguồn nhiễu nhiều nhất. Những đầu ra khớp thần kinh nhạy với nhiễu thì không giảm dễ dàng bởi vì yêu cầu cho sự tích lũy dễ dàng. Vì vậy những đầu ra của khớp thần kinh đặc trƣơng là những bộ nạp (những kết nối đầy đủ đƣợc tăng lên bởi chuỗi dữ liệu của xung đầu vào). Để có đƣợc đầy đủ ƣu điểm của đầu ra noron không nhạy với nhiễu, quan trọng là kết nối giữa khớp thần kinh tới noron thì giữ ở một mức độ tối thiểu, vùng địa phƣơng. Đó là, đầu ra của một noron duy nhất nên sử dụng cho truyền thông giữa các chíp.
Trên đây là các phƣơng pháp thƣờng đƣợc sử dụng nhất trong hệ thống tín hiệu trong thuộc tính mạng noron tích hợp, mặc dù các hệ thống khác vẫn tồn tạị Chúng ta sẽ sử dụng tín hiệu có giá trị liên tục trong phạm vi điện áp và dòng điện trong công việc này nhƣ phƣơng pháp này là phƣơng pháp truyền tín hiệu nhanh nhất tƣơng ứng với một kiến trúc khớp thần kinh đơn giản.
Nhƣ hình 2.4, các khớp thần kinh điện tử điển hình bao gồm hai thành phần: một mạch nhân và một tế bào nhớ có kết nối mạnh mẽ. Vì số lƣợng các khớp thần kinh trong một ANN quy mô nhƣ O(N2) ở đây N là số lƣợng noron, giảm diện tích các khớp thần kinh là một trong các đối tƣợng chính của nghiên cứu mạng noron tích hợp. Vì vậy, phần tiếp theo chúng tôitìm hiểu về tế bào bộ nhớ và mạch nhân.
2.2.2.3. Bộ nhớ:
Lƣu giữ các tín hiệu tƣơng tự thì không phải là đơn giản; không chính xác, hiệu quả bộ nhớ điện tử tƣơng tự vẫn tồn tại ngày naỵ Do đó, sự lƣu trữ của khớp thần kinh
đầy đủ là một liên quan chính trong việc nghiên cứu ANNs tƣơng tự; có nhiều giải pháp đã đƣợc đƣa ra nhƣng có một số loại chủ yếu sau đây:
Lƣu trữ điện dung
Lƣu trữ bằng cách sử dụng phƣơng tiện chế tạo đặc biệt Lƣu trữ số
Lưu trữ điện dụng: Phƣơng pháp đơn giản để lƣu trữ một tín hiệu tƣơng tự là đặt một điện tích trên một tụ điện và đọc giá trị này bằng cách sử dụng các cổng ghép nối trở kháng rất cao của MOSFET. Hạn chế của phƣơng pháp này là dòng điện rò thông qua việc chuyển đổi cách lấy mẫu cuối cùng làm giảm hết trọng số. Một số phƣơng pháp để làm giảm dòng rò hiện nay, chúng ta có thể sử dụng một bản thiết kế nhƣ trên hình 2.5, bản thiết kế này loại bỏ khối nguồn gốc chiếm ƣu thế hơn đảo chiều phân cực dòng điện các khớp nốị Ngoài ra, bằng cách sử dụng một bộ đệm điện áp bù thấp, có thể đảm bảo giảm điện áp 0V qua cực gốc của điot, hiệu quả loại bỏ sự rò rỉ nàỵ Với bất cứ phƣơng pháp nào, sự giảm bớt trọng số có thể không hoàn toàn đƣợc loại bỏ và một số kiểu làm việc mới là cần thiết.
Hình 2.5: Lưu trữ điện dung.
Hầu hết các thiết kế mới dựa trên lƣợng tử hóa các trọng số và sử dụng các giá trị trọng số rời rạc để nạp cho bộ tụ trọng số. Một trong những cách tiếp cận rõ ràng hơn để làm nhƣ vậy là sử dụng một bộ nhớ sao lƣu RAM kỹ thuật số: các trọng số đƣợc lƣu trữ kỹ thuật số trong bộ nhớ RAM và các bộ tụ điện đƣợc làm mới định kỳ thông qua một bộ chuyển đổi D/Ạ Chúng ta có thể truy cập nối tiếp các tụ điện trọng số nhƣ các thông tin trong khối bộ nhớ RAM; do đó một số lƣợng chuyển đổi D/A sẽ là cần thiết. Bộ nhớ RAM kỹ thuật số thì rất rẻ, đây là một giải pháp có hiệu quả đối với những hệ thống lớn. Truy cập nối tiếp để cập nhật trọng số là một hạn chế lớn cho một hệ thống với thuật học phần cứng, nó chậm hơn so với một hệ thống với trọng số truy cập song song. Tuy nhiên, nhiều vấn đề về trọng số quá lớn phải thận trọng trong quá
trình học, rõ ràng ít sử dụng kiến trúc nàỵ Đầu tiên, chuyển đổi A/D và D/A thì cần thiết và phải sử dụng các chuyển đổi có độ chính xác cao; thứ hai, Bộ nhớ lƣu trữ RAM có thể có thông tin trong khối có độ rộng tùy ý (số thứ tự bít) và do đó thay đổi rất nhỏ các trọng số có thể đƣợc tích lũỵ
Nó cũng có thể sử dụng một biểu đồ mới “lƣợng tử hóa tái sinh”: Điện áp trên tụ điện trọng số đƣợc so sánh có chu kỳ với một số điện áp rời rạc tham chiếu (trong hình thức của mạch hạn chế nấc) và điện áp trên tụ điện đƣợc “tái sinh” để tham chiếu gần nhất. Đối với trọng số có độ chính xác rất cao (so sánh để giảm trọng số), cần thiết phải đặt các mạch tái sinh tại các vị trí khớp thần kinh để cho phép làm mới trọng số so sánh. Đối với trọng số có độ chính xác thấp, có thể dùng chung những mạch điện này, nhƣng một bộ đệm điện áp phải đƣợc đặt tại vị trí khớp thần kinh để điều khiển giá trị điện dung trên dây kết nối các cột của mạch điện phản hồị Trong cả hai trƣờng hợp, kỹ thuật lƣợng tử hóa tái tạo thì đòi hỏi nhiều diện tích hơn so với lƣu trữ điện dung đơn giản với một bộ nhớ RAM. Đối với bản thiết kế hệ thống thuật học trên chip, lƣợng tử hóa tái tạo không phải là đặc biệt thích hợp bởi vì yêu cầu độ phân giải cao của trọng số - trừ khi các bản thiết kế luật học là quá trình cập nhận trọng số nhanh có thể đƣợc tích lũy giữa các trọng số mới liên tiếp.
Một cách tiếp cận hoàn toàn khác để làm mới dựa trên sự có mặt của một bản thiết kế luật học: làm mới bởi luật học lặp lạị Trong một giai đoạn không hoạt động của mạng noron nó đƣợc huấn luyện bằng cách sử dụng một giai đoạn của dữ liệu huấn luyện gốc, do đó phục hồi lại trọng số. Nhƣng rõ ràng nhƣợc điểm với cách tiếp cận này là (i) mạng noron có thể không hoạt động liên tục và (ii) toàn bộ sự huấn luyện phải đƣợc lƣu trữ trong hệ thống. Nếu các chƣơng trình huấn luyện làm việc là một chƣơng trình học không giám sát, làm mới bởi luật học lặp lại có thể đƣợc sử dụng theo một cách mềm dẻo: Luật học có thể đƣợc áp dụng trên mỗi mẫu đầu vào, loại bỏ sự cần thiết cho giai đoạn không hoạt động và sự lƣu trữ dữ liệu học. Nhƣ vậy làm mới trọng số thì cũng có thể áp dụng nếu luật học với một sự đánh giá đƣợc sử dụng: một tín hiệu củng cố thƣờng có thể đƣợc lấy ra từ môi trƣờng của một hệ thống đang hoạt động với mức giá trị tối thiểụ Vấn đề với cách tiếp cận này là các mạng sẽ có xu hƣớng bỏ qua việc phân loại các dạng đầu vào ít xuất hiện. Cho dù điều này là chấp nhận đƣợc, hoặc thực sự là một lợi thế mạnh mẽ phụ thuộc vào ứng dụng.
Trong hầu hết các tình huống thì việc cần thiết để có thể đọc ra các thành phần của ma trận trọng số; ví dụ: cho mục đích sao lƣu, hoặc để chuyển trạng thái của mạng sang một mạng khác (sự huấn luyện lại sẽ là cần thiết). Có thể làm nhƣ vậy mà không cần truy cập trực tiếp trọng số nếu các đầu ra từ các mạch nhân ma trận vector có thể truy cập: Áp dụng z= j nhƣ là đầu vào để mạch nhân ma trận-vector cho kết quả đầu ra si=wij + wijofs , Trong đó wijofs là đầu ra MVM bù sai lệch, và lƣợng bù sẽ phải bị loại bỏ.
Thiết bị lưu trữ quá trình đặc biệt: Bộ nhớ tƣơng tự không khả biến có thể khắc phục các vấn đề rò rỉ điện dụng lƣu trữ. Phổ biến nhất trong số này là lƣu trữ cổng kết nối ở đó điện lƣợng bị giữ lại hoàn toàn trên cổng cách điện hoàn toàn của một MOSFET do đó sự quy định giá trị điện áp ngƣỡng nhƣ hình 2.6 (MOSFET sẽ là đầu vào của các transistor của mạch nhân hình 2.5) [1,12]. Tồn tại nhiều cách để lƣu điện tích trên cổng không nối; phù hợp với tiêu chuẩn quy trình CMOS; Điều khác là không đòi hỏi các bƣớc quá trình đặc biệt nhƣ trong quá trình dùng EFPROM. Sự quy định thƣờng đƣợc thực hiện bởi (i) áp dụng một điện áp cao trên cổng oxit, do đó buộc một dòng điện truyền liên mạng để tính điện tích cổng hoặc (ii) đặt vào các cổng tia UV, do đó gây ra một sự dẫn điện song song bởi sự tồn tại của lỗ trống hoặc cặp