Thực hiện phần cứng:

Là sự khác biệt duy nhất giữa lan truyền ngƣợc bình thƣờng và lan truyền ngƣợc phi tuyến tính là cách thức các sai lệch bền trọng số thì đƣợc tính toán – và vì đây là những tính toán địa phƣơng – các bản đồ topo trên phần cứng trong cùng một

cách thức chính xác nhƣ lan truyền ngƣợc thông thƣờng; duy chỉ có việc thực hiện noron là khác nhaụ Trong phần này, chúng tôi sẽ trình bày cốt lõi của việc thực hiện hai noron cho một ANN với luật học NBLP.

Noron NLBP thời gian liên tục: Lấy cặp khác nhau giữa BJT của noron ban đầu của chúng tôi nhƣ là một điểm khởi đầu cho thực hiện NLBP với một hàm kích hoạt noron tang hypebol, dẫn đến các sơ đồ mạch trong hình 3.24. Để đơn giản, các cặp khác nhau đƣợc thực hiện với npn BJTs; trong việc thực hiện thực tế của CMOS, chế độ lƣỡng cực bên MOSTs kênh p sẽ đƣợc sử dụng trong thiết kế trƣơc đâỵ Khi hàm kích hoạt noron thực tế là không quan trọng cho NLBP, các cặp khác nhau MOST có thể đƣợc sử dụng thay thế mà sẽ có lợi cho tốc độ. Bằng cách sử dụng các cặp khác nhau LBM MOST, có thể có lợi cho độ chính xác. Ngƣời ta sẽ nhận thấy rằng các mạch đòi hỏi phải áp dụng các sai lệch noron phủ định, k. Do đó chíp khớp thần kinh sẽ cần phải đƣợc tính toán điều này trong chế độ đảo chiều, không phải là k(yêu cầu một thay đổi đơn giản).

Thật thú vị khi nhận thấy rằng cấu trúc mạch điện thì giống với một trong những cái đƣợc sử dụng bởi Bogason (hình 3.20) để tính toán các đạo hàm hàm kích hoạt noron: Thay thế vk bởi một giá trị nhỏ hơn, điện áp không đổi -V,

Dòng điện đầu ra ik sẽ gần đúng V. Ngƣời ta có thể giải thích NLBP nhƣ một cách để khai thác điều này mạch nhân tiềm ẩn sự khác biệt (3.17) cái mà loại bỏ "g s( ).k k"– mạch nhân – và do đó là một nguồn của các sai lệch. Hơn thế, vk thì không phải là “một điện áp nhỏ” (nhƣ trái ngƣợc với V) mà làm cho không chính xác vốn có ít hơn. Do đó, bằng cách sử dụng các mạch cho NLBP cho độ chính xác tốt hơn so với khi sử dụng nó cho lan truyền ngƣợc thông thƣờng.

Độ chính xác của mạch điện (tính toán sai lệch trọng số) đƣợc xác định bởi sự kết hợp của hai cặp chênh lệch và dòng điện đầu ra của chúng. Điều này có thể đƣợc theo các mức 1% của mức độ dòng điện đầu ra – Điều này thì tốt hơn nhiều so với tính chính xác của chíp hiện tại của chúng tôi và có lẽ sẽ nâng cao hiệu suất đáng kể. Tuy nhiên, vẫn còn điện trở chuyển đổi tuyến tính là cần thiết tại các đầu vào và đầu ra cho khả năng tƣơng thích với các chip khớp thần kinh. Điều này sẽ làm suy giảm hiệu suất.

Hình 3.24: Noron lan truyền ngược phi tuyến trong thời gian thực.

Các mạch nhƣ đƣợc trình bầy hàm chức năng trong thời gian thực và có thể thay thế bằng cấu trúc noron lan truyền ngƣợc của hình 3.2 trong một hệ thống sử dụng cập nhật phần cứng song song đầy đủ.

Noron NLBP thời gian rời rạc: Nhƣ hình dạng thực tế của hàm kích hoạt noron thì không thích hợp cho thực hiện lan truyền ngƣợc không tuyên tính, không cần thiết phải thực hiện trên các cặp chênh lệch. Một cách tiếp cận tốt hơn là sử dụng các mạch vốn có (các đầu vào dòng điện và các đầu ra điện áp là cần thiết). Ngoài ra, nhƣ các chức năng tƣơng tự đƣợc sử dụng để tính toán kích hoạt noron và các sai lệch noron, sẽ là thích hợp hơn để sử dụng cùng một phần cứng cho những tính toán, điều này giúp loại bỏ sự cần thiết cho các thành phần phù hợp. Điều này là có thể nếu hệ thống không cần thiết để thực hiện chức năng trong thời gian liên tục, mặc dù đầu ra sẽ phải đƣợc lấy mẫụ

Nhƣ chỉ ra trên hình 3.25 là sơ đồ mạch đơn giản nhƣ của một noron thời gian rời rạc điều này sử dụng lại các khối hàm kích hoạt và nó có dòng điện đầu vào/điện áp rạ Trong đó 1 bƣớc xung nhịp, vyk thì đạt đƣợc tại đầu ra và lấy mẫu ở tụ điện. Trong đó 2 bƣớc xung nhịp, vk thì đạt đƣợc tại đầu rạ Đó là các tụ điện chuyển mạch để tính toán sự khác nhau trong (3.17) và cái mà xác định tính chính xác của mạch điện. Lƣu ý rằng các bộ đệm đầu ra cần phải đƣợc tuyến tính nhƣng sự bù sai lệch của nó thì đƣợc loại bỏ bởi các tụ điện chuyển mạch. Ngoài ra, các khối hàm chuyển đổi noron (sáu MOSTs) có thể là một mạch đầu ra điện áp/đầu vào dòng

điện tùy ý; các sai lệch ổn định (nhƣ sai lệch điện áp đầu ra/dòng điện đầu vào) trong khối này là không thích hợp. Sử dụng kỹ thuật thiết kế để giảm đƣa vào và phần phối lại các điện lƣợng, độ chính xác có thể đƣợc đƣa ra trong khoảng 0.1% của phạm vi điện áp đầu rạ

Noron NLBP thời gian rời rạc này có thể thay thế trực tiếp để tính toán các yếu tố của noron lan truyền ngƣợc thông thƣờng trong hình 3.8. Do đó, giả sử rằng bộ đệm điện áp sẽ cần thiết trong một phiên bản chế độ gọi lại của noron, chi phí phụ NLBP thì có khả năng rất nhỏ: bao gồm duy nhất một tụ điện chuyển đổi tại các vị trí noron trong việc bổ sung để gia tăng phần cứng hạn chế nhất của “phần cứng hiệu qủa chip khớp thần kinh lan truyền ngƣợc” của chúng tôi và phần cứng cập nhật trọng số và thuật toán điều khiển tự động hữu hạn.

Hình 3.25: Noron lan truyền ngược không tuyến tính thời gian rời rạc.

Hoạt động các bóng bán dẫn đầu ra của khối hàm chuyển đổi trong chế độ ba cực, mạch điện áp đầu ra sẽ thể hiện một quá trình chuyển đổi đều đặn hợp lý từ Vmax đến Vmin khi dòng điện đầu vào thì tăng lên, đƣa ra một hàm chuyển đổi dạng hình S. Tuy nhiên, mạch điện có một hệ số loại bỏ nguồn năng lƣợng rất thấp (PSRR). Một mạch thực tế hơn đƣợc chỉ ra trong hình 3.26. Việc thêm vào các dòng điện phản chiếu trong các đƣờng chuyền tín hiệu cho một PSRR tốt hơn và khả năng của một trở kháng đầu vào thấp. Để tránh dòng điện lấy ra từ quy chiếu vùng đầu ra (điều này sẽ thỏa hiệp độ bền của chúng tôi) các bộ đệm khuếch đại đơn giản này

(NLBP không yêu cầu phạm vi đầu ra noron là đƣợc xác định rất rõ ràng, do đó sai lệch đầu vào lớn của bộ khuếch đại không cần phỉa phù hợp rất lớn). Độ dốc noron thì đƣợc điều khiển bởi dòng điện dịch chuyển thứ tự đầu vào, IB. Mô phỏng hàm chuyển đổi cho các dòng điện dịch chuyển khác nhau có thể đƣợc thấy trong hình 3.27.

Hình 3.26: Sơ đồ cấu trúc khối kích hoạt noron.

Hình 3.27: Mô phỏng hàm chuyển đổi noron.

3.7 Kết luận chương 3:

Chƣơng này nghiên cứu lý thuyết thiết kế bộ chip ANN ghép liên tầng, bao gồm luật học lan truyền ngƣợc. Đƣa ra các thuật học cơ bản đã đƣợc và khả năng áp dụng các thay đổi thuật toán phổ biến cho việc thực hiện VLSI tƣơng tự. Ứng dụng cụ thể cho bộ chip lam truyền ngƣợc với những đặc điểm nhƣ trọng số đƣợc lƣu trữ trọng một Ram kỹ thuật số, có thể biết đƣợc sự thay đổi trọng số thông qua sử dụng phần cứng kỹ thuật số rời rạc.

Nghiên cứu về thuật toán lan truyền ngƣợc không tuyến tính, không cần tính toán đạo hàm noron. Đề xuất các noron khác nhƣ noron lan truyền ngƣợc phi tuyến thời gian liên tục và thời gian rời rạc. Đƣa ra các mạch ngƣỡng thay đổi trọng số, xung lƣợng và sự suy giảm trọng số trong hệ thống.

Kết luận, kiến nghị và hướng nghiên cứu tiếp theo

Kết luận:

Luận văn đã nghiên cứu một số nội dung:

 Nghiên cứu tìm hiểu những lý thuyết cơ bản về mạng noron nhân tạo

 Trên cơ sở đó nghiên cứu tìm hiểu về việc xây một mạng noron nhân tạo VLSI một lớp, với các thành phần co bản bộ nhân, bộ nhớ…bằng cách sử dụng thiết bị tƣơng tự MOSFET.

 Đi sâu nghiên cứu đề xuất thiết kế một bộ chip noron VLSI với cấu trúc truyền thẳng nhiều lớp là thuật học lan truyền ngƣợc.

Kiến nghị và hướng nghiên cứu tiếp theo:

 Nâng cao chất lƣợng của bộ chip noron VLSI với cấu trúc truyền thẳng nhiều lớp là thuật học lan truyền ngƣợc.

 Tiếp tục nghiên cứu về cách thực hiện mạng noron nhân tạo với các cấu trúc mạng khác, và các thuật học khác.

Tài liệu tham khảo

[1]. Đỗ Xuân Thụ, Kĩ thuật điện tử, NXB Giáo dục, 2006.

[2]. Nguyễn Nhƣ Hiển, Lại Khắc Lãi, Hệ mờ và nơron trong kỹ thuật điều khiển, NXB Khoa học tự nhiên và công nghệ, 2007.

[3]. Phạm Hữu Đức Dục, Mạng nơron và ứng dụng trong điều khiển tự động,

NXB Khoa học và kỹ thuật, 2009.

[4]. Tống Văn On, Thiết kế vi mạch CMOS VLSI, NXB Phƣơng Đông, 2007

[5]. Antonio J. Montalvo, Ronal S. Gyurcsik, John J. Paulos, An Analog VLSI Neural Network with On-Chip Perturbation Learning, IEEE JOURNAL OF SOLID-STATE CIRCUIT, VOL. 32, NỌ 4, APRIL 1997.

[6]. Cyril Prasanna Raj P, S.L. Pinjare, Design and Analog VLSI Implementation of Neural Network Architecture for Signal Processing, European Journal of Scientific Research, ISSN 1450-216X Vol.27 Nọ2 (2009), pp.199-216.

[7]. Gert Cauwenberghs, An Analog VLSI Recurrent Neural Network Learning a Continuous-Time Trajectory, IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 7, NỌ 2 MARCH 1996.

[8]. John Ạ Lansner and Torsten Lehmann, “An Analog CMOS Chip Set for Neural Networks with Arbitrary Topologies” IEEE Transaction on Neural Networks, vol. 4, nọ 3, pp. 441-444, May1993.

[9]. John Ạ Lansner, “Analog VLSI Implementation of Artificial Neural Network”

Ph. D. thesis, Electronics Institute, Technical University of Denmark, Lyngby, 1994 [10]. P. D. Moerland and Ẹ Fiesler, Hardware – Friendly Learning Algorithms for Neural Networks: an Overview , Published in the Proceedings of the Fifth Interational Conference on Microelectronics for Neural Network and Fuzzy Systems: MicroNeuro’96 Lausanne, Switzerland, February 12-14,1996.

[11]. Torsten Lehmann, Hardware Learning in anologue VLSI Neural Network, Technical University of Denmark 1994.

[12]. Vincent F. Koosh, Analog Computation and Learning in VLSI, California Institute of Technology, Pasadena, California 2001.