Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thường

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐH KỸ THUẬT CÔNG NGHIỆP - - TRẦN NGỌC ÁNH NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ THÔNG THƢỜNG LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA Thái Nguyên, 2012 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐH KỸ THUẬT CÔNG NGHIỆP - - TRẦN NGỌC ÁNH NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ THÔNG THƢỜNG LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH: TỰ ĐỘNG HÓA NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS PHẠM HỮU ĐỨC DỤC Thái Nguyên, 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐẠI HỌC KTCN THÁI NGUYÊN Độc lập – Tự – Hạnh phúc THUYẾT MINH LUẬN VĂN THẠC SĨ KỸ THUẬT ĐỀ TÀI: “NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ THÔNG THƢỜNG” HỌC VIÊN: TRẦN NGỌC ÁNH LỚP: K13TĐH GVHD: PGS TS PHẠM HỮU ĐỨC DỤC BAN GIÁM HIỆU PHÒNG QLĐT SAU ĐẠI HỌC GIÁO VIÊN HƢỚNG DẪN HỌC VIÊN PGS TS PHẠM HỮU ĐỨC DỤC TRẦN NGỌC ÁNH THÁI NGUYÊN, 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tôi tên Trần Ngọc Ánh, học viên lớp CHK13-TĐH; xin cam đoan luận văn: “Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thường” tự tổng hợp, kết luận văn trung thực chƣa công bố Trong luận văn có sử dụng số nguồn tài liệu tham khảo rõ ràng nhƣ nêu phần tài liệu tham khảo Thái Nguyên, Ngày tháng 12 năm 2012 Học viên Trần Ngọc Ánh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên i http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Tôi xin chân thành cảm ơn PSG TS PHẠM HỮU ĐỨC DỤC tận tình hƣớng dẫn tơi suốt q trình hồn thành nội dung luận văn Tôi xin chân thành cảm ơn Khoa Điện – trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên tạo điều kiện, giúp đỡ tơi q trình học tập nghiên cứu đề tài Cuối xin chân thành cảm ơn giúp đỡ Ban giám hiệu, Phòng quản lý đào tạo sau đại học - trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên cho phép tạo điều kiện thuận lợi để tơi hồn thành luận văn Số hóa Trung tâm Học liệu – Đại học Thái ii Nguyên http://www.lrc-tnu.edu.vn Mục Lục LỜI CAM ĐOAN i LỜI CẢM ƠN ii Danh mục ký hiệu từ viết tắt vi Danh mục hình vẽ vii Mở đầu Chƣơng 1: Tổng quan mạng nơron nhân tạo 1.1 Mơ hình nơron nhân tạo: 1.2 Cấu trúc mạng noron: 1.3 Các tính chất mạng nơron nhân tạo: 1.4 Các luật học: 1.4.1 Học có giám sát: 1.4.2 Học củng cố: 1.4.3 Học khơng có giám sát: 10 1.5 Ứng dụng mạng nơron điều khiển tự động: 12 1.6 Công nghệ phần cứng sử dụng mạng nơron: 13 1.7 Kết luận chƣơng 1: 14 Chƣơng 2: Lý thuyết thiết kế phần cứng mạng noron nhân tạo 15 2.1 Giới thiệu chung: 15 2.1.1 Thực thi mạng noron nhân tạo phần cứng tƣơng tự: 15 2.1.2 Thực thi luật học phần cứng tƣơng tự: 17 2.2 Hệ thống xử lý mạng noron: 19 2.2.1 Mơ hình mạng noron nhân tạo: 19 2.2.1.1 Noron: 20 Số hóa Trung tâm Học liệu – Đại học Tháiiii Nguyên http://www.lrc-tnu.edu.vn 2.2.1.2 Mạng noron 21 2.2.2 Lập biểu đồ thuật toán VLSI: 22 2.2.2.1 Cấu trúc: 22 2.2.2.2 Sự phát tín hiệu: 25 2.2.2.3 Bộ nhớ: 26 2.2.2.4 Mạch nhân: 32 2.2.2.5 Hàm chuyển đổi: 38 2.2.3 Thiết kế chip: 41 2.2.3.1 Chíp noron: 41 2.2.3.2 Chíp khớp thần kinh: 43 2.2.3.3 Chíp thần kinh đầu vào rời rạc 46 2.2.4 Đo lƣờng chíp: 46 2.2.4.1 Chíp noron: 46 2.2.4.2 Chíp khớp thần kinh: 47 2.2.4.3 Chip đa hợp: 48 2.3 Kết luận chƣơng: 49 Chƣơng 3: Thực on-chip lan truyền ngƣợc 50 3.1 Thuật toán lan truyền ngƣợc: 50 3.1.1 Các khái niệm bản: 50 3.1.2 Những thay đổi thuật toán: 51 3.2 Sự đặt thuật toán VLSI: 53 3.3 Thiết kế chip: 59 3.3.1 Chíp khớp thần kinh: 59 3.3.2 Chip noron 61 Số hóa Trung tâm Học liệu – Đại học Tháiiv Nguyên http://www.lrc-tnu.edu.vn 3.4 Các phép đo chíp: 63 3.4.1 Chíp khớp thần kinh: 63 3.4.2 Chip noron: 65 3.4.3 Cải thiện tính tốn đạo hàm: 68 3.5 Thiết kế hệ thống: 69 3.5.1 Liên kết ASIC: 70 3.5.2 Phần cứng cập nhật trọng số: 71 3.6 Lan truyền ngƣợc khơng tuyến tính: 72 3.6.1 Đạo hàm thuật toán: 73 3.6.2 Thực phần cứng: 74 3.7 Kết luận chƣơng 3: 79 Kết luận, kiến nghị hƣớng nghiên cứu 80 Tài liệu tham khảo 81 Số hóa Trung tâm Học liệu – Đại học Thái v Nguyên http://www.lrc-tnu.edu.vn Danh mục ký hiệu từ viết tắt ADC Chuyển đổi tƣơng tự số ANN Mạng nơron nhân tạo CCO Mạch điều khiển dao động dòng điện DAC Chuyển đổi số tƣơng tự IPM Mạch nhân kết bên LBM MOSFET MOSFET lƣỡng cực MLP Multi-layer proception MRC Mạch điện trở MOSFET MVM Mạch nhân Ma trận-Vetor NLSM Mạch nhân khớp thần kinh không tuyến tính PFM Điều chế tần số xung PSRR Hệ số giảm nguồn lƣợng PWM Điều chế độ rộng xung VLSI Mạch tích hợp lớn WSI Mạch tích hợp lớp mỏng Số hóa Trung tâm Học liệu – Đại học Tháivi Nguyên http://www.lrc-tnu.edu.vn Danh mục hình vẽ Hình Tên hình Trang 1.1 Mơ hình phần tử xử lý thứ i (mơ hình nơron) 1.2 Đồ thị dạng hàm chuyển đổi 1.3 Cấu trúc số loại mạng nơron thường gặp 1.4 Sơ đồ ba kiểu học mạng nơron 10 1.5 Luật học trọng số dạng 11 2.1 Mở rộng mạng noron 23 2.2 Mạng noron hồi quy mở rộng 24 2.3 Mạng noron tái cấu hình 24 25 2.4 Một khớp thần kinh điện đặc biệt 26 2.5 Lưu trữ điện dung 27 2.6 Các cổng MOSFET 29 2.7 Mạch nhân Gilbert MOS 34 2.8 Mạch nhân điện trở MOS 35 2.9 Điện trở MRC tương đương 35 2.10 Khớp thần kinh chuyển đổi DAC nhiều lớp 36 2.11 Mạch nhân khớp thần kinh phi tuyến đơn 37 2.12 Đặc điểm trọng số đầu NLSM 37 2.13 Tần số xung noron 39 2.14 Phân bố noron 40 2.15 Noron tang hypebon 42 2.16 Mạch nhân kết bên 44 2.17 Sơ đồ mạch khớp thần kinh 45 2.18 Sự chênh lệch chuyển dòng điện 45 2.19 Đo lường chức truyền tải noron 47 2.20 Đo lường đặc điểm khớp thần kinh 47 2.21 Đo lường đặc điểm chuyển đổi noron-khớp thần kinh 48 2.22 Đo lương phản ứng bước nhảy noron-khớp thần kinh 48 3.1 Sơ đồ mạch khớp thần kinh lan truyền ngược 54 Số hóa Trung tâm Học liệu – Đại học Tháivii Nguyên http://www.lrc-tnu.edu.vn Hình 3.17: Hàm chuyển đổi Hình 3.18: Sự khơng tuyến tính parabol đạo hàm parabol khác Hình 3.19: Tỷ lệ độ suy giảm lấy mẫu noron Chip noron khớp thần kinh lan truyền chậm đƣa lớp lan truyền chậm với tlpd  2.5 s , điều đƣa tốc độ chế độ gọi lại với 12.8 MCPS chip khớp thần kinh lớp (hoặc GCPS chíp khớp thần kinh cỡ đầy đủ 100x100 đƣợc sử dụng) ý thiết bị chuyển mạch cài đặt lại cấu hình đầu noron khơng làm giảm hiệu suất tải điện dung dịng điện (so với chíp hệ đầu tiên) Chíp noron lấy t xwpd  3.6  s để tính tốn trọng số đƣa tốc độ học khoảng 0.25 MCUPS cho hệ thống lan truyền ngƣợc Đƣa tỷ lệ suy giảm lấy mẫu kích hoạt noron (hình 3.19), điều giới hạn kích cỡ hệ thống khoảng 2.106 kết nối cho độ xác bit hàm kích hoạt noron (ứng dụng sử dụng 0,3.106 kết nối đƣợc biết đến chƣơng 2) Nên vấn đề, kỹ thuật số làm lấy mẫu hàm kích hoạt noron đƣợc sử dụng 67 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.4.3 Cải thiện tính tốn đạo hàm: Ngồi việc bù đầu chip khớp thần kinh bù thay đổi trọng số – mà đƣợc hủy bỏ thiết lập chƣơng trình tự động loại bỏ bù – vấn đề liên quan hầu hết đến chip tính toán đạo hàm noron Để đảm bảo kết khơng phủ định việc tính tốn, chúng tơi sử dụng nhiễu loạn đạo hàm nhƣ đề cập Ngồi ra, chúng tơi kiểm sốt chặt chẽ đầu khơng điều phủ định: Bằng cách sử dụng CCII+ hai chiều dựa IPM (IPM chip thần kinh hệ thứ hai) để tính tốn “1-y2”, đầu dòng điện Trái lại dòng điện cách sử dụng dòng điện phản chiếu đơn giản, chắn đầu khơng phủ định (một vài phần cứng đƣợc thêm vào cần thiết để đảm bảo tốc độ, trở kháng đầu hợp lý v.v.v.) sử dụng kỹ thuật loại bỏ bù tự động để loại bỏ bù (mặc dù khơng thiết phải cần thiết mà khơng có số lƣợng đáng kể phần cứng bổ sung) Hơn nữa, phƣơng pháp tiếp cận đến xung quanh vấn đề liên quan đến bù tính tốn đạo hàm cho chip lan truyền ngƣợc: đƣợc nêu phần 2.2.5 “chúng tơi khơng có quyền truy cập vào đầu mạng noron” tính tốn đạo hàm noron cho thuật học Tính tốn tích phân thuật học on-chip – nhƣ modun đƣợc thêm vào – tại, chúng tơi có liệu đầu vào mạng noron Điều ngụ ý chúng tơi lựa chọn hàm chuyển đổi noron độc lập – nhƣ đạo hàm tính tốn Bogason đê nghị tính gần đạo hàm tỉ số khác: iy (vs ) vs  iy (vs  V )  iy (vs  V ) 2V (3.12) Trong V điện áp “nhỏ” biểu đồ khối cho mạch tổng hợp đạo hàm điện áp, đạo hàm dòng điện đầu noron đƣợc hình 3.20 Dòng điện đầu đầu noron cơng tắc chuyển đổi đƣợc mở (và V=0) tính gần đạo hàm cơng tắc chuyển đổi đƣợc đóng Noron làm đối tƣợng cặp MOST khác Trong trƣờng hợp độ lớn đầu phủ định tính tốn đạo hàm đƣợc xác định kết hợp hai nguồn dòng điện cuối Bằng cách sử dụng cặp khác 68 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MOST để thực hàm chuyển đổi noron lợi tốc độ so với noron tiếp tuyến hypebol Độ xác phƣơng pháp tiếp cận tỷ số khác đƣợc đƣa với 10% sử dụng cách hợp lý độ lớn V Thay sử dụng hai khối chuyển noron để tính toán giá trị đạo hàm, khối đơn giản kết hợp với tụ điện chuyển mạch đƣợc sử dụng Điều giảm transitor tính tốn Những khó khăn rõ ràng tính tốn đạo hàm hàm kích hoạt cần thiết giảm độ dốc lấy cảm hứng từ số tác giả để làm mà khơng có thơng tin đạo hàm; ví dụ cách thay số cho đạo hàm cách sử dụng kỹ thuật tối ƣu hóa hồn tồn khác Hình 3.20: Tính gần đạo hàm với tỷ số vi sai 3.5 Thiết kế hệ thống: Hầu hết phần cứng cho ANN với on-chip lan truyền ngƣợc bao gồm chip lan truyền ngƣợc Đối với hệ thống hoàn chỉnh, thêm vào vài ứng dụng cần thiết Đó là:  Một nhớ lƣu trữ trọng số kỹ thuật số  Hầu hết trình tự nhân rộng phần cứng O(1), ví dụ chuyển đổi D/A A/D để truy cập nhớ lƣu trữ, số phần cứng cập nhật trọng số Cũng bao gồm:  Một máy tự động hữu hạn để kiểm soát hệ thống (làm trọng số, đầu vào ứng dụng, chƣơng trình điều khiển luật học )  Mơi trƣờng để đặt ANN Trong phần này, chúng tơi miêu tả hệ thống hồn chỉnh nhƣ vậy: Để dễ dàng kiểm tra, nhúng ANN giao diện máy tính 69 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn kỹ thuật số sử dụng máy tính nhƣ máy tự động hạn chế (hoặc thiết bị chế độ hạn chế, FSM) Giải pháp không cho phép kiểm tra tốc độ hệ thống: Bus PC AT (ISA) – cần thiết chuyển đổi A/D D/A – điểm mấu chốt hệ thống tốc độ Khơng có hiệu suất tốc độ chế độ gọi lại chế độ học đƣợc kiểm tra Tuy nhiên, khơng có lý mà hệ thống không nên chạy tốc độ đƣợc định đo đạc chip riêng lẻ Mặt khác, mức hiệu suất hệ thống mạch điện đƣợc kiểm tra cách sử dụng lập trình mức độ cao; chúng tơi sử dụng mơi trƣờng máy tính “nhân tạo” Cho ứng dụng thực tế, mối trƣờng khu vực mạch điện tƣơng tự máy tự động giới hạn – điều đơn giản – ASIC kỹ thuật số, bao gồm chuyển đôi A/D D/A Chip khớp thần kinh lan truyền ngược thu nhỏ: chế độ lan truyền ngƣợc hệ thống nhận perceptron hai tầng 28-12-4 Nhƣ kiến trúc yêu cầu 20 chip khớp thần kinh 8x4, cần thiết để có chip khớp thần kinh lan truyền ngƣợc thu nhỏ (16x16) đƣợc chế tạo Thật không may, Trên MPC cụ thể chạy thơng số chế tạo bên ngồi phạm vi quy định, kênh n chế tạo thông số độ dẫn điện, thấp nhƣ KN = 33A/V2 (so sánh với giá trị danh nghĩa KN = 57A/V2) Có lẽ, điện áp ngƣỡng có giá trị lớn điều giải thích giảm phạm vi hoạt động thành phần kiểm tra việc chạy MPC trƣớc Những tác động chip chủ yếu làm giảm phạm vi đầu vào bù sai lệch hệ thống lớn Sử dụng điện áp tham chiếu đƣợc nâng lên mạch điện bồi thƣờng bù dòng điện bên ngồi, chúng tơi hy vọng chúng tơi làm cho hệ thống làm việc chip chất lƣợng 3.5.1 Liên kết ASIC: Sử dụng chip khớp thần kinh 16x16 đơn giản, số lƣợng chíp khớp thần kinh giảm xuống, kết nối với (khi hệ thống hoạt động chế độ lan truyền ngƣợc) nhƣ hình 2.21 (chip khớp thần kinh đƣợc rút có kiến trúc nhƣ hình thuận tiện) [5,11] Bốn đƣờng truyền tín hiệu đầu vào bốn đƣờng truyền tính hiệu đâu ma trận khớp thần kinh đƣợc điều khiển điện áp DC, đặt bốn hàng bốn cột lớp cho ngƣỡng noron (chỉ chế độ truyền thẳng) thiết bị bù độ lệch nhƣ nêu hình 70 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Trƣớc học, đầu mạch nhân ma trận vector đƣợc đo lƣờng (trong hai chế độ truyền thẳng đảo chiều) thiế bị bù độ lệch khớp thần kinh bền đƣợc điều chỉnh để giảm thiểu bù tới mức nhỏ (tức slks elks ) Hình 3.21: Cấu trúc ANN lan truyền ngược Nhƣ nhớ lƣu trữ khớp thần kinh bền sử dụng RAM 16 bit Một số tác giả giải vấn đề rời rạc trọng số ANNs Độ phân giải bít cho hệ thống học phù hợp với hầu hết báo cáo mơ Sau q trình học, độ phân giả trọng số cần thiết thấp – thƣờng đại lƣợng trọng số tƣơng đối giá trị trọng số xác để xác định trạng thái hệ thống; nhiên, trình học thay đổi trọng số nhỏ cần đƣợc tích trữ Khi làm khớp thần kinh bền chíp khớp thần kinh từ RAM, sử dụng DAC 12 bit Thực tế việc rời rạc trọng số ANN giảm tới 12bit; nhiên, chúng tơi tích lũy thay đổi trọng số nhỏ nhƣ sử dụng rời rạc 16 bit Trên thực thế, việc thực ANN sử dụng chƣơng trình tốt hệ thống mà rời rạc trọng số đƣợc giảm từ 16 tới 12 bit sau học: huấn luyện mạng thực tế cuối mạng trung gian với độ phân giải trọng số cao 3.5.2 Phần cứng cập nhật trọng số: Giá trị bù độ phân giải trọng số hệ thống VLSI tƣơng tự hạn chế tỷ lệ học phạm vi cao so với phần mềm mô Nhƣ chúng tơi sử dụng O(1) chƣơng trình cập nhật trọng số – nhƣ sử dụng nhớ lƣu trữ trọng số độ xác cao – chúng tơi giảm ảnh hƣởng bù thay đổi trọng số rời rạc thay đổi trọng số, giảm tỷ lệ học đến mức nhỏ nhất, cách thêm vào thay đổi trọng số với trọng số cũ kỹ thuật số Sử 71 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn dụng ADC 12 bit để chuyển đổi tín hiệu thay đổi trọng số tƣơng tự sang tín hiệu số để trọng số 16 bit, mở rộng bù thay đổi trọng số có hiệu yếu tố ½4 Điều đƣợc minh họa hình 3.12 Các sơ đồ mạch thực tế phức tạp nhƣ trọng số lƣỡng cực thay đổi trọng số cần phải đƣợc xử lý nhƣ vƣợt qua cộng kỹ thuật số phải đƣợc ngăn chăn Ngoài ra, dồn kênh cho phép kiểm tra phần cứng cập nhật trọng số tƣơng tự onchip Hình 3.22: Nguyên tắc phần cứng cập nhật trọng số kỹ thuật số Nghiên cứu sơ đồ khối noron lan truyền ngƣợc hình 3.18 Chúng tối thấy tín hiệu w kj khơng phải truy cập trực tiếp; áp dụng tín hiệu w kj (t )  dec chip noron nhƣ điểm không cho thay đổi trọng số mong muốn đầu (mặc dù tránh khỏi với lƣợng bù lớn nội w kj ) Khi đầu chip khớp thần kinh, đầu w kj đƣợc bù độ lệch trƣớc học (bằng cách áp dụng yếu tố đầu vào điểm không chế độ học điều chỉnh tín hiệu w kj (t ) nhƣ mà đầu khơng) Ngồi chi phí phần cứng nhỏ, lợi việc sử dụng chƣơng trình cập nhật trọng số nối tiếp khả để sử dụng xác chƣơng trình cập nhật trọng số khơng có chi phí phần cứng giới hạn Các thuật học vốn đƣợc sử dụng cập nhật trọng số nối tiếp (nhƣ nhiễu loạn trọng số) nên tận dụng điều này; ví dụ cách sử dụng chƣơng trình cập nhật trọng số Tất nhiên, chƣơng trình cập nhật trọng số yêu cầu lƣu trữ trọng số với lƣu trọng số kỹ thuật số; hệ thống lớn điều lựa chọn tốt sử dụng chƣơng trình cập nhật trọng số nối tiếp 3.6 Lan truyền ngược không tuyến tính: Nhƣ thấy, mối quan tâm lớn thực 72 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn giảm độ dốc giống nhƣ thuật học phần cứng tính tốn đạo hàm noron Nhiều cách tiếp cận khác để làm gần giá trị đạo hàm đƣợc đề xuất luận văn: tỉ số chênh lệch (tính tốn địa phƣơng toàn bộ) phƣơng pháp gần khác, nhiễu loạn để làm giảm lƣợng bù liên quan đến lƣợng sai lệch, nhƣ triển khai thực phần lớn bỏ qua đạo hàm [11] Những khó khăn liên quan đến việc thực gần thuc đẩy phát triển thuật toán giảm độ dốc mới, lan truyền ngƣợc khơng tuyến tính (NLBP), việc tính tốn giá trị đạo hàm đƣợc tránh Trong phần này, đƣa thuật tốn trình bầy nhƣ để kết hợp cấu trúc lan truyền ngƣợc có sẵn 3.6.1 Đạo hàm thuật toán: Đạo hàm thuật tốn lan truyền ngƣợc khơng tuyến tính khn khổ lan truyền ngƣợc lặp lại đƣợc tìm thấy Hertz Trong trƣờng hợp truyền thẳng, nhớ lại quy tắc cập nhật trọng số (3.3) xác định thay đổi trọng số: l l wkj (t )   kl (t ) z lj (t )   g '( sk (t )) kl (t ) z lj (t ) = N  l g '(sk (t )) kl (t ) z lj (t ) N (3.13) Trong chúng tơi gọi N giá trị miền NLBP Bây giờ, ý tƣởng lan truyền ngƣợc khơng tuyến tính để mơ tả phƣơng trình nhƣ khai triển tailor thứ tự phƣơng trình  l   l l w lkj (t )   N  g ( sk (t )   k (t ))  g ( sk (t ))  z lj (t ) N   hợp lệ nhỏ (3.14)  l  (t ) xác định lại định nghĩa sai lệch trọng số (3.2) để: N k l  Nk (t )  N   l   l l  k (t ))  g ( sk (t ))   g ( sk (t )  N   (3.15) l Trong  Nk (t ) sai lệch trọng số NLBP, phƣơng trình thay đổi trọng số NLBP có dạng giống nhƣ phƣơng trình lan truyền ngƣợc ban đầu: l w lkj (t )   Nk (t ) z lj (t ) 73 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên (3.16) http://www.lrc-tnu.edu.vn Khi giá trị miền NLBP  N lớn, xấp xỉ Tailor tốt nhƣng đồi hỏi độ xác cao để tính tốn Khi  N nhỏ, thuật tốn số lƣợng ổn định nhƣng đƣợc lấy từ hình dạng độ dốc Chúng tơi nghĩ  N nằm phạm vi    N  Trong giới hạn số lƣợng ổn định – mà thú vị việc thực VLSI độ xác giới hạn cơng nghệ – có dạng đơn giản l l l  Nk (t )  g (sk (t )   kl (t ))  g (sk (t )) for  N   (3.17) l Nhƣ lan truyền ngƣợc bình thƣờng, chúng tơi lựa chọn  Nk (t )   kL (t ) cho lớp đầu mong muốn sử dụng hàm chức giá trị entropi Hình 3.23: Sai lệch huấn luyện NLBP Trong hình 3.23 sai lệch huấn luyện (sử dụng liệu NETtalk cho lan truyền ngƣợc bình thƣờng NLBP đƣợc so sánh Hiệu suất NLBP giống nhƣ lan truyền ngƣợc thông thƣờng mô (chú ý thay đổi thuật tốn thơng thƣờng nhƣ làm suy giảm trọng số, xung lƣợng…v.v áp dụng với NLBP) Trong việc thực phần cứng, vƣợt trội lan truyền ngƣợc thông thƣờng: Đƣợc dựa cộng trừ noron không tuyến tính, khơng phải dựa phép chia phép nhân, tính tốn sai lệch trọng số NLBP đơn giản nhiều đƣợc liên kết để xác Cũng ƣu tiên thực phần cứng dấu hiệu cho thấy NLBP tốt cho lan truyền ngƣợc thông thƣờng cho tỷ lệ học lớn 3.6.2 Thực phần cứng: Là khác biệt lan truyền ngƣợc bình thƣờng lan truyền ngƣợc phi tuyến tính cách thức sai lệch bền trọng số đƣợc tính tốn – tính tốn địa phƣơng – đồ topo phần cứng 74 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn cách thức xác nhƣ lan truyền ngƣợc thơng thƣờng; có việc thực noron khác Trong phần này, trình bày cốt lõi việc thực hai noron cho ANN với luật học NBLP Noron NLBP thời gian liên tục: Lấy cặp khác BJT noron ban đầu nhƣ điểm khởi đầu cho thực NLBP với hàm kích hoạt noron tang hypebol, dẫn đến sơ đồ mạch hình 3.24 Để đơn giản, cặp khác đƣợc thực với npn BJTs; việc thực thực tế CMOS, chế độ lƣỡng cực bên MOSTs kênh p đƣợc sử dụng thiết kế trƣơc Khi hàm kích hoạt noron thực tế không quan trọng cho NLBP, cặp khác MOST đƣợc sử dụng thay mà có lợi cho tốc độ Bằng cách sử dụng cặp khác LBM MOST, có lợi cho độ xác Ngƣời ta nhận thấy mạch đòi hỏi phải áp dụng sai lệch noron phủ định,  k Do chíp khớp thần kinh cần phải đƣợc tính tốn điều chế độ đảo chiều,  k (yêu cầu thay đổi đơn giản) Thật thú vị nhận thấy cấu trúc mạch điện giống với đƣợc sử dụng Bogason (hình 3.20) để tính tốn đạo hàm hàm kích hoạt noron: Thay Dòng điện đầu i k v k giá trị nhỏ hơn, điện áp không đổi -V, gần V Ngƣời ta giải thích NLBP nhƣ cách để khai thác điều mạch nhân tiềm ẩn khác biệt (3.17) mà loại bỏ " g ( sk ). k " – mạch nhân – nguồn sai lệch Hơn thế, vk khơng phải “một điện áp nhỏ” (nhƣ trái ngƣợc với V) mà làm cho khơng xác vốn có Do đó, cách sử dụng mạch cho NLBP cho độ xác tốt so với sử dụng cho lan truyền ngƣợc thơng thƣờng Độ xác mạch điện (tính tốn sai lệch trọng số) đƣợc xác định kết hợp hai cặp chênh lệch dòng điện đầu chúng Điều đƣợc theo mức 1% mức độ dịng điện đầu – Điều tốt nhiều so với tính xác chíp chúng tơi có lẽ nâng cao hiệu suất đáng kể Tuy nhiên, điện trở chuyển đổi tuyến tính cần thiết đầu vào đầu cho khả tƣơng thích với chip khớp thần kinh Điều làm suy giảm hiệu suất 75 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 3.24: Noron lan truyền ngược phi tuyến thời gian thực Các mạch nhƣ đƣợc trình bầy hàm chức thời gian thực thay cấu trúc noron lan truyền ngƣợc hình 3.2 hệ thống sử dụng cập nhật phần cứng song song đầy đủ Noron NLBP thời gian rời rạc: Nhƣ hình dạng thực tế hàm kích hoạt noron khơng thích hợp cho thực lan truyền ngƣợc khơng tun tính, khơng cần thiết phải thực cặp chênh lệch Một cách tiếp cận tốt sử dụng mạch vốn có (các đầu vào dịng điện đầu điện áp cần thiết) Ngoài ra, nhƣ chức tƣơng tự đƣợc sử dụng để tính tốn kích hoạt noron sai lệch noron, thích hợp để sử dụng phần cứng cho tính tốn, điều giúp loại bỏ cần thiết cho thành phần phù hợp Điều hệ thống khơng cần thiết để thực chức thời gian liên tục, đầu phải đƣợc lấy mẫu Nhƣ hình 3.25 sơ đồ mạch đơn giản nhƣ noron thời gian rời rạc điều sử dụng lại khối hàm kích hoạt có dịng điện đầu vào/điện áp Trong 1 bƣớc xung nhịp, vyk đạt đƣợc đầu lấy mẫu tụ điện Trong 2 bƣớc xung nhịp, vk đạt đƣợc đầu Đó tụ điện chuyển mạch để tính tốn khác (3.17) mà xác định tính xác mạch điện Lƣu ý đệm đầu cần phải đƣợc tuyến tính nhƣng bù sai lệch đƣợc loại bỏ tụ điện chuyển mạch Ngoài ra, khối hàm chuyển đổi noron (sáu MOSTs) mạch đầu điện áp/đầu vào dịng 76 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn điện tùy ý; sai lệch ổn định (nhƣ sai lệch điện áp đầu ra/dòng điện đầu vào) khối khơng thích hợp Sử dụng kỹ thuật thiết kế để giảm đƣa vào phần phối lại điện lƣợng, độ xác đƣợc đƣa khoảng 0.1% phạm vi điện áp đầu Noron NLBP thời gian rời rạc thay trực tiếp để tính tốn yếu tố noron lan truyền ngƣợc thơng thƣờng hình 3.8 Do đó, giả sử đệm điện áp cần thiết phiên chế độ gọi lại noron, chi phí phụ NLBP có khả nhỏ: bao gồm tụ điện chuyển đổi vị trí noron việc bổ sung để gia tăng phần cứng hạn chế “phần cứng hiệu qủa chip khớp thần kinh lan truyền ngƣợc” phần cứng cập nhật trọng số thuật tốn điều khiển tự động hữu hạn Hình 3.25: Noron lan truyền ngược khơng tuyến tính thời gian rời rạc Hoạt động bóng bán dẫn đầu khối hàm chuyển đổi chế độ ba cực, mạch điện áp đầu thể trình chuyển đổi đặn hợp lý từ Vmax đến Vmin dịng điện đầu vào tăng lên, đƣa hàm chuyển đổi dạng hình S Tuy nhiên, mạch điện có hệ số loại bỏ nguồn lƣợng thấp (PSRR) Một mạch thực tế đƣợc hình 3.26 Việc thêm vào dịng điện phản chiếu đƣờng chuyền tín hiệu cho PSRR tốt khả trở kháng đầu vào thấp Để tránh dòng điện lấy từ quy chiếu vùng đầu (điều thỏa hiệp độ bền chúng tôi) đệm khuếch đại đơn giản 77 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn (NLBP không yêu cầu phạm vi đầu noron đƣợc xác định rõ ràng, sai lệch đầu vào lớn khuếch đại không cần phỉa phù hợp lớn) Độ dốc noron đƣợc điều khiển dịng điện dịch chuyển thứ tự đầu vào, IB Mơ hàm chuyển đổi cho dòng điện dịch chuyển khác đƣợc thấy hình 3.27 Hình 3.26: Sơ đồ cấu trúc khối kích hoạt noron Hình 3.27: Mơ hàm chuyển đổi noron 78 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.7 Kết luận chương 3: Chƣơng nghiên cứu lý thuyết thiết kế chip ANN ghép liên tầng, bao gồm luật học lan truyền ngƣợc Đƣa thuật học đƣợc khả áp dụng thay đổi thuật toán phổ biến cho việc thực VLSI tƣơng tự Ứng dụng cụ thể cho chip lam truyền ngƣợc với đặc điểm nhƣ trọng số đƣợc lƣu trữ trọng Ram kỹ thuật số, biết đƣợc thay đổi trọng số thông qua sử dụng phần cứng kỹ thuật số rời rạc Nghiên cứu thuật tốn lan truyền ngƣợc khơng tuyến tính, khơng cần tính tốn đạo hàm noron Đề xuất noron khác nhƣ noron lan truyền ngƣợc phi tuyến thời gian liên tục thời gian rời rạc Đƣa mạch ngƣỡng thay đổi trọng số, xung lƣợng suy giảm trọng số hệ thống 79 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Kết luận, kiến nghị hướng nghiên cứu Kết luận: Luận văn nghiên cứu số nội dung:  Nghiên cứu tìm hiểu lý thuyết mạng noron nhân tạo  Trên sở nghiên cứu tìm hiểu việc xây mạng noron nhân tạo VLSI lớp, với thành phần co nhân, nhớ…bằng cách sử dụng thiết bị tƣơng tự MOSFET  Đi sâu nghiên cứu đề xuất thiết kế chip noron VLSI với cấu trúc truyền thẳng nhiều lớp thuật học lan truyền ngƣợc Kiến nghị hướng nghiên cứu tiếp theo:  Nâng cao chất lƣợng chip noron VLSI với cấu trúc truyền thẳng nhiều lớp thuật học lan truyền ngƣợc  Tiếp tục nghiên cứu cách thực mạng noron nhân tạo với cấu trúc mạng khác, thuật học khác  Thực vi mạch chip noron 80 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Tài liệu tham khảo [1] Đỗ Xuân Thụ, Kĩ thuật điện tử, NXB Giáo dục, 2006 [2] Nguyễn Nhƣ Hiển, Lại Khắc Lãi, Hệ mờ nơron kỹ thuật điều khiển, NXB Khoa học tự nhiên công nghệ, 2007 [3] Phạm Hữu Đức Dục, Mạng nơron ứng dụng điều khiển tự động, NXB Khoa học kỹ thuật, 2009 [4] Tống Văn On, Thiết kế vi mạch CMOS VLSI, NXB Phƣơng Đông, 2007 [5] Antonio J Montalvo, Ronal S Gyurcsik, John J Paulos, An Analog VLSI Neural Network with On-Chip Perturbation Learning, IEEE JOURNAL OF SOLID-STATE CIRCUIT, VOL 32, NO 4, APRIL 1997 [6] Cyril Prasanna Raj P, S.L Pinjare, Design and Analog VLSI Implementation of Neural Network Architecture for Signal Processing, European Journal of Scientific Research, ISSN 1450-216X Vol.27 No.2 (2009), pp.199-216 [7] Gert Cauwenberghs, An Analog VLSI Recurrent Neural Network Learning a Continuous-Time Trajectory, IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL 7, NO MARCH 1996 [8] John A Lansner and Torsten Lehmann, “An Analog CMOS Chip Set for Neural Networks with Arbitrary Topologies” IEEE Transaction on Neural Networks, vol 4, no 3, pp 441-444, May1993 [9] John A Lansner, “Analog VLSI Implementation of Artificial Neural Network” Ph D thesis, Electronics Institute, Technical University of Denmark, Lyngby, 1994 [10] P D Moerland and E Fiesler, Hardware – Friendly Learning Algorithms for Neural Networks: an Overview , Published in the Proceedings of the Fifth Interational Conference on Microelectronics for Neural Network and Fuzzy Systems: MicroNeuro’96 Lausanne, Switzerland, February 12-14,1996 [11] Torsten Lehmann, Hardware Learning in anologue VLSI Neural Network, Technical University of Denmark 1994 [12] Vincent F Koosh, Analog Computation and Learning in VLSI, California Institute of Technology, Pasadena, California 2001 81 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... trúc số loại mạng nơron thường gặp (a) Mạng nơron truyền thẳng lớp; (b) Mạng nơron truyền thẳng nhiều lớp; (c) Mạng nơron có nơron tự hồi quy; (d) Mạng nơron hồi quy lớp; (e) Mạng nơron có cấu... vào thiết kế để tạo đƣợc chíp thực luật học nhƣ mạng nơron nhân tạo hƣớng Do việc ? ?Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp phần tử điện tử thông thƣờng” đề tài mang tính cấp thiết. .. kỹ thuật Đề tài nghiên cứu tập trung nghiên cứu từ đề xuất phƣơng pháp, xây dựng sơ đồ thiết kế để thực thiết kế phần cứng cho mạng nơron truyền thẳng nhiều lớp phần tử điện tử thơng thƣờng Trên