nghiên cứu và thực hiện cấu trúc vlsi cho thuật toán học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN LÂM THƯƠNG NGHIÊN CỨU VÀ THỰC HIỆN CẤU TRÚC VLSI CHO THUẬT TOÁN HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ–605270 S KC 0 Tp Hồ Chí Minh, tháng 10 năm 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN LÂM THƯƠNG NGHIÊN CỨU VÀ THỰC HIỆN CẤU TRÚC VLSI CHO THUẬT TOÁN HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ–605270 Hướng dâñ khoa hoc̣: TS HOÀNG TRANG Tp Hồ Chí Minh, tháng 10 năm 2013 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Lâm Thương Giới tính: Nam Ngày, tháng, năm sinh: 21-05-1975 Nơi sinh: Vĩnh Long Quê quán: phường 1, thành phố Vĩnh long Dân tộc: Kinh Chỗ riêng địa liên lạc: 671 ấp 2, xã An Thái Trung, huyện Cái Bè, tỉnh Tiền Giang Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ …/… đến …/ … Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: quy Thời gian đào tạo từ 1993 đến 1998 Nơi học (trường, thành phố): Đại học Cần Thơ Ngành học: Kỹ Thuật Điện Tử Tên đồ án, luận án môn thi tốt nghiệp: Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Người hướng dẫn: III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày … tháng … năm 201… (Ký tên ghi rõ họ tên) Nguyễn Lâm Thương ii LỜI CẢM TẠ Lời em xin chân thành cám ơn đến quý Thầy Cô trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chính Minh, người trực tiếp giảng dạy truyền đạt kiến thức bổ ích cho em, tảng bản, hành trang vô quý giá cho em bước vào nghiệp sau tương lai Em xin cảm ơn Thầy TS Hoàng Trang – người Thầy cho em nhiều kiến thức niềm đam mê cấu trúc VLSI Kỹ thuật số mà em chọn Cám ơn Thầy tận tình, quan tâm giúp đỡ em tháng qua Thầy nhiệt tình giải đáp thắc mắc trình hoàn thành đề tài Bên cạnh đó, Em xin cám ơn Anh phòng thí nghiệm trường Đại học Bách Khoa Thành phố Hồ Chí Minh tạo nhiều hội giúp em hiểu rõ lĩnh vực đề tài em nghiên cứu Trong trình làm đề tài, chưa có kinh nghiệm thực tế, dựa vào lý thuyết học với thời gian hạn hẹp nên đề tài không tránh khỏi sai sót Kính mong nhận góp ý, nhận xét quý Thầy Cô để kiến thức em ngày hoàn thiện rút kinh nghiệm bổ ích áp dụng vào thực tiễn cách hiệu tương lai Kính chúc quý Thầy Cô luôn vui vẻ, hạnh phúc, dồi sức khỏe thành công công việc Em xin chân thành cám ơn! iii TÓM TẮT Với phát triển ngày mạnh mẽ công nghệ IC người ta ngày có khuynh hướng tích hợp nhiều IC Do chip PLD (Programmable Logic Device) FPGA (Field Programmable Gate Array) ngày nhỏ gọn tích hợp vào nhiều tiện ích mà công nghệ trước không thực Để sử dụng tiện ích mà chip mang lại phải lập trình cho chip theo ý tưởng thiết kế Cùng với đời chip PLD FPGA ngôn ngữ mô tả phần cứng HDL (Hardwave Description Language) mà thiết kế mạch số dùng để mô tả thiết kế mạch số chip Mạng Neural nhân tạo ứng dụng nhiều lĩnh vực: Không gian vũ trụ, giao thông, ngân hàng, quân sự, điện tử, giải trí, xây dựng, tài chính, công nghiệp y học, dầu khí, robotics, ngôn ngữ, thông tin Do đó, việc xây đựng mạng Neural cấu trúc vi mạch, thực qua FPGA hay ASIC với công nghệ 180nm 65nm thách thức lớn Việc chuyển thể từ giải thuật, ngôn ngữ lập trình cấp cao (Matlab , C++ … ) sang kiến trúc ngôn ngữ phần cứng (Verilog/HDL) nghiên cứu gần Nên việc xây dựng thành công kiến trúc vi mạch cho mạng Neural tiền đề quan trọng cho việc đẩy mạnh phát triển lĩnh vực khác Đề tài tiếp cận vấn đề ứng dụng mạng Neural để xây dựng kiến trúc vi mạch việc kiểm tra đánh giá ứng dụng thực qua kiến trúc vi mạch mạng Neural cho giải thuật Backpropagation Mạng neural sau xây dựng có khả phát triển cho ứng dụng khác cách dễ dàng như: tăng Neural lớp, tăng số lớp mạng Neural … iv ABSTRACT Today, with the development of increasingly powerful in IC engineering The design companies have tended to be more integrated various fuctions on an IC Hence, the companies have designed PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array) chip To use the function that this chip, we have to bring up the idea to chip in our design Along with the advent of the PLD and FPGA chip is hardware description language (HDL Hardwave Description Language) that the design of the circuit used to describe and design digital circuits on the chip Artificial Neural Network application in various areas: Aerospace, transportation, banking, military, electronics, entertainment, construction, finance, medicine, industry, oil and gas, robotics, language, information Hence, the construction of neural network on chip architecture, implemented via FPGA or ASIC with 180nm and 65nm technology is a big challenge The adaptation of the algorithm, the high-level programming language (Matlab, C + + ) to the hardware architecture languages (Verilog / HDL) is one of the recent study So building successful micro architecture for Neural network is an important prerequisite for promoting the development of other sectors Thesis approaches Neural network applications to build micro architecture and application assessment is done through micro architecture of the neural network backpropagation algorithm Neural network after construction will be able to develop other applications easily, such as: increasing Neural per layer and the number of layers in the neural network v MỤC LỤC TRANG LÝ LỊCH CÁ NHÂN i LỜI CAM ĐOAN ii CẢM TẠ iii TÓM TẮT iv ABSTRACT v MỤC LỤC vi DANH SÁCH HÌNH VẼ ix BẢNG ĐỐI CHIẾU ANH NGỮ xii CHƯƠNG TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu kết nước công bố 1.2 Mục đích đề tài 1.3 Đối tượng phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn đề tài 1.6 Cấu trúc luận văn CHƯƠNG 2.CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu mạng Neural nhân tạo 2.2 Mô hình mạng Neural nhân tạo 10 2.2.1 Mô hình Neural ngõ vào 10 2.2.2 Mô hình Neural tổng quát 11 2.3 Hàm kích hoạt 12 2.4 Kiến trúc mạng Neural 14 2.4.1 Các mạng Neural truyền thẳng sử dụng luật học giám sát 15 2.4.1.1 Mạng tiến đơn mức 15 2.4.1.2 Mạng tiến đa mức 16 vi 2.4.2 Các mạng neural hồi quy 19 2.5 Các luật học cho mạng Neural 20 2.6 Xem xét đánh giá giải thuật huấn luyện cho mạng neural 22 2.6.1 Luật học lan truyền ngược sử dụng cho mạng truyền thẳng 22 2.6.2 Các luật học cho mạng Neural wavelet 24 2.6.3 Luật học cho dạng mạng hồi tiếp 26 2.6.4 Các luật học khác 28 2.7 Các tính chất mạngNeural 29 2.8 Ngôn ngữ mô tả phần cứng HDL 29 2.9 Giới thiệu phần mềm Quartus II 32 2.10 Phần mềm mô Modelsim 36 2.11 Giới thiệu kit DE2 37 CHƯƠNG 3.THUẬT TOÁN BACKPROPAGATION 39 3.1 Mạng Neural truyền thẳng 39 3.2 Thuật toán Backpropagation 41 3.3 Hàm kích hoạt 49 3.3.1 Hàm Sigmoid 49 3.32 Hàm Tansig 50 CHƯƠNG NGHIÊN CỨU THUẬT TOÁN 52 4.1 Sơ đồ thực thuật toán 52 4.2 Huấn luyện mạng Neural 54 4.3 Khảo sát thuật toán thực Matlab 55 4.4 Các module chương trình 57 4.4.1Khối thực mạng 58 4.4.2 Tính hàm E 59 4.4.3 Module hàm lỗi δk 60 4.4.4 Module hàm lỗi δh1 , δh2 61 4.4.5 Cập nhật trọng số 62 4.5 Thuật toán huấn luyện mạng 63 vii CHƯƠNG KẾT QUẢ 65 5.1 Sơ đồ thực giai đoạn mô 65 5.2 Bộ nhân 66 5.3 Bộ cộng 66 5.4 Tính Net 67 5.5 Tính Tansig 68 5.6 Tính Tansig 68 5.7 Tính Net 69 5.8 Tính Sigmoid 69 5.9 Tính E 70 5.10 Bộ Compare 70 5.11 Tính δk 71 5.12 Tính δh1 71 5.13 Tính δh2 72 5.14 Cập nhật trọng số 72 5.15 Khối Pre-Backpropagation 76 5.16 Khối Backpropagation 77 5.17 Khối weight-register 78 5.18 Kết thực nghiệm kit DE2 79 CHƯƠNG KẾT LUẬN 81 DANH MỤC TÀI LIỆU THAM KHẢO 82 viii Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.9 Tính E Hình 5.9 :Tính E 5.10 Bộ compare Hình 5.10:Bộ compare GVHD: TS HOÀNG TRANG 70 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.11 Tính δk Hình 5.11:Tính δk 5.12 Tính δh1 Hình 5.12:Tính δh1 5.13 Tính δh2 GVHD: TS HOÀNG TRANG 71 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.13:Tính δh2 5.14 Cập nhật trọng số Hình 5.14:Cập nhật trọng số (w1) GVHD: TS HOÀNG TRANG 72 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.15:Cập nhật trọng số (w2) Hình 5.16:Cập nhật trọng số (w3) GVHD: TS HOÀNG TRANG 73 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.17 :Cập nhật trọng số (w4) Hình 5.18 :Cập nhật trọng số (w5) GVHD: TS HOÀNG TRANG 74 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.19:Cập nhật trọng số (w6) Quá trình mô cập nhật trọng số trình bày kết theo công thức sau: Wij (new) = wij (old ) + Δwij (cập nhật trọng số) Δwij = η δ xij (chọn η=15) Ví dụ: Xét trường hợp cập nhật trọng số w6 , ta tính: in = (00111111001101011001111001100000)2=(0.7094)10 δk =(00111101110100110000111100001010)2=(0.1032)10 w(old)= (00111111100111011001001001001111)2=(1.2310)10 w(new)= (01000000000101001111100101011111)2=(2.3277)10 Tính η = (2.3277-1.2310)/0.1.32/0.7.94 = 14.98 GVHD: TS HOÀNG TRANG 75 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.15 Khối Pre-Backpropagation Khối chủ yếu tính hàm lỗi (error) , so sánh sau phát tín hiệu khối network control (tín hiệu is_cont_train) Khối Pre-Backpropagation tiếp tục thực vòng lặp nhận tín hiệu ena_prebackpropagation input, weight, output1, output2, output, error Hình 5.20: Mô kết khối Pre-Backpropagation GVHD: TS HOÀNG TRANG 76 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.16 Khối Backpropagation input, output, output1, output2, weight(old), weight(new), Out_layer_cof, hid_layer_cof_ 01, Hid_layer_cof_ 02 Hình 5.21:Mô kết quảkhối Backpropagation Hình (5.21) trình bày liệu giá trị ngõ vào in , giá trị tính output lớp ẩn lớp ngõ , giá trị δ lớp ngõ lớp ẩn GVHD: TS HOÀNG TRANG 77 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.17 Khối weight_register New_weight Updated_weight Hình 5.22: Mô khối weight-register Hình (5.22) trình bày giá trị trọng số w[w1, w2, w3, w4, w5, w6] cập nhật, giá trị trọng số sau đưa vào đệm khối network control phát tín hiệu thực vòng lặp GVHD: TS HOÀNG TRANG 78 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.18 Kết thực nghiệm Kit DE2 Hình 5.23:Giá trị hàm Error (reset) Định dạng số floating point 32 bit sau: bit bit 23 bit S e m Các chân kit DE2 gán giá trị hàm Error (E) sau: Bit sign S (1 bit): LEDR 17 Phần mũ e (8 bit): LEDG Phần định trị M (23 bit): LEDR 16 … dùng hiển thị giá trị phần trị từ bit 22 đến bit (những bit 5… có giá trị nhỏ) GVHD: TS HOÀNG TRANG 79 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.24:Giá trị hàm Error (start) Hình (5.24) hiển thị giá trị hàm lỗi E sau : E: 0111 1001 01100110100110101 x x x x x x Bit S=0 , giá trị E dương Phần mũ (0111 1001)2 = (121)10 , e = 121-127 = -6 Phần trị m = 01100110100110101 , M = 1.01100110100110101 Giá tri E 1.01100110100110101 x 2-6 = 0.00000101100110100110101 Vậy: giá trị e khoảng 0.0156 GVHD: TS HOÀNG TRANG 80 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học CHƢƠNG KẾT LUẬN Với kết đạt được, đề tài đáp ứng mục tiêu nghiên cứu đặt ban đầu Cụ thể, đề tài đạt kết sau  Đề tài thiết kế cấu trúc vi mạch cho mạng Neural lan truyền thẳng huấn luyện theo giải thuật Backpropagation  Đề tài thiết kế giải thuật ứng dụng tạo cấu trúc vi mạch với hai ngõ vào ngõ mong muốn Bên cạnh đó, giới hạn thời gian hoàn thành luận văn, hạn chế điều kiện tiến hành thực nghiệm không cho phép thực nghiên cứu sâu lĩnh vực Chính vậy, xin đề xuất số hướng nghiên cứu tiếp tục sau  Mở rộng cấu trúc vi mạch cho mạng Neural đa lớp  Tìm phương pháp luận thực tối ưu cấu trúc vi mạch  Đề biện pháp tính “sai số” huấn luyện mạng Neural thiết kế vi mạch ảnh hưởng đến tốc độ chương trình  Thực cấu trúc vi mạnh cho đường sigmoid số (đây vấn đề cần nghiên cứu tương lai) Đây hướng nghiên cứu triển khai giới Những kết nghiên cứu lĩnh vực áp dụng trực tiếp vào sản xuất ứng dụng giảng dạy bậc đại học Để tiếp cận phát triển hướng nghiên cứu này, cần thực công việc sau  Tập trung trí tuệ tập thể cách xây dựng nhóm nghiên cứu Bên cạnh đó, thực liên kết trao đổi với trường đại học viện nghiên cứu khác nước giới lĩnh vực  Sử dụng công cụ tính toán, thiết kế, lập trình mô chuyên nghiệp công ty hàng đầu giới cung cấp GVHD: TS HOÀNG TRANG 81 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học DANH MỤC TÀI LIỆU THAM KHẢO [1] Sandige, R., “Top-Down Design Process for Gate-Level Combinational Logic Design”, IEEE Transactions on Education, Vol.35, No.3, August 1992,pp 247-252 [2] Wolf, W., “Synthesis Tools Help Teach Systems Concepts in VLSI Design”, IEEE Transactions on Education, Vol 35, No.1, February 1992,pp 11-16 [3] Thomas, D., and Moorby, P., “The Verilog Hardware Description Language”, Kluwer Academic Publishers, Norwell, MA, 1991 [4] Unnikrishnan, K P and Venugopal, K.P., “Alopex: A Correlation-Bassed Learning Algorithm for Feed-Forward and Recurrent Neural Networks”, Neural Computation, Vol.6,1994 [5] Sternheim, E., Singh, R., Madhavan, R., Trivedi, Y., “Digital Design and Synthesis with Verilog HDL”, Automata, San Jose, CA, 1993 [6] Ruiz, L., and Pandya, A., “VLSI Implementable parallel stochastic learning algorithm”, Proceedings of Conference on Neural, Morphological and Stochastic Methods in Image and Signal Processing, San Diego, 1995 [7] Roberto L´opez Gonz´alez, “Neural Networks for Variational Problems in Engineering”, PhD Program in Artificial Intelligence Department of Computer Languages and Systems Technical University of Catalonia 2008 [8] Andrel Dinu, Marcian N.Cirstea, and Silvia E.Cirstea, “Direct Neural_Network Hardware_Implementation Algorithm”, IEEE Transactions On Industrial Electronics, vol.57, no.5.may 2010 [9] Alin TISAN, Stefan ONIGA, Daniel MIC, Attila BUCHMAN, “DIGITAL IMPLEMENTATION OF THE SIGMOID FUNCTION FOR FPGA GVHD: TS HOÀNG TRANG 82 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học CIRCUITS”, Electronic and computer Department, North University of Baia Mare, Romania, Volume50, Number2, 2009 [10] J-M Muller et al., “Handbook of Floating-Point Arithmetic”, A part of Springer Science+Business Media, LLC 2010 [11] Neelmani Chhedaiya, “Implementation of BackPropagation Algorithm in Verilog”, Int.j.Computer Technology & Applications, Vol (1), 340-343, IJCTA| JAN-FEB 2012 [12] Laura V Ruiz, “ A VLSI Implementable Learning Algorithm”,Florida Atlantic University, 1996 [13] Thamer M.Jamel, Ban M Khammas, “ Implementation of A Sigmoid Activation Function for Neural Network Using FPGA”, Published in the 13 th Scientific Conference of AL-Ma‟moon University College-18 Aprill 2012 GVHD: TS HOÀNG TRANG 83 HV: Nguyễn Lâm Thương