(Luận văn thạc sĩ) nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN LÂM THƯƠNG NGHIÊN CỨU VÀ THỰC HIỆN CẤU TRÚC VLSI CHO THUẬT TOÁN HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ–605270 S KC 0 Tp Hồ Chí Minh, tháng 10 năm 2013 BỢ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN LÂM THƯƠNG NGHIÊN CỨU VÀ THỰC HIỆN CẤU TRÚC VLSI CHO THUẬT TOÁN HỌC NGÀNH: KỸ THUẬT ĐIỆN TỬ–605270 Hướng dâñ khoa hoc̣: TS HOÀNG TRANG Tp Hồ Chí Minh, tháng 10 năm 2013 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Lâm Thương Giới tính: Nam Ngày, tháng, năm sinh: 21-05-1975 Nơi sinh: Vĩnh Long Quê quán: phường 1, thành phố Vĩnh long Dân tộc: Kinh Chỗ riêng địa liên lạc: 671 ấp 2, xã An Thái Trung, huyện Cái Bè, tỉnh Tiền Giang Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ …/… đến …/ … Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: quy Thời gian đào tạo từ 1993 đến 1998 Nơi học (trường, thành phố): Đại học Cần Thơ Ngành học: Kỹ Thuật Điện Tử Tên đồ án, luận án môn thi tốt nghiệp: Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Người hướng dẫn: III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 201… (Ký tên ghi rõ họ tên) Nguyễn Lâm Thương ii LỜI CẢM TẠ Lời em xin chân thành cám ơn đến quý Thầy Cô trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chính Minh, người trực tiếp giảng dạy truyền đạt kiến thức bổ ích cho em, tảng bản, hành trang vô quý giá cho em bước vào nghiệp sau tương lai Em xin cảm ơn Thầy TS Hoàng Trang – người Thầy cho em nhiều kiến thức niềm đam mê cấu trúc VLSI Kỹ thuật số mà em chọn Cám ơn Thầy tận tình, quan tâm giúp đỡ em tháng qua Thầy nhiệt tình giải đáp thắc mắc trình hồn thành đề tài Bên cạnh đó, Em xin cám ơn Anh phịng thí nghiệm trường Đại học Bách Khoa Thành phố Hồ Chí Minh tạo nhiều hội giúp em hiểu rõ lĩnh vực đề tài em nghiên cứu Trong q trình làm đề tài, chưa có kinh nghiệm thực tế, dựa vào lý thuyết học với thời gian hạn hẹp nên đề tài không tránh khỏi sai sót Kính mong nhận góp ý, nhận xét q Thầy Cơ để kiến thức em ngày hoàn thiện rút kinh nghiệm bổ ích áp dụng vào thực tiễn cách hiệu tương lai Kính chúc quý Thầy Cô luôn vui vẻ, hạnh phúc, dồi sức khỏe thành công công việc Em xin chân thành cám ơn! iii MỤC LỤC TRANG LÝ LỊCH CÁ NHÂN i LỜI CAM ĐOAN ii CẢM TẠ iii TÓM TẮT iv ABSTRACT v MỤC LỤC vi DANH SÁCH HÌNH VẼ ix BẢNG ĐỐI CHIẾU ANH NGỮ xii CHƯƠNG TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu kết nước công bố 1.2 Mục đích đề tài 1.3 Đối tượng phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn đề tài 1.6 Cấu trúc luận văn CHƯƠNG 2.CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu mạng Neural nhân tạo 2.2 Mơ hình mạng Neural nhân tạo 10 2.2.1 Mơ hình Neural ngõ vào 10 2.2.2 Mơ hình Neural tổng qt 11 2.3 Hàm kích hoạt 12 2.4 Kiến trúc mạng Neural 14 2.4.1 Các mạng Neural truyền thẳng sử dụng luật học giám sát 15 2.4.1.1 Mạng tiến đơn mức 15 2.4.1.2 Mạng tiến đa mức 16 vi 2.4.2 Các mạng neural hồi quy 19 2.5 Các luật học cho mạng Neural 20 2.6 Xem xét đánh giá giải thuật huấn luyện cho mạng neural 22 2.6.1 Luật học lan truyền ngược sử dụng cho mạng truyền thẳng 22 2.6.2 Các luật học cho mạng Neural wavelet 24 2.6.3 Luật học cho dạng mạng hồi tiếp 26 2.6.4 Các luật học khác 28 2.7 Các tính chất mạngNeural 29 2.8 Ngôn ngữ mô tả phần cứng HDL 29 2.9 Giới thiệu phần mềm Quartus II 32 2.10 Phần mềm mô Modelsim 36 2.11 Giới thiệu kit DE2 37 CHƯƠNG 3.THUẬT TOÁN BACKPROPAGATION 39 3.1 Mạng Neural truyền thẳng 39 3.2 Thuật toán Backpropagation 41 3.3 Hàm kích hoạt 49 3.3.1 Hàm Sigmoid 49 3.32 Hàm Tansig 50 CHƯƠNG NGHIÊN CỨU THUẬT TOÁN 52 4.1 Sơ đồ thực thuật toán 52 4.2 Huấn luyện mạng Neural 54 4.3 Khảo sát thuật toán thực Matlab 55 4.4 Các module chương trình 57 4.4.1Khối thực mạng 58 4.4.2 Tính hàm E 59 4.4.3 Module hàm lỗi δk 60 4.4.4 Module hàm lỗi δh1 , δh2 61 4.4.5 Cập nhật trọng số 62 4.5 Thuật toán huấn luyện mạng 63 vii CHƯƠNG KẾT QUẢ 65 5.1 Sơ đồ thực giai đoạn mô 65 5.2 Bộ nhân 66 5.3 Bộ cộng 66 5.4 Tính Net 67 5.5 Tính Tansig 68 5.6 Tính Tansig 68 5.7 Tính Net 69 5.8 Tính Sigmoid 69 5.9 Tính E 70 5.10 Bộ Compare 70 5.11 Tính δk 71 5.12 Tính δh1 71 5.13 Tính δh2 72 5.14 Cập nhật trọng số 72 5.15 Khối Pre-Backpropagation 76 5.16 Khối Backpropagation 77 5.17 Khối weight-register 78 5.18 Kết thực nghiệm kit DE2 79 CHƯƠNG KẾT LUẬN 81 DANH MỤC TÀI LIỆU THAM KHẢO 82 viii Nghiên cứu thực cấu trúc VLSI cho thuật toán học CHƢƠNG TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu, kết nghiên cứu ngồi nƣớc cơng bố Những năm gần mạng Neural nghiên cứu, đề xuất cấu trúc luật học cho nhiều loại mạng neural truyền thẳng hồi quy mới, có nhiều ưu điểm Năm 1943, McCulloch Pitts đề xuất số liên kết mạng Neural Năm 1949, Hebb đưa luật thích nghi mạng Neural Năm 1958, Rosenblatt đưa cấu trúc Perception Năm 1969, Minsky Papert chứng minh tính chất Perceptron Năm 1976, Grossberg dựa vào tính chất sinh học đưa số cấu trúc hệ động học phi tuyến với tính chất Năm 1982, Hopfield đưa mạng hồi quy lớp Năm 1986, Rumelhart, Hinton Williams đề xuất thuật toán học Back Propagation để huấn luyện cho mạng Neural truyền thẳng nhiều lớp Mạng Neural ứng dụng nhiều lĩnh vực quan trọng như:  Quân sự: vũ khí tự động, xử lý tín hiệu Rada, ứng dụng tàu ngầm  Thông tin: xử lý âm thanh, nén âm thanh_hình ảnh  Khơng gian vũ trụ: mơ đường bay, phi thuyền không người lái  Điện tử: giải mã báo lỗi chip, mơ hình hóa hệ thống GVHD: TS Hoàng Trang HV:Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học  Y học: phân tích tế bào ung thư, thiết kế phận giả cho thể  Công nghiệp: kiểm sốt dây truyền cơng nghiệp, phân tích thiết kế sản phẩm, dự báo chất lượng sản phẩm  Cịn nhiều ứng dụng: giao thơng, ngân hàng, robotics, xây dựng, dầu khí Thuật toán học Backpropagation Rumelhart, Hinton Williams đề xuất thực để huấn luyện cho mạng Neural truyền thẳng nhiều lớp (năm 1986) Ngày này, Cấu trúc mạng Neural có nhiều nghiên cứu giải thuật thuật tốn học Tuy nhiên, Những cơng trình nghiên cứu ứng dụng mạng Neural truyền thẳng sử dụng thuật toán Backpropagation luôn lựa chọn ưu điểm đơn giản hiệu Đây số cơng trình nghiên cứu ngồi nước ứng dụng thuật tốn Backpropagation cho mạng Neural truyền thẳng  NETtalk (Sejnowski Rosenberg,1987): Cách phát âm văn tiếng Anh, đầu vào cửa số ký tự bảng chữ tiếng Anh, đầu mã âm vị (chuyển tiếp thành tổng hợp tiếng nói), tạo âm từ người khác ngữ cảnh Tiếp theo, Huấn luyện 1024 từ cách phát âm chúng Kết tạo giọng nói dễ hiểu  Neuralgammon (Tesauro 1989): Huấn luyện mạng Neuralgammon giành chiến thắng huy chương vàng Olympic máy tính London năm 1989, đầu vào mơ tả vị trí (các vị trí xúc xắc) hướng di chuyển có thể, đầu thể tài dự doán hướng di chuyển  Handwriting recognition (LE Cun et al 1990): Huấn luyện mạng sử dụng để đọc mã bưu điện phong bì (bưu điện Hoa kỳ) Ngõ vào kích thước hình ảnh chữ số cách ly nhau, biến đổi hình ảnh trực quan đến 10 lớp kết đầu  Florence Yean Yng (Singapore) Minliu (USA): Ứng dụng mạng Neural để dự báo kế hoạch thực xây dựng Singapore Theo nghiên cứu, đầu vào GVHD: TS HOÀNG TRANG HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.9 Tính E Hình 5.9 :Tính E 5.10 Bộ compare Hình 5.10:Bộ compare GVHD: TS HỒNG TRANG 70 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học 5.11 Tính δk Hình 5.11:Tính δk 5.12 Tính δh1 Hình 5.12:Tính δh1 5.13 Tính δh2 GVHD: TS HOÀNG TRANG 71 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học Hình 5.13:Tính δh2 5.14 Cập nhật trọng số Hình 5.14:Cập nhật trọng số (w1) GVHD: TS HOÀNG TRANG 72 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học Hình 5.15:Cập nhật trọng số (w2) Hình 5.16:Cập nhật trọng số (w3) GVHD: TS HOÀNG TRANG 73 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học Hình 5.17 :Cập nhật trọng số (w4) Hình 5.18 :Cập nhật trọng số (w5) GVHD: TS HOÀNG TRANG 74 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học Hình 5.19:Cập nhật trọng số (w6) Quá trình mơ cập nhật trọng số trình bày kết theo công thức sau: Wij (new) = wij (old ) + Δwij (cập nhật trọng số) Δwij = η δ xij (chọn η=15) Ví dụ: Xét trường hợp cập nhật trọng số w6 , ta tính: in = (00111111001101011001111001100000)2=(0.7094)10 δk =(00111101110100110000111100001010)2=(0.1032)10 w(old)= (00111111100111011001001001001111)2=(1.2310)10 w(new)= (01000000000101001111100101011111)2=(2.3277)10 Tính η = (2.3277-1.2310)/0.1.32/0.7.94 = 14.98 GVHD: TS HOÀNG TRANG 75 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.15 Khối Pre-Backpropagation Khối chủ yếu tính hàm lỗi (error) , so sánh sau phát tín hiệu khối network control (tín hiệu is_cont_train) Khối Pre-Backpropagation tiếp tục thực vòng lặp nhận tín hiệu ena_prebackpropagation input, weight, output1, output2, output, error Hình 5.20: Mơ kết khối Pre-Backpropagation GVHD: TS HOÀNG TRANG 76 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.16 Khối Backpropagation input, output, output1, output2, weight(old), weight(new), Out_layer_cof, hid_layer_cof_ 01, Hid_layer_cof_ 02 Hình 5.21:Mơ kết quảkhối Backpropagation Hình (5.21) trình bày liệu giá trị ngõ vào in , giá trị tính output lớp ẩn lớp ngõ , giá trị δ lớp ngõ lớp ẩn GVHD: TS HOÀNG TRANG 77 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.17 Khối weight_register New_weight Updated_weight Hình 5.22: Mơ khối weight-register Hình (5.22) trình bày giá trị trọng số w[w1, w2, w3, w4, w5, w6] cập nhật, giá trị trọng số sau đưa vào đệm khối network control phát tín hiệu thực vịng lặp GVHD: TS HOÀNG TRANG 78 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học 5.18 Kết thực nghiệm Kit DE2 Hình 5.23:Giá trị hàm Error (reset) Định dạng số floating point 32 bit sau: bit bit 23 bit S e m Các chân kit DE2 gán giá trị hàm Error (E) sau: Bit sign S (1 bit): LEDR 17 Phần mũ e (8 bit): LEDG Phần định trị M (23 bit): LEDR 16 … dùng hiển thị giá trị phần trị từ bit 22 đến bit (những bit 5… có giá trị nhỏ) GVHD: TS HOÀNG TRANG 79 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học Hình 5.24:Giá trị hàm Error (start) Hình (5.24) hiển thị giá trị hàm lỗi E sau : E: 0111 1001 01100110100110101 x x x x x x Bit S=0 , giá trị E dương Phần mũ (0111 1001)2 = (121)10 , e = 121-127 = -6 Phần trị m = 01100110100110101 , M = 1.01100110100110101 Giá tri E 1.01100110100110101 x 2-6 = 0.00000101100110100110101 Vậy: giá trị e khoảng 0.0156 GVHD: TS HOÀNG TRANG 80 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học CHƢƠNG KẾT LUẬN Với kết đạt được, đề tài đáp ứng mục tiêu nghiên cứu đặt ban đầu Cụ thể, đề tài đạt kết sau  Đề tài thiết kế cấu trúc vi mạch cho mạng Neural lan truyền thẳng huấn luyện theo giải thuật Backpropagation  Đề tài thiết kế giải thuật ứng dụng tạo cấu trúc vi mạch với hai ngõ vào ngõ mong muốn Bên cạnh đó, giới hạn thời gian hoàn thành luận văn, hạn chế điều kiện tiến hành thực nghiệm không cho phép thực nghiên cứu sâu lĩnh vực Chính vậy, xin đề xuất số hướng nghiên cứu tiếp tục sau  Mở rộng cấu trúc vi mạch cho mạng Neural đa lớp  Tìm phương pháp luận thực tối ưu cấu trúc vi mạch  Đề biện pháp tính “sai số” huấn luyện mạng Neural thiết kế vi mạch ảnh hưởng đến tốc độ chương trình  Thực cấu trúc vi mạnh cho đường sigmoid số (đây vấn đề cần nghiên cứu tương lai) Đây hướng nghiên cứu triển khai giới Những kết nghiên cứu lĩnh vực áp dụng trực tiếp vào sản xuất ứng dụng giảng dạy bậc đại học Để tiếp cận phát triển hướng nghiên cứu này, cần thực công việc sau  Tập trung trí tuệ tập thể cách xây dựng nhóm nghiên cứu Bên cạnh đó, thực liên kết trao đổi với trường đại học viện nghiên cứu khác nước giới lĩnh vực  Sử dụng công cụ tính tốn, thiết kế, lập trình mơ chun nghiệp công ty hàng đầu giới cung cấp GVHD: TS HOÀNG TRANG 81 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học DANH MỤC TÀI LIỆU THAM KHẢO [1] Sandige, R., “Top-Down Design Process for Gate-Level Combinational Logic Design”, IEEE Transactions on Education, Vol.35, No.3, August 1992,pp 247-252 [2] Wolf, W., “Synthesis Tools Help Teach Systems Concepts in VLSI Design”, IEEE Transactions on Education, Vol 35, No.1, February 1992,pp 11-16 [3] Thomas, D., and Moorby, P., “The Verilog Hardware Description Language”, Kluwer Academic Publishers, Norwell, MA, 1991 [4] Unnikrishnan, K P and Venugopal, K.P., “Alopex: A Correlation-Bassed Learning Algorithm for Feed-Forward and Recurrent Neural Networks”, Neural Computation, Vol.6,1994 [5] Sternheim, E., Singh, R., Madhavan, R., Trivedi, Y., “Digital Design and Synthesis with Verilog HDL”, Automata, San Jose, CA, 1993 [6] Ruiz, L., and Pandya, A., “VLSI Implementable parallel stochastic learning algorithm”, Proceedings of Conference on Neural, Morphological and Stochastic Methods in Image and Signal Processing, San Diego, 1995 [7] Roberto L´opez Gonz´alez, “Neural Networks for Variational Problems in Engineering”, PhD Program in Artificial Intelligence Department of Computer Languages and Systems Technical University of Catalonia 2008 [8] Andrel Dinu, Marcian N.Cirstea, and Silvia E.Cirstea, “Direct Neural_Network Hardware_Implementation Algorithm”, IEEE Transactions On Industrial Electronics, vol.57, no.5.may 2010 [9] Alin TISAN, Stefan ONIGA, Daniel MIC, Attila BUCHMAN, “DIGITAL IMPLEMENTATION OF THE SIGMOID FUNCTION FOR FPGA GVHD: TS HOÀNG TRANG 82 HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật toán học CIRCUITS”, Electronic and computer Department, North University of Baia Mare, Romania, Volume50, Number2, 2009 [10] J-M Muller et al., “Handbook of Floating-Point Arithmetic”, A part of Springer Science+Business Media, LLC 2010 [11] Neelmani Chhedaiya, “Implementation of BackPropagation Algorithm in Verilog”, Int.j.Computer Technology & Applications, Vol (1), 340-343, IJCTA| JAN-FEB 2012 [12] Laura V Ruiz, “ A VLSI Implementable Learning Algorithm”,Florida Atlantic University, 1996 [13] Thamer M.Jamel, Ban M Khammas, “ Implementation of A Sigmoid Activation Function for Neural Network Using FPGA”, Published in the 13 th Scientific Conference of AL-Ma‟moon University College-18 Aprill 2012 GVHD: TS HOÀNG TRANG 83 HV: Nguyễn Lâm Thương ... Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học Quy trình thiết kế tn theo quy trình thiết kế chuẩn Ngơn ngữ thiết kế cho thực mạng Neural giải thuật cho thuật toán học Backpropagation... kiến trúc mạng neural, sử dụng giải thuật cho thuật toán học Backpropagation  Nghiên cứu thực nghiệm: o Nghiên cứu kiến trúc vi mạch cho mạng Neural truyền thẳng, sử dụng giải thuật cho thuật. .. nghiên cứu  Nghiên cứu lý thuyết: GVHD: TS HOÀNG TRANG HV: Nguyễn Lâm Thương Nghiên cứu thuật cấu trúc VLSI cho thuật tốn học o Tìm hiểu lý thuyết mạng Neural nhân tạo số cơng trình nghiên cứu