Báo cáo tóm tắt Đề tài khoa học và công nghệ cấp Bộ: Nghiên cứu thiết kế lõi IP mạng nơ-ron nhân tạo cho nhận dạng mẫu trên phần cứng FPGA

Mục tiêu nghiên cứu đề tài là thiết kế thành công lõi IP mạng nơ-ron nhân tạo. Phát triển phần mềm nhận dạng chữ số viết tay dựa trên phần cứng FPGA sử dụng lõi IP mạng nơ-ron được thiết kế. Mời các bạn cùng tham khảo!

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TÓM TẮT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ NGHIÊN CỨU THIẾT KẾ LÕI IP MẠNG NƠ-RON NHÂN TẠO CHO NHẬN DẠNG MẪU TRÊN PHẦN CỨNG FPGA Mã số: B2016-DNA-39-TT Chủ nhiệm đề tài: TS HUỲNH VIỆT THẮNG Đà Nẵng, 12/2018 BO OIAo DVC vA oAo TAO D At HOC DA NANG TOM TAT BAo cAo TONG KET DE TAl KHOA HOC vA CONG NGHt" cAp BO NGHIEN CUU THIET KE LOI IP M~NG NO-RON NHAN T~O CHO N H~N D~NG MAu TRE N PHAN CUNGFPGA Mii s6: B2016-DNA-39-TT Chi! nhi~m d~ tid ~ TS Huynh Vi~t Th~ng PGS TS.Nguyen I.e HUng DIt N~ ng, 12/2018 DANH SÁCH CÁC THÀNH VIÊN THAM GIA CƠ QUAN CHỦ TRÌ Tên quan: Đại học Đà Nẵng Điện thoại: 0236-3817180, 0236-3822041 E-mail: bankhcnmt@ac.udn.vn Địa chỉ: 41 Lê Duẩn, Quận Hải Châu, TP Đà Nẵng CHỦ NHIỆM ĐỀ TÀI Họ tên: Huỳnh Việt Thắng Học vị: Tiến sỹ Chức danh khoa học: Giảng viên Năm sinh: 1980 Địa quan: Khoa Điện tử - Viễn thông, Trường Đại học Bách Khoa, Đại học Đà Nẵng, 54 Nguyễn Lương Bằng, Quận Liên Chiểu, TP Đà Nẵng Điện thoại quan: 0236-3841287 Di động: 0963-100174 E-mail: thanghv@dut.udn.vn NHỮNG THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI • TS Hồng Lê Un Thục, Khoa Điện tử - Viễn thông, Trường Đại học Bách Khoa, Đại học Đà Nẵng • ThS Huỳnh Minh Vũ, VNPT Quảng Ngãi • KS Vũ Vân Thanh, Khoa Điện tử - Viễn thông, Trường Đại học Bách Khoa, Đại học Đà Nẵng BỘ GIÁO DỤC & ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Nghiên cứu thiết kế lõi IP mạng nơ-ron nhân tạo cho nhận dạng mẫu phần cứng FPGA - Mã số: B2016-DNA-39-TT - Chủ nhiệm: TS Huỳnh Việt Thắng - Cơ quan chủ trì: Đại học Đà Nẵng - Thời gian thực hiện: từ 12/2016 đến 11/2018 Mục tiêu: - Mục tiêu 1: Thiết kế thành công lõi IP mạng nơ-ron nhân tạo - Mục tiêu 2: Phát triển phần mềm nhận dạng chữ số viết tay dựa phần cứng FPGA sử dụng lõi IP mạng nơ-ron thiết kế Tính sáng tạo: Tại Việt Nam việc nghiên cứu phát triển kiến trúc mạng nơron nhân tạo phần cứng vi mạch chuyên dụng lĩnh vực cịn mẻ Đề tài góp phần giải vấn đề này, thông qua việc phát triển kiến trúc phần cứng tùy biến thực thi lõi IP mạng nơ-ron nhân tạo FPGA ứng dụng nhận dạng mẫu Kết nghiên cứu: Đề tài phát triển kiến trúc phần cứng tùy biến để thực thi mạng nơ-ron nhân tạo FPGA Kiến trúc sử dụng lớp phần cứng tính tốn (SHL_ANN, Single Hardware Layer ANN) để thực tính tốn cho tồn mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp Để đánh giá hiệu kiến trúc đề xuất, đề tài sử dụng toán nhận dạng chữ số viết tay dựa vào sở liệu MNIST thử nghiệm dựa chip FPGA Xilinx Kết đánh giá cho tỉ lệ nhận dạng 97% Sản phẩm: - 01 báo tạp chí quốc tế [1] Thang Viet Huynh, “Evaluation of Artificial Neural Network Architectures for Pattern Recognition on FPGA”, International Journal of Computing and Digital Systems, ISSN: 2210-142X, Vol 6, Issue 3, p 133-138, 2017 - 01 báo tạp chí quốc gia INFORMATION ON RESEARCH RESULTS General information: - Project title: Research and Design of Artificial Neural Network IP core for Pattern Recognition on FPGA - Code number: B2016-DNA-39-TT - Coordinator: Dr Huỳnh Việt Thắng - Implementing Institution: The University of Danang - Duration: from 12/2016 to 11/2018 Objective(s): - Objective 1: Design an artificial neural network IP core - Objective 2: Development of handwritten recognition software based on FPGA hardware using the designed neural network IP core Creativeness and innovativeness: In Vietnam, the research and development of ANN architectures on specialized hardware or ICs is still a relatively new area This research project contributes to addressing this open issue, through the development of a customizable hardware architecture to implement ANN IP cores on FPGA with applications in pattern recognition Research results: In this project, we have developed a customizable hardware architecture to implement ANNs on FPGAs The architecture uses only one single computational layer (SHL_ANN, short for Single Hardware Layer ANN) to perform calculations for the entire multiple-layer ANNs For performance evaluation, we use the handwritten digit recognition application based on the MNIST database and perform experiments with FPGA chips from Xilinx with recognition rate of more than 97% Products: - 01 article in International Journal [1] Thang Viet Huynh, “Evaluation of Artificial Neural Network Architectures for Pattern Recognition on FPGA”, International Journal of Computing and Digital Systems, ISSN: 2210-142X, Vol 6, Issue 3, p 133-138, 2017 - 01 article in Domestic Journal [1] Huỳnh Việt Thắng, Huỳnh Minh Vũ, Hồ Phước Tiến, “A framework for customizable deep neural network hardware generation on FPGA”, UDN Journal of Science and Technology, vol 120 (11.2017), p 68-71, 2017 ISSN 1859-1531 - 01 article in International Conferences [1] Thang Viet Huynh, “Deep Neural Network Accelerator based on FPGA”, in Proceeding of the 4th NAFOSTED Conference on Information and Computer Science (NICS) 2017, IEEE, p 254-257, Hanoi, Vietnam [2] Vu H.M., Thang H.V (2018), “A Customized Hardware Architecture for Multi-layer Artificial Neural Networks on FPGA”, 4th International Conference on Information Systems Design and Intelligent Applications, Advances in Intelligent Systems and Computing (AISC) Book Series, vol 672, p 637-644, Springer, Singapore ISSN:2194-5357 - Educational products: 01 master student successfully defended his Master thesis in the right direction of the research topic: Huynh Minh Vu, K31 Electronic Engineering, thesis entitled "Research and implementation of multilayer artificial neural network on FPGA", defended in 07/2017 at The University of Da Nang – University of Science and Technology (UD-UST) - Applied products: + 01 Design flow for ANN IP cores on FPGA + 01 Handwritten Digit Recognition software based on FPGA hardware Effects, transfer alternatives of reserach results and applicability: - The proposed ANN IP core architecture will contribute a new result to the field of research and development of IP cores, chips for neural networks and the corresponding hardware systems in the application of pattern recognition and machine learning - The research results of this project can be used as a reference for teaching and scientific research of lecturers, undergraduate students, postgraduates and doctoral students for Vietnam Institutions as well as for abroad Institutions 6 MỞ ĐẦU TÍNH CẤP THIẾT CỦA ĐỀ TÀI Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) quan trọng module phân loại/nhận dạng hệ thống xử lý tín hiệu điều khiển tiên tiến Ngày nay, xu hướng Internet of Things (IoT) đòi hỏi tích hợp chip thơng minh thực chức nhận dạng vào thiết bị nhúng thông minh Tại Việt Nam nghiên cứu phát triển kiến trúc mạng nơ-ron nhân tạo phần cứng vi mạch chuyên dụng lĩnh vực mẻ Đề tài nghiên cứu phát triển lõi IP thực thi mơ hình mạng nơ-ron nhân tạo FPGA, thử nghiệm lõi IP hệ thống nhận dạng mẫu dựa FPGA MỤC TIÊU NGHIÊN CỨU + Mục tiêu 1: Thiết kế thành công lõi IP mạng nơ-ron nhân tạo + Mục tiêu 2: Phát triển phần mềm nhận dạng chữ số viết tay dựa FPGA sử dụng lõi IP mạng nơ-ron nhân tạo thiết kế ĐỐI TƯỢNG & PHẠM VI NGHIÊN CỨU a Đối tượng nghiên cứu Mạng nơ-ron nhân tạo, tốn nhận dạng mẫu Cơng nghệ FPGA, lõi IP hệ thống nhúng FPGA Kỹ thuật cơng cụ thực phép tốn số thực FPGA b Phạm vi nghiên cứu Kiến trúc lõi IP mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp CÁCH TIẾP CẬN & PHƯƠNG PHÁP NGHIÊN CỨU a Cách tiếp cận Thiết kế số, ASIC FPGA Mạng nơ-ron nhân tạo, tốn nhận dạng mẫu Tính tốn với số thực phần cứng b Phương pháp nghiên cứu Tổng quan tài liệu, phân tích so sánh cơng trình nghiên cứu liên quan Thiết kế kiến trúc lõi IP mạng nơ-ron nhân tạo Thử nghiệm đánh giá hiệu lõi IP FPGA nhận dạng mẫu BỐ CỤC ĐỀ TÀI Chương - Tổng quan Chương - Cơ sở thực hóa mạng nơ-ron nhân tạo FPGA Chương – Phát triển kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp tùy biến FPGA Chương – Quy trình thực Đánh giá 7 CHƯƠNG - TỔNG QUAN 1.1 Mạng nơ-ron sinh học 1.2 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) mơ hình tốn học hay mơ hình tính tốn theo cách thức xử lý thơng tin nơ-ron sinh học Trong mạng nơ-ron nhân tạo lan truyền thẳng với M lớp (không kể lớp vào), kết đầu lớp thứ k tính sau: xk+1 = f (Wkxk); k = 1, 2, 3…, M (1.1) với xk Wk vector liệu vào ma trận trọng số lớp thứ k; xk+1 vector kết đầu lớp thứ k vector liệu vào cho lớp k+1; f hàm kích hoạt (activation function) Quá trình lan truyền thẳng mạng nơ-ron nhân tạo nhiều lớp thực phép nhân ma trận – vector Wkxk sau áp dụng hàm kích hoạt phần tử kết nhận được, hai phép toán lặp lại cho lớp lớp cuối 1.3 Thực mạng nơ-ron nhân tạo phần cứng Tháng 8/2014, hãng IBM giới thiệu SyNAPSE Chip cho ứng dụng tính tốn thơng minh hiệu cao liên quan đến học máy Bên cạnh đó, vi mạch chuyên dụng thực chức mạng nơron nhân tạo tiếp tục nghiên cứu phát triển giới: Neural Network Chip General Vision, ASIC mạng nơ-ron tích chập KAIST - Hàn Quốc cơng bố 2017 1.4 Phạm vi nhiệm vụ cụ thể đề tài Đề tài tập trung nghiên cứu kiến trúc mạng nơ-ron lan truyền thẳng nhiều lớp, từ phát triển kiến trúc mạng nơ-ron nhân tạo hướng đến FPGA thực thi kiến trúc tảng FPGA Việc đánh giá kiến trúc mạng nơ-ron nhân tạo phát triển dựa vào toán nhận dạng chữ số viết tay, với tiêu chí đánh giá bao gồm: tỉ lệ nhận dạng đúng, tài nguyên phần cứng sử dụng hiệu năng; từ giúp có viễn cảnh rõ khả ứng dụng kiến trúc mạng nơron phát triển ứng dụng thực tế 8 CHƯƠNG - CƠ SỞ HIỆN THỰC HÓA MẠNG NƠ-RON NHÂN TẠO TRÊN FPGA 2.1 Mở đầu chương Chương trình bày vấn đề sở để thiết kể triển khai mạng nơ-ron nhân tạo FPGA 2.2 Hệ thống nhận dạng mẫu dựa mạng nơ-ron nhân tạo Dữ liệu vào Nhận dạng sử dụng mạng nơron nhân tạo (ANN) Kết Hình 2.2 Sơ đồ khối chức hệ thống nhận dạng sử dụng ANN khơng có khối trích chọn đặc trưng 2.3 Mơ hình tính tốn mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp Một mạng nơ-ron nhiều lớp gồm đầu vào, lớp ẩn lớp Trường hợp mạng nơ-ron gồm N đầu vào, lớp ẩn lớp với số nơ-ron lớp M1, M2 M3; đầu vào mạng vec-tơ x, ma trận trọng số W1, W2 W3 vector ngưỡng b1, b2 b3, ta có kết đầu mạng nơ-ron: r3 = f3(W3 f2(W2f1(W1x + b1) + b2) + b3) 2.4 Huấn luyện mạng nơ-ron nhân tạo nhiều lớp Trong đề tài nghiên cứu mạng lan truyền thẳng nhiều lớp để nhận dạng nên thuật toán phù hợp để huấn luyện thuật toán lan truyền ngược BP (Back Propagation) với kỹ thuật SGD (stochastic gradient descent) 2.5 Công nghệ FPGA ngôn ngữ mô tả phần cứng VHDL 2.6 Thực phép toán số thực dấu phẩy động FPGA FloPoCo thư viện khởi tạo lõi tính tốn số học (generator of arithmetic cores) mã nguồn mở cho FPGA Chúng lựa chọn sử dụng định dạng số thực dấu phẩy động bán xác (16-bit) với wE = wF = 10, bit dấu Theo định dạng FloPoCo có thêm bits dành cho trường ngoại lệ, tổng số bit 18 2.7 Thực phép toán sở cho mạng nơ-ron 2.7.1 Bộ nhân cộng tích lũy MAC Hình 2.17 Sơ đồ khối RTL nhân cộng tích lũy MAC 2.7.2 Bộ thực hàm truyền Logsigmoid Hình 2.20 Sơ đồ khối RTL hàm Logsigmoid 2.8 Kết luận chương Chương giới thiệu sở lý thuyết để thực hóa mạng nơ-ron nhân tạo FPGA toán nhận dạng mẫu, bao gồm: mơ hình tính tốn mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp, công nghệ FPGA, VHDL, thư viện FloPoCo phép toán số thực dấu phẩy động FPGA 10 CHƯƠNG – PHÁT TRIỂN KIẾN TRÚC MẠNG NƠRON NHÂN TẠO LAN TRUYỀN THẲNG NHIỀU LỚP TÙY BIẾN ĐƯỢC TRÊN FPGA 3.1 Mở đầu chương 3.2 Kiến trúc nơ-ron Hình 3.2 Sơ đồ khối mức RTL nơ-ron 3.3 Kiến trúc mạng nơ-ron với nhiều lớp tính tốn phần cứng 3.4 Kiến trúc mạng nơ-ron với lớp tính tốn phần cứng Hình 3.5 Sơ đồ khối chức kiến trúc SHL-ANN 11 3.5 Công cụ AutogenDNN cho tùy biến kiến trúc mạng nơ-ron lan truyền thẳng nhiều lớp FPGA Chúng phát triển công cụ AutogenDNN để tạo tự động file mã mô tả phần cứng VHDL Công cụ AutogenDNN đọc ma trận trọng số ngưỡng mạng nơ-ron có cấu trúc tùy biến (thu từ huấn luyện mạng nơ-ron) kết hợp với template cho phép tạo (01) file VHD chứa mã VHDL thực kiến trúc phần cứng mạng nơ-ron nhân tạo nhiều lớp tổng hợp (synthesizable) FPGA Trong phiên tại, AutogenDNN cho phép thực mạng nơ-ron với tối đa lớp (1 lớp vào tối đa lớp ẩn) với số lượng nơ-ron tùy ý lớp 3.6 Kết luận chương Chương trình bày: kiến trúc hoạt động mạng nơ-ron nhân tạo với lớp tính tốn phần cứng SHL-ANN (Single HardwareLayer ANN) cơng cụ AutogenDNN (dựa MATLAB) để tự động phát sinh mã VHDL mô tả phần cứng cấu trúc mạng nơ-ron SHL_ANN tổng hợp thực thi FPGA CHƯƠNG – QUY TRÌNH THỰC HIỆN VÀ KẾT QUẢ 4.1 Mở đầu chương 4.2 Quy trình thiết kế thực mạng nơ-ron FPGA Gồm bước: + Huấn luyện mạng nơ-ron (có thể dựa MATLAB) + Tạo code VHDL (dùng công cụ AutogenDNN) + Tổng hợp mô + Thực thi phần cứng FPGA + Đánh giá kết Đề tài thực nhận dạng chữ số viết tay với sở liệu MNIST, gồm có 60000 mẫu huấn luyện 10000 mẫu kiểm tra Có 10 chữ số khác từ đến tập sở liệu MNIST Mỗi số ảnh đa cấp xám chuẩn hóa với kích thước 28x28 hay có tổng cộng 784 điểm ảnh Đề tài sử dụng 784 pixels hình ảnh làm đầu vào trực tiếp đưa vào mạng nơ-ron, mạng nơ-ron thiết kế có 784 đầu vào lớp đầu vào 10 nơ-ron lớp đầu Số lớp ẩn số nơ-ron 12 lớp ẩn khác để nghiên cứu việc sử dụng tài nguyên hiệu hệ thống Hình 4.1 Qui trình thiết kế thực mạng nơ-ron FPGA 13 4.3 Các thông số đánh giá trường hợp đánh giá + Tài nguyên phần cứng FPGA + Tần số hoạt động cực đại fmax + Tốc độ nhận dạng + Tỉ lệ nhận dạng 4.4 Kết thực nghiệm 4.4.1 Kết huấn luyện mạng nơ-ron MATLAB 4.4.2 Kết tổng hợp mô 14 Kiến trúc SHL-ANN lớn thực FPGA Cấu hình SHL-ANN lớn thực chip FPGA có mạng nơ-ron 784-40-40-40-10 với lớp ẩn, lớp ẩn có 40 nơron, chiếm 92% tài nguyên phần cứng FPGA Virtex-5 Đối với chip ZynQ-7 7Z045, cấu hình SHL-ANN lớn thực mạng nơ-ron 784-126-126-126-10 với lớp ẩn, lớp ẩn có 126 nơ-ron, chiếm 99,9% tài nguyên phần cứng FPGA ZynQ-7 7Z045 Tốc độ đỉnh (peak performance) kiến trúc SHL-ANN giảm xuống với kích thước mạng tăng lên Kiến trúc SHL-ANN 784-40-40-10 tương ứng tỷ lệ nhận dạng MNIST tốt 97,20%, đạt tốc độ đỉnh 15,81 (kFPS) Kiến trúc SHL-ANN 784-126-126-10 tương ứng tỷ lệ nhận dạng MNIST tốt 98,16%, đạt tốc độ đỉnh 15,92 (kFPS) sử dụng FPGAZynQ-7 7Z045 4.4.3 Kết thực thi phần cứng FPGA Virtex-5 Terminal UART MicroBlaze PLB IP Core RAM Hình 4.8 Hệ thống kiểm tra đánh giá thực lõi IP FPGA Virtex-5 tốn nhận dạng chữ số viết tay 15 Hình 4.9 Mơ hình thực thi kiến trúc SHL_ANN board FPGA Hình 4.11 Kết nhận dạng IP core mạng nơ-ron SHL-ANN 784-40-40-10 thu phần mềm Hercules 16 4.4.4 So sánh với số kết nghiên cứu liên quan (Bảng 4.6) 17 4.5 Kết luận chương Chương trình bày quy trình thiết kế thực lõi IP mạng nơ-ron nhân tạo với lớp tính tốn phần cứng FPGA, kết mơ đánh giá hiệu kiến trúc mạng SHL_ANN, kết thực nghiệm board mạch FPGA KẾT LUẬN VÀ ĐỀ XUẤT Đề tài đạt mục tiêu nghiên cứu đề Cụ thể, đề tài đạt kết sau đây: • Phát triển kiến trúc mạng nơ-ron nhân tạo lớp tính tốn phần cứng SHL_ANN triển khai cho mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp có cấu trúc tùy biến • Phát triển cơng cụ AutogenDNN cho phép tự động phát sinh mã VHDL tổng hợp FPGA để thực kiến trúc lõi IP mạng nơ-ron nhân tạo lan truyền thẳng với cấu trúc tùy biến số lượng đầu vào, đầu ra, số lớp số nơ-ron lớp • Đánh giá hiệu kiến trúc SHL_ANN nhận dạng chữ số viết tay ứng với mạng nơ-ron nhân tạo có kích cỡ khác qua, xác định kích cỡ đối đa kiến trúc thực thi board mạch FPGA cụ thể • Tổng hợp thực thi thành công kiến trúc SHL_ANN board mạch Virtex-5 XC5VLX-110T hãng Xilinx Kết nghiên cứu đề tài chia sẻ website: https://sites.google.com/site/nnfpga, liên tục cập nhật tương lai Chúng đề xuất số hướng nghiên cứu sau đây: ▪ Cải tiến kiến trúc SHL_ANN theo hướng tăng tốc độ tính tốn ▪ Xây dựng ứng dụng nhận dạng mẫu kiến trúc SHL_ANN như: chữ viết tay, tiếng nói, khn mặt hay vân tay • Nghiên cứu xây dựng mạng nơ-ron nhân tạo tích chập CNN (Convolutional Neural Network) FPGA 18 TÀI LIỆU THAM KHẢO [1] Nguyễn Văn Cường, “Cơ sở thiết kế mạch tích hợp số (VLSI) cơng nghệ xử lý vi mạch (IC)”, Nhà xuất Giáo dục Việt Nam, 2014 [2] Nguyễn Thị Kim Anh,“ Ứng dụng mạng nơ-ron nhân tạo nhận dạng chữ số viết tay FPGA”, Luận Văn Thạc sĩ, Đại học Bách khoa Đà Nẵng, 2015 [3] Huynh Viet Thang, “Evaluation of Artificial Neural Network Architectures for Pattern Recognition on FPGA”, International Journal of Computing and Digital Systems (ISSN: 2210-142X), 2017 [4] Park, Jinhwan; Sung, Wonyong, “FPGA Based Implementation of Deep Neural Networks Using On-chip Memory Only”, ICASSP 2016 [5] Yaman Umuroglu, Nicholas J Fraser, Giulio Gambardella, Michaela Blott, Philip Leong, Magnus Jahre and Kees Vissers, “FINN: A Framework for Fast, Scalable Binarized Neural Network Inference”, Xilinx Research Lab, Norwegian Uni Of Science & Technology, University of Sydney, 2016 [6] Huynh Viet Thang, “Design of Artificial Neural Network Architecture for Handwritten Digit Recognition on FPGA”, J Sci Techonlogy, UDN, vol 108, (2016) 206–210, 2016 [7] Huynh Viet Thang, “Design space exploration for a single-FPGA handwritten digit recognition system”, in 2014 IEEE-ICCE, 2014 [8] F M Dias, A Antunes, and A M Mota, “Artificial neural networks: a review of commercial hardware,” Eng Appl Artif Intell., vol 17, no 8, pp 945–952, 2004 [9] J Misra and I Saha, “Artificial neural networks in hardware: A survey of two decades of progress,” Neurocomputing, vol 74, no 1–3, pp 239– 255, Dec 2010 [10] Martin T Hagan, Howard B Demuth, Mark Beale, “Neural Network Design”, PSW Publishing Company, 1996 [11] “IEEE Standard for Floating-Point Arithmetic”, IEEE Std 754-2008 [12] Deep Learning Basics: Neural Networks, Backpropagation and Stochastic Gradient Descent http://alexminnaar.com/deep-learningbasics-neural-networks-backpropagation-and-stochastic-gradientdescent.html/ [Accessed: 24-Apr-2018] [13] FLoPoCo Project, http://flopoco.gforge.inria.fr/ [Accessed: 24-Apr2018] 19 [14] MNIST database, http://yann.lecun.com/exdb/mnist/ [Accessed: 24-Apr2018] [15] Xilinx training, http://www.xilinx.com/training/fpga-tutorials.htm [Accessed: 24-Apr-2018] [16] Neural Networks and Deep Learning, http://neuralnetworksanddeeplearning.com [Accessed: 24-Apr-2018] [17] IBM Research: Neurosynaptic chips [Online] Available: http://research.ibm.com/cognitive-computing/neurosynapticchips.shtml#fbid=e8AW73seOQe [Accessed: 24-Apr-2018] [18] General Vision - NeuroMorphic Chip [Online] https://www.generalvision.com/ [Accessed: 24-Apr-2018] [19] KAIST Multimedia VLSI Laboratory - Deep Neural Network Processor http://mvlsi.kaist.ac.kr/research/multimedia-processor/deep-learningprocessor [Accessed: 24-Apr-2018] [20] Huỳnh Minh Vũ,“ Nghiên cứu thực kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp FPGA”, Luận Văn Thạc sĩ Kỹ thuật, Trường Đại học Bách khoa – Đại học Đà Nẵng, 2017 ... triển phần mềm nhận dạng chữ số viết tay dựa FPGA sử dụng lõi IP mạng nơ-ron nhân tạo thiết kế ĐỐI TƯỢNG & PHẠM VI NGHIÊN CỨU a Đối tượng nghiên cứu Mạng nơ-ron nhân tạo, toán nhận dạng mẫu Công nghệ. .. triển lõi IP thực thi mơ hình mạng nơ-ron nhân tạo FPGA, thử nghiệm lõi IP hệ thống nhận dạng mẫu dựa FPGA MỤC TIÊU NGHIÊN CỨU + Mục tiêu 1: Thiết kế thành công lõi IP mạng nơ-ron nhân tạo +... Đại học Bách Khoa, Đại học Đà Nẵng BỘ GIÁO DỤC & ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: Nghiên cứu thiết kế lõi IP mạng nơ-ron nhân tạo cho nhận dạng