Nghiên cứu và thực hiện mạng nơ ron nhân tạo lan truyền thẳng nhiều lớp có kiến trúc tùy biến trên FPGA

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA  HUỲNH MINH VŨ NGHIÊN CỨU VÀ THỰC HIỆN MẠNG NƠ-RON NHÂN TẠO LAN TRUYỀN THẲNG NHIỀU LỚP CÓ KIẾN TRÚC TÙY BIẾN TRÊN FPGA Chuyên ngành: Kỹ thuật điện tử Mã số: 60.52.02.03 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ Đà Nẵng - Năm 2017 Cơng trình hoàn thành TRƢỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS Huỳnh Việt Thắng Phản biện 1: Phản biện 2: Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật điện tử họp Trường Đại học Bách khoa vào ngày 15 tháng 07 năm 201 Có thể tìm hiểu luận văn tại:  Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa  Thư viện Khoa Điện tử-Viễn thông, Trường Đại học Bách khoa – ĐHĐN MỞ ĐẦU Tính cấp thiết đề tài Mạng nơ-ron nhân tạo sử dụng nhiều ứng dụng khoa học công nghệ Thực thi mạng nơ-ron nhân tạo FPGA mang lại tính mềm dẻo mà tiết kiệm thời gian thiết kế chi phí sản xuất Thách thức thực kiến trúc mạng nơ-ron sâu DNN tăng vọt số lượng lớp, số lượng nơron lớp số lượng liên kết lớp, việc triển khai mạng nơ-ron sâu phần cứng (chẳng hạn FPGA) đòi hỏi người kỹ sư thiết kế cần tính tốn đến việc cân yếu tố: tài nguyên phần cứng, thời gian tính tốn mạng, cơng suất tiêu thụ tỉ lệ nhận dạng mong muốn Mục tiêu nghiên cứu Mục tiêu đề tài nghiên cứu kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp có kiến trúc tùy biến thử nghiệm FPGA, thực đánh giá thông số tài ngun phần cứng tốc độ tính tốn, đồng thời ứng dụng kiến trúc mạng nơ-ron nhiều lớp nhận dạng mẫu Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Mơ hình mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp ứng dụng hệ thống nhận dạng mẫu - Công nghệ FPGA, công cụ hỗ trợ thiết kế số phát triển hệ thống nhúng FPGA - Cơ sở lý thuyết, kỹ thuật công cụ để thực tính tốn với số thực dấu phẩy động FPGA - Các tập liệu để phục vụ tốn nhận dạng mẫu - Tiêu chí phương pháp đánh giá mạng nơ-ron nhân tạo thực phần cứng FPGA 3.2 Phạm vi nghiên cứu - Thực đánh giá khối nhận dạng sử dụng mạng nơ-ron nhân tạo nhiều lớp hệ thống nhận dạng mẫu dựa FPGA Phƣơng pháp nghiên cứu nội dung nghiên cứu 4.1 Phương pháp nghiên cứu Phương pháp nghiên cứu xuyên suốt luận văn kết hợp nghiên cứu lý thuyết, tính tốn, viết chương trình VHDL, kết hợp mơ phần mềm, thực thi phần cứng để đánh giá kết đạt so sánh với cơng trình nghiên cứu liên quan cơng bố 4.2 Nội dung nghiên cứu - Thu thập nghiên cứu tài liệu cơng trình tác giả ngồi nước có liên quan đến đề tài - Nghiên cứu lý thuyết: lý thuyết mạng nơ-ron nhân tạo ứng dụng, thuật toán lan truyền ngược (Back Propagation) cho huấn luyện mạng nơ-ron, thư viện để thực phép toán dấu phẩy động FPGA - Tìm hiểu kiến trúc phân tích hoạt động kiến trúc mạng nơ-ron nhân tạo nhiều lớp (với lớp ẩn) FPGA thiết kế Phân tích, đánh giá hiệu kiến trúc thông qua thông số tài ngun phần cứng, tốc độ tính tốn tương ứng với mơ hình mạng nơ-ron khác (thay đổi số lớp, số nơ-ron lớp), đánh giá khả thực kiến trúc mạng nơ-ron board mạch FPGA có - Huấn luyện mạng nơ-ron nhân tạo nhiều lớp toán nhận dạng mẫu phần mềm Matlab để tìm trọng số tối ưu, sau tổng hợp thực kiến trúc FPGA, mô kiểm tra - Thực thi đánh giá mạng nơ-ron thiết kế board mạch FPGA Ý nghĩa khoa học thực tiễn đề tài Việc nghiên cứu thực thi mạng nơ-ron nhân tạo nhiều lớp FPGA nhằm xây dựng mạng nơ-ron ứng dụng nhận dạng mẫu Việc xây dựng mạng nơ-ron phần cứng FPGA làm sở cho việc thực hóa tốn nhận dạng mẫu ứng dụng mạng nơ-ron chip từ mở hướng thiết kế ứng dụng mang tính thực tiễn cao với tích hợp hệ thống xử lý thông minh chip Kết cấu luận văn Luận văn bao gồm có chương tóm tắt sau: Chương - Tổng quan Chương - Cơ sở thực hóa mạng nơ-ron nhân tạo FPGA Chương - Nghiên cứu kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp tùy biến FPGA Chương - Thực đánh giá CHƢƠNG 1-TỔNG QUAN 1.1 Mạng nơ-ron sinh học 1.2 Mạng nơ-ron nhân tạo Xét mặt toán học, mạng nơ-ron nhân tạo lan truyền thẳng với M lớp (không kể lớp vào), kết đầu lớp thứ k tính sau: xk+1 = f (Wkxk); k = 1, 2, 3…, M, đó: xk Wk vector liệu vào ma trận trọng số (đặc trưng cho liên kết hai lớp) lớp thứ k; xk+1 vector kết đầu lớp thứ k vector liệu vào cho lớp k+1; f hàm kích hoạt (activation function, thường hàm phi tuyến) Theo công thức (1.1), trình lan truyền thẳng mạng nơ-ron nhân tạo nhiều lớp thực phép nhân ma trận – vector Wkxk sau áp dụng hàm kích hoạt phần tử kết nhận được, hai phép toán lặp lại cho lớp tính đến lớp cuối 1.3 Thực mạng nơ-ron nhân tạo phần cứng Nhiều vấn đề kỹ thuật (cũng kinh tế) cần xem xét kỹ lưỡng cân nhắc lựa chọn thiết kế thực mạng nơ-ron nhân tạo phần cứng hướng đến ứng dụng hay nhóm ứng dụng cụ thể, kể sau:  Kiến trúc mạng (neural network architecture): mạng lan truyền thẳng hay mạng hồi quy, số lớp số lượng nơ-ron lớp, dạng hàm kích hoạt, mạng có chức học để tự động cập nhật trọng số hay việc học thực off-line trước máy tính  Định dạng số (number format) phù hợp cho biểu diễn liệu tính toán mạng nơ-ron: sử dụng số nguyên, sử dụng số thực, hay sử dụng định dạng nhị phân; sử dụng định dạng số thực dùng định dạng dấu chấm tĩnh (fixed-point format) hay định dạng dấu chấm động (floating-point format); số lượng bit tối thiểu (bitwidth) cho toán hạng phép toán; sử dụng đồng định dạng số cho liệu phép toán hay sử dụng nhiều định dạng khác cho liệu vào ra, trọng số phép tốn  Độ xác/Tỷ lệ nhận dạng (accuracy/recognition rate) ứng dụng yêu cầu  Tốc độ xử lý yêu cầu mạng nơ-ron (performance)  Công suất  Chi phí thiết kế chế tạo  Nền tảng phần cứng tài nguyên phần cứng cần thiết để thực thiết kế  Khả thương mại hóa yếu tố khác có liên quan 1.4 Phạm vi nhiệm vụ luận văn Với giới hạn thời gian hoàn thành luận văn hạn chế điều kiện tiến hành thực nghiệm nên luận văn tập trung nghiên cứu kiến trúc mạng nơ-ron lan truyền thẳng nhiều lớp, thực kiến trúc tảng FPGA dựa vào cơng cụ sẵn có, đánh giá mạng nơ-ron lựa chọn thực cho toán nhận dạng chữ số viết tay dựa vào tiêu chí đánh giá gồm tỉ lệ nhận dạng đúng, tài nguyên phần cứng sử dụng hiệu năng, từ đánh giá khả ứng dụng kiến trúc mạng nơ-ron khảo sát ứng dụng thực tế CHƢƠNG - CƠ SỞ HIỆN THỰC HÓA MẠNG NƠ-RON NHÂN TẠO TRÊN FPGA 2.1 Mở đầu chƣơng 2.2 Hệ thống nhận dạng mẫu dựa mạng nơ-ron nhân tạo Trong năm gần đây, với phát triển nhanh chóng lĩnh vực chip FPGA, toàn cấu trúc ANN thực mạch phần cứng, dẫn đến việc loại bỏ khối trích chọn đặc trưng Sơ đồ khối chức hệ thống nhận dạng sử dụng mạng nơ-ron nhân tạo ANN khơng có khối trích chọn đặc trưng hình 2.2 2.3 Mơ hình tính tốn mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp 2.3.1 Nơ-ron nhân tạo Tương tự nơ-ron sinh học, nơ-ron nhân tạo đơn vị xử lý thông tin thành phần mạng nơ-ron nhân tạo Cấu trúc nơ-ron nhân tạo thể hình 2.3.Xét mặt tốn học, cấu trúc nơ-ron mơ tả cặp biểu thức sau: ∑ () 2.3.2 Mô hình tính tốn mạng nơ-ron nhân tạo [10] 2.3.2.1 Mơ hình tính tốn mạng nơ-ron lớp Vector đầu mạng nơ-ron dạng ma trận: r = f(Wx + b) 2.3.2.2 Mạng nơ-ron nhiều lớp 2.3.3 Hàm truyền 2.4 Huấn luyện mạng nơ-ron nhân tạo nhiều lớp [12, 16] Có nhiều thuật tốn dùng để huấn luyện mạng, luận văn tác giả nghiên cứu mạng lan truyền thẳng nhiều lớp để nhận dạng nên thuật toán phù hợp để huấn luyện thuật toán lan truyền ngược BP (Back Propagation) với SGD (stochastic gradient descent) 2.4.1 Mô hình nơ-ron 2.4.2 Mơ hình mạng nơ-ron 2.5 Công nghệ FPGA ngôn ngữ mô tả phần cứng VHDL [1] 2.5.1 Công nghệ FPGA 2.5.1.1 Kiến trúc FPGA 2.5.1.2 Ứng dụng 2.5.2 Ngôn ngữ mô tả phần cứng VHDL 2.5.2.1 Giới thiệu ngôn ngữ VHDL 2.5.2.2 Ưu điểm ngôn ngữ VHDL 2.5.2.3 Mô tả thiết kế VHDL 2.6 Thực phép toán số thực dấu phẩy động FPGA Kết nghiên cứu [7] cho thấy việc thực thi mạng nơrôn nhân tạo có trọng số với định dạng số thực dấu chấm phẩy động bán xác 16-bit đảm bảo cho tỷ lệ nhận dạng hiệu việc sử dụng tài nguyên FPGA 2.6.1 Thư viện mã nguồn mở FloPoCo [13] 2.6.2 Các phép toán số thực dấu phẩy động FPGA 2.6.2.1 Bộ cộng Addition 2.6.2.2 Bộ nhân Multiplication 2.6.2.3 Bộ chia Divider 2.6.2.4 Bộ thực hàm mũ Exponential 2.7 Thực phép toán sở cho mạng nơ-ron [2, 6] 11 Một nơ-ron tính tốn thực tính tốn cơng thức (2.5), cụ thể sử dụng nhân cộng tích lũy MAC để nhân vector trọng số w (được lưu trữ nhớ ROM) vector đầu vào x, kết MAC đưa vào thực hàm truyền Logsigmoid cho kết đầu r 3.3 Kiến trúc mạng nơ-ron nhân tạo với nhiều lớp tính toán phần cứng Sơ đồ khối chức kiến trúc mạng nơ-ron nhân tạo với nhiều lớp tính tốn phần cứng (MHL-ANN) để thực tính tốn cho cấu hình mạng nơ-ron lớp N-M1-M2-M3 (Hình 2.6) với R số đầu vào, số nơ-ron lớp M1, M2, M3 trình bày hình 3.4 [2, 6] 3.4 Kiến trúc mạng nơ-ron nhân tạo với lớp tính tốn phần cứng Hình 3.5 trình bày sơ đồ khối chức kiến trúc mạng nơ-ron nhân tạo với lớp tính tốn phần cứng SHL-ANN (Single hardware-layer ANN) sử dụng để thực tính tốn cho cấu 12 hình ANN ba lớp R-M1-M2-M3 (Hình 2.6) Khác với kiến trúc MHLANN, kiến trúc SHL-ANN có lớp phần cứng vật lý bao gồm M nơ-ron tính tốn (với M giá trị lớn giá trị M1, M2, M3) để thực tính tốn chuyển tiếp cho nơ-ron lớp ẩn nơ-ron lớp ngõ ANN Kiến trúc SHLANN bao gồm thành phần chính: khối nơ-ron tính tốn Hardware Layer khối điều khiển Control Unit 3.4.1 Khối nơ-ron tính tốn Hardware_Layer Khối nơ-ron tính tốn Hardware_Layer thực việc tính tốn cho lớp nơ-ron theo Ở lần tính tốn đầu tiên, tín hiệu ngõ vào mạng nơ-ron chọn làm tín hiệu ngõ vào Hardware_Layer Sau đó, tín hiệu ngõ Hardware_Layer 13 hồi tiếp làm tín hiệu ngõ vào Hardware_Layer để thực lần tính tốn Theo vậy, khối nơ-ron tính tốn thực phép tính tốn cho tồn mạng nơ-ron 3.4.2 Khối điều khiển Control Unit Khối điều khiển Control Unit sử dụng để kiểm sốt tính tốn chuyển tiếp lớp nơ-ron logic, chọn vector trọng số vector đầu vào thích hợp cho lớp phần cứng vật lý Sơ đồ khối mức chuyển ghi RTL thể hình 3.8 Khối điều khiển hoạt động máy trạng thái hữu hạn FSM (Finite State Machine), sơ đồ khối FSM mơ tả hình 3.9 3.4.3 Kết mô Sơ đồ khối mức chuyển ghi RTL kiến trúc SHL_ANN thể hình 3.10, chân vào/ra kiến trúc mô tả bảng 3.3 14 Mô dạng sóng mạng nơ-ron có kiến trúc 784-4040-10 cho ứng dụng nhận dạng chữ số viết tay, đầu vào mẫu thử thứ sở liệu MNIST Thời gian thực tính tốn mẫu 11371 chu kỳ máy Nơ-ron thứ lớp ngõ có giá trị lớn 15 = 0.999 (tương ứng chuỗi nhị phân 010011101111111110), cho kết nhận dạng chữ số “7” với sở liệu MNIST 3.5 Công cụ AutogenDNN cho tùy biến kiến trúc mạng nơ-ron lan truyền thẳng nhiều lớp FPGA Để thực thi mạng nơ-ron lan truyền thẳng nhiều lớp có cấu trúc tùy biến (về số lớp ẩn, số lượng nơ-ron lớp) FPGA sử dụng kiến trúc SHL_ANN, luận văn sử dụng công cụ AutogenDNN để tạo tự động file mã mô tả phần cứng VHDL Công cụ AutogenDNN phần mềm phát triển MatLab bao gồm file mẫu (template) VHDL component cấu thành nên kiến trúc SHL_ANN:  Nơ-ron tính tốn  Khối nhớ lưu trọng số  Khối nơ-ron tính toán  Khối điều khiển Khi thực thi, AutogenDNN đọc ma trận lưu trọng số ngưỡng mạng nơ-ron có cấu trúc tùy biến (thu từ huấn luyện mạng nơ-ron tạo ngẫu nhiên) kết hợp với template để tạo thành tập tin mã VHDL mô tả phần cứng kiến trúc SHL_ANN 3.6 Kết luận chƣơng Tóm lại chương giới thiệu phân tích hoạt động kiến trúc mạng nơ-ron nhân tạo với lớp tính tốn phần cứng SHLANN (Single Hardware-Layer ANN) để thực thi mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp tùy biến (thay đổi số lớp mạng hay số nơ-ron lớp) FPGA Phần cuối chương giới thiệu công cụ AutogenDNN để tạo tự động file mã mô tả phần 16 cứng cấu trúc SHL_ANN để thực thi mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp tùy biến FPGA CHƢƠNG - THỰC HIỆN VÀ ĐÁNH GIÁ 4.1 Mở đầu chƣơng 4.2 Quy trình thiết kế thực mạng nơ-ron nhân tạo FPGA Để đánh giá hoạt động hiệu kiến trúc mạng SHLANN, tác giả xây dựng qui trình thiết kế thực mạng nơ-ron nhân tạo FPGA thể hình 4.1 4.2.1 Huấn luyện mạng nơ-ron MatLab Luận văn thực toán nhận dạng chữ số viết tay với sở liệu MNIST [14] để đánh giá hiệu suất hệ thống Cơ sở liệu MNIST chữ số viết tay gồm có tập 60000 mẫu huấn luyện 10000 mẫu kiểm tra Có 10 chữ số khác từ đến tập sở liệu MNIST Mỗi số ảnh đa cấp xám chuẩn hóa với kích thước 28x28 hay có tổng cộng 784 điểm ảnh đặc trưng Luận văn sử dụng 784 pixel hình ảnh làm đầu vào trực tiếp đưa vào mạng nơ-ron, cho phép loại bỏ khối trích chọn đặc trưng (PCA) Kết là, mạng nơ-ron thiết kế có 784 đầu vào lớp đầu vào 10 nơ-ron lớp đầu Số lớp ẩn số nơ-ron lớp ẩn khác để nghiên cứu việc sử dụng tài nguyên hiệu hệ thống 17 4.2.2 Tạo mã chương trình mơ tả phần cứng VHDL cho mạng ANN 4.2.3 Tổng hợp mô 4.2.4 Thực thi phần cứng Luận văn chọn board mạch FPGA Virtex-5 XC5VLX-110T hãng Xilinx phát triển để thực thi kiến trúc mạng SHL_ANN Tài nguyên board mạch FPGA Virtex-5 XC5VLX-110T mô tả bảng 4.1 4.3 Các thơng số (tiêu chí) đánh giá trƣờng hợp đánh giá Để đánh giá hiệu kiến trúc SHL_ANN triển khai phần cứng toán nhận dạng, cụ thể luận văn toán nhận dạng chữ số viết tay cần xây dựng thơng số, tiêu chí trường hợp cụ thể Các thông số sử dụng để đánh giá luận văn bao gồm:  Sử dụng tài nguyên phần cứng  Tần số hoạt động cực đại Fmax  Số chu kỳ máy/mẫu  Tốc độ nhận dạng đỉnh kFPS  Tỉ lệ nhận dạng  Các trường hợp đánh giá 4.4 Kết thực nghiệm 4.4.1 Kết huấn luyện mạng nơ-ron nhân tạo MatLab Các hình 4.3, 4.4 4.5 hiển thị kết huấn luyện Matlab với mạng nơ-ron ANN có từ đến lớp ẩn, với số nơ-ron lớp ẩn 12, 40 126 nơ-ron theo thứ tự Thông thường, tỷ lệ nhận dạng tỉ lệ với kích thước số lớp mạng Tuy nhiên, tăng số lượng lớp ẩn không thiết đem lại tỉ lệ nhận dạng tăng đáng kể 18 sở liệu MNIST Kết huấn luyện cho thấy mạng nơ-ron ANN với lớp ẩn có tỷ lệ nhận dạng tốt nhất, tương ứng với 94,14% , 97,20% 98,16% sử dụng 12, 40 126 nơron lớp ẩn 4.4.2 Kết tổng hợp mô Số Kiến trúc mạng FFs nơron LUTs BRAMs DSPs MHL-ANN 20-12-10 [6] 22 24025 28340 22 22 SHL-ANN 784-12-10 12 13164 19055 12 12 SHL-ANN 784-12-12-10 12 13168 19549 12 12 SHL-ANN 784-12-12-12-10 12 13168 19762 12 12 SHL-ANN 784-40-10 40 44059 62579 40 40 SHL-ANN 784-40-40-10 40 44079 63454 40 40 SHL-ANN 784-40-40-40-10 40 44049 63591 40 40 SHL-ANN 784-126-10 126 139364 211692 126 126 SHL-ANN 784-126-126-10 126 139364 214583 126 126 126 139364 218528 126 126 SHL-ANN 784-126-126-12610 Bảng 4.2 Chi tiết độ sử dụng tài nguyên FPGA Sử dụng Kiến trúc mạng tài nguyên (%) fmax (MHz) Tốc độ Tỉ lệ đỉnh nhận (kFPS) dạng MHL-ANN 20-12-10 [6] 41,1 205 404,34 90,88 SHL-ANN 784-12-10 27,6 193 18,49 93,70 19 SHL-ANN 784-12-12-10 28,3 193 18,14 94,13 SHL-ANN 784-12-12-12-10 28,6 193 17,80 93,17 SHL-ANN 784-40-10 90,6 180 16,67 97,07 SHL-ANN 784-40-40-10 91,8 179 15,81 97,20 SHL-ANN 784-40-40-40-10 92,0 178 14,98 96,76 Bảng 4.3 Tỉ lệ sử dụng tài nguyên, tốc độ nhận dạng tỉ lệ nhận dạng board mạch Virtex-5 XC5VLX-110T Kiến trúc SHL-ANN lớn triển khai Như thể bảng 4.3 4.4, cấu hình SHL-ANN mạng nơron 784-40-40-40-10 với lớp ẩn, lớp ẩn có 40 nơ-ron, tương ứng với 40 nơ-ron máy tính chiếm 92% tài nguyên phần cứng thực thành công FPGA Virtex-5 Xét hiệu thực nhận dạng, tốc độ đỉnh (peak performance) kiến trúc SHL-ANN giảm xuống với kích thước mạng tăng lên Kiến trúc SHL-ANN 784-40-40-10 tương ứng với tỷ lệ nhận dạng MNIST tốt 97,20%, đạt tốc độ đỉnh 15,81 nghìn mẫu giây (kFPS) sử dụng FPGA Virtex-5 Kiến trúc SHL-ANN 784126-126-10 tương ứng với tỷ lệ nhận dạng MNIST tốt 98,16%, đạt tốc độ đỉnh 15,92 nghìn mẫu giây (kFPS) sử dụng FPGAZynQ-7 7Z045 Lưu ý, việc triển khai kiến trúc MHL-ANN có tốc độ nhận dạng tốt kiến trúc SHL-ANN tính toán lớp phần cứng khác thực pipelined 4.4.3 Kết thực thi phần cứng Để kiểm tra kết tính tốn đánh giá tỉ lệ nhận dạng kiến trúc SHL_ANN, tác giả xây dựng hệ thống nhúng mạng nơ- 20 ron nhân tạo có kích cỡ 784-12-12-10 784-40-40-10 cho tốn nhận dạng chữ số viết tay board mạch FPGA Virtex-5 XC5VLX-110T dựa vi xử lý MicroBlaze Xilinx Trên máy tính PC sử dụng phần mềm terminal Hercules để nhận kết tính tốn nhận dạng mạng Mơ hình thực thi thực tế board FPGA thể hình 4.9, kết tính tốn nhận dạng thu phần mềm Hercules thể hình 4.10 4.11 21 Kết tổng hợp thực thi thể bảng 4.5 cho thấy, hệ thống nhúng mạng nơ-ron 784-40-40-10 chiếm dụng đến 99,7% tài nguyên board mạch FPGA với điều kiện sử dụng ngoại vi bản, tần số hoạt động tối đa fmax giảm xuống có đệm InputBuffer đặt trước kiến trúc SHL_ANN, nhiên kết nhận dạng với kết mô phần mềm ISim 94,13% 97,20% tương ứng với mạng nơ-ron lớp ẩn có 12 nơron 40 nơ-ron lớp ẩn 22 4.4.4 So sánh với số kết nghiên cứu khác Bảng 4.5 thể so sánh kết đạt với số nghiên cứu khác Với board mạch FPGA Virtex-5 XC5VLX-110T, sử dụng định dạng số thực dấu phẩy động 16 bit cho trọng số liệu đầu vào, kiến trúc SHL_ANN cho phép triển khai mạng nơ-ron có kích cỡ lớn dẫn đến kết đạt tỉ lệ nhận dạng cao nhiều so với [2] (97,20% so với 90,88% toán nhận dạng chữ số viết tay MNIST) nhiên tốc độ nhận dạng giảm xuống Với board mạch FPGA ZynQ-7 7Z045, kiến trúc SHL_ANN triển khai mạng nơ-ron 784-126-126-10 cho tỉ lệ nhận dạng MNIST 98,16%, kết [4] sử dụng định dạng số thực dấu chấm tĩnh 3-8 bits nên triển khai mạng nơron kích cỡ lớn nhiều (784-1022-1022-1022-10) cho tỉ lệ 23 nhận dạng cao 98,92% Kết [5] giới thiệu kiến trúc mạng nơ-ron nhị phân tích chập, kích cỡ mạng nơ-ron 784-256-256256-10 cho tỉ lệ nhận dạng MNIST thấp với 95,8% có tốc độ nhận dạng cao với 12630 kFPS, nhiên thuật toán huấn luyện mạng nơ-ron phức tạp đòi hỏi tài nguyên lớn 4.5 Kết luận chƣơng Chương trình bày qui trình thực mạng nơ-ron nhân tạo lớp tính tốn phần cứng FPGA, thực mô đánh giá hiệu kiến trúc mạng SHL_ANN Kết mô cho thấy kiến trúc mạng hoạt động ổn định, tỉ lệ nhận dạng phần mềm mô với tỉ lệ nhận dạng MatLab cho thấy việc tính tốn kiến trúc SHL_ANN xác Kết tổng hợp mô đánh giá hiệu kiến trúc SHL_ANN mạng nơ-ron nhân tạo lan truyền thẳng có kiến trúc tùy biến board mạch FPGA khác nhau, đồng thời so sánh kết đạt với số nghiên cứu khác 24 KẾT LUẬN VÀ ĐỀ XUẤT Trên sở tìm hiểu, nghiên cứu kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp có kiến trúc tùy biến FPGA, đặt tên kiến trúc mạng nơ-ron nhân tạo lớp tính tốn phần cứng SHL_ANN, đồng thời ứng dụng kiến trúc mạng vào toán nhận dạng chữ số viết tay dựa sở liệu MNIST, đề tài đạt mục tiêu nghiên cứu ban đầu đề Cụ thể, đề tài đạt kết sau đây:  Nghiên cứu, phân tích hoạt động kiến trúc mạng nơ-ron nhân tạo lớp tính tốn phần cứng SHL_ANN triển khai cho mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp có cấu trúc tùy biến số lớp số nơ-ron lớp  Thực mô thành công hoạt động kiến trúc mạng, áp dụng cho toán nhận dạng chữ số viết tay dựa sở liệu MNIST  Đánh giá hiệu kiến trúc SHL_ANN cho mạng nơ-ron nhân tạo có kích cỡ khác qua thông số: sử dụng tài nguyên phần cứng, tốc độ đỉnh, tỉ lệ nhận dạng, xác định kích cỡ đối đa kiến trúc thực thi board mạch FPGA cụ thể  Tổng hợp thực thi thành công kiến trúc SHL_ANN board mạch Virtex-5 XC5VLX-110T hãng Xilinx Bên cạnh đó, giới hạn thời gian hồn thành luận, thời gian tiếp cận với FPGA không nhiều, tác giả chưa có nhiều kinh nghiệm thực hành lĩnh vực nên luận văn dừng lại việc nghiên cứu mạng nơ-ron nhân tạo lan truyền thẳng 25 nhiều lớp toán nhận dạng chữ số viết tay từ tập MNIST FPGA Chính vậy, tác giả xin đề xuất số hướng nghiên cứu sau đây:  Tối ưu hóa kiến trúc SHL_ANN theo hướng tăng tốc độ nhận dạng  Xây dựng ứng dụng nhận dạng mẫu kiến trúc SHL_ANN như: nhận dạng tiếng nói, khn mặt hay dấu vân tay  Nghiên cứu xây dựng mạng nơ-ron nhân tạo tích chập CNN (Convolutional Neural Network) FPGA Cuối tác giả mong nhận giúp đỡ đóng góp ý kiến tất thầy hội đồng bảo vệ bạn quan tâm để luận văn hoàn thiện Tác giả xin gởi lời cảm ơn chân thành sâu sắc đến người hướng dẫn khoa học Thầy giáo TS Huỳnh Việt Thắng, người gợi ý hướng đề tài, cung cấp tài liệu tham khảo, hướng dẫn cho phương pháp làm việc khoa học tận tình giúp đỡ động viên tơi suốt trình thực luận văn Xin gởi lời cảm ơn chân thành đến Tập thể Thầy Cô giáo khoa Điện Tử Viễn Thông, trường Đại học Bách Khoa, thuộc Đại học Đà Nẵng giúp đỡ tạo điều kiện thuận lợi cho tác giả suốt q trình học tập hồn thành đề tài Tuy cố gắng, nỗ lực đạt kết đáp ứng mục tiêu nghiên cứu đặt ra, song chắn không tránh khỏi thiếu sót q trình thực luận văn Tác giả mong nhận ý kiến đóng góp trao đổi người đọc để tiếp tục hồn thiện nghiên cứu tương lai ... cho tùy biến kiến trúc mạng nơ- ron lan truyền thẳng nhiều lớp FPGA Để thực thi mạng nơ- ron lan truyền thẳng nhiều lớp có cấu trúc tùy biến (về số lớp ẩn, số lượng nơ- ron lớp) FPGA sử dụng kiến trúc. .. hiểu, nghiên cứu kiến trúc mạng nơ- ron nhân tạo lan truyền thẳng nhiều lớp có kiến trúc tùy biến FPGA, đặt tên kiến trúc mạng nơ- ron nhân tạo lớp tính tốn phần cứng SHL_ANN, đồng thời ứng dụng kiến. .. Cơ sở thực hóa mạng nơ- ron nhân tạo FPGA Chương - Nghiên cứu kiến trúc mạng nơ- ron nhân tạo lan truyền thẳng nhiều lớp tùy biến FPGA Chương - Thực đánh giá CHƢƠNG 1-TỔNG QUAN 1.1 Mạng nơ- ron sinh