Về một kiến trúc mạng nơ-ron nhân tạo trên FPGA ứng dụng trong nhận dạng chữ số viết tay

Bài viết đề xuất một kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng 2 lớp ứng dụng trong bài toán nhận dạng chữ số viết tay thực thi trên phần cứng cấu hình lại FPGA (Field Programmable Gate Array). Kiến trúc mạng nơ-ron đề xuất được tổng hợp và thử nghiệm trên thiết bị FPGA Virtex-5 XC5VLX110T của Xilinx. Kết quả thử nghiệm với tập dữ liệu chữ số viết tay MNIST cho tỉ lệ nhận dạng đúng là 90.88%. Mạng nơron được thiết kế chiếm 41% tài nguyên phần cứng, đạt tần số hoạt động tối đa là 205 MHz. Mời các bạn cùng tham khảo!

Hội+ӝL7KҧR4XӕF*LDYӅĈLӋQ7ӱ7UX\ӅQ7K{QJYj&{QJ1JKӋ7K{QJ7LQ(&,7 Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Về kiến trúc mạng nơ-ron nhân tạo FPGA ứng dụng nhận dạng chữ số viết tay Nguyễn Thị Kim Anh 1,2, Nguyễn Trường Thọ1, Huỳnh Việt Thắng1 Trường Đại học Bách khoa – Đại học Đà Nẵng, 2Trường Đại học Nông Lâm – Đại học Huế Emails: nguyenthikimanh@huaf.edu.vn, ntt0102@gmail.com, thanghv@dut.udn.vn Abstract - Trong báo này, đề xuất kiến trúc mạng nơ-ron nhân tạo lan truyền thẳng lớp ứng dụng toán nhận dạng chữ số viết tay thực thi phần cứng cấu hình lại FPGA (Field Programmable Gate Array) Kiến trúc mạng nơ-ron đề xuất tổng hợp thử nghiệm thiết bị FPGA Virtex-5 XC5VLX110T Xilinx Kết thử nghiệm với tập liệu chữ số viết tay MNIST cho tỉ lệ nhận dạng 90.88% Mạng nơron thiết kế chiếm 41% tài nguyên phần cứng, đạt tần số hoạt động tối đa 205 MHz Kết thử nghiệm kết nối mạng nơron vào hệ thống nhúng sử dụng vi xử lý mềm 32-bit MicroBlaze hoạt động tần số 100 MHz với bus PLB cho thấy tốc độ nhận dạng cho mẫu liệu vào 799 chu kỳ đồng hồ/mẫu, tương ứng với thời gian nhận dạng 7.99 Ps/mẫu thẳng nhiều lớp với ứng dụng nhận dạng mẫu Mục tiêu báo nghiên cứu thiết kế kiến trúc ANN lan truyền thẳng nhiều lớp FPGA, đồng thời ứng dụng kiến trúc mạng thiết kế toán nhận dạng chữ số viết tay nhằm kiểm tra tính đắn thiết kế, xem xét khả thực thi ứng dụng kiến trúc mạng nơ-ron FPGA Các cơng trình nghiên cứu liên quan kể cơng trình Hoffman [1], Savic [2], Nichols [3], hay nhóm tác giả [4] Nghiên cứu thực báo bước phát triển kết đạt cơng trình [4] Đóng góp khoa học báo việc thiết kế kiến trúc mạng nơ-ron nhân tạo FPGA; kiến trúc mạng nơ-ron đề xuất thực thi thử nghiệm board FPGA Virtex-5 XUPV5-LX110T Xilinx ứng dụng cho nhận dạng chữ số viết tay với tập liệu MNIST Phần cịn lại báo xếp theo trình tự sau Phần II giới thiệu mơ hình hệ thống nhận dạng Phần III trình bày chi tiết cấu trúc, bước thiết kế thực kiến trúc ANN lan truyền thẳng lớp FPGA Phần IV trình bày kết đánh giá kiến trúc vừa thiết kế Cuối kết luận hướng nghiên cứu trình bày Phần V Keywords - Neural Network; MNIST; FPGA; floating-point; high performance computing; MicroBlaze; I. ĐẶT VẤN ĐỀ Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) có nhiều ứng dụng xử lý tín hiệu, phân tích ảnh, nhận dạng mẫu, hệ thống chuẩn đoán y khoa dự đoán chứng khoán ANN lấy cảm hứng từ mạng nơ-ron sinh học chất hệ thống xử lý thông tin song song phân tán Kiến trúc ANN u cầu khối lượng tính tốn song song khổng lồ, để đáp ứng yêu cầu khắt khe tốc độ ứng dụng thời gian thực và/hoặc tính tốn hiệu cao (High Performance Computing – HPC) kiến trúc ANN cần thực thi phần cứng song song Trong năm gần đây, hệ thống nhúng ứng dụng nhúng dựa tảng công nghệ FPGA (Field Programmable Gate Array) phát triển mạnh mẽ ứng dụng rộng rãi thực tế nghiên cứu Với khả cho phép cấu hình lại, với mật độ cổng logic cao, chip FPGA cho phép tạo nhiều phiên thiết kế thiết bị mong muốn ứng dụng khác nhau, phù hợp cho tốn địi hỏi khối lượng tính tốn lớn FPGA cung cấp tốc độ so sánh với hệ thống phần cứng cố định chuyên dụng việc tăng tốc thuật tốn song song Trong đó, với việc thực thi phần mềm trì tính linh hoạt cho thiết bị cấu hình lại vài ứng dụng FPGA khả thi ứng dụng thiết kế tính tốn cụ thể Những thay đổi thiết kế với FPGA thực lại vài tiết kiệm đáng kể chi phí thời gian thực thiết kế Trong báo này, quan tâm đến việc xây dựng kiến trúc ANN hướng đến việc thực thi thiết kế ANN FPGA Chúng bắt đầu với kiến trúc ANN lan truyền ISBN: 978-604-67-0635-9 II. MƠ HÌNH HỆ THỐNG NHẬN DẠNG A Sơ đồ khối hệ thống Sơ đồ khối hệ thống nhận dạng chữ số viết tay trình bày Hình Hệ thống bao gồm hai khối là: khối giảm số chiều cho ảnh đầu vào sử dụng phương pháp trích chọn đặc trưng PCA (Principal Component Analysis – PCA) [5] khối thứ hai mạng nơ-ron nhân tạo lan truyền thẳng nhiều lớp dùng để nhận dạng Hình Sơ đồ khối hệ thống nhận dạng Chúng sử dụng tập sở liệu chữ số viết tay MNIST [6] để huấn luyện kiểm tra mạng nơ-ron Tập sở liệu gồm 60,000 mẫu dùng để huấn luyện 10,000 mẫu dùng để kiểm tra Có 10 chữ số khác từ đến tập sở liệu Mỗi số ảnh đa cấp xám chuẩn hóa với kích thước 28x28 hay có tổng cộng 784 điểm ảnh đặc 253  Hội+ӝL7KҧR4XӕF*LDYӅĈLӋQ7ӱ7UX\ӅQ7K{QJYj&{QJ1JKӋ7K{QJ7LQ(&,7 Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) C Huấn luyện mạng nơ-ron nhân tạo Việc huấn luyện mạng nơ-ron nhân tạo từ tập liệu MNIST tiến hành theo phương pháp học có giám sát, sử dụng mơ hình mạng nơ-ron truyền thẳng gồm hai lớp với thuật toán lan truyền ngược sai lệch với thông số sau: 20 đầu vào, 12 nơ-ron lớp ẩn 10 rơ-ron lớp [4] Quá trình huấn luyện thực công cụ Neural Network Design Toolbox Matlab [7] Hình sơ đồ thể kiến trúc mạng nơron nhận dạng chữ số viết tay cần thiết kế phần cứng Theo Hình 2, đầu vào lớp nơ-ron nhân với trọng số W, sau cộng với ngưỡng (bias) b, tiếp qua hàm kích hoạt f (sẽ trình bày mục sau) Sau huấn luyện, thu ma trận trọng số ngưỡng tương ứng với kích thước hai lớp sau: W1’ (12x20), W2’ (10x12), b1 (12), b2 (10) Để dễ dàng cho việc thiết kế phần cứng, xem giá trị ngưỡng phần trọng số nơ-ron (giá trị ngưỡng trọng số tương ứng với tín hiệu vào “1”) biến đổi trọng số lớp ẩn lớp tương ứng với kích thước sau: W1 (12x21), W2 (10x13), đồng thời vec-tơ vào lớp tăng thêm phần tử số “1” Các ma trận trọng số sử dụng để thiết kế kiến trúc lõi IP ANN FPGA trình bày phần tiếp sau Hình Sơ đồ kiến trúc mạng nơ-ron nhận dạng chữ số viết tay Hình Định dạng số thực dấu phẩy động bán xác (halfprecision floating-point format) theo FloPoCo trưng Vì số chiều ảnh gốc lớn nên cần phải giảm số chiều trước huấn luyện mạng Chúng tơi sử dụng PCA để trích chọn thành phần từ liệu gốc sử dụng số thành phần cho việc huấn luyện kiểm tra mạng nơ-ron D Kiểu liệu Chúng sử dụng định dạng số dấu phẩy động tất tính tốn kiến trúc ANN thiết kế Tiêu chuẩn IEEE-754 (2008) [8] đề quy định định dạng số thực dấu phẩy động thống chung nhà thiết kế Bảng trình bày định dạng dấu phẩy động bán xác (half-precision), xác đơn (single-precision) xác kép (double-precision) với tổng số bit sử dụng 16, 32 64 bit B Khối trích chọn đặc trưng PCA PCA kỹ thuật phổ biến để trích chọn đặc trưng liệu, mục đích nhằm cách giảm số chiều kích thước tập liệu mà không mát thông tin nhiều Để thực kỹ thuật PCA cho tập liệu X = (x1, x2, , xM) có M mẫu N chiều, ta cần thực bước sau: x Tính giá trị trung bình X: ଵ xtb ൌ  σே ௜ୀଵ xi ே (1) Bảng Đặc điểm định dạng số thực dấu phẩy động thông dụng ứng dụng nhiều thực tế theo chuẩn IEEE-754 x Tính sai số phần tử X so với giá trị trung bình: ɔi = xi - xtb (2) Định dạng Bán xác Chính xác đơn Chính xác kép x Tìm ma trận hiệp phương sai: ଵ ் T Cൌ  σெ ௜ୀଵ ߮௜ Ǥ ߮௜ = Ȱ.Ȱ ெ (3) x Tìm trị riêng C làሺߣଵ ǡ ߣଶ ǡ ǥ ǡ ߣெ ሻ tương ứng với N vec-tơ riêng ‫ݑ‬ଵ ǡ ‫ݑ‬ଶ ǡ ǥ ǡ ‫ݑ‬ே x Sắp xếp trị riêng theo giá trị thứ tự từ cao đến thấp, vec-tơ riêng xếp theo thứ tự từ cao đến thấp đặc trưng x Trích chọn đặc trưng có ý nghĩa Phần dấu bit bit bit Phần mũ bit bit 11 bit Phần định trị 10 bit 23 bit 52 bit Định dạng số dấu phẩy động bán xác biểu diễn chuỗi nhị phân có kích thước 16 bit, nửa kích thước định dạng xác đơn Vì vùng biểu diễn giá trị độ xác nhỏ định dạng dấu phẩy động bán xác không xem lý tưởng thực tính tốn Tuy nhiên, định dạng bán xác chiếm dụng tài nguyên phần cứng định dạng cịn lại nên ứng dụng, tính tốn không yêu cầu khắt khe vùng biểu diễn giá trị, độ xác mà ngược lại cần tốc độ tính tốn nhanh khơng tốn q nhiều tài ngun định dạng bán xác lựa chọn thích hợp [4] Trong báo này, sử dụng định dạng dấu phẩy động bán xác Trong nghiên cứu này, tính tốn với định dạng số thực dấu phẩy động bán xác kiến trúc ANN đề xuất FPGA thực ngôn ngữ mô tả phần cứng Việc lựa chọn số lượng đầu vào để đáp ứng yêu cầu tỉ lệ nhận dạng khả thực thi kiến trúc ANN phần cứng FPGA với lượng tài nguyên hữu hạn khảo sát chi tiết [4] Trong báo này, từ tập sở liệu MNIST, chúng tơi trích chọn đặc trưng dùng kỹ thuật PCA lựa chọn sử dụng 20 thành phần để đưa vào đầu vào ANN thực huấn luyện nhận dạng Số lượng đầu vào vừa đáp ứng yêu cầu tỉ lệ nhận dạng khả thực thi kiến trúc ANN FPGA Virtex-5 [4] 254  Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) +ӝL7KҧR4XӕF*LDYӅĈLӋQ7ӱ7UX\ӅQ7K{QJYj&{QJ1JKӋ7K{QJ7LQ(&,7 VHDL dựa vào thư viện mã nguồn mở FloPoCo [9] Lưu ý rằng, định dạng số thực dấu phẩy động bán xác (16 bit theo chuẩn IEEE-754) thực thi thư viện FloPoCo thêm vào bit để phân biệt giá trị đặc biệt [9] trình bày Hình nên độ rộng bus liệu 18 bit, chia làm trường cụ thể sau: Trong đó, ti tổng trọng nơ-ron thứ i; wi,j trọng số ứng với đầu vào xj; ri nơ-ron thứ i xác định hàm kích hoạt logsigmoid ti Triển khai cơng thức (4) thành dạng ma trận, ta được: ‫ݓ‬ଵǡଵ ‫ݓ‬ଵǡଶ ǥ ‫ݓ‬ଵǡ௝ ǥ ‫ݓ‬ଵǡே ‫ݔ‬ଵ ‫ݐ‬ ‫ݓ ۍ‬ଶǡଵ ‫ݓ‬ଶǡଶ ǥ ‫ݓ‬ଶǡ௝ ǥ ‫ݓ‬ଶǡே ‫ݐ ۍ ې ݔ ۍ ې‬ଵ ‫ې‬ ଶ ଶ ‫ێ‬ ‫ۑڭێ ۑڭ ێ ۑ ڭ‬ ‫ڭ‬ ‫ڭ‬ ‫ݓێ‬ (6) ǥ ‫ݓ‬௜ǡ௝ ǥ ‫ݓ‬௜ǡே ‫ ۑ‬Ǥ ‫ݔ ێێ‬௝ ‫ݐ ێێ=ۑۑ‬௜ ‫ۑۑ‬ ‫ ێ‬௜ǡଵ ‫ݓ‬௜ǡଶ ‫ۑ‬ ‫ڭ‬ ‫ڭ‬ ‫ۑڭێ ۑڭ ێ ۑ ڭ‬ ‫ێ‬ ‫ݓۏ‬ெǡଵ ‫ݓ‬ெǡଶ ǥ ‫ݓ‬ெǡ௝ ǥ ‫ݓ‬ெǡே ‫ݔۏ ے‬ே ‫ݐۏ ے‬ெ ‫ے‬ x 2-bit trường ngoại lệ: 00 cho số 0, 01 cho số bình thường, 10 cho số vô cùng, 11 cho số NaN (Not a Number); x 1-bit dấu s (sign): cho số dương, cho số âm; x 5-bit trường mũ e (exponent); x 10-bit trường phân số f (fraction) III. THIẾT KẾ KIẾN TRÚC MẠNG NƠ-RON NHÂN TẠO Trong phần này, chúng tơi trình bày việc thiết kế kiến trúc mạng nơ-ron nhân tạo (ANN) ứng dụng cho toán nhận dạng chữ số viết tay FPGA Để thuận tiện trình bày, chúng tơi gọi kiến trúc ANN lõi IP ANN (IP – Intellectual Property) A Sơ đồ khối chung Như đề cập phần trước, cần thiết kế lõi IP ANN gồm lớp: lớp ẩn lớp Sơ đồ khối Hình trình bày ý tưởng để thiết kế lõi IP ANN thực mạng nơ-ron nhân tạo Kiến trúc tổng quát hai lớp hoàn toàn giống nhau, nhiên, lớp khác số nơ-ron số đầu vào nơ-ron, trọng số tối ưu lớp Các trọng số tối ưu W1 W2 kết trình huấn luyện mạng mục trước số nên lưu cố định ROM Hình Sơ đồ khối nhân cộng tích lũy MAC Hình Sơ đồ khối hàm kích hoạt nơ-ron thứ i Hình Sơ đồ khối chung lõi IP ANN Hình Sơ đồ khối kiến trúc nơ-ron thứ i Cũng phần huấn luyện Matlab, phần thiết kế lõi IP ANN cho FPGA chọn số đầu vào 20, số lượng nơ-ron lớp ẩn 12 lớp 10 Vec-tơ đầu vào x nhân với ma trận trọng số W1, sau qua hàm kích hoạt f cho 12 đầu lớp ẩn Tiếp theo, 12 giá trị đầu lớp ẩn trở thành đầu vào cho lớp Thực tương tự lớp nhân đầu vào với ma trận trọng số W2 qua hàm kích hoạt f để xác định 10 đầu lõi IP ANN Ta dễ dàng nhận thấy: ti tích vơ hướng (dotproduct) vec-tơ wi – vec-tơ hàng thứ i ma trận trọng số W – vec-tơ đầu vào x Vì vậy, chúng tơi thiết kế khối nhân cộng tích lũy (Multiply Accumulate - MAC) để thực nhân vô hướng hai vec-tơ, sơ đồ khối MAC xây dựng Hình Sơ đồ khối MAC bao gồm khối nhân, khối cộng ghi sử dụng DFF để lưu giá trị ngõ phép toán cộng, ngõ khối nhân xác định phép nhân hai vec-tơ x wi đưa tới khối cộng để thực phép cộng với giá trị đưa ngược trở từ DFF, hay nói cách khác cộng tích lũy Hàm kích hoạt f công thức (5) thiết kế theo sơ đồ khối Hình 6, bao gồm ba khối: lấy mũ số e, cộng lấy nghịch đảo, thực theo thứ tự Như vậy, để thực nơ-ron thứ i ghép nối tiếp hai khối nhân cộng tích lũy khối hàm kích hoạt với với nhớ ROM có N ô nhớ để lưu trữ giá trị trọng số hàng thứ i Sơ đồ khối tính tốn nơ-ron (Neural) thứ i trình bày Hình B Kiến trúc nơ-ron Giả sử ma trận trọng số W có kích thước MxN vec-tơ đầu vào x = [x1, x2, , xN] Để tính nơ-ron thứ i, ta sử dụng công thức sau:  ‫ݐ‬௜ ൌ σே ௝ୀଵ ‫ݓ‬௜ǡ௝ Ǥ ‫ݔ‬௝  ‫ݎ‬௜ ൌ ݂ሺ‫ݐ‬௜ ሻ ൌ ଵ ଵା௘ ష೟೔  ሺͶሻ  (5) 255  Hội+ӝL7KҧR4XӕF*LDYӅĈLӋQ7ӱ7UX\ӅQ7K{QJYj&{QJ1JKӋ7K{QJ7LQ(&,7 Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) C Kiến trúc lõi IP ANN Quá trình kiểm tra thực với lõi IP ANN chạy board FPGA Virtex-5 XC5VLX110T Matlab để đối sánh Tỉ lệ nhận dạng lõi IP ANN FPGA chương trình Matlab 90.88 % 91.33 % Lõi IP ANN cho tỉ lệ nhận dạng xấp xỉ gần tỉ lệ nhận dạng thực Matlab Sự sai khác hoàn toàn chấp nhận tính tốn Matlab dùng định dạng số với độ xác kép 64-bit tính tốn IP ANN FPGA dùng định dạng số bán xác với với 16-bit Tỉ lệ nhận dạng tập liệu chữ số viết tay MNIST thực thi máy tính (bằng phương pháp khác nhau) khoảng 95-99 % [6], cao so với tỉ lệ nhận dạng đạt phần cứng FPGA trình bày nghiên cứu Tuy nhiên, lưu ý thực nghiệm trình bày [6] có kích thước mạng số lượng đầu vào lớn, chẳng hạn tương ứng với tỉ lệ nhận dạng 95.3 % cần sử dụng kiến trúc mạng nơ-ron lớp với 300 nơ-ron Trong đó, thiết kế lõi IP ANN chúng tơi có tổng cộng 22 nơ-ron (chỉ 7.3% so với thiết kế [6]) đạt tỉ lệ nhận dạng tốt (90.88%) Rõ ràng, suy giảm độ xác nhằm đạt kiến trúc mạng nơ-ron tinh giản để thực thi phần cứng FPGA với số lượng tài nguyên hạn hẹp V. KẾT LUẬN Trong báo này, chúng tơi trình bày việc nghiên cứu, thiết kế thực thi kiến trúc mạng nơ-ron nhân tạo lớp (lõi IP ANN) FPGA ứng dụng toán nhận dạng chữ số viết tay Lõi IP ANN dễ dàng mở rộng theo hướng thay đổi số lượng nơ-ron lớp ứng dụng để thực nhận dạng nhiều tập liệu khác tùy theo mục đích người sử dụng Việc xây dựng mạng nơ-ron FPGA sở cho việc thực hóa giải thuật huấn luyện cho mạng nơ-ron chip từ mở hướng thiết kế ứng dụng mang tính thực tiễn cao với tích hợp hệ thống xử lý thơng minh chip Các hướng nghiên cứu tương lai bao gồm: tối ưu hóa kiến trúc lõi IP ANN thiết kế theo hướng tăng tốc độ nhận dạng, ứng dụng lõi IP ANN nhận dạng mặt người hay nhận dạng dấu vân tay, nghiên cứu thực thi kiến trúc ANN theo hướng ASIC TÀI LIỆU THAM KHẢO Hình Sơ đồ khối lõi IP ANN lớp ứng dụng nhận dạng chữ số viết tay: lớp ẩn gồm 12 nơ-ron, lớp gồm 10 nơ-ron Hình trình bày sơ đồ khối lõi IP ANN gồm lớp thiết kế cho toán nhận dạng chữ viết tay Lớp ẩn gồm 12 nơ-ron nên ghép song song 12 khối Neural Tương tự, lớp ghép song song 10 khối Neural Đầu lớp ẩn song song, nhiên đầu vào lớp nối tiếp Do đó, chúng tơi thiết kế khối chuyển đổi song song sang nối tiếp P2S Các đầu lõi IP ANN là: r1, r2, , r10 IV. KẾT QUẢ A Kết thực thi lõi IP ANN phần cứng FPGA Chúng sử dụng công cụ ISE 14.1 board mạch FPGA Virtex-5 XC5VLX110T Xilinx [10] để thực thi thiết kế lõi IP mạng nơ-ron nhân tạo ANN Lõi IP ANN kết nối vào hệ thống nhúng sử dụng vi xử lý 32-bit MicroBlaze hoạt động tần số 100 MHz sử dụng hệ thống bus PLB (Processor Local Bus) Xilinx để kiểm tra tốc độ tỉ lệ nhận dạng Các kết thực thi lõi IP ANN phần cứng FPGA sau: x Tần số hoạt động tối đa: fmax = 205 (MHz); x Tài nguyên phần cứng sử dụng trình bày Bảng cho thấy lõi IP ANN thiết kế thực thi chiếm khoảng 41% lượng tài nguyên board Virtex-5 XC5VLX110T hoàn toàn phù hợp cho ứng dụng nhận dạng nhúng FPGA; x Tốc độ nhận dạng: tốc độ nhận dạng cho mẫu liệu vào lõi IP ANN 799 chu kỳ đồng hồ / mẫu, tương ứng với thời gian nhận dạng 7.99 Ps/mẫu lõi IP ANN thử nghiệm hệ thống nhúng sử dụng MicroBlaze hoạt động tần số đồng hồ 100 MHz [1] M Hoffman, P Bauer, B Hemrnelman, and A Hasan, "Hardware synthesis of artificial neural networks using field programmable gate arrays and fixed-point numbers," in Region Conference, 2006 IEEE [2] A W Savich, M Moussa, and S Areibi, "The impact of arithmetic representation on implementing MLP-BP on FPGAs: A study," IEEE Transactionson on Neural Networks, Jan 2007 [3] K Nichols, M Moussa, and S Areibi, "Feasibility of Floating-Point arithmetic in FPGA based artificial neural networks," in CAINE, 2002 [4] Thang Viet Huynh, "Design space exploration for a single-FPGA handwritten digit recognition system," in 2014 IEEE-ICCE, 2014 [5] Lakhina, S ; Joseph, S ; Verma, B., " Feature Reduction using Principal Component Analysis for Effective Anomaly–Based Intrusion Detection on NSL-KDD ", IJEST, 2010 [6] The MNIST database of handwritten digits, http://yann.lecun.com/exdb/mnist/ [7] Neural Network Toolbox™ User’s Guide [8] IEEE Standard for Floating-Point Arithmetic," IEEE Std 754-2008 , vol., no., pp.1,70, Aug 29 2008 [9] FloPoCo project, http://flopoco.gforge.inria.fr/ [10] Xilinx training, http://www.xilinx.com/training/fpga-tutorials.htm Bảng 2: Ước lượng tài nguyên phần cứng lõi IP ANN board mạch Virtex-5 XC5VLX110T (speed grade -3) Logic sử dụng Số slice Tổng số Đã dùng Chiếm dụng 69120 28340 41% B Đánh giá độ xác kiểm tra tỉ lệ nhận dạng Để đánh giá tỉ lệ nhận dạng lõi IP ANN sử dụng tập liệu kiểm tra từ MNIST gồm 10,000 mẫu liệu 256  ... III. THIẾT KẾ KIẾN TRÚC MẠNG NƠ-RON NHÂN TẠO Trong phần này, chúng tơi trình bày việc thiết kế kiến trúc mạng nơ-ron nhân tạo (ANN) ứng dụng cho toán nhận dạng chữ số viết tay FPGA Để thuận tiện... thi kiến trúc mạng nơ-ron nhân tạo lớp (lõi IP ANN) FPGA ứng dụng toán nhận dạng chữ số viết tay Lõi IP ANN dễ dàng mở rộng theo hướng thay đổi số lượng nơ-ron lớp ứng dụng để thực nhận dạng. .. việc thiết kế kiến trúc mạng nơ-ron nhân tạo FPGA; kiến trúc mạng nơ-ron đề xuất thực thi thử nghiệm board FPGA Virtex-5 XUPV5-LX110T Xilinx ứng dụng cho nhận dạng chữ số viết tay với tập liệu