Tế bào nơron nhân tạo có độ chính xác và tốc độ cao

Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Tế bào Nơron nhân tạo có độ xác tốc độ cao Nguyễn Quang Anh, Nguyễn Hoàng Dũng* Trường Đại học Bách Khoa Hà Nội, Số Đại Cồ Việt, Hai Bà Trưng, Hà Nội, Việt Nam Nhận ngày 16 tháng 12 năm 2016 Chỉnh sửa ngày 18 tháng 01 năm 2017; Chấp nhận đăng ngày 23 tháng 03 năm 2017 Tóm tắt: Bài báo tập trung trình bày thiết kế tế bào nơron nhân tạo với phương pháp học giám sát có khả thích ứng với nhiều thuật tốn địi hỏi độ xác tốc độ cao Dựa thuật tốn huấn luyện có giám sát cấu tạo nơron thực, nhóm nghiên cứu xây dựng kiến trúc nơron nhân tạo có kiến trúc tương tự kèm xử lý số thực Kiến trúc dễ dàng tăng tốc độ xử lý cách mở rộng số tầng thực mô theo cấu trúc đường ống (pipeline) Để đảm bảo tốc độ độ xác cao, nhóm nghiên cứu thực tối ưu số kiến trúc dịch xử lý số thực song song Chính tăng thêm số tầng cho kiến trúc tốc độ tăng lên nhanh tài nguyên tăng lên không đáng kể Kết tổng hợp chip FPGA Virtex hãng Xilinx cho thấy kiến trúc nơron nhóm nghiên cứu đề xuất hoạt động lên đến tầng thực theo cấu trúc pipeline tốc độ đạt tối đa 108Mhz Từ khóa: nơron nhân tạo, xử lý số thực, đường ống, dịch Giới thiệu chung tương đối tốt liệu quan sát cho kết xác Các nghiên cứu [1-3] thường sử dụng thuật tốn chạy máy tính với CPU GPU tốc độ cao khơng mang tính gọn nhẹ Tiêu biểu nhận dạng mã nguồn mở OpenCV Do sử dụng theo cách khó đáp ứng ứng dụng đòi hỏi sản phẩm có kích thước nhỏ gọn sử dụng nguồn pin Để tập trung vào số ứng dụng cụ thể nhằm tăng tốc độ giảm kích thước cơng suất tiêu thụ phần cứng, nhóm nghiên cứu tiến hành triển khai, thực nghiệm phần ứng dụng tảng phần cứng FPGA Hầu hết nghiên cứu trước thường thực số nguyên số thực có dấu phẩy cố định ứng dụng khơng cần độ xác cao Ý tưởng thiết kế tế bào nơron nhân tạo chuẩn tảng FPGA để dễ dàng tương thích sử dụng cho Mạng nơron nhân tạo (Artificial Neural Network) công cụ phi tuyến để mơ hình hóa mối quan hệ phức tạp liệu đầu vào kết đầu từ tập mẫu liệu Mạng nơron gồm nhóm tế bào nơron nhân tạo nối với để xử lý thông tin cách truyền theo kết nối tính giá trị lớp nơron Có ba hướng huấn luyện mạng nơron học có giám sát, học khơng giám sát học bám giám sát Mỗi hướng huấn luyện có ưu, nhược điểm khác Nhưng để đạt độ xác cao nhất, nhóm nghiên cứu sử dụng mơ hình học có giám sát Với tham số khởi tạo chế xấp xỉ hàm tùy ý, sau huấn luyện mạng xử lý _  Tác giả liên hệ ĐT: 84-913004120 Email: dung.nguyenhoang@hust.edu.vn 15 16 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 thuật toán số học địi hỏi độ xác cao mà tài ngun sử dụng cần phải tiết kiệm đảm bảo tốc độ xử lý Thiết kế dựa nghiên cứu nơron thực, nghiên cứu kiến trúc nơron nhân tạo song song [4] kiến trúc nơron nhân tạo nối tiếp [5] Trong đó, nhóm nghiên cứu sử thiết kế xử lý số thực theo chuẩn IEEE 754 [6] dịch bit để đảm bảo độ xác tốc độ thực Trong báo nhóm nghiên cứu trình bày tổng quan mạng nơron nghiên cứu liên quan phần II; thiết kế xử lý số thực theo chuẩn IEEE 745 [6] dịch bit để tăng độ xác tốc độ phần III; kết mô thảo luận phần IV kết luận phần V Cấu tạo nơron thật não người minh họa hình Một nơron gồm có thân nơron (cell body) nơi xử lý tín hiệu đưa vào từ giác quan Các dây hình nhánh (dendrites) nơi nhận xung điện vào nơron sợi trục (axons) dây dài đưa xung điện sau trình xử lý từ thân nơron Giữa dây hình nhánh sợi trục có liên kết với gọi khớp thần kinh (synapse) Axon Dendrites Cell Body Synapse Tổng quan mạng nơron nghiên cứu liên quan 2.1 Tổng quan mạng nơron Hình biểu diễn mơ hình xử lý thông tin người [7] Thông tin từ môi trường đưa não người thông qua giác quan não xử lý Quá trình chia thành khối (1) khối tín hiệu điện tương tự; (2) khối phân tích tiền xử lý; (3) khối nhận diện đặc trưng (4) phân chia thành nhóm thơng tin khác Trong não người chứa đến 100 tỉ nơron thần kinh (tế bào thần kinh) với chức truyền dẫn xung điện Nơron đơn vị cấu tạo hệ thống thần kinh phần quan não Hình Cấu tạo nơron thật não người Dựa vào cấu tạo nơron thật não người, nhóm nghiên cứu đưa mơ hình cấu tạo nơron nhân tạo hình [8] Trong P1, P2 đến Pn đầu vào mạng nơron nhân tạo Tổng đầu vào sau nhân với trọng số định trừ ngưỡng cần so sánh để xác cao, kí hiệu giá trị n F hàm dùng để lọc ngưỡng giá trị n kết đầu mạng nơron nhân tạo a P1 P2 P3 n f a Pn Hình Mơ hình xử lý thơng tin người Hình Mơ hình nơron nhân tạo N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Giả sử có mơ hình hai tập liệu kí hiệu hình trịn vng cần phân loại hình Thuật tốn xử lý liệu mạng nơron nhân tạo chưa huấn luyện mơ tả hình Các kí hiệu W trọng số mạng nơron nhân tạo B giá trị ngưỡng xử lý Ở mô hình có hai tập liệu vào input input Dữ liệu đầu vào nhân với trọng số tương ứng W1 W2 trừ ngưỡng B sau mang so sánh Hình biểu diễn kết mơ hình bị lỗi phần tử hình vng bị phân loại nhầm sang bên tập liệu phần tử hình trịn  input j 17 *W j  B Hình Mơ hình phân loại có lỗi khởi tạo trọng số Hình Hai tập liệu cần phân loại riêng kí hiệu trịn vng Hình Thuật tốn xử lý liệu mạng nơron nhân tạo Chính việc sử dụng thuật toán huấn luyện cho mạng nơron nhân tạo cần thiết để phân loại xác tập liệu đầu vào Hình hình biểu diễn mơ hình thuật tốn huấn luyện mạng nơron kết phân loại sau điều chỉnh trọng số từ trình học Sau phát có lỗi q trình phân loại hình 6, trọng số cập nhật lại dựa theo kết chuẩn kết phân tích Kết trình phân loại biểu diễn hình Kết đưa sau tính tốn lưu đồ hình so sánh với giá trị T để huấn luyện cho mẫu liệu Trong trường hợp giá trị đầu T mẫu học không cần thay đổi Nếu giá trị đầu khác với T mạng nơron phải huấn luyện lại kết Trong trường hợp giá trị đầu T trọng số Wi trừ lượng giá trị phụ thuộc đầu vào tương ứng nhân với tốc độ học tập alpha Ngược lại giá trị đầu T trọng số Wi tăng lên lượng giá trị phụ thuộc đầu vào tương ứng nhân với tốc độ học tập alpha Như sau số lần học lại, đường phân loại hai tập phần tử hình vng trịn thay sang đường màu đỏ kết phân loại xác 18 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Start Output = T ? Yes No No Output = ? Yes W1 += Alpha*Input1 W2 += Alpha*Input2 B=B+1 W1 -= Alpha*Input1 W2 -= Alpha*Input2 B=B-1 Hình Mơ hình mạng nơron xử lý End Hình Thuật toán học mạng nơron nhân tạo  input *W j j B * j * j Hình 10 Mơ hình mạng nơron xử lý song song  input *W B * W j*  W j  W j B*  B  B Hình Mơ hình phân loại sau điều chỉnh trọng số từ trình học 2.2 Các nghiên cứu liên quan Tế bào nơron nhân tạo thường có hai hướng xử lý đưa liệu liên quan vào theo kiểu nối kiểu song song Hình 10 biểu diễn mơ hình mạng nơron xử lý nối tiếp [9] xử lý song song [4] Ở hình dễ dàng nhận thấy với tập liệu đầu, có luồng đầu vào kết hợp với trọng số tương ứng vào nhân Sau kết cộng tích lũy lại tính tốn hết liệu đầu vào Ngược lại, hình 10 có nhiều liệu đầu vào khác nhân với trọng số tương ứng sau vào cộng song song để tạo tín hiệu xử lý cho nơron nhân tạo Như nhóm nghiên cứu thấy kiến trúc xử lý nối tiếp có cấu trúc trạng thái điều khiển phức tạp Kiến trúc phù hợp để tính tốn riêng lẻ, khó mở rộng số tầng tính tốn hoạt động thành mạng nơron phức tạp Trong với kiến trúc xử lý song song, tín hiệu tính tốn với thơng lượng lớn thực phép tính song song, đặc biệt cộng tổng hợp tín hiệu Nếu thực phép tính cộng trừ song song giảm nhiều thời gian đợi N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Bảng Ưu nhược điểm mạng nơron xử lý song song nối tiếp Mơ hình mạng nơron Xử lý song song Xử lý nối tiếp Ưu điểm Nhược điểm - Xử lý liệu nhanh, đảm bảo tính tốn thời gian thực - Tăng tỉ lệ liệu đầu vào hiệu dụng tiết kiệm tài nguyên nhớ - Dễ đưa kỹ thuật pipeline để tăng tốc độ tính toán - Tiết kiệm nhiều tài nguyên cổng logic phần cứng - Số nhân cộng tăng lên tương ứng với số đường liệu vào - Nếu có số lượng đường liệu vào lớn ảnh hưởng đến yêu cầu kích thước vi mạch thực - Khó xây dựng hàng đợi đồng liệu đầu vào thực nhiều lớp nơron - Số ghi flipflop tăng lên để lưu giữ giá trị tiết kiệm cổng logic - Bộ điều khiển trở nên phức tạp khó kiểm sốt - Thời gian chậm liệu vào phải tính tốn nối tiếp - Chu kỳ vịng tính tốn lớn Dựa nghiên cứu đó, nhóm nghiên cứu xây dựng bảng so sánh ưu nhược điểm mơ hình mạng nơron xử lý nối tiếp xử lý song song trình bày bảng Với ưu nhược điểm mơ hình, nhóm nghiên cứu nhận thấy mơ hình xử lý liệu song song có nhiều ưu điểm hẳn so với mơ hình nối tiếp Tuy nhiên để hạn chế nhược điểm mơ hình này, nhóm nghiên cứu đề xuất trình bày số cải tiến cho mơ hình xử lý liệu song song phần báo 19 Kiến trúc mạng nơron song song 3.1 Cải tiến mơ hình mạng nơron xử lý liệu song song Trong thiết kế kiến trúc mang nơron Christodoulou [10] sử dụng cộng nối tiếp cho (N-1) đầu vào sau nhân với trọng số Phương pháp thiếu hợp lý khơng tối ưu tảng phần cứng làm tăng thời gian trễ từ nhân lọc giá trị So với cấu tạo mạng nơron thật sự, nhóm nghiên cứu đưa thêm đường tín hiệu điều khiển đường liệu vào để thuận tiện trình xử lý Hình 11 minh họa sơ đồ khối mạng nơron nhân tạo có kiến trúc xử lý song song nhóm nghiên cứu đề xuất Hình 11 Đề xuất mơ hình mạng nơron xử lý song song Kiến trúc cần nạp trọng số vào lần lúc khởi động sau cập nhật với giá trị lưu trữ song song bên mạng nơron Một cập nhật trọng số gồm thành phần nhân cộng số thực Như vậy, đường liệu vào thiết kế cần cần thêm cộng số thực nhân số thực Nghiên cứu Pierre Auger Collaboration [11] xử lý cho số nguyên nên kiến trúc khơng dùng vào ứng dụng lớn Trong thiết kế Jeannette Chin [12] sử dụng bit cho phần thập phân hay thiết kế Valeri 20 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Mladenov [4] sử dụng 10 bit cho phần thập phân xử lý tới sai số cỡ phần nghìn Ngồi ra, thiết kế Alessandro [13] sử dụng nhân vi điều khiển NIOS chip FPGA để đọc liệu từ RAM xử lý số thực hoàn toàn lãng phí tài nguyên thực tế cần xây dựng xử lý số thực để nâng cao độ xác cho ứng dụng Chính vậy, nhóm nghiên cứu thiết kế nhân cộng cách cải tiến thêm số module toán tử tảng kiến trúc cộng nhân số thực Prof Al-Khalili [14] theo chuẩn IEEE 754 Với kiến trúc không xử lý số thực, tần số hoạt động tối đa mạng nơron dễ dàng đạt đến 200MHz Tuy nhiên, kiến trúc xử lý số thực, để xử lý cần nhiều công đoạn nhân, dịch đếm nối tiếp nên tần số hoạt động tối đa bị giảm nhiều song song 32 bit mạch tổ hợp dựa vào phương pháp chia đôi lựa chọn bit Ý tưởng phương pháp có số 32 bit cần dịch số lượng bit  n  32 Biến đổi giá trị n dạng số nhị phân có bit từ [4:0] với bit bit có trọng số thấp (Least Significant Bit – LSB) bit bit có trọng số cao (Most Significant Bit – MSB) Như vậy, giá trị n = b4 * 16 + b3 * + b2 * + b1 * + b0 * Với dịch số có n bit số tầng dịch log2n Thuật tốn mô tả sau: - Xử lý bit LSB để xác định số 32 bit cần dịch số bit chẵn hay số bit lẻ - Xử lý bit thứ để xác định số 32 bit cần dịch thêm 2-bit hay không? - Xử lý bit thứ để xác định số 32 bit cần dịch thêm 4-bit hay không? - Xử lý bit thứ để xác định số 32 bit cần dịch thêm 8-bit hay không? - Xử lý bit MSB để xác định số 32 bit cần dịch thêm 16-bit hay không? Thực tương tự dịch bit song song, đếm đếm số bit từ trái sang phải gặp bit Hình 12 Cấu trúc cập nhật trọng số Cấu trúc cập nhật số biểu diễn hình 12 Hình 13 mô tả phần cấu trúc dịch bit Với nhân sử dụng khối dịch bit theo xung đồng hồ, thời gian để thực tính tốn phép nhân số thực tăng chu lên nhiều Đối với phép dịch theo xung đồng hồ, trường hợp tốt không xung xấu số xung kích thước đầu vào dịch Tiêu biểu cho trường hợp thiết kế HungMing Tsai [15] Với kiến trúc dịch bit xử lý nối tiếp, lớp nơron Réjean Fontaine [16] cần sử dụng tới 46 xung đồng hồ để tính tốn Nếu muốn sử dụng kiến trúc để thực ứng dụng thời gian thực tần số hoạt động tối đa nơron phải lớn Vì vậy, nhóm nghiên cứu đề xuất kiến trúc dịch bit Hình 13 Một phần cấu trúc dịch bit 3.2 Trạng thái hoạt động mạng nơron xử lý liệu song song Trạng thái hoạt động mạng nơron có kiến trúc xử lý song song nhóm nghiên cứu đề xuất biểu diễn hình 14 Khi bắt đầu khởi động tế bào nơron mạng nơron trạng thái bên tế bào không xác định Để đảm bảo tính xác nên hệ thống cần phải thiết lập lại để đưa trạng thái – trạng thái tạm ngừng hoạt động Sau tế bào nơ ron tiến vào trạng thái – N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 trạng thái đợi khởi tạo trọng số Trạng thái trạng thái đợi liệu đầu vào để tính tốn Trạng thái thực nhân liệu đầu vào với trọng số khởi tạo trạng thái Kết trạng thái chuyển sang trạng thái để xử lý thông tin tổng hợp Ở trạng thái cuối cùng, tế bào nơron xuất kết tiến hành hiệu chỉnh trọng số cần thiết để kết lần sau xác sau lặp lại trạng thái đợi liệu kết thúc hoàn tồn Hình 14 Trạng thái hoạt động mạng nơron nhân tạo xử lý song song nhóm nghiên cứu đề xuất Hình 15 minh họa giản đồ thời gian hoạt động mạng nơron nhân tạo xử lý song song nhóm nghiên cứu đề xuất Tín hiệu clock sử dụng để điều khiển hoạt động hệ thống Tín hiệu reset đưa tế bào nơron trạng thái tạm ngừng hoạt động trước có tín hiệu khởi tạo đưa vào để khởi tạo trọng số tương ứng Sau liệu đưa vào trạng thái tín hiệu tính tốn thiết lập mức để tính tốn phép nhân trọng số với liệu đầu vào trạng thái 3, xử lý thông tin tổng hợp trạng thái kết thúc chu trình làm việc trạng thái trước quay trạng thái tín hiệu trạng thái biểu diễn hình 15 Kết tính tốn cập nhật trạng thái cuối Hình 15 Giản đồ thời gian hoạt động mạng nơron nhân tạo xử lý song song nhóm nghiên cứu đề xuất 21 Kết thảo luận 4.1 Kiểm thử mơ hình đề xuất tảng phần cứng Dựa vào thiết kế xử lý theo kiến trúc song song, nhóm nghiên cứu tiến hành thử nghiêm vào ứng dụng nhận diện khuôn mặt John See [17] John See thử nghiệm thành công việc nhận dạng với 600 khuôn mặt dựa tập 100 ảnh mẫu theo mơ hình hình 16 với cơng cự sử dụng phần mềm máy tính Từ thực nghiệm cụ thể, John See tìm biểu thức để phân loại màu da theo đồ thị hình 17 Nhóm nghiên cứu tiến hành mơ cách tạo tập liệu huấn luyện phần mềm máy tình tiến hành kiểm chứng liệu cách so sánh với liệu John See Từ tập liệu tín hiệu phân loại, nhóm nghiên cứu sử dụng thư viện nhớ chuẩn Xilinx để tạo nhớ RAM chứa đường liệu mô thay cho việc kết nối trực tiếp tới liệu Hình 16 Mơ hình nhận dạng khuôn mặt dựa vào màu da John See [17] Hình 17 Đồ thị biểu diễn vùng màu da theo hai giá trị màu Cb Cr [17] 22 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Để mơ q trình huấn luyện báo tảng phần cứng FPGA, nhóm nghiên cứu tạo tập liệu huấn luyện cho mạng nơron nhân tạo dựa biểu thức: Cr ≤ 1.5862 * Cb + 20 [17] Nhóm nghiên cứu tạo mẫu liệu có 2000 phần tử, với giá trị Cr, Cb Sau nhóm nghiên cứu đánh giá đưa tập T giá trị đích huấn luyện với thuật toán lựa chọn sau: Cr = rand()%256; Cr = rand()%256; T = Cr ≤ 1.5862 * Cb + 20 < ? : 1; Kết mơ máy tính cơng cụ phần mềm ngôn ngữ C với tốc độ học 0.0003 biểu diễn hình 18 Nhóm nghiên cứu muốn thử nghiệm kiến trúc mạng nơron có kiến trúc xử lý song song tảng phần cứng FPGA Vertex (40nm) hãng Xilinx Nhóm nghiên cứu mơ mạng nơron nhân tạo công cụ Isim Xilinx ISE với trọng số khởi tạo Sau trình học tập, mạng nơron nhân tạo cho kết hình 19: Alpha = 0x399d4952 = 0.0003d; W2 = 0x3f800000 = 1d W1 = 0x3fca751b = 1.5816988d; Bias = 41a00000 = 20d Như dễ dàng nhân thấy sai số thực tảng phần cứng công cụ phần mềm là: 1.5862  1.5816988  0.284% 1.5862 Hình 18 Kết mô với tốc độ học 0.0003 ngôn ngữ C 4.2 Kết nạp lên phần cứng FPGA hãng Xilinx So sánh kết nhóm nghiên cứu thực tảng phần cứng hãng Xilinx kết đề cập nghiên cứu [18, 19] đề cập bảng Qua bảng so sánh nhận thấy công nghệ FPGA mà nhóm nghiên cứu sử dụng Virtex (40nm), số liệu đầu vào với tính tốn số thực lên đến 32 bít số tài nguyên phần cứng (LUT/LE ghi) lại nhiều so sánh với kết nghiên cứu trước Bảng Kết so sánh thực tảng phần cứng Đặc điểm Cơng nghệ [18] Nhóm nghiên cứu [19] Virtex (65nm) Cyclone II Virtex (40nm) (90nm) Số liệu đầu vào Tính tốn 16 bit số thực 32 bit 32 bit LUT/LE 8984 8737 2254 Thanh ghi 7591 2867 341 Bộ nhân 42 nhân 10 DSP bit 18 DSP Bảng biểu diễn kết so sánh thực tổng hợp mạng nơron nhân tạo xử lý song song với số tầng pipeline khác Qua bảng nhóm nghiên cứu nhận thấy với số tầng tăng lên tốc độ xử lý nhanh nhiều (tăng lên đến lần so sánh việc sử dụng tầng sử dụng tầng pipeline) tài nguyên phần cứng tăng lên không đáng kể Bảng Kết so sánh thực tầng khác Hình 19 Kết mơ với tốc độ học 0.0003 Isim Xilinx ISE Số tầng pipeline LUT/LE 2112 2136 2179 2254 Thanh ghi 219 251 309 341 Tần số (MHz) 52.5 71 95.3 108 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) 15-24 Dựa vào phân tích thơng qua bảng trên, thấy kiến trúc nhóm nghiên cứu đơn giản dễ thực hoạt động mạng nơron nhân tạo hồn tồn kiểm sốt điều khiển Bằng cách tự xây dựng module cần thiết, nhóm nghiên cứu tạo tạo mạng nơron có nhiều điểm tối ưu tài nguyên phần cứng thời gian tính tốn Trong trường hợp tăng thêm số tầng pipeline thiết kế cần tăng thêm số lượng trạng thái tương ứng để đồng liệu không cần phải thay đổi kiến trúc tổng thể Kết luận hướng phát triển Trong báo nhóm nghiên cứu trình bày tổng quan mạng nơron cách thiết kế xử lý số thực theo chuẩn IEEE 745 Thông qua nhóm nghiên cứu để xuất mơ hình cải tiến mạng nơron nhân tạo xử lý song song kiểm thử tảng phần cứng FPGA hãng Xilinx Bằng cách tự xây dựng module cần thiết, nhóm nghiên cứu tạo tạo mạng nơron có nhiều điểm tối ưu tài nguyên phần cứng thời gian tính tốn Trong trường hợp tăng thêm số tầng pipeline thiết kế cần tăng thêm số lượng trạng thái tương ứng để đồng liệu Trong thời gian tiếp theo, nhóm nghiên cứu đề xuất mơ hình mạng nơron có khả triển khai nhiều thuật tốn thiết bị sử dụng nguồn pin đòi hỏi độ xác cực cao kết hợp lai ưu điểm kiến trúc mạng nơron xử lý song song nối tiếp Tài liệu tham khảo [1] Sicheng Li, Chunpeng Wu, Helen, Boxun Li, Yu Wang, Qinru Qiu - “FPGA Acceleration of Recurrent Neural Network based Language Model” [2] Lei Liu, Jianlu Luo, Xiaoyan Deng, Sikun Li – “FPGA-based Acceleration of Deep Neural Networks Using High Level Method” - 2015 10th International Conference on P2P, Parallel, Grid, Cloud and Internet Computing 23 [3] Eriko Nurvitadhi, Jaewoong Sim, David Sheffield, Asit Mishra, Srivatsan Krishnan, Debbie Marr - “Accelerating Recurrent Neural Networks in Analytics Servers: Comparison of FPGA, CPU, GPU, and ASIC” [4] Philippe Dondon, Julien Carvalho, Rémi Gardere, Paul Lahalle, Georgi Tsenov and Valeri Mladenov - “Implementation of a Feed-forward Artificial Neural Network in VHDL on FPGA”978-1-4799-5888-7/14/$31.00 ©2014 IEEE [5] Yufei Ma, Naveen Suda, Yu Cao, Jae-sun Seo, Sarma Vrudhula - “Scalable and Modularized RTL Compilation of Convolutional Neural Networks onto FPGA” [6] “IEEE Standard for Floating-Point Arithmetic” September 03,2015 at 19:44:10 UTC from IEEE Xplore [7] Peng Li, Ming Liu, Xu Zhang and Hongda Chen - “Effcient Online Feature Extraction algorithm for Spile Sorting in A Multichannel FPGABased Neural Recording System” - 978-1-47992346-5/14/$31.00 ©2014 IEEE [8] SAMI EL MOUKHLIS, ABDESSAMAD ELRHARRAS, ABDELLATIF HAMDOUN “FPGA Implementation of Artificial Neural Networks” - IJCSI International Journal of Computer Science Issues, Vol 11, Issue 2, No 1, March 2014 [9] Suhap Sahin, Yasar Becerikli, and Suleyman Yazici - “Neural Network Implementation in Hardware Using FPGAs” - ICONIP 2006, Part III, LNCS 4234, pp 1105 – 1112, 2006 © Springer-Verlag Berlin Heidelberg 2006 [10] E.Al Zuraiqi, M.Joler, C.G.Christodoulou “Neural Networks FPGA Controller for Reconfigurable Antennas” - 978-1-4244-49682/10/$25.00 ©2010 IEEE [11] Zbigniew Szadkowski, Krzysztof Pytel, Pierre Auger Collaboration - “Artificial Neural Network as a FPGA Trigger for a Detection of Very Inclined Air Showers”IEEE TRANSACTIONS ON NUCLEAR SCIENCE 0018-9499 © 2015 IEEE [12] Alin Tisan , Jeannette Chin - “An End User Platform for FPGA-based design and Rapid Prototyping of FeedForward Artificial Neural Networks with on-chip Back Propagation learning”- 10.1109/TII.2016.2555936, IEEE [13] Gabriele-Maria LOZITO, Antonino LAUDANI, Francesco RIGANTI-FULGINEI, Alessandro SALVINI - “FPGA Implementations of Feed Forward Neural Network by using Floating Point Hardware Accelerators” - c 2014 24 N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Cơng nghệ, Tập 33, Số (2017) 15-24 ADVANCES IN ELECTRICAL AND ELECTRONIC ENGINEERING [14] Asim J Al-Khalili of Concordia University – Distinguished Emeritus Professor, P Eng “FLOATING POINT ADDERS AND MULTIPILERS” [15] Cheng-Jian Lina, Hung-Ming Tsai - “FPGA implementation of a wavelet neural network with particle swarm optimization learning” Mathematical and Computer Modelling 47 (2008) 982–996 [16] Charles Geoffroy, Jean-Baptiste Michaud, MarcAndré Tétrault, Julien Clerk-Lamalice, CharlesAntoine Brunet, Roger Lecomte, Réjean Fontaine - “Real Time Artificial Neural Network FPGA Implementation for Triple Coincidences Recovery in PET”- 0018-9499 © 2015 IEEE - IEEE TRANSACTIONS ON NUCLEAR SCIENCE, VOL 62, NO 3, JUNE 2015 [17] Nusirwan Anwar bin Abdul Rahman, Kit Chong Wei, John See - “RGB-H-CbCr Skin Colour Model for Human Face Detection”- Faculty of Information Technology, Multimedia University [18] Ravikant G Biradar, Abhishek Chatterjee, Prabhakar Mishra, Koshy George - “FPGA Implementation of a Multilayer Artificial Neural Network using System-on-Chip Design Methodology”-978-1-4799-7171-8/15/$31.00 ©2015 IEEE [19] Jorge C Romero-Aragon, Edgar N Sanchez, Alma Y Alanis - “FPGA Neural Identifer for Insulin-Glucose Dynamics”- World Automation Congress ©2014 TSI Press High Accuracy and Speed of an Artificial Neural Cell Nguyen Quang Anh, Nguyen Hoang Dung Hanoi University of Science and Technology, No 1, Dai Co Viet, Hai Ba Trung, Hanoi, Vietnam Abstracts: This paper focusses on the neural cell design with supervised learning method adapting to many algorithms which require high speed and accuracy Based on the supervised learning method and real neural structure, we built an artificial neural architecture which can process real numbers This architecture easily increases the speed by expanding the floor numbers modeled on pipeline structure To ensure high speed and accuracy we try to optimize some blocks of the shifters and parallel processor real number architectures Therefore, when increasing the floor numbers of the pipeline architecture the processing frequency increases rapidly while resources are not significantly increased The synthesis results implementing on Xilinx Virtex FPGA show that our artificial neural architecture can operate up to floors of the pipeline structure and maximum speed is reached 108 Mhz Keywords: Artificial Neural Network, Floating Point Processing, Pipeline, Shifter  ... địi hỏi độ xác cao mà tài nguyên sử dụng cần phải tiết kiệm đảm bảo tốc độ xử lý Thiết kế dựa nghiên cứu nơron thực, nghiên cứu kiến trúc nơron nhân tạo song song [4] kiến trúc nơron nhân tạo nối... nghiên cứu đưa mơ hình cấu tạo nơron nhân tạo hình [8] Trong P1, P2 đến Pn đầu vào mạng nơron nhân tạo Tổng đầu vào sau nhân với trọng số định trừ ngưỡng cần so sánh để xác cao, kí hiệu giá trị n... động mạng nơron có kiến trúc xử lý song song nhóm nghiên cứu đề xuất biểu diễn hình 14 Khi bắt đầu khởi động tế bào nơron mạng nơron trạng thái bên tế bào không xác định Để đảm bảo tính xác nên