Báo Cáo Bài Tập Lớn - Thiết Kế Hệ Thống Vlsi - Đề Tài - Tìm Hiểu Về Kiến Trúc Của Khái Niệm Chip Vi Xử Lý Cho Ai Dựa Trên Khải Niệm Npu (Neural Processing Unit)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA ĐIỆN TỬ - - Báo cáo mơn học Đề tài: Tìm hiểu kiến trúc khái niệm chip vi xử lý cho AI dựa khải niệm NPU (Neural Processing Unit) Mục Lục I Giới thiệu chung II Khái niệm chip vi xử lý cho AI III Khái niệm NPU A Sự cần thiết NPU B Các ví dụ chip vi xử lý cho AI dựa khái niệm NPU IV Các ví dụ kiến trúc NPU V Kiến trúc NPU VI Ứng dụng NPU VII Tổng kết 10 VIII Kết luận 11 IX Tài liệu tham khảo 11 I Giới thiệu chung Trong thời đại cơng nghệ nay, Trí tuệ nhân tạo (Artificial Intelligence - AI) trở thành chủ đề hot nhận quan tâm đông đảo người dùng tồn giới Tuy nhiên, để thực ứng dụng AI phức tạp cần có hỗ trợ cơng cụ mạnh mẽ, chip vi xử lý (CPU) với hiệu xử lý cao Tuy nhiên, với mục đích tối ưu hóa hiệu tốc độ xử lý cho ứng dụng AI, nhà sản xuất nghiên cứu phát triển loại chip có tên gọi NPU - Neural Processing Unit, loại chip thiết kế đặc biệt để xử lý công việc liên quan đến AI, đặc biệt Deep Learning Trong báo cáo này, tìm hiểu kiến trúc khái niệm chip vi xử lý cho AI dựa khái niệm NPU (Neural Processing Unit) II Khái niệm chip vi xử lý cho AI Chip vi xử lý cho AI loại chip vi xử lý thiết kế đặc biệt để thực tính tốn liên quan đến trí tuệ nhân tạo Các chip thường tích hợp với Neural Processing Unit (NPU) thành phần khác nhớ điều khiển để tạo hệ thống hồn chỉnh cho xử lý trí tuệ nhân tạo Các chip vi xử lý cho AI thiết kế để tối ưu hóa hiệu suất xử lý tiết kiệm lượng, để xử lý phép tính liên quan đến trí tuệ nhân tạo cách nhanh chóng hiệu Các loại chip vi xử lý cho AI bao gồm: • CPU (Central Processing Unit): Là loại chip xử lý chung sử dụng hầu hết thiết bị điện tử CPU có khả thực phép tính đơn giản khơng tối ưu hóa cho việc xử lý trí tuệ nhân tạo • GPU (Graphics Processing Unit): Là loại chip vi xử lý thiết kế ban đầu để xử lý đồ họa, phát triển để thực tính tốn song song mạng lưới thần kinh nhân tạo • FPGA (Field-Programmable Gate Array): Là loại chip vi xử lý lập trình trước để thực phép tính phức tạp • ASIC (Application-Specific Integrated Circuit): Là loại chip vi xử lý thiết kế đặc biệt cho ứng dụng cụ thể, tối ưu hóa hiệu suất tiết kiệm lượng • Các chip vi xử lý cho AI phát triển cải tiến liên tục để đáp ứng nhu cầu ngày tăng tính tốn trí tuệ nhân tạo lĩnh vực thị giác máy tính, xử lý ngơn ngữ tự nhiên, robot học tự động hóa III Khái niệm NPU Neural Processing Unit (NPU) loại đơn vị xử lý thiết kế đặc biệt để thực phép tính mạng lưới thần kinh nhân tạo (neural networks) NPU thường tích hợp vào chip vi xử lý chuyên dụng cho AI để tối ưu hóa việc xử lý phép tính liên quan đến trí tuệ nhân tạo Một NPU bao gồm nhiều đơn vị tính tốn song song kết nối với thơng qua mạng lưới nội Mỗi đơn vị tính tốn bao gồm nhiều phần tử xử lý đa (PE), phần tử có khả thực phép tính nhân ma trận tích chập song song lượng liệu lớn Các NPU thiết kế để tối ưu hóa việc thực phép tính mạng lưới thần kinh nhân tạo, với khả xử lý liệu song song vượt trội so với đơn vị xử lý truyền thống Sự xuất NPU đưa mơ hình trí tuệ nhân tạo với số lượng tham số lớn lên tầm cao mới, giúp tăng tốc độ xử lý giảm độ trễ trình huấn luyện dự đốn mơ hình AI Các NPU phát triển để xử lý nhiệm vụ địi hỏi sức mạnh tính tốn ngày lớn xử lý video, ảnh âm A Sự cần thiết NPU Trong vài năm gần đây, đạt tiến đáng kinh ngạc ứng dụng Machine Learning Chúng vượt trội người thực số nhiệm vụ chơi trò chơi Go and Chess Đồng thời, ứng dụng Machine Learning đưa sống người lên tầm cao Một vài ứng dụng bao gồm: • Xe tơ tự lái • Giám sát hệ thống khu vực khỏi mối đe dọa hệ thống bảo mật liên quan đến nhận dạng khn mặt đồng thời • Cải thiện chăm sóc sức khỏe cách phân tích điều trị xác Tất điều làm tăng số lượng tính tốn liên quan theo cấp số nhân phương pháp sử dụng GPU trước mở rộng quy mô tốt Điều mở đường để thiết kế xử lý hoạt động tốt GPU đáp ứng tiến mà đạt lĩnh vực Machine Learning NPU yêu cầu thực mục đích sau: • Tăng tốc tính tốn tác vụ Machine Learning lên nhiều lần (gần 10 nghìn lần) so với GPU • Tiêu thụ lượng thấp cải thiện việc sử dụng tài nguyên cho tác vụ Machine Learning so với GPU CPU B Các ví dụ chip vi xử lý cho AI dựa khái niệm NPU (Neural Processing Unit) • Huawei Kirin 970/980/990/810: Là loại chip vi xử lý sản xuất Huawei với khả xử lý AI tích hợp NPU Các chip sử dụng điện thoại thơng minh máy tính bảng Huawei, với khả xử lý hình ảnh nhận dạng giọng nói nhanh Chip vi xử lý Huawei Kirin 970 • Apple A11/A12/A13/A14 Bionic: Là loại chip vi xử lý sản xuất Apple với khả xử lý AI tích hợp NPU Các chip sử dụng điện thoại thơng minh máy tính bảng Apple, với khả xử lý hình ảnh, nhận dạng khn mặt giọng nói nhanh Chip Apple A11 • Samsung Exynos 9820/990/2100: Là loại chip vi xử lý sản xuất Samsung với khả xử lý AI tích hợp NPU Các chip sử dụng điện thoại thông minh máy tính bảng Samsung, với khả xử lý hình ảnh, nhận dạng giọng nói phân tích ngơn ngữ tự nhiên nhanh • MediaTek Helio P60/P70/P90: Là loại chip vi xử lý sản xuất MediaTek với khả xử lý AI tích hợp NPU Các chip sử dụng điện thoại thơng minh máy tính bảng nhà sản xuất khác nhau, với khả xử lý hình ảnh nhận dạng giọng nói nhanh • Qualcomm Snapdragon 845/855/865/888: Là loại chip vi xử lý sản xuất Qualcomm với khả xử lý AI tích hợp NPU Các chip sử dụng điện thoại thơng minh máy tính bảng nhà sản xuất khác nhau, với khả xử lý hình ảnh, nhận dạng giọng nói phân tích ngơn ngữ tự nhiên nhanh IV Các ví dụ kiến trúc NPU Kiến trúc NPU (Neural Processing Unit) thường khác biệt so với kiến trúc chip xử lý truyền thống Một số ví dụ kiến trúc NPU bao gồm: • Google TPU (Tensor Processing Unit): Kiến trúc Google TPU bao gồm số lượng lớn core xử lý đơn vị ma trận (Matrix Unit), tổ chức thành khối tính tốn nhỏ Mỗi core thiết kế để thực phép tính ma trận sử dụng thuật toán học sâu phân loại hình ảnh nhận dạng giọng nói Kiến trúc Google TPU bao gồm đơn vị điều khiển (Control Unit) nhớ tích hợp (On-Chip Memory) • Huawei NPU (Neural Processing Unit): Kiến trúc Huawei NPU chia thành hai phần chính: đơn vị tính tốn đơn vị nhớ Đơn vị tính tốn bao gồm nhiều core tính tốn nhỏ kết nối với thông qua mạng chuyển tiếp (Interconnect Network), cho phép core thực phép tính ma trận đồng thời Đơn vị nhớ sử dụng nhớ (On-Chip Memory) nhớ (Off-Chip Memory) để lưu trữ liệu • Qualcomm Hexagon DSP (Digital Signal Processor) with HVX (Hexagon Vector eXtensions): Kiến trúc Qualcomm Hexagon DSP with HVX bao gồm nhiều core tính tốn nhỏ xếp thành khối tính tốn, kết nối với thông qua mạng chuyển tiếp (Interconnect Network) Mỗi core thiết kế để thực phép tính vectơ, thực phép tính ma trận cách sử dụng xử lý đặc biệt Kiến trúc Qualcomm Hexagon DSP with HVX bao gồm nhớ (On-Chip Memory) nhớ (Off-Chip Memory) V Kiến trúc NPU NPU loại chip thiết kế chuyên dụng cho xử lý liệu AI Kiến trúc NPU thường gồm thành phần sau: • Các đơn vị tính tốn ma trận Các đơn vị tính tốn ma trận (Matrix Processing Units - MPUs) thành phần NPU Chúng thiết kế để thực phép tính ma trận phức tạp nhanh chóng hiệu Mỗi đơn vị tính tốn ma trận thường bao gồm nhiều trung tâm xử lý (processing cores) để thực phép tính song song phần liệu • Các đơn vị tính tốn tích chập Đơn vị tính tốn tích chập (Convolution Processing Units - CPUs) thành phần quan trọng khác NPU Chúng thiết kế để xử lý phép tính tích chập, loại phép tính sử dụng phổ biến Deep Learning Các đơn vị tính tốn tích chập thường xếp theo hình dạng lọc tích chập, lọc tích chập xử lý CPU riêng biệt • Bộ nhớ đệm (Buffer memory) Bộ nhớ đệm thành phần quan trọng kiến trúc NPU Nó sử dụng để lưu trữ liệu xử lý q trình tính tốn tránh việc truy cập liệu từ nhớ Với nhớ đệm, NPU truy cập xử lý liệu cách nhanh chóng hiệu • Các kết nối mạng nơ-ron NPU thiết kế để sử dụng mạng nơ-ron (neural networks) để xử lý tác vụ AI Vì vậy, NPU thường trang bị với kết nối mạng nơ-ron để kết nối với lớp mạng nơ-ron khác • Các đơn vị điều khiển Các đơn vị điều khiển (Control Units) thành phần quan trọng NPU Chúng sử dụng để điều khiển hoạt động NPU đảm bảo tác vụ xử lý thực đầy đủ Chip vi xử lý cho AI thiết kế để thực tính tốn liệu liên quan đến trí tuệ nhân tạo Một thành phần quan trọng chip Neural Processing Unit (NPU) - loại đơn vị xử lý thiết kế đặc biệt để thực phép tính mạng lưới thần kinh nhân tạo Kiến trúc NPU thường bao gồm nhiều hệ thống nhỏ, có phần sau: • Trình điều khiển (Driver): Điều khiển việc truyền liệu lệnh từ máy tính chủ vào NPU phản hồi kết • Bộ điều khiển nhớ (Memory Controller): Điều khiển nhớ cho phép truy xuất liệu nhanh chóng hiệu • Bộ xử lý thơ (Processing Element): Xử lý tính tốn liệu, bao gồm phép nhân ma trận tính tốn liệu số thực • Bộ điều khiển luồng liệu (Dataflow Controller): Quản lý luồng liệu để đảm bảo hiệu băng thơng tối ưu hóa hoạt động NPU • Bộ chuyển đổi định dạng liệu (Data Format Converter): Chuyển đổi định dạng liệu để đảm bảo tính tương thích hiệu NPU • Kiến trúc NPU bao gồm nhiều đơn vị tính tốn song song kết nối với thông qua mạng lưới nội Mỗi đơn vị tính tốn bao gồm nhiều phần tử xử lý đa (PE), phần tử có khả thực phép tính nhân ma trận tích chập song song lượng liệu lớn • Kiến trúc NPU thiết kế để tối ưu hóa việc thực phép tính mạng lưới thần kinh nhân tạo, với khả xử lý liệu song song vượt trội so với đơn vị xử lý truyền thống Điều giúp tăng tốc độ xử lý giảm độ trễ trình huấn luyện dự đốn mơ hình AI • Ngồi ra, NPU cịn có tính đặc biệt hỗ trợ tính tốn phân tán, tính tốn độc lập với tảng, khả tích hợp với cảm biến thiết bị ngoại vi, hỗ trợ công nghệ học sâu mạng thần kinh nhân tạo Các NPU thường tích hợp vào chip vi xử lý chuyên dụng cho AI, với thành phần khác nhớ điều khiển, để tạo hệ thống hoàn chỉnh cho xử lý trí tuệ nhân tạo Với tính đặc biệt này, NPU trở thành phần thiếu hệ thống AI IoT (Internet of Things), giúp cải thiện hiệu suất tiết kiệm lượng cho ứng dụng AI VI Ứng dụng NPU NPU sử dụng nhiều ứng dụng AI, đặc biệt ứng dụng Deep Learning Các ứng dụng NPU bao gồm: • Nhận dạng hình ảnh NPU sử dụng để nhận dạng hình ảnh ứng dụng xe tự lái, giám sát an ninh xác định hình ảnh tốn y tế • Xử lý ngơn ngữ tự nhiên NPU sử dụng để xử lý hiểu ý nghĩa ngôn ngữ tự nhiên, giúp cho ứng dụng chatbot, trợ lý ảo dịch thuật máy trở nên thông minh hiệu • Dự báo phân tích liệu NPU sử dụng để phân tích liệu dự báo kết lĩnh vực tài chính, bất động sản giáo dục • Tăng tốc độ huấn luyện mạng nơ-ron NPU giúp tăng tốc độ huấn luyện mạng nơ-ron giảm thời gian đào tạo toán Deep Learning, giúp cho công việc AI trở nên hiệu tiết kiệm thời gian VII Tổng kết Trên số thông tin kiến trúc NPU, thành phần quan trọng chip vi xử lý cho AI NPU thiết kế để xử lý phép tính ma trận phép tính tích chập, sử dụng nhớ đệm để lưu trữ liệu kết nối với mạng nơ-ron để thực tác vụ AI NPU sử dụng rộng rãi nhiều ứng dụng AI, từ nhận dạng hình ảnh đến dự báo phân tích liệu Sự phát triển NPU đóng góp lớn vào việc nâng cao hiệu suất độ xác ứng dụng AI, giúp cho sống người trở nên thuận tiện thông minh NPU thành phần quan trọng chip vi xử lý cho AI, đóng vai trị quan trọng việc thực tác vụ AI phức tạp nâng cao hiệu suất ứng dụng AI Dưới số vai trò NPU chip vi xử lý cho AI • Tăng tốc độ xử lý NPU giúp tăng tốc độ xử lý chip vi xử lý cho AI cách tập trung vào phép tính ma trận phép tính tích chập Nhờ đó, NPU thực tác vụ AI phức tạp với tốc độ nhanh độ xác cao • Giảm sử dụng lượng NPU giúp giảm sử dụng lượng chip vi xử lý cho AI cách tối ưu hóa phép tính sử dụng nhớ đệm để lưu trữ liệu tạm thời Nhờ đó, NPU tiết kiệm lượng giảm chi phí vận hành hệ thống AI • Tăng độ xác NPU giúp tăng độ xác ứng dụng AI cách thực phép tính với độ xác cao Nhờ đó, ứng dụng AI đưa kết xác đáng tin cậy hơn, giúp cho định hành động thực xác • Đa nhiệm NPU giúp chip vi xử lý cho AI thực nhiều tác vụ AI khác đồng thời Nhờ đó, hệ thống AI xử lý nhiều nhiệm vụ khác cách hiệu hơn, giúp tăng độ phức tạp tính linh hoạt ứng dụng AI 10 VIII Kết luận Trong viết này, tìm hiểu kiến trúc NPU, thành phần quan trọng chip vi xử lý cho AI NPU thiết kế để thực tác vụ AI phức tạp cách tập trung vào phép tính ma trận phép tính tích chập NPU giúp tăng tốc độ xử lý, giảm sử dụng lượng, tăng độ xác có khả đa nhiệm, giúp tăng hiệu suất ứng dụng AI Để hiểu rõ NPU, cần phải tìm hiểu kiến thức trí tuệ nhân tạo cách thức thực tác vụ AI Đồng thời, cần nghiên cứu cấu trúc kiến trúc loại NPU khác để lựa chọn sử dụng NPU phù hợp cho mục đích NPU xu hướng ngành công nghiệp sản xuất chip vi xử lý cho AI Hiện nay, công ty sản xuất chip lớn Intel, Nvidia, AMD, Qualcomm, mắt loại chip vi xử lý cho AI tích hợp NPU nhằm đáp ứng nhu cầu ngày tăng thị trường.Tuy nhiên, việc tích hợp NPU vào chip vi xử lý cho AI đặt số thách thức, chẳng hạn chi phí cao, khả tích hợp tối ưu hóa hệ thống Để tận dụng tối đa ưu điểm NPU giải thách thức trên, nhà sản xuất chip vi xử lý cho AI cần phải liên tục nghiên cứu phát triển kỹ thuật mới, đồng thời tích hợp thành phần khác vào hệ thống để tăng tính linh hoạt khả mở rộng Trong tương lai, NPU tiếp tục sử dụng rộng rãi ngành công nghiệp sản xuất chip vi xử lý cho AI, đặc biệt ứng dụng AI ngày áp dụng rộng rãi nhiều lĩnh vực khác Việc phát triển loại NPU giúp cho ứng dụng AI trở nên hiệu giúp cho người dùng có trải nghiệm tốt sử dụng ứng dụng AI IX Tài liệu tham khảo • “AI chip market size to reach $91.18 billion by 2025.” Grand View Research, Inc (2019) • Chen, Yu-Hsin, et al “Dadiannao: A machine-learning supercomputer.” In Proceedings of the 47th Annual IEEE/ACM International Symposium on Microarchitecture, pp 609-622 ACM, 2014 • Jouppi, Norman P., et al “In-datacenter performance analysis of a tensor processing unit.” In Proceedings of the 44th Annual International Symposium on Computer Architecture, pp 1-12 ACM, 2017 • LeCun, Yann, et al “Efficient backprop.” In Neural networks: Tricks of the trade, pp 9-48 Springer, Berlin, Heidelberg, 2012 11