CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT
2.6. Công dụng của GPU (card đồ họa) trong ứng dụng deep learning
Trong quá trình Deep Learning, giai đoạn training là giai đoạn mất nhiều thời gian nhất để đạt được. Đây không chỉ là một quá trình tốn thời gian mà còn tốn kém. Phần có giá trị nhất của lộ trình Deep Learning là yếu tố con người. Các nhà khoa học dữ liệu thường đợi hàng giờ hoặc hàng ngày để việc training hoàn thành. Nếu diễn ra càng lâu sẽ làm ảnh hưởng đến năng suất và thời gian đưa các mô hình mới ra thị trường.
Hình 2.15. Card xử lý đồ họa
Để giảm đáng kể thời gian training, bạn có thể sử dụng GPU vào Deep Learning. Cho phép bạn thực hiện song song các hoạt động tính toán AI. Khi đánh giá GPU, bạn cần xem xét khả năng kết nối nhiều GPU. Phần mềm hỗ trợ có sẵn, cấp phép, tính song song dữ liệu, hiệu suất và sử dụng bộ nhớ GPU.
Giai đoạn dài nhất và sử dụng nhiều tài nguyên nhất khi triển khai Deep Learning là giai đoạn training. Giai đoạn này có thể được thực hiện trong một thời gian hợp lý đối với các mô hình có số lượng thông số nhỏ hơn. Nhưng khi số lượng của bạn tăng lên thì thời gian training của bạn cũng sẽ tăng theo.
Các đơn vị sử lý đồ họa (GPU) có thể làm giảm các chi phí này. Cho phép chạy các mô hình với số lượng lớn các thông số một cách nhanh chóng và hiệu quả. Điều này là do GPU cho phép bạn thực hiện các nhiệm vụ training song song. Phân phối các công việc qua các cụm bộ xử lý và thực hiện các hoạt động tính toán đồng thời.
GPU được tối ưu hóa để thực hiện các tác vụ mục tiêu, hoàn thiện các phép tính nhanh hơn so với phần cứng không chuyên dụng. Các bộ xử lý này cho phép bạn xử lý
các tác vụ tương tự nhanh hơn và giải phóng CPU cho các tác vụ khác. Nó giúp loại bỏ những tắc nghẽn do giới hạn tính toán tạo ra.
Việc chọn GPU để triển khai của bạn rất có ý nghĩa với ngân sách và hiệu suất. Bạn cần chọn GPU có thể hỗ trợ dự án của bạn. Về lâu dài và có khả năng mở rộng quy mô thông qua tích hợp và gôp thành nhóm. Đối với các dự án có quy mô lớn. Bạn cần lựa chọn GPU có khả năng chuyên sâu và được sử dụng thường xuyên hoặc sử dụng GPU là trung tâm dữ liệu.
Những yếu tố này sẽ ảnh hưởng đến khả năng mở rộng và dễ sử dụng của GPU bạn chọn.
- Khả năng kết nối các GPU với nhau
Khi chọn GPU, bạn cần xem xét đơn vị nào có thể kết nối với nhau. Việc kết nối các GPU liên kết trực tiếp với khả năng mở rộng triển khai của bạn và khả năng sử dụng nhiều GPU và các chiến lược đào tạo phân tán.
Thông thường, GPU tiêu dùng không hỗ trợ kết nối (NVlink cho kết nối GPU trong máy chủ và Infiniband / RoCE để liên kết GPU giữa các máy chủ) và NVIDIA đã loại bỏ kết nối trên GPU dưới RTX 2080.
- Phần mềm hỗ trợ
GPU NVIDIA được hỗ trợ tốt nhất về thư viện machine learning và tích hợp với các framework phổ biến. Chẳng hạn như PyTorch hoặc TensorFlow. Bộ công cụ NVIDIA CUDA bao gồm các thư viện tăng tốc GPU. Trình biên dịch C và C ++ và thời gian chạy cũng như các công cụ tối ưu hóa và gỡ lỗi. Nó cho phép bạn bắt đầu ngay lập tức mà không cần lo lắng về việc xây dựng các tích hợp tùy chỉnh.
- Cấp phép
Một yếu tố khác cần xem xét là hướng dẫn của NVIDIA về việc sử dụng một số chip nhất định trong trung tâm dữ liệu. Kể từ bản cập nhật cấp phép vào năm 2018. Có thể có những hạn chế đối với việc sử dụng phần mềm CUDA với GPU tiêu dùng trong trung tâm dữ liệu.
- 3 Yếu tố thuật toán ảnh hưởng đến việc sử dụng GPU
Theo kinh nghiệm của chúng tôi khi giúp các tổ chức tối ưu hóa khối lượng công việc học sâu quy mô lớn. Sau đây là ba yếu tố chính bạn nên xem xét khi mở rộng thuật toán của mình trên nhiều GPU.
Tính song song dữ liệu – Xem xét lượng dữ liệu mà thuật toán của bạn cần xử lý. Nếu bộ dữ liệu lớn, hãy đầu tư vào GPU có khả năng thực hiện đào tạo đa GPU một cách hiệu quả. Đối với bộ dữ liệu quy mô rất lớn. Hãy đảm bảo rằng các máy chủ có thể giao tiếp rất nhanh với nhau và với các thành phần lưu trữ. Sử dụng công nghệ như Infiniband / RoCE, để cho phép đào tạo phân tán hiệu quả.
Sử dụng bộ nhớ –Ví dụ: các mô hình xử lý hình ảnh y tế hoặc video dài có bộ đào tạo rất lớn. Vì vậy ta muốn đầu tư vào GPU có bộ nhớ tương đối lớn. Ngược lại, dữ liệu dạng bảng như đầu vào văn bản cho các mô hình NLP thường nhỏ và có thể thực hiện với ít bộ nhớ GPU hơn.
Hiệu suất của GPU – Cân nhắc xem ta có định sử dụng GPU để gỡ lỗi và phát triển hay không. Trong trường hợp này, sẽ không cần GPU mạnh nhất. Để điều chỉnh các mô hình trong thời gian dài. Ta cần có GPU mạnh để đẩy nhanh thời gian đào tạo. Tránh phải chờ hàng giờ hoặc hàng ngày để các mô hình chạy.