Як налаштувати NVLink на VPS

NVLink від NVIDIA – це високошвидкісна технологія з’єднання, розроблена для швидкого обміну даними між графічними та центральними процесорами в системі, що забезпечує набагато вищу швидкість передачі даних, ніж традиційні з’єднання PCIe. Вона особливо корисна у високопродуктивних обчисленнях (HPC), дослідженнях ШІ та завданнях глибокого навчання, де потрібно швидко обробляти великі обсяги даних між графічними процесорами. Налаштування NVLink може значно підвищити продуктивність робочих навантажень, які вимагають використання декількох графічних процесорів. У цьому посібнику ви дізнаєтеся, як налаштувати NVLink на вашому комп‘ ютері.

Що таке NVLink?

NVLink – це власна технологія NVIDIA, яка забезпечує передачу даних між графічними процесорами або між графічними та центральним процесорами з високою пропускною здатністю. Вона забезпечує швидший зв’язок, ніж стандартні з’єднання PCI Express (PCIe), завдяки використанню декількох каналів передачі даних. Цей прямий зв’язок мінімізує необхідність проходження даних через центральний процесор, що може зменшити вузькі місця і підвищити загальну продуктивність системи.

Ключові переваги NVLink:

• Швидший зв’язок: NVLink забезпечує до 25 ГБ/с двонаправленої пропускної здатності на лінію, що значно швидше, ніж PCIe 3.0.
• Масштабованість: NVLink забезпечує масштабування на декілька графічних процесорів для складних обчислень, таких як навчання моделей штучного інтелекту або наукове моделювання.
• Уніфікований доступ до пам’яті: NVLink полегшує спільний доступ до пам’яті між графічними процесорами, дозволяючи їм використовувати пам’ять один одного і спільно працювати з великими наборами даних.

Передумови для конфігурації NVLink

Перед налаштуванням NVLink переконайтеся, що у вас є наступне:

1. Підтримувані графічні процесори: NVLink доступний лише на певних графічних процесорах NVIDIA, таких як NVIDIA Tesla, Quadro та GeForce RTX (2080, 2080 Ti, 3080, 3090 тощо). Переконайтеся, що ваш графічний процесор підтримує NVLink, звернувшись до документації NVIDIA для конкретної моделі, яку ви використовуєте.
2. Міст NVLink: Для фізичного з’єднання графічних процесорів потрібен міст NVLink. Кількість необхідних мостів залежить від кількості графічних процесорів і бажаної конфігурації. Деякі графічні процесори можуть використовувати декілька мостів NVLink для більшої пропускної здатності.
3. Система з підтримкою NVLink: Переконайтеся, що материнська плата та BIOS вашої системи підтримують NVLink. Система повинна мати достатню кількість слотів PCIe і відповідну відстань між ними, щоб фізично розмістити графічні процесори та міст NVLink.
4. Драйвери NVIDIA та CUDA: Для повного використання NVLink вам потрібно встановити найновіші драйвери NVIDIA та інструментарій CUDA. Вони необхідні для забезпечення зв’язку між графічними процесорами.

Покрокове керівництво з налаштування NVLink

Крок 1: Встановлення графічних процесорів

Перед налаштуванням NVLink встановіть підтримувані графічні процесори NVIDIA у слоти PCIe вашої системи. Переконайтеся, що графічні процесори надійно закріплені у відповідних слотах. Якщо ваша материнська плата підтримує кілька графічних процесорів, зверніть увагу на відстань між слотами, оскільки вони повинні вміщати міст NVLink.

1. Вимкніть комп’ютер і витягніть вилку з розетки.
2. Відкрийте корпус системи.
3. Вставте графічні процесори в слоти PCIe і закріпіть їх на місці.
4. Підключіть необхідні кабелі живлення від блоку живлення (БЖ) до графічних процесорів.
5. Закрийте системний корпус і знову увімкніть систему.

Крок 2: Встановлення моста NVLink

Після встановлення графічних процесорів ви можете з’єднати їх за допомогою моста NVLink. Виконайте наступні кроки:

1. Знайдіть роз’єми NVLink у верхній частині графічних процесорів. Ці роз’єми призначені спеціально для моста NVLink.
2. Вирівняйте міст NVLink з роз’ємами і обережно вставте його на місце. Переконайтеся, що міст надійно закріплений на обох графічних процесорах.
3. Якщо у вашій конфігурації використовується декілька мостів NVLink (для деяких графічних процесорів з двома роз’ємами), повторіть цей процес для кожного моста.

Крок 3: Встановлення драйверів NVIDIA

Щоб увімкнути NVLink, у вашій системі мають бути встановлені найновіші драйвери NVIDIA. Щоб встановити драйвери, виконайте наступні кроки:

1. Завантажте найновіші драйвери NVIDIA: Відвідайте сторінку завантаження драйверів NVIDIA, виберіть модель вашого графічного процесора та завантажте відповідні драйвери для вашої операційної системи.
2. Встановіть драйвери: Для Linux:
   sudo apt-get update
sudo apt-get install nvidia-driver-<версія


   У Windows запустіть завантажений інсталятор драйверів і дотримуйтесь інструкцій на екрані.

3. Перезавантажте систему: Після встановлення драйверів перезавантажте систему, щоб переконатися, що зміни набули чинності.

Крок 4: Встановлення інструментарію CUDA

NVLink часто використовується в поєднанні з CUDA, особливо в задачах глибокого навчання і HPC. Щоб повністю використовувати можливості NVLink, вам потрібно встановити CUDA Toolkit у вашій системі.

1. Завантажити CUDA Toolkit: Відвідайте сторінку завантаження CUDA Toolkit і завантажте відповідну версію для вашої операційної системи.
2. Встановіть CUDA: Для Linux:
   sudo apt-get install cuda


   У Windows запустіть інсталятор CUDA і дотримуйтесь вказівок.

3. Перевірте встановлення CUDA: Після встановлення перевірте правильність встановлення CUDA, виконавши наступну команду:
   nvcc --version


   Вона має повернути версію CUDA, встановлену у вашій системі.

Крок 5: Увімкнення NVLink

Тепер, коли ваші графічні процесори встановлено, драйвери та CUDA налаштовано, ви можете увімкнути NVLink.

1. Перевірте конфігурацію графічного процесора: Переконайтеся, що графічні процесори встановлено та розпізнано системою за допомогою наступної команди (Linux):
   nvidia-smi


   Вона повинна перерахувати всі графічні процесори, встановлені у вашій системі, і показати їх відповідний статус PCIe та NVLink.

2. Увімкнення NVLink за допомогою nvidia-smi: Інструмент nvidia-smi використовується для увімкнення та моніторингу NVLink. Щоб перевірити, чи увімкнено NVLink, запустіть його:
   nvidia-smi topo -m


   Якщо NVLink налаштовано належним чином, у виводі буде показано зв’язки між графічними процесорами із зазначенням того, які з них підключено через NVLink. Шукайте мітку “NVLink” між парами графічних процесорів.

3. Проведітьбенчмарк NVLink: Ви можете запускати тести або бенчмарки для вимірювання продуктивності NVLink. Такі інструменти, як cuBLAS або NCCL (NVIDIA Collective Communications Library) можна використовувати для порівняльного аналізу швидкості передачі даних між графічними процесорами через NVLink.

Крок 6: Налаштування додатків для використання NVLink

Щоб ваші програми могли скористатися перевагами NVLink, вам потрібно налаштувати їх на використання високошвидкісного з’єднання між графічними процесорами. Багато фреймворків для глибокого навчання, такі як TensorFlow, PyTorch і MXNet, автоматично визначають NVLink і використовують його для роботи з декількома графічними процесорами.

Наприклад, у TensorFlow ви можете перевірити доступні графічні процесори та їхнє з’єднання за допомогою NVLink:

Такі фреймворки, як NCCL (NVIDIA Collective Communications Library) оптимізовані для NVLink і використовуються для передачі даних у багатопроцесорних середовищах.

Крок 7: Моніторинг стану NVLink

Після налаштування NVLink важливо відстежувати його стан, щоб переконатися, що він працює належним чином. Інструмент nvidia-smi забезпечує комплексний моніторинг трафіку NVLink, використання пропускної здатності та продуктивності графічного процесора. Ви можете використовувати:

Ця команда показує детальну статистику про з’єднання NVLink, включаючи пропускну здатність і будь-які помилки, що виникли під час передачі даних.

Висновок

Налаштування NVLink на комп’ютері може значно підвищити продуктивність багатопроцесорних систем, особливо для робочих навантажень, які передбачають високошвидкісну передачу даних між графічними процесорами, таких як глибоке навчання, навчання штучного інтелекту і завдання HPC. Дотримуючись кроків, описаних у цьому посібнику, ви зможете встановити та налаштувати NVLink для оптимальної продуктивності у вашій системі. Переконайтеся, що ви правильно встановили графічні процесори, підключили їх до відповідного мосту NVLink та встановили найновіші драйвери та інструментарій CUDA для повної підтримки NVLink. Нарешті, відстежуйте продуктивність і стан NVLink, щоб переконатися, що він працює належним чином, дозволяючи вам повною мірою використовувати його можливості високошвидкісного інтерконекту.