Как да конфигурирате NVLink на VPS

NVLink на NVIDIA е високоскоростна технология за свързване, създадена за бърза комуникация между графичните процесори и централните процесори в една система, която позволява много по-високи скорости на трансфер на данни от традиционните PCIe връзки. Тя е особено полезна при високопроизводителни изчисления (HPC), изследвания в областта на изкуствения интелект и задачи за дълбоко обучение, където е необходимо бързо обработване на големи обеми данни между графичните процесори. Конфигурирането на NVLink може значително да повиши производителността при работни натоварвания, които изискват мулти-GPU настройки. Това ръководство ще ви преведе през стъпките за конфигуриране на NVLink на вашата машина.

Какво е NVLink?

NVLink е патентована технология за свързване на NVIDIA, която позволява прехвърляне на данни между графични процесори или между графични процесори и централни процесори с висока честотна лента. Тя позволява по-бърза комуникация в сравнение със стандартните PCI Express (PCIe) връзки чрез използване на няколко ленти за данни. Тази директна комуникация свежда до минимум необходимостта данните да преминават през централния процесор, което може да намали тесните места и да подобри цялостната производителност на системата.

Основни предимства на NVLink:

• По-бърза комуникация: NVLink осигурява до 25 GB/s двупосочна пропускателна способност на връзка, което е значително по-бързо от PCIe 3.0.
• Мащабируемост: NVLink дава възможност за мащабиране на множество графични процесори за сложни изчисления, като например обучение на модели за изкуствен интелект или научни симулации.
• Унифициран достъп до паметта: NVLink улеснява споделения достъп до паметта между графичните процесори, като им позволява да използват взаимно паметта си и да работят заедно върху големи масиви от данни.

Предварителни условия за конфигуриране на NVLink

Преди да настроите NVLink, уверете се, че разполагате със следното:

1. Поддържани графични процесори: NVLink е налична само за определени графични процесори на NVIDIA, като NVIDIA Tesla, Quadro и GeForce RTX (2080, 2080 Ti, 3080, 3090 и др.). Проверете дали вашите графични процесори поддържат NVLink, като проверите документацията на NVIDIA за конкретния модел, който използвате.
2. Мост NVLink: За физическото свързване на графичните процесори е необходим NVLink мост. Броят на мостовете, от които се нуждаете, зависи от броя на графичните процесори и желаната конфигурация. Някои графични процесори могат да използват няколко NVLink за по-голяма пропускателна способност.
3. Система, поддържаща NVLink: Уверете се, че дънната платка и BIOS на вашата система поддържат NVLink. Системата трябва да има достатъчно PCIe слотове и подходящо разстояние, за да побере физически графичните процесори и NVLink моста.
4. Драйвери на NVIDIA и CUDA: За да използвате напълно NVLink, трябва да инсталирате най-новите драйвери на NVIDIA и инструментариума CUDA. Те са от съществено значение за осигуряване на комуникация между графичните процесори.

Ръководство стъпка по стъпка за конфигуриране на NVLink

Стъпка 1: Инсталирайте графичните процесори

Преди да конфигурирате NVLink, инсталирайте поддържаните графични процесори NVIDIA в PCIe слотовете на вашата система. Уверете се, че графичните процесори са добре поставени в съответните слотове. Ако дънната ви платка поддържа няколко графични процесора, обърнете внимание на разстоянието между слотовете, тъй като то трябва да е съобразено с NVLink моста.

1. Изключете машината и я извадете от електрическата мрежа.
2. Отворете кутията на системата.
3. Поставете графичните процесори в слотовете PCIe и ги закрепете на място.
4. Свържете всички необходими захранващи кабели от захранващия блок (PSU) към графичните процесори.
5. Затворете корпуса на системата и включете отново захранването.

Стъпка 2: Инсталиране на NVLink моста

След като графичните процесори са инсталирани, можете да ги свържете с помощта на NVLink моста. Следвайте следните стъпки:

1. Идентифицирайте NVLink конекторите в горната част на графичните процесори. Тези съединители са предназначени специално за NVLink моста.
2. Подравнете NVLink моста с конекторите и внимателно го натиснете на мястото му. Уверете се, че мостът е здраво поставен върху двата графични процесора.
3. Ако конфигурацията ви използва няколко NVLink моста (за някои графични процесори с два конектора), повторете този процес за всеки мост.

Стъпка 3: Инсталиране на драйвери NVIDIA

За да активирате NVLink, трябва да инсталирате най-новите драйвери на NVIDIA на вашата система. Следвайте тези стъпки, за да инсталирате драйверите:

1. Изтеглете най-новите драйвери на NVIDIA: Посетете страницата за изтегляне на драйвери на NVIDIA, изберете модела на графичния си процесор и изтеглете подходящите драйвери за вашата операционна система.
2. Инсталирайте драйверите: За Linux:
   за: sudo apt-get update
sudo apt-get install nvidia-driver-


   За Windows стартирайте изтегления инсталатор на драйвера и следвайте инструкциите на екрана.

3. Рестартирайте системата: След като инсталирате драйверите, рестартирайте системата си, за да се уверите, че промените са в сила.

Стъпка 4: Инсталиране на CUDA Toolkit

NVLink често се използва в комбинация с CUDA, особено при задачи за дълбоко обучение и високопроизводителни изчисления. За да използвате напълно NVLink, трябва да инсталирате CUDA Toolkit на вашата система.

1. Изтеглете CUDA Toolkit: Посетете страницата за изтегляне на CUDA Toolkit и изтеглете подходящата версия за вашата операционна система.
2. Инсталирайте CUDA: За Linux:
   sudo apt-get install cuda


   За Windows: стартирайте инсталатора на CUDA и следвайте указанията.

3. Проверете инсталацията на CUDA: След инсталацията проверете дали CUDA е инсталирана правилно, като изпълните следната команда:
   nvcc --version


   Тя трябва да върне версията на CUDA, инсталирана на вашата система.

Стъпка 5: Активиране на NVLink

След като графичните ви процесори са инсталирани, а драйверите и CUDA са настроени, можете да активирате NVLink.

1. Проверете конфигурацията на графичния процесор: Проверете дали графичните процесори са инсталирани и разпознати от системата, като използвате следната команда (Linux):
   nvidia-smi


   Това трябва да покаже списък на всички графични процесори, инсталирани в системата, и да покаже тяхното състояние по PCIe и NVLink.

2. Активиране на NVLink с nvidia-smi: Инструментът nvidia-smi се използва за активиране и наблюдение на NVLink. За да проверите дали NVLink е активиран, изпълнете:
   nvidia-smi topo -m


   Ако NVLink е правилно конфигуриран, на изхода ще се покажат връзките между графичните процесори, показващи кои графични процесори са свързани чрез NVLink. Потърсете етикета “NVLink” между двойките графични процесори.

3. Бенчмарк NVLink: Можете да стартирате тестове или бенчмаркове, за да измерите производителността на NVLink. Инструменти като cuBLAS или NCCL (NVIDIA Collective Communications Library) могат да се използват за сравнителен анализ на скоростта на трансфер на данни между графичните процесори чрез NVLink.

Стъпка 6: Конфигуриране на приложенията за използване на NVLink

За да могат вашите приложения да се възползват от NVLink, трябва да ги конфигурирате да използват високоскоростната връзка между графичните процесори. Много рамки за дълбоко обучение, като TensorFlow, PyTorch и MXNet, автоматично откриват NVLink и я използват за операции с няколко графични процесора.

Например в TensorFlow можете да проверите наличните графични процесори и тяхната свързаност с NVLink, като използвате:

Рамки като NCCL (NVIDIA Collective Communications Library) са оптимизирани за NVLink и се използват за прехвърляне на данни в среди с много графични процесори.

Стъпка 7: Наблюдение на състоянието на NVLink

След като NVLink е конфигурирана, е важно да се следи нейното състояние, за да се гарантира, че тя функционира правилно. Инструментът nvidia-smi осигурява цялостно наблюдение на трафика на NVLink, използването на честотната лента и производителността на графичните процесори. Можете да използвате:

Тази команда показва подробни статистически данни за връзката NVLink, включително пропускателна способност и всички грешки, възникнали по време на прехвърлянето на данни.

Заключение

Конфигурирането на NVLink на дадена машина може значително да подобри производителността на мулти-GPU конфигурациите, особено за работни натоварвания, които включват високоскоростен трансфер на данни между графичните процесори, като например дълбоко обучение, обучение на изкуствен интелект и HPC задачи. Като следвате стъпките, описани в това ръководство, можете да инсталирате и конфигурирате NVLink за оптимална производителност във вашата система. Уверете се, че сте инсталирали правилно графичните си процесори, свързали сте ги с подходящия NVLink мост и сте инсталирали най-новите драйвери и CUDA инструментариума за пълна поддръжка на NVLink. И накрая, наблюдавайте производителността и състоянието на NVLink, за да сте сигурни, че работи по предназначение, което ви позволява да използвате пълноценно неговите възможности за високоскоростно свързване.