Cum se configurează NVLink pe VPS

NVLink de la NVIDIA este o tehnologie de interconectare de mare viteză concepută pentru a permite comunicarea rapidă între GPU-uri și CPU-uri într-un sistem, permițând rate de transfer de date mult mai mari decât conexiunile PCIe tradiționale. Este deosebit de benefică în calculul de înaltă performanță (HPC), cercetarea AI și sarcinile de învățare profundă, unde volumele mari de date trebuie să fie procesate rapid între GPU-uri. Configurarea NVLink poate îmbunătăți semnificativ performanța pentru volumele de lucru care necesită configurații multi-GPU. Acest ghid vă va ghida prin pașii de configurare a NVLink pe mașina dvs.

Ce este NVLink?

NVLink este o tehnologie de interconectare proprietară NVIDIA care permite transferul de date între GPU-uri sau între GPU-uri și CPU-uri la lățimi de bandă mari. Aceasta permite o comunicare mai rapidă decât conexiunile PCI Express (PCIe) standard prin utilizarea mai multor benzi de date. Această comunicare directă minimizează necesitatea ca datele să treacă prin CPU, ceea ce poate reduce blocajele și îmbunătăți performanța generală a sistemului.

Principalele avantaje ale NVLink:

• Comunicare mai rapidă: NVLink oferă o lățime de bandă bidirecțională de până la 25 GB/s per legătură, semnificativ mai rapidă decât PCIe 3.0.
• Scalabilitate: NVLink permite scalarea pe mai multe GPU-uri pentru calcule complexe, cum ar fi instruirea modelelor AI sau simulările științifice.
• Acces unificat la memorie: NVLink facilitează accesul partajat la memorie între GPU-uri, permițându-le să utilizeze memoria celuilalt și să lucreze împreună la seturi mari de date.

Condiții prealabile pentru configurarea NVLink

Înainte de a configura NVLink, asigurați-vă că aveți următoarele:

1. GPU-uri acceptate: NVLink este disponibil numai pe anumite GPU-uri NVIDIA, cum ar fi NVIDIA Tesla, Quadro și GeForce RTX (2080, 2080 Ti, 3080, 3090 etc.). Verificați dacă GPU-urile dvs. acceptă NVLink consultând documentația NVIDIA pentru modelul specific pe care îl utilizați.
2. Punte NVLink: Este necesară o punte NVLink pentru a conecta fizic GPU-urile. Numărul de punți de care aveți nevoie va depinde de numărul de GPU-uri și de configurația dorită. Unele GPU-uri pot utiliza mai multe NVLink-uri pentru o lățime de bandă mai mare.
3. Sistem compatibil NVLink: Asigurați-vă că placa de bază și BIOS-ul sistemului dvs. acceptă NVLink. Sistemul trebuie să aibă suficiente sloturi PCIe și spații adecvate pentru a se potrivi fizic GPU-urilor și punții NVLink.
4. Drivere NVIDIA și CUDA: Va trebui să instalați cele mai recente drivere NVIDIA și setul de instrumente CUDA pentru a utiliza pe deplin NVLink. Acestea sunt esențiale pentru a permite comunicarea între GPU-uri.

Ghid pas cu pas pentru configurarea NVLink

Pasul 1: Instalarea GPU-urilor

Înainte de configurarea NVLink, instalați GPU-urile NVIDIA acceptate în sloturile PCIe ale sistemului dvs. Asigurați-vă că GPU-urile sunt bine așezate în sloturile respective. Dacă placa dvs. de bază acceptă mai multe GPU-uri, fiți atenți la distanța dintre sloturi, deoarece aceasta trebuie să găzduiască puntea NVLink.

1. Opriți aparatul și scoateți-l din priză.
2. Deschideți carcasa sistemului.
3. Introduceți GPU-urile în sloturile PCIe și fixați-le în poziție.
4. Conectați orice cabluri de alimentare necesare de la unitatea de alimentare (PSU) la GPU-uri.
5. Închideți carcasa sistemului și porniți din nou sistemul.

Pasul 2: Instalați puntea NVLink

Odată ce GPU-urile sunt instalate, le puteți conecta utilizând podul NVLink. Urmați acești pași:

1. Identificați conectorii NVLink de pe partea superioară a GPU-urilor. Acești conectori sunt proiectați special pentru puntea NVLink.
2. Aliniați puntea NVLink cu conectorii și apăsați-o cu atenție în poziție. Asigurați-vă că puntea este bine așezată pe ambele GPU-uri.
3. Dacă configurația dvs. utilizează mai multe punți NVLink (pentru unele GPU-uri cu doi conectori), repetați acest proces pentru fiecare punte.

Pasul 3: Instalarea driverelor NVIDIA

Pentru a activa NVLink, aveți nevoie de cele mai recente drivere NVIDIA instalate pe sistemul dvs. Urmați acești pași pentru a instala driverele:

1. Descărcați cele mai recente drivere NVIDIA: Vizitați pagina NVIDIA Driver Downloads, selectați modelul de GPU și descărcați driverele corespunzătoare pentru sistemul dvs. de operare.
2. Instalați driverele: Pentru Linux:
   sudo apt-get update
sudo apt-get install nvidia-driver-


   Pentru Windows, rulați programul de instalare a driverului descărcat și urmați instrucțiunile de pe ecran.

3. Reporniți sistemul: După instalarea driverelor, reporniți sistemul pentru a vă asigura că modificările intră în vigoare.

Pasul 4: Instalarea kitului de instrumente CUDA

NVLink este adesea utilizat în combinație cu CUDA, în special în învățarea profundă și în sarcinile HPC. Pentru a profita pe deplin de NVLink, aveți nevoie de CUDA Toolkit instalat pe sistemul dvs.

1. Descărcați CUDA Toolkit: Vizitați pagina de descărcare a CUDA Toolkit și descărcați versiunea corespunzătoare pentru sistemul dvs. de operare.
2. Instalați CUDA: Pentru Linux:
   sudo apt-get install cuda


   Pentru Windows, rulați programul de instalare CUDA și urmați instrucțiunile.

3. Verificați instalarea CUDA: După instalare, verificați dacă CUDA este instalat corect prin rularea următoarei comenzi:
   nvcc --version


   Aceasta ar trebui să returneze versiunea de CUDA instalată pe sistemul dumneavoastră.

Pasul 5: Activați NVLink

Acum că GPU-urile dvs. sunt instalate, iar driverele și CUDA sunt configurate, puteți activa NVLink.

1. Verificați configurația GPU: Verificați dacă GPU-urile sunt instalate și recunoscute de sistem utilizând următoarea comandă (Linux):
   nvidia-smi


   Aceasta ar trebui să listeze toate GPU-urile instalate în sistem și să afișeze starea lor respectivă PCIe și NVLink.

2. Enable NVLink with nvidia-smi: Instrumentul nvidia-smi este utilizat pentru a activa și monitoriza NVLink. Pentru a verifica dacă NVLink este activat, executați:
   nvidia-smi topo -m


   Dacă NVLink este configurat corespunzător, rezultatul va afișa legături între GPU-uri, indicând care GPU-uri sunt conectate prin NVLink. Căutați eticheta “NVLink” între perechile de GPU-uri.

3. Benchmark NVLink: Puteți rula teste sau benchmark-uri pentru a măsura performanța NVLink. Instrumente precum cuBLAS sau NCCL (NVIDIA Collective Communications Library) pot fi utilizate pentru a evalua ratele de transfer de date între GPU-uri prin NVLink.

Pasul 6: Configurați aplicațiile pentru a utiliza NVLink

Pentru ca aplicațiile dvs. să profite de NVLink, trebuie să le configurați pentru a utiliza interconectarea cu lățime de bandă mare dintre GPU-uri. Multe cadre de învățare profundă precum TensorFlow, PyTorch și MXNet detectează automat NVLink și îl utilizează pentru operațiuni multi-GPU.

De exemplu, în TensorFlow, puteți verifica GPU-urile disponibile și conectivitatea lor NVLink utilizând:

Framework-uri precum NCCL (NVIDIA Collective Communications Library) sunt optimizate pentru NVLink și sunt utilizate pentru transferul de date în medii multi-GPU.

Pasul 7: Monitorizarea stării NVLink

Odată ce NVLink este configurat, este esențial să monitorizați starea acestuia pentru a vă asigura că funcționează corect. Instrumentul nvidia-smi oferă o monitorizare completă a traficului NVLink, a utilizării lățimii de bandă și a performanței GPU. Puteți utiliza:

Această comandă afișează statistici detaliate despre conexiunea NVLink, inclusiv debitul și orice erori întâlnite în timpul transferurilor de date.

Concluzie

Configurarea NVLink pe o mașină poate îmbunătăți semnificativ performanța configurațiilor multi-GPU, în special pentru volumele de lucru care implică transferul de date de mare viteză între GPU-uri, cum ar fi învățarea profundă, instruirea AI și sarcinile HPC. Urmând pașii descriși în acest ghid, puteți instala și configura NVLink pentru performanțe optime în sistemul dvs. Asigurați-vă că instalați corect GPU-urile, conectați-le cu puntea NVLink corespunzătoare și instalați cele mai recente drivere și kitul de instrumente CUDA pentru suport complet NVLink. În cele din urmă, monitorizați performanța și starea NVLink pentru a vă asigura că funcționează conform destinației, permițându-vă să profitați pe deplin de capacitățile sale de interconectare de mare viteză.