VPS’de NVLink Nasıl Yapılandırılır

NVIDIA’nın NVLink’i, bir sistemdeki GPU’lar ve CPU’lar arasında hızlı iletişim sağlamak için tasarlanmış, geleneksel PCIe bağlantılarından çok daha yüksek veri aktarım hızlarına olanak tanıyan yüksek hızlı bir ara bağlantı teknolojisidir. Özellikle GPU’lar arasında büyük hacimli verilerin hızlı bir şekilde işlenmesi gereken yüksek performanslı bilgi işlem (HPC), yapay zeka araştırmaları ve derin öğrenme görevlerinde faydalıdır. NVLink’in yapılandırılması, çoklu GPU kurulumları gerektiren iş yükleri için performansı önemli ölçüde artırabilir. Bu kılavuz, makinenizde NVLink’i yapılandırma adımlarında size yol gösterecektir.

NVLink nedir?

NVLink, GPU’lar arasında veya GPU’lar ile CPU’lar arasında yüksek bant genişliklerinde veri aktarımı sağlayan NVIDIA’ya özel bir ara bağlantı teknolojisidir. Birden fazla veri şeridi kullanarak standart PCI Express (PCIe) bağlantılarından daha hızlı iletişim sağlar. Bu doğrudan iletişim, verilerin CPU’dan geçme ihtiyacını en aza indirir, bu da darboğazları azaltabilir ve genel sistem performansını artırabilir.

NVLink’in temel avantajları:

• Daha Hızlı İletişim: NVLink, bağlantı başına 25 GB/sn’ye kadar çift yönlü bant genişliği sağlayarak PCIe 3.0’dan önemli ölçüde daha hızlıdır.
• Ölçeklenebilirlik: NVLink, yapay zeka modeli eğitimi veya bilimsel simülasyonlar gibi karmaşık hesaplamalar için birden fazla GPU arasında ölçeklendirme sağlar.
• Birleşik Bellek Erişimi: NVLink, GPU’lar arasında paylaşılan bellek erişimini kolaylaştırarak birbirlerinin belleğini kullanmalarını ve büyük veri kümeleri üzerinde birlikte çalışmalarını sağlar.

NVLink Yapılandırması için Ön Koşullar

NVLink’i kurmadan önce aşağıdakilere sahip olduğunuzdan emin olun:

1. Desteklenen GPU‘lar: NVLink yalnızca NVIDIA Tesla, Quadro ve GeForce RTX (2080, 2080 Ti, 3080, 3090, vb.) gibi belirli NVIDIA GPU’larda kullanılabilir. Kullandığınız belirli model için NVIDIA’nın belgelerini kontrol ederek GPU’larınızın NVLink’i desteklediğini doğrulayın.
2. NVLink Köprüsü: GPU’ları fiziksel olarak bağlamak için bir NVLink köprüsü gereklidir. İhtiyacınız olan köprü sayısı, GPU sayısına ve istediğiniz yapılandırmaya bağlı olacaktır. Bazı GPU’lar daha yüksek bant genişliği için birden fazla NVLink kullanabilir.
3. NVLink-Etkin Sistem: Sisteminizin anakartının ve BIOS’unun NVLink’i desteklediğinden emin olun. Sistem, GPU’ları ve NVLink köprüsünü fiziksel olarak sığdırmak için yeterli PCIe yuvasına ve uygun aralığa sahip olmalıdır.
4. NVIDIA Sürücüleri ve CUDA: NVLink’i tam olarak kullanmak için en son NVIDIA sürücülerini ve CUDA araç setini yüklemeniz gerekecektir. Bunlar GPU’lar arasında iletişimi sağlamak için gereklidir.

NVLink’i Yapılandırmak için Adım Adım Kılavuz

Adım 1: GPU’ları kurun

NVLink’i yapılandırmadan önce, desteklenen NVIDIA GPU’larınızı sisteminizin PCIe yuvalarına takın. GPU’ların ilgili yuvalarına sıkıca oturduğundan emin olun. Anakartınız birden fazla GPU’yu destekliyorsa, NVLink köprüsünü barındırması gerektiğinden yuva aralığına dikkat edin.

1. Makineyi kapatın ve fişini çekin.
2. Sistemin kasasını açın.
3. GPU’ları PCIe yuvalarına yerleştirin ve yerlerine sabitleyin.
4. Güç kaynağı ünitesinden (PSU) GPU’lara gerekli güç kablolarını bağlayın.
5. Sistem kasasını kapatın ve sistemi tekrar açın.

Adım 2: NVLink Köprüsünü Kurun

GPU’lar kurulduktan sonra, NVLink köprüsünü kullanarak bunları bağlayabilirsiniz. Aşağıdaki adımları izleyin:

1. GPU’ların üstündeki NVLink konektörlerini tanımlayın. Bu konektörler özellikle NVLink köprüsü için tasarlanmıştır.
2. NVLink köprüsünü konektörlerle hizalayın ve dikkatlice yerine bastırın. Köprünün her iki GPU’ya da sıkıca oturduğundan emin olun.
3. Yapılandırmanız birden fazla NVLink köprüsü kullanıyorsa (iki konektörlü bazı GPU’lar için), bu işlemi her köprü için tekrarlayın.

Adım 3: NVIDIA Sürücülerini Yükleyin

NVLink’i etkinleştirmek için sisteminizde en son NVIDIA sürücülerinin yüklü olması gerekir. Sürücüleri yüklemek için aşağıdaki adımları izleyin:

1. En Son NVIDIA Sürücülerini İndirin: NVIDIA Sürücü İndirmeleri sayfasını ziyaret edin, GPU modelinizi seçin ve işletim sisteminiz için uygun sürücüleri indirin.
2. Sürücüleri Yükleyin: Linux için:
   sudo apt-get güncellemesi
sudo apt-get install nvidia-driver-


   Windows için, indirilen sürücü yükleyicisini çalıştırın ve ekrandaki talimatları izleyin.

3. Sistemi Yeniden Başlatın: Sürücüleri yükledikten sonra, değişikliklerin etkili olduğundan emin olmak için sisteminizi yeniden başlatın.

Adım 4: CUDA Toolkit’i Yükleyin

NVLink, özellikle derin öğrenme ve HPC görevlerinde genellikle CUDA ile birlikte kullanılır. NVLink’ten tam olarak yararlanmak için sisteminizde CUDA Toolkit’in yüklü olması gerekir.

1. CUDA Toolkit‘iindirin: CUDA Toolkit indirme sayfasını ziyaret edin ve işletim sisteminiz için uygun sürümü indirin.
2. CUDA’yı yükleyin: Linux için:
   sudo apt-get install cuda


   Windows için CUDA yükleyicisini çalıştırın ve yönergeleri izleyin.

3. CUDA Kurulumunu Doğrulayın: Kurulumdan sonra, aşağıdaki komutu çalıştırarak CUDA’nın doğru şekilde kurulduğunu doğrulayın:
   nvcc --version


   Bu, sisteminizde yüklü olan CUDA sürümünü döndürmelidir.

Adım 5: NVLink’i Etkinleştirin

GPU’larınız kurulduğuna, sürücüler ve CUDA ayarlandığına göre NVLink’i etkinleştirebilirsiniz.

1. GPU Yapılandırmasını Kontrol Edin: Aşağıdaki komutu kullanarak GPU’ların kurulu olduğunu ve sistem tarafından tanındığını doğrulayın (Linux):
   nvidia-smi


   Bu, sisteminizde kurulu olan tüm GPU’ları listelemeli ve ilgili PCIe ve NVLink durumlarını göstermelidir.

2. NVLink’i nvidia-smi ile etkinleştirin: Nvidia-smi aracı NVLink’i etkinleştirmek ve izlemek için kullanılır. NVLink’in etkin olup olmadığını kontrol etmek için çalıştırın:
   nvidia-smi topo -m


   NVLink düzgün bir şekilde yapılandırılmışsa, çıktı GPU’lar arasındaki bağlantıları gösterecek ve hangi GPU’ların NVLink aracılığıyla bağlı olduğunu belirtecektir. GPU çiftleri arasında “NVLink” etiketini arayın.

3. NVLink‘i kıyaslayın: NVLink’in performansını ölçmek için testler veya kıyaslamalar çalıştırabilirsiniz. CuBLAS veya NCCL (NVIDIA Collective Communications Library) gibi araçlar, NVLink üzerinden GPU’lar arasındaki veri aktarım hızlarını kıyaslamak için kullanılabilir.

Adım 6: Uygulamaları NVLink Kullanacak Şekilde Yapılandırma

Uygulamalarınızın NVLink’ten faydalanabilmesi için onları GPU’lar arasındaki yüksek bant genişliğine sahip ara bağlantıyı kullanacak şekilde yapılandırmanız gerekir. TensorFlow, PyTorch ve MXNet gibi birçok derin öğrenme çerçevesi NVLink’i otomatik olarak algılar ve çoklu GPU işlemleri için kullanır.

Örneğin, TensorFlow’da, mevcut GPU’ları ve NVLink bağlantılarını kullanarak kontrol edebilirsiniz:

NCCL (NVIDIA Collective Communications Library) gibi çerçeveler NVLink için optimize edilmiştir ve çoklu GPU ortamlarında veri aktarımları için kullanılır.

Adım 7: NVLink Durumunu İzleyin

NVLink kurulduktan sonra, doğru çalıştığından emin olmak için durumunu izlemek çok önemlidir. Nvidia-smi aracı NVLink trafiğinin, bant genişliği kullanımının ve GPU performansının kapsamlı bir şekilde izlenmesini sağlar. Kullanabilirsin:

Bu komut, veri aktarımı sırasında karşılaşılan hatalar ve verim dahil olmak üzere NVLink bağlantısı hakkında ayrıntılı istatistikleri gösterir.

Sonuç

Bir makinede NVLink’in yapılandırılması, özellikle derin öğrenme, yapay zeka eğitimi ve HPC görevleri gibi GPU’lar arasında yüksek hızlı veri aktarımı içeren iş yükleri için çoklu GPU kurulumlarının performansını önemli ölçüde artırabilir. Bu kılavuzda özetlenen adımları izleyerek, sisteminizde optimum performans için NVLink’i kurabilir ve yapılandırabilirsiniz. GPU’larınızı doğru şekilde kurduğunuzdan, uygun NVLink köprüsüyle bağladığınızdan ve NVLink’in tam desteği için en son sürücüleri ve CUDA araç setini yüklediğinizden emin olun. Son olarak, amaçlandığı gibi çalıştığından emin olmak için NVLink’in performansını ve durumunu izleyin ve yüksek hızlı ara bağlantı özelliklerinden tam olarak yararlanmanızı sağlayın.