Microsoft Azure Local bildiğiniz gibi bazı kritik Azure servislerinin kendi veri merkezinizdeki sunucuların üzerinde çalışmasına olanak sağlayan bir teknolojidir. Her geçen gün sağladığı imkanlar ve çözümlerin genişlediğini görebiliyoruz. Bunun en temel nedeni 2010 yılında yaygınlaşmaya başlayan bulut bilişim için hala hibrit veya yerleşik iş yüklerinin tam olarak konumlandırılamıyor olmasıdır. AI’ da bunlardan bir tanesi. Pek çok farklı motivasyon ile bazı müşterilerimiz AI projelerini yerleşik veri merkezlerinde hayata geçirmek istiyor ancak bir yandan da gerekli olan platformların kurulumu, bakım ve işletmesi gibi maliyetli işleri Azure gibi bir sağlayıcıdan almak istiyor. İşte tam bu noktada çözüm Azure Local.
Geçtiğimiz sene NVIDIA GTC etkinliğinde NVIDIA RTX PRO 6000 Blackwell Server Edition GPU’larının Azure Local platformunda desteklenmesi duyurusu açıklanmıştı. Bu gerçekten çok büyük bir haberdi ve hemen ardından bizlerde bu alanda projelerimizi müşterilerimizde hayata geçirmeye başladık.
Peki bu konu neden bu kadar önemli?
Bu sayede kurumlar artık yapay zeka iş yüklerini sadece bulutta değil, aynı zamanda kendi veri merkezlerinde veya edge ortamlarda da çalıştırabilecek.
Azure Local, Azure Arc entegrasyonu sayesinde bulut yönetim kolaylığını korurken aynı zamanda kurumların şu ihtiyaçlarını karşılamasına yardımcı oluyor:
-
Yerel veri işleme
-
Düşük gecikme süreleri (Bu konu çok kritik, özellikle ülkemizde azure veri merkezi yok, en yakın west europe veri merkezi ise çok yoğun)
-
Veri egemenliği ve regülasyon uyumluluğu (bu malum ülkemizin en büyük sorunu zaten)
-
İnternete bağlı olmayan ortamlarda çalışma
RTX PRO 6000 Blackwell GPU’ları ise oldukça geniş bir kullanım alanı sunuyor:
-
Agent tabanlı yapay zeka sistemleri
-
Fiziksel AI ve robotik uygulamalar
-
Bilimsel hesaplamalar
-
3D grafik ve render işlemleri
-
Dijital ikizler ve simülasyonlar
-
Görsel hesaplama iş yükleri
Bu altyapı özellikle şu sektörlerde önemli avantaj sağlayabilir:
-
Sağlık
-
Perakende
-
Üretim
-
Kamu
-
Savunma
-
Kritik altyapı sistemleri
Örneğin;
-
Şehir güvenliği için gerçek zamanlı video analizi
-
Fabrikalarda kestirimci bakım
-
Hızlı tıbbi görüntü analizi
-
Enerji üretim tesislerinde düşük gecikmeli AI kullanımı
Gördüğünüz gibi pek çok senaryo için harika bir çözüm.
Microsoft ve NVIDIA iş birliği sadece donanım tarafında değil, model geliştirme tarafında da devam ediyor.
Azure AI Foundry platformuna eklenen yeni model ailesi ile kurumlar artık daha gelişmiş yapay zeka uygulamaları geliştirebilecek. Bu da yukarıda bahsettiğim gibi özellikle sadece AI işine yoğunlaşıp AI projeleri için gerekli altyapı ve bakım, işletme konularında müşterileri yormayacak bir çözüm sunuyor.
NVIDIA Nemotron Model Ailesi
Nemotron modelleri özellikle agent tabanlı yapay zeka sistemleri için tasarlanmış durumda.
Öne çıkan modellerden bazıları:
Llama Nemotron Nano VL 8B
Görüntü ve dil verilerini birlikte işleyebilen multimodal uygulamalar için.
Nemotron Nano 9B
Kurumsal AI ajanları, matematiksel akıl yürütme ve yazılım geliştirme senaryoları için.
Llama 3.3 Nemotron Super 49B
Daha gelişmiş kurumsal AI uygulamaları için tasarlanmış büyük ölçekli model.
NVIDIA Cosmos Model Ailesi
Cosmos modelleri ise fiziksel AI ve robotik sistemler için geliştiriliyor.
Örneğin:
Robotların karar verme süreçleri
Otonom araçlar için veri hazırlama
Video analizi ile kök neden analizi gibi alanlarda kullanılabiliyor.
Microsoft TRELLIS
Microsoft Research tarafından geliştirilen TRELLIS sistemi de dikkat çekici. Bu sistem basit bir metin komutundan yüksek kaliteli 3D varlıklar üretebiliyor.
Bunun potansiyel kullanım alanları oldukça geniş: Dijital ikiz sistemleri, AR destekli perakende deneyimleri, oyun geliştirme, simülasyon ortamları gibi.
NVIDIA Run:ai ile GPU Kaynaklarını Daha Verimli Kullanmak
Yapay zeka projelerinde en büyük maliyetlerden biri GPU kaynakları.
Bu noktada NVIDIA’nın geliştirdiği Run:ai platformu, GPU’ların daha verimli kullanılmasını sağlayan bir orkestrasyon çözümü sunuyor.
Azure entegrasyonu sayesinde kurumlar artık:
GPU kaynaklarını ekipler arasında paylaşabiliyor, iş yüklerini dinamik şekilde dağıtabiliyor, GPU kümelerini merkezi olarak yönetebiliyor.
Run:ai platformu özellikle şu Azure servisleriyle entegre çalışıyor:
Azure Kubernetes Service (AKS), Azure Machine Learning, Azure AI Foundry, Azure NC ve ND VM serileri. Bu sayede kurumlar altyapı yönetimiyle daha az uğraşıp doğrudan yapay zekâ geliştirmeye odaklanabiliyor.
NVIDIA GB300 NVL72 ile Yeni Nesil AI Süper Bilgisayarlar
Microsoft ayrıca önemli bir ilke de imza attı:
Dünyada NVIDIA GB300 NVL72 sistemlerinin büyük ölçekte ilk bulut dağıtımını gerçekleştiren sağlayıcı oldu.
Bu sistemlerin özellikleri oldukça dikkat çekici:
72 adet NVIDIA Blackwell Ultra GPU
36 adet NVIDIA Grace CPU
130 TB/s NVLink bant genişliği
tek kabinde 136 kW işlem gücü
Bu mimari özellikle şu tür iş yükleri için tasarlanmış: büyük dil modelleri, reasoning modelleri, agent tabanlı sistemler ve multimodal AI.
Azure tarafında ise bu sistemler NDv6 GB300 VM serisi olarak sunulacak.
NVIDIA Dynamo ile Daha Hızlı AI Çıkarımı
Bir diğer önemli gelişme ise NVIDIA Dynamo isimli açık kaynak inference framework’ü.
Microsoft, Dynamo’yu Azure Kubernetes Service ile entegre ederek büyük ölçekli AI modellerinin daha hızlı çalışmasını sağlıyor.
Testlerde şu performans değerleri görülmüş: saniyede 1.2 milyon token işleme kapasitesi. Bu da özellikle AI servis sağlayıcıları için çok ciddi bir ölçek avantajı anlamına geliyor.
Özetle Microsoft ve NVIDIA bu oyunu birlikte güzel oynuyorlar, tabi ki Microsoft’ u tebrik etmek gerekli, çünkü elinde Azure gibi bir cloud platformu olmasına rağmen hibrit cloud teknolojisinden hiz vazgeçmedi. Azure Pack ile başlayan büyük başarısızlıklar aslında bu günlerin ayak sesleriydi. Evet eskiler Azure Pack’ i hatırlarlar ama özellikle Azure Stack HCI ve sonrasında Azure Local ile artık gerçekten kararlı bir sisteme sahip olduk ve bunun meyvelerini toplama zamanı.
Bu konuda aşağıdaki gibi ek bir video bırakmak istiyorum, meraklıları için
