Son dönemde müşterilerden en çok gelen sorulardan biri, yapay zekâ projesi için hangi GPU modelini kullanmaları gerektiği. Copilot gibi hazır servislerle kısa sürede canlıya alınabilen projeler var ancak özellikle regülasyon, veri yerleşimi, gecikme veya maliyet nedeniyle modeli kendi veri merkezinde çalıştırmak isteyen şirketlerde konu çok daha farklı. Daha önce farklı sektörlerde yaptığımız projelerden hareketle hazırladığım karşılaştırmayı, 2026 yılında gelinen noktaya göre yeniden değerlendirmek istiyorum.
Bence en kritik konu şu: İyi bir yazılım veya başarılı bir model, yanlış altyapı üzerinde beklenen sonucu vermiyor. Ancak bunun tersi de doğru; en pahalı GPU’yu satın almak projenin başarılı olacağı anlamına gelmiyor. Modelin büyüklüğü, eş zamanlı kullanıcı sayısı, yanıt süresi, veri büyüklüğü ve çalışma şekli doğru belirlenmeden yapılan donanım seçimi, gereksiz yatırım veya kapasite sorunu olarak geri dönüyor.
GPU konusu yalnızca satın alma maliyeti değil. Sunucunun güç tüketimi, soğutma, rack yoğunluğu, ağ altyapısı, sürücü/yazılım desteği ve GPU’nun kaç projede ortak kullanılabileceği de toplam maliyeti belirliyor. Bu nedenle bazı müşterilerde on-premises GPU sunucusu, bazı müşterilerde GPU kiralama veya hibrit çalışma modeli daha uygun olabiliyor. Önceki yazımda belirttiğim gibi sektörlerin iş yükleri çok farklı; bugün de bu görüşüm değişmedi.
Ekim 2026 güncellemesi: Aşağıdaki görsel Kasım 2024’te hazırladığım karşılaştırmadır. O dönemdeki modelleri ve tercih gerekçelerimi belgelediği için görseli koruyorum. Ancak güncel satın alma kararını yalnızca bu tabloya göre vermemek gerekiyor; Blackwell tabanlı sunucu GPU’ları ve yeni RTX PRO ailesiyle seçenekler genişledi.
Bir Yapay Zekâ Projesi İçin GPU Nasıl Seçilmeli?
Ben artık ilk toplantıda GPU modelinden önce iş yükünü netleştirmeye çalışıyorum. Örneğin bir çağrı merkezinde konuşmaları yazıya dönüştürmek ile binlerce eş zamanlı kullanıcıya büyük dil modeli üzerinden yanıt vermek aynı problem değil. Benzer şekilde finans sektöründe RAG tabanlı bir bilgi asistanı ile sıfırdan model eğitimi için ihtiyaç duyulan donanım birbirinden çok farklı.
Öncelikle projenin eğitim (training), ince ayar (fine-tuning), çıkarım (inference), görüntü işleme, video işleme veya VDI ağırlıklı olup olmadığını belirliyoruz. Ardından modelin bellekte kaplayacağı alanı, KV cache ihtiyacını, aynı anda hizmet alacak kullanıcı sayısını ve hedef gecikmeyi hesaplıyoruz. Bu değerler bilinmeden hazırlanan GPU listeleri, teknik olarak doğru görünse de yatırım kararında yanıltıcı olabiliyor.
VRAM, Bellek Bant Genişliği ve Model Boyutu
Özellikle büyük dil modellerinde ilk baktığım değerlerden biri VRAM. Model ağırlıkları GPU belleğine sığmalıdır; fakat yalnızca ağırlıkların boyutunu hesaplamak yeterli değildir. Çalışma sırasında KV cache, ara tensörler, framework yükü ve bazı senaryolarda birden fazla kullanıcı oturumunun tüketimi de belleğe eklenir. Quantization bellek ihtiyacını azaltabilir ancak her model ve kalite beklentisi için aynı sonucu vermez.
Örneğin 70 milyar parametreli bir modelin yalnızca ağırlıkları yaklaşık olarak FP16/BF16 formatında 140 GB, 8-bit formatında 70 GB, 4-bit formatında 35 GB mertebesindedir. Bunlar teorik büyüklüklerdir; gerçek ortamda ek bellek payı gerekir. Birden fazla GPU kullanılması da otomatik olarak tek, büyük ve ortak bir VRAM alanı oluştuğu anlamına gelmez. Model paralelleştirme, bağlantı hızı ve yazılım desteği önemlidir.
Bellek bant genişliği ise özellikle bellek erişimine duyarlı inference yüklerinde belirleyici olabilir. TFLOPS değerleri de aynı hassasiyetle okunmalı; FP32, FP16, BF16, FP8 veya FP4 performansları ve sparsity varsayımları birbirinin yerine kıyaslanamaz. Bu nedenle iki GPU’nun broşürdeki en yüksek TFLOPS sayısını yan yana koyup karar vermiyorum.
2026 İçin GPU Ailelerini Nasıl Değerlendiriyorum?
Aşağıdaki tabloyu sektörden bağımsız, iş yükü odaklı hazırladım. Modelleri tek başına kesin satın alma önerisi olarak değil, kısa liste oluşturmak için değerlendirmek gerekiyor.
| GPU ailesi | Temel güçlü yönü | Değerlendirme notu |
|---|---|---|
| NVIDIA A16 | Çok kullanıcılı VDI / sanal masaüstü | Kartta toplam 64 GB bulunur ancak dört ayrı GPU üzerinde 16’şar GB’dır; tek bir 64 GB LLM GPU’su değildir. |
| NVIDIA L4 | Düşük güç tüketimli inference, video ve medya | 24 GB bellek; küçük/orta model ve medya iş yüklerinde değerlendirilebilir. |
| NVIDIA L40 / L40S | Görselleştirme, 3D, AI inference ve karma yükler | 48 GB bellek; grafik ve AI gereksinimleri birlikteyse anlamlı. |
| NVIDIA H100 / H200 | Yüksek performanslı AI / HPC | Büyük modeller, yoğun inference ve eğitim; maliyet, enerji ve ölçekleme şartları birlikte ele alınmalı. |
| NVIDIA B200 / B300 tabanlı platformlar | Büyük ölçekli eğitim ve inference | Tek ekran kartından çok bütün sistem, ağ ve soğutma mimarisiyle değerlendirilir. |
| NVIDIA RTX PRO 6000 Blackwell Server Edition | Karma AI, görüntüleme, sanal iş istasyonu | 96 GB GDDR7; inference, 3D ve sunucu tarafı profesyonel iş yüklerinde alternatif. |
2024’teki tabloda yer alan H100 NVL gibi çözümleri değerlendirirken ürünün tek kart mı yoksa birden fazla GPU’dan oluşan bir konfigürasyon mu olduğunu ayrıca kontrol etmek gerekiyor. Benzer şekilde önceki yazımdaki “H100S” ifadesini standart bir NVIDIA ürün ailesi olarak kullanmak doğru değil; burada gerçek teklif edilen GPU SKU’su ve sunucu konfigürasyonu esas alınmalı.
Sektörlere Göre Yaklaşımım
Çağrı merkezi ve sağlık: VDI, eş zamanlı ses kaydı işleme, konuşmadan metne dönüşüm ve kurum içi dil modeli aynı GPU ile çözülmek zorunda değil. Önceki projelerdeki A16 tercihim daha çok sanal masaüstü tarafıyla ilgiliydi. Gerçek zamanlı konuşma AI veya LLM inference söz konusuysa L4, L40S ya da güncel RTX PRO seçeneklerini ayrıca test etmek gerekiyor. Sağlık verilerinde veri koruma ve yazılım gereksinimleri kapasite hesabından bağımsız olarak değerlendirilmeli.
Havayolları ve otomotiv: Uçuş optimizasyonu, büyük veri analitiği, bilgisayarlı görü, simülasyon ve model eğitimi farklı kaynak profillerine sahip. Yüksek performanslı hesaplama tarafında H100/H200 veya Blackwell tabanlı platformlar gündeme gelebilir. Ancak burada asıl karar modelin ölçeği, eğitim süresi, ağ topolojisi ve veri hazırlama altyapısıyla birlikte verilmeli.
Medya, eğlence ve e-ticaret: Video transcode, öneri motorları, görsel üretimi ve müşteri hizmetleri botları arasında ciddi fark var. L4’ü düşük güç tüketimli medya/inference projelerinde değerlendirmek hâlâ mümkün. Yüksek çözünürlüklü yaratıcı işlerde ise L40S ve RTX PRO ailesi daha uygun bir kısa liste oluşturabilir.
Perakende ve telekom: Müşteri davranışı, talep tahmini veya çağrı analitiği projelerinde her zaman en üst sınıf eğitim GPU’su gerekmiyor. Batch işleme mi yapılacak yoksa düşük gecikmeli sürekli inference mı sunulacak, karar bunu belirliyor. L40S, RTX PRO ve yoğunluğa göre daha üst GPU platformları iş yüküyle test edilmeli.
Enerji, kamu ve finans: Güvenlik, regülasyon, veri yerleşimi ve yüksek erişilebilirlik genellikle ilk sırada. HPC, simülasyon, kurumsal RAG ve çok büyük dil modeli eğitimini aynı kategoriye koymamak gerekiyor. H100/H200 ve Blackwell ailesi seçenekler arasında olabilir; ancak lisans, model mimarisi, veri koruma ve veri merkezi şartları satın alma öncesinde doğrulanmalı.
Mimarlık ve inşaat: BIM, CAD, render ve gerçek zamanlı 3D çoğu zaman klasik LLM inference’dan farklı ihtiyaçlara sahip. RTX PRO gibi profesyonel görselleştirme ailesini burada ayrıca ele alıyorum. GPU seçiminde uygulama üreticisinin sürücü sertifikasyonu ve vGPU desteği, salt hesaplama performansından daha kritik olabilir.
Satın Almadan Önce Hangi Ölçümleri İstiyorum?
Donanım üreticilerinden veya kiralama sağlayıcılarından yalnızca GPU’nun modelini değil, örnek iş yükümüz üzerinde test sonuçlarını da istiyoruz. Özellikle modelin yüklenme süresi, ilk token gecikmesi (TTFT), token üretim hızı, eş zamanlı istek sayısında p95 gecikme, GPU bellek kullanımı, güç tüketimi ve sunucu başına toplam maliyet bizim için anlamlı. Eğitim projelerinde ise eğitim süresi ve çoklu GPU ölçekleme verimliliği önem kazanıyor.
Bir diğer önemli konu, donanımın yalnızca teknik kapasitesi değil işletilebilirliği. GPU sanallaştırma desteği, lisanslama, CUDA ve sürücü uyumluluğu, desteklenen sunucu kasası, güç kaynakları, soğutma ve kurumsal destek seçeneklerini proje başında konuşmak gerekiyor. Ekran kartını satın aldıktan sonra yazılım üreticisinin bu GPU’yu desteklemediğini öğrenmek istemeyiz.
Özetle, 2024 yılında sektör deneyimlerimden çıkardığım tablonun temel fikri hâlâ geçerli: Her iş yükü için tek bir doğru GPU yok. Ancak 2026 yılında model çeşitliliği ve donanım seçenekleri arttığı için sektör etiketinden çok gerçek uygulamanın ölçümlerini esas almak zorundayız. Özellikle bütçesi yüksek ve uzun yıllar kullanılacak sistemlerde mümkünse bir PoC yapmadan karar vermemeyi öneriyorum.
Umarım kendi veri merkezinde veya kiralık GPU altyapısında yapay zekâ projesi planlayanlar için faydalı olmuştur.
