Evet bu soru son dönemde müşteriler tarafından çok sorulan bir soru olmasından kaynaklı bende küçük bir tablo yaparak bu konudaki bilgimi paylaşmak istiyorum. Malum son dönemde çok fazla Copilot projesi yapıyoruz ancak her proje bu şekilde paket program misali çok hızlı prod ortama geçemiyor. Kimi şirketler regülasyon nedenli bulut temelli yapay zeka modellerini ve kaynaklarını kullanamıyor veya farklı dinamikleri nedeni ile kendileri GPU temelli sunucu alarak yapay zeka projelerini üzerinde koşturmak istiyorlar. Hatta son dönemde AI destekli yazılımların da müşterilere özellikle projelerinin başarılı olması için benzeri bir alt yapı sunması dikkatimi çekti. Bu konu aslında çok önemli, yani harika bir ürün geliştiriyorsunuz, müşteri bunu cloud değil onprem istiyor ama gerekli kaynakları (özellikle doğru GPU) sunmadığı için aslında sizin yapay zeka modeliniz başarısız oluyor. Bu nedenle bu noktada üreticileri taktir ediyorum ve doğru bir iş modeli olarak ürün yanında paket olarak doğru altyapıyı da sunuyor.
Gelelim konumuza, malum GPU demek enerji demektir, enerji ise ısı demektir ve bunu hiç bir veri merkezi sevmez. Bu nedenle son dönemdeki projelerin bir kısmı kiralama modeli ile ilerliyor. Özellikle FixCloud ve Siaflex gibi niche player olarak tabir ettiğim bulut sağlayıcıları GPU destekli sunucuları alıp müşterilerine kiralıyorlar. Bu bence gayet mantıklı bir model ki bunu zaten aktif biz de müşterilerimize sunuyoruz. Hatta en son Kıbrıs etkinliğimizde bu konu gündem olmuştu. Ancak bu ve benzeri veri merkezi işleten veya cloud hizmeti sunan şirketler haklı olarak daha genel ve pek çok AI iş yüküne uygun modelli sunucuları alıp kiralama işi yapıyor. Oysaki Çağrı Merkezi, Hava yolları, Otomotivs, Finans gibi dinamikleri çok farklı sektörler söz konusu olunca bu durumda ne yazık ki kiralama modeli uygun olamayabiliyor. Peki böyle bir senaryoda müşteri hangi modele yönelmeli. Aslında pek çok donanım üreticisinin sitesinde de bulabileceğiniz bu tabloyu ben biraz sektöre göre şekillendirdim. Ayrıca bellek kapasitesi, bellek bant genişliği, TFLOPS, Enerji tüketimi ve bağlantı tipi gibi aslında karar vermeyi kolaylaştırıcı ek değişkenleri ekledim.
Peki gelelim sektör seçimlerine, yine yaptığımız projelerde genelde müşteri ihtiyaçlarından yola çıkarak (özellikle onların istekleri sayesinde her bir projede çok şey öğreniyoruz) aşağıdaki gibi ortalama karar verme kriterlerini oluşturduk;
Bir Yapay Zeka Projesinde Hangi GPU Modelini Seçmeliyiz?
Sektörlerin Tercih Nedenlerimiz;
Çağrı Merkezi ve Sağlık: Bu sektör için NVIDIA A16 modelini kullanıyoruz genelde çünkü sanal masaüstü ve makine öğrenimi için uygun bir GPU olup özellikle düşük gecikme süresi gerektiren çağrı merkezi ve hasta kayıt sistemlerinde tercih ediyoruz.
Hava Yolları ve Otomotiv: Bu sektörde ise NVIDIA H100 modelini kullanıyoruz, HPC ve büyük veri analizine yönelik kullanımları desteklediği için özellikle Hava yollarında uçuş optimizasyonları ve otomotivde otonom sürüş araştırmaları için kullanabiliriz. Malum bu iki sektörde de çok ama çok ciddi büyük veri ile çalışmak zorundayız.
Medya, Eğlence ve E-ticaret: Evet belki de GPU’ nun en yaygın kullanıldığı sektör, bu sektörde ise NVIDIA L4 tercih ediyoruz. Malum nedenler çok açık aslında, düşük güç tüketimi ile içerik oluşturma ve video düzenleme işlerinde çok etkili bir GPU modelidir.
Perakende ve Telekom: Bu sektörde ise NVIDIA L40 ailesini tercih ediyoruz. Yine büyük veri analitiği ve müşteri davranış analizleri için ideal bir ürün ailesidir. Bu da müşteri memnuniyeti ve gelir optimizasyonunu sağlayan pek çok başarılı proje demektir.
Enerji ve Kamu: Yine ağır sektörlerden kamu ve enerji için en uygun model NVIDIA H100S. Yüksek performanslı hesaplama gerektiren enerji sektöründe jeolojik analizler ve kamu sektöründe veri madenciliği projelerinde en iyi çözüm. .
Mimarlık ve İnşaat: Yine GPU yoğun kullanan sektörlerden birisi, bu sektör içinde NVIDIA RTX 4000 modelini öneriyoruz. Özellikle yüksek çözünürlüklü grafik tasarım, 3D modelleme ve render işlemleri için uygun olup bu alanlarda yoğun şekilde kullanıyoruz.
Yapay Zeka Araştırma ve Finans: Yapay zeka için GPU, tabi ki bu işin demeli. NVIDIA H100 NVL burada yine en çok müşterilerin tercih ettiği modeller arasında. Yüksek veri işleme kapasitesiyle doğal dil işleme ve derin öğrenme projelerinde tercih edilir.
Evet bunlar bu zamana kadar edindiğimiz tecrübelerin bir özeti. Eminim ki bizim gibi çok tecrübeli çok kıymetli danışan arkadaşlarımızın da benzer bilgi ve birikimleri vardır ve eminim ki onlarda bunları paylaşır ise özellikle ülkemizde gerçekleştirilen ve $ yoğun projelerde en azından doğru proje için doğru konumlandırma yaparak ülkemizin servetini doğru bir şekilde harcamış oluruz.
Not: Bu tablo şu anda güncel olabilir ama biliyoruz ki yapay zeka sağ olsun GPU teknolojisini çok force ediyor ve belki 6 ay sonra 1 yıl sonra bu yazı geçerliliğini koruyamayacak. Ayrıca her ne kadar sektör bazlı dağılım yapsak bile yine eminim ki hepinizin iyi bildiği bir şey, sektör bağımsız her sektörün kendi içinde farklı projeleri olabilir. Örneğin Çağrı merkezi için X bir model önerdik ama Çağrı Merkezi işi yapan firmaların 1 tane yapay zeka projesinin olması mümkün değil. Bu ayrım daha çok ana production, esas iş, ilk yapay zeka projesi gibi konular için yapılmıştır. Yoksa bu modellerin hemen hemen hepsi yine hemen hemen her sektörde doğru iş için kullanılabilir.
Umarım faydalı bir yazı olmuştur.
