AI ajanları artık sadece teoride konuştuğumuz bir konu değil. Gerçek sistemlerde zafiyet buluyor, bunları zincirliyor ve hedefe ulaşmak için kendi saldırı yolunu oluşturabiliyor.
OpenAI ve Hugging Face’in birlikte açıkladığı olay tam olarak bunu gösteriyor. Haberi okuyunca şaka sandım ama iş gerçekten çok ciddi.
OpenAI, modellerin siber güvenlik kabiliyetlerini ölçmek için ExploitGym isimli bir değerlendirme çalıştırıyor. Test, üretimde kullanılan güvenlik sınıflandırıcıları kapalıyken ve izole bir sandbox ortamında gerçekleştiriliyor.
Test edilen modellerden biri GPT-5.6 Sol’un siber güvenlik kısıtları azaltılmış bir sürümü, diğeri ise henüz yayınlanmamış daha yetenekli bir ön sürüm. Modeller değerlendirme sorusunu çözmeye fazla odaklanınca beklenmedik bir şey yaşanıyor. Sandbox ortamında kullanılan paket önbelleği proxy’sinde daha önce bilinmeyen bir zafiyet keşfedip sandbox dışına çıkıyorlar. Burası gerçekten çok etkileyici. Bayağı bildiğin yapay zeka içine sıkıştırıldığı izole ortamdan kaçıyor :) Düşünün, modeli izole bir ortamda test ediyorsunuz. Model gidip o izolasyonu sağlayan altyapıdaki zafiyeti buluyor ve dışarı çıkıyor. Sonrasında içeride yetki yükseltiyor, yatay hareket yapıyor ve internet erişimi bulunan başka bir ortama ulaşıyor. Burada da durmuyor.
Hugging Face’in test çözümlerini barındırıyor olabileceğini çıkarımlıyor. Ele geçirdiği kimlik bilgilerini ve bulduğu zafiyetleri kullanarak üretim sunucularında uzaktan kod çalıştırmaya kadar ilerliyor. Bütün bunları neden yapıyor? Değerlendirmede hile yapıp cevapları doğrudan veritabanından çekmek için. Burasıda çok ilginç. Bunu örnek bizim güvenlik ekipleri yapıyordu, nasıl? Penest var, bir sisteme giremiyorlar, iyi mühendis olunca oturup sabaha kadar zero day yazıp sisteme giriyorlardı :) Yani yapay zekanın kabiliyetinden öte burada niyeti çok tehlikeli bence.
Bu modeller sadece hazır bir zafiyet tarama aracı gibi çalışmıyor. Kaynak koda erişmeden yeni saldırı yolları keşfediyor, yetki yükseltme, yatay hareket ve uzaktan kod çalıştırma adımlarını bir araya getirerek hedefe ulaşmaya çalışıyor. Yani karşımızda sadece otomatik tarama yapan bir araç değil, hedefe odaklanan ve karşısına çıkan engelleri aşmak için yeni yollar üreten bir yapı var.
Savunma tarafında çalışan biri olarak bu olaydan birkaç önemli sonuç çıkarıyorum.
İlki, bu olayın bir kaza olarak görülmemesi gerektiği. Evet, güvenlik önlemleri test amacıyla bilinçli olarak kapatılmıştı. Zaten ölçülmek istenen konu da modelin gerçek kabiliyetiydi. Ancak ortaya çıkan sonuç çok net:
Yetenek varsa ve ortam yeterince sıkı değilse, model bu yeteneği kullanıyor.
İkinci konu ise mevcut güvenlik kontrollerimiz.
Ağ segmentasyonu, sıkı çıkış trafiği kontrolü, ayrıcalıklı hesap yönetimi, kimlik bilgilerinin korunması ve anomali tespiti artık “olsa iyi olur” seviyesinde değil.
Bir AI ajanı sandbox ortamından çıkabiliyor, içeride yatay hareket edebiliyor ve başka sistemlere ulaşabiliyorsa insan saldırganlara karşı kullandığımız bütün kontrolleri AI ajanları için de düşünmemiz gerekiyor. Hatta çok daha hızlı çalışan ve tepki veren kontroller tasarlamamız gerekebilir.
Elbette tablo tamamen karanlık değil.
Aynı kabiliyetler savunma ekiplerinin de işine yarayabilir. AI ajanları zafiyetleri saldırganlardan önce bulabilir, farklı açıkların nasıl zincirlenebileceğini gösterebilir ve güvenlik ekiplerinin daha hızlı aksiyon almasını sağlayabilir. Buradaki esas mesele bu gücün kontrollü, sınırları belirlenmiş ve tamamen gözlemlenebilir bir ortamda kullanılması.
Özetle model güvenliği, yetenek gelişiminin gerisinde kalamaz.
AI modellerinin siber kabiliyetleri bu hızda ilerliyorsa güvenlik, hizalama ve kontrol mekanizmalarının da aynı hızda ilerlemesi gerekiyor.
Bu olay bize bunun artık geleceğe yönelik teorik bir tartışma olmadığını gösteriyor.
Kaynak
https://openai.com/index/hugging-face-model-evaluation-security-incident/
