Microsoft Foundry Local: Yapay Zekayı Cebimize Getiren Yeni Dönem

Hakan Uzuner

5 ay önce

Yapay zeka modellerini çalıştırmak için bugüne kadar hep bulut altyapılarını, abonelik temelli servisleri, API hizmetlerini veya yüksek maliyetli GPU donanımlarına bağlı kaldık. Ancak tam bu noktada Microsoft bundan önce yine bulut hizmetlerini ayağımıza getiren bir model olan Azure Local’ de olduğu gibi yine local ortamlara yapay zeka getiren yeni bir platform tanıttı, ismi:

Microsoft Foundry Local

Peki nedir bu foundry local?

Foundry Local, tamamen açık kaynak ve tamamen yerelde çalışan bir AI çalışma ortamı. Abonelik yok, cloud dependency yok, authentication yok. Her şey cihazınızda, %100 size ait. Sanki hayal gibi değil mi? Tabi ki bu mevcut ekosistem için negatif bir durum değil, sonuçta hala ekosisteme bağlı ihtiyaçlarınız devam ediyor ancak makalemin ilerleyen bölümlerinde anlatacağım üzere farklı bir ihtiyaç için çok iyi bir çözüm sunuyor. Peki şimdi gelelim bu yeni platform’ un detaylarına. Öncelikle neden bu kadar önemli bir konu?

Bugün LLM’leri kullanmanın temel yolları genelde aşağıdaki gibidir; yani bu mevcut ve bildiğimiz bir durum.

OpenAI, Anthropic, Google Gemini gibi bulut tabanlı API’lar
HuggingFace + kendi GPU ortamınız (maliyetli çözümler, özellikle ilk yatırım bedeli yüksek)
Docker ile kurulumu zor, karmaşık yerel inference ortamları. Örnek bunu da bir kaç müşterimizde deneyimledik. Projeler çok uzun sürüyor, bulut temelli API veya platform kullanmadığımız için bilinen bazı şeyleri yerel olarak yapmak son derece zahmetli oluyor. Özellikle kamu gibi askeriye gibi internete kapalı ortamlarda çok tercih edilen bir yöntem.

Bu modeller ile bu güne kadar pek çok başarılı proje yaptık, sektörde de yapan pek çok meslektaşım var, ancak bu modelin her zaman bazı zayıf yanları oldu. Bunlar neler mi?

Veri gizliliği riskleri var, malum 2010 yılında bulut bilişim ilk çıktığında da benzer sorunlar yaşadı.
Bazı kurumlar veri dışarı çıkartamaz, buna iyi örnekleri yukarıda verdim, kamu başta bu durumda olan sektörler için uygun değil.
İnternet bağımlılığı işleri zorlaştırıyor çünkü özel sektör bile olsa örneğin savunma sanayi gibi yine internet baş düşman olabiliyor.
Subscription maliyetleri büyüyor, tabi ki rekabet ile bu rakamlar düşecek ancak şu anda pahalı bir dönemdeyiz.
Geliştiriciler her zaman bir sandbox ortamına ihtiyaç duyuyor, işte aslında bu yeni teknoloji için en önemli başlık bu. Neden derseniz bu yeni sistemi de kullanmayacak pek çok senaryo var.

Peki Microsoft ne yaptı?

“LLM modellerini kendi bilgisayarında çalıştırabilmelisin. Üstelik tek bir komutla.”

Aslında buradaki temel motivasyon yapay zeka geliştirme sürecini daha demokratik hale getirmek. Fikir inanılmaz güzel ve doğru. Prod ortamlar için hala büyük oyuncular, bulut altyapıları yüksek güçlü GPU makineleri şart ancak bir geliştirici için ilk günden bu yatırımları yapmak çok kolay değil. Normal bir yazılım geliştirme sürecini düşünün, kimsenin özel bilgisayarlara ihtiyacı yoktu, kendi imkanları ile sınırlı bilgisayar gücüne sahip donanımlarla bile inanılmaz kodlar yazan, sonra bu fikri prod ortama alacağı zaman koca koca makinelere ihtiyaç duyan sistemler yapay zeka içinde geçerli. Özetle buradaki ana gündem artık buluta gerek yok, GPU ya gerek yok her şey local’ de çalışacak mantığı değil. Ayrıca bu sadece teknik bir yenilik değil; geliştiriciler, kurumlar ve gizlilik odaklı projeler için tamamen yeni bir kapı aralıyor.

Peki Microsoft Foundry Local Nasıl Çalışıyor?

Foundry Local’ın mimarisi üç temel bileşenden oluşuyor:

1-Foundry Runtime – LLM Motoru

Arka planda ONNX Runtime + DirectML + CUDA gibi optimize edilmiş altyapılar çalışıyor. Bu sayede Windows, macOS ve Linux üzerinde CPU veya GPU ile inference yapabiliyorsunuz.

2-Model Registry – Modellerin Yerel Deposu

Tek komutla şu modelleri indirebiliyorsunuz: Phi-3 serisi, LLaMA modelleri, Mixtral, Gemma ve herhangi bir ONNX tabanlı model. Yani ister küçük modelleri latency için, ister büyük modelleri kalite için kullanabilirsiniz.

3-OpenAI-Compatible Local API

İşte oyunu değiştiren detay:

Foundry Local, cihazınızda bir API endpoint açıyor:

http://localhost:8000/v1

Bu endpoint, OpenAI API ile birebir uyumlu.

Yani üretimde OpenAI kullanıyorsanız, geliştirme sırasında sadece base URL değiştirerek devam edebiliyorsunuz.

Gelelim nasıl kuracağımıza, aslında buraya bayılacaksınız, kurulum inanılmaz kolay;

Windows ortamları için kod aşağıdaki gibidir;

winget install Microsoft.FoundryLocal

macOS için komut aşağıdaki gibidir;

brew install microsoft/foundrylocal/foundrylocal

ardından servisi başlatıyoruz;

foundrylocal start

Model indirmek için;

foundrylocal models add phi-3.8b

Aşağıda ise bir kaç tane örnek kod paylaşıyorum, işin ne kadar kolay olduğunu görmeniz için;

Python ile ChatCompletion

Productions kodunuz OpenAI SDK kullanıyorsa, tek fark base_url:

from openai import OpenAI

client = OpenAI(
base_url=”http://localhost:8000/v1″,
api_key=”local” # herhangi bir string olabilir
)

response = client.chat.completions.create(
model=”phi-3.8b”,
messages=[
{“role”: “user”, “content”: “Merhaba Foundry Local! Bugün nasılsın?”}
] )

print(response.choices[0].message[“content”])

İkinci örnek kodumuz ise Curl ile Test;

curl http://localhost:8000/v1/chat/completions \
-H “Content-Type: application/json” \
-d ‘{
“model”: “phi-3.8b”,
“messages”: [{“role”: “user”, “content”: “Bana kısaca yerel inference nedir anlat.”}] }’

Peki bu yenilik sektörü nasıl değiştirecek?

Özellikle veri gizliliği, internet bağlantı zorunlulukları, yerel model geliştirme ve ekosistemi genişletme gibi konularda Microsoft Foundry Local ciddi manada destekleyici bir platform olacaktır.

Bir kaç örnek vermek gerekir ise;

POC’ler yerelde çalışıyor olacak, yani illaki bir abonelik, kaynak vs gerekmeyecek. Bu da daha çok POC daha çok doğru ürün demek olacak.
Hassas doküman analizi makinada kalıyor, bu konu malumunuz en çok sorulan sorulardan birisi.
Edge cihazlarda (kiosk, IoT, saha ekipmanı) AI kullanılabiliyor olacak, bu da çok ama çok önemli bir gündem.
Offline AI senaryoları mümkün oluyor, aslında bu zaten Azure Stack HCI, yeni ismi ile Azure Local ile oluyordu, ancak bunda bile bir donanım bağımlılığınız vardı, artık o da olmayacak.

Bu, özellikle bankalar ve regülasyona tabi kurumlar için devrim niteliğinde.

Ayrıca platform’ un açık kaynak olması kod şeffaflığı, güvenlik açıkları ve kontrolleri, topluluk zenginleştirmeleri gibi konularda da büyük önem kazandırıyor.

Platformu incelemek isterseniz aşağıdaki adresi kullanabilirsiniz

Foundry Local – Run AI Models On Device

Umarım faydalı bir yazı olmuştur, bir sonraki makalemde görüşmek üzere.