Malum, kurumsal altyapıları tasarlarken üzerinde en çok durduğumuz konulardan biri yüksek erişilebilirlik. Bir sunucu devre dışı kaldığında diğerinin hizmet vermesini, bir bölgede sorun olduğunda trafiğin sağlıklı bölgeye aktarılmasını bekliyoruz. Bunun için kapasite ayırıyor, yük dengeleme sistemleri kuruyor ve otomatik kurtarma mekanizmaları geliştiriyoruz. Ancak bütün bu yapının, arıza sırasında oluşacak yeni çalışma koşullarında da ayakta kalması gerekiyor. Microsoft’un 12 Kasım’da yaşadığı kesintiyi bu açıdan değerlendirmekte fayda var.
Microsoft’un ön olay raporunda başlangıç ve bitiş olarak verdiği zamanlar, 12 Kasım 2026 Türkiye saatiyle 19.20 ile 13 Kasım 19.10 arasını kapsıyor. Yaklaşık 24 saatlik bu aralıkta kullanıcıların etkilenme düzeyi bölgeye ve bağlantı yöntemine göre değişiyor. En ağır etki Exchange Online tarafında görülürken, diğer servislerin Exchange Online’a bağımlı özelliklerinde de sorunlar yaşanıyor.
Benim bu olayda üzerinde durmak istediğim konu, bir yazılım hatasının nasıl bu kadar geniş bir kesintiye dönüşebildiği. Çünkü kendi ortamlarımızdaki kapasite planlamasını, test süreçlerini ve felaket kurtarma senaryolarını değerlendirirken buradan çıkarabileceğimiz önemli dersler var.
Temmuzdaki değişiklik kasımda nasıl sorun çıkardı?
Microsoft’un açıklamasına göre temmuz ayında, Microsoft 365 servislerine gelen bağlantıları karşılayan network gateway sunucularına özel bir düzeltmeyle eklenen hata, belirli yük koşullarında dahili bir işlemde lock contention (birden fazla işlemin aynı kilitli kaynağa erişmeye çalışırken birbirini beklemesi) sorununa neden oluyordu. Test ortamındaki trafik ve donanım yapısı sorunu ortaya çıkarmamıştı. Ancak prod ortamdaki daha fazla işlemci çekirdeğine sahip, yüksek kapasiteli sunucularda bu sorun daha ciddi şekilde ortamı etkiliyordu. Kesintiden yaklaşık 15 saat önce Teams trafiğinin Exchange Online ile ortak gateway altyapısına taşınması ve kapasitenin yaklaşık yüzde 14’ünün bağımsız bir sorun nedeniyle kullanım dışında olması, hatanın tetikleneceği koşulları oluşturdu.
Buradaki test detayı bence özellikle değerli. Daha düşük kapasiteli bir sunucuda yük testi yaptığımızda, uygulamayı yeterince zorladığımızı düşünebiliriz. Ancak eş zamanlı çalışan işlemler ve ortak kaynaklara erişim söz konusu olduğunda, daha güçlü donanım farklı bir davranış ortaya çıkarabilir. Çekirdek sayısının artması, uygulamanın aynı anda yürüttüğü işlerin birbirini nasıl etkilediğini de değiştirebilir.
Bu nedenle ben test ortamını değerlendirirken işlemci ve bellek miktarının yanında, üretimdeki çalışma biçiminin ne kadar temsil edildiğine de bakılması gerektiğini düşünüyorum. Bağlantı sayısı, istek türleri, eş zamanlı işlemler ve trafik dağılımı bu değerlendirmenin parçası olmalı. Bir uygulamanın aylardır çalışıyor olması elbette önemli bir veri; fakat henüz karşılaşmadığı bir yük bileşiminde nasıl davranacağını tek başına göstermiyor.
Kapasite tarafında da benzer bir durum var. Normal trafik altında yeterli görünen boş kapasiteyi, bakım ve failover senaryolarıyla birlikte değerlendirmek gerekiyor. Özellikle farklı servislerin aynı altyapıya taşınabildiği yapılarda, toplam yük kadar bu yükün hangi işlemlerden oluştuğu da önem kazanıyor.
Trafiği sağlıklı sunucuya taşımak neden yetmedi?
Yanıt vermeyen gateway sunucularının trafiği sağlıklı uç noktalara aktarıldıkça, aynı hata diğer sunucularda da tetiklendi. İki saatten kısa sürede ilgili gateway sunucularının yüzde 80’inden fazlası yanıt veremez hale geldi. Microsoft, bölümler arasındaki izolasyon mekanizmalarının da ayrı bir sorun nedeniyle yayılmayı durduramadığını belirtiyor. Yeniden başlatılan sunucular bekleyen trafikle tekrar zorlanınca kurtarma uzadı; çözüm, düzeltmenin sunucu gruplarına uygulanıp hizmetin kademeli açılmasıyla sağlandı.
Buradan kendi altyapılarımız için çıkardığım ders, otomatik yönlendirme kararlarının hedef sistem üzerindeki etkisini de ölçmemiz gerektiği. Bir sunucunun sağlık kontrolüne cevap vermesi, üzerine aktarılacak bütün trafiği karşılayabileceğini göstermiyor. Özellikle aynı yazılımı ve benzer yapılandırmayı kullanan sunucularda, sorunlu davranışın diğer tarafta da oluşabileceğini hesaba katmalıyız.
Örneğin bir uygulama kümesinde iki sunucu devre dışı kaldığında kalan sunuculara daha fazla bağlantı gönderiyoruz. İstemciler de başarısız istekleri tekrar deniyorsa, sistemin işlemeye çalıştığı yük giderek büyüyebilir. Böyle bir senaryoda bağlantı sınırları, kuyruk yönetimi ve tekrar deneme aralıkları doğrudan erişilebilirliği etkiler. Kurtarma planında hangi trafiğin önce kabul edileceğini ve sistemin ne hızla yeniden açılacağını da tanımlamak gerekir.
Bence tatbikatlarda en sık eksik kalan alanlardan biri burası. Sunucuyu kapatıp diğer sunucunun hizmet verdiğini görmek faydalı bir test. Buna, uzun süreli kesintiden sonra birikmiş taleplerin sisteme geri döndüğü senaryoyu da eklemeliyiz. Uygulamanın açılmasıyla iş süreçlerinin sağlıklı biçimde devam etmesi arasında önemli bir fark olabilir.
Kurumsal tarafta neyi gözden geçirmeliyiz?
Ben böyle bir olayın ardından önce bağımlılık haritasına bakarım. E-posta, takvim, onay akışları ve uygulama entegrasyonlarının hangi ortak servislere ihtiyaç duyduğunu netleştirmek gerekir. Kullanıcıların ayrı ürünler olarak gördüğü hizmetler, arka planda aynı bileşene bağımlı olabilir. İş sürekliliği planının bu ilişkiyi göstermesi, kesinti anında hangi işlerin devam edebileceğini anlamayı kolaylaştırır.
İletişim planı da bunun bir parçası. Kurum içindeki bütün kesinti bildirimlerini günlük kullandığımız e-posta ve mesajlaşma platformlarından yapıyorsak, bu kanallara erişemediğimiz durumda çalışanlara nasıl ulaşacağımızı önceden belirlemeliyiz. Kritik ekiplerin iletişim bilgilerine erişebilmesi ve alternatif kanalın daha önce denenmiş olması, olay anındaki belirsizliği azaltır.
Yedekleme yatırımlarını da bu çerçevede değerlendirmekte fayda var. Verinin geri yüklenebilmesi ile çalışanların hizmeti kullanmaya devam edebilmesi farklı ihtiyaçlar. E-posta yedeğinizin bulunması, kesinti sırasında yeni e-posta gönderip alabilmenizi kendiliğinden sağlamaz. Her çözümün hangi iş ihtiyacını karşıladığını açıkça tanımladığımızda, beklentiyi de doğru yönetebiliriz.
Microsoft ölçeğindeki bir platformun bu olaydan hangi teknik değişikliklerle çıkacağını nihai raporla birlikte daha net göreceğiz. Yazıyı hazırlarken erişebildiğim belge ön olay raporu olduğu için, açıklanan nedenleri de bu kapsamda değerlendiriyorum.
Benim kurumlar için önerim, bir sonraki süreklilik toplantısında mevcut failover senaryolarını birikmiş trafik, azalmış kapasite ve ortak servis bağımlılıklarıyla birlikte yeniden ele almak. Böyle bir çalışma, kağıt üzerinde sahip olduğumuz yedekliliğin gerçek çalışma koşullarında ne kadar işe yaradığını görmemizi sağlayacaktır.
Biz de ITSTACK olarak müşterilerimiz için Disaster Recovery ve Business Continuity planlarını hazırlarken bu konulara odaklanıyoruz. Hangi iş uygulamasının ne kadar süre devre dışı kalabileceğini, kabul edilebilir veri kaybını, servis bağımlılıklarını ve kesinti sırasında operasyonun nasıl devam edeceğini birlikte değerlendiriyoruz. Ardından bu ihtiyaçlara uygun mimariyi ve kurtarma adımlarını belirleyip testlerle doğruluyoruz. Çünkü kesinti anında hangi sistemin hangi sırayla açılacağının, kimin ne yapacağının ve çalışanların işlerine nasıl devam edeceğinin önceden belli olması gerekiyor. Kendi ortamınızda da yedeklerin alındığını biliyor, ancak uzun süreli bir kesintide operasyonun nasıl devam edeceğinden emin olamıyorsanız, mevcut planlarınızı birlikte değerlendirmek için doğru zaman olabilir.
Kaynaklar

