Sorun Yaşandı, Peki O Anda Ağda Ne Oluyordu? | BlueCat LiveAction #15

Historical Network Forensics ile Geçmişteki Ağ Davranışını Yeniden İnceleyin

Saat 10:17. Kullanıcılar kritik bir uygulamaya erişimde yavaşlık yaşadı. 10:24’te birkaç bağlantı koptı. 10:31’de problem ortadan kalktı.

Network ekibi incelemeye başladığında ise hatlar normal, interface’ler up, latency normal, packet loss görünmüyor ve uygulama çalışıyor.

Problem artık yok. Ama yaşandı. İşte network operasyonlarının en zor sorularından biri tam burada ortaya çıkar: Sorun yaşandığı anda ağda ne oluyordu?

Şu Anı Görmek, Geçmişteki Problemi Açıklamaz

Birçok monitoring yaklaşımı mevcut durumu anlamakta oldukça etkilidir. Ancak kullanıcı problemi 30 dakika önce yaşadıysa mevcut değerler bize yalnızca şimdiki ağı gösterir.

Root cause analysis için ihtiyacımız olan şey problemin yaşandığı andaki ağdır. Kısa süreli congestion, routing değişikliği, packet loss veya trafik patlaması ekip incelemeye başlayana kadar tamamen ortadan kalkmış olabilir.

Geçici Problemler En Zor Problemlerdir

Sürekli devam eden bir arızayı analiz etmek görece kolaydır; problem hâlâ oradadır, ölçebilir ve test edebilirsiniz. Intermittent problemler ise bir anda ortaya çıkar, kullanıcıları etkiler ve sonra kaybolur.

• Birkaç dakikalık packet loss

• Kısa süreli latency artışı

• Ani bandwidth tüketimi veya geçici congestion

• Routing veya path değişikliği

• Beklenmeyen trafik artışı

“Şu anda problem görünmüyor” demek, problemin yaşanmadığı anlamına gelmez.

Ağın Hafızası Var mı?

Bir güvenlik olayında kamera kayıtlarında olayın gerçekleştiği saate geri dönersiniz; öncesini, olay anını ve sonrasını incelersiniz. Network operasyonlarında da benzer bir yeteneğe ihtiyaç vardır.

Kullanıcı “Dün 14:05 ile 14:20 arasında uygulama çok yavaştı” dediğinde ekiplerin o zaman aralığına geri dönebilmesi gerekir.

• Trafik ne kadardı ve hangi uygulamalar bandwidth tüketiyordu?

• Latency nasıl değişti, packet loss oluştu mu?

• Hangi network path kullanılıyordu, route değişikliği yaşandı mı?

• Belirli bir source veya destination anormal trafik oluşturdu mu?

Bu soruların cevapları varsa geçmişte kalan problem yeniden analiz edilebilir.

Timeline Tek Başına Yetmez

Bir alarmın saat 10:17’de oluştuğunu bilmek değerlidir; ancak tek başına root cause değildir. Önemli olan aynı zaman dilimindeki farklı sinyalleri ilişkilendirebilmektir.

10:14’te WAN utilization yükselir, 10:16’da backup trafiği artar, 10:17’de latency yükselir, 10:18’de packet loss başlar, 10:20’de application response time kötüleşir ve 10:24’te kullanıcı şikâyetleri gelir.

Bu olaylar aynı timeline üzerinde değerlendirildiğinde bir hikâye ortaya çıkar: Backup trafiği congestion oluşturdu, network performansı bozuldu ve uygulama deneyimi etkilendi.

Historical network forensics’in değeri geçmişteki veriyi saklamak değil, geçmişte ne olduğunu anlamlandırmaktır.

Problemden Öncesine de Bakın

Root cause çoğu zaman kullanıcının problemi fark ettiği anda başlamaz. Kullanıcı saat 10:24’te şikâyet etmiş olabilir; ancak problem 10:15’te gelişmeye başlamış olabilir.

Bu nedenle historical analysis yalnızca olay anını değil, öncesini, olay anını ve sonrasını birlikte değerlendirmelidir. Bu yaklaşım ekiplerin problemin nasıl geliştiğini görmesine yardımcı olur.

“Tekrar Olmasını Bekleyelim” Bir Analiz Yöntemi Değildir

Geçmiş görünürlüğü olmadığında operasyon ekiplerinin önünde bazen tek seçenek kalır: problemin tekrar oluşmasını beklemek.

Kritik bir network ortamında bu kabul edilebilir bir yöntem değildir. Bir problem kullanıcıları bir kez etkilediyse, mevcut telemetry üzerinden geriye dönüp araştırılabilmelidir.

BlueCat LiveAction ile Zamanda Geriye Bakın

BlueCat LiveAction, network telemetry ve performans verilerinin zaman içerisinde analiz edilmesine yardımcı olarak ekiplerin geçmişte yaşanan network davranışını yeniden değerlendirmesini sağlar.

• Trafik davranışı ve flow hareketleri

• Latency değişimleri ve packet loss

• Utilization ve network path davranışı

• Performans anomalileri

Böylece ekipler yalnızca “Şu anda network nasıl?” sorusuna değil, “Problem yaşandığı anda network nasıldı?” sorusuna da cevap arayabilir.

Historical Data, Root Cause Analysis’i Güçlendirir

Geçmiş verinin asıl değeri farklı telemetry kaynaklarını aynı zaman bağlamında ilişkilendirebilmektir.

Bir performans probleminin ne zaman başladığını, hangi network davranışıyla aynı anda gerçekleştiğini, kullanıcı deneyimini ne zaman etkilemeye başladığını ve ne zaman normale döndüğünü görebilmek root cause analysis süresini ciddi şekilde azaltabilir.

Bu aynı zamanda tekrar eden problemlerin fark edilmesini sağlar. Örneğin aynı congestion her pazartesi 09:00’da oluşuyorsa artık rastgele bir problemden değil, tekrarlayan bir davranış modelinden söz ediyor olabiliriz.

Yönetici Notu

Network problemlerinin tamamı operasyon ekipleri ekran başındayken gerçekleşmez. Bazıları birkaç dakika sürer, bazıları gece oluşur, bazıları kullanıcı şikâyeti geldiğinde çoktan ortadan kalkmıştır.

Historical Network Forensics, kurumların geçmiş network davranışını yeniden inceleyerek intermittent problemlerin nedenlerini daha hızlı araştırmasına ve tekrar eden performans sorunlarını ortaya çıkarmasına yardımcı olur.

BlueCat LiveAction ile ağ yalnızca izlenen bir altyapı olmaktan çıkar. Aynı zamanda geçmişi araştırılabilen bir altyapıya dönüşür.

Problem Geçti Diye İzleri Kaybolmasın. Ağınızın Geçmişine Geri Dönün.

BlueCat Wednesday | Enterprise LiveAction Series #15

Prepared by Zero Second

Helping organizations investigate past network behavior and find the root cause faster