Mühendisler, ister kurumsal bir sunucu çiftliğinde, isterse evdeki kendi küçük hobi sunucularımızda olsun, çalışma süresi konusunda endişelenme eğilimindedir. Arada sırada bir şeyler ters gider ve kutuyu çevrimdışına alır ve bunu düzeltmek için biraz insan müdahalesi gerekir. İdeal durumda, sorunu çözebilmeniz için hala çalışır durumda olan bir komut bağlantınız olacaktır. Ama bunu kaybedersen başın büyük belaya girer.

Bu ayın başlarında Avustralya'nın en büyük ikinci telekomünikasyon sağlayıcısının başına gelen de tam olarak bu oldu. Sistemler çöktü, milyonlarca kişi bağlantıyı kaybetti ve şirket teknisyenleri parçaları tekrar bir araya getirmek için çabalamak zorunda kaldı. Hadi hemen dalalım ve Optus'ta neler olduğunu keşfedelim son hafızalardaki en utanç verici gün.

Nereye Gidilir?

Her şey, rutin bir yazılım güncellemesinin planlandığı 8 Kasım sabahı 4:05 civarında gerçekleşti. Yükseltmenin bir parçası olarak, Optus'un ağı için Sınır Ağ Geçidi Protokolü'nün (BGP) uluslararası bir eşleme ağından yönlendirme bilgilerinde bir değişiklik oldu. Şirketin olaydan sonraki analizine göre, “Bu yönlendirme bilgisi değişiklikleri ağımızdaki birden fazla katmana yayıldı ve bunları yönetemeyen önemli yönlendiricilerde önceden belirlenmiş güvenlik seviyelerini aştı. Bu, yönlendiricilerin kendilerini korumak için Optus IP Core ağıyla olan bağlantılarının kesilmesine neden oldu."

Bunların hepsi biraz karışık, peki bu ne anlama geliyor? Temel olarak BGP yönlendirme bilgisi Optus yönlendiricilerine internette diğer makineleri nerede bulabileceklerini söyler. Yönlendirme bilgisi güncellemeleri, Optus'un küresel internete erişmek için kullandığı Singtel internet değişimi STiX'ten geldi. Olan şu ki, güncellemeler Optus'un kendi yönlendiricilerini aştı ve bu yönlendiriciler, rota güncellemelerinde belirli bir varsayılan eşik düzeyine ulaşıldığında yanıt olarak kapandı. Bu sınırlar fabrikadan yönlendirici ekipmanında önceden yapılandırılmıştır. Bu durum Optus'un çekirdek ağındaki yönlendiricilerde meydana geldiğinden ve çevrimdışı olduklarında telekomünikasyon şirketinin tüm ulusal ağını devre dışı bırakarak ses, mobil ve internet müşterilerini etkilediler.

Mühendisler ilk altı saati olayın çeşitli nedenlerini araştırırken, milyonlarca kişi ölü internet bağlantılarına ve sinyalsiz telefonlara uyandı. Ekipler, Optus'un kendisi tarafından yapılan son değişiklikleri geri aldı ve bunların bir tür DDoS saldırısı altında olup olmadığına baktı. Sonunda mühendisler, ağ üzerinden yayılan yönlendirme bilgisi güncellemelerinin aşırı yüklenmesini önlemek için yönlendiricilerin kendi kendini izole etmesi sorununu belirlediler. Yönlendirmeyi normale döndürmek, ağların tekrar çevrimiçi olması için yeterliydi; mühendisler, süreç sırasında uygunsuz sürprizlerden kaçınmak için trafiği Optus'un omurgasına dikkatlice yeniden dahil ediyordu. Optus sonunda suçu otomatik güvenlik mekanizmalarına yükledi: "Artık kesintinin, kendilerini aşırı IP yönlendirme bilgisinden korumak için yaklaşık 90 PE yönlendiricisinin otomatik olarak kendi kendini izole etmesi nedeniyle meydana geldiği anlaşıldı. Bu kendini koruma sınırları, ilgili küresel ekipman satıcısı (Cisco) tarafından sağlanan varsayılan ayarlardır." Bu belki de kendini koruma sınırlarının gereğinden fazla ihtiyatlı olduğunu ve gerçekten gerekli olmadığı halde ağı çevrimdışına aldığını ima ediyor.

Optus'a göre, 150 mühendis doğrudan sorunun araştırılmasında ve hizmetin onarılmasında görev alırken, diğer 250 personel ve 5 tedarikçi de destek olarak çalışıyordu. Bu arada, tekrar çevrimiçi olma çabaları, Optus'un ağının kapalı olması nedeniyle teknisyenlerin sorunu çözmek için ağdaki makinelere erişmelerinin zor olması nedeniyle hüsrana uğradı. Sonuçta Optus'un sistemlerini tamamen tekrar çevrimiçi hale getirmesi tam on dört saat sürecek ve teknisyenlerin bazı ekipmanları tekrar çevrimiçi duruma getirmek için bizzat müdahale etmesi gerekecek.

Büyük bir BGP çöküşüyle ​​​​sorun yaşayan tek şirket Optus değil. Facebook, 2021'de ayarların yanlış yapılması nedeniyle birkaç saatliğine internetten kaybolduğu biliniyor. kendi omurga yönlendiricilerinden birkaçı.

Sonrası

Bu benzeri görülmemiş kesintinin sonucu, Optus'un geçici olarak Avustralya medyasında 1 numaralı halk düşmanı haline gelmesiydi. Ülke genelinde milyonlarca kişi, günü internet bağlantısı olmadan, mobil bağlantı olmadan ve Optus'tan gerçekte neler olup bittiğine dair çok az veya çok az güncelleme yapmadan geçirmişti. Müşteriler, kendi cihazları aracılığıyla internete erişme veya arama alma yolları olmadığından güncellemeleri gazete, radyo ve televizyon gibi geleneksel medya aracılığıyla almak zorundaydı. Neyse ki, cep telefonu kullanıcıları en azından alternatif cep telefonu ağları aracılığıyla acil servislerle iletişim kurabildiler, ancak sabit hat kullanıcılarının bağlantısı kesildi.

Optus SIM kartlarıyla EFTPOS ödeme terminallerine güvenen işletmeler ödeme alamıyorken bankalar, hastaneler ve hatta bazı tren seferleri de etkilendi. Sürücülerin kontrol merkeziyle iletişim kuramaması nedeniyle Melbourne tren ağı bir saat süreyle kapatıldı ve gün boyunca yüzlerce tren iptal edildi. Optus'a gelince, CEO Kelly Bayer Rosmarin'in kesinti nedeniyle birkaç hafta sonra istifa etmesiyle birlikte gün geçtikçe borsada 2 milyar dolar değer kaybetti. Şirket şu ana kadar müşterilere kesintinin telafisi olarak 200 GB ücretsiz veri teklif etti. Pek çok kişi için, özellikle de bu dönemde ticarette yüzlerce veya binlerce dolar kaybeden küçük işletmelerde olanlar için, soğuk bir rahatlık olduğu kanıtlandı.

Senaryonun tek kazananı Optus'un ana rakipleri Telstra ve Vodafone oldu. İki şirket, ülke çapında ev internet bağlantıları sunmanın yanı sıra rakip hücresel ağları da yönetiyor. Bu felaketin, Optus'ta müşterilerin toplu olarak tehlikeye atıldığı büyük bir veri ihlalinden yalnızca bir yıl sonra meydana gelmesiyle, iki şirket, rakiplerinin müşteri tabanını çalma konusunda dolar işaretleri görecek.

Sonuçta Optus'un düşüşünden öğrenilecek bir ders var. Önemli sistemler, bir şeyler ters gitse bile toplu olarak çökmeden rutin bir güncellemeyi gerçekleştirebilmelidir. 2023'te müşteriler, özellikle de kötü yapılandırılmış ekipmanlar nedeniyle 14 saat boyunca bağlantının kesilmesini kabul etmeyecekler. Bağlantı artık insanlar için neredeyse soludukları hava ve içtikleri su kadar önemli. Bunu elinizden alın ve çok çabuk üzülürler.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://hackaday.com/2023/11/22/australias-second-largest-telco-went-dark-and-chaos-reigned/