Door John P. Desmond, AI Trends Editor  

Dinsdagochtend 8 juni gingen veel websites plat na een storing bij cloudservicebedrijf Fastly, een content datanetwerk (CDN) provider.  

De getroffen sites waren Amazon, Hulu, The New York Times, CNN, The Guardian, Bloomberg News, The Financial Times en The Verge. Ook werden de Reddit-, Pinterest- en Twitch-platforms getroffen.   

In een bericht op de Snel bloggen op de dag van de storing verklaarde Nick Rockwell, senior VP van engineering en infrastructuur van het bedrijf, dat er per ongeluk een bug was geïntroduceerd door de eigen ontwikkelaars van het bedrijf in een software-update, en die bug werd geactiveerd toen een klant een CDN-configuratie aanpaste, wat een routineprocedure is.   

“We hebben de storing binnen een minuut gedetecteerd, vervolgens de oorzaak geïdentificeerd en geïsoleerd en de configuratie uitgeschakeld. Binnen 49 minuten functioneerde 95% van ons netwerk normaal”, aldus Rockwell, die verontschuldigend was. "Deze storing was breed en ernstig, en het spijt ons echt voor de impact op onze klanten en iedereen die op hen vertrouwt." 

De schaderadius was groot, waardoor alarm werd geslagen totdat de oorzaak van de storing bekend was en de service werd hersteld.  

'Cascading Failure' is het resultaat van een bug in een software-update 

Complexe cloudgebaseerde systemen met veel afhankelijkheden vormen risico's, vooral als er iets misgaat. "Je kunt eindigen met deze oplopende mislukkingen", zei Christopher Meiklejohn, een PhD-student aan het Carnegie Mellon's Institute for Software Research, in een account van Vox. “Ze zijn moeilijk te debuggen. Ze zijn stressvol en moeilijk op te lossen. En het kan heel moeilijk zijn om ze in een vroeg stadium te detecteren als je erover nadenkt om die verandering door te voeren, omdat de systemen zo complex zijn en er zoveel bewegende delen bij betrokken zijn.” 

De enorme systemen van CDN's zoals Fastly, een van de vele, kunnen duizenden servers omvatten die over de hele wereld worden ingezet, zei Meiklejohn, waardoor het waarschijnlijker is dat een storing wijdverbreid zal zijn als er een fout wordt geïntroduceerd in de kernsoftware. Het feit dat de bug werd gemist door Fastly's kwaliteitscontroleproces is beschamend voor het bedrijf. "We zullen uitzoeken waarom we de bug niet hebben ontdekt tijdens onze softwarekwaliteitsborging en testprocessen," verklaarde Rockwell in zijn bericht. 

Het Vox-account vergeleek de Fastly-storing met die in 2011 toen een Amazon-cloudcomputingsysteem, Elastic Block Store, crashte en Reddit, Quora en Foursquare offline haalde. Na het incident verklaarde Amazon dat een van zijn technici per ongeluk een technisch probleem veroorzaakte dat door zijn systemen reisde en de storing veroorzaakte.  

De Fastly-storing werd in een account in een "objectieve les in internetfeilbaarheid" genoemd The Financial Times. De schrijver van het account verklaarde: “De mislukking is een herinnering dat 'bugs' begraven liggen in alle nieuwe softwareprogramma's. Misschien zal kunstmatige intelligentie ooit in staat zijn om alle situaties waarin een stukje software kan falen te anticiperen en op te lossen.” 

De CDN's brengen inhoud dichter bij de gebruikers, wat de responstijden verbetert, inclusief CDN-services: webcaching, verzoekrouting en server-load balancing, om laadtijden te verkorten en websiteprestaties te verbeteren, volgens een account van g2, die gebruikers begeleidt bij de selectie van software en diensten.   

Bedrijven die CDN's gebruiken, zijn onder meer aanbieders van online videostreaming en e-commercebedrijven waarvan de diensten nadelig worden beïnvloed door slechte prestaties. CDN-services worden vaak gebruikt in combinatie met: hostingdiensten voor websites om de leveringssnelheden van inhoud te optimaliseren.  

Klanten hebben veel opties voor welke CDN ze kunnen gebruiken. G2 heeft meer dan 100 CDN's op zijn account vermeld. Fastly stond in de top 10, waaronder ook Cloudflare, CloudFront, KeyCDN, Microsoft Azure CDN en Google Cloud CDN. 

Bedrijven met meerdere CDN's konden werklasten verschuiven 

Sommige Fastly-klanten waren in staat om de impact van de storing te minimaliseren door werklasten te verplaatsen naar alternatieve providers, volgens een account van Duizend ogen, een netwerkintelligentiebedrijf. De CDN's bieden gedistribueerde lokale bezorging, zonder welke streaming-mediadiensten bijvoorbeeld geen digitale ervaringen van hoge kwaliteit zouden kunnen bieden.   

De meeste CDN's bieden tegenwoordig geavanceerde beveiligingsfunctionaliteit en kunnen veelvoorkomend kwaadaardig verkeer blokkeren, evenals grootschalige denial-of-service-aanvallen. In wezen vervullen de CDN's twee functies: het leveren van inhoud vanaf hun edge-knooppunten aan eindgebruikers en het ophalen van dynamische inhoud van de site-oorsprong om aan de edge te leveren, volgens het ThousandEyes-account.   

Veel populaire sites met een hoog volume gebruiken meer dan één CDN-provider om inhoud aan gebruikers te leveren, voornamelijk voor redundantie maar ook voor het optimaliseren van de prestaties. Dit wordt bijvoorbeeld gedaan door gebruikersverzoeken te verdelen over meerdere CDN's. 

"Hoe een eigenaar van een site of applicatie ervoor kiest om de levering van inhoud te ontwerpen, kan de ernst van de impact van een storing zoals die van Fastly bepalen", aldus de auteur van het account. Angelique Medina, directeur productmarketing voor ThousandEyes. “Sommige klanten van Fastly hadden veerkrachtige leveringsarchitecturen of ze waren in staat om actie te ondernemen om de impact van het incident te verminderen, wat leidde tot zeer verschillende resultaten voor hun gebruikers,” merkte ze op.  

Het bedrijf onderzocht de ervaringen van vier bedrijven in detail. De New York Times en Reddit gebruikten elk de service van Fastly als het verkochte CDN voor hun primaire domeinen, maar de twee bedrijven hadden verschillende ervaringen. Vanaf 9:50 UTC (5:50 uur ET) was Reddit van over de hele wereld uit; service werd ongeveer een uur later hersteld. 

The New York Times in contact heeft gebruikers tijdelijk omgeleid naar de oorspronkelijke servers van de site die worden gehost op Google Cloud Platform, waardoor de downtime van de service voor gebruikers wordt verminderd. Het begin van de storing was vergelijkbaar met de ervaring van Reddit, maar 40 minuten na de storing was de service "aanzienlijk toegenomen", ruim voordat Fastly een oplossing implementeerde. Om 10:50 UTC waren er geen Fastly-servers in het bezorgpad voor de NYT.  

Nadat Fastly de fix had geïmplementeerd, net voor 10:50 UTC, werden de NYTimes-gebruikers teruggestuurd naar de Fastly-servers. Om 11 uur UTC was de site weer in de staat van vóór de storing.  

Amazon gebruikt drie CDN's om zijn site te leveren, waarbij het verkeer over elk wordt verdeeld om de best mogelijke ervaring aan zijn gebruikers te leveren. Amazon heeft zijn eigen CDN-service, Cloudfront, die deel uitmaakt van zijn AWS-aanbod. Amazon gebruikt ook Akamai en Fastly om zijn site te hosten.  

Een voorbeeld van een CDN-uitkijkpunt toonde aan dat het zich op de site van Amazon richtte en net na 8:00 UTC naar een Fastly-server werd geleid. Een paar minuten later werd het doorgestuurd naar een Akamai-server en minder dan 10 minuten later werd het overgeschakeld naar een Amazon-server. "Deze actieve toewijzing van gebruikers over meerdere CDN-services maakt deel uit van de normale bedrijfsvoering van Amazon", aldus Medina. 

Amazon stuurde gebruikers uiteindelijk naar sitecomponenten die werden gehost door zijn eigen CDN en anderen, zoals Akamai en EdgeCast. Rond 10:40 UTC waren de problemen met het laden van de site voor de meeste Amazon-gebruikers opgelost. 

Lees de bronartikelen en informatie op de Snel bloggen, van Voxin The Financial Times, oppompen van g2 en van Duizend ogen.

Coinsmart. Beste Bitcoin-beurs in Europa
Bron: https://www.aitrends.com/infrastructure-for-ai/fastly-outage-holds-lessons-for-cdns-and-website-resiliency/