Naar hoofdinhoud
Microsoft-manager Charles Lamanna geeft tekst en uitleg bij de storing

Maanden onopgemerkt, dan plots catastrofaal: Microsoft onthult hoe softwarefout miljoenen gebruikers trof

Artikel luisteren
5min
Meer info

Een softwarefout die maandenlang onopgemerkt bleef, leidde tot een wereldwijde kettingreactie. Dat is volgens Charles Lamanna, topmanager bij Microsoft, de oorzaak van de wereldwijde storing van Microsoft vorige week. "Binnen minder dan 2 uur was meer dan 80 procent van onze servers onbereikbaar", schrijft hij op X.

Lukas Lecluyse
Gepubliceerd:

Vorige week donderdag, rond 18.40 uur, ontving Microsoft de eerste gebruikersmeldingen: klanten konden plots geen verbinding meer maken met onder meer , , ,... De storing zou in totaal ongeveer 20 uur duren en wereldwijd heel wat hinder veroorzaken. 

Relatief snel kwam Microsoft met een verklaring voor de storing: er zou geen sprake zijn van hacking, maar wel van "een overbelasting van de servers". Microsoft-manager Charles Lamanna geeft nu in een voorlopig rapport meer details vrij over wat er precies is foutgelopen.

De kern: een verborgen softwarefout, een onverwachte verschuiving in het netwerkverkeer en een tijdelijke capaciteitsvermindering versterkten elkaar. Daardoor viel een groot deel van de -netwerkinfrastructuur wereldwijd uit.

'Lock contention'

In juli voerde Microsoft een softwarewijziging door aan de servers die al het netwerkverkeer van Microsoft 365 verwerken. "Die wijziging bevatte een verborgen fout", legt Lamanna uit. "Onder bepaalde omstandigheden konden verschillende processen op een server elkaar blokkeren."

Dat heet lock contention, waarbij verschillende processen toegang proberen te krijgen tot dezelfde bron, waardoor ze op elkaar moeten wachten, en de server uiteindelijk vastloopt.

Microsoft heeft het probleem nooit eerder opgemerkt. De wijziging was al maanden geleden wereldwijd uitgerold, en de gebruikelijke tests brachten het probleem niet aan het licht.

De fout trad vooral op bij zwaardere servers, terwijl de software vooral getest werd op minder krachtige servers.

Teams is grote schuldige

De wereldwijde storing is echter niet alleen het gevolg van de softwarefout alleen, maar van een combinatie van factoren. Een van de factoren die een belangrijke rol heeft gespeeld, is Teams.

Ongeveer 15 uur voor de storing schakelde Teams over naar een ander netwerkplatform. Microsoft gebruikt 2 afzonderlijke netwerksystemen om zijn diensten draaiende te houden wanneer er problemen zijn. Teams maakte gebruik van het alternatieve systeem, maar werd vervolgens teruggeschakeld naar het primaire systeem.

Dat primaire netwerkplatform verwerkt ook het verkeer van , de e-maildienst van Microsoft.

Het gevolg: plots nam het netwerkverkeer toe op servers die al gevoelig waren voor de verborgen softwarefout. 

Verminderde servercapaciteit

Volgens Microsoft-baas Lamanna dook er vervolgens nog een 3e probleem op: door een afzonderlijk incident de dag voordien was bijna 14 procent van de servercapaciteit tijdelijk buiten gebruik. In normale omstandigheden zou dat geen probleem geweest zijn, maar in combinatie met de extra overbelasting en de softwarefout werd dat wel een probleem.

Al die problemen leidden tot een sneeuwbaleffect. Door de combinatie van dat extra verkeer en de softwarefout liepen servers vast. Gebruikers werden automatisch doorgestuurd naar andere servers die nog wel functioneerden, maar die servers kregen plots veel meer verkeer te verwerken en botsten op dezelfde softwarefout.

Er ontstond een kettingreactie. Binnen minder dan 2 uur werd meer dan 80 procent van de servers onbereikbaar

Microsoft-baas Charles Lamanna

"Daardoor ontstaat een kettingreactie. Steeds meer servers vallen uit. Binnen minder dan twee uur is meer dan 80 procent van de servers onbereikbaar." Normaal moeten verschillende netwerkonderdelen elkaar afschermen bij problemen. Dat beschermingsmechanisme werkte deze keer niet zoals bedoeld.

20 uur lang problemen

Uiteindelijk sleepten de problemen zich, zoals eerder vermeld, zo'n 20 uur lang voort. Dat veroorzaakte grote hinder voor veel bedrijven. VRT NWS berichtte onder meer over gezondheidsklachten in Phantasialand, grote storing bij Belgische bedrijven en apothekers.

BEKIJK
Kunnen we niet meer zonder Microsoft? "Bedrijven zijn er even afhankelijk van als van water en elektriciteit"

De vraag rijst vooral: hoe kan het zo lang duren vooraleer zo'n groot probleem opgelost wordt?

De automatische herstelmechanismen werkten niet, verklaart Lamanna. "Zodra servers opnieuw online kwamen, werden ze onmiddellijk overspoeld door het verkeer dat zich ondertussen had opgehoopt. Daardoor vielen ze opnieuw uit."

Bovendien was het erg moeilijk om de softwarewijziging terug te draaien. "De wijziging dateerde al van juli. De gebruikelijke systemen om nieuwe softwareversies terug te draaien of tijdelijk uit te schakelen, konden de fout niet snel genoeg ongedaan maken."

Uiteindelijk moest Microsoft een nieuwe software-update ontwikkelen die de problematische code terugbracht naar de vorige, stabiele toestand.

Meest gelezen

  • 1
  • 2
  • 3
  • 4
  • 5

Wat doet ketamine met een mens? VRT NWS Pano volgt het spoor van een drug die België binnenkomt én verlaat.

Lees ook

  • general.player.loading"
  • general.player.loading"
  • general.player.loading"
  • general.player.loading"
  • general.player.loading"