Google Cloud London: Redundant. Außer wenn man Redundanz braucht.

Cloud.

Hochverfügbar.

Redundant.

Zwei Strompfade.

USV.

Dieselgeneratoren.

Zwei Steuerungen.

Alles da.

Dann fällt tatsächlich der Strom aus.

Und die Generatoren starten nicht.

Peinlich hoch zehn.

Google hat inzwischen erklärt, was beim großen Ausfall der Londoner Cloud-Region passiert ist.

Und ehrlich:

Man muss da gar nichts dazudichten.

Das ist schon fertig.

Einer der beiden Strompfade war wegen Wartung außer Betrieb.

Dann fällt der andere aus.

Unangenehm.

Aber genau dafür stehen da ja Notstromaggregate herum.

Also:

Netz weg.

USV übernimmt.

Diesel an.

Server laufen weiter.

So der Plan.

Nur leider sah die Steuerung weiterhin Spannung.

Nicht dort, wo das Rechenzentrum tatsächlich Strom bekam.

Sondern vor einem geöffneten Schalter des anderen Strompfads.

Dort war Strom.

Hinter dem Schalter:

nicht.

Die Steuerung dachte trotzdem:

Alles prima.

Generatoren blieben aus.

Server dunkel.

Steuerung zufrieden.

Das muss man erstmal hinbekommen.

Das ist wie eine Tankanzeige, die „voll“ meldet, weil an der Tankstelle neben dir noch Benzin liegt.

Technisch irgendwo wahr.

Für dein Auto trotzdem eher nutzlos.

Noch schöner:

Es gab zwei Steuerungen.

Redundant.

Beide mit derselben Logik.

Also haben beide denselben Mist gedacht.

Doppelte Sicherheit. Doppelter Denkfehler.

Redundanz mit Durchschlagpapier.

Die USV hat übrigens funktioniert.

Kurz.

So, wie sie soll.

Sie soll überbrücken, bis die Generatoren laufen.

Nur wenn die Generatoren nicht laufen, wird aus „Überbrückung“ irgendwann einfach:

Batterie leer. Feierabend.

Und dann fiel nicht nur irgendeine einzelne Kiste aus.

Eine komplette Zone bekam massive Probleme.

Andere Systeme mussten Last übernehmen.

Dort wurde es eng.

Failover verzögerte sich.

Control-Plane-Komponenten griffen weiter auf kaputte Dinge zu.

Fehler schwappten über die eigentliche Zone hinaus.

Cloud ist eben großartig.

Ein Problem steht in Raum A.

Und fünf Minuten später weiß Raum C auch davon.

Das eigentlich Peinliche ist nicht der Stromausfall.

Strom fällt aus.

Kabel gehen kaputt.

Wartung passiert.

Das ist genau der Grund, warum man Notstrom baut.

Peinlich ist:

Der Notstrom hat die Notlage nicht erkannt.

Die Generatoren waren da.

Die Batterien waren da.

Die Steuerungen waren da.

Die Redundanz war da.

Nur die entscheidende Frage offenbar nicht:

„Kommt der Strom eigentlich wirklich hier an?“

Ach.

Google zieht jetzt Konsequenzen.

PLC-Logik ändern.

Vollständige Lasttransfer-Tests.

Andere Standorte prüfen.

Notfallverfahren erweitern.

Das Personal soll die Abläufe regelmäßig üben.

Sehr sinnvoll.

Klingt nur leider auch ein bisschen nach:

Vielleicht hätten wir den echten Notfall vorher mal echt testen sollen.

Nicht:

Generator startet im Test.

Haken dran.

Sondern:

Strom weg.

Was passiert?

Startet der Diesel?

Bleibt das Rechenzentrum an?

Oder zeigt irgendwo ein Display fröhlich:

HEALTHY

während hinter ihm gerade alles ausgeht?

Die Architektur kann noch so durchdacht wirken – wenn genau das reale Fehlerbild nicht sauber getestet wurde, hilft dir die schönste Redundanz wenig.

Und das ist eigentlich die ganze Geschichte.

Cloud ist keine Wolke.

Cloud ist ein Gebäude.

Mit Kabeln.

Schaltern.

Batterien.

Dieseln.

Steuerungen.

Und manchmal einer Steuerung, die fest davon überzeugt ist, dass alles läuft.

Während das Rechenzentrum gerade dunkel wird.

High Availability.

Außer montags.