Kontrola nad niekontrolowanym: anatomia awarii DC

Kontekst

Piątkowy wieczór, 22:47. Przychodzi alert Telegram: główne centrum danych jest niedostępne. Nie jeden serwer, nie jedna szafa — cały DC. Kaskadowa awaria zasilania, UPS-y nie wytrzymały.

28 instancji MariaDB / MySQL, 3 klastry Galera, 2 ProxySQL. Wszystko offline.

Oś czasu

Wnioski

1. Kopie zapasowe nie wystarczą — bez przetestowanego planu odtwarzania są bezużyteczne
2. Galera IST vs SST — różnica między 2 minutami a 2 godzinami odtwarzania
3. PmaControl wykrył incydent w 12 sekund — przed alertem OVH

Podsumowanie

14 minut od alertu do pierwszego SELECT. To wynik przygotowania, nie szczęścia.

"Kopia zapasowa nie zastępuje strategii odtwarzania." — PmaControl