Questa mattina alcuni dei siti da noi gestiti risultavano non funzionanti, raggiungibili ma non funzionanti, nella maggior parte dei casi il CMS installato segnalava un problema di connessione con il database MySQL.
Quello che è successo è che questa notte, alle 4, è partito un aggiornamento automatico su uno dei nostri server che non è andato a buon fine senza segnalare errori. Una condizione estremamente rara causata da un’errata compilazione di una libreria di MySQL e distribuita per errore da Atomic, uno dei repository migliori e più usati.
Perchè non ce ne siamo accorti? Nessun allarme suonava perchè i siti risultavano regolarmente raggiungibili e non era configurato un allarme per verificare lo stato di MySQL su quel particolare, una nostra leggerezza che ha causato il down di alcune ore di alcuni siti, tra cui anche questo che state guardando.
Per dovere di cronaca aggiungo che il problema riguarda un po’ tutti i server che usano la distribuzione Centos, quello che succede è che nel log non vengono registrati errori (anche l’aggiornamento sembra andato a buon fine) solo che il database server non riparte nè con le buone nè con le cattive; si risolve piuttosto banalmente eseguendo questa istruzione dalla riga di comando:
[su_note]# install -m 0700 -o mysql -g mysql -d /var/lib/mysql-files[/su_note]
E’ una situazione quasi senza precedenti e non mette in discussione quelle che sono le corrette impostazioni del buon amministratore di sistema: installare gli aggiornamenti da repository sicuri, senza far passare troppo tempo, installarli di notte e prevedere un roll back se l’aggiornamento non viene completato con successo. Il nostro errore è stato non configurare un allarme per verificare anche lo stato di MySQL su quel server, lesson learned!
Il server in questione era alla base di molti dei nostri siti editoriali per cui, più che scusarci con i clienti, ci dobbiamo scusare con tutti i lettori dei nostri siti. Saremo pronti ad affrontare un’emergenza simile se dovesse ripresentarsi una situazione del genere.
Lascia un commento