Heute gab es eine kleine Katastrophe auf Sparky. Dies ist der Hostname des physikalischen Rechners auf dem 2-5 virtuelle Server mit KVM laufen. Ich habe deshalb KVM als Virtualisierungslösung gewählt, da es seit Langem im offiziellen Linux-Kernel enthalten ist und XEN z.B. noch bei Kernel 2.6.21 rumkriecht (aktuell ist 2.6.26).
Plötzlich froren alle Prozesse ein und der Server musste unsanft mit dem Knopf zum Neustart gebracht werden.
Als erstes danach wollte der NTP-Daemon nicht mehr starten, da das alte PID-File noch mit einer PID rumlag, die nun von einem anderen Prozess genutzt wurde – Lösung: PID-Datei löschen, NTP-Daemon starten
Als zweites konnte ich nun den ersten virtuellen Server starten – einziges Problem: MySQL. Aus dem Error-Log ging hervor dass die Datei ibdata1 kaputt war – Lösung: Backup rauskramen, Datei zurückspeichern. Nach dem Start von MySQL stürzte der Daemon immer gleich beim Zugriff auf einzelne Tabellen wieder ab. Jene des Typs MyISAM konnten einfach mit der MySQL-eigenen Reperatur-Funktion zurechtgebogen werden. Bei einer Datenbank mit InnoDB-Tabellen löschte (verschob) ich den Ordner der DB, erstellte die Datenbank neu, löschte sie wieder (damit das im Log steht, sonst können später keine Tabellen erstellt werden) und erstellte die Datenbank wieder neu. Nun konnte ich aus nächtlichen SQL-Dumps die Daten rekonstruiren.
Zuguterletzt musste nun der virtuelle Mailserver gestartet werden – Meldung: XFS-Dateisystem kaputt. Erster Schritt war nun eine Gentoo-LiveCD herunterzuladen und damit den virtuellen Server zu starten. Das Dateisystem lies sich problemlos mit xfs_repair -L zur Reperatur überreden. Herunterfahren, Mailserver neu starten, alles läuft.