Es war eine Verkettung unglücklicher Umstände, eine Redundante Auslegung der Single Points of Failure.
Im großen Fileserver ging eine Platte kaputt. Plötzliche Ein-/Ausgabefehler auf der Systempartition. Das kommt bei der Gesamtzahl von Platten in unserem Serverraum öfter mal vor und stellt normalerweise kein Problem dar; schließlich hat der Rechner einen RAID-Controller. Der kriegt eine neu Platte, und dann soll er die redundanten Daten neu schreiben … dumm nur, dass es sich diesmal ausgerechnet um ein RAID0 handelte.
Wer richtet denn sowas ein?! Tja, keine Ahnung mehr, die Maschine lief so schon einige Jahre, und wer liest sich schon die ganzen BIOS-Meldungen beim Reboot genau durch (macht man ja bei Linux sowieso nicht so oft). Kein Problem, wir haben ja Backups. Also kauften wir zwei neue, größere Platten, richteten sie diesmal als RAID1 ein :-P, und installierten das Betriebssystem neu. Dummerweise ist der ausgefallene Server gerade der Backupserver.
Hätte ich das Backup mal ordentlich eingerichtet, dann hätte ich an einem anderem Ort eine Kopie der Konfiguration des Backupsystems gehabt und eine Bootstrap-Datei, mit der der Dateikatalog ohne den Dateikatalog wiederhergestellt werden kann. Das wollte ich mal machen, wenn ich dazu mal Zeit hätte.
So musste ich den Inhalt des letzten Bands mit dem Notfallwerkzeug bextract (autsch!) auslesen und konnte das Backupsystem mit etwas Handarbeit wieder zum laufen bringen … um dann festzustellen, dass im Backup /var (der Webserver! die Subversion-Repositories!!) und auch einige der Homeverzeichnisse in /export/home fehlen.
Hätte ich das Backup mal ordentlich eingerichtet, dann hätte ich auch die Konfiguration verifiziert (statt nur mal sporadisch die eine oder andere Datei wieder auferstehen zu lassen). Das wollte ich mal machen, wenn ich dazu mal Zeit hätte.
Jetzt gab es keine Alternative mehr; die Platten mussten zum Datenretter. Gut, dass Kroll Ontrack von unserem Büro aus direkt um die Ecke ist. Die haben mir am Telefon schon sehr freundlich und kompetent den Ablauf erklärt, Formulare mit Fragen geschickt und einen ungefähren Preis genannt. Am nächsten (Arbeits-)Tag waren die Platten dort, und nach etwas mehr als einer weiteren Woche hatten wir fast alle Daten wieder zurück. In der Zwischenzeit wurden wir ständig über den Fortschritt der Rettung informiert. Tolle Sache, nicht ganz billig und besser man braucht’s nie.
(Ein paar zusätzliche kleine Haken hat die Rettung übrigens noch: die externe Platte, auf der die Daten wiederhergestellt wurden, ist mit NTFS formatiert. Die UNIX-Rechtestruktur ist damit weg. Ein Teil der Umlaute in Dateinamen ist auch weg. Trotzdem kann ich eine uneingeschränkte Empfehlung aussprechen, denn ohne manche dieser Daten wären wir echt aufgeschmissen gewesen…)