RAID – Dentaku

blogger.de gibt es schon immer — also zumindest ungefähr so lang wie die deutsche Blogosphäre. Und es gehört nicht zu blogger.com (das Teil von Google ist) sondern ist ein privates Projekt von Dirk Olbertz (genauer: eine riesige Antville-Installation), das sich hauptsächlich aus Spenden finanziert. Viele Blogs, die ich gerne Lese (z.B. stackenblochen (=Holgi), novemberregen, giardino, …) liegen dort.

Vor etwa drei Wochen wurde der Dienst Opfer eines Festplattencrashs trotz RAID und mit nicht 100% funktionierendem Backup. Das ist doof, aber Murphy ist fies und so kann das jedem mal passieren. Die Datenbank (und damit die Textinhalte der Blogs) konnte vom Backup wiederhergestellt werden, aber viele Bilder sind weg.

Damit möglichst viele davon doch noch gerettet werden können, befinden sich die kaputten Festplatten im Moment in der Datenrettung bei Kroll Ontrack. Das ist kein billiger Spaß, und so müssen bis zum 14. Juli knapp 3100 € zusammengesammelt werden.

Auf der Statusseite betreibt Dirk dafür eine Spendenaktion (das heißt jetzt wohl Crowdfunding), die auch schon einen guten Teil des Geldes sammeln konnte. Ich habe auch etwas in den Topf geworfen, obwohl ich meinen Blogserver ja selbst betreibe, und Ihr solltet das auch tun, weil dieser wichtige Teil der Blogosphäre gerettet werden muss.

Es war eine Verkettung unglücklicher Umstände, eine Redundante Auslegung der Single Points of Failure.

Im großen Fileserver ging eine Platte kaputt. Plötzliche Ein-/Ausgabefehler auf der Systempartition. Das kommt bei der Gesamtzahl von Platten in unserem Serverraum öfter mal vor und stellt normalerweise kein Problem dar; schließlich hat der Rechner einen RAID-Controller. Der kriegt eine neu Platte, und dann soll er die redundanten Daten neu schreiben … dumm nur, dass es sich diesmal ausgerechnet um ein RAID0 handelte.

Wer richtet denn sowas ein?! Tja, keine Ahnung mehr, die Maschine lief so schon einige Jahre, und wer liest sich schon die ganzen BIOS-Meldungen beim Reboot genau durch (macht man ja bei Linux sowieso nicht so oft). Kein Problem, wir haben ja Backups. Also kauften wir zwei neue, größere Platten, richteten sie diesmal als RAID1 ein :-P, und installierten das Betriebssystem neu. Dummerweise ist der ausgefallene Server gerade der Backupserver.

Hätte ich das Backup mal ordentlich eingerichtet, dann hätte ich an einem anderem Ort eine Kopie der Konfiguration des Backupsystems gehabt und eine Bootstrap-Datei, mit der der Dateikatalog ohne den Dateikatalog wiederhergestellt werden kann. Das wollte ich mal machen, wenn ich dazu mal Zeit hätte.

So musste ich den Inhalt des letzten Bands mit dem Notfallwerkzeug bextract (autsch!) auslesen und konnte das Backupsystem mit etwas Handarbeit wieder zum laufen bringen … um dann festzustellen, dass im Backup /var (der Webserver! die Subversion-Repositories!!) und auch einige der Homeverzeichnisse in /export/home fehlen.

Hätte ich das Backup mal ordentlich eingerichtet, dann hätte ich auch die Konfiguration verifiziert (statt nur mal sporadisch die eine oder andere Datei wieder auferstehen zu lassen). Das wollte ich mal machen, wenn ich dazu mal Zeit hätte.

Jetzt gab es keine Alternative mehr; die Platten mussten zum Datenretter. Gut, dass Kroll Ontrack von unserem Büro aus direkt um die Ecke ist. Die haben mir am Telefon schon sehr freundlich und kompetent den Ablauf erklärt, Formulare mit Fragen geschickt und einen ungefähren Preis genannt. Am nächsten (Arbeits-)Tag waren die Platten dort, und nach etwas mehr als einer weiteren Woche hatten wir fast alle Daten wieder zurück. In der Zwischenzeit wurden wir ständig über den Fortschritt der Rettung informiert. Tolle Sache, nicht ganz billig und besser man braucht’s nie.

(Ein paar zusätzliche kleine Haken hat die Rettung übrigens noch: die externe Platte, auf der die Daten wiederhergestellt wurden, ist mit NTFS formatiert. Die UNIX-Rechtestruktur ist damit weg. Ein Teil der Umlaute in Dateinamen ist auch weg. Trotzdem kann ich eine uneingeschränkte Empfehlung aussprechen, denn ohne manche dieser Daten wären wir echt aufgeschmissen gewesen…)