a sysadmin's life

Irgendwas muß sein, mit dieem Montagmorgen. Er begann früher als geplant. OK, hier war noch kein Held am Werk, sondern nur veraltete Technik. Ein paar Rechner zickten rum. Kommt vor. Aber heute paßt es einfach ins Bild.

Im Büro angekommen bemerke ich zunächst mal wieder einen unfreiwilligen Spammer. Hat ein CGI-Skkript, das sich zum Spammen ausnutzen läßt. Das haben wir ihm vor einer Woche deaktiviert. Mal sehen, ob es ungeändert war oder die Änderung einfach nur nichts taugte. Der kerl bringt uns noch auf die verschiedenen Blacklists dieser Welt.

Dann noch einer. Seine Mailbox ist voll. Und überhaupt bekommt er alle Mails immer gleich diverse male. Tja, vielleich wird's ja einfach besser, wenn man den POP3-Sammeldienst nicht auf die gleiche mailbox ansetzt, in die dieser dann auch ausliefert...

Und es ist erst 11 und ich hab nichtmal eine Tasse meines Büro-Tees zu mir genommen!

Die TKÜV hat den Bundesrat passiert

Dieses Blog ist von einem SysAdmin für andere Sysadmins.

In diesem Sinne:

Tynhog vue Xanyyxbrccr iba Hrorejnpurea rvtragyvpu reafgunsg, vue xbraag zvg qvrfre Znffanuzr nhpu ahe rvara Greebenafpuynt ireuvaqrea? Haq tynhog vue nyyra Reafgrf, qnff Ahgmr va vetraqrvarz Nhsjnaq mh qra Rvaohffra fgrug? Qbpu jbuy avpug jvexyvpu!

Rueyvputrfntg jnrer vpu wn fpuba uvaervpuraq hroreenfpug, jraa vetraqrvare iba Rhpu va qre Yntr jäer, qvrf uvre mh yrfra. Haq qvr fhcreursgvtr Irefpuyhrffryhatfzrgubqr vfg aha vzzreuva onyq mjrvgnhfraq Wnuer nyg. Anwn, jraa rf vetraqrvar Orubreqr gngfnrpuyvpu trfpunssg unora fbyygr, vpu jhrqer zvpu hrore rvar Znvy serhra. Xraajbeg EBG QERVMRUA.

Nafbafgra oevatg qvr tnamr Hrorejnpurerv vz jrfragyvpura Xbfgra. Nyf Natrfgryygre rvarf xyrvara Cebivqref qnes vpu aha rvasnpu zny tnam reafgunsg hz zrvara Wbo onatra. Nore anghreyvpu ung qvrfr Irebqahat nofbyhg avrznyf jnf qnzvg mh gha, qnff qvr yrhgr, qvr qvr mregvsvmvregr Fbsgjner shre ivry mh ivry Tryq mhz evpugvtra Mrvgchaxg sregvt unggra nhpu zvg qrz rva bqre naqrera Cbyvgvxre zny rva Ovrepura gevaxra trura, bqre?

Qvrfr Jryg vfg fb fpuyrpug trjbeqra. Fgnfv jne trfgrea. Fb rva Nzngrhe-Irerva ung va qre Jryg iba urhgr rvasnpu avpugf zrue mh fhpura.

Da bringt sich in Berlin ein Lebensmüder mit seinem Flugzeug durch einen Absturz um. Ganz offensichtlich verfolgt der Mann weder terroristische Ziele, noch hat er irgendwelche Anstalten gemacht, irgendjemand anders mit in den Tod zu reißen.

Unseren Politikern fällt nun ganz zufällig das offensichtliche auf: Ooops, wie konnte der denn da hin kommen? Und schlimmer noch, sie überschlagen sich nun wieder mit den unglaublichsten Vorschlägen, wie man diese immense Gefahr denn nun abwenden könnte. Ich möchte hier mal eine Reihe dieser genialen Vorschläge kommentieren.

Flugverbotszone um den Regierungssitz - vorgeschlagen und angegangen von den meisten, die sich hier zu Wort meldeten. Ein genialer Vorschlag, geradezu. Zum einen, weil sich irgendjemand, der sich und andere umbringen möchte, mit Sicherheit an Gesetzen stört, zum anderen weil man den fraglichen Flieger nichtmal auf dem Radar sehen konnte. Die geplante Verbotszone soll sich am Berliner S-Bahn-Ring orientieren. Nun, davon gibt es zwei - gehen wir zunächst mal von dem S-Bahn-Ring aus, der innerhlab Berlins läuft. Ca. drei Kilometer Abstand vom Ring zum Regierungsviertel, falls ich den Stadtplan auf die Schnelle richtig gelesen habe. Das ist eine Entfernung, die ein durchschnittliches Kleinflugzeug in etwa einer Minute zurücklegt. Eine Minute, die man für eine Reaktion hat - falls man es denn überhaupt sieht.

Luftabwehrgeschütze und bewaffnete Hubschrauber - vorgeschlagen von so einem komischen Bayern (Beckstein), der nun einfach mal gar nichts mit dem Luftraum über Berlin zu tun hat (Herr Beckstein, noch hat sie keiner gewählt - und ich hoffe, das passiert uns auch nicht!). Super Idee. An Arroganz, Ignoranz, technischer Unkenntnis, blindem Aktionismus und Populismus kaum zu übertreffen. Wenn man also das für das Radar quasi unsichtbare Flugzeug kurz vor dem Regiserungssitz zufällig entdeckt hat, dann schießt man ein hochexplosives Luftabwehrgeschoß darauf ab. Wenn man trifft (auch das ist über einer Großstadt nicht ganz so einfach), prasselt dann in einem größeren Umkreis brennender Schrott auf die Bevölkerung einer Millonenstadt - na Hauptsache, der Flieger beschädigt nicht den Rasen vor dem Reichstag.

Transponderpflicht für Kleinflugzeuge - ebenfalls ein unglaublich guter Vorschlag. Und wenn jemand was böses vorhat, wird er sich natürlich exakt daran halten und mit dem eingeschalteten Transponder anfliegen - sonst wäre er für's Radar ja unsichtbar.

Das ist gemessen am Zerstörungspotential, das ein Kleinflugzeug aufweist, alles absoluter Blödsinn. Und wer jetzt mit dem "da könnte ja Sprengstoff drin sein" Argument kommt: Das könnte in jedem blöden Auto, mit dem man dort vorfahren kann, auch. Wo bleibt die Fahrverbotszone?

Und was sagen die Profis? Nun, die deutsche Flugsicherung sieht große Probleme, so ein Verbot überhaupt gegen jemanden mit terroristischen Absichten durchsetzen zu können. Die Bundeswehr mahnt zur Besonnenheit in diesem Zusammenhang.

Liebe Politiker: Wie wäre es, wenn man vor irgendwelchen Maßnahmen mal Leute konsultiert, die sich damit auskennen?

Und nochmal in Richtung Bayern, weil mich der Beckstein irgendwie ganz besonders nervt: Es sterben an jedem einzelnen der folgenden Punkte mehr Menschen als an den Folgen von Terrorismus: Rauchen. Alkohol. Individualverkehr. Ärztliche Kunstfehler. Vermeidbare Haushaltsunfälle. Warum also, Herr Beckstein, machen Sie sich zum Handlanger der Terroristen, indem sie genau das verbreiten, was diese Menschen wollen: Angst- und Schreckensszenarien?

Es gibt ja immer wieder mal Fehler bei Computern. Es handelt sich schließlich um hochkomplexe Systeme. Da fällt dann man eben schonmal eine Komponente aus. Dann wechselt man das Teil aus und alles wird wieder gut.

Und dann gibt es da noch diese anderen Fehler, denen man ewig hinterherjagt, bis man sie glaubt, eingekreist zu haben. Und wenn man dann mit viel Arbeitsaufwand und fast ebensoviel Geld das Problem behoben hat, dann funktioniert auch wieder alles. Mehr oder weniger. Über eine gewisse Zeit. Bis man dann entsetzt feststellt: Alles war umsonst. Der eigentliche Fehler saß ja doch irgendwie woanders.

Und genau so ein Ding war's, weshalb dieses Blog (naja und eine Menge mehr) die letzten Tage nicht erreichbar war. Hoffen wir mal, daß es nun ausgestanden ist. Aber vom Original-Rechner ist ja auch kaum noch was über.

Freude stellte sich ein, als am Abend zuvor die Migration der ersten Kunden auf unsere neue Hard- und Softwareplattform in kurzer Zeit und nahezu ohne Hindernisse geklappt hatte. Doch wer Murphy kennt, der weiß, daß solcherlei Freude in meiner Branche meist ein Vorbote dunkler Schatten ist.

Heute früh um kurz nach fünf war es soweit: Diverse Alarme über ausgefallene Dienste auf verschiedenen Rechnern verhießen nichts Gutes. Von zu Hause war die Ursache des Problem nicht so leicht zu lokalisieren, im Rechnerraum fiel sie dann allerdings sehr schnell auf: Das Netzteil eines Fibre Channel Switches hatte schlapp gemacht. Nicht irgendwann, nein, an Ostern. Schließlich handelte es sich um ein Teil, wo wir nur einen teilweisen Workaround bauen konnten und wo ein Ersatznetzteil gerade nicht auf Lager war.

Mit etwas Aufwand fand sich ein PC-Netzteil und Jörn konnte mit Meßgerät und Erfahrung einen genügend großen Teil der Pinbelegung des Originalnetzteils extrapolieren, um den Switch wieder zum Booten zu bewegen. Da zwar Spannung anlag, aber natürlich nicht alle Steuerleitungen wie beim Original-Netzteil belegt waren, kamen wir in den Genuß der Komik konsequenter Programmierung: Die Maschine behauptete doch tatsächlich steif und fest, sie liefe derzeit ohne Strom...

An einem ganz normalen Tag in einem ganz normalen Büro in einer ganz normalen Stadt. Mails kommen an, Telefone klingeln - Kommunikation auf Hochtouren. Ganz normal. Manche Tage sind allerdings dann doch immer etwas normaler als andere, wenn mal wieder Tag der Helden ist, dann tritt all die Normalität etwas gehäuft auf.

Wir haben hier heute:

• Geister gejagt: Accounts, die es nie gab, gingen verloren, als die zugehörigen Accounts, die es gab, auf ein anderes System umzogen. Irgendwann war die Geisterstunde dann aber auch vorbei, als wir uns verständigen konnten, daß es die fraglichen Accounts einfach wirklich nie gab
• Mit echt wichtigen Leuten Kontakt gehabt: Für erheblich wichtige Projekte, die an plötzlich nicht erreichbaren Leuten hingen theoretische Planungen durchgeführt, die furchtbar unwichtig wurden, sobald es um Verträge ging
• Alte Gräber geöffnet: Gar unkonventionelle Inhalte von eher unwichtigen Datenfeldern korrigiert, die eigentlich in frischen Fällen nur deswegen so aussahen, wie sie aussahen, aber nicht aussehen sollten, weil Leute Mailaccounts anlegen konnten, die das bisher nicht konnten, es aber jetzt können müssen

Und das alles neben all den Dingen, die eigentlich wirklich unsere Arbeit sind.

Samstag, 16 Uhr 15 und 22 Sekunden. Ein leises, unbemerktes Klick geht im Rauschen eines menschenleeren Datacenters unter. Inmitten des akustischen Breis hätte wohl auch ein anwesender Mensch das folgende Abebben des Geräuschs weniger in einem geschlossenen Metallschrank versteckter Lüfter nicht bemerken können. Nichtsdestotrotz bemerkte allerdigs ein Borderrouter in einem anderen Schrank den Carrierverlust auf seinem ATM-Interface. Gemäß seiner Konfiguration erfolgt blitzschnell das Rerouting des Traffics auf einen anderen Uplink. In noch einem anderen Schrank bemerkt eine Telefonanlage den tragischen Verlust eines ISDN Primary Rate Interfaces, teilt das Glück jedoch nicht mit dem vorher erwähnten Borderrouter, eine Ausweichverbindung zur Verfügung stellen zu können. Einige Kilometer von dieser Szene entfernt freut sich der diensthabende Support-Mitarbeiter - ohne zu ahnen, warum er ihm vergönnt sei - über einen ruhigen Samstag Nachmittag. Wenige Kilometer entfernt, in derselben Stadt, beendet der grelle Klang einer SMS den ruhigen Nachmittag eines anderen Mitarbeiters der selben Firma.

Rekonstruktion der Ereignisse: Morgens, natürliches und künstliches Licht lieferten sich im Herzen Berlins am Bahnhof Zoo, den alltäglichen Wettkampf. Die Stadt schläft noch, nur einige wenige sind schon auf den Beinen. In vorgenanntem Datacenter geht ein leises Klick im Rauschen unter. Der Traffic fließt weiter. Das Telefon funktioniert. Der Borderrouter freut sich über die rege Kommunikation mit einem BGP Nachbarn. Die Batterie der USV im Technikschrank eines Telekommunikationsanbieters wird jäh aus dem Schlaf gerissen und beginnt langsam, aber sicher ihre Energie an die sie umgebenden Geräte abzugeben. Techniker, weit entfernt vom Ort des Geschehens, bemerken den Audfall eines Netzteils in selbigem Schrank, beschließen einen Austausch zu normalen Bürozeiten - es sind ja schließlich redundante Netzteile - und messen dem Vorfall keine weitere Bedeutung bei. Den Verlust der Spannungsversorgung auf den funktionierenden Netzteilen bemerken sie genausowenig, wie die sich leerenden Batterien der USV. Und so bleibt dann auch eine Benachrichtigung beim Kunden (sprich bei einem meiner Kollegen oder mir) aus.

Die Ereignisse nach ca. 16:30 Uhr fasse ich kurz zusammen: Anruf bei der Hotline des Telekomanbieters. Klärung der Situation. Eröffnung eines Tickets. Ich fahre in die Firma. Ich finde die rausgknallte Sicherung, schalte sie wieder ein. Internetuplink und Telefon funktionieren wieder. Meldung der Ergebnisse an den Telekomanbieter. Mitarbeiter desselben wird Montag das defekte Netzteil tauschen. Ticket bleibt derweil offen.

Überraschung um 23 Uhr und 45 Minuten. Aus der lustigen Runde am Samstag abend reißt mich kurzfristig der Anruf eines Mitarbeiters des Telekomanbieters. ich befürchte das Schlimmste - ist die Sicherung schon wieder draußen??? Nein. Alles prima. "Dürfen wir das Ticket dann schließen?"...

Das Zauberwort an allen Ecken und Enden im Kampf gegen Spam heißt derzeit Greylisting. Die Sache ist billig, denn man braucht keine großartige Rechenleistung, keine schnellen Platten. Gerade deswegen verbreitet sie sich wohl so gut. Für die, die es nicht wissen, hier die Funktionsweise:

Eine einkommende Mailverbindung wird beim ersten Versuch mit einem temporären Fehler abgelehnt. Die Adresse des einliefernden Mailservers landet dabei für die nächsten x Stunden in einer Whitelist. Spamtools ignorieren temporäre Fehler in den meisten Fällen und liefern die Mail nicht nochmal aus - zuviel Aufwand. Ein echter MTA hingegen versucht nach 5 Minuten nochmals, die Mail auszuliefern, steht dann in der Whitelist und wird die Mail damit auch los.

Klingt simpel und effektiv, warum also steht es in der Kategorie Leid? Nun, die Antwort ist fast simpler als die Technik: Es ist asozial. Denn wenn man mal die hübsche Theorie beiseite schiebt und die Praxis anschaut, stellt man schnell fest, was wirklich passiert, spätestens wenn nicht nur die kleinen Mini-Mailserver von den Spezis, die sich das ausgedacht haben, beteiligt sind:

Ein großer Mailserver - sagen wir ruhig ein Cluster - leidet heutzutage erheblich unter der Mail- und Spamflut. Eine üblicher PC hinter der DSL-Strippe kann 1000 Mails am Tag verarbeiten und wenn es 2000 sind, wird man keinerlei Unterschied merken. Auf großen Plattformen ist ein Unterschied von 10% oder gar 20% Mailaufkommen eine spürbare Sache, die mit teuren Investitionen beantwortet wird. Diese Maschinen arbeiten, damit sich die Investitionen lohnen, so nahe an den Leistungsgrenzen, wie man es eben noch vertreten kann. Wenn so ein Mailservercluster nun auf einen Server mit Greylisting stößt, dann bleibt die fragliche Mail erstmal in der Queue. Eine Queue von 50.000 Mails arbeitet man nicht "mal eben" durch. Der nächste Versuch findet also unter Umständen keineswegs nach 5 Minuten statt, sondern vielleicht erst nach 15 oder 30 Minuten. Klingt nicht schlimm? Kostet aber spätestens dann Geld, wenn die Kunden an der Hotline fragen, warum ihre Mail so lange dauert. Arbeitet man jetzt noch mit shared queues, kann also der nächste Versuch, die Mail auszuliefern von einer anderen Adresse kommen, trifft man auf das nächste Problem: Viele Greylister schalten nicht etwa ein komplettes Netz frei, sondern explizit die Adresse, von der versucht wurde, auszuliefern. Kommt der nächste Versuch von einer anderen Adresse, gibt es zu zweiten mal einen temporären Fehler. Die Mail landet mit einer niedrigeren Priorität in der Queue, wird also erst nach längerer Zeit nochmals versucht auszuliefern. Da kommt man schonmal schnell auf ein paar Stunden.

Asozial ist die Greylisting-Technik, weil man den Aufwand auf andere schiebt. Und zwar nicht auf die bösen Jungs, die merken kaum, daß sie von 5 Millionen Mails 3000 nicht loswerden, sondern man verschiebt es auf diejenigen, mit denen man eigentlich ganz friedlich gewollte Mails austauschen möchte.

Heute morgen fing es an: Am Alteon für die Spamserver war ein Rechner nicht dazu zu bewegen, mit dem Alteon-Port in geordneter Weise zu kommunizieren. Die Konfiguration gab dafür keinen sinnvollen Grund her, der Port wird sich aller Erfahrung nach erholen, wenn der Alteon in einer stillen Minute rebootet wird. Warum nur?

Als ob es damit ncht schlimm genug gewesen wäre, war der Link auf einem Interface im Rechenzentrum in der Gradestraße down. Also war nach der Arbeit hinfahren angesagt. Nur um festzustellen, daß sich das Problem mit einem Reboot (sagen wir besser powercycle) des Rechners beheben ließ.

Sonnenstürme. Ganz sicher.