"Log everything" ist seit einiger Zeit modern: Einfach alles protokollieren um im Bedarfsfall alle Debuggingdaten noch greifbar zu haben. Aber alles zu loggen ist nur die halbe Wahrheit, wenn man die Daten nicht angemessen aufbereitet. In meinem Talk auf dem German Perl Workshop 2014 habe ich unsere Lösung dieses Problems präsentiert.
2011 kam ich in ein mehr als 10 Jahre altes Projekt. Dort herrschte der bei vielen Projekten übliche Loggingmix.
Alle auftretenden Meldungen wurden irgendwo oder auch gar nicht geloggt. Die Priorität spielte dabei keine Rolle: Wichtige Fehlermeldungen gingen unter und Debugmeldungen, die schon längst hätte abgeschaltet sein sollen, wurden aufgehoben.
Log anything ist die simple Antwort alle Probleme: Alles wird aufgehoben und steht im Zweifelsfall zur Verfügung.
Genau darin besteht jedoch das Problem: Nur sehr wenige Meldungen werden tatsächlich benutzt, wenn sie nur "irgendwo irgendwie aufgehoben werden". Die Herausforderung ist in Zeiten nahezu unbegrenzten Speicherplatzes und sich jährlich nahezu verdoppelnder Core-pro-CPU - Zahlen also nicht mehr, tatsächlich alles zu loggen, sondern viel eher das Filtern und Wiederfinden der relevanten Meldungen.
Hier setzt unsere Lösung an: Das TechLog klassifiziert alle eingehenden Meldungen weitgehend automatisch und ist direkt mit unserem Ticketsystem verbunden. Für die Bearbeitung der derzeit rund 50.000 bis 100.000 eingehenden Nachrichten pro Tag fällt nur etwa eine halbe Stunde Arbeitszeit an, der Rest läuft automatisch.
Der komplette Vortrag wird in Kürze als Video verfügbar sein. Hier sind vorab zumindest einmal die Folien: Log_everything_und_dann.pdf.
Xing hat später in einem Lighting Talk ihren Lösungsansatz vorgestellt: Logjam speichert zwar wesentlich weniger Informationen, bereitet diese aber dafür in einer Statistik auf, die Bugs sehr schnell erkennbar macht und bei Bedarf auch die Daten jedes einzelnen Requests liefern kann.
Noch keine Kommentare. Schreib was dazu