Logging zu umfangreich

Ideen und Vorschläge sind willkommen.

Logging zu umfangreich

Beitragvon jaka » Do Aug 08, 2013 4:59 pm

Hallo,

vor ein paar Wochen bin ich auf yacy gestoßen und finde das Projekt echt super. Respekt!

Zunächst hatte ich yacy auf einem kleinen VServer mit Debian getestet. Da hat mir schon nicht ganz gefallen, dass yacy standardmäßig so umfangreich loggt. Die Konfiguration hat aus irgendeinem Grund nicht richtig funktioniert und ich habe mich dann damit abgefunden, da die Logs eine feste Größe haben und wohl nur etwas zusätzliches I/O entsteht.

Anschließend habe ich yacy auf meinem Desktop mit Arch Linux installiert. Da das DATA-Verzeichnis bei mir auf einer extra Partition ist, habe ich mir keine Gedanken zu den Logs gemacht.
Gestern habe ich zufällig das /var Verzeichnis durchstöbert und musste feststellen, dass der Journal-Dienst von systemd fleißig Logs von yacy sammelt. Die Logs reichen 2 Wochen zurück und haben eine Größe von über 3GB. Da das ganze auf einer SSD liegt ist das doppelt ärgerlich, da unnötig Platz verschwendet wird und die SSD abnutzt. :o
Zum Spaß habe ich gerade die Einträge bzw. Zeilen gezählt und komme auf 5.244.065 Zeilen für yacy. Der Rest ist gerade mal 56.073 Zeilen lang. Yacy ist also für über 98% der Zeilen verantwortlich.

Meiner Meinung nach reicht es standardmäßig nur Warnungen bzw. Fehler zu loggen. Wofür braucht ein normaler Nutzer beispielsweise jede gecrawlte URL in seinem Log? Die Logs laufen teilweise so schnell durch, dass sich das sowieso nur schwer überblicken lässt. (Bei der Entwicklung könnte ich die Notwendigkeit noch verstehen.)
Bei mir habe ich die Konfiguration jetzt umgestellt. Das hat nun auch den positiven Effekt, dass wichtige Fehlermeldungen und Warnungen nicht untergehen.

Prinzipiell müssten auch andere Arch-Nutzer (bzw. systemd-Nutzer) das Problem haben. Wenn das Verhalten bei Yacy nicht angepasst werden kann, müsste man das eventuell über das Arch User Repository machen.

Grüße, Jan
jaka
 
Beiträge: 1
Registriert: Mi Jul 24, 2013 3:14 pm

Re: Logging zu umfangreich

Beitragvon surfvive » Fr Sep 13, 2013 9:17 am

Hallo Jan,
bei mir sieht das ganz ähnlich aus :). Ich habe allerdings noch keinen Durchblick bei den ganzen Logging-Optionen. Kannst Du hier evtl. deine Änderungen Posten? Das würde zumindest mir schon einmal weiter helfen. Vielleicht machtes auch Sinn daraus etwas für das WIKI zu formulieren.
surfvive
 
Beiträge: 23
Registriert: Do Mai 24, 2012 9:02 am
Wohnort: Hannover


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste