socket-job interrupted: Too many open files

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

socket-job interrupted: Too many open files

Beitragvon mobidick » Do Jun 17, 2010 9:03 pm

Hallo zusammen,

seit einigen Versionen bekomme ich meinen Peer nicht mehr richtig zum laufen. Er fährt zunächst normal hoch (dauert inzwischen bis zu 15 min), läßt sich dann gewohnt gut bedienen. Nach einiger Zeit aber wird das LOG mit der Meldung "BusyThread socket-job interrupted: Too many open files" ohne Vorwarnung geflutet und zwar komplett; keine anderen Zeilen mehr drin. Dann hilft nur noch ein kill-Befehl, um den Java-Prozess zu beenden.
Ich habe heute die neueste Yacy-Version eingespielt, auch hier unverändertes Problem. Ich habe keine Idee, was verkehrt läuft. Das Einfrieren tritt auch unabhängig davon auf, ob Robinson-Modus oder nicht geschaltet ist. Auch eine höhere Speicherzuweisung half nicht.

Immerhin hatte ich heute das Glück, das nicht das gesamte LOG aus dieser Meldung bestand, sondern einige Zeile mit den Aktionen davor übrig blieben:
I
...
2010/06/17 21:26:50 PLASMA Sending crawl receipt for 'http://www-ccrma.stanford.edu/planetccrma/mirror/fedora/linux/planetccrma/11/x86_64/repoview/qtractor.html' to freemozzotto
I 2010/06/17 21:26:51 PLASMA Received 1 Entries 1 Words [L5P9ScZvpk2s .. L5P9ScZvpk2s]/1299855785025527248 from MuOHZ3ou_X__:KIT01-07custom091203/0.96006924, processed in 0 milliseconds, requesting 1/1 URLs, blocked 0 RWIs
I 2010/06/17 21:26:51 YACY Received 1 URLs from peer MuOHZ3ou_X__:KIT01-07custom091203/0.96006924 in 7 ms, blocked 0 URLs
I 2010/06/17 21:26:55 PLASMA dhtTransferJob: no selection, too many entries in transmission cloud: 43
I 2010/06/17 21:26:55 PLASMA dhtTransferJob: result from dequeueing: true
I 2010/06/17 21:26:55 INDEX-TRANSFER-DISPATCHER starting new index transmission request to 5jSYTr5DVM__
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files
D 2010/06/17 21:26:56 BusyThread socket-job interrupted: Too many open files



Für meine Augen allerdings nichts, was das LOG nicht schon irgendwann einmal geboten hätte.

Info-System: OpenSuSE 11.2 64-bit - für Yacy zugwiesener Speicher: 5120
mobidick
 
Beiträge: 9
Registriert: Fr Feb 12, 2010 3:00 pm

Re: socket-job interrupted: Too many open files

Beitragvon Quix0r » Fr Jun 25, 2010 9:01 pm

Was sagt bei dir ulimit -n? Eventuell ist der Wert zu klein.

Pack dies in z.B. /etc/security/limits.d/filelimits.conf rein: (Datei anlegen, wenn nicht vorhanden; ist kein Verzeichnis limits.d vorhanden, dann limits.conf editieren)
Code: Alles auswählen
* soft nofile 10240
* hard nofile 65535

Edit: Die Sternchen waren auf meiner Debian-Box wichtig!
Zuletzt geändert von Quix0r am Do Jul 08, 2010 10:21 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: socket-job interrupted: Too many open files

Beitragvon mobidick » So Jun 27, 2010 8:47 pm

Hallo,
vielen Dank, das hat sehr gut weitergeholfen. ulimit -n gab mir 1024 aus. Ich habe den Wert zunächst auf 10240 heraufgesetzt mit anfänglichem Erfolg. Ich habe den crawler mit Aufträgen gefüllt, die er sogar deutlich flotter als sonst abgearbeitet hat. Auch die Reaktion der Suche ist interessanterweise deutlich schneller geworden. Allerdings war nach gut 3h wieder Schluß. Wieder die Fehlermeldung und yacy hing fest.

Ich habe das softlimit weiter heraufgesetzt auf den doppelten Wert. Für den "Ruhelauf" scheint das jetzt ausreichend. System läuft seit 4h normal - allerdings noch ohne intensive crawler-Aufträge.

Bisweilen hatte ich nie etwas mit der Justierung der Datei limits.conf zu tun. Per SuSE-Vorgabe steht in der Datei erstmal nichts drin außer der Syntax. Wo die 1024 hinterlegt sind habe ich nicht entdeckt, aber die Änderung in der limits.conf erfüllt ihren Zweck. Jedenfalls ist es Klasse, dass mein Peer wieder in Gang ist und ich ihm wieder Suchergebnisse entlocken kann.
mobidick
 
Beiträge: 9
Registriert: Fr Feb 12, 2010 3:00 pm

Re: socket-job interrupted: Too many open files

Beitragvon Quix0r » Di Jul 06, 2010 9:28 am

Na, dann hat es wenigstens etwas geholfen. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 2 Gäste