CRAWLER CoreCrawl: too many processes in indexing queue

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

CRAWLER CoreCrawl: too many processes in indexing queue

Beitragvon peter1817 » Fr Okt 03, 2008 8:16 pm

Hallo zusammen,

bei mir ist jetzt schon mehrfach mein WEB interface hangengeblieben und im LOG tauchte die Meldung "CRAWLER CoreCrawl: too many processes in indexing queue" auf. Ich betreibe YaCy unter Linux und der Rechner ist bisher nicht wirklich mit YaCy überlastet (4Kern/4GB Ram freier Plattenplatz). Das was ich im Forum zu diesem Thema gefunden habe hat mich nicht weitergebracht. Gibt es eine Idee woran das liegen kann ?

thx
peter1817
peter1817
 

Re: CRAWLER CoreCrawl: too many processes in indexing queue

Beitragvon Orbiter » Fr Okt 03, 2008 9:23 pm

die indexing queue ist ein Puffer für Files, die schon vom Web geladen wurden, aber noch nicht in den Index geschrieben wurden. Bevor sie in den Index kommen können, müssen sie geparst werden. Wenn du nun hier ein Performance-Problem hast, hast du entweder riesige Files in der Queue die den Parser belasten (obwohl der multi-Threaded ist und deine 4 Prozessoren voll auslasten) oder der Indexierer hat ein Problem mit IO. Wenn du noch keinen besonders großen Index hast, und auch ansonsten keine IO-intensiven Prozesse laufen hast, kann es entweder nur daran liegen, das deine Indexierungsgeschwindigkeit runtergeregelt wurde (hast du an den Perfomance-Einstellungen gedreht?) oder du hast das Ding schon längere Zeit laufen und dein RWI RAM-Index ist voll (100000 Einträge). Je nachdem was der Grund ist, kannst du an den Indexierungsperformance-Einstellungen drehen oder mehr RAM zuweisen. Du hast ja 4 GB drin, hast du YaCy auch mal mehr zugewiesen (standard sind 120 MB)?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron