YaCy indiziert nicht mehr

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

YaCy indiziert nicht mehr

Beitragvon flori » Mo Jun 16, 2008 2:14 pm

Ich habe ein Crawl über ein Intranet gestartet und nach ~260 URLs hört YaCy auf zu indizieren/crawlen. Es kommen nur noch diese Meldungen:
Code: Alles auswählen
D 2008/06/16 15:06:40 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=80)
D 2008/06/16 15:06:46 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=80)
D 2008/06/16 15:06:52 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=80)

Unter Crawl Kontrolle-> Lokaler Crawlpuffer stehen konstant 631 Einträge.
Im Indexierpuffer sind auch konstant 95 Einträge.

Die URLs sind hauptsächlich PDF-Dateien. Kann es sein, dass das damit zusammenhängt. Er hat aber auch schon einige PDF-Dateien erfolgreich indiziert.

Vielleicht habt ihr noch Tips, wo man suchen könnte bzw. was man ändern kann.

(SVN 4920)
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: YaCy indiziert nicht mehr

Beitragvon Orbiter » Mo Jun 16, 2008 2:20 pm

hast du 'stehen gebliebene' Indexierungsvorgänge in der Indexing Queue (siehe Menüpunkt, rot markierte Einträge)?
Das würde darauf schliessen lassen dass da die entsprechenden Threads in der Indexierungs-Blocking-Queue tot sind, und nun nichts mehr da ist was ein Dokument zur Indexierung annehmen könnte. Bitte dazu gucken ob es eine Exception im Log gibt, die darauf schliessen läßt warum die Indexierungs-Threads gestorben sind (wenn denn das die Ursache ist)
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy indiziert nicht mehr

Beitragvon flori » Mo Jun 16, 2008 2:38 pm

Stimmt. Ich hab 15 rote Einträge im Indexier-Puffer.
Exception wurde durch eine fehlende bcmail-jdk14-139.jar in libx ausgelöst.

Und wie kann ich die Einträge jetzt löschen?
Können die sich nicht automatisch beenden

Vielen Dank schon mal.

EDIT: Das tar.gz mit der fehlenden jar hab ich übrigens von http://www.findenstattsuchen.info/YaCy/latest/
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: YaCy indiziert nicht mehr

Beitragvon flori » Mo Jun 16, 2008 3:49 pm

Ich habe einfach YaCy beendet, das DATA/INDEX-Verzeichnis gelöscht und nochmal angefangen zu crawlen.
Jetzt geht's.
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: YaCy indiziert nicht mehr

Beitragvon Huppi » Mi Jun 18, 2008 7:21 pm

Ich habe bei dem MotoYaCy-Peer auch regelmäßig rot bleibende Einträge in der Queue, die nur mit einem Neustart verschwinden. Ich denke, daß das irgendwie am PDF-Parser liegt ...
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron