Crawl Profile Editor

Ideen und Vorschläge sind willkommen.

Crawl Profile Editor

Beitragvon LA_FORGE » Sa Apr 04, 2009 2:50 pm

Ich habe einen Wunsch beim Crawl Profile Editor. Wenn ein Crawl automatisch gestoppt/terminiert wird hätte ich gerne eine Möglichkeit zu erfahren warum er terminiert wurde.

Ich bin blind und habe Schwierigkeiten größere Logfiles auszuwerten und finde deshalb den Fehler nicht warum der Crawl-Job terminated wurde. RAM habe ich dem Peer genug zugewiesen, auf der Festplatte sind auch noch über 250 GB frei.

Vielen Dank!!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawl Profile Editor

Beitragvon LA_FORGE » Sa Apr 04, 2009 7:58 pm

Code: Alles auswählen
W 2009/04/04 19:15:08 FILEHANDLER Unexpected error while processing query.
Session: Session_202.60.94.100:59780#0
Query:   /yacy/hello.html
Client:  202.60.94.100
Reason:  java.io.IOException: FileUploadException Stream ended unexpectedly
java.io.IOException: FileUploadException Stream ended unexpectedly
   at de.anomic.http.httpd.parseMultipart(httpd.java:909)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:361)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:260)
   at de.anomic.http.httpd.POST(httpd.java:629)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Was bedeutet das? Kann das evtl. den Fehler verursachen dass ein Crawl terminated wird?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawl Profile Editor

Beitragvon LA_FORGE » Sa Apr 04, 2009 8:12 pm

Oder kann der Fehler durch eine zu alte

Code: Alles auswählen
Stefans-MacBook-Pro:~ stefan$ java -version
java version "1.5.0_13"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_13-b05-237)
Java HotSpot(TM) Client VM (build 1.5.0_13-119, mixed mode, sharing)


Java-Version verursacht werden?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawl Profile Editor

Beitragvon Low012 » So Apr 05, 2009 12:14 pm

Mit deiner Java-Version sollte es keine Probleme geben. Die von dir gepostete Fehlermeldung hat, wenn ich mich nicht völlig irre, ihre Ursprung beim Peer-Ping, wo wohl etwas schief gelaufen ist. Das dürfte aber das Crawling nicht beeinflussen.

Ich habe mal ein bisschen geschaut, was wegen der Ausgabe des Grundes der Terminierung möglich ist. Leider habe ich keine Stelle gefunden, wo diese Information gespeichert wird. Wenn ein Crawl aktiv ist, ist sein Profil in der Datei /DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.heap gespeichert. Die dort gespeicherten Daten sind die Parameter des Crawls, wie zum Beispiel der Startpunkt, die Crawltiefe und der ganze Kram. Wenn ein Crawl beendet ist, wandert das Profil in die Datei crawlProfilesPassive.heap. In diese Datei werden aber nur die gleichen Daten geschrieben, wie in die, in der das Profil vorher drin war, aber nicht der Grund, warum der Crawl zuende ist. Damit der Grund angezeigt werden kann, müsste also das Profil erweitert werden, so dass es nach der Beendigung des Crawls auch den Grund enthält, der dann ausgelesen werden kann, wenn die Profilübersicht aufgerufen wird. Außerdem müsste noch dafür gesorgt werden, dass an der Stelle, wo festegestellt wird, dass der Crawl am Ende ist, der Grund dafür herausgefunden wird und diese Information dem Profil hinzugefügt wird. Ich weiß jetzt leider nicht, wo und wie festgestellt wird, ob ein Crawl am Ende ist. Wenn nur geschaut wird, ob alle Queues leer sind, wäre immer noch nicht klar, ob der Crawl normal beendet wurde oder es irgendeinen besonderen Grund gab.

Eine schnelle und einfache Lösung kann ich daher leider im Moment nicht anbieten.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron