URL-DB Cleaner bricht ab....

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

URL-DB Cleaner bricht ab....

Beitragvon Vega » Di Mär 31, 2009 7:12 pm

Ich wollte meine URL-DB mal etwas aufräumen, bei etwa 5% bricht der URl-DB Cleaner ab, und im Log steht:

Code: Alles auswählen
I 2009/03/31 20:04:29 YACY hello: responded remote junior peer '89-176-130-179-371dpnw65' from 89.176.130.179
D 2009/03/31 20:04:36 URLDBCLEANER 547 blacklisted (0.02305020351180596%): DWwvHeatQDzR http://tr.wikipedia.org/wiki/M.%C3%96._50
D 2009/03/31 20:04:38 URLDBCLEANER 548 blacklisted (0.023091457340639446%): DWxRuiNBZwZR http://et.wikipedia.org/wiki/18._november
D 2009/03/31 20:04:40 URLDBCLEANER 549 blacklisted (0.023132522810184377%): DWx2W1oEaihR http://pl.wikipedia.org/wiki/Johann_Christian_Bach
D 2009/03/31 20:04:41 URLDBCLEANER 550 blacklisted (0.023174336318609202%): DWyDR3GMgj5R http://fr.wikipedia.org/wiki/Octobre_1915
D 2009/03/31 20:04:43 URLDBCLEANER 551 blacklisted (0.023215092253658802%): DWy4BAciYU3bURL == null
W 2009/03/31 20:04:43 URLDBCLEANER RuntimeException
java.lang.NullPointerException
I 2009/03/31 20:04:43 URLDBCLEANER UrldbCleaner-Thread stopped


Kann sich das mal jemand anschauen ?

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: URL-DB Cleaner bricht ab....

Beitragvon Orbiter » Di Mär 31, 2009 7:42 pm

ohne Stack trace ist das schwierig. steht da nicht mehr? irgendwo sonst? probier mal: Starten mit -ea (geht nur wenn du das in eclipse als Parameter direkt anfügst oder startYACY.sh editierst) und/oder -l und dann den log in yacy.log angucken.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: URL-DB Cleaner bricht ab....

Beitragvon Vega » Mi Apr 01, 2009 12:31 pm

Heute lief das ganze schon ein Stück länger, leider gab es keine besonders hilfreiche Fehlermeldung... nur wieder:

Code: Alles auswählen
D 2009/04/01 13:23:12 URLDBCLEANER 7498 blacklisted (0.21291772822633684%): FFGuSd8FRczR http://es.wikipedia.org/wiki/Guerra_de_los_Mercenarios D 2009/04/01 13:23:13 URLDBCLEANER 7499 blacklisted (0.21294086411567356%): FFHMqA0C1ZFbURL == null
W 2009/04/01 13:23:13 URLDBCLEANER RuntimeException java.lang.NullPointerException at de.anomic.kelondro.text.MetadataRepository$BlacklistCleaner.run(MetadataRepository.java:362)
I 2009/04/01 13:23:13 URLDBCLEANER UrldbCleaner-Thread stopped


Kann mal jemand von euch mit einem ebenfalls recht großem Index das testen ? Was noch auffällt, diese Funktion ist recht langsam, Start gestern Abend gegen 20 Uhr - Status heute gegen 13 Uhr 20:
Code: Alles auswählen
ThreadToString: Thread[Thread-47,10,]
Insgesamt durchsuchte URLs: 3.521.635 (7,67%)


Gruß, Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: URL-DB Cleaner bricht ab....

Beitragvon Vega » Di Jul 14, 2009 3:07 pm

SVN 0.910/06177 - das gleiche Verhalten, nach ca. 5 % und 1 Tag Laufzeit bricht das ganze ab...

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 5 Gäste

cron