URL-Aufräumer extrem langsam

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

URL-Aufräumer extrem langsam

Beitragvon cfr34x » Fr Mai 14, 2010 3:29 pm

Hallo zusammen!

Ich wollte mal wieder meinen Peer entschlacken und habe deswegen versucht, die nicht mehr verwendeten URLs zu entfernen.

Allerdings läuft der erste Schritt (Zählen der Referenzen) extrem langsam ab - pro Statusausgabe schafft das Programm am Anfang gerade mal 8000 Index-Einträge.
Als ich das das letzte Mal ausgeführt habe, lag diese Zahl noch bei ca. 300000 (allerdings weiß ich nicht, wie lang das schon her ist).

Der Befehl, den ich zum Starten verwende, ist folgender:
Code: Alles auswählen
java -Xmx2000m -Xms2000m -Xmn300m -server -cp /usr/share/java/yacy/yacycore.jar:/usr/share/java/yacy/jcifs-1.3.14.jar de.anomic.data.URLAnalysis -incell INDEX/freeworld/SEGMENTS/default used.dump

Das Programm gibt keine Fehler aus, also glaube ich nicht, dass es an kaputten Daten liegen kann.

Ich habe das ganze mit SVN 6862 und 6872 getestet, beide haben das gleiche Problem.
Mich würde jetzt interessieren, ob das ein allgemeines Problem ist oder ob es doch an meiner Datenbank liegt.

Viele Grüße
cfr34x
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: URL-Aufräumer extrem langsam

Beitragvon sixcooler » Fr Mai 14, 2010 3:53 pm

Hallo,

das der URL-Aufräumer irgendwann viel langsamer geworden ist habe ich auch auf meinen Peers beobachtet - ich denke nicht das deine Datensätze etwas damit zu tun haben.

Die Ursache oder gar ein Lösung habe ich aber leider auch nocht nicht finden können.

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron