Index abspecken

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Index abspecken

Beitragvon henschi » Sa Aug 30, 2008 7:54 pm

Hallo,

nun wird mir der Index bei mir langsam zu groß und ich möchte ihn ein bisschen abspecken.
Welche Möglichkeiten habe ich?
zb: zu alte Sachen, nach Sprache, ...

Gruß
Torsten
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: Index abspecken

Beitragvon Lotus » Sa Aug 30, 2008 8:59 pm

Ich kenne nur die Möglichkeit über den relativ gemütlichen Index Cleaner /IndexCleaner_p.html.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Index abspecken

Beitragvon henschi » So Aug 31, 2008 8:42 pm

Das Abspecken über den Index Cleaner setzt aber voraus, dass ich eine vernünftige Blacklist pflege!
Irgendwie ist das nicht so zufriedenstellend. :-(
Wenn der Index noch weiter wächst, wird er für mich immer mehr zum Problem. So viel Ressourcen kann man doch nicht bereitstellen!
Gibt es keine andere Möglichkeit mehr?
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: Index abspecken

Beitragvon Lotus » So Aug 31, 2008 9:11 pm

Ich seh' gerade: 11 Mio. Links und knapp 8 Mio. Wörter. In diesem Bereich wird es eben langsam I/O-Lastig. Ich fange dann einfach einen neuen Peer an und schalte den alten noch zeitweise ins Netz. Das ist zwar schade, aber als beste Lösung sehe ich nur mehr Peers.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Index abspecken

Beitragvon henschi » So Aug 31, 2008 9:42 pm

Tja, ich werde wohl nicht um einen neuen Index drum rum kommen, da der Index Cleaner gerade einen Out Of Memory error hatte.

Exception in thread "Thread-56" java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space
at de.anomic.kelondro.kelondroSplitTable.keeperOf(kelondroSplitTable.java:305)
at de.anomic.kelondro.kelondroSplitTable.get(kelondroSplitTable.java:211)
at de.anomic.index.indexRepositoryReference.load(indexRepositoryReference.java:95)
at de.anomic.plasma.plasmaWordIndex$ReferenceCleaner.run(plasmaWordIndex.java:946)
Caused by: java.lang.OutOfMemoryError: Java heap space
at de.anomic.kelondro.kelondroRowCollection.ensureSize(kelondroRowCollection.java:218)
at de.anomic.kelondro.kelondroRowCollection.addUnique(kelondroRowCollection.java:337)
at de.anomic.kelondro.kelondroRowCollection.addUnique(kelondroRowCollection.java:306)
at de.anomic.kelondro.kelondroRowSet.put(kelondroRowSet.java:149)
at de.anomic.kelondro.kelondroCache.get(kelondroCache.java:221)
at de.anomic.kelondro.kelondroCache.has(kelondroCache.java:190)
at de.anomic.kelondro.kelondroSplitTable$1.call(kelondroSplitTable.java:274)
at de.anomic.kelondro.kelondroSplitTable$1.call(kelondroSplitTable.java:271)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)


Dann werde ich nun mal schauen wie ich einen neuen Index anlege und meinen alten Hash behalte.
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: Index abspecken

Beitragvon miTreD » Di Sep 02, 2008 5:40 pm

henschi hat geschrieben:Welche Möglichkeiten habe ich?
Alles deaktivieren, außer DHT out.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Index abspecken

Beitragvon Huppi » Di Sep 02, 2008 9:29 pm

So mache ich das auf dem yacy1-Peer auch. Der hat sein Limit erreicht und verteilt jetzt nur noch Index.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Index abspecken

Beitragvon henschi » Do Sep 04, 2008 7:25 pm

Ok, ich habe das nun auch auf nur DHT out eingestellt.
Mit welcher Verteilungsgeschwindigkeit kann man eigentlich rechnen?
Wird im Index wirklich etwas gelöscht?
Wird auch der belegte Plattenplatz weniger?
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: Index abspecken

Beitragvon miTreD » Do Sep 04, 2008 7:28 pm

henschi hat geschrieben:Wird im Index wirklich etwas gelöscht?
Jepp
henschi hat geschrieben:Wird auch der belegte Plattenplatz weniger?
Gute Frage, ich glaube nicht. Kann mich aber auch täuschen. Hab' da nie drauf geachtet, weil nie der PLattenplatz sonder der Arbeitsspeicher das Problem war.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron