Parallele Crawler- und Indexier-Prozesse minimieren

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon thomas » Mi Sep 17, 2008 9:24 pm

Hallo zusammen,
leider habe ich keine Informationen dazu finden könne, ob und wenn ja wie ich Yacy auf minimalen RAM optimieren kann. Ich habe einen vserver und kann für Yacy nur 50 MB RAM zur Verfügung stellen. Sobald ich einen Crawl starte läd er mit zig Crawlern und dutzenden Indexierern parallel und hängt sich dann auf (es geht nix mehr außer der Weboberfläche), da er keinen RAM mehr hat. Nach einem Neustart funktioniert das ganze für einige Zeit und dann ist der Speicher wieder voll und es geht nichts mehr. Ich würde gerne Yacy mit den freien Ressourcen meines VServers unterstützen, aber dazu dürfte er wohl höchstens eins nach dem anderen machen und nur mit einem Prozess crawlen und mit einem indexieren und nicht alles hochparallel.

Kann ich das irgendwo abschalten?
thomas
 

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon Huppi » Mi Sep 17, 2008 11:04 pm

Ich habe YaCy auf einem vServer von Server4You installieren können, habe die Zahl der Remotecrawls im Webinterface auf 1 gesetzt und die Wartezeiten zwischen Crawl- und Indexing-Zeiten vergrößert, dito für DHT. Damit lief YaCy dann, mit dem Starten weiterer Java-Programme gab's dann aber doch Speicherengpässen. Orbiter betreibt einen YaCy-Peer auf einem vServer und kann sicher mit weiteren Tips helfen.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon Orbiter » Mi Sep 17, 2008 11:16 pm

höhö, ich sitze leider mit meinem vServer fest. seit einiger Zeit crasht die Kiste immer, und egal wieviel Speichersparende Mittel ich aktiviere: geht nicht. Bin ein wenig ratlos.
Eine Lösung könnte es tatsächlich sein, die Anzahl der Threads beim Indexieren von der Speichermenge und nicht nur der Anzahl der Prozessoren abhängig zu machen. Ich gucke mal.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon Gast » Do Sep 18, 2008 3:49 pm

Huppi hat geschrieben:Zahl der Remotecrawls im Webinterface auf 1 gesetzt und die Wartezeiten zwischen Crawl- und Indexing-Zeiten vergrößert


Wo gab es denn die Option? Heißt die auch so? Irgendwie bin ich wohl blind und finde es nicht. Wo genau muss ich suchen? Das hört sich ja nach dem an, was ich suche. Mein vserver hat soviel Traffic übrig, den würd ich gerne für's Yacy-Projekt auf den Kopf hauen...
Gast
 

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon r.bircher » Do Sep 18, 2008 4:07 pm

Ich hab hier mit einer normalen Kiste dieses Problem Die Kiste ist nicht gerade leistungsschwach. Core 2 Duo 2.4 GHz mit 2 GB Ram. Auf dieser laufen allerdings noch ettliche andere Sachen, aber das scheint keinen Einfluss zu haben. Erst habe ich auch die Symtome, dass YaCy hängen bleibt. Gehe ich in die Task, hat Java so um die 80 % Auslastung. im normalfall sind das so um die 4 - 5 %

Java killen, runYacy oder wie die File auch immer heisst in DATA löschen, Yacy starten, Yacy läuft wieder.

Dieses Spielchen wiederhole ich ein paar mal, dann nimmt es neue Dimensionen an:

startYaCy.command (hab einen Mac) ausführen... warten warten warten... Nichts geschieht.
Prozess Java anschauen. 16 Mio TerraByte Virtueller Speicher ... ähm, irgendwas geht da schief ;-)

Es gibt dann nur eine Variante, den YaCy Ordner Plattwalzen Neues YaCy drauf, funzt wieder

YaCy Version 0.59

Gruss Raphael
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon Lotus » Do Sep 18, 2008 6:09 pm

r.bircher hat geschrieben:YaCy Version 0.59

Versuche einmal ob du es mit Version 0.60 auch schaffst. :)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon Orbiter » Do Sep 18, 2008 6:41 pm

ah, das kann ich klären: eine Garbage-Collection Methodik, die durch JVM Startup-Parameter getriggert wird verträgt sich nicht mit dem Java auf dem Mac. Hab selber auch einen und das gleiche Phänomen gehabt. Duch Versuchsreihen konnte ich die auslösende Option identifizieren. Diese wird jetzt in 0.60 nur noch unter Solaris benutzt und nicht mehr unter Mac, bzw. Darwin. Also: mit 0.60 sollte das Problem gelöst sein.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Parallele Crawler- und Indexier-Prozesse minimieren

Beitragvon r.bircher » Do Sep 18, 2008 7:30 pm

Eigentlich hatte ich gedacht, ich hätte auf diesen Beitrag geantwortet, aber scheinbar hab ich das nur geträumt ;-)

Ich hab nun V 0.60
Läuft bis jetzt
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron