Peer braucht immer mehr RAM

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Peer braucht immer mehr RAM

Beitragvon LA_FORGE » Fr Jun 05, 2009 12:10 pm

Hi,

ich bin sehr zufrieden mit der neuen YaCy Version. Habe jetzt auch keine Probleme mehr mit Crawls die vorzeitig terminated werden. Alles läuft sehr stabil!!! Ich habe einen Peer der hat über 50 GB an Wikipedia-Index, welchen ich auch noch erweitern möchte. Leider kommt es fast alle 2 Wochen vor, dass der Peer nicht mehr startet weil ihm nicht mehr ausreichend RAM zur Verfügung stehen umso mehr der Index wächst. Leider habe ich nur 3 GB Ram und kann auch nicht auf ein 64-Bit-Betriebssystem umsteigen, da mein Sprachausgabe-Programm, auf welches ich angewiesen bin, nur unter 32-Bit Windows läuft :-(

Gibt es eine Möglichkeit, dass der Peer mit 1 GB Ram auskommt und dass der Index weiter wachsen kann, ohne dass er immer mehr RAM braucht? Eine Art Swapfile oder so.

Vielen Dank für eure Hilfe!!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » Fr Jun 05, 2009 12:49 pm

Wie viele Links sind denn schon indexiert? Ich hatte mal etwas über 25 Mio. und das ging mit 4 GB RAM (2,5 GB für YaCy muss ich schon opfern) eigentlich noch ganz gut. Bis halt der "Knall" kam und ich vom neuen anfangen musste.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon LA_FORGE » Fr Jun 05, 2009 3:16 pm

Es sind schon 1,4 Mio. Links indexiert. Aber der RAM-Verbrauch wächst, alle 2 Wochen gebe ich ihm 120 MB mehr. Kann man nicht so eine Art "Auslagerungsdatei" für YaCy schaffen, wenn der RAM voll ist. An Platten-Performance soll es nicht mangeln, ich habe hier 2 x Fujitsu Ultra320 SCSI Platten im RAID0 mit 3,3 ms Zugriffszeit und 15.000 rpm :-D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » So Jun 07, 2009 10:11 am

Ich habe auch schon den Cache deaktiviert, leider keine Aenderung. Irgentwo verbraucht der ewig viel RAM. Sogar gestartet bekomme ich die Node nicht (siehe hier)
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon bluumi » So Jun 07, 2009 11:01 am

Nur um "ganz sicher" zu gehen :)
Du hast bereits eine aktuelle(re) SVN eingespielt? Es gab ja "problemchen" mit dem "vielzustarken" Anwachsen der Wortmenge?
Um den 25 Mai rum kam eine Version, in welcher die filesize.max.win und filesize.max.other erhöhnt wurde, dies sparte bei vielen viel Ram.
Falls Du windows hättest und NTFS Dateisystem, so ist ein Wert von z.B. 8 Gbyte empfehlenswert, dies kann die Wortanzahl reduzieren und so den RAM verbrauch...
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » So Jun 07, 2009 11:11 am

6033 ist meine Revisionsnummer. Aber ich habe auch IceTea (OpenJDK) und nicht das von Sun. :( Weiter in meinem Thread!
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon bluumi » So Jun 07, 2009 11:18 am

Quix0r hat geschrieben:etwas über 25 Mio. und das ging mit 4 GB RAM (2,5 GB für YaCy muss ich schon opfern)

Also ich hab zwei Peers, die mit 45Mio Links und nur 1.3Gbyte RAM für Yacy laufen, gezwungener Massen, da ich nur 2Gbyte RAM eingebaut habe. Jedoch sind das Kisten auf welche ich nicht arbeite, sondern nur via VNC ab und zu mal anspreche wenn diese mal hängen.
Quix0r hat geschrieben:6033 ist meine Revisionsnummer.Weiter in meinem Thread!

Ok, ich meinte ausnahmsweise nicht Dich, Quix0r sondern LA_FORGE, bei Dir bin ich mir sicher, dass Du eine aktuelle Verion hast :-D.

LA_FORGE: Wie hoch ist denn die Anzahl Wörter? Ist diese zu den "nur" 1.4Mio Links realistisch?
Zuletzt geändert von bluumi am So Jun 07, 2009 11:30 am, insgesamt 1-mal geändert.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » So Jun 07, 2009 11:26 am

Das war zu viel und am falschen Platz. Sorry. :) Das mit dem Thread von mir war gemeint, dass ich nicht in diesem Thread mein "Nichterreichbarkeitsproblem" meiner YaCy-Node weitermachen will (Vermischung von zwei Threads).
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon dulcedo » So Jun 07, 2009 11:55 am

LA_FORGE hat geschrieben:Es sind schon 1,4 Mio. Links indexiert. Aber der RAM-Verbrauch wächst, alle 2 Wochen gebe ich ihm 120 MB mehr. Kann man nicht so eine Art "Auslagerungsdatei" für YaCy schaffen, wenn der RAM voll ist. An Platten-Performance soll es nicht mangeln, ich habe hier 2 x Fujitsu Ultra320 SCSI Platten im RAID0 mit 3,3 ms Zugriffszeit und 15.000 rpm :-D


LA_FORGE, du solltest Version 0.82 oder 0.83 verwenden. Dort gibt es diese zwei Werte für die Dateigrösse unter Windows und Linux, die sollte so gross wie möglich sein. Unter Linux kannst du den Standard 32GB benutzen, bei Windows wiegesagt 4-8GB, nicht mehr!

Vor dem Update solltest du den RWI-Puffer von 100k auf 10k oder weniger setzen und die lokalen Crawls anhalten. Dann update, sollte er jetzt nicht richtig hochfahren solltest du warten, tut sich nach einer Weile nichts im Logfile dann stop oder kill und wieder starten. Das kann ein paarmal so sein. Arbeitet er wieder dann kannst du ihn langsam wieder crawlen lassen.
Du kannst dann versuchen die blaue Speicherkurve auszuwerten (Status.htm),geht das dann beobachte wie sie sich bewegt: Schnell auf und ab, dann merged er die Dateien noch, wenn wie gewohnt langsam dann arbeitet er wieder normal.
Am Ende solltest du wenige grosse Dateien in RICELL haben und den RAM-Bedarf deutlich reduziert.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » So Jun 07, 2009 12:48 pm

Das Anhalten geht ganz einfach: Im Admin-Panel einfach neben den Crawls auf das Stopp-Symbol klicken... ;)

Sollte das nicht per Admin-Panel gehen, weshalb auch immer, geht es NACH dem Shutdown der Node per yacy.conf weiter:
50_localcrawl_isPaused=true
60_remotecrawlloader_isPaused=true
wordCacheMaxCount=4000

So sieht es bei mir aus (die beiden Crawler sind bei mir auf false, weil ja mein Peer geupdatet ist und crawlen soll).
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon LA_FORGE » So Jun 07, 2009 9:00 pm

@dulcedo: Herzlichen Dank für die tolle Anleitung. Hat mir sehr geholfen. Ich habe gerade auf die neuste SVN geupdated. Wo kann ich denn die Dateigröße einstellen? In der yacy.conf?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Peer braucht immer mehr RAM

Beitragvon PCA42 » So Jun 07, 2009 9:16 pm

Ja, die Werte sind in der yacy.conf zu finden: filesize.max.win für Windows und filesize.max.other für alles andere.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Peer braucht immer mehr RAM

Beitragvon Lotus » So Jun 07, 2009 9:48 pm

Oder einfacher im Webinterface "Admin" -> "Advanced Properties" /ConfigProperties_p.html
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Peer braucht immer mehr RAM

Beitragvon LA_FORGE » So Jun 07, 2009 10:02 pm

Vielen Dank!!! Kann/soll ich nach dem Update den RWI-Puffer wieder hoch stellen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » So Jun 07, 2009 10:24 pm

So runter lassen. Das verbraucht weniger RAM.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon LA_FORGE » Mo Jun 08, 2009 10:53 pm

Kann ich die 50 GB Wikipedia-Indexdaten irgendwie retten? Habe vor dem Update alles so gemacht wie oben beschrieben (RWI-Puffer runterschrauben + Pause-Button für den Crawl drücken), aber leider scheint er die Index-Daten von der älteren Version (0.70/5495) nach dem Update nicht zu übernehmen :-( Wie heißt denn die Datei für die Indexing Queue? Ich glaube wenn ich die einfach lösche dann funktioniert es.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Peer braucht immer mehr RAM

Beitragvon Quix0r » Mo Jun 08, 2009 11:13 pm

0.7.0? Dann musst du erstmal mit einer 0.80'er die Dateien von RICOLLECTION auf RICELL umstellen lassen. Dazu gibt es hier im Forum einen Thread von Orbiter ("neue RiCell Datenbankstruktur" oder so). Dann sollte er sie uebernehmen koennen.

Du musst schon im ersten Post die Versionsnummer nennen, dann kann dir auch ohne 11880 dir geholfen werden... ;-)
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Peer braucht immer mehr RAM

Beitragvon dulcedo » Di Jun 09, 2009 5:37 am

Das müsste schon erledigt sein, Orbiter meint in den ersten 10 Minuten wandelt er 90% um.
Auf alle Fälle eine Kopie des Peers behalten, das muss machbar sein die Daten zu retten, ich habe hier auch einen Peer mit 0.72 der ähnliche Probleme macht, der liegt wegen Zeitmangel auf Eis.
Dort erzeugt er RICELL, greift aber trotz Crawling noch auf RICOLLECTION zu und aktualisiert auch nur diese. (0.72 auf 0.80) . Weiterhin zerschiesst er nach einer Weile Betrieb das Logfile mit Sonderzeichen und oder hängt sich komplett auf. Das hört sich sehr ähnlich an, auch 2GB RAM, ich denke ich kann heute Mittag genauer nachsehen.

Orbiter trotzdem ein Lob: die Maschine hatte ich im Dezember bei einem Bekannten auf dem Dachboden installiert, lief mit einem einzigen Update auf 0.72 bis vor ein paar Tagen unbeaufsichtigt, es waren lediglich jetzt erst die 60BG Platte voll und er auf Notbetrieb. Prima!
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron