V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Beitragvon dulcedo » Sa Mai 30, 2009 12:00 pm

Es wird mit Standardeinstellungen Remote-Crawling betrieben, sonst nur DHT.

Peer#1, V0.80, Debian4:
180MB: 7 Tage
256MB: 11 Tage

Peer #2, V0.80, Windows XP:
180MB: 10 Tage

Ich lasse beide weiterlaufen und erhöhe Schrittweise den zugewiesenen Speicher, bitte auch eigene Erfahrungswerte, mir erscheint die Zeit nach wie vor zu kurz, also der RAM-Bedarf für kleine Peers zu hoch.
Zuletzt geändert von dulcedo am Di Jun 02, 2009 8:21 am, insgesamt 1-mal geändert.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Beitragvon Quix0r » Mo Jun 01, 2009 8:04 pm

Ich habe genau das selbe Problem, nur dass bei mir eine OOM-Exception kommt und zuvor heftigst (!!!) viele lokale Crawls gestartet wurden. Ich habe bereits damit begonnen, mit den Einstellungen herumzuexperiementieren, bin aber einmal vor 3 Wochen oder so mit einer YaCy-Revision ganze 15 Tage up gewesen. Danach habe ich ein Update gemacht und dann war die Node nicht mehr stabil zu kriegen, bzw. erreichbar zu bekommen (siehe meine Bug-Meldungen).

Es muss irgentwie einen (mathematisch doch nachvollziehbaren???) Zusammenhang zwischen den folgenden geben: (meine Einstellungen)
indexer.slots=2000
stacker.slots=2200
javastart_Xms=Xms2600m
javastart_Xmx=Xmx2600m
crawler.MaxActiveThreads=2100

Bei 4GB RAM koennte ich glatt 100 MB mehr einstellen, will aber die JVM nicht mitmachen... :(

Kann da bitte mal wer erklaeren, wie die alle zusammenhaengen? Und welche Einstellungen muessen noch einbezogen werden? Gibt es da wo eine Formel, die vielleicht im Wiki dokumentiert gehoehrt und aktuell ist?

Bei mir ist mit 0.82 (6004) und etwas hoeheren Werten schon nach ein paar Stunden Schluss, da urploetzlich (?) haufenweise lokale Crawls gestartet wurden.

Bei mir laeuft Debian squeeze/sid.

Edit: Ich habe was im Forum gelesen, dass Orbiter an einem neuen Balancer arbeitet. Warten wir es mal ab und vielleicht helfen ja auch niedrigere Slot-Werte bei mir. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Beitragvon Lotus » Mo Jun 01, 2009 9:46 pm

Schonmal mit Ramcache 10000 probiert? /PerformanceQueues_p.html (Advanced Settings, Busy Queues)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Beitragvon dulcedo » Di Jun 02, 2009 8:42 am

Peer#1, V0.80, Debian4:
180MB: 7 Tage
256MB: 11 Tage
320MB: 14 Tage
Stand: 9,788,872 URLs / 2,359 Words
15GB HD-Limit ausgeschöpft, Peer fährt nicht mehr hoch.

Das ist ein standard vHost mit 512MB RAM und 15GB HD, mit noch einmal 512MB und insgesamt 80GB HD könnte man wohl eine Weile weiterarbeiten, so aber defintiv nicht.
Auffällig wieder die wenigen Worte.


@Quix0r: bei 2-4GB empfehle ich weniger Puffer, den Speicher braucht er an anderer Stelle. 10k funktioniert gut wenn der Rest der Maschine schnell genug. 100k auf einer Maschine mit langsamer Festplatte bringt den Balancer durch den langen Speichervorgang aus dem Takt, ansonsten natürlich gut für die Performance, wenn RAM vorhanden. Lotus bitte korrigieren, meine Erfahrungswerte beim Anwenden.

Weiterhin solltest du die Verzögerungswerte (PerformanceQueues_p.html Delay between busy loops) für Crawl und Indexing im Auge behalten / justieren. Die Standardeinstellung ist noch nicht perfekt. Indexieren sollte er natürlich öfter als crawlen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: V0.8, maximale Peerlaufzeiten bis RAM ausgeschöpft (frei<10M

Beitragvon Quix0r » Di Jun 02, 2009 9:12 am

Du meinst den Word-Cache mit "Buffer"? Der ist bei mir (nicht an dieser Node, daheim) auf 4k geschrumpft, war vorher auf 10k hoch. Und ich werde die Performance-Werte (die Prozente kann man doch gut dazu ranziehen?) im Auge behalten.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast