Yacy 64Bit - PerformanceGraph

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy 64Bit - PerformanceGraph

Beitragvon botec » So Jan 25, 2009 12:28 am

Hallo,
ich betreibe Yacy (0.710/05514) auf einem 64 Bit Linux System mit 5GB für Yacy unter
Code: Alles auswählen
java version "1.5.0_16"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_16-b02)
Java HotSpot(TM) 64-Bit Server VM (build 1.5.0_16-b02, mixed mode)

und alles funktioniert eigentlich ganz gut. Nur beim Speicher Verbrauch von Yacy gibt es Grund zur "Klage".
Es sind fast immer 1-2GB Speicher frei die Yacy nicht benutzt. Ja ok, als File Cache vom OS wird er schon benutzt, aber könnte yacy da nicht besseres damit anfangen? Deswegen versuchte ich an den Performance Parameter zu schrauben. Yacy verbraucht jetzt ein wenig mehr... (klar das es auch Leute gibt, die das Gegenteil wollen)

Mit 4Mio Word-Cache stimmt aber der PerformanceGraph nicht mehr bzw. die Achsenbeschriftung ist schon bei 600000 nicht mehr lesbar....
yacy_stat.png
yacy_stat.png (41.27 KiB) 352-mal betrachtet


Wo zahlt es sich denn eigentlich aus die Performance Werte zu tunen? Und wo bringt es nichts? Gibt es da Erfahrungswerte?

DHT Distribution 262144kB
Local Crawl 65536kB
YaCy Core 8192kB
Indexing 65536kB (crawler.http/ftp.maxFileSize=16MB)

Ciao, botec
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy 64Bit - PerformanceGraph

Beitragvon apfelmaennchen » So Jan 25, 2009 9:10 am

Hallo Botec,

mein Peer hat 4GB RAM zur Verfügung, bei einem Index von 47,6 Mio. URLs und 41,5 Mio. RWIs sowie einem Word RAM Cache von 500.000 Worten (ca. 500 MB), laufendem Crawler und DHT schwankt die RAM-belegung zwischen 2,8 und 3,7 GB.

Wenn Du den Speicher auf Deinem Rechner besser ausnutzen möchtest, würde ich einen großen Word RAM Cache empfehlen, um das Indexieren und DHT zu beschleunigen. Du könntest auch darüber nachdenken, zwei YaCy-Instanzen mit je 2,5 GB RAM laufen zu lassen, dafür empfehle ich Dir aber zwei getrennte Festplatten.

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron