SVN 5819 - performance hacks (works!)

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

SVN 5819 - performance hacks (works!)

Beitragvon bluumi » Fr Apr 17, 2009 1:03 pm

Revision & Autor: Revision 5819 - orbiter - Zur aktuellen Revision
Logeintrag: (peak-) performance hacks


Hallo Orbiter, ich weiss nicht was Du getan hast :-D .. aber meine 4 Peers laufen im Schnitt um 200 - 500% schneller seit ich von 5804 auf 582x Upgraded habe.

(Wollte hiermit Daumen-Hoch, Danke sagen)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 5819 - performance hacks (works!)

Beitragvon Orbiter » Fr Apr 17, 2009 1:14 pm

bei SVN 5819 geht es fast nur um die Abfrage von Runtime.getRuntime().maxMemory()

diese und die Abfrage von den andren Werten (total und free) sind offenbar so latenzbehaftet, dass bei der momentanen Abfragefrequenz der Werte beim Einpflegen jedes Wortes ein kleiner Hack so eine Auswirkung hat. Die aktuellen Speichertests in IndexCell sind fast hysterisch. Ich will damit zu viele Beschwerden hier im Forum vermeiden, dabei ist die IndexCell wirklich der Hammer an Performance. Ich kann in den ganzen Tests, die ich aktuell mache, keine IO-Probleme sehen, auch nicht ansatzweise. Statt dessen sind die Bottlenecks jetzt ganz woanders, beispielsweise hier. Würde man den Speichertest vielleicht ganz weg machen, ginge das ab wie nix.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 5819 - performance hacks (works!)

Beitragvon PCA42 » Fr Apr 17, 2009 5:22 pm

Kann man den Speicher-Test vielleicht als Thread laufen lassen? Alle 100 ms ( oder 200 ms....) den Wert aktualisieren. Das kann ja auch vom Wert abhängen. Dicht an max. Mem -> häufiger. Weit weg -> seltener.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: SVN 5819 - performance hacks (works!)

Beitragvon bluumi » Sa Apr 18, 2009 7:07 pm

Inzwischen bin ich auf SVN 5825, aber leider muss ich nun zugeben, dass ich nun unter dem leide wasa Du befürchtet hast Orbiter..
Orbiter hat geschrieben:Die aktuellen Speichertests in IndexCell sind fast hysterisch. Ich will damit zu viele Beschwerden hier im Forum vermeiden, dabei ist die IndexCell wirklich der Hammer an Performance.

Es vergeht kein Tag ohne dass meine 4 Peers sich erhängen. 3 der 4 haben jedesmal OOM's am Ende ;)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 5819 - performance hacks (works!)

Beitragvon Low012 » Sa Apr 18, 2009 7:24 pm

Bei mir hat sich die Crawlleistung mehr als verfünffacht :o, ohne dass ich groß was geändert hätte. Dass mein Peer gelegentlich nicht richtig arbeitet, liegt eher am HTTP-Client (dazu gibt es ja auch schon einen Thread) als an den Performance-Hacks.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast