IO-Last reduzieren

Support für Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr
Forumsregeln
Hier sind Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr im speziellen gewünscht!

IO-Last reduzieren

Beitragvon Ruhe » So Aug 04, 2013 4:01 pm

Laut der Anwendung iotop (Aufruf mit iotop -Pa) ließ sich auf meinem System mit ext4 die IO-Last durch/nach dem Start von YaCy reduzieren, wenn zuvor in der Datei

yacy/defaults/solr/solrconfig.xml

die Standardeinstellung

Code: Alles auswählen
<autoCommit>
            <maxTime>10000</maxTime>

auf Werte von 60000, 120000 oder 180000 erhöht wurde:

Code: Alles auswählen
<autoCommit>
            <maxTime>120000</maxTime>

So sank die IO-Last vom Prozess für das Journaling von ext4 von etwa 10% (autoCommit=10000) auf etwa 1% (autoCommit=180000).

Hier sollte also geprüft und überlegt werden, o.g. Datei mit einem modifizierten (höheren) Wert auszuliefern.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: IO-Last reduzieren

Beitragvon sixcooler » Di Aug 06, 2013 3:29 am

Hallo,

ich habe autoCommit zu 3 Minuten mal in das Repository geschrieben und den mergeFactor wieder etwas reduziert zu 5.
Dieses scheinen mir Werte zu sein bei denen der IO und die Segment-Anzahl recht klein ist.
Es bleibt zwar immer ein Kompromiss - dieser sollte aber bei den meisten Peers gut funktionieren.

(die Rev-Nr müsste 9029 sein - keine Ahnung wann / ob es das als Paket gibt)

Cu, sixcooler.
sixcooler
 
Beiträge: 480
Registriert: Do Aug 14, 2008 5:22 pm

Re: IO-Last reduzieren

Beitragvon Ruhe » Di Aug 06, 2013 7:35 am

Den mergeFactor hab ich dann jetzt schon mal vorab hier auf 5 geändert.


Code: Alles auswählen
mergeFactor Tradeoffs

High value merge factor (e.g., 25):

    Pro: Generally improves indexing speed
    Con: Less frequent merges, resulting in a collection with more index files which may slow searching

Low value merge factor (e.g., 2):

    Pro: Smaller number of index files, which speeds up searching.
    Con: More segment merges slow down indexing.

(Quelle: http://wiki.apache.org/solr/SolrPerformanceFactors)
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am


Zurück zu Solr Support

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron