P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Forum for developers

P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon Orbiter » Mi Jul 17, 2013 4:16 pm

man kann ja nun in Java die load des Rechners abfragen und meine Tests zeigen dass man da die gleiche Zahl bekommt, wie die, die bei top zu sehen ist. Jetzt frage ich mich, ob man diese Zahl benutzen kann, um bei hoher load RWI Versand/Empfang temporär abzuschalten.

Die Frage ist dann also erst mal (auch): bei welcher load-Grenze? 1 (100%)?

und daran geknöft die Frage: was bedeutet das bei multicore? Muss man den Load durch die Anzahl der Cores teilen um ein normiertes Maß für die Auslastung einer Maschine zu bekommen?

Ich hab dazu folgenden Test gemacht: unter Linux cpuburn installiert, top laufen lassen (zeigt load von 0) und dann burnP6 gestartet. Ein einzelner Prozess ging daraufhin auf 100% und nach einer Minute war der Load auf genau 1. Das war aber auf einer 8-core Maschine! Also muss ich doch den Load durch die Anzahl der Cores teilen, oder?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon sixcooler » Mi Jul 17, 2013 4:52 pm

Hallo Orbiter,

das was Du da in YaCy hinzugefügt hast, ist der Sytem-Load. Hat meines Wissens nach nicht zwingend mit der CPU-Last zu tun.
Das ist eher ein Wert des Verhältnisses von einkommenden Prozessen zu abgearbeiteten Prozessen.
Neben der CPU spielt dabei auch IO eine Rolle - ist der Kasten nur mit IO beschäftigt kann es einen hohen Load geben während die CPU(s) idlen.

Cu, Sebastian.
sixcooler
 
Beiträge: 493
Registriert: Do Aug 14, 2008 5:22 pm

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon Orbiter » Mi Jul 17, 2013 5:51 pm

ja ok, lass 'CPU' weg, dann isses aber immer noch der gleiche Wert wie in 'top' (einfach mal ausprobieren!) und ggf. auch genau deswegen, weil IO hinzugezogen wird ein gutes Maß.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon Orbiter » Do Jul 25, 2013 3:23 pm

ich hab jetzt einen load-check für DHT-out bei 2.5 drin. Und gleich wurde es kommentiert, das sei zu hoch oder zu niedrig, je nach Anzahl der CPUs:
http://gitorious.org/yacy/rc1/commit/f5 ... 066dbe69be

was soll ich nun machen? Ich hätte gerne ein gutes Maß dafür. Wie wäres es mit einer Attributsammlung, könnt ihr dafür folgende Fragen ergänzen:

- Mein Rechner hat ( ) Cores
- DHT-out soll nur erlaubt sein unter ( ) load
- DHT-in soll nur erlaubt sein unter ( ) load

am besten als Vector, so, als Beispiel
8,2,1.5
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon PCA42 » Do Jul 25, 2013 3:37 pm

Ich denke, du rechnest den Load einfach durch die Anzahl der CPUs und Werte oberhalb von 1.5 verzögern dann DHT und Crawl, wobei ich eher den Crawl bremsen würde.

Wie komme ich dahin:
Der Load beschreibt die Anzahl der wartendende Prozesse. Optimal wäre 1, ein CPU-Kern wäre voll ausgelastet. Also unter 1: kein Problem. Mit 1: optimal. Alles darüber: suboptimal. Ok, kleine Lastspitzen sollten nicht alles ins Wanken bringen. Deshalb ein Wert oberhalb von 1 aber unterhalb von 2.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon sixcooler » Do Jul 25, 2013 3:40 pm

ich bin ja immer noch überzeugt das es wenig mit der Menge der Cores zu tun hat - ist wohl eher eine Frage des Geschmacks des Users

als Vector würde ich 2,1.0,1.0 bevorzugen

können wir das nicht einfach konfigurierbar machen?
planst Du auch das Crawlen vom System-Load abhängig zu machen?
sixcooler
 
Beiträge: 493
Registriert: Do Aug 14, 2008 5:22 pm

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon Orbiter » Do Jul 25, 2013 11:16 pm

konfigurierbar sicherlich, ist es ja jetzt auch schon.
crawlen: selbst-gestartete nicht einschränken durch load, das wäre verwirrent weil man ja dann auch das maximale rausholen will, Beschränkungen sind da unangemessen und sollen nur bei automatischen Vorgängen angewendet werden.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: P2P Aktivität abhängig von Load auf CPU, Load-Bedeutung?

Beitragvon sixcooler » Do Jul 25, 2013 11:27 pm

crawlen: selbst-gestartete nicht einschränken durch load, das wäre verwirrent weil man ja dann auch das maximale rausholen will,

ich fänd das durchaus nett den Crawl bei Load zu beschränken:
Auch wenn man den Crawl selber angestoßen hat, kann man doch wünschen das es nur passiert wenn die Kiste sonst nix zu tun hat
sixcooler
 
Beiträge: 493
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron