Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Fr Jun 05, 2015 11:30 pm

Hallo,

ich habe heute auf Version 1.83.9250 aktualisiert (vorherige Version war mindestens zwei Wochen alt).

Seitdem habe ich auf meinem Server eine Load von 6-10 (vier Kerne), die fast ausschließlich von yacy stammt. Und auch nicht groß wait states, die sind konstant unter 2%. top zeigt fürs yacys Java-Prozess um die 300% CPU.

Dabei tut yacy eigentlich nichts. Das Log besteht fast ausschließlich aus pings, also z. B. "I 2015/06/06 00:26:00 YACY hello/server: responded remote peer …"

Was könnte das Problem sein?

Danke, zottel
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Fr Jun 05, 2015 11:38 pm

Hm. Ich habe yacy jetzt neu gestartet, und jetzt läuft er auf normalem Level. Beim Update hat er sich nicht korrekt selbst beendet, sondern wurde gekillt, aber die hohen Werte waren lange nachdem er die Datenbank wiederhergestellt hatte. Er schien völlig normal zu laufen und antwortete auch auf lokale Suchanfragen.

Jetzt sind die CPU-Werte wieder niedrig wie sonst, obwohl das Log jetzt voll ist mit DHT-Transfers.

Scheint also wieder zu gehen. Trotzdem seltsam.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Di Jun 09, 2015 12:20 pm

Leider bleibt das Problem doch bestehen.

Am Montag habe ich zum ersten mal wieder einen Blick auf den Server geworfen, und da war die Load bei 25-30, fast ausschließlich von yacy produziert.

Wenn ich yacy jetzt neu starte, ist die Load anfangs wie gewohnt, steigt aber stetig immer mehr an. selbst dann, wenn ich das Crawling stoppe. Dabei scheint yacy überhaupt nichts zu tun, in den Logs findet sich jedenfalls kein Hinweis, nicht einmal darauf, dass er Suchanfragen beantworten würde etc.

Die lokale Web-Oberfläche bleibt dabei ganz normal benutzbar und ist auch nicht langsamer als sonst. Anscheinend erhalte ich aber keine Remote-Ergebnisse mehr, nur solche von meiner eigenen Node. Im Log finde ich selectPeers-Einträge, dann "I 2015/06/09 12:56:29 DHT preparing remote search: shortmem=false, indexingQueueSize=0, redundancy=2, minage=3, dhtPeers=31, robinsonpeers=16, health: load() > 2.0", danach meldet er nur noch, was er lokal gefunden hat und erwähnt die remote peers nicht mehr.

Es folgen noch diverse Einträge a la "BOOKMARKS cannot get bookmark for url hash U6I5zA6riWWA", und das wars.

Load aktuell bei 7-11 nach ca. 4,5 h yacy-Betrieb.. Ohne yacy hat der Server eine Load von immer < 1, normalerweise um 0.2. Im Log (solange ich keine Suche durchführe) nichts außer "YACY hello/server"-Einträgen.

Was könnte das sein? Wonach könnte ich im Log suchen, was evtl. irgendwo weiter oben steht, was ich nicht gesehen habe?

Die Datenbank hat aktuell 65.45 GB, aber RAM Usage ist weit unter dem Maximum (2.25 GB von 7.71 GB).

Soweit ich weiß besteht das Problem erst seit meinem Update auf Version 1.83/9250 (mittlerweile 1.83/9254), allerdings war ich vorher 2 Wochen in Urlaub und weiß nicht, was yacy da getrieben hat. Vor dem Update war die Load bei ca. 10, in diesem Fall allerdings nicht wegen yacy, sondern wegen eines Apache-Prozesses. Nach dem Apache-Restart habe ich den Server insgesamt aktualisiert, also aktualisierte Debian-Packages eingespielt, inkl. yacy, und dann ging das Problem los.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Fr Jun 12, 2015 8:56 am

Ich habe yacy heute mal von 8:33 bis 9:11 laufen lassen und das komplette Log aus dieser Zeit durchgelesen, kann aber nichts finden, was auf einen Fehler hindeuten würde. In dieser Zeit stieg die durch yacy verursachte Load von ca. 0.5, nachdem er sich fertig initialisiert hatte, auf 4.

Meine Vermutung ist, dass die Tatsache, dass ich in der oben geschilderten Situation keine Antwort von anderen Peers mehr erhalten habe, wenn ich lokal eine Suche startete, daher kommt, dass yacy bei hoher Last selbst manche Prozesse deaktiviert?

Ich habe während der Zeit heute zweimal gesucht und jeweils auch Antworten von anderen Peers bekommen. Äußerlich läuft auch alles gut, nur die von yacy verursachte Load wird ständig größer und größer. Ca. 4 nach einer halben Stunde, ca. 10 nach 3 Stunden, über 25 nach ein paar Tagen – so kann ich meine Node nicht laufen lassen. :-/

Und es ist alles CPU, keine Speicherprobleme, wenig Platten-I/O.

Hat denn außer mir keiner diese Probleme mit dem aktuellen Debian-Package?
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Fr Jun 12, 2015 11:20 am

Ich bin jetzt zurück auf yacy 1.83/9201 (das war die letzte Version, die ich vor 9250 installiert hatte). Damit tritt das Problem nicht auf. Falls das hilft könnte ich testen, ab welcher Version das Problem auftritt.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Mi Jun 17, 2015 11:30 am

Hm. Mit 9201 war es zwar anders (keine hohe CPU-Last durch den Java-Prozess), aber auch nicht direkt besser; es traten nach kurzer Zeit extrem hohe Loads auf, die keine so recht erkennbare Ursache hatten (CPU-Last eigentlich gering, auch nicht groß Wait States).

Letztlich habe ich dann CPU Stalls in den Logs gefunden, auch dann, wenn yacy gar nicht lief. Das habe ich dem Hoster vorgelegt, der irgendwas an den Einstellungen der Virtualisierung geändert hat und meint, es sollte jetzt besser sein. Ich teste weiter, jetzt wieder mit der aktuellen Version. Mag sein, dass yacy an dem Problem gar nicht oder nur teilweise beteiligt war.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon sixcooler » Mi Jun 17, 2015 5:56 pm

Hallo,

es ist zwar nur eine Vermutung - aber ich hatte etwa gleiche Symptome welche ich endlich mit 1.83-9259 behoben habe.
Diese Version liegt leider bisher nur im Repository - und noch nicht als Tarball für ein automatisches Update vor.

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon zottel » Fr Jun 26, 2015 8:42 am

Ah! Ich war bisher nur dazu gekommen, mit 1.83/9254 nochmal zu testen und hatte da noch die gleichen Probleme.

Vorhin habe ich jetzt auf 1.83/9263 aktualisiert, und alles ist wieder gut. Yay! :-)

Danke für den Fix.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon Orbiter » Fr Jun 26, 2015 9:51 am

so richtig ein Fix ist das ja nicht, denn er orientiert sich nicht an den Symptomen. Da ist halt nun eine Migration auf ein neues Solr drin, und die bisherige hätte angeblich einen Performance-Bug bei der Verwendung von Multi-Value Felder. Davon haben wir reichlich. Ich würde also hier hoffen wollen, dass der Solr-Upgrade geholfen hat.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Seit Update hohe Prozessorlast, obwohl yacy nichts tut?

Beitragvon davide » Fr Jun 26, 2015 6:30 pm

There's a report about the issue on the bug tracker, in English, which is more intelligible for the rest of us.

http://mantis.tokeek.de/view.php?id=588
davide
 
Beiträge: 84
Registriert: Fr Feb 15, 2013 8:03 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast