100% CPU auf Grund von Regex

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

100% CPU auf Grund von Regex

Beitragvon ds810 » Sa Jun 25, 2016 3:38 pm

Hallo zusammen,

ich habe das Thema schon bereits angesprochen. Und trotzdem lässt es mir keine Ruhe. Ich habe soeben eine neue Instanz aufgebaut und lasse die im Robinson-Modus laufen, um die Einflüsse von außen auszuschließen. Ich habe eine Blacklist mit ca. 40 Einträgen. Nach ca. 5-10 Minuten Yacy-Nutzung läuft die CPU durchgehend auf 100% und nimmt auch nicht mehr ab.

Was ich noch festgestellt habe ist, dass die URL's, unter /Threaddump_p.html?singleThreaddump=Einzelner+Thread+Dump, sich immer wieder wiederholen. Scheit Endlosschleife zu sein.


Könnte einer von den Entwicklern sich diese Stelle bitte, bitte, bitte ansehen? Ich wäre euch dafür unendlich dankbar!

Gruß
dS810

System:
Ubuntu Server 16.04
Java: 1.8
Yacy: 1.83/9857

2 Kerne mit je 2.2 GHz
SSD
2048 RAM sind zugewiesen

Code: Alles auswählen
Occurrences: 100
at java.util.regex.Matcher.matches(Matcher.java:604)
at net.yacy.repository.Blacklist.isListed(Blacklist.java:577)
at net.yacy.http.AbstractRemoteHandler.handle(AbstractRemoteHandler.java:146)
at org.eclipse.jetty.server.handler.HandlerList.handle(HandlerList.java:52)
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1129)
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1065)
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141)
at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:215)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)
at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:33)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)
at org.eclipse.jetty.server.Server.handle(Server.java:499)
at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:311)
at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257)
at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:544)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555)
at java.lang.Thread.run(Thread.java:745)
Zuletzt geändert von ds810 am So Jun 26, 2016 8:46 pm, insgesamt 1-mal geändert.
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth

Re: 100% CPU auf Grund von Regex

Beitragvon Micki » So Jun 26, 2016 7:26 pm

Also es fehlen noch die Information wieviel Kerne und wieviel Ram hat die Javamaschine?
Bei wieviel Dokumenten bist du gerade?
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: 100% CPU auf Grund von Regex

Beitragvon ds810 » So Jun 26, 2016 8:47 pm

Hey Micki,

sorry, ich habe die Info nachgereicht.
2 Kerne mit je 2.2 GHz
SSD
2048 RAM sind zugewiesen

Gruß
dS810
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth

Re: 100% CPU auf Grund von Regex

Beitragvon Micki » Mo Jun 27, 2016 3:57 am

Also ich würde mal testen so weit möglich:

4-6 Kerne
und mal das Ram auf 4 oder 5 GB wenn mgl. Manche empfehlen 8 GB bei Java 64 Bit.

Hatte das selbe Problem und seit dem ich auf 5 GB hoch läuft das Ganze halbwegs stabil, was nicht heißt das sie CPU Last trotzdem Regelmäßig an die 100% hoch geht.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: 100% CPU auf Grund von Regex

Beitragvon ds810 » Mo Jun 27, 2016 2:59 pm

Dass die CPU 100% hin und wieder erreicht - stört mich nicht. Nur es bleibt auf 100% in einer "Endlosschleife" mit der o.g. Exception. Getestet habe ich es schon mit 6 GB RAM mit dem selben Misserfolg. Wie gesagt: Es ist ganz einfach zu reproduzieren. Nur - was mache ich mit der Erkenntnis?
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot] und 2 Gäste

cron