Was liest man aus dem Log, wenn Peer nicht reagiert?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Di Dez 24, 2013 12:53 am

Mein Peer antwortet nicht mehr. Keine Ahnung, was los ist. Inzwischen mehrfach neu gestartet. Im folgenden die letzten Log-Zeilen, die sich mehr oder weniger dauerhaft wiederholen.

Gibt's im Forum irgendwo ein Thread, wo man gelernt bekommt, was das Log einem sagt? Ohne Grundwissen kann ich aus dem Zeugs auch keine Bug-Meldung machen, wenn es irgendwas am System unter bestimmten Konstellationen ist, was mir den Peer blockiert.

Log:
Code: Alles auswählen
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:30:45 MEMORY performed explicit GC, freed 226 KB (requested/available/average: 136521 / 42140 / 780 KB)
I 2013/12/24 00:31:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42137 / 780 KB)
I 2013/12/24 00:32:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42136 / 780 KB)
I 2013/12/24 00:33:46 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 779 KB)
D 2013/12/24 00:34:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:34:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:34:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:34:46 MEMORY performed explicit GC, freed 3081 KB (requested/available/average: 136521 / 42115 / 779 KB)
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:35:46 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42139 / 774 KB)
I 2013/12/24 00:36:46 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 774 KB)
I 2013/12/24 00:37:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42136 / 775 KB)
I 2013/12/24 00:38:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42138 / 775 KB)
D 2013/12/24 00:39:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:39:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:39:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:39:47 MEMORY performed explicit GC, freed 3200 KB (requested/available/average: 136521 / 42114 / 775 KB)
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:40:47 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42138 / 799 KB)
I 2013/12/24 00:41:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42138 / 799 KB)
I 2013/12/24 00:42:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42137 / 799 KB)



Der Peer hat jetzt inzwischen 4,5 Mio URLs gespeichert. Ist eigentlich zu 100% mit 100MBit/s am Netz für das Netzwerk nützlich. Soll ich den jetzt neu aufsetzen und alles in den Müll werfen? Wäre schade.

Viele Grüße
Frank
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Di Dez 24, 2013 1:05 am

Falls es interessiert, hier noch ein viel längeres Listing der letzten Logs.

Installierte Version ist 1.67/9560.

Musste aber inzwischen neu starten, da im Debug-Modus laufend über SSH-Terminal.



Code: Alles auswählen
E 2013/12/23 23:28:02 org.apache.solr.update.CommitTracker auto commit error...:java.lang.IllegalStateException: this writer hit an OutOfMemoryError; cannot commit
at org.apache.lucene.index.IndexWriter.prepareCommitInternal(IndexWriter.java:2793)
at org.apache.lucene.index.IndexWriter.commitInternal(IndexWriter.java:2970)
at org.apache.lucene.index.IndexWriter.commit(IndexWriter.java:2940)
at org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler2.java:559)
at org.apache.solr.update.CommitTracker.run(CommitTracker.java:216)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
at java.util.concurrent.FutureTask.run(FutureTask.java:166)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:165)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1146)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:701)

W 2013/12/23 23:28:07 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:05 StackTrace null
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at net.yacy.http.servlets.YaCyDefaultServlet.invokeServlet(YaCyDefaultServlet.java:637)
at net.yacy.http.servlets.YaCyDefaultServlet.handleTemplate(YaCyDefaultServlet.java:766)
at net.yacy.http.servlets.YaCyDefaultServlet.doGet(YaCyDefaultServlet.java:298)
at net.yacy.http.servlets.YaCyDefaultServlet.doPost(YaCyDefaultServlet.java:360)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:755)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)
at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:686)
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:501)
at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:229)
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1086)
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428)
at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020)
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:31)
at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:533)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at org.eclipse.jetty.server.Server.handle(Server.java:370)
at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:960)
at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1021)
at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:957)
at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:240)
at org.eclipse.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:668)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
at java.lang.Thread.run(Thread.java:701)
Caused by: java.lang.OutOfMemoryError: Java heap space
D 2013/12/23 23:28:07 SWITCHBOARD Processing 668 bytes / 2 words / 5 entries from mW99MJOxtezC:_anonufe-32037536-40/1.67009319
W 2013/12/23 23:28:05 org.eclipse.jetty.server.AbstractHttpConnection /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:12 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:25 org.eclipse.jetty.server.AbstractHttpConnection /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:28 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:22 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:27 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:24 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:25 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:24 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
I 2013/12/23 23:28:41 YACY hello/server: responded remote junior peer 'YuDuDi' from 193.111.136.35, time_dnsResolve=0, time_backping=32459, method=clientip=193.111.136.35, urls=-1
W 2013/12/23 23:28:34 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:34 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:36 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
I 2013/12/23 23:28:40 MEMORY performed explicit GC, freed 11 KB (requested/available/average: 136521 / 14 / 25879 KB)
W 2013/12/23 23:28:41 org.eclipse.jetty.io.nio handle failed
java.lang.OutOfMemoryError: Java heap space
I 2013/12/23 23:28:48 MEMORY checkProper: below treshold; tresholdCount: 1; proper: true
W 2013/12/23 23:28:44 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:46 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:52 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:48 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:57 org.eclipse.jetty.server.AbstractHttpConnection /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:56 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
D 2013/12/23 23:28:54 SWITCHBOARD Processing 1965 bytes / 4 words / 15 entries from FBjj5uvvdkBM:_anonw-57121074-0/1.66009294
java.lang.OutOfMemoryError: Java heap spaceI 2013/12/23 23:28:54 YACY hello/server: changing remote peer 'YuDuDi' [193.111.136.35] peerType from 'principal' to 'junior'.

W 2013/12/23 23:28:54 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:14 org.eclipse.jetty.io.nio handle failed
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:19 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/transferRWI.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:28:54 org.eclipse.jetty.servlet.ServletHandler Error for /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
E 2013/12/23 23:29:24 UNCAUGHT-EXCEPTION Thread HTTPClient-201.11.210.128: Java heap space
java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:24 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:23 StackTrace null
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at net.yacy.http.servlets.YaCyDefaultServlet.invokeServlet(YaCyDefaultServlet.java:637)
at net.yacy.http.servlets.YaCyDefaultServlet.handleTemplate(YaCyDefaultServlet.java:766)
at net.yacy.http.servlets.YaCyDefaultServlet.doGet(YaCyDefaultServlet.java:298)
at net.yacy.http.servlets.YaCyDefaultServlet.doPost(YaCyDefaultServlet.java:360)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:755)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)
at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:686)
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:501)
at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:229)
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1086)
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428)
at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020)
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:31)
at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:533)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at org.eclipse.jetty.server.Server.handle(Server.java:370)
at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:960)
at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1021)
at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:957)
at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:240)
at org.eclipse.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:668)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
at java.lang.Thread.run(Thread.java:701)
Caused by: java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:24 org.eclipse.jetty.servlet.ServletHandler
javax.servlet.ServletException
at net.yacy.http.servlets.YaCyDefaultServlet.handleTemplate(YaCyDefaultServlet.java:769)
at net.yacy.http.servlets.YaCyDefaultServlet.doGet(YaCyDefaultServlet.java:298)
at net.yacy.http.servlets.YaCyDefaultServlet.doPost(YaCyDefaultServlet.java:360)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:755)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)
at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:686)
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:501)
at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:229)
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1086)
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428)
at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020)
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:31)
at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:533)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at org.eclipse.jetty.server.Server.handle(Server.java:370)
at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:960)
at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1021)
at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:957)
at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:240)
at org.eclipse.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:668)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
at java.lang.Thread.run(Thread.java:701)
W 2013/12/23 23:29:24 org.eclipse.jetty.servlet.ServletHandler /yacy/transferRWI.html
javax.servlet.ServletException
at net.yacy.http.servlets.YaCyDefaultServlet.handleTemplate(YaCyDefaultServlet.java:769)
at net.yacy.http.servlets.YaCyDefaultServlet.doGet(YaCyDefaultServlet.java:298)
at net.yacy.http.servlets.YaCyDefaultServlet.doPost(YaCyDefaultServlet.java:360)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:755)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)
at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:686)
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:501)
at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:229)
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1086)
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428)
at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020)
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:31)
at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:533)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
at org.eclipse.jetty.server.Server.handle(Server.java:370)
at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:960)
at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1021)
at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:957)
at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:240)
at org.eclipse.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:668)
at org.eclipse.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
at java.lang.Thread.run(Thread.java:701)
D 2013/12/23 23:29:24 SWITCHBOARD Processing 2237 bytes / 10 words / 17 entries from FyTrV2uI2hju:schid7864/1.67009319
W 2013/12/23 23:29:05 BusyThread Thread 'Balancer waiting for fi.wikibooks.org: 367 milliseconds' runs short memory cycle. Free mem: 0 KB, needed: 12288 KB
W 2013/12/23 23:29:08 org.eclipse.jetty.server.AbstractHttpConnection /yacy/hello.html
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:10 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 0 KB, needed: 12288 KB
W 2013/12/23 23:29:11 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space
W 2013/12/23 23:29:11 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteCrawlLoaderJob' runs short memory cycle. Free mem: 1 KB, needed: 12288 KB
D 2013/12/23 23:29:24 SWITCHBOARD Processing 2805 bytes / 9 words / 21 entries from G2ZFEXmbIUqt:burningmeteor_yacy/1.67009319
D 2013/12/23 23:29:24 SWITCHBOARD Processing 806 bytes / 3 words / 6 entries from RCgp926QywEn:_anonufe-42386521-55/1.67009308
D 2013/12/23 23:29:24 SWITCHBOARD Processing 2535 bytes / 3 words / 19 entries from 6TSkG7AHNB9C:WE-B13/1.67009319
D 2013/12/23 23:29:24 SWITCHBOARD Processing 1750 bytes / 6 words / 13 entries from HQ3oL58n_jE2:yacy-KC/1.67009319
D 2013/12/23 23:29:24 SWITCHBOARD Processing 3027 bytes / 6 words / 23 entries from ZU2sdlXLFHx2:JanOnymous/1.67009439
D 2013/12/23 23:29:24 SWITCHBOARD Processing 402 bytes / 3 words / 3 entries from cP7sFMRk0-ry:ORG-Domains/1.66009294
D 2013/12/23 23:29:24 SWITCHBOARD Processing 272 bytes / 1 words / 2 entries from L1yRP6ARB4U6:ken/1.67009319
D 2013/12/23 23:29:24 SWITCHBOARD Processing 530 bytes / 4 words / 4 entries from GuTqcE_nEpAA:sixcooler1/1.67009541
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'YuDuDi' [193.111.136.35] in 76091 milliseconds
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer 'SAMMI-VS2' from 78.46.145.203, time_dnsResolve=0, time_backping=53, method=clientip=78.46.145.203, urls=4419845
I 2013/12/23 23:29:24 YACY hello/server: responded remote junior peer '_anonufe-8876689-0' from 46.5.30.32, time_dnsResolve=0, time_backping=95, method=clientip=46.5.30.32, urls=-1
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer 'cherrypig' from 31.53.94.71, time_dnsResolve=0, time_backping=183, method=clientip=31.53.94.71, urls=916199
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer 'moon1' from 31.130.253.52, time_dnsResolve=0, time_backping=229, method=clientip=31.130.253.52, urls=1980432
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'cherrypig' [31.53.94.71] in 200 milliseconds
I 2013/12/23 23:29:24 SWITCHBOARD Received 2 RWIs, 1 Words [hobZhdKDZ1km .. hobZhdKDZ1km], processed in 213 milliseconds, -4415622907521074184, blocked 0, requesting 2/2 URLs from L1yRP6ARB4U6:ken/1.67009319
I 2013/12/23 23:29:24 SWITCHBOARD Received 3 RWIs, 3 Words [h6xVNa5BtrXm .. h60MQBzOTlgk], processed in 236 milliseconds, -4456977303085339040, blocked 0, requesting 0/3 URLs from cP7sFMRk0-ry:ORG-Domains/1.66009294
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer '_anonufe-8876689-0' [46.5.30.32] in 258 milliseconds
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer '_anonufe-65733772-76' from 88.191.140.42, time_dnsResolve=0, time_backping=261, method=clientip=88.191.140.42, urls=1930859
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'SAMMI-VS2' [78.46.145.203] in 276 milliseconds
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer 'GamerX-Server' from 85.25.152.52, time_dnsResolve=0, time_backping=254, method=clientip=85.25.152.52, urls=1003551
I 2013/12/23 23:29:24 SWITCHBOARD Received 4 RWIs, 4 Words [KAcg99xXlxAW .. KAgJjHphsoyb], processed in 288 milliseconds, -1011004798038418116, blocked 0, requesting 2/4 URLs from GuTqcE_nEpAA:sixcooler1/1.67009541
I 2013/12/23 23:29:24 SWITCHBOARD Received 6 RWIs, 3 Words [-XxdKZQb-xsv .. -ZAxQ3Vw41eB], processed in 306 milliseconds, 664517906804996104, blocked 0, requesting 0/6 URLs from RCgp926QywEn:_anonufe-42386521-55/1.67009308
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'moon1' [31.130.253.52] in 318 milliseconds
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'GamerX-Server' [85.25.152.52] in 312 milliseconds
E 2013/12/23 23:29:24 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer '_anonufe-65733772-76' [88.191.140.42] in 348 milliseconds
E 2013/12/23 23:29:24 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:29:24 YACY hello/server: responded remote senior peer 'aquayacy' from 188.61.32.164, time_dnsResolve=0, time_backping=538, method=clientip=188.61.32.164, urls=874555
E 2013/12/23 23:29:24 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:29:24 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:29:24 YACY hello/server: responded remote peer 'aquayacy' [188.61.32.164] in 542 milliseconds
I 2013/12/23 23:29:24 SWITCHBOARD Received 13 RWIs, 6 Words [itTK8qA_wsSk .. itVC0Zeke1Pl], processed in 551 milliseconds, -4570740556884762596, blocked 0, requesting 8/13 URLs from HQ3oL58n_jE2:yacy-KC/1.67009319
I 2013/12/23 23:29:25 SWITCHBOARD Received 19 RWIs, 3 Words [SgUMt3biCiBl .. SgVqy7t-B9Ne], processed in 582 milliseconds, -2235653217334940892, blocked 0, requesting 11/19 URLs from 6TSkG7AHNB9C:WE-B13/1.67009319
I 2013/12/23 23:29:25 SWITCHBOARD Received 17 RWIs, 10 Words [QyTo0NN7EQ7h .. QyY53iNXydVg], processed in 592 milliseconds, -1988002288946513684, blocked 0, requesting 6/17 URLs from FyTrV2uI2hju:schid7864/1.67009319
I 2013/12/23 23:29:25 SWITCHBOARD Received 21 RWIs, 9 Words [yZ4JRxSY469v .. yZ7FbNNKXbv5], processed in 606 milliseconds, 2390504795714215756, blocked 0, requesting 7/21 URLs from G2ZFEXmbIUqt:burningmeteor_yacy/1.67009319
I 2013/12/23 23:29:25 YACY hello/server: responded remote senior peer '_anonufe-43695664-16' from 207.191.217.99, time_dnsResolve=0, time_backping=806, method=clientip=207.191.217.99, urls=1295954
I 2013/12/23 23:29:25 YACY hello/server: responded remote senior peer '_anonufe-42201609-0' from 190.162.42.120, time_dnsResolve=0, time_backping=803, method=clientip=190.162.42.120, urls=260308
I 2013/12/23 23:29:25 YACY hello/server: responded remote peer '_anonufe-42201609-0' [190.162.42.120] in 812 milliseconds
I 2013/12/23 23:29:25 YACY hello/server: responded remote peer '_anonufe-43695664-16' [207.191.217.99] in 818 milliseconds
I 2013/12/23 23:29:25 SWITCHBOARD Received 23 RWIs, 6 Words [6VN7uB7pjrLF .. 6VOvgy0jyOxK], processed in 809 milliseconds, 1248113168591313340, blocked 0, requesting 21/23 URLs from ZU2sdlXLFHx2:JanOnymous/1.67009439
D 2013/12/23 23:29:25 SWITCHBOARD Cleaning Loaded-URLs report stack, 2841 entries on stack 3
D 2013/12/23 23:29:25 SWITCHBOARD Cleaning Incoming News, 67 entries on stack
I 2013/12/23 23:29:26 MEMORY performed explicit GC, freed 25210 KB (requested/available/average: 20495 / 41217 / 11471 KB)
I 2013/12/23 23:29:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:29:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer '_anonufe-51991484-34' from 81.235.133.177, time_dnsResolve=0, time_backping=6096, method=clientip=81.235.133.177, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer '_anonufe-31109173-12' from 67.247.251.63, time_dnsResolve=0, time_backping=6089, method=clientip=67.247.251.63, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer '_anonw-13586337-10' from 2.10.226.93, time_dnsResolve=0, time_backping=6092, method=clientip=2.10.226.93, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer '_anonufe-52281438-0' from 84.192.109.230, time_dnsResolve=0, time_backping=6094, method=clientip=84.192.109.230, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer '_anonw-18842700-32' from 58.167.88.201, time_dnsResolve=0, time_backping=6093, method=clientip=58.167.88.201, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer '_anonufe-51991484-34' [81.235.133.177] in 6104 milliseconds
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer '_anonw-13586337-10' [2.10.226.93] in 6104 milliseconds
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer '_anonw-18842700-32' [58.167.88.201] in 6101 milliseconds
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer '_anonufe-31109173-12' [67.247.251.63] in 6103 milliseconds
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer '_anonufe-52281438-0' [84.192.109.230] in 6108 milliseconds
I 2013/12/23 23:29:30 YACY hello/server: responded remote junior peer 'oe8spq_test2' from 54.229.84.42, time_dnsResolve=0, time_backping=6133, method=clientip=54.229.84.42, urls=-1
I 2013/12/23 23:29:30 YACY hello/server: responded remote peer 'oe8spq_test2' [54.229.84.42] in 6137 milliseconds
I 2013/12/23 23:29:36 MEMORY performed explicit GC, freed 9599 KB (requested/available/average: 136521 / 42011 / 13159 KB)
I 2013/12/23 23:30:36 MEMORY performed explicit GC, freed 927 KB (requested/available/average: 136521 / 42046 / 10431 KB)
I 2013/12/23 23:31:36 MEMORY performed explicit GC, freed 679 KB (requested/available/average: 136521 / 42073 / 7150 KB)
I 2013/12/23 23:32:37 MEMORY performed explicit GC, freed 498 KB (requested/available/average: 136521 / 42079 / 7283 KB)
I 2013/12/23 23:33:37 MEMORY performed explicit GC, freed 402 KB (requested/available/average: 136521 / 42081 / 7382 KB)
D 2013/12/23 23:34:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:34:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:34:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:34:37 MEMORY performed explicit GC, freed 3348 KB (requested/available/average: 136521 / 42063 / 2421 KB)
E 2013/12/23 23:34:37 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:34:37 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:34:37 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:34:37 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:35:37 MEMORY performed explicit GC, freed 341 KB (requested/available/average: 136521 / 42088 / 1171 KB)
I 2013/12/23 23:36:37 MEMORY performed explicit GC, freed 282 KB (requested/available/average: 136521 / 42090 / 1054 KB)
I 2013/12/23 23:37:37 MEMORY performed explicit GC, freed 265 KB (requested/available/average: 136521 / 42096 / 974 KB)
I 2013/12/23 23:38:37 MEMORY performed explicit GC, freed 254 KB (requested/available/average: 136521 / 42095 / 928 KB)
D 2013/12/23 23:39:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:39:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:39:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:39:38 MEMORY performed explicit GC, freed 3442 KB (requested/available/average: 136521 / 42073 / 898 KB)
E 2013/12/23 23:39:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:39:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:39:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:39:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:40:38 MEMORY performed explicit GC, freed 284 KB (requested/available/average: 136521 / 42099 / 917 KB)
I 2013/12/23 23:41:38 MEMORY performed explicit GC, freed 247 KB (requested/available/average: 136521 / 42100 / 906 KB)
I 2013/12/23 23:42:38 MEMORY performed explicit GC, freed 245 KB (requested/available/average: 136521 / 42101 / 898 KB)
I 2013/12/23 23:43:38 MEMORY performed explicit GC, freed 243 KB (requested/available/average: 136521 / 42102 / 894 KB)
D 2013/12/23 23:44:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:44:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:44:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:44:38 MEMORY performed explicit GC, freed 3242 KB (requested/available/average: 136521 / 42080 / 892 KB)
E 2013/12/23 23:44:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:44:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:44:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:44:38 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:45:39 MEMORY performed explicit GC, freed 273 KB (requested/available/average: 136521 / 42105 / 852 KB)
I 2013/12/23 23:46:39 MEMORY performed explicit GC, freed 234 KB (requested/available/average: 136521 / 42104 / 850 KB)
I 2013/12/23 23:47:39 MEMORY performed explicit GC, freed 236 KB (requested/available/average: 136521 / 42109 / 847 KB)
I 2013/12/23 23:48:39 MEMORY performed explicit GC, freed 232 KB (requested/available/average: 136521 / 42109 / 846 KB)
D 2013/12/23 23:49:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:49:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:49:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:49:39 MEMORY performed explicit GC, freed 3169 KB (requested/available/average: 136521 / 42087 / 843 KB)
E 2013/12/23 23:49:39 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:49:39 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:49:39 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:49:39 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:50:39 MEMORY performed explicit GC, freed 261 KB (requested/available/average: 136521 / 42110 / 829 KB)
I 2013/12/23 23:51:40 MEMORY performed explicit GC, freed 228 KB (requested/available/average: 136521 / 42115 / 827 KB)
I 2013/12/23 23:52:40 MEMORY performed explicit GC, freed 224 KB (requested/available/average: 136521 / 42116 / 825 KB)
I 2013/12/23 23:53:40 MEMORY performed explicit GC, freed 221 KB (requested/available/average: 136521 / 42116 / 823 KB)
D 2013/12/23 23:54:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:54:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:54:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:54:40 MEMORY performed explicit GC, freed 3170 KB (requested/available/average: 136521 / 42095 / 821 KB)
E 2013/12/23 23:54:40 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:54:40 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:54:40 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:54:40 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/23 23:55:40 MEMORY performed explicit GC, freed 254 KB (requested/available/average: 136521 / 42122 / 821 KB)
I 2013/12/23 23:56:40 MEMORY performed explicit GC, freed 216 KB (requested/available/average: 136521 / 42123 / 820 KB)
I 2013/12/23 23:57:40 MEMORY performed explicit GC, freed 214 KB (requested/available/average: 136521 / 42124 / 817 KB)
I 2013/12/23 23:58:41 MEMORY performed explicit GC, freed 212 KB (requested/available/average: 136521 / 42125 / 815 KB)
D 2013/12/23 23:59:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/23 23:59:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/23 23:59:26 RESOURCE OBSERVER resources ok
I 2013/12/23 23:59:41 MEMORY performed explicit GC, freed 3113 KB (requested/available/average: 136521 / 42101 / 813 KB)
E 2013/12/23 23:59:41 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:59:41 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:59:41 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/23 23:59:41 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:00:41 MEMORY performed explicit GC, freed 245 KB (requested/available/average: 136521 / 42130 / 802 KB)
I 2013/12/24 00:01:41 MEMORY performed explicit GC, freed 206 KB (requested/available/average: 136521 / 42131 / 800 KB)
I 2013/12/24 00:02:41 MEMORY performed explicit GC, freed 204 KB (requested/available/average: 136521 / 42132 / 798 KB)
I 2013/12/24 00:03:41 MEMORY performed explicit GC, freed 202 KB (requested/available/average: 136521 / 42133 / 796 KB)
D 2013/12/24 00:04:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:04:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:04:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:04:42 MEMORY performed explicit GC, freed 3121 KB (requested/available/average: 136521 / 42111 / 794 KB)
E 2013/12/24 00:04:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:04:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:04:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:04:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:05:42 MEMORY performed explicit GC, freed 232 KB (requested/available/average: 136521 / 42134 / 795 KB)
I 2013/12/24 00:06:42 MEMORY performed explicit GC, freed 196 KB (requested/available/average: 136521 / 42138 / 793 KB)
I 2013/12/24 00:07:42 MEMORY performed explicit GC, freed 194 KB (requested/available/average: 136521 / 42139 / 791 KB)
I 2013/12/24 00:08:42 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 789 KB)
D 2013/12/24 00:09:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:09:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:09:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:09:42 MEMORY performed explicit GC, freed 3125 KB (requested/available/average: 136521 / 42116 / 786 KB)
E 2013/12/24 00:09:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:09:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:09:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:09:42 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:10:42 MEMORY performed explicit GC, freed 224 KB (requested/available/average: 136521 / 42138 / 787 KB)
I 2013/12/24 00:11:43 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 786 KB)
I 2013/12/24 00:12:43 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 785 KB)
I 2013/12/24 00:13:43 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 784 KB)
D 2013/12/24 00:14:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:14:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:14:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:14:43 MEMORY performed explicit GC, freed 3075 KB (requested/available/average: 136521 / 42117 / 784 KB)
E 2013/12/24 00:14:43 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:14:43 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:14:43 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:14:43 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:15:43 MEMORY performed explicit GC, freed 226 KB (requested/available/average: 136521 / 42142 / 774 KB)
I 2013/12/24 00:16:43 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42141 / 775 KB)
I 2013/12/24 00:17:44 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42139 / 774 KB)
I 2013/12/24 00:18:44 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42141 / 774 KB)
D 2013/12/24 00:19:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:19:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:19:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:19:44 MEMORY performed explicit GC, freed 3141 KB (requested/available/average: 136521 / 42117 / 774 KB)
E 2013/12/24 00:19:44 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:19:44 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:19:44 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:19:44 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:20:44 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42141 / 787 KB)
I 2013/12/24 00:21:44 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42141 / 787 KB)
I 2013/12/24 00:22:44 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 787 KB)
I 2013/12/24 00:23:44 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 787 KB)
D 2013/12/24 00:24:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:24:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:24:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:24:45 MEMORY performed explicit GC, freed 3065 KB (requested/available/average: 136521 / 42115 / 787 KB)
E 2013/12/24 00:24:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:24:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:24:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:24:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:25:45 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42140 / 772 KB)
I 2013/12/24 00:26:45 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 772 KB)
I 2013/12/24 00:27:45 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42140 / 772 KB)
I 2013/12/24 00:28:45 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 772 KB)
D 2013/12/24 00:29:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:29:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:29:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:29:45 MEMORY performed explicit GC, freed 3104 KB (requested/available/average: 136521 / 42112 / 772 KB)
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:29:45 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:30:45 MEMORY performed explicit GC, freed 226 KB (requested/available/average: 136521 / 42140 / 780 KB)
I 2013/12/24 00:31:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42137 / 780 KB)
I 2013/12/24 00:32:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42136 / 780 KB)
I 2013/12/24 00:33:46 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 779 KB)
D 2013/12/24 00:34:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:34:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:34:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:34:46 MEMORY performed explicit GC, freed 3081 KB (requested/available/average: 136521 / 42115 / 779 KB)
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:34:46 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:35:46 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42139 / 774 KB)
I 2013/12/24 00:36:46 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42139 / 774 KB)
I 2013/12/24 00:37:46 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42136 / 775 KB)
I 2013/12/24 00:38:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42138 / 775 KB)
D 2013/12/24 00:39:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:39:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:39:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:39:47 MEMORY performed explicit GC, freed 3200 KB (requested/available/average: 136521 / 42114 / 775 KB)
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:39:47 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:40:47 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42138 / 799 KB)
I 2013/12/24 00:41:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42138 / 799 KB)
I 2013/12/24 00:42:47 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42137 / 799 KB)
I 2013/12/24 00:43:47 MEMORY performed explicit GC, freed 188 KB (requested/available/average: 136521 / 42135 / 799 KB)
D 2013/12/24 00:44:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:44:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:44:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:44:48 MEMORY performed explicit GC, freed 3105 KB (requested/available/average: 136521 / 42114 / 799 KB)
E 2013/12/24 00:44:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:44:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:44:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:44:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:45:48 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42138 / 780 KB)
I 2013/12/24 00:46:48 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42137 / 780 KB)
I 2013/12/24 00:47:48 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42137 / 780 KB)
I 2013/12/24 00:48:48 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42137 / 780 KB)
D 2013/12/24 00:49:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:49:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:49:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:49:48 MEMORY performed explicit GC, freed 3073 KB (requested/available/average: 136521 / 42111 / 780 KB)
E 2013/12/24 00:49:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:49:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:49:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:49:48 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
I 2013/12/24 00:50:48 MEMORY performed explicit GC, freed 225 KB (requested/available/average: 136521 / 42137 / 774 KB)
I 2013/12/24 00:51:49 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42136 / 774 KB)
I 2013/12/24 00:52:49 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42136 / 774 KB)
I 2013/12/24 00:53:49 MEMORY performed explicit GC, freed 190 KB (requested/available/average: 136521 / 42136 / 774 KB)
D 2013/12/24 00:54:26 SWITCHBOARD Cleaning Incoming News, 66 entries on stack
I 2013/12/24 00:54:26 YACY rulebasedUpdateInfo: not an automatic update selected
I 2013/12/24 00:54:26 RESOURCE OBSERVER resources ok
I 2013/12/24 00:54:49 MEMORY performed explicit GC, freed 3072 KB (requested/available/average: 136521 / 42110 / 774 KB)
E 2013/12/24 00:54:49 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:54:49 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:54:49 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!
E 2013/12/24 00:54:49 org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!

fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon sixcooler » Di Dez 24, 2013 1:08 am

Hallo,

Dir geht der Speicher aus - bei zu vielen Anfragen an das Solr-Subsystem.
Das einfachste dürfte sein YaCy mehr Speicher zuzuweisen - wenn möglich.
Welche Versio nutzt Du?

Cu, Sebastian.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Di Dez 24, 2013 2:11 am

Hallo Sebastian,

Version ist 1.67/9560

Nur: Speicher kann ich nicht mehr zuweisen. Der gemietete virtuelle Hetzner-Server hat nun mal nur 512MB. Plus Swap. Da es aber perfomance-mäßig wenig nutzt, das Swappen extensiv zu nutzen, kann ich den Speicher für YACY nicht weiter vergrößern.

Der Vorteil des Servers: 100MBit up- and down-Stream und der (virtuelle) Prozessore-Kern ist ziemlich fix. Auch der Festplatenzugriff ist fix, wie ich mit iotop hab sehen können. Mit 4 1/2 Mio URLs macht der Server auch Sinn am YACY-Netz. Aber nur, solange er damit stabil bleibt.

Es macht keinen Sinn, wenn YACY nur so viele Tage läuft, bis es sich selbst abschießt. Wenn der RAM nicht mehr reicht, sollte sich YACY selbst begrenzen und einfach so am Netz arbeiten, dass es arbeitsfähig bleibt.

Ich kann (noch) nicht glauben, dass YACY mit seiner "Gefräßigkeit" nach mehr URLs und DHT-Speicher sich irgendwann selbst auffrisst.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon sixcooler » Di Dez 24, 2013 3:05 am

Crawl und dht hätte der Peer auch abstellen sollen bevor es zu spät ist.
Ist das nicht passiert?
Versuche mal unter /PerformanceMemory_p.html -> Häkchen weg bei 'use Standard Memory Strategy' - schaltet es dann zuverlässiger Crawl und dht ab?
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Di Dez 24, 2013 10:34 am

Also bei "use Standard Memory Strategy (current: Generation Memory Strategy)" ist kein Häckchen, wenn man die Seite aufruft.

Setzt man das Häckchen, dann wechselt die Zeile zu "use Standard Memory Strategy (current: Standard Memory Strategy)".

Ruft man nun wieder diese Seite auf, dann steht da wieder wie zu Beginn:

"use Standard Memory Strategy (current: Generation Memory Strategy)" ohne Häckchen.

Ist das richtig so?
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon sixcooler » Di Dez 24, 2013 3:52 pm

jupp - das meine ich
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Di Dez 24, 2013 10:44 pm

Mhm. Habs nun über den Heiligen Nachmitag und Abend laufen lassen ohne anzufassen.

Jetzt eben den Laptop wieder aufgeklappt und mal sehen, was angezeigt wird, wenn die Browserseite sich aktualisiert:

Jetzt zeigt's an, dass der Indexer beschäftigt ist (Admin-Statusseite) und bei Local Crawl ist das grüne Dreieck (bei stehendem Crawl) wieder dem roten Quadrat gewichen. Aber die Seite wird nicht wirklich vollständig geladen. YACY reagiert nicht mehr vollständig auf Webanfragen. Das Diagramm und das Loggingfenster bekommen keine Daten mehr.

Nun Klick auf Monitoring->Computation: .... YACY sendet nicht wirklich noch eine Antwort an den Browser. Und im Log stehen für mich wieder nicht erklärbare Einträge:

Code: Alles auswählen
W 2013/12/24 22:14:36 BusyThread Thread 'net.yacy.search.Switchboard.dhtTransferJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:15:36 BusyThread Thread 'net.yacy.peers.Network.peerPing' runs short memory cycle. Free mem: 1024 KB, needed: 2048 KB
W 2013/12/24 22:15:38 BusyThread Thread 'net.yacy.search.Switchboard.surrogateProcess' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
D 2013/12/24 22:17:30 SWITCHBOARD Cleaning Incoming News, 11 entries on stack
I 2013/12/24 22:17:30 YACY rulebasedUpdateInfo: not an automatic update selected
W 2013/12/24 22:18:31 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: $
W 2013/12/24 22:18:37 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:18:47 BusyThread Thread 'net.yacy.search.Switchboard.dhtTransferJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:19:49 BusyThread Thread 'net.yacy.peers.Network.peerPing' runs short memory cycle. Free mem: 1024 KB, needed: 2048 KB
W 2013/12/24 22:19:50 BusyThread Thread 'net.yacy.search.Switchboard.surrogateProcess' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
D 2013/12/24 22:22:30 SWITCHBOARD Cleaning Incoming News, 11 entries on stack
I 2013/12/24 22:22:30 YACY rulebasedUpdateInfo: not an automatic update selected
W 2013/12/24 22:22:43 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: $
W 2013/12/24 22:22:49 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:22:59 BusyThread Thread 'net.yacy.search.Switchboard.dhtTransferJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:24:03 BusyThread Thread 'net.yacy.search.Switchboard.surrogateProcess' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:24:03 BusyThread Thread 'net.yacy.peers.Network.peerPing' runs short memory cycle. Free mem: 1024 KB, needed: 2048 KB
W 2013/12/24 22:26:56 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: $
W 2013/12/24 22:27:02 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:27:12 BusyThread Thread 'net.yacy.search.Switchboard.dhtTransferJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
D 2013/12/24 22:27:30 SWITCHBOARD Cleaning Incoming News, 11 entries on stack
I 2013/12/24 22:27:30 YACY rulebasedUpdateInfo: not an automatic update selected
W 2013/12/24 22:28:17 BusyThread Thread 'net.yacy.search.Switchboard.surrogateProcess' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:28:18 BusyThread Thread 'net.yacy.peers.Network.peerPing' runs short memory cycle. Free mem: 1024 KB, needed: 2048 KB
W 2013/12/24 22:31:10 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: $
W 2013/12/24 22:31:16 BusyThread Thread 'net.yacy.crawler.data.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB
W 2013/12/24 22:31:26 BusyThread Thread 'net.yacy.search.Switchboard.dhtTransferJob' runs short memory cycle. Free mem: 1024 KB, needed: 12288 KB


Mir sagt das Log nur so viel, dass offenbar mehr Speicher für die Threads benötigt wird, als da ist.
Der Browser wartet weiter auf eine Antwort von YACY. Aber es kommt nichts mehr. :(

Mit einem anderen YACY gerade mal nachgesehen: Antwortet auch nicht mehr auf andere Peers, denn dort taucht es nicht mehr unter "Active Peers" auf.

Sieht also so aus, dass nur nach einem Neustart eine ganze Weile alles nach Plan läuft und sich YACY irgendwann verschluckt.

Allerdings scheint es auch nach einem Neustart für das Netzwerk nicht mehr zur Verfügung zu stehen. Habe heute Mittag mal versucht (als es noch schön brav auf Browseranfragen geantwortet hat) von einem anderen Peer Begriff-Kombinationen zu suchen, die insbesondere in den vorangegangenen Tagen von diesem Peer gecrawlt worden. Ich nehme an, dass man auf der Statusseite des Peers sehen müsste, wenn eine Suchanfrage eines anderen Peers bearbeitet wird. Aber nichts dergleichen. Zig mal versucht. Nur hin und wieder wird angezeigt, dass ein Peer ins Netzwerk gekommen ist oder jemand ein Ping gesendet hat. Aber auch schon deutlich seltener als sonst üblich. - Also scheint der Peer auch ohne crawl in diesem Zustand nutzlos. :(
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon Yududi » Mi Dez 25, 2013 8:30 am

Soll er unbedingt bei Hetzner laufen?
Gibt noch andere Anbieter mit zum Teil 8x so viel Arbeitsspeicher für fast das gleiche Geld da hat man dann auch weniger Probleme oder man nimmt einen größeren bei Hetzner.
Ich habe den Betrieb mit YaCy bei 512-1024 MB nur kurz ausprobiert war aber nicht schön.
Aktuell denke ich sind 2+ GB nur rein praktisch gesehen wirklich das Mindeste was man haben sollte wenn man seinen Peer für längere Zeit laufen lassen möchte.
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Mi Dez 25, 2013 11:13 am

Nee. Hetzner muss nicht sein. Mir stellt sich nur die Frage, ob man mit mehr RAM am Ende nicht in das gleiche Problem laufen kann. Nur eben einige Wochen später. Wer YACY zu Hause nutzt und noch ein 32 Bit OS hat, wie die vielen WinXP-User, wird sicher auch nicht mehr als die 600MB der Grundeinstellung bereitstellen wollen.

Im Prinzip ist es möglich, dass ich mir das Problem dadurch geschaffen hab, dass ich natürlich auch an der Konfiguration "gedreht" habe. Schwer einzuschätzen, auf welchem Weg man YACY da ausser Tritt bringen kann. Habe im Wesentlichen an den busy-Zeiten gespielt und performanceIO hochgestellt, da außer YACY keine andere Software läuft.

Ich werde YACY vielleicht nochmal völlig neu starten (also das gesamte yacy-Verzeichnis initialisieren) und ausschließlich die Einstellung für den Arbeitsspeicher von 600MB auf 400MB verringern.

Wie verhält sich eigentlich die Menge an verfügbarem Arbeitsspeicher zu der maximalen Größe des Index? Ist das linear? Sprich, doppelter RAM ist doppelt so große Menge an indizierten Dokumenten :?:
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon Orbiter » Do Dez 26, 2013 10:45 pm

ich bin neugierig wie sich die Situation "wenn Peer nicht reagiert" geändert hat mit der jetty-Implementierung und Ersetzen des alten httpd. Ich denke es sollte da einen Zusammenhang geben können, bin aber nicht sicher.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Fr Dez 27, 2013 2:11 am

Hallo Orbiter!

Ist das jetzt schon drin? (Deiner Reaktion zu Folge ist Dir das Problem also alt-bekannt. Ist für mich halt schlecht als Neueinsteiger eine inhaltliche Chronologie aus den Forenbeiträgen zu erkennen. Bzw. die wichtigen Foreneinträge zu finden.)

-> Gibt's nen Foren-Thread, wo Du das, was Du derzeit prinzipiell an der Software machst kurz kommentierst? Also nicht das Update-Log mit einzelnen Programm-Code-Änderungs-Details, sondern, wo prinzipielle Änderungen kommentiert sind, die sich auf das Verhalten der Software entscheidend auswirken können? Bzw. was Du in nächster Zeit ändern willst.



Hatte den Hetzner gestern mit ner älteren Version neu gestartet. Wollte dann updaten, aber das hat nicht geklappt. Vermutlich war der Updateserver nicht so fix am Reagieren. Oder ich zu ungeduldig. Jetzt hat es geklappt. yacy_v1.67_20131227_9581.tar.gz läuft jetzt. Parallel auch den CubieTruck geupdatet. (fherb-CubieTruck1)

Meinen lahmen RaspberryPi werde ich die kommenden Tage nochmal neu aufsetzen. Vermutlich hat das WLAN-Interface ne Menge CPU-Performance gefressen. Am Hub ist aber gerade kein Port mehr frei. Muss erst mal die Tage bei Cyberport vorbei.


Den Hetzner hatte ich vor Kurzem eigentlich angemietet, um dort einen TOR-Exit-Node der Community zu spendieren. Hetzner hat prinzipiell nichts dagegen. Deswegen Hetzner. -> Bin jetzt aber durch Zufall auf den Verein http://www.zwiebelfreunde.de/ gestoßen. Werde wohl dort finanziell unterstützen und mir dafür vorerst ne eigene Rechtsschutzversicherung sparen können. ;)
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Fr Dez 27, 2013 2:32 am

... wobei ich heute schon mal überlegt habe, ob man auch schon ne Rechtsschutzversicherung benötigt, wenn man bei YACY zu Hause ein Remote-Crawl zulässt. Nach dem letzten Vorfall mit RedTube... :evil:
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon Orbiter » Fr Dez 27, 2013 3:03 am

fherb hat geschrieben:Ist das jetzt schon drin? (Deiner Reaktion zu Folge ist Dir das Problem also alt-bekannt. Ist für mich halt schlecht als Neueinsteiger eine inhaltliche Chronologie aus den Forenbeiträgen zu erkennen. Bzw. die wichtigen Foreneinträge zu finden.)

Das ist drin in den Versionen die es über den auto-updater gibt. Das Problem ist, nun ja, nicht alt-bekannt sondern eine alte Plage. Mal läufts, mal nicht. Es kann dazu mehrere Baustellen geben, sei es dass der User seine Kiste schlicht überfordert oder dass es Deadlocks gibt für die der User nichts kann. Allgemein sollte es keine nicht-Reaktion geben wenn genügend RAM da ist, ansonsten gibts halt GC-Tode die sich aber wieder 'entkrampfen' können. Dann gibts noch memory leaks die ich aber permanent stopfe wenn mir einer begegnet. In diesem Kontext sieht man dass das Thema komplex und chaotisch ist (im Sinne von vielen Freiheitsgraden) und so eine heftige Änderung wie der httpd-Austausch schon eine neue Situation ist.

fherb hat geschrieben:-> Gibt's nen Foren-Thread, wo Du das, was Du derzeit prinzipiell an der Software machst kurz kommentierst? Also nicht das Update-Log mit einzelnen Programm-Code-Änderungs-Details, sondern, wo prinzipielle Änderungen kommentiert sind, die sich auf das Verhalten der Software entscheidend auswirken können? Bzw. was Du in nächster Zeit ändern willst.

Nein, es gibt mein kleines schwarzes Buch :) Das ist randvoll mit vielen kleinen Baustellen-Notizen, das protokolliere ich nicht öffentlich. Wenn ich will dass jemand weiss dass es was ganz tolles neues gibt, dann steht das in Twitter: https://twitter.com/yacy_search
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon fherb » Fr Dez 27, 2013 3:59 am

Danke für die Infos!

Ja stimmt: Viele Freiheitsgrade sind immer ein großes Problem. Vor allem sind neue Effekte erst mal sehr schlecht auf eine bestimmte Ursache zurückzuführen. Bzw. ist die Analyse zeitraubend. Ich kenne das von Regelungssystemen mit vielen Stellparametern her. Eine Methode ist dann hilfreich: Das Gesamtsystem noch mal in Gedanken feingliedrig auseinander nehmen und "mit der Hand" zusätzliche Beschränkungen einführen. Das System wird dadurch zwar nicht mehr in der Lage sein, irgendwann den wirklich optimalen Arbeitspunkt zu finden, den verbaut man sich mit hoher Wahrscheinlichkeit dabei, aber die Analyse Wirkung->Ursache wird deutlich einfacher und man erreicht am Ende trotz allem einen besseren Arbeitspunkt als ohne diese Fesseln. Aber: Das ist erst mal nur die Theorie. Am besten, man findet ein paar billige Praktikanten (Diplomanden), die Werkzeuge programmieren, mit dem man sein System noch besser erforschen kann. ;)

Ich würde YACY tatsächlich ein Niveau, Schwierigkeitsgrad und einen Umfang zusprechen, wo eine Zusammenarbeit mit ner Uni oder einer Einheit in einem Forschungszentrum viel bringen könnte. War das nicht Karlsruhe oder Jülich, die da ein Cluster für wissenschaftliche Dokumente / Literatur betreiben? Vielleicht lässt sich sowas im Zusammenhang mit dem in der Wissenschaft oft propagierten Open Access initiieren. (Ich weiß, dass um open access meist doch nur viel heiße Luft in Meetings gemacht wird. Das zieht sich nun schon seit Jahren und unsere Bibliotheken zahlen weiter für die teuren Wissenschaftsmagazine.) - War nur so'n Gedanke.

[Bin übrigens auf YACY gekommen, weil mir Google mit seinen Suchergebnissen manchmal tüchtig auf die Nerven geht. Der Effekt nach einem Schuhkauf auch bei Suche nach Mützen dauernd nur Schuhe angeboten zu bekommen ist mir jetzt im Bereich Software öfters passiert. Früher hab ich mit den Anfragen Google meist noch überlisten können. Aber diese gute Zeit scheint jetzt oft genug vorbei zu sein.]
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon Orbiter » Do Feb 06, 2014 4:17 pm

Ich habe auf einem Peer so einen Fall gehabt, dass er nicht reagiert und habe mit jmap -dump:format=b <pid> ein dump file von der noch laufenden Applikation gemacht und mit dem Eclipse MemoryAnalyzer untersucht, Ergebnis: memory leak in Solr (speziell ConcurrentLRUCache):

Solr_MemoryLeak_ConcurrentLRUCache.png
Solr_MemoryLeak_ConcurrentLRUCache.png (120.15 KiB) 2213-mal betrachtet


Dabei gibt es schon Konfigurationen in solrconfig.xml um die Caches klein zu halten. Ich versuche nun herauszufinden, ob ich über direkte Methoden am Solr Core den Cache kleinkloppen kann.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon sixcooler » Do Feb 06, 2014 5:02 pm

Die Caches kann man auch gut ganz weglassen - YaCy hat ja eh alles gecached - ich denke nicht das ohne die SolrCaches mehr IO erzeugt wird.
Ich hab das bei mir schon recht lange ohne sie laufen.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon Orbiter » Fr Feb 07, 2014 10:34 am

die Caches sind eh schon recht klein, ich habe aber den Code durchforstet und den Verdacht, dass ich da irgendwo einen Fehler hatte der Solr Searcher aufgemacht und nicht wieder geschlossen hat. Das legt dann pro Searcher vier neue Caches an. Die Datenstruktur, die alle Caches hält hatte ich wohl schon vor zwei Monaten als Memory Leak entdeckt, dann aber falsch gefixt. Könnte jetzt besser gelaufen sein. Um das ganze mal monitoren zu können, habe ich in /PerformanceMemory_p.html eine neue Tabelle die alle Solr Datenstrukturen zeigt, die bei einem Core geöffnet sind. Da sind auch die vier Caches drin (mit "org.apache.solr.search.FastLRUCache" in der ersten Spalte) und dazugehörigen Statistiken. Mal schauen wie das sich dort entwickelt, bei Verdacht auf Memory Leak bitte da mal rein schauen ob was merkwürdig ist.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Was liest man aus dem Log, wenn Peer nicht reagiert?

Beitragvon sixcooler » Fr Feb 07, 2014 2:47 pm

Ich dachte irgendwo im Solr-Wiki mal etwas aufgeschnapt zu haben, das Searcher - wenn geschlossen - eh wieder geöffnet werden.
Solr versucht immer einen Searcher offen zu haben um für die nächste Anfrage bereit zu sein.
Ob die neuen Caches gleich wieder gefüllt werden, ist eine Frage der Option 'Autowarming'.
Ja die Caches sind klein in unserer Config - aber 64 Dokumente können auch Fett sein.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast