Garbage Collection fehlerhaft?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Di Jul 08, 2008 6:59 pm

die yacy version (0.591/04935 ), die bisher recht zuverlässig lief, bleibt nun alle 1-2h stehen.
im log finde ich die folgenden zeilen, die auf ein problem mit der garbage collection hinweisen,
was auch zu out-of-memory führt.
dadurch antwortet yacy nicht mehr auf suchanfragen.
alle versionen bis letzten freitag hatten noch das gleiche problem.
die ganz aktuelle dev-version hab ich noch nicht probiert.

wie lässt sich das beheben?
(3GB RAM zugewiesen, Kiste hat 4GB)

I 2008/07/08 19:55:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 641 / -1 KB)
E 2008/07/08 19:55:28 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
I 2008/07/08 19:55:30 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1120 / -1 KB)
I 2008/07/08 19:55:30 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1302 / -1 KB)
I 2008/07/08 19:55:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 641 / -1 KB)
I 2008/07/08 19:55:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 4096 / 641 / -1 KB)
W 2008/07/08 19:55:30 PLASMA Thread 'de.anomic.crawler.CrawlStacker.job' runs short memory cycle. Free mem: 1275 KB, needed: 1024 KB
E 2008/07/08 19:55:28 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3580 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1146 / -1 KB)
E 2008/07/08 19:55:40 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
I 2008/07/08 19:55:37 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 1322 / -1 KB)
W 2008/07/08 19:55:42 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.dhtTransferJob' runs short memory cycle. Free mem: 2263 KB, needed: 6144 KB
I 2008/07/08 19:55:35 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 831 / -1 KB)
W 2008/07/08 19:55:35 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 916 KB, needed: 4096 KB
W 2008/07/08 19:55:35 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 948 KB, needed: 6144 KB
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2614 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2827 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2861 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2934 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1538 / -1 KB)
I 2008/07/08 19:55:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1049 / -1 KB)
I 2008/07/08 19:55:44 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3776 / -1 KB)
I 2008/07/08 19:55:44 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3537 / -1 KB)
I 2008/07/08 19:55:44 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3191 / -1 KB)
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 4096 / 3585 / -1 KB)
W 2008/07/08 19:55:45 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 3326 KB, needed: 4096 KB
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3096 / -1 KB)
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 3011 / -1 KB)
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2888 / -1 KB)
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2902 / -1 KB)
I 2008/07/08 19:55:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 2148 / -1 KB)
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon Lotus » Mi Jul 09, 2008 6:59 am

Passe einmal auf der /PerformanceQueues_p.html (Queues Performance Settings) den benötigten Speicher an (Minimum of
Required Memory). Was im Mittel gebraucht wird, steht weiter links in einer Spalte. Wenn das korrekt eingestellt ist, sollte es keine OOM-Meldungen mehr geben und der Peer zuverlässig laufen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Mi Jul 09, 2008 8:21 am

Für welche Werte soll ich das denn anpassen?

An den minimum required memory werten hab ich nichts geändert, wie im screenshot zu sehen ist.
Dateianhänge
properties.png
properties.png (80.93 KiB) 1091-mal betrachtet
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon Lotus » Mi Jul 09, 2008 8:45 am

Du brauchst schon etwas Laufzeit um das zu erkennen. -1 ist nicht sehr hilfreich. ;)
Ich habe bei mir z.B. YaCy Core, DHT und Indexing hochgesetzt. Wenn Memory Use über Required Memory liegt, sollte es auf jeden Fall angepasst werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Mi Jul 09, 2008 9:03 am

> Du brauchst schon etwas Laufzeit um das zu erkennen. -1 ist nicht sehr hilfreich. ;)
da haste wohl recht ;-)

Der Punkt ist, daß die Kiste gar nicht mehr crawlt, weil über den Tag verteilt 2-8 requests pro Sekunde reinkommen.
Dadurch geht halt die komplette Laufzeit auf den HTTP Server.

btw, ich nehme mal an, ein wert von 0 heißt dann unbeschränkt?
sollte ich den für den HTTP Server nicht einschränken?
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon Lotus » Mi Jul 09, 2008 11:19 am

m1k3ga hat geschrieben:Der Punkt ist, daß die Kiste gar nicht mehr crawlt, weil über den Tag verteilt 2-8 requests pro Sekunde reinkommen.

Hast du schon die "Online Caution" Einstellungen verändert? (unten auf der Seite) Wenn das nichts bringt, sollte es um eine weitere Option "override" erweitert werden.

Von den HTTP-Server Einstellungen habe ich bisher meine Finger gelassen, da der zur Steuerung und Kommunikation gebraucht wird. Er wäre dann nicht erreichbar, wenn nicht genug freier Speicher vorhanden ist.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Mi Jul 09, 2008 12:20 pm

ich hatte die werte auf (15000 / 9000 / 0), habe die Werte jetzt umgestellt auf (200 / 200 / 0).
Jetzt fängt er auch an mit dem crawling.
Dazu hab ich direkt die Speicherwerte angepasst in den Performance Settings.
Mal weiter beobachten, was passiert, ob die Probleme mit der Garbage collection in den Log-Dateien weg gehen.
Dateianhänge
ProxyPerformance.png
ProxyPerformance.png (18.83 KiB) 1047-mal betrachtet
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Mi Jul 09, 2008 12:59 pm

Die Änderungen mit der Speicheranpassung und den Online caution settings haben nicht wirklcih was gebracht.
Die Exceptions kommen immer noch:



D 2008/07/09 13:57:16 LOCAL_SEARCH SEARCH TIME AFTER XREF PREPARATION: 413 seconds
I 2008/07/09 13:57:19 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 493 / -1 KB)
I 2008/07/09 13:57:19 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 493 / -1 KB)
I 2008/07/09 13:57:19 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 493 / -1 KB)
I 2008/07/09 13:57:19 LOCAL_SEARCH EXIT WORD SEARCH: ibn7 world news - 0 links found, 416 seconds
W 2008/07/09 13:57:19 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 358 KB, needed: 1024 KB
W 2008/07/09 13:57:19 PLASMA Thread 'de.anomic.crawler.CrawlStacker.job' runs short memory cycle. Free mem: 480 KB, needed: 1024 KB
W 2008/07/09 13:57:19 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 319 KB, needed: 8192 KB
I 2008/07/09 13:57:19 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 349 / -1 KB)
I 2008/07/09 13:57:21 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 2048 / 355 / -1 KB)
I 2008/07/09 13:57:29 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 870 / -1 KB)
E 2008/07/09 13:57:29 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
I 2008/07/09 13:57:35 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1553 / -1 KB)
I 2008/07/09 13:57:32 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 324 / -1 KB)
W 2008/07/09 13:57:32 PLASMA Thread 'de.anomic.yacy.yacyCore.peerPing' runs short memory cycle. Free mem: 2275 KB, needed: 2048 KB
I 2008/07/09 13:57:32 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 798 / -1 KB)
W 2008/07/09 13:57:32 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 2278 KB, needed: 1024 KB
I 2008/07/09 13:57:32 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 2531 / -1 KB)
W 2008/07/09 13:57:35 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 745 KB, needed: 8192 KB
I 2008/07/09 13:57:39 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 866 / -1 KB)
I 2008/07/09 13:57:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 1568 / -1 KB)
W 2008/07/09 13:57:42 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 1431 KB, needed: 8192 KB
I 2008/07/09 13:57:42 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 879 / -1 KB)
I 2008/07/09 13:57:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 848 / -1 KB)
I 2008/07/09 13:57:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 848 / -1 KB)
I 2008/07/09 13:57:45 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 848 / -1 KB)
W 2008/07/09 13:57:45 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 638 KB, needed: 1024 KB
W 2008/07/09 13:57:45 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.dhtTransferJob' runs short memory cycle. Free mem: 779 KB, needed: 6144 KB
I 2008/07/09 13:57:50 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 754 / -1 KB)
W 2008/07/09 13:57:45 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 618 KB, needed: 8192 KB
W 2008/07/09 13:57:53 PLASMA Thread 'de.anomic.crawler.CrawlStacker.job' runs short memory cycle. Free mem: 640 KB, needed: 1024 KB
D 2008/07/09 13:57:53 LOCAL_SEARCH SEARCH TIME AFTER ORDERING OF SEARCH RESULTS: 437 seconds
I 2008/07/09 13:57:53 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 676 / -1 KB)
E 2008/07/09 13:57:53 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
E 2008/07/09 13:58:11 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
I 2008/07/09 13:58:03 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 228 / -1 KB)
I 2008/07/09 13:58:03 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 307 / -1 KB)
I 2008/07/09 13:57:59 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 385 / -1 KB)
I 2008/07/09 13:57:59 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 353 / -1 KB)
I 2008/07/09 13:57:56 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 516 / -1 KB)
W 2008/07/09 13:57:56 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 427 KB, needed: 1024 KB
D 2008/07/09 13:57:53 LOCAL_SEARCH SEARCH TIME AFTER RESULT PREPARATION: 437 seconds
D 2008/07/09 13:58:14 LOCAL_SEARCH SEARCH TIME AFTER XREF PREPARATION: 458 seconds
W 2008/07/09 13:58:14 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 738 KB, needed: 8192 KB
W 2008/07/09 13:58:14 PLASMA Thread 'de.anomic.crawler.CrawlStacker.job' runs short memory cycle. Free mem: 792 KB, needed: 1024 KB
I 2008/07/09 13:58:17 LOCAL_SEARCH EXIT WORD SEARCH: w?rterbuch italienisch - 0 links found, 458 seconds
I 2008/07/09 13:58:17 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 829 / -1 KB)
I 2008/07/09 13:58:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 1024 / 610 / -1 KB)
I 2008/07/09 13:58:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 8192 / 610 / -1 KB)
I 2008/07/09 13:58:26 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 610 / -1 KB)
E 2008/07/09 13:58:26 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
at de.anomic.http.httpd.GET(httpd.java:493)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space
D 2008/07/09 13:58:29 LOCAL_SEARCH SEARCH TIME AFTER ORDERING OF SEARCH RESULTS: 470 seconds
W 2008/07/09 13:58:26 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.dhtTransferJob' runs short memory cycle. Free mem: 293 KB, needed: 6144 KB
W 2008/07/09 13:58:26 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 413 KB, needed: 1024 KB
W 2008/07/09 13:58:26 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 428 KB, needed: 8192 KB
I 2008/07/09 13:58:29 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1973 / -1 KB)
D 2008/07/09 13:58:29 LOCAL_SEARCH SEARCH TIME AFTER RESULT PREPARATION: 473 seconds
D 2008/07/09 13:58:29 LOCAL_SEARCH SEARCH TIME AFTER XREF PREPARATION: 473 seconds
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon DanielR » Mi Jul 09, 2008 1:44 pm

Lotus hat geschrieben:Passe einmal auf der /PerformanceQueues_p.html (Queues Performance Settings) den benötigten Speicher an (Minimum of
Required Memory). Was im Mittel gebraucht wird, steht weiter links in einer Spalte. Wenn das korrekt eingestellt ist, sollte es keine OOM-Meldungen mehr geben und der Peer zuverlässig laufen.

Kein Meldugen ja, zuverlässig laufen naja. Dann wird der entsprechende Thread einfach nicht gestartet. Das löst zwar die Wirkung (keine OOM-Meldungen) aber nicht die Ursache (irgendein Speicherleck).

Wie bereits im anderen Thread geschrieben ist das kein Problem mit der GarbageCollection. Die wurde auch nicht geändert, sondern ist die "normale" Java-GC. Die kann nur nichts machen, weil einfach der gesamte Speicher belegt ist!
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Garbage Collection fehlerhaft?

Beitragvon m1k3ga » Mi Jul 09, 2008 2:02 pm

>sollte es keine OOM-Meldungen mehr geben und der Peer zuverlässig laufen.
>Kein Meldugen ja, zuverlässig laufen naja.
Die Meldungen sind mir ja prinzipiell egal, wenn es denn zuverlässig läuft, aber das tuts halt nicht.

>Das löst zwar die Wirkung (keine OOM-Meldungen) aber nicht die Ursache (irgendein Speicherleck).
Dann müsste sich das Leck doch beheben lassen.
Denn solange das existiert, hängt sich der yacy regelmässig wieder auf, weil der Speicher voll ist und nicht frei gegeben werden kann.

>Wie bereits im anderen Thread geschrieben ist das kein Problem mit der GarbageCollection
>Die wurde auch nicht geändert, sondern ist die "normale" Java-GC. Die kann nur nichts machen, weil einfach der gesamte Speicher belegt ist
Das heißt, es ist normal, daß nach ner Weile yacy nichts mehr tut? Oder wie darf ich das verstehen?
Weil, es kann ja nicht sein, daß, wenn der Speicher belegt ist, der Dienst nicht mehr antwortet?!?
Oder verstehe ich gerade das Problem einfach nicht?

Mein Problem an der Geschichte ist halt, daß yacy (aus welchen Gründen denn auch immer) keine Anfragen mehr beantwortet.
Und das ist ja nicht Sinn der Sache ;-)
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Garbage Collection fehlerhaft?

Beitragvon Huppi » Sa Aug 27, 2011 7:58 am

Ich grabe aus aktuellem Anlaß mal einen altern Thread wieder aus:

Meldung: weniger als 100MB frei, Anzeige aber >100MB, Speicherinstellungsseite, Klick auf "GC", -> Exception:

request: GET http://localpeer/PerformanceMemory_p.html?gc=

500 Internal Server Error

Unexpected error while processing query.
Session: Session_127.0.0.1:52944#0_GET /PerformanceMemory_p.html?gc= HTTP/1.1
Query: /PerformanceMemory_p.html
Client: 127.0.0.1
Reason: null

Exception occurred: java.lang.reflect.InvocationTargetException

TRACE:
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1273)
at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:845)
at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:241)
at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:396)
at sun.reflect.GeneratedMethodAccessor25.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:757)
at de.anomic.server.serverCore$Session.run(serverCore.java:651)
Caused by: java.lang.IllegalArgumentException: committed = 27193344 should be < max = 26869760
at java.lang.management.MemoryUsage.(MemoryUsage.java:145)
at sun.management.MemoryPoolImpl.getCollectionUsage0(Native Method)
at sun.management.MemoryPoolImpl.getCollectionUsage(MemoryPoolImpl.java:237)
at net.yacy.kelondro.util.GenerationMemoryStrategy.youngUsage(GenerationMemoryStrategy.java:167)
at net.yacy.kelondro.util.GenerationMemoryStrategy.youngAvailable(GenerationMemoryStrategy.java:118)
at net.yacy.kelondro.util.GenerationMemoryStrategy.available(GenerationMemoryStrategy.java:70)
at net.yacy.kelondro.util.GenerationMemoryStrategy.available(GenerationMemoryStrategy.java:61)
at net.yacy.kelondro.util.MemoryControl.available(MemoryControl.java:88)
at PerformanceMemory_p.respond(PerformanceMemory_p.java:86)
... 13 more

Generated Sat, 27 Aug 2011 02:53:51 -0400 by Huppi.yacy


YaCy läuft weiter, hat aber tatsächlich nur 10MB (von 800) frei. Ich starte den Peer jetzt einfach neu.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Garbage Collection fehlerhaft?

Beitragvon sixcooler » Sa Aug 27, 2011 1:32 pm

Hallo Huppi,

erst mal vielen Dank für diese Meldung.

Du verwendest die Generation Memory Strategy - bei der wird ein 'kapp werdender Speicher' nicht mehr aufgrund einer konfigurierbaren Größe ermittelt, sondern anhand der Größe und Belegung der einzelnen Teilbereiche in dem von der jvm verwendeten Speicher.
Die Meldung werde ich ändern, weil so ja nicht richtig.

Zu dem Fehler: da kann ich mir spontan nicht mal einen Reimdrauf machen, wie es dazu gekommen sein könnte - obwohl ich mich in letzter zeit recht viel damit beschäftigt habe.
Welche YaCy-Version war das?
Welche jvm wurde eingesetzt? (am besten mal die Ausgabe von java -version)

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Garbage Collection fehlerhaft?

Beitragvon Huppi » Sa Aug 27, 2011 8:45 pm

War die aktuelle Deb-Version, vermutlich 7902

java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) Client VM (build 20.1-b02, mixed mode, sharing)
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste