[CLOSE] SVN 6746: OOMs in hello.html und waehrend des ...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[CLOSE] SVN 6746: OOMs in hello.html und waehrend des ...

Beitragvon Quix0r » Di Mär 16, 2010 2:39 pm

Hallo,

ich habe bereits versucht, den Speicher runterzudruecken so weit wie es geht. 2300M scheint das Minimum zu sein. Orbiter sagte mal, dass man eventuell zu viel Speicher zugewiesen hat und deswegen die OOMs kommen, da das OS zu wenig hat. Hier ist einer:

Code: Alles auswählen
W 2010/03/16 14:37:07 FILEHANDLER Unexpected error while processing query.
Session: Session_217.255.232.48:47671#0
Query:   /yacy/hello.html
Client:  217.255.232.48
Reason:  java.lang.reflect.InvocationTargetException
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1203)
        at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:760)
        at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:244)
        at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:587)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:735)
        at de.anomic.server.serverCore$Session.run(serverCore.java:629)
Caused by: java.lang.OutOfMemoryError: Java heap space
        at net.yacy.kelondro.blob.HeapReader.get(HeapReader.java:402)
        at net.yacy.kelondro.blob.Heap.get(Heap.java:221)
        at net.yacy.kelondro.blob.MapHeap.get(MapHeap.java:241)
        at net.yacy.kelondro.blob.MapHeap.get(MapHeap.java:217)
        at net.yacy.kelondro.blob.MapDataMining$mapIterator.next0(MapDataMining.java:398)
        at net.yacy.kelondro.blob.MapDataMining$mapIterator.next(MapDataMining.java:387)
        at de.anomic.yacy.yacySeedDB$seedEnum.internalNext(yacySeedDB.java:991)
        at de.anomic.yacy.yacySeedDB$seedEnum.next(yacySeedDB.java:1013)
        at de.anomic.yacy.yacySeedDB$seedEnum.next(yacySeedDB.java:934)
        at de.anomic.yacy.yacySeedDB.lookupByIP(yacySeedDB.java:654)
        at de.anomic.yacy.yacyPeerActions.connectPeer(yacyPeerActions.java:85)
        at de.anomic.yacy.yacyPeerActions.peerArrival(yacyPeerActions.java:195)
        at hello.respond(hello.java:165)
        ... 14 more

Ich kann mal schauen, ob ich wieder mehr geben kann, weniger geht defintiv nicht, da ich sonst Blobs loeschen muss und das waere schade. Mein System hat gesamt 8 GB RAM. :)

Edit: Habe nun 3000M zugewiesen, siehe unten. :( Wie gesagt, weniger als 2300M kann es nicht werden, 2200M ist schon zum Starten zu wenig (RowSpaceExceededException).

Code: Alles auswählen
W 2010/03/16 15:08:24 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:98)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:147)
Caused by: java.lang.OutOfMemoryError: Java heap space
W 2010/03/16 15:08:24 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space
E 2010/03/16 15:08:24 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.yacy.yacyCore.peerPing': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space


Immer reproduzierbar mit 3000M zugewiesenen Speicher und "free" zeigt 1 GB freien Speicher an:
Code: Alles auswählen
E 2010/03/16 16:30:04 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/quix0r/yacy/htroot/WebStructurePicture_p.class: java.lang.OutOfMemoryError: Java heap space:Java heap space; java.awt.graphicsenv='sun.awt.X11GraphicsEnvironment'
W 2010/03/16 16:30:04 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1203)
        at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:524)
        at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:236)
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:454)
        at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:735)
        at de.anomic.server.serverCore$Session.run(serverCore.java:629)
Caused by: java.lang.OutOfMemoryError: Java heap space
W 2010/03/16 16:30:04 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space
Zuletzt geändert von Quix0r am Do Sep 23, 2010 4:40 am, insgesamt 2-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6746: OOMs in hello.html und waehrend des Betriebs

Beitragvon Quix0r » Di Mär 16, 2010 3:32 pm

Zur besseren Fehleranalyse ein vollstaendiges Log von dem laufenden Peer (also kein Shutdown).
Dateianhänge
yacy03.log.bz2
Logfile
(10.6 KiB) 45-mal heruntergeladen
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6746: OOMs in hello.html und waehrend des Betriebs

Beitragvon Quix0r » Di Mär 16, 2010 4:00 pm

Dazu eine Anmerkung (kurrioses):
- Peer gestartet
- OOMs beim peerPing-Thread
- Crawls gestartet, bis NPEs kamen
- Crawls gestoppt
- Peer-Ping klappt ohne OOMs
- Reproduzierbar auf meiner Node
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6746: OOMs in hello.html und waehrend des Betriebs

Beitragvon Quix0r » Di Mär 16, 2010 4:45 pm

Gefixt: Mehr Speicher zugewiesen (3500M) und es kommen bei den hello-Requests keine OOMs mehr.

Den Rest test ich gleich!
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast