mal wieder Java OutOfMemoryError

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

mal wieder Java OutOfMemoryError

Beitragvon pingupod » Mi Feb 01, 2012 11:04 pm

Hallo zusammen,

mein Peer startet nicht mehr. Offensichtlich hat Java ein Heap-Space Problem. Probleme mit Java und Speicher wurden ja hier im Forum schon desöfteren thematisiert. Allerdings hat keiner der Beiträge mich weitergebracht.

Ich habe zwar einen yacy Prozess, das Webinterface ist jedoch nicht mehr ansprechbar. Im Log-File habe ich folgendes als letztes gefunden:

Code: Alles auswählen
I 2012/02/01 22:35:51 YACY BOOTSTRAP: 57 seeds from seed-list URL http://home.arcor.de/hermens/yacy/seed.txt, AGE=0h
I 2012/02/01 22:35:52 YACY BOOTSTRAP: 0 seeds from seed-list URL http://low.audioattack.de/yacy/seed.txt, AGE=5h
I 2012/02/01 22:36:07 YACY BOOTSTRAP: 272 seeds from seed-list URL http://www.lulabad.de/seed.txt, AGE=0h
I 2012/02/01 22:36:07 YACY BOOTSTRAP: 4 new seeds while bootstraping.
S 2012/02/01 22:36:07 BusyThread thread 'net.yacy.search.Switchboard.loadSeedLists' terminated.
I 2012/02/01 22:36:47 TABLE initialization of text.urlmd.20120121232947246.table. table copy: no, available RAM: 5MB, needed: 5084MB, allocating space for 3915922 entries
E 2012/02/01 22:36:47 TABLE text.urlmd.20120121232947246.table: not enough RAM (5MB) left for index, deleting allocated table space to enable index space allocation (needed: 489MB)
E 2012/02/01 22:36:47 TABLE text.urlmd.20120121232947246.table: RAM after releasing the table: 5MB
I 2012/02/01 22:36:47 TABLE /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120121232947246.table: TABLE /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120121232947246.table has table copy DISABLED
I 2012/02/01 22:36:47 TABLE initializing RAM index for TABLE text.urlmd.20120121232947246.table, please wait.
E 2012/02/01 22:37:25 SplitTable Table /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120121232947246.table cannot be initialized: 5023040 bytes needed for RowCollection grow after OutOfMemoryError Java heap space: 5457576 free at Wed Feb 01 22:37:25 CET 2012
net.yacy.kelondro.index.RowSpaceExceededException: 5023040 bytes needed for RowCollection grow after OutOfMemoryError Java heap space: 5457576 free at Wed Feb 01 22:37:25 CET 2012
   at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:271)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:402)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:380)
   at net.yacy.kelondro.index.RAMIndex.addUnique(RAMIndex.java:204)
   at net.yacy.kelondro.index.RAMIndexCluster.addUnique(RAMIndexCluster.java:122)
   at net.yacy.kelondro.index.HandleMap.putUnique(HandleMap.java:232)
   at net.yacy.kelondro.table.Table.<init>(Table.java:156)
   at net.yacy.kelondro.table.SplitTable.init(SplitTable.java:220)
   at net.yacy.kelondro.table.SplitTable.<init>(SplitTable.java:106)
   at net.yacy.kelondro.table.SplitTable.<init>(SplitTable.java:87)
   at net.yacy.search.index.MetadataRepository.<init>(MetadataRepository.java:83)
   at net.yacy.search.index.Segment.<init>(Segment.java:130)
   at net.yacy.search.index.Segments.segment(Segments.java:137)
   at net.yacy.search.index.Segments.segment(Segments.java:128)
   at net.yacy.search.Switchboard.<init>(Switchboard.java:430)
   at net.yacy.yacy.startup(yacy.java:222)
   at net.yacy.yacy.main(yacy.java:1018)
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.0' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.1' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.2' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.3' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.4' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.5' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.6' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.7' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.8' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.9' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.10' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.11' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.12' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.13' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.14' deployed, starting loop.
S 2012/02/01 22:37:25 BlockingThread thread 'java.lang.reflect.Method.transferDocumentIndex.15' deployed, starting loop.
S 2012/02/01 22:37:28 YACY_SEARCH loaded blue-list from file yacy.blue, 0 entries, 0 KByte
S 2012/02/01 22:37:28 YACY_SEARCH Loading blacklist ...
S 2012/02/01 22:37:33 YACY_SEARCH loaded badwords from file yacy.badwords, 0 entries, 0 KByte
S 2012/02/01 22:37:35 YACY_SEARCH loaded stopwords from file yacy.stopwords, 0 entries, 0 KByte
E 2012/02/01 22:37:40 UNCAUGHT-EXCEPTION Thread main: Java heap space
java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space


Wenn ich das INDEX-Verzeichnis leere, startet YaCy erwartungsgemäß problemlos.

Zu meinem System:
  • vServer mit Debian
  • YaCy dev9284
  • OpenJDK Runtime Environment (IcedTea6 1.8.7)
  • Java darf 600MB nutzen
  • etwa 3,5 Mio URLs

Hat jemand einen Lösungsansatz?

Dank und Grüße
pingupod
 
Beiträge: 6
Registriert: Mi Feb 01, 2012 7:27 pm

Re: mal wieder Java OutOfMemoryError

Beitragvon pingupod » So Feb 05, 2012 4:17 pm

Kurzes ubdate:

Habe den JAVA-RAM auf 700MB erhöht und yacy startet wieder.

Gönne ich dem Peer nach einer Weile den Extra-RAM nicht mehr, steht im Log das:
Code: Alles auswählen


S 2012/02/05 16:35:12 YACY_SEARCH Starting HT Cache Manager
I 2012/02/05 16:35:12 YACY_SEARCH HTCACHE Path = /opt/yacy/DATA/HTCACHE
E 2012/02/05 16:37:34 ReferenceIterator lost entry 'lW3KMuco8xe9' because of error: java.lang.OutOfMemoryError: Java heap space
I 2012/02/05 16:37:45 Heap closing heap /opt/yacy/DATA/HTCACHE/responseHeader.heap
E 2012/02/05 16:37:52 UNCAUGHT-EXCEPTION Thread Thread-15: Java heap space
java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space
E 2012/02/05 16:37:52 UNCAUGHT-EXCEPTION Thread main: Java heap space
java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap spaceE 2012/02/05 16:39:56 IODispatcher main run job had errors (2), dump to /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.index.20120205153419889.blob failed. Input files are /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.index.20120205153232499.blob and /opt/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.index.20120205153158613.blob
java.lang.OutOfMemoryError: Java heap space
W 2012/02/05 16:39:56 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space




jetzt mit yacy-version: dev 312
pingupod
 
Beiträge: 6
Registriert: Mi Feb 01, 2012 7:27 pm

Re: mal wieder Java OutOfMemoryError

Beitragvon bbtuxi » Do Jul 12, 2012 7:37 pm

Hab ich auch gerade:

D 2012/07/12 20:29:11 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
HOST: 239.255.255.250:1900
NT: urn:schemas-upnp-org:service:ConnectionManager:1
NTS: ssdp:alive
LOCATION: http://192.168.0.57:5001/description/fetch
USN: uuid:e617365b-8c98-4f1a-9718-f7ae1a78d448::urn:schemas-upnp-org:service:Con
nectionManager:1
CACHE-CONTROL: max-age=1800
SERVER: Windows_7-x86-6.1, UPnP/1.0, PMS/1.50.0


W 2012/07/12 20:29:55 StackTrace 8790340 bytes needed for RowCollection grow aft
er OutOfMemoryError Java heap space: 71865048 free at Thu Jul 12 20:29:55 CEST 2
012
net.yacy.kelondro.index.RowSpaceExceededException: 8790340 bytes needed for RowC
ollection grow after OutOfMemoryError Java heap space: 71865048 free at Thu Jul
12 20:29:55 CEST 2012
at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:2
76)
at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:40
8)
at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:38
6)
at net.yacy.kelondro.index.RAMIndex.addUnique(RAMIndex.java:214)
at net.yacy.kelondro.index.RAMIndexCluster.addUnique(RAMIndexCluster.jav
a:128)
at net.yacy.kelondro.index.HandleMap.putUnique(HandleMap.java:233)
at net.yacy.kelondro.index.HandleMap$initDataConsumer.call(HandleMap.jav
a:426)
at net.yacy.kelondro.index.HandleMap$initDataConsumer.call(HandleMap.jav
a:365)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source
)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)
D 2012/07/12 20:32:15 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
HOST: 239.255.255.250:1900
NT: upnp:rootdevice
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: mal wieder Java OutOfMemoryError

Beitragvon Orbiter » Sa Jul 14, 2012 12:16 pm

also der Dump hilft nicht, das Problem tritt an der stelle nur zutage aber muss woanders verursacht worden sein. Ich habe in den letzten Tagen noch einiges an RAM-Fehlern gefunden, bitte mit aktueller Version nochmal probieren.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 6 Gäste