v4945: OutOfMemoryError / serverInstantThread.job

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

v4945: OutOfMemoryError / serverInstantThread.job

Beitragvon Halborinda » Sa Jun 21, 2008 2:52 pm

Hi,

mein Server hat sich Mal wieder verabschiedet
Code: Alles auswählen
D 2008/06/21 15:40:57 STACKCRAWL RE-CRAWL of URL 'http://www.xxx.com/x/xxx/xx-10.html': this url was crawled 127 days ago.
E 2008/06/21 15:40:57 STACKCRAWL URL 'http://www.xxx.com/de/xxx/foren-10.html' can neither be crawled local nor global.
E 2008/06/21 15:40:57 STACKCRAWL URL 'http://www.xxxx.com/xxxx/xx/xxx-xx.htm' can neither be crawled local nor global.
I 2008/06/21 15:40:57 PLASMA Excluded 0 words in URL http://xxx.xxx.org/xxx/60001_120000/6/35/xxxx.pdf
I 2008/06/21 15:40:57 PLASMA CRAWL: ADDED 17 LINKS FROM http://www.xxx.de/xxxx/xxx/xxxx.shtml, NEW CRAWL STACK SIZE IS 25, STACKING TIME = 2, PARSING TIME = 2
I 2008/06/21 15:40:57 PLASMA Excluded 0 words in URL http://www.xxxx.de/xxx/xxx/xxx.shtml
E 2008/06/21 15:40:57 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.0': null; target exception: null
java.lang.OutOfMemoryError
        at java.io.RandomAccessFile.readBytes(Native Method)
        at java.io.RandomAccessFile.read(RandomAccessFile.java:355)
        at de.anomic.kelondro.kelondroFileRA.read(kelondroFileRA.java:83)
        at de.anomic.kelondro.kelondroBufferedIOChunks.read(kelondroBufferedIOChunks.java:98)
        at de.anomic.kelondro.kelondroAbstractIOChunks.readFully(kelondroAbstractIOChunks.java:73)
        at de.anomic.kelondro.kelondroFullRecords$EcoNode.<init>(kelondroFullRecords.java:166)
        at de.anomic.kelondro.kelondroFixedWidthArray.get(kelondroFixedWidthArray.java:135)
        at de.anomic.kelondro.kelondroCollectionIndex.getwithparams(kelondroCollectionIndex.java:746)
        at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIndex.java:527)
        at de.anomic.index.indexCollectionRI.addEntries(indexCollectionRI.java:180)
        at de.anomic.plasma.plasmaWordIndex.flushCache(plasmaWordIndex.java:508)
        at de.anomic.plasma.plasmaWordIndex.dhtFlushControl(plasmaWordIndex.java:425)
        at de.anomic.plasma.plasmaWordIndex.addEntry(plasmaWordIndex.java:454)
        at de.anomic.plasma.plasmaWordIndex.addPageIndex(plasmaWordIndex.java:578)
        at de.anomic.plasma.plasmaWordIndex.storeDocument(plasmaWordIndex.java:847)
        at de.anomic.plasma.plasmaSwitchboard.storeDocumentIndex(plasmaSwitchboard.java:2204)
        at de.anomic.plasma.plasmaSwitchboard.storeDocumentIndex(plasmaSwitchboard.java:2186)
        at sun.reflect.GeneratedMethodAccessor36.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at de.anomic.server.serverInstantBlockingThread.job(serverInstantBlockingThread.java:85)
        at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:71)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
        at java.util.concurrent.FutureTask.run(FutureTask.java:166)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
        at java.lang.Thread.run(Thread.java:636)
E 2008/06/21 15:40:57 STACKCRAWL URL 'http://xxx.xxx.de/cgi-bin/' can neither be crawled local nor global.
E 2008/06/21 15:40:57 STACKCRAWL URL 'http://www.xxxx.com/xxx/xxx.phtml/gingko' can neither be crawled local nor global.


Mein ganzer Log ist voll mit "can neither be crawled local nor global." Mein INternet funktioniert aber soweit ganz gut.

Der Server hat sich auch beendet :-/ Ich hoffte eigentlich, dass ein Heap von bis zu 2560MB ausreichen.

Könnt Ihr Euch das Mal anguggen?

Grüße
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: v4945: OutOfMemoryError / serverInstantThread.job

Beitragvon wsb » Mo Jun 23, 2008 4:56 am

Halborinda hat geschrieben:Hi,

mein Server hat sich Mal wieder verabschiedet
Code: Alles auswählen
java.lang.OutOfMemoryError

Mein ganzer Log ist voll mit "can neither be crawled local nor global." Mein INternet funktioniert aber soweit ganz gut.
Der Server hat sich auch beendet :-/ Ich hoffte eigentlich, dass ein Heap von bis zu 2560MB ausreichen.
Könnt Ihr Euch das Mal anguggen?
Grüße


Die Lösung des Problems hab ich leider nicht, nur ein ähnliches Problem:
Code: Alles auswählen
E 2008/06/23 03:52:07 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space
E 2008/06/23 03:52:47 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space
I 2008/06/23 03:52:15 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 4096 / 1901 / -8 KB)
E 2008/06/23 03:51:47 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space
I 2008/06/23 03:51:29 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 7812 / 1840 / -8 KB)
E 2008/06/23 03:51:29 HTTPD Unexpected Error. java.io.IOException
java.io.IOException: Broken pipe
        at de.anomic.http.httpd.sendRespondError(httpd.java:1265)
        at de.anomic.http.httpd.sendRespondError(httpd.java:1086)
        at de.anomic.http.httpd.UNKNOWN(httpd.java:452)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:585)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
        at de.anomic.server.serverCore$Session.run(serverCore.java:637)

Dieser Absturz - nein, ein Absturz ist es nicht, schlimmer: yacy "hängt", d.h. Anfragen enden im Timeout - tritt seit ca. 0.591/04933 nur noch selten auf, bevorzugt bei dem Peer, der unter Debian läuft. Bei dem allerdings fast täglich.

Bei meinem Peer auf dem PC zuhause unter Suse (gleiche yacy-Version), bei dem yacy sogar viel weniger RAM hat, ist das noch nie passiert.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: v4945: OutOfMemoryError / serverInstantThread.job

Beitragvon Halborinda » Mo Jun 23, 2008 8:04 pm

Mal wieder...
Code: Alles auswählen
E 2008/06/23 20:59:31 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: null
java.lang.OutOfMemoryError
        at java.io.RandomAccessFile.readBytes(Native Method)
        at java.io.RandomAccessFile.read(RandomAccessFile.java:355)
        at de.anomic.kelondro.kelondroFileRA.read(kelondroFileRA.java:83)
        at de.anomic.kelondro.kelondroBufferedIOChunks.read(kelondroBufferedIOChunks.java:98)
        at de.anomic.kelondro.kelondroAbstractIOChunks.readFully(kelondroAbstractIOChunks.java:73)
        at de.anomic.kelondro.kelondroFullRecords$EcoNode.<init>(kelondroFullRecords.java:166)
        at de.anomic.kelondro.kelondroFixedWidthArray.get(kelondroFixedWidthArray.java:135)
        at de.anomic.kelondro.kelondroCollectionIndex.getwithparams(kelondroCollectionIndex.java:746)
        at de.anomic.kelondro.kelondroCollectionIndex.remove(kelondroCollectionIndex.java:662)
        at de.anomic.index.indexCollectionRI.removeEntries(indexCollectionRI.java:168)
        at de.anomic.plasma.plasmaWordIndex.removeEntriesExpl(plasmaWordIndex.java:759)
        at de.anomic.plasma.plasmaDHTChunk.deleteTransferIndexes(plasmaDHTChunk.java:317)
        at de.anomic.plasma.plasmaSwitchboard.deQueueProcess(plasmaSwitchboard.java:1721)
        at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:115)
        at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Version 0.591
Revision: 4951

Der ganze Server hat sich einfach beendet :-/
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast