Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Mi Okt 14, 2009 11:26 am

Der Peer läuft eine Weile normal dann OOMs im Log, irgendwann reagiert er nur noch sehr zäh, dann gar nicht mehr.

Seltsam ist das, zugewiesen sind 5500MB:
Speicherverbrauch
Frei: 691,35 MB
Total: 4,95 GB
Maximal: 5,15 GB

Code: Alles auswählen
E 2009/10/14 12:19:27 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.job.12': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
E 2009/10/14 12:20:40 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.job.14': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space

W 2009/10/14 12:20:45 SERVER receive closed by IOException: socket closed

E 2009/10/14 12:20:45 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at G:\yacy_091009\htroot\yacy\urls.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1189)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:756)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:736)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)
Caused by: java.lang.OutOfMemoryError: Java heap space

E 2009/10/14 12:22:05 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space

I 2009/10/14 12:22:05 BALANCER re-fill of domain stacks; fileIndex.size() = 418, domainStacks.size = 2, collection time = 1 ms

I 2009/10/14 12:22:05 BALANCER forcing crawl-delay of 6901 milliseconds for newsroom.cisco.com: minimumDelta = 50, timeSinceLastAccess = 47253, flux = 0, robots.delay = 0, host.average = 27077, top.size() = 0, delayed.size() = 1, domainStacks.size() = 0, domainStacksInitSize = 2

I 2009/10/14 12:22:05 YACY yacyClient.publishMySeed thread 'PublishSeed_suma-ev5', peer 79.195.253.139:8080; exception: Connection refused: connect; retry = 1

I 2009/10/14 12:22:05 SERVER Closing main socket of thread 'Session_127.0.0.1:50545#6'

I 2009/10/14 12:22:05 SERVER check for Session_127.0.0.1:50549#6: 75339 ms alive, stopping thread

I 2009/10/14 12:22:05 HTTPD httpd shutdown detected ... (Socket closed), client = 127.0.0.1

W 2009/10/14 12:22:09 SERVER receive closed by IOException: socket closed

E 2009/10/14 12:22:09 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at G:\yacy_091009\htroot\yacy\urls.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1189)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:756)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:736)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)
Caused by: java.lang.OutOfMemoryError: Java heap space


Code: Alles auswählen
************* Start Thread Dump Wed Oct 14 12:19:11 CEST 2009 *******************

YaCy Version: 0.92/6407
Assigned   Memory = 5317328896
Used       Memory = 4601892040
Available  Memory = 715436856


THREADS WITH STATES: BLOCKED

Thread= Thread-217886 id=463364 BLOCKED
Thread= Thread-217887 id=463365 BLOCKED
at de.anomic.crawler.ZURL.newEntry(ZURL.java:111) [assert executor != null;]
at de.anomic.crawler.retrieval.HTTPLoader.load(HTTPLoader.java:103)
at de.anomic.crawler.retrieval.HTTPLoader.load(HTTPLoader.java:80)
at de.anomic.crawler.retrieval.LoaderDispatcher.load(LoaderDispatcher.java:228)
at de.anomic.crawler.retrieval.LoaderDispatcher.load(LoaderDispatcher.java:137)
at de.anomic.crawler.CrawlQueues$crawlWorker.run(CrawlQueues.java:566)


Thread= job_pool-1-thread-43 id=106 BLOCKED
Thread= job_pool-1-thread-44 id=108 BLOCKED
Thread= job_pool-1-thread-46 id=112 BLOCKED
at de.anomic.crawler.ZURL.getEntry(ZURL.java:145) [if (urlIndex == null) return null;]
at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
at de.anomic.crawler.CrawlStacker.stackCrawl(CrawlStacker.java:236)
at de.anomic.crawler.CrawlStacker.job(CrawlStacker.java:135)
at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:89)
at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= job_pool-1-thread-45 id=110 BLOCKED
at net.yacy.kelondro.table.Table.get(Table.java:369) [if ((file == null) || (index == null)) return null;]
at de.anomic.crawler.ZURL.getEntry(ZURL.java:147)
at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
at de.anomic.crawler.CrawlStacker.stackCrawl(CrawlStacker.java:236)
at de.anomic.crawler.CrawlStacker.job(CrawlStacker.java:135)
at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:89)
at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= Thread-217884 id=463361 BLOCKED
Thread= Thread-217885 id=463362 BLOCKED
at de.anomic.crawler.ZURL.getEntry(ZURL.java:145) [if (urlIndex == null) return null;]
at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
at de.anomic.search.Switchboard.getURL(Switchboard.java:1035)
at de.anomic.crawler.retrieval.HTTPLoader.load(HTTPLoader.java:123)
at de.anomic.crawler.retrieval.HTTPLoader.load(HTTPLoader.java:80)
at de.anomic.crawler.retrieval.LoaderDispatcher.load(LoaderDispatcher.java:228)
at de.anomic.crawler.retrieval.LoaderDispatcher.load(LoaderDispatcher.java:137)
at de.anomic.crawler.CrawlQueues$crawlWorker.run(CrawlQueues.java:566)



THREADS WITH STATES: RUNNABLE
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Mi Okt 14, 2009 6:55 pm

Hab ich auch, die OOM's.
Mal sehen ob ich nachvollziehen kann wann.
SVN 6401 bei mir.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Do Okt 15, 2009 10:45 am

Intressant wäre wie gross deine JVM ist. Irgendwas zwischen 5000 und 6000MB stimmt nicht, kann aber nicht genauer sagen was.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Di Okt 20, 2009 4:41 pm

dulcedo hat geschrieben:Intressant wäre wie gross deine JVM ist. Irgendwas zwischen 5000 und 6000MB stimmt nicht, kann aber nicht genauer sagen was.

Nun, meiner ist auf 6600 MB gesetzt. Aber ich hat die letzten Tage keine Zeit auf den Peer zu achten, und so hat er kläglich den Dienst eingestellt. :|
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Fr Okt 23, 2009 11:09 am

Nach einem Tag Laufzeit mit crawling und DHT nicht mehr erreichbar. Frei unter Java ist 1GB von 7GB.

Erste Fehler
Code: Alles auswählen
E 2009/10/23 10:32:16 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.search.Switchboard.dhtTransferJob': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
   at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:211)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:323)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:301)
   at net.yacy.kelondro.index.RowSet.replace(RowSet.java:124)
   at net.yacy.kelondro.index.Cache.get(Cache.java:247)
   at de.anomic.search.MetadataRepository.load(MetadataRepository.java:120)
   at de.anomic.yacy.dht.Transmission$Chunk.add(Transmission.java:130)
   at de.anomic.yacy.dht.Dispatcher.enqueueContainersToCloud(Dispatcher.java:305)
   at de.anomic.yacy.dht.Dispatcher.selectContainersEnqueueToCloud(Dispatcher.java:340)
   at de.anomic.search.Switchboard.dhtTransferJob(Switchboard.java:2017)
   at de.anomic.search.Switchboard.dhtTransferJob(Switchboard.java:1987)
   at sun.reflect.GeneratedMethodAccessor17.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:98)
   at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:145)
I 2009/10/23 10:32:16 PLASMA Received 4 Entries 4 Words [1YNNAgnCNqat .. 1YN8ovThftQK]/73714188740971396 from UtCYw-M5YE__:KIT02-06-20091001/0.9100637, processed in 32 milliseconds, requesting 1/4 URLs, blocked 0 RWIs
I 2009/10/23 10:32:16 PLASMA Received 1 Entries 1 Words [MLDgDLrB_5iP .. MLDgDLrB_5iP]/-3211307271978501864 from GdvcoNhiLF__:kupferhammer-keller/0.92006433, processed in 16 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/10/23 10:32:16 YACY Accepting URL 0/1 from peer UtCYw-M5YE__:KIT02-06-20091001/0.9100637: http://hypem.com/download/J/Jean-Paul_Brodbeck/Song_Of_Tchaikovsky_%E2%80%93_None_But_The_Lonely_Heart/
I 2009/10/23 10:32:27 PLASMA Received 1 Entries 1 Words [EM8f32rZWO7_ .. EM8f32rZWO7_]/-2062642979087315856 from zL-fjIPsgiRS:flischken/0.91006386, processed in 78 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
E 2009/10/23 10:32:27 SERVER command execution, target exception null for client 141.52.175.66
java.lang.reflect.InvocationTargetException
   at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:736)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)
Caused by: java.lang.OutOfMemoryError: Java heap space
   at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:211)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:323)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:301)
   at net.yacy.kelondro.index.RowSet.replace(RowSet.java:124)
   at net.yacy.kelondro.index.Cache.put(Cache.java:268)
   at de.anomic.search.MetadataRepository.store(MetadataRepository.java:147)
   at de.anomic.http.server.servlets.transferURL.respond(transferURL.java:143)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1177)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:756)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   ... 5 more
E 2009/10/23 10:32:27 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space
   at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:211)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:323)
   at net.yacy.kelondro.index.RowCollection.addUnique(RowCollection.java:301)
   at net.yacy.kelondro.index.RowSet.replace(RowSet.java:124)
   at net.yacy.kelondro.index.Cache.put(Cache.java:268)
   at de.anomic.search.MetadataRepository.store(MetadataRepository.java:147)
   at de.anomic.http.server.servlets.transferURL.respond(transferURL.java:143)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1177)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:756)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:736)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)


Aktueller Zustand, Port reagiert nicht
Code: Alles auswählen
I 2009/10/23 12:00:05 YACY publish: handshaked senior peer 'suma-ev1' at 85.10.210.99:8081
I 2009/10/23 12:00:05 YACY PeerPing: I am accessible for 0 peer(s), not accessible for 4 peer(s).
I 2009/10/23 12:00:05 YACY PeerPing: myType is junior
I 2009/10/23 12:00:05 SERVER Closing main socket of thread 'Session_141.41.64.246:40734#0'
I 2009/10/23 12:00:05 SERVER check for Session_141.52.175.46:38136#0: 3970679 ms alive, stopping thread
I 2009/10/23 12:00:10 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:00:10 SERVER Closing main socket of thread 'Session_141.52.175.46:38136#0'
I 2009/10/23 12:00:10 SERVER check for Session_141.52.175.66:41511#0: 3944534 ms alive, stopping thread
I 2009/10/23 12:00:10 SERVER Closing main socket of thread 'Session_141.52.175.66:41511#0'
I 2009/10/23 12:00:10 SERVER check for Session_141.52.175.46:45476#0: 3728985 ms alive, stopping thread
I 2009/10/23 12:00:20 SERVER Closing main socket of thread 'Session_141.52.175.46:45476#0'
I 2009/10/23 12:00:20 SERVER check for Session_141.52.175.15:60682#0: 2297656 ms alive, stopping thread
I 2009/10/23 12:00:20 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:00:29 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:00:29 SERVER Closing main socket of thread 'Session_141.52.175.15:60682#0'
I 2009/10/23 12:00:29 SERVER check for Session_141.52.175.54:58249#0: 1412023 ms alive, stopping thread
I 2009/10/23 12:00:38 SERVER Closing main socket of thread 'Session_141.52.175.54:58249#0'
I 2009/10/23 12:00:38 SERVER check for Session_141.52.175.84:36999#0: 1155507 ms alive, stopping thread
I 2009/10/23 12:00:38 SERVER Closing main socket of thread 'Session_141.52.175.84:36999#0'
I 2009/10/23 12:00:38 SERVER check for Session_141.52.175.16:59945#0: 593926 ms alive, stopping thread
I 2009/10/23 12:00:38 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:00:42 SERVER Closing main socket of thread 'Session_141.52.175.16:59945#0'
I 2009/10/23 12:00:42 SERVER check for Session_85.181.220.204:32873#0: 4496037 ms alive, stopping thread
I 2009/10/23 12:00:47 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131430419.# Name=YaCy .cr.gz to 139.30.18.40:8080: wrong return values from other peer; phase 2
I 2009/10/23 12:00:47 SERVER Closing main socket of thread 'Session_85.181.220.204:32873#0'
I 2009/10/23 12:00:47 SERVER check for Session_91.64.9.58:3737#0: 4500546 ms alive, stopping thread
I 2009/10/23 12:00:52 INDEX-TRANSFER-DISPATCHER Transfer failed of chunk to target 1e9_1t8XkKjf/4o4: no result from transferRWI
I 2009/10/23 12:00:52 INDEX-TRANSFER-DISPATCHER STORE: Chunk mktviElx3L__ has failed to transmit index; marked peer as busy
E 2009/10/23 12:00:52 YACY yacyClient.queryUrlCount error asking peer 'ZZZ':java.net.SocketException: Connection reset by peer: socket write error
I 2009/10/23 12:00:52 SERVER Closing main socket of thread 'Session_91.64.9.58:3737#0'
I 2009/10/23 12:00:52 SERVER check for Session_141.52.175.28:40428#0: 4505304 ms alive, stopping thread
E 2009/10/23 12:00:56 YACY yacyClient.queryUrlCount error asking peer 'ZZZ':java.net.SocketException: Connection reset
I 2009/10/23 12:00:56 YACY hello: responded remote junior peer 'ZZZ' from 194.204.0.26
I 2009/10/23 12:00:56 YACY hello: responded remote peer 'ZZZ' [194.204.0.26] in 9360 milliseconds
E 2009/10/23 12:01:01 YACY yacyClient.permissionTransfer error:Read timed out
I 2009/10/23 12:01:01 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131430419.# Name=YaCy .cr.gz to 85.214.59.49:8472: no connection to remote address 85.214.59.49:8472; phase 1
I 2009/10/23 12:01:01 SERVER Closing main socket of thread 'Session_141.52.175.28:40428#0'
I 2009/10/23 12:01:01 SERVER check for Session_141.52.175.62:49712#0: 4450354 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_141.52.175.62:49712#0'
I 2009/10/23 12:01:11 SERVER check for Session_141.52.175.28:35890#0: 4450355 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_141.52.175.28:35890#0'
I 2009/10/23 12:01:11 SERVER check for Session_141.41.64.246:44986#0: 4096986 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_141.41.64.246:44986#0'
I 2009/10/23 12:01:11 SERVER check for Session_141.52.175.15:39656#0: 4031903 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_141.52.175.15:39656#0'
I 2009/10/23 12:01:11 SERVER check for Session_212.117.110.162:49914#0: 4031919 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_212.117.110.162:49914#0'
I 2009/10/23 12:01:11 SERVER check for Session_141.41.64.246:58810#0: 4032012 ms alive, stopping thread
I 2009/10/23 12:01:11 SERVER Closing main socket of thread 'Session_141.41.64.246:58810#0'
I 2009/10/23 12:01:11 SERVER check for Session_141.41.64.246:51551#0: 4032152 ms alive, stopping thread
E 2009/10/23 12:01:11 YACY yacyClient.permissionTransfer error:The host did not accept the connection within timeout of 10000 ms
I 2009/10/23 12:01:11 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131430419.# Name=YaCy .cr.gz to 87.155.244.99:9090: no connection to remote address 87.155.244.99:9090; phase 1
I 2009/10/23 12:01:12 INDEX-TRANSFER-DISPATCHER starting new index transmission request to KktviElx3L__
I 2009/10/23 12:01:12 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:12 SERVER Closing main socket of thread 'Session_141.41.64.246:51551#0'
I 2009/10/23 12:01:12 SERVER check for Session_141.41.64.246:60275#0: 4037597 ms alive, stopping thread
I 2009/10/23 12:01:12 YACY yacyClient.transferRWI error:The host did not accept the connection within timeout of 5000 ms
I 2009/10/23 12:01:12 INDEX-TRANSFER-DISPATCHER Transfer failed of chunk to target LyZWmQm-CL__/mcu-search: no connection from transferRWI
I 2009/10/23 12:01:12 INDEX-TRANSFER-DISPATCHER STORE: Chunk CktviElx3L__ has failed to transmit index; marked peer as busy
I 2009/10/23 12:01:12 INDEX-TRANSFER-DISPATCHER STORE: Chunk CktviElx3L__ has not enough targets left. This transmission has failed, putting back index to backend
I 2009/10/23 12:01:16 SERVER Closing main socket of thread 'Session_141.41.64.246:60275#0'
I 2009/10/23 12:01:16 SERVER check for Session_141.41.64.246:39381#0: 4042215 ms alive, stopping thread
I 2009/10/23 12:01:16 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:16 SERVER Closing main socket of thread 'Session_141.41.64.246:39381#0'
I 2009/10/23 12:01:16 SERVER check for Session_141.41.64.246:40734#0: 4042319 ms alive, stopping thread
I 2009/10/23 12:01:21 SERVER Closing main socket of thread 'Session_141.41.64.246:40734#0'
I 2009/10/23 12:01:21 SERVER check for Session_141.52.175.46:38136#0: 4047264 ms alive, stopping thread
I 2009/10/23 12:01:21 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:31 SERVER Closing main socket of thread 'Session_141.52.175.46:38136#0'
I 2009/10/23 12:01:31 SERVER check for Session_141.52.175.66:41511#0: 4015611 ms alive, stopping thread
I 2009/10/23 12:01:31 SERVER Closing main socket of thread 'Session_141.52.175.66:41511#0'
I 2009/10/23 12:01:31 SERVER check for Session_141.52.175.46:45476#0: 3804524 ms alive, stopping thread
I 2009/10/23 12:01:31 SERVER Closing main socket of thread 'Session_141.52.175.46:45476#0'
I 2009/10/23 12:01:31 SERVER check for Session_141.52.175.15:60682#0: 2363820 ms alive, stopping thread
I 2009/10/23 12:01:31 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:31 SERVER Closing main socket of thread 'Session_141.52.175.15:60682#0'
I 2009/10/23 12:01:31 SERVER check for Session_141.52.175.54:58249#0: 1474583 ms alive, stopping thread
I 2009/10/23 12:01:31 SERVER Closing main socket of thread 'Session_141.52.175.54:58249#0'
I 2009/10/23 12:01:31 SERVER check for Session_141.52.175.84:36999#0: 1209144 ms alive, stopping thread
I 2009/10/23 12:01:41 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131430419.# Name=YaCy .cr.gz to 141.52.175.16:8080: wrong return values from other peer; phase 2
I 2009/10/23 12:01:41 SERVER Closing main socket of thread 'Session_141.52.175.84:36999#0'
I 2009/10/23 12:01:41 SERVER check for Session_141.52.175.16:59945#0: 656596 ms alive, stopping thread
I 2009/10/23 12:01:41 SERVER Closing main socket of thread 'Session_141.52.175.16:59945#0'
I 2009/10/23 12:01:45 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131430419.# Name=YaCy .cr.gz to 134.102.189.50:8080: remote peer rejected transfer: denied
I 2009/10/23 12:01:45 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:46 SERVER check for Session_85.181.220.204:32873#0: 4559253 ms alive, stopping thread
I 2009/10/23 12:01:50 CRAWLER omitting de-queue/local: stack is empty
I 2009/10/23 12:01:50 PLASMA RankingDistribution - error transmitting file G:\yacy_091009\DATA\RANKING\GLOBAL\010_owncr\CRG-A-20090823131621248.# Name=YaCy .cr.gz to 141.52.175.31:8080: remote peer rejected transfer: denied
I 2009/10/23 12:01:50 SERVER Closing main socket of thread 'Session_85.181.220.204:32873#0'
I 2009/10/23 12:01:50 SERVER check for Session_91.64.9.58:3737#0: 4564104 ms alive, stopping thread
I 2009/10/23 12:01:55 SERVER Closing main socket of thread 'Session_91.64.9.58:3737#0'
I 2009/10/23 12:01:55 SERVER check for Session_141.52.175.28:40428#0: 4568769 ms alive, stopping thread
I 2009/10/23 12:01:55 SERVER Closing main socket of thread 'Session_141.52.175.28:40428#0'
I 2009/10/23 12:01:55 SERVER check for Session_141.52.175.62:49712#0: 4504387 ms alive, stopping thread

dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon LA_FORGE » So Okt 25, 2009 1:54 pm

Wie bringe ich dem Java Runtime Binary eigentlich bei, dass es den 64 Bit Kernel vom Vista x64 nutzen soll und nicht die 32-Bit Emulation? Im Task-Manager steht immer nur *32 beim javaw.exe oder java.exe hinten dran :-(
LA_FORGE
 
Beiträge: 557
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » So Okt 25, 2009 7:27 pm

Dumm gefragt, hast Du BEIDE Versionen von Java installiert? Wenn Du Java.exe auf der Comandline startest mit -version steht dann da dass es die 64er ist?
Zum sicherstellen dass Du die 64Bit Java bekommst, so lade diese z.b. mit dem IE64 bit, dann siehst du dass es diese auch auswählt beim download.
Ich musste jedenfalls nie die 64bit extra für Yacy wählen, jedoch habe ich auch absichtlich die 64bit eine Version aktueller, und aktualisire die 32bit weniger oft.

Code: Alles auswählen
C:\Users\User>java -version
java version "1.6.0_15"
Java(TM) SE Runtime Environment (build 1.6.0_15-b03)
Java HotSpot(TM) 64-Bit Server VM (build 14.1-b02, mixed mode)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » So Okt 25, 2009 7:51 pm

@La_Forge - Du musst da nichts machen, sofern Du eine 64bit Java Runtime installiert hast ( jre-6u15-windows-x64.exe). Kontrollieren kannst Du das in der Konsole (cmd.exe) von Windows mit java -version. Ansonsten ist die JRockit Java VM meistens eine bessere Wahl als die SUN VM, allerdings ist der Download etwas komplizierter geworden, seit Oracle Bea übernommen hat - mehr unter: http://www.oracle.com/technology/software/products/jrockit/index.html Ich verwende diese JVM http://tokeek.homedns.org:8080/Status.html - allerdings unter Linux - mal sehen was der Langzeittest so bringt, ich finde damit fühlt sich Yacy etwas flotter an.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Low012 » So Okt 25, 2009 11:49 pm

Soweit ich weiß, ist JRockit in vielen Fällen tatsächlich etwas schneller als das Sun Java. Die Lizenz erlaubt aber (wieder soweit ich weiß) nur die Benutzung zu Test- und Entwicklungszwecken, wobei die meisten von uns wahrscheinlich glaubwürdig darstellen können, dass wir es tatsächlich nicht für ein Produktivsystem verwenden, sondern das hier eher sowas wie "reife Jugend forscht" ist. ;)

Sich bei Oracle für das OTN (Oracle Technology Network) zu registrieren lohnt sich übrigens, wenn man mal einen Blick auf die Produkte von Oracle werfen möchte. Es gibt so gut wie alles zum Testen und Entwickeln kostenlos und zwar nicht nur in irgendwelchen eingeschränkten Testversionen, sondern man bekommt z.B. auch eine Oracle 11g Datenbank mit allen Erweiterungen in genau der Version, wie man sie auch produktiv einsetzen würde. Was passieren kann ist dann nur, dass man Newsletter von Oracle erhält und sich eventuell jemand von Oracle bei einem meldet.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » Mo Okt 26, 2009 9:22 am

@LOW012 - JRockit ist schneller, in einer der letzten ct's war mal eine kurze Gegenüberstellung zwischen der SUN, IBM und JRockit VM, wobei IBM und JRockit fast gleichauf liegen - also wäre das auch noch eine alternative für Yacy, hast DU das schon mal getestet ? http://www.ibm.com/developerworks/java/jdk/linux/download.html
Oracle-Lizenz - kann sein, diesmal war ich echt zu bequem das komplett zu lesen :shock: , na dann warte ich mal auf Anrufe von großem O :-)
Vielleicht sollte sich mal jemand in die ganze JVM Monitoring/Tuning Geschichte der verschiedenen VM's einlesen.... - Nein, ich melde mich nicht freiwillig....ich schaff schon jetzt nicht alles was ich möchte :-(....

OT - Netbeans, ich versuch heute mal weiterzumachen.......

Gruß,
Thomas

Low012 hat geschrieben:Soweit ich weiß, ist JRockit in vielen Fällen tatsächlich etwas schneller als das Sun Java. Die Lizenz erlaubt aber (wieder soweit ich weiß) nur die Benutzung zu Test- und Entwicklungszwecken, wobei die meisten von uns wahrscheinlich glaubwürdig darstellen können, dass wir es tatsächlich nicht für ein Produktivsystem verwenden, sondern das hier eher sowas wie "reife Jugend forscht" ist. ;)

Sich bei Oracle für das OTN (Oracle Technology Network) zu registrieren lohnt sich übrigens, wenn man mal einen Blick auf die Produkte von Oracle werfen möchte. Es gibt so gut wie alles zum Testen und Entwickeln kostenlos und zwar nicht nur in irgendwelchen eingeschränkten Testversionen, sondern man bekommt z.B. auch eine Oracle 11g Datenbank mit allen Erweiterungen in genau der Version, wie man sie auch produktiv einsetzen würde. Was passieren kann ist dann nur, dass man Newsletter von Oracle erhält und sich eventuell jemand von Oracle bei einem meldet.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Low012 » Mo Okt 26, 2009 11:04 am

Vega hat geschrieben:@LOW012 - JRockit ist schneller, in einer der letzten ct's war mal eine kurze Gegenüberstellung zwischen der SUN, IBM und JRockit VM, wobei IBM und JRockit fast gleichauf liegen - also wäre das auch noch eine alternative für Yacy, hast DU das schon mal getestet ? http://www.ibm.com/developerworks/java/jdk/linux/download.html

Nee, habe ich noch nicht, aber es wäre mal gut zu wissen, mit welchen JVMs YaCy überhaupt gut läuft, um nicht immer erstmal raten zu müssen, auf die Sun JVM umzustellen, wenn irgendwas schief läuft.

Oracle-Lizenz - kann sein, diesmal war ich echt zu bequem das komplett zu lesen :shock: , na dann warte ich mal auf Anrufe von großem O :-)

Ich hatte mich dort mal angemeldet, um Software für eine Oracle-Schulung runterzuladen und danch habe ich einen Anruf bekommen. Ich habe da aber auch korrekt angegeben, wer ich bin und für wen ich arbeite. Bei Privatpersonen werden sie ja wahrscheinlich nicht anrufen. ;-)

OT - Netbeans, ich versuch heute mal weiterzumachen.......

Ja, ich habe leider nach der Hälfte nicht weiter gemacht.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon LA_FORGE » Mo Okt 26, 2009 1:42 pm

Herzlichen Dank fuer die vielen Antworten und die ausfuehrlichen Erlaeuterungen! Nachdem es endlich eine 64-Bit-Version meiner Sprachausgabe-Software gibt, auf die ich leider seit mein 18. Lebensjahr angewiesen bin, bin ich dann auch mal auf ein '64-Bittiges' OS umgestiegen. Das ist ja, doof dass wenn man den Firefox verwendet, dass die 64-Bit-JRE gar nicht auf der Sun Download Page aufgelistet wird!

Wenn sich jetzt noch jemand von euch Freaks unter den YaCy-Programmierern mal um die Loesung des Problems kuemmert, dass Crawls nie fertig abgearbeitet werden, sondern immer nach ein paar Stunden/Tagen ein 'terminated' im Crawl Profile Editor erscheint, dann bin ich wunschlos gluecklich :-)

Was passiert eigentlich, wenn ich einen auto(re)crawl/hourly definiere, dann wird der Crawl ja automatisch wieder gestartet alle 1h. Wird dann alles neu im Index von YaCy abgelegt oder nur das, was sich auf der Seite geaendert hat/neu hinzu gekommen ist?

Danke fuer die Hilfe
LA_FORGE
 
Beiträge: 557
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » Mo Okt 26, 2009 2:25 pm

@LA_FORGE - also ist das Problem jetzt gelöst ? - Wenn ja, kannst Du den Thread bitte als [closed] markieren ?

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » Mo Okt 26, 2009 2:38 pm

@Low012

Nee, habe ich noch nicht, aber es wäre mal gut zu wissen, mit welchen JVMs YaCy überhaupt gut läuft, um nicht immer erstmal raten zu müssen, auf die Sun JVM umzustellen, wenn irgendwas schief läuft
.

Stimmt.....wobei ich die SUN VM momentan noch für die schlechteste halte....mal sehen ob ich noch zu weiteren Tests komme.....wäre schön wenn wir noch ein paar mehr aktive wären, so ist das für die wenigen Leute ganz schön viel Arbeit....

Ich hatte mich dort mal angemeldet, um Software für eine Oracle-Schulung runterzuladen und danch habe ich einen Anruf bekommen. Ich habe da aber auch korrekt angegeben, wer ich bin und für wen ich arbeite. Bei Privatpersonen werden sie ja wahrscheinlich nicht anrufen. ;-)

Ich hab mich auch über die Firma dort angemeldet.....na ich warte mal ob da was kommt....

Ja, ich habe leider nach der Hälfte nicht weiter gemacht.


Mach mal, ich würde dann wie besprochen mein Netbeans-Projekt löschen + neu Einbinden nach Anleitung - und bei Problemen Dich anmailen....

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Di Okt 27, 2009 8:13 am

Vega hat geschrieben:@LA_FORGE - also ist das Problem jetzt gelöst ? - Wenn ja, kannst Du den Thread bitte als [closed] markieren ?

Das ist doch das Problem von dulcedo, LA_FORGE hatte nur eine 64-bit install Nebenhandlung/Problem ;)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Di Okt 27, 2009 9:40 am

Hätte ich mir schon wieder aufgesperrt ;-)

Zum Problem denke ich dass es wie bei debian auch mit der JVM zusammenhängt, und Speicher mehr als 4GB (64bit).
Kannst du bluumi auch mal alternative JVMs, auch Versionen testen? Dann teilen wir das auf.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Mi Okt 28, 2009 11:51 pm

dulcedo hat geschrieben:Kannst du bluumi auch mal alternative JVMs, auch Versionen testen? Dann teilen wir das auf.

Sorry.
Wenn das so erfolglos weiter läuft (bzw nicht läuft) laufe ich eher näher zum Ende meiner Yacy-Karriere. Inzwischen bringen die Peers nur Frust statt Lust.
Mehr Zeit werde ich also kaum aufwenden, sondern eher auf weniger zu steuern. :oops: (= ausschalten)
Den LinuxPeer habe ich seit rund zwei Wochen nicht mehr länger als jeweils einige Minuten nach dem Neustart erreichen können. Nicht wegen OOM's, sondern weil der Port dann nimmer erreichbar währe. Und da jeweils 20-30Min. auf das 2-3 Min. Zeitfenster zu warten gebe ich langsam auf.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Orbiter » Do Okt 29, 2009 12:26 am

wenn ich jetzt jemand von der Firma FAST wäre, würde ich sagen: mehr als 15 Millionen Dokumente sind nicht supported. So weit ich weiss bist du aber sehr weit über dieser Zahl. Natürlich gibts bei uns kein 'nicht supported' in dieser Form, aber das zitiere ich auch nur zum Vergleich damit mal sichtbar wird in welchen Dimensionen die Software arbeitet, und wo sie halt nicht mehr arbeitet. Den FAST Maschinen gibt man für die 15 Mio Dokumente übrigens auch gerne 64 GB ram.

Damit die OOMs weg kommen muss ich ein besseres Ressource Management einbauen, der dann beim Annähern an das Limit Alarm schlägt und nicht erst wenn das Java schon am Anschlag ist.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Do Okt 29, 2009 5:27 am

Das wäre als Ziel prima und völlig ausreichend.
Was wir noch machen könnten wäre mit der blob-Dateigrösse zu spielen, ist die grösser als 2GB braucht er augenscheinlich weniger RAM, aber beliebig gross geht nicht. Da müssten wir uns an die Grenze rantasten, bis 8GB scheint noch zu gehen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » Do Okt 29, 2009 9:03 am

@Blumi - welche Peers sind Deine ? Welches OS/JAVA-VM/Arbeitsspeicher habend Deine Peers ? KSBA-YACY - ??? der hat ja 138.660.775 URLs :o
Wahnsinn - bitte nicht die hinwerfen, wäre schön wenn Du Yacy erhalten bliebst - mach mal bitte den Test mit einer anderen Java-VM.
Ansonsten haben wir - wie Orbiter schon sagte, eher das Problem das wir die Daten wieder loswerden müssen, sonst werden die OOMS ja noch schlimmer.
Ich hatte auf solchen großen Peers dann immer Craweling deaktiviert, DHT mit 10% der max. Geschwindigkeit an.
@Orbiter - wir brauchen eine Option die Daten wieder zu verteilen/auf 2 (oder mehrere) Peers zu splitten und dabei die Datenbank zu verkleinern, geht das irgendwie ?

Gruß,
Thomas

Sorry.
Wenn das so erfolglos weiter läuft (bzw nicht läuft) laufe ich eher näher zum Ende meiner Yacy-Karriere. Inzwischen bringen die Peers nur Frust statt Lust.
Mehr Zeit werde ich also kaum aufwenden, sondern eher auf weniger zu steuern. :oops: (= ausschalten)
Den LinuxPeer habe ich seit rund zwei Wochen nicht mehr länger als jeweils einige Minuten nach dem Neustart erreichen können. Nicht wegen OOM's, sondern weil der Port dann nimmer erreichbar währe. Und da jeweils 20-30Min. auf das 2-3 Min. Zeitfenster zu warten gebe ich langsam auf.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Do Okt 29, 2009 11:56 am

bluumi, wievel RAM hat KSBA-YACY? Wenn nur 8GB dann könnte man ihn auf 12 oder 16GB verpflanzen. Ich bin grade dabei Testmaschinen zu organisieren, könnte genauso bei dir stehen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Do Okt 29, 2009 1:11 pm

Vega hat geschrieben:@Blumi - welche Peers sind Deine ? Welches OS/JAVA-VM/Arbeitsspeicher habend Deine Peers ? KSBA-YACY - ??? der hat ja 138.660.775 URLs :o
Wahnsinn - bitte nicht die hinwerfen, wäre schön wenn Du Yacy erhalten bliebst - mach mal bitte den Test mit einer anderen Java-VM.

dulcedo hat geschrieben:bluumi, wievel RAM hat KSBA-YACY? Wenn nur 8GB dann könnte man ihn auf 12 oder 16GB verpflanzen. Ich bin grade dabei Testmaschinen zu organisieren, könnte genauso bei dir stehen.

Hat in der Tat nur 8GB, bzw. kann vom Mainboard leider nur bis 8Gbyte aufgerüstet werden. - Jedoch scheint es mir kein Problem der RAM verknappung zu sein, ausser die Anzeige vom freien RAM währe "falsch". 10% RAM sind fast immer frei. (660Mbyte)
Das bei mir stehen könnte man machen, YACY belastet bisher den Anschluss nicht übertrieben.
Jedoch frage ich mich auch ob ich meinen Index irgendwie ohne (grossen) Aufwand bereinigen kann. So in der Art "lösche was älter als 6 Monate nicht benutzt".

Ich hab mich nach dem Stimmungstief gestern plötzlich daran erinnert, dass ich bei beiden Peers die httpdMaxBusySessions, nach Orbiter's Tip erhöht hatte. Nun hoffe ich dass dies wieder zu reduzieren wenigstens den Win7 Peer (KSBA-YACY) etwas stabilisiert. (Beim Linux Peer hat das Reduzierten nichts gebracht)

Die beiden Peers sind der mit 138Mio und einer mit "über 100Mio", da der wie erwähnt kaum mehr benutzbar ist, kann ich nicht sagen ob 105 oder wo der steht.

Die 138Mio Kiste läuft nur für Yacy. Will mal nichts versprechen, (alternativen Javas).
Vega hat geschrieben:DHT mit 10% der max. Geschwindigkeit an.

Was ist denn die DHT maximal geschwindigkeit? ich seh da keinen Geschwindigkeits regler :)

Vega hat geschrieben:Ich hatte auf solchen großen Peers dann immer Craweling deaktiviert

Crawlen will ich mit dem LinuxSuchindex Peer auch gar nicht mehr, aber währe noch nett, wenn man damit suchen könnte :) Aber mangels Erreichbarkeit . . .
Den 138Mio Win7 Peer lasse ich noch moderat RemoteCrawlen.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon dulcedo » Do Okt 29, 2009 2:15 pm

bluumi hat geschrieben:Hat in der Tat nur 8GB, bzw. kann vom Mainboard leider nur bis 8Gbyte aufgerüstet werden. - Jedoch scheint es mir kein Problem der RAM verknappung zu sein, ausser die Anzeige vom freien RAM währe "falsch". 10% RAM sind fast immer frei. (660Mbyte)

Es macht definitiv einen Unterschied ob 8 oder sogar nur 9GB, auch bei der Bedienbarkeit von Win7, deshalb teste ich auch gerade Boards die mehr als 8 können. Das Problem dabei sind die knappen 4GB-Module müsste aber bald besser werden. Oder du hast zwei übrig ;-)
Jedoch frage ich mich auch ob ich meinen Index irgendwie ohne (grossen) Aufwand bereinigen kann. So in der Art "lösche was älter als 6 Monate nicht benutzt".

Das muss langfristig das Ziel sein, am besten das erwähnte Aufsplitten aber auch einfach Bereiche löschen wäre ausreichend.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon Vega » Do Okt 29, 2009 2:41 pm

Nur ganz kurz.....

Was ist denn die DHT maximal geschwindigkeit? ich seh da keinen Geschwindigkeits regler :)

http://localhost:8080/Performance_p.html - dort unter "Standart Profil benutzen"


Crawlen will ich mit dem LinuxSuchindex Peer auch gar nicht mehr, aber währe noch nett, wenn man damit suchen könnte :) Aber mangels Erreichbarkeit . . .Den 138Mio Win7 Peer lasse ich noch moderat RemoteCrawlen.

Wie oben, DHT bremsen, Crawling aus, leider weis ich nicht wie man den Index teilweise löschen kann.

Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Windows 64bit: java.lang.OutOfMemoryError: Java heap space

Beitragvon bluumi » Do Okt 29, 2009 4:34 pm

Vega hat geschrieben:
Was ist denn die DHT maximal geschwindigkeit? ich seh da keinen Geschwindigkeits regler :)

http://localhost:8080/Performance_p.html - dort unter "Standart Profil benutzen"

Hoppla :-) Weil da "default (crawl)" steht habe ich fälschlich angenommen, dass das eine CRAWL einstellung ist :)
dulcedo hat geschrieben:die knappen 4GB-Module

Stimmt, 2x 4GB waren fast doppelt so teuer wie 4x 2Gbyte. Und ich habe 4x 2er :)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron