Nach Update, Volle CPU Last, 0 Crawl/Index

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon bluumi » Do Jan 08, 2009 10:26 pm

Hi,

Auf dem einen SUSE LinuxServer (mit 8 Xenon), welcher die längste Zeit brav mit der Stable und IBM JAVA 1.5 lief (und damit ~100-400 / Spize 868PPM) lief, habe ich vor einigen Stunden einen Upgrade gemacht auf SUN Java 1.5.0_6 und 0.618/05455 (und jetzt runter auf 0.617/05439).

Nach dem Neustart kommt die Weboberfläche, aber er tut kein Crawl oder Indexen, obwohl die Local Crawl Queue weiterhin gross ist. Zudem ist die CPU Last so brutal hoch wie nie zuvor, diese schwankt zwischen 1.2 CPUs und 3 CPU :o

Weder /IndexCreateWWWLocalQueue_p.html noch /WatchCrawler_p.html lassen sich aufrufen. (40Minuten lädt es ohne Anzeige eines Fehlers oder der Seite) ;)
Was auch dazu führt, dass ich keine neuen Jobs mehr definieren kann, da diese ja /WatchCrawler_p.html aufrufen.

[Hoppla] CrawlProfileEditor_p.html Zeigt keinen Job an, auch wenn ich sonst überall Jobs in der Queue sehe .. (?)

Hier der vorgeschlagene MultiThread Dump, hoffe jemand sieht da was raus :)

Code: Alles auswählen
************* Start Thread Dump Thu Jan 08 22:09:41 CET 2009 *******************

YaCy Version: 0.617/05439
Total Memory = 1499070464
Used  Memory = 864681744
Free  Memory = 634388720


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Occurrences: 16606
at de.anomic.server.serverCore.receive(serverCore.java:863)
at de.anomic.server.serverCore$Session.readLine(serverCore.java:572)
at de.anomic.server.serverCore$Session.listen(serverCore.java:694)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Occurrences: 1000
at Threaddump_p.respond(Threaddump_p.java:80)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1172)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:753)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
at de.anomic.http.httpd.GET(httpd.java:488)
at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Occurrences: 1000
at de.anomic.server.serverCore.job(serverCore.java:330)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Occurrences: 1000
at org.apache.commons.httpclient.protocol.ReflectionSocketFactory.createSocket(ReflectionSocketFactory.java:140)
at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:125)
at org.apache.commons.httpclient.HttpConnection.open(HttpConnection.java:707)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.open(MultiThreadedHttpConnectionManager.java:1361)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:387)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:257)
at de.anomic.yacy.yacyClient.transferPermission(yacyClient.java:742)
at de.anomic.yacy.yacyClient.transfer(yacyClient.java:776)
at de.anomic.plasma.plasmaRankingDistribution.transferRankingAddress(plasmaRankingDistribution.java:179)
at de.anomic.plasma.plasmaRankingDistribution.transferRankingAnySeed(plasmaRankingDistribution.java:156)
at de.anomic.plasma.plasmaRankingDistribution.transferRanking(plasmaRankingDistribution.java:127)
at de.anomic.plasma.plasmaSwitchboard.cleanupJob(plasmaSwitchboard.java:1336)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Occurrences: 732
at de.anomic.kelondro.kelondroFileRA.readFully(kelondroFileRA.java:54)
at de.anomic.kelondro.kelondroBufferedIOChunks.readFully(kelondroBufferedIOChunks.java:75)
at de.anomic.kelondro.kelondroFullRecords$EcoNode.getValueRow(kelondroFullRecords.java:245)
at de.anomic.kelondro.kelondroFixedWidthArray.get(kelondroFixedWidthArray.java:116)
at de.anomic.kelondro.kelondroCollectionIndex.getwithparams(kelondroCollectionIndex.java:741)
at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIndex.java:518)
at de.anomic.index.indexCollectionRI.addEntries(indexCollectionRI.java:177)
at de.anomic.plasma.plasmaWordIndex.flushCache(plasmaWordIndex.java:560)
at de.anomic.plasma.plasmaWordIndex.flushCacheSome(plasmaWordIndex.java:531)
at de.anomic.plasma.plasmaSwitchboard.deQueueProcess(plasmaSwitchboard.java:1159)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)

....  tausende Zeilen nicht reinkopiert



DHT in und Out scheinen zu laufen. Wenn ich nun wüsste, dass der ein "paar stunden" nach dem Upgrade die Datenbank überarbeitet, ist mir das recht... Aber wenn der nichts gescheites macht und die CPU so frisst, so ist mir das die Power zu schade :)

Single ThreadDump
Code: Alles auswählen
************* Start Thread Dump Thu Jan 08 22:20:41 CET 2009 *******************

YaCy Version: 0.617/05439
Total Memory = 1555431424
Used  Memory = 824706888
Free  Memory = 730724536


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= Session_85.5.129.154:49648#47 id=293 RUNNABLE
Thread= Session_212.117.110.162:2915#5 id=387 RUNNABLE
Thread= Session_85.5.129.154:49646#46 id=290 RUNNABLE
Thread= Session_85.25.147.200:33914#0 id=389 RUNNABLE
Thread= Session_85.5.129.154:49647#48 id=292 RUNNABLE
Thread= Session_78.46.66.200:33630#9 id=385 RUNNABLE
Thread= Session_141.52.175.83:40588#3 id=414 RUNNABLE
Thread= Session_141.52.175.84:40059#9 id=279 RUNNABLE
Thread= Session_192.168.100.70:1751#56 id=169 RUNNABLE
Thread= Session_82.225.70.7:36788#1 id=423 RUNNABLE
Thread= Session_84.62.88.217:40166#0 id=437 RUNNABLE
Thread= Session_212.227.94.119:60170#0 id=353 RUNNABLE
Thread= Session_84.161.80.168:37724#1 id=417 RUNNABLE
Thread= Session_141.52.175.58:38234#0 id=405 RUNNABLE
Thread= Session_141.52.175.58:50915#0 id=404 RUNNABLE
Thread= Session_141.52.175.82:56907#3 id=403 RUNNABLE
Thread= Session_212.117.110.162:3982#1 id=413 RUNNABLE
Thread= Session_85.25.141.60:57263#1 id=396 RUNNABLE
Thread= Session_194.116.84.11:59264#2 id=372 RUNNABLE
Thread= Session_85.178.68.224:42417#0 id=431 RUNNABLE
Thread= Session_217.91.22.18:64340#1 id=368 RUNNABLE
at de.anomic.server.serverCore.receive(serverCore.java:863)
at de.anomic.server.serverCore$Session.readLine(serverCore.java:572)
at de.anomic.server.serverCore$Session.listen(serverCore.java:694)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Thread= Session_84.143.60.80:54637#0 id=440 RUNNABLE
at org.apache.commons.httpclient.HttpParser.readRawLine(HttpParser.java:78)
at org.apache.commons.httpclient.HttpParser.readLine(HttpParser.java:106)
at org.apache.commons.httpclient.HttpConnection.readLine(HttpConnection.java:1116)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.readLine(MultiThreadedHttpConnectionManager.java:1413)
at org.apache.commons.httpclient.HttpMethodBase.readStatusLine(HttpMethodBase.java:1973)
at org.apache.commons.httpclient.HttpMethodBase.readResponse(HttpMethodBase.java:1735)
at org.apache.commons.httpclient.HttpMethodBase.execute(HttpMethodBase.java:1098)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:398)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.postToFile(yacyClient.java:301)
at de.anomic.yacy.yacyClient.queryUrlCount(yacyClient.java:361)
at hello.respond(hello.java:121)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1172)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:753)
at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:259)
at de.anomic.http.httpd.POST(httpd.java:629)
at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Thread= Session_87.234.94.98:58670#1 id=398 RUNNABLE
at org.apache.commons.httpclient.protocol.ReflectionSocketFactory.createSocket(ReflectionSocketFactory.java:140)
at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:125)
at org.apache.commons.httpclient.HttpConnection.open(HttpConnection.java:707)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.open(MultiThreadedHttpConnectionManager.java:1361)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:387)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.postToFile(yacyClient.java:301)
at de.anomic.yacy.yacyClient.queryUrlCount(yacyClient.java:361)
at hello.respond(hello.java:141)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1172)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:753)
at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:259)
at de.anomic.http.httpd.POST(httpd.java:629)
at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Thread= Session_85.5.129.154:49649#48 id=294 RUNNABLE
at Threaddump_p.respond(Threaddump_p.java:90)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1172)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:753)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
at de.anomic.http.httpd.GET(httpd.java:488)
at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Thread= de.anomic.plasma.plasmaSwitchboard.deQueueProcess id=135 RUNNABLE
at de.anomic.kelondro.kelondroFileRA.readFully(kelondroFileRA.java:54)
at de.anomic.kelondro.kelondroBufferedIOChunks.readFully(kelondroBufferedIOChunks.java:75)
at de.anomic.kelondro.kelondroFullRecords$EcoNode.getValueRow(kelondroFullRecords.java:245)
at de.anomic.kelondro.kelondroFixedWidthArray.get(kelondroFixedWidthArray.java:116)
at de.anomic.kelondro.kelondroCollectionIndex.getwithparams(kelondroCollectionIndex.java:741)
at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIndex.java:518)
at de.anomic.index.indexCollectionRI.addEntries(indexCollectionRI.java:177)
at de.anomic.plasma.plasmaWordIndex.flushCache(plasmaWordIndex.java:560)
at de.anomic.plasma.plasmaWordIndex.flushCacheSome(plasmaWordIndex.java:531)
at de.anomic.plasma.plasmaSwitchboard.deQueueProcess(plasmaSwitchboard.java:1159)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Thread= TransferIndexWorker_KIT15F id=444 RUNNABLE
at org.apache.commons.httpclient.HttpParser.readRawLine(HttpParser.java:78)
at org.apache.commons.httpclient.HttpParser.readLine(HttpParser.java:106)
at org.apache.commons.httpclient.HttpConnection.readLine(HttpConnection.java:1116)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.readLine(MultiThreadedHttpConnectionManager.java:1413)
at org.apache.commons.httpclient.HttpMethodBase.readStatusLine(HttpMethodBase.java:1973)
at org.apache.commons.httpclient.HttpMethodBase.readResponse(HttpMethodBase.java:1735)
at org.apache.commons.httpclient.HttpMethodBase.execute(HttpMethodBase.java:1098)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:398)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.transferRWI(yacyClient.java:980)
at de.anomic.yacy.yacyClient.transferIndex(yacyClient.java:870)
at de.anomic.plasma.plasmaDHTTransfer.uploadIndex(plasmaDHTTransfer.java:144)
at de.anomic.plasma.plasmaDHTTransfer.run(plasmaDHTTransfer.java:90)


Thread= httpd:8080 id=142 RUNNABLE
at de.anomic.server.serverCore.job(serverCore.java:330)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Thread= TransferIndexWorker_Uriel id=443 RUNNABLE
at org.apache.commons.httpclient.protocol.ReflectionSocketFactory.createSocket(ReflectionSocketFactory.java:140)
at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:125)
at org.apache.commons.httpclient.HttpConnection.open(HttpConnection.java:707)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.open(MultiThreadedHttpConnectionManager.java:1361)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:387)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.transferRWI(yacyClient.java:980)
at de.anomic.yacy.yacyClient.transferIndex(yacyClient.java:870)
at de.anomic.plasma.plasmaDHTTransfer.uploadIndex(plasmaDHTTransfer.java:144)
at de.anomic.plasma.plasmaDHTTransfer.run(plasmaDHTTransfer.java:90)


Thread= Session_87.145.27.29:52237#0 id=439 RUNNABLE
Thread= Session_87.145.27.29:43088#0 id=428 RUNNABLE
Thread= Session_87.145.27.29:55401#0 id=436 RUNNABLE
Thread= Session_87.145.27.29:57015#0 id=432 RUNNABLE
at org.apache.commons.httpclient.protocol.ReflectionSocketFactory.createSocket(ReflectionSocketFactory.java:140)
at org.apache.commons.httpclient.protocol.DefaultProtocolSocketFactory.createSocket(DefaultProtocolSocketFactory.java:125)
at org.apache.commons.httpclient.HttpConnection.open(HttpConnection.java:707)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$HttpConnectionAdapter.open(MultiThreadedHttpConnectionManager.java:1361)
at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:387)
at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
at de.anomic.http.JakartaCommonsHttpClient.execute(JakartaCommonsHttpClient.java:439)
at de.anomic.http.JakartaCommonsHttpClient.POST(JakartaCommonsHttpClient.java:329)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:281)
at de.anomic.yacy.yacyClient.postToFile(yacyClient.java:301)
at de.anomic.yacy.yacyClient.queryUrlCount(yacyClient.java:361)
at hello.respond(hello.java:121)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1172)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:753)
at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:259)
at de.anomic.http.httpd.POST(httpd.java:629)
at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
at de.anomic.server.serverCore$Session.run(serverCore.java:626)


Thread= sorting_pool-1-thread-84 id=415 RUNNABLE
at de.anomic.kelondro.kelondroRowCollection.comparePivot(kelondroRowCollection.java:894) [final int c = ((kelondroBase64Order) this.rowdef.objectOrder).comparePivot(]
at de.anomic.kelondro.kelondroRowCollection.partition(kelondroRowCollection.java:640)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:587)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:591)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:591)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:590)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:590)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:591)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:591)
at de.anomic.kelondro.kelondroRowCollection.qsort(kelondroRowCollection.java:591)
at de.anomic.kelondro.kelondroRowCollection$qsortthread.call(kelondroRowCollection.java:576)



THREADS WITH STATES: TIMED_WAITING

Thread= de.anomic.plasma.plasmaSwitchboard.dhtTransferJob id=141 TIMED_WAITING
at de.anomic.plasma.plasmaSwitchboard.dhtTransferProcess(plasmaSwitchboard.java:2058)
at de.anomic.plasma.plasmaSwitchboard.dhtTransferJob(plasmaSwitchboard.java:1962)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Thread= Thread-1 id=10 TIMED_WAITING
at de.anomic.server.serverProfiling.run(serverProfiling.java:61)


Thread= de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob id=136 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.publishSeedList id=139 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.peerPing id=140 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.remoteCrawlLoaderJob id=137 TIMED_WAITING
Thread= de.anomic.data.bookmarksDB.autoReCrawl id=42 TIMED_WAITING
Thread= de.anomic.plasma.plasmaSwitchboard.cleanupJob id=134 TIMED_WAITING
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:198)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:163)


Thread= sorting_pool-1-thread-78 id=364 TIMED_WAITING
Thread= partition_pool-1-thread-13 id=23 TIMED_WAITING
Thread= partition_pool-1-thread-12 id=22 TIMED_WAITING
Thread= sorting_pool-1-thread-6 id=16 TIMED_WAITING
Thread= sorting_pool-1-thread-74 id=320 TIMED_WAITING
Thread= Timer-0 id=133 TIMED_WAITING
Thread= sorting_pool-1-thread-71 id=275 TIMED_WAITING



THREADS WITH STATES: WAITING

Thread= parseDocument_pool-1-thread-49 id=116 WAITING
Thread= condenseDocument_pool-1-thread-35 id=88 WAITING
Thread= webStructureAnalysis_pool-1-thread-28 id=74 WAITING
Thread= webStructureAnalysis_pool-1-thread-26 id=70 WAITING
Thread= condenseDocument_pool-1-thread-33 id=84 WAITING
Thread= parseDocument_pool-1-thread-55 id=128 WAITING
Thread= parseDocument_pool-1-thread-54 id=126 WAITING
Thread= parseDocument_pool-1-thread-56 id=130 WAITING
Thread= parseDocument_pool-1-thread-57 id=132 WAITING
Thread= parseDocument_pool-1-thread-52 id=122 WAITING
Thread= parseDocument_pool-1-thread-47 id=112 WAITING
Thread= parseDocument_pool-1-thread-50 id=118 WAITING
Thread= job_pool-1-thread-19 id=56 WAITING
Thread= job_pool-1-thread-15 id=48 WAITING
Thread= parseDocument_pool-1-thread-42 id=102 WAITING
Thread= webStructureAnalysis_pool-1-thread-25 id=68 WAITING
Thread= job_pool-1-thread-16 id=50 WAITING
Thread= job_pool-1-thread-21 id=60 WAITING
Thread= parseDocument_pool-1-thread-44 id=106 WAITING
Thread= condenseDocument_pool-1-thread-32 id=82 WAITING
Thread= condenseDocument_pool-1-thread-39 id=96 WAITING
Thread= parseDocument_pool-1-thread-48 id=114 WAITING
Thread= condenseDocument_pool-1-thread-34 id=86 WAITING
Thread= condenseDocument_pool-1-thread-38 id=94 WAITING
Thread= parseDocument_pool-1-thread-41 id=100 WAITING
Thread= parseDocument_pool-1-thread-53 id=124 WAITING
Thread= webStructureAnalysis_pool-1-thread-31 id=80 WAITING
Thread= parseDocument_pool-1-thread-46 id=110 WAITING
Thread= parseDocument_pool-1-thread-43 id=104 WAITING
Thread= parseDocument_pool-1-thread-45 id=108 WAITING
Thread= storeDocumentIndex_pool-1-thread-22 id=62 WAITING
Thread= job_pool-1-thread-18 id=54 WAITING
Thread= condenseDocument_pool-1-thread-36 id=90 WAITING
Thread= webStructureAnalysis_pool-1-thread-23 id=64 WAITING
Thread= parseDocument_pool-1-thread-51 id=120 WAITING
Thread= job_pool-1-thread-17 id=52 WAITING
Thread= job_pool-1-thread-20 id=58 WAITING
Thread= webStructureAnalysis_pool-1-thread-30 id=78 WAITING
Thread= webStructureAnalysis_pool-1-thread-27 id=72 WAITING
Thread= webStructureAnalysis_pool-1-thread-24 id=66 WAITING
Thread= condenseDocument_pool-1-thread-40 id=98 WAITING
Thread= webStructureAnalysis_pool-1-thread-29 id=76 WAITING
Thread= condenseDocument_pool-1-thread-37 id=92 WAITING
at de.anomic.server.serverProcessor.take(serverProcessor.java:96)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:55)


Thread= main id=1 WAITING
at de.anomic.server.serverSemaphore.P(serverSemaphore.java:63)
at de.anomic.plasma.plasmaSwitchboard.waitForShutdown(plasmaSwitchboard.java:2249)
at yacy.startup(yacy.java:420)
at yacy.main(yacy.java:1037)


Thread= MultiThreadedHttpConnectionManager cleanup daemon id=37 WAITING
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$ReferenceQueueThread.run(MultiThreadedHttpConnectionManager.java:1122)


Thread= de.anomic.crawler.CrawlQueues.coreCrawlJob id=138 WAITING
at de.anomic.kelondro.kelondroRowCollection.sort(kelondroRowCollection.java:515)
at de.anomic.kelondro.kelondroRowSet.find(kelondroRowSet.java:164)
at de.anomic.kelondro.kelondroRowSet.get(kelondroRowSet.java:111)
at de.anomic.kelondro.kelondroRowSet.get(kelondroRowSet.java:107)
at de.anomic.kelondro.kelondroRAMIndex.get(kelondroRAMIndex.java:72)
at de.anomic.kelondro.kelondroBytesIntMap.geti(kelondroBytesIntMap.java:62)
at de.anomic.kelondro.kelondroEcoTable.remove(kelondroEcoTable.java:452)
at de.anomic.crawler.Balancer.pop(Balancer.java:574)
at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:189)
at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:195)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:142)


Thread= urls_pool-1-thread-59 id=161 WAITING
Thread= Reference Handler daemon id=2 WAITING
Thread= Finalizer daemon id=3 WAITING
Thread= urls_pool-1-thread-60 id=162 WAITING
Thread= urls_pool-1-thread-66 id=168 WAITING
Thread= Java2D Disposer daemon id=197 WAITING
Thread= urls_pool-1-thread-58 id=160 WAITING
Thread= urls_pool-1-thread-64 id=166 WAITING
Thread= urls_pool-1-thread-63 id=165 WAITING
Thread= urls_pool-1-thread-61 id=163 WAITING
Thread= urls_pool-1-thread-62 id=164 WAITING
Thread= urls_pool-1-thread-65 id=167 WAITING



THREADS WITH STATES: NEW


THREADS WITH STATES: TERMINATED


************* End Thread Dump Thu Jan 08 22:20:41 CET 2009 *******************


Am JavaUpgrade liegt es jedenfalls auch nicht, ich hatte erst einen Test mit einer kleinen Testinstallation gemacht und diese war einiges schneller als mit IBM Java, und lief... also inkl. Index und crawl :-D
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon bluumi » Do Jan 08, 2009 11:55 pm

DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.db ist von 16:50, in etwa dem Zeitpunkt des Updates stable -> r5455
während
DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.heap von 23:45 ist, der UhrZeit jetzt.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Phiber » Fr Jan 09, 2009 12:59 am

Habe das Problem auch irgendwie mit der neuesten Version. Zum Teil springt die CPU-Last, zum Teil bleibt sie für gut 10min auf voller Last. Komme dann auch nimmer ans Webinterface ran, ist wie eingefroren.

Ach joah und ich bin halt am Remotecrawlen, ganz normal eigentlich.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Orbiter » Fr Jan 09, 2009 1:10 am

also bluumis log hatte nur eine verdächtige Stelle, und zwar steckte das Ding in einer Sortierroutine fest, wo eigentlich eine Ordnung beibehalten werden sollte. Ich habe den fehler gefunden, der dazu geführt hat das immer wieder neu sortiert wurde. Ausgelöst wurde das durch massive remove-Operationen, und bluumis 2. posting erklärt auch wie es dazu kam: er hat das Crawl profile verloren durch eine Änderung des Datenbankformates, das hat zu einem iterativen Löschen der Crawl Queue geführt. Sorry, die alte Crawl Queue ist dann wohl weg.
In SVN 5457 ist ein Fix für die falsche Sortierlogik. Bitte dann auch das PLASMADB-Verzeichnis Leer machen und nochmal probieren.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon bluumi » Fr Jan 09, 2009 4:44 pm

Orbiter hat geschrieben: er hat das Crawl profile verloren
Sorry, die alte Crawl Queue ist dann wohl weg.
PLASMADB-Verzeichnis Leer machen und nochmal probieren.

Ok, werd ich machen :)
Ich war wenigstens so schlau ein paar der 20 Jobs via Printscreen zu sichern, so weiss ich wo ich anfangen muss, nun hoffe ich dass er die bereits crewalt / indexierten Seiten überspringt und schnell zu dem Punkt kommt, von wo er weiter arbeiten muss.

Danke für das finden und fixen. :P
[19:30] so, nun rennt es wieder mit 500-600PPM's
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Phiber » Sa Jan 10, 2009 2:05 am

So vorneweg ne Frage zum Error-Report: Gibt es eigentlich irgend eine gscheite Lösung, einen Threaddump zu erstellen (der ja glaubs interessant ist für die Entwickler bei der Fehlersuche), wenn man nicht ans Webinterface rankommt? Vielleicht eine Batch-Datei oder ähnliches ins YaCy-Verzeichniss legen zur Standardtisierten Fehler-Reportage ;)

Auf alle Fälle, ich hab mein Problem immernoch. YaCy startet normal auf und es scheint zu gehen, sobald ich aber nen neuen Crawl starten möchte (hab seit 3-4 Wochen keine Local Crawls mehr gestartet, jetzt muss ich aber mal die berühmt berüchtigten 500-600ppm testen), geht YaCy auf Volllast hoch und das Interface blockt ab. Darum hier mal ein Threaddump mit jstack.exe http://philoptik.dyndns.org/dump6.txt

Ach nach 10min ist er wieder auf Normmallast runter (0-5%), kurz nachdem ich im Webinterface aber wieder 3-4 Seiten angeklickt habe ist er wieder auf Vollast. http://philoptik.dyndns.org/dump7.txt
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Orbiter » Sa Jan 10, 2009 10:28 am

Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Phiber » Sa Jan 10, 2009 10:37 am

Orbiter hat geschrieben:http://www.yacy-websuche.de/wiki/index.php/Thread_Dump


Ja klar kenne ich den Wiki-Eintrag, sonst hätte ich niemals im Leben gewusst wie ich mit Java den Threaddump hinkriege ;)

Aus dem Wiki hat geschrieben:Man macht einen Rechtsklick auf die Titelleiste des YaCy-DOS-Fensters
Was soll das für ein YaCy-Dos Fenster sein? Also ich habe ja ka wie YaCy unter Linux läuft, aber in Windows sieht man von YaCy ein Symbol in der Taskleiste und javaw.exe als Prozess im Taskmgr, aber das wars. Darum bleibt nur ein Threaddump via Java jstack.exe
Aber das sollte ja nur ne Frage/Idee/Anregung sein die vielleicht eher in justsmile's Thread reingepasst hätte. Eigentlich gehts mir hier nur um mein Problem.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon dulcedo » Sa Jan 10, 2009 11:21 am

Orbiter hat geschrieben:In SVN 5457 ist ein Fix für die falsche Sortierlogik. Bitte dann auch das PLASMADB-Verzeichnis Leer machen und nochmal probieren.


Die 5456 wird als "stable" abgeboten, oder was das heissen soll wenn sie in der liste stehen bleibt, das war nun dappig, darf ich nochmal anfangen, habe das problem nämlich auch, rechnet sich zu tode mit seinen 4 cores...
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Low012 » Sa Jan 10, 2009 12:33 pm

Phiber hat geschrieben:Was soll das für ein YaCy-Dos Fenster sein? Also ich habe ja ka wie YaCy unter Linux läuft, aber in Windows sieht man von YaCy ein Symbol in der Taskleiste und javaw.exe als Prozess im Taskmgr, aber das wars.


Soweit ich weiß, war bei YaCy unter Windows früher immer ein Fenster offen, was aber viele Windows-User gestört hat, weshalb es nun standardmäßig kein Fenster mehr gibt. ich glaube, du musst selbst ein Dos-Fenster öffnen, in den YaCy-Pfad navigieren und YaCy von dort mit startYACY.bat starten, um das im Wiki beschrieben Szenario zu haben.

Das ist aber ohne Gewähr, weil ich YaCy schon seit einer halben Ewigkeit nicht mehr ernsthaft unter Windows benutzt habe.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon bluumi » Sa Jan 10, 2009 3:08 pm

Wenn Du Yacy mit dem Debug statt des normalen Batch startest, hast du das Fenster.

..\YACY\startYACY_debug.bat
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Phiber » Sa Jan 10, 2009 3:19 pm

Ok danke für die Infos mit dem Fenster und so. Eigentlich sind glaubs alle ganz froh, dass man das nicht mehr sieht, wozu auch. Ausserdem ist der Threaddump via DOS-Fenster trotzdem fast komplizierter mit Fenster vergrössern und allem.
Meine Idee war ja nur eine Datei im YaCy-Grundverzeichniss: create_threaddump.bat : Erstellt bei laufendem YaCy einen Threaddump nach /dump/thread_dump_x.txt welchen man dann leicht ins Forum kopieren/verlinken kann. Nicht mehr, nicht weniger. Aber danke natürlich für all die hilfreichen Links und Tipps wie ich das auch anders hinbekommen würde, aber das kannte ich ja schon. Geht mehr um Error-Report im Allgemeinen.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon Phiber » Mo Jan 12, 2009 1:26 am

Gibt es denn nun hier irgendetwas verdächtiges oder nicht? Weil bei mir blockt er selbst mit der allerneuesten Version noch wenn ich neue Local Crawls starte. CPU Last auf 50%, Webinterface reagiert nicht mehr.

Vielleicht ist das ja auch nur spezifisch bei meinem Peer, ka ob noch alles so wirklich konsistent ist bei meinem YaCy. Vielleicht sollte ich etwas löschen? freeworld/NETWORK dort z.b. was?

edit: Das steht in der Shell wenn ich via startyacy_debug.bat starte:
Da ich oft was wegen Memory lese: Ich habe YaCy 1000MB zugewiesen was bisher immer ein guter Vorrat war, wobei die knapp 20 Mio Links den Memory-Graphen in den früheren Versionen schon immer auf minimal 600MB hochhielten.
Code: Alles auswählen
W 2009/01/12 01:36:24 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTrigger
edCrawlJob' runs short memory cycle. Free mem: 558 KB, needed: 6144 KB
I 2009/01/12 01:36:24 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 1010 / -91 KB)
I 2009/01/12 01:36:24 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 20000 / 1112 / -91 KB)
W 2009/01/12 01:36:24 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob'
runs short memory cycle. Free mem: 545 KB, needed: 10096 KB
W 2009/01/12 01:36:24 FILEHANDLER Unexpected error while processing query.
Session: Session_78.54.163.7:39561#3
Query:   /yacy/transferRWI.html
Client:  78.54.163.7
Reason:  java.lang.reflect.InvocationTargetException
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1
179)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:760)

        at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:259)
        at de.anomic.http.httpd.POST(httpd.java:629)
        at sun.reflect.GeneratedMethodAccessor16.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.OutOfMemoryError: Java heap space
        at de.anomic.kelondro.kelondroFullRecords$EcoNode.getValueRow(kelondroFu
llRecords.java:243)
        at de.anomic.kelondro.kelondroFixedWidthArray.get(kelondroFixedWidthArra
y.java:116)
        at de.anomic.kelondro.kelondroCollectionIndex.getwithparams(kelondroColl
ectionIndex.java:735)
        at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIn
dex.java:518)
        at de.anomic.index.indexCollectionRI.addEntries(indexCollectionRI.java:1
64)
        at de.anomic.plasma.plasmaWordIndex.flushCacheOne(plasmaWordIndex.java:5
46)
        at de.anomic.plasma.plasmaWordIndex.dhtFlushControl(plasmaWordIndex.java
:481)
        at de.anomic.plasma.plasmaWordIndex.addEntry(plasmaWordIndex.java:498)
        at transferRWI.respond(transferRWI.java:166)
        ... 13 more
I 2009/01/12 01:36:21 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10144 / 1010 / -91 KB)
W 2009/01/12 01:36:27 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteCrawlLo
aderJob' runs short memory cycle. Free mem: 275 KB, needed: 20000 KB
I 2009/01/12 01:36:27 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 6144 / 431 / -91 KB)
W 2009/01/12 01:36:27 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.deQueueP
rocess' runs short memory cycle. Free mem: 267 KB, needed: 10144 KB
I 2009/01/12 01:36:21 PLASMA Peer Pandora:vHMaw60XH0c4 is busy. Waiting 30000 ms
.
I 2009/01/12 01:36:27 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 234 / -91 KB)
I 2009/01/12 01:36:29 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 20000 / 502 / -91 KB)
W 2009/01/12 01:36:29 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTrigger
edCrawlJob' runs short memory cycle. Free mem: 479 KB, needed: 6144 KB
E 2009/01/12 01:36:29 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTa
rgetException:null target exception at G:\YaCy\htroot\PerformanceGraph.class: ja
va.lang.RuntimeException: ymage: not enough memory (489256) available:ymage: not
enough memory (489256) available; java.awt.graphicsenv='sun.awt.Win32GraphicsEn
vironment'
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1
179)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:522)

        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.RuntimeException: ymage: not enough memory (489256) availab
le
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:78)
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:74)
        at de.anomic.ymage.ymageChart.<init>(ymageChart.java:55)
        at de.anomic.plasma.plasmaProfiling.performanceGraph(plasmaProfiling.jav
a:71)
        at PerformanceGraph.respond(PerformanceGraph.java:44)
        ... 13 more
I 2009/01/12 01:36:29 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 500 / -91 KB)
I 2009/01/12 01:36:30 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 6144 / 427 / -91 KB)
W 2009/01/12 01:36:33 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteCrawlLo
aderJob' runs short memory cycle. Free mem: 106 KB, needed: 20000 KB
W 2009/01/12 01:36:34 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTrigger
edCrawlJob' runs short memory cycle. Free mem: 559 KB, needed: 6144 KB
I 2009/01/12 01:36:34 PLASMA Selected DHT target peer KIT004F-:yUysLEsUA6Yf, dis
tance2first = 2216637358487188408, distance2last = 2208440877355246728
I 2009/01/12 01:36:34 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10144 / 569 / -91 KB)
W 2009/01/12 01:36:34 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob'
runs short memory cycle. Free mem: 520 KB, needed: 10096 KB
W 2009/01/12 01:36:34 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.deQueueP
rocess' runs short memory cycle. Free mem: 529 KB, needed: 10144 KB
I 2009/01/12 01:36:36 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1106 / 361 / -91 KB)
E 2009/01/12 01:36:36 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTa
rgetException:null target exception at G:\YaCy\htroot\Banner.class: java.lang.Ru
ntimeException: ymage: not enough memory (359992) available:ymage: not enough me
mory (359992) available; java.awt.graphicsenv='sun.awt.Win32GraphicsEnvironment'

java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1
179)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:522)

        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.RuntimeException: ymage: not enough memory (359992) availab
le
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:78)
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:74)
        at de.anomic.plasma.plasmaGrafics.drawBannerPicture(plasmaGrafics.java:3
57)
        at de.anomic.plasma.plasmaGrafics.getBannerPicture(plasmaGrafics.java:33
9)
        at Banner.respond(Banner.java:111)
        ... 13 more
I 2009/01/12 01:36:36 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 21 / -91 KB)
W 2009/01/12 01:36:37 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob'
runs short memory cycle. Free mem: 459 KB, needed: 10096 KB
I 2009/01/12 01:36:36 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 6144 / 3 / -91 KB)
I 2009/01/12 01:36:36 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 20000 / 488 / -91 KB)
W 2009/01/12 01:36:39 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTrigger
edCrawlJob' runs short memory cycle. Free mem: 1 KB, needed: 6144 KB
I 2009/01/12 01:36:40 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 367 / -91 KB)
W 2009/01/12 01:36:40 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteCrawlLo
aderJob' runs short memory cycle. Free mem: 191 KB, needed: 20000 KB
E 2009/01/12 01:36:40 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTa
rgetException:null target exception at G:\YaCy\htroot\PerformanceGraph.class: ja
va.lang.RuntimeException: ymage: not enough memory (195088) available:ymage: not
enough memory (195088) available; java.awt.graphicsenv='sun.awt.Win32GraphicsEn
vironment'
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1
179)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:522)

        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.RuntimeException: ymage: not enough memory (195088) availab
le
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:78)
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:74)
        at de.anomic.ymage.ymageChart.<init>(ymageChart.java:55)
        at de.anomic.plasma.plasmaProfiling.performanceGraph(plasmaProfiling.jav
a:71)
        at PerformanceGraph.respond(PerformanceGraph.java:44)
        ... 13 more
I 2009/01/12 01:36:40 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 387 / -91 KB)
I 2009/01/12 01:36:45 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 128 / -91 KB)
I 2009/01/12 01:36:40 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10144 / 381 / -91 KB)
ERROR A 127.0.0.1E 2009/01/12 01:37:08 FILEHANDLER INTERNAL ERROR: java.lang.ref
lect.InvocationTargetException:null target exception at G:\YaCy\htroot\Performan
ceGraph.class: java.lang.RuntimeException: ymage: not enough memory (11680) avai
lable:ymage: not enough memory (11680) available; java.awt.graphicsenv='sun.awt.
Win32GraphicsEnvironment'
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1
179)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:522)

        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.RuntimeException: ymage: not enough memory (11680) availabl
e
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:78)
        at de.anomic.ymage.ymageMatrix.<init>(ymageMatrix.java:74)
        at de.anomic.ymage.ymageChart.<init>(ymageChart.java:55)
        at de.anomic.plasma.plasmaProfiling.performanceGraph(plasmaProfiling.jav
a:71)
        at PerformanceGraph.respond(PerformanceGraph.java:44)
        ... 13 more

ERROR A 84.60.137.10
ERROR A 93.198.181.113E 2009/01/12 01:37:32 HTTPD Unexpected Error. java.lang.Ou
tOfMemoryError
java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space
W 2009/01/12 01:37:24 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob'
runs short memory cycle. Free mem: 40 KB, needed: 10096 KB
E 2009/01/12 01:37:18 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError: Java heap space
        at java.io.BufferedReader.<init>(Unknown Source)
        at java.io.BufferedReader.<init>(Unknown Source)
        at de.anomic.http.httpTemplate.writeTemplate(httpTemplate.java:443)
        at de.anomic.http.httpTemplate.writeTemplate(httpTemplate.java:241)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:890)

        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
java.lang.OutOfMemoryError: Java heap space
        at java.io.BufferedReader.<init>(Unknown Source)
        at java.io.BufferedReader.<init>(Unknown Source)
I 2009/01/12 01:36:43 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 6144 / 218 / -91 KB)
I 2009/01/12 01:36:54 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 91 / -91 KB)
        at de.anomic.http.httpTemplate.writeTemplate(httpTemplate.java:443)
        at de.anomic.http.httpTemplate.writeTemplate(httpTemplate.java:241)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:890)

ERROR A 85.25.141.60
        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:251)
        at de.anomic.http.httpd.GET(httpd.java:488)I 2009/01/12 01:37:06 MEMORY
former GCs indicate to not be able to free enough memory (requested/available/av
erage: 60000 / 26 / -91 KB)

        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)ERROR A 89
.87.246.8

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
        at java.lang.reflect.Method.invoke(Unknown Source)I 2009/01/12 01:38:31
MEMORY former GCs indicate to not be able to free enough memory (requested/avail
able/average: 1106 / 34 / -91 KB)
I 2009/01/12 01:38:23 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 5 / -91 KB)
I 2009/01/12 01:37:53 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 71 / -91 KB)
I 2009/01/12 01:37:51 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 40 / -91 KB)

        at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
        at de.anomic.server.serverCore$Session.run(serverCore.java:626)
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)ERROR A 89
.87.246.8

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)ERROR
A 127.0.0.1
ERROR A 127.0.0.1
        at java.lang.reflect.Method.invoke(Unknown Source)

I 2009/01/12 01:37:01 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 20000 / 30 / -91 KB)
        at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.
java:96)
        at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThrea
d.java:142)ERROR A 127.0.0.1

I 2009/01/12 01:39:39 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 1488 / 13 / -91 KB)
ERROR A 212.117.110.162
ERROR A 127.0.0.1Caused by: java.lang.OutOfMemoryError: Java heap space
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Nach Update, Volle CPU Last, 0 Crawl/Index

Beitragvon bluumi » Mo Jan 12, 2009 12:58 pm

Phiber hat geschrieben:Da ich oft was wegen Memory lese: Ich habe YaCy 1000MB zugewiesen was bisher immer ein guter Vorrat war, wobei die knapp 20 Mio
Code: Alles auswählen
W 2009/01/12 01:36:24 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTrigger
edCrawlJob' runs short memory cycle. Free mem: 558 KB, needed: 6144 KB
I 2009/01/12 01:36:24 MEMORY former GCs indicate to not be able to free enough m
emory (requested/available/average: 10096 / 1010 / -91 KB)


Also mein kleiner mit 17Mio Links und 1 Gbyte Ram, davon 0.6GB für Yacy bringt auch dauernd Memory Fehler, läuft aber weiterhin noch, wenn auch er meist bei nur 2-8Mbyte Free in Yacy steht. Daher kommt nicht das Problem, welches Du hast.
Mein grosser mit 23 Mio Links schafft es selbst mit 1.8Gbyte für Yacy ab und zu einen MemoryFehler zu bekommen, wenn er mal den WordCache überfüllt.

Hast Du nun leere Queue's oder hast Du noch immer etwas in der Queue, wenn Du etwas adden willst? Vielleicht ist bei Dir auch die Queue DB kaputt? Denn solange ich nicht dieses PlasmaDB Verz. geleert hatte, zeigte es mir eine Zahl an gequeueten URLs als gequeue't an, aber im QueueProfil war nichts.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron