de.anomic.crawler.zurl.push blocked

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

de.anomic.crawler.zurl.push blocked

Beitragvon dulcedo » Sa Okt 31, 2009 11:13 am

Sieht seltsam aus, auch der crawl plötzlich sehr langsam.
Code: Alles auswählen
************* Start Thread Dump Sat Oct 31 11:09:00 CET 2009 *******************

YaCy Version: 0.92/6435
Assigned   Memory = 4052811776
Used       Memory = 2742474096
Available  Memory = 1310337680


THREADS WITH STATES: BLOCKED

Thread= job_pool-1-thread-14 id=82 BLOCKED
at de.anomic.crawler.ZURL.push(ZURL.java:129) [stack.add(e.hash());]
at de.anomic.crawler.CrawlStacker.job(CrawlStacker.java:141)
at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:89)
at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:619)
Dateianhänge
yacy091031.jpg
yacy091031.jpg (102.68 KiB) 406-mal betrachtet
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: de.anomic.crawler.zurl.push blocked

Beitragvon Orbiter » Sa Okt 31, 2009 1:02 pm

das hat mich motiviert das ganze ZURL-zeug nochmal anzusehen: hier gab es eine ziemlich veraltete Handhabung des Object-Speicherns, das nicht gerade mit Abstraktion gearbeitet hat und dadurch Programmierfehler provoziert hat, die dann wahrscheinlich auch effektiv dazu geführt hat, dass Fehler-URL entweder nur geloggt aber nicht gespeichert oder nur gespeichert aber nicht geloggt wurden. Das habe ich nun gefixt, betrifft aber nicht das obige Performance Problem. Dieses habe ich aber angegangen, indem ich weniger Synchronisation nun drin habe, dafür aber Objekte aus den Concurrency-Klassen. Das sollte hier helfen.
SVN 6440
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: de.anomic.crawler.zurl.push blocked

Beitragvon dulcedo » Fr Nov 06, 2009 4:08 pm

SVN6458, flache Speicherkurve bei 6000MB. Ist erreichbar aber die Meldungen.


Code: Alles auswählen
************* Start Thread Dump Fri Nov 06 16:04:56 CET 2009 *******************

YaCy Version: 0.92/6458
Assigned   Memory = 7194214400
Used       Memory = 6553662016
Available  Memory = 640552384


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

E  2009/11/06 16:06:54 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy-b/htroot/yacy/urls.class: java.lang.AssertionError: file.size() = 224242, index.size() = 224243:file.size() = 224242, index.size() = 224243
java.lang.reflect.InvocationTargetException
   at sun.reflect.GeneratedMethodAccessor48.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   at java.lang.reflect.Method.invoke(Method.java:616)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1189)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:756)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   at sun.reflect.GeneratedMethodAccessor20.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   at java.lang.reflect.Method.invoke(Method.java:616)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:733)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)
Caused by: java.lang.AssertionError: file.size() = 224242, index.size() = 224243
   at net.yacy.kelondro.table.Table.get(Table.java:370)
   at de.anomic.crawler.ZURL.getEntry(ZURL.java:159)
   at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
   at de.anomic.search.Switchboard.getURL(Switchboard.java:1033)
   at urls.respond(urls.java:80)
   ... 12 more

E 2009/11/06 16:02:47 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.job.13': null; target exception: file.size() = 224242, index.size() = 224243
java.lang.AssertionError: file.size() = 224242, index.size() = 224243
   at net.yacy.kelondro.table.Table.get(Table.java:370)
   at de.anomic.crawler.ZURL.getEntry(ZURL.java:159)
   at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
   at de.anomic.crawler.CrawlStacker.stackCrawl(CrawlStacker.java:234)
   at de.anomic.crawler.CrawlStacker.job(CrawlStacker.java:135)
   at sun.reflect.GeneratedMethodAccessor15.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   at java.lang.reflect.Method.invoke(Method.java:616)
   at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:89)
   at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:64)
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
   at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
   at java.util.concurrent.FutureTask.run(FutureTask.java:166)
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
   at java.lang.Thread.run(Thread.java:636)W 2009/11/06 16:02:47  file.size() = 224242, index.size() = 224243
java.lang.AssertionError: file.size() = 224242, index.size() = 224243
   at net.yacy.kelondro.table.Table.get(Table.java:370)
   at de.anomic.crawler.ZURL.getEntry(ZURL.java:159)
   at de.anomic.crawler.CrawlQueues.getURL(CrawlQueues.java:166)
   at de.anomic.crawler.CrawlStacker.stackCrawl(CrawlStacker.java:234)
   at de.anomic.crawler.CrawlStacker.job(CrawlStacker.java:135)
   at sun.reflect.GeneratedMethodAccessor15.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   at java.lang.reflect.Method.invoke(Method.java:616)
   at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:89)
   at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:64)
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
   at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
   at java.util.concurrent.FutureTask.run(FutureTask.java:166)
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
   at java.lang.Thread.run(Thread.java:636)W 2009/11/06 16:02:47  null

dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: de.anomic.crawler.zurl.push blocked

Beitragvon Orbiter » Di Apr 20, 2010 7:46 pm

Die Belastung durch Speicherung in ZURL habe ich in der letzten Woche bearbeitet und sollte nun eine sehr große Erleichterung beim IO liefern.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: de.anomic.crawler.zurl.push blocked

Beitragvon dulcedo » Mi Apr 21, 2010 4:06 pm

Bei mir läuft schon 6814 seit 3 Tagen mit allen Funktionen stabil, die nachfolgenden Versionen auf anderen Rechnern noch merklich ruhiger im Ablauf.
Ich würde Anwendern mit Laufzeitproblemen vorschlagen eine der aktuellen Versionen auch ohne täglichen Neustart zu testen, falls nicht produktiv.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste