PDFs mit falscher Größenangabe, Indexer hängt

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Huppi » Fr Mär 28, 2008 12:37 am

SVN4605:
Der Indexer hängt mit 33/60 Einträgen in der Queue. Alles PDF-Datein, siehe Bildschirm-Photo. Bei auffällig vielen Einträgen mit 64KB Größe habe ich mir die Dateien mal genauer angesehen:
Die Datei an erster Position in der Queue ist nicht 64KB groß, sondern 1.1MB laut Download-Manager.
Bildschirmfoto1.png
Bildschirmfoto1.png (175.14 KiB) 823-mal betrachtet


Interessanterweise ist die Indexing-Queue mit 0 Einträgen laut Bildschirm-Photo leer, klicke ich aber darauf, finde ich 33 Einträge ...
Bildschirmfoto2.png
Bildschirmfoto2.png (198.63 KiB) 823-mal betrachtet

Der Peer startet in 2-3 Stunden selbständig mit frischem SVN-Snapshot per cron, dann hat sich das wahrscheinlich erledigt ...
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon miTreD » Mo Mär 31, 2008 1:58 pm

SVN von heute Morgen.
Mein Indexer bleibt auch regelmäßig an PDF-Dateien hängen. Letzte Nacht hat er es in 12 Stunden nicht geschafft ein 200k PDF zu indexieren. Nur ein Neustart schaffte Abhilfe. Danach war allerdings die Indexer-Queue leer. Jetzt gerade hängt er schonwieder und ich habe einen Threaddump gemacht:
Code: Alles auswählen
************* Start Thread Dump Mon Mar 31 14:53:08 CEST 2008 *******************

YaCy Version: 0.576/04627
Total Memory = 665976832
Used  Memory = 589460520
Free  Memory = 76516312
--- --- --- ---

THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= httpd:3963 id=40 RUNNABLE
at java.net.PlainSocketImpl.socketAccept(Native Method)
at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:384)
at java.net.ServerSocket.implAccept(ServerSocket.java:453)
at java.net.ServerSocket.accept(ServerSocket.java:421)
at de.anomic.server.serverCore.job(serverCore.java:380)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:140)

Thread= Signal Dispatcher daemon id=4 RUNNABLE

Thread= TransferIndexWorker_thq id=2925 RUNNABLE
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at java.net.SocketInputStream.read(SocketInputStream.java:182)
at java.io.FilterInputStream.read(FilterInputStream.java:66)
at java.io.PushbackInputStream.read(PushbackInputStream.java:122)
at de.anomic.server.serverCore.receive(serverCore.java:894)
at de.anomic.http.httpc$response.<init>(httpc.java:1310)
at de.anomic.http.httpc.POST(httpc.java:947)
at de.anomic.http.httpc.singlePOST(httpc.java:1031)
at de.anomic.http.httpc.singlePOST(httpc.java:1065)
at de.anomic.http.httpc.wput(httpc.java:1205)
at de.anomic.yacy.yacyClient.transferURL(yacyClient.java:1040)
at de.anomic.yacy.yacyClient.transferIndex(yacyClient.java:918)
at de.anomic.plasma.plasmaDHTTransfer.uploadIndex(plasmaDHTTransfer.java:155)
at de.anomic.plasma.plasmaDHTTransfer.run(plasmaDHTTransfer.java:102)

Thread= Session_192.168.178.10:56717#0 id=2998 RUNNABLE
at java.lang.Thread.dumpThreads(Native Method)
at java.lang.Thread.getAllStackTraces(Thread.java:1477)
at Threaddump_p.respond(Threaddump_p.java:80)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1021)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:623)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:263)
at de.anomic.http.httpd.GET(httpd.java:489)
at sun.reflect.GeneratedMethodAccessor47.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:791)
at de.anomic.server.serverCore$Session.run(serverCore.java:672)

Thread= Session_192.168.178.10:56716#0 id=2997 RUNNABLE
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at java.net.SocketInputStream.read(SocketInputStream.java:182)
at java.io.FilterInputStream.read(FilterInputStream.java:66)
at java.io.PushbackInputStream.read(PushbackInputStream.java:122)
at de.anomic.server.serverCore.receive(serverCore.java:894)
at de.anomic.server.serverCore$Session.readLine(serverCore.java:618)
at de.anomic.server.serverCore$Session.listen(serverCore.java:723)
at de.anomic.server.serverCore$Session.run(serverCore.java:672)


THREADS WITH STATES: TIMED_WAITING

Thread= de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob id=33 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.plasma.crawler.plasmaCrawlQueues.remoteTriggeredCrawlJob id=34 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.plasma.plasmaSwitchboard.deQueueProcess id=32 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.plasma.plasmaSwitchboard.dhtTransferJob id=39 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.plasma.plasmaSwitchboard.dhtTransferProcess(plasmaSwitchboard.java:2675)
at de.anomic.plasma.plasmaSwitchboard.dhtTransferJob(plasmaSwitchboard.java:2582)
at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:115)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:140)

Thread= Timer-0 id=29 TIMED_WAITING
at java.lang.Object.wait(Native Method)
at java.util.TimerThread.mainLoop(Timer.java:509)
at java.util.TimerThread.run(Timer.java:462)

Thread= Thread-1 id=8 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverProfiling.run(serverProfiling.java:69)

Thread= de.anomic.plasma.crawler.plasmaCrawlQueues.remoteCrawlLoaderJob id=35 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.yacy.yacyCore.publishSeedList id=37 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.yacy.yacyCore.peerPing id=38 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.plasma.plasmaCrawlStacker.job id=31 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)

Thread= de.anomic.plasma.plasmaSwitchboard.cleanupJob id=30 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:193)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:161)


THREADS WITH STATES: WAITING

Thread= pool-4-thread-1 id=26 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= pool-3-thread-2 id=24 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= de.anomic.plasma.crawler.plasmaCrawlQueues.coreCrawlJob id=36 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at de.anomic.plasma.crawler.plasmaCrawlQueues.coreCrawlJob(plasmaCrawlQueues.java:188)
at sun.reflect.GeneratedMethodAccessor18.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:115)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:140)

Thread= pool-4-thread-2 id=28 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= Thread-4 id=12 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at de.anomic.plasma.plasmaCrawlStacker.run(plasmaCrawlStacker.java:150)

Thread= pool-2-thread-2 id=20 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= pool-3-thread-1 id=22 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= pool-1-thread-1 id=14 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= Finalizer daemon id=3 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:116)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:132)
at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:159)

Thread= Java2D Disposer daemon id=95 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:116)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:132)
at sun.java2d.Disposer.run(Disposer.java:125)
at java.lang.Thread.run(Thread.java:619)

Thread= main id=1 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at de.anomic.server.serverSemaphore.P(serverSemaphore.java:82)
at de.anomic.plasma.plasmaSwitchboard.waitForShutdown(plasmaSwitchboard.java:2740)
at yacy.startup(yacy.java:414)
at yacy.main(yacy.java:974)

Thread= Reference Handler daemon id=2 WAITING
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:116)

Thread= pool-1-thread-2 id=16 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)

Thread= pool-2-thread-1 id=18 WAITING
at sun.misc.Unsafe.park(Native Method)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1925)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:358)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:63)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:619)


THREADS WITH STATES: NEW


THREADS WITH STATES: TERMINATED


************* End Thread Dump Mon Mar 31 14:53:08 CEST 2008 *******************
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Orbiter » Mo Mär 31, 2008 2:44 pm

hmm, keine geblockten threads, keine 100%CPU: könnte höchstens sein das der Worker Thread futsch ist und einfach gar nichts mehr durchkommt, aber der plasmaSwitchboard.deQueueProcess ist da und sollte auch was tun. Jedenfalls sieht es erst mal für mich so aus als wenn hier das PDF nicht schuld ist, ausser es hat eine OOM wegen dem PDF gegeben und was anderes ist deswegen weggeknallt. Bitte mal LOG nach OOM durchsuchen. oder: hat hier womöglich jemand die Crawl Queue pausiert (ist mir auch schon mal passiert und ich habe lange nach dem Fehler gesucht)
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon lulabad » Mo Mär 31, 2008 2:52 pm

Also ich habe ja alle Parser (bis auf einige wenige Plaintext) ausgeschaltet und ich habe auch bereits gemerkt, dass der Indexer hängen bleibt. Gestern sogar so heftig, dass ich 200% CPU hatte und die Load auf 180 ging. Der Shutdown war auch nicht mehr möglich. Leider habe ich noch keinen Threaddump, so dass ich nicht sagen kann, obs hiermit überhaupt was zu tun hat.
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon miTreD » Mo Mär 31, 2008 3:25 pm

Orbiter hat geschrieben:hat hier womöglich jemand die Crawl Queue pausiert (ist mir auch schon mal passiert und ich habe lange nach dem Fehler gesucht)
Ne ne, die war schon am laufen. Der Indexer ist nicht leer gelaufen, das bockicke PDF stand ja auch ewig da drin und nix ist passiert. Habe von heute morgen zwei OOM, aber ob die mit dem PDF zusammenhängen kann ich Dir nicht sagen. Beobachte den Indexer nicht wirklich.
Code: Alles auswählen
I 2008/03/31 14:29:55 PLASMA Received 40 URLs from peer a99T3NEA3TFh:127-0-0-1-4308dpnoe64/0.55004144 in 7594 ms, Blocked 5 URLs
I 2008/03/31 14:29:59 PLASMA Received 18 Entries 11 Words [8mRqoC0DrFoU .. 9Ppd2W01dJEe]/0.005814903126073948 from 7xseXR8kUIes:tecnomad/0.57004446, processed in 40 milliseconds, requesting 7/10 URLs, blocked 0 RWIs
I 2008/03/31 14:30:00 PLASMA Received 7 URLs from peer 7xseXR8kUIes:tecnomad/0.57004446 in 240 ms, Blocked 0 URLs
I 2008/03/31 14:30:28 MEMORY performed necessary GC, freed 8223 KB (requested/available/average: 6144 / 9858 / 70620 KB)
I 2008/03/31 14:30:34 MEMORY performed necessary GC, freed 34 KB (requested/available/average: 6144 / 4621 / 57885 KB)
W 2008/03/31 14:30:34 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 4618 KB, needed: 6144 KB
I 2008/03/31 14:30:36 MEMORY performed necessary GC, freed -11 KB (requested/available/average: 6144 / 3746 / 36660 KB)
W 2008/03/31 14:30:36 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 3743 KB, needed: 6144 KB
I 2008/03/31 14:30:38 MEMORY performed necessary GC, freed -967 KB (requested/available/average: 6144 / 4511 / 29864 KB)
W 2008/03/31 14:30:38 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 4507 KB, needed: 6144 KB
I 2008/03/31 14:30:40 MEMORY performed necessary GC, freed 115128 KB (requested/available/average: 6144 / 120611 / 23880 KB)
E 2008/03/31 14:30:40 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
        at de.anomic.kelondro.kelondroFullRecords$EcoNode.<init>(kelondroFullRecords.java:133)
        at de.anomic.kelondro.kelondroFixedWidthArray.set(kelondroFixedWidthArray.java:110)
        at de.anomic.kelondro.kelondroCollectionIndex.array_replace(kelondroCollectionIndex.java:484)
        at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIndex.java:790)
        at de.anomic.index.indexCollectionRI.addMultipleEntries(indexCollectionRI.java:183)
        at de.anomic.plasma.plasmaWordIndex.flushCache(plasmaWordIndex.java:314)
        at de.anomic.plasma.plasmaWordIndex.flushCacheSome(plasmaWordIndex.java:274)
        at de.anomic.plasma.plasmaSwitchboard.deQueueProcess(plasmaSwitchboard.java:1822)
        at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:115)
        at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:140)
I 2008/03/31 14:30:42 PLASMA CRAWL: ADDED 18 LINKS FROM http://www.multimedia4linux.de/howto/DE-DVD-RAM-HOWTO-5.html, NEW CRAWL STACK SIZE IS 28, STACKING TIME = 3, PARSING TIME = 57
I 2008/03/31 14:30:42 PLASMA Excluded 0 words in URL http://www.multimedia4linux.de/howto/DE-DVD-RAM-HOWTO-5.html
I 2008/03/31 14:30:42 PLASMA *Indexed 444 words in URL http://www.multimedia4linux.de/howto/DE-DVD-RAM-HOWTO-5.html [TG9LEpuDqTxC]
        Description:  DVD-RAM HOWTO: Software installieren
        MimeType: text/html | Charset: ISO-8859-1 | Size: 9803 bytes | Anchors: 12
        LinkStorageTime: 21 ms | indexStorageTime: 20 ms
Code: Alles auswählen
I 2008/03/31 14:44:08 PLASMA Received 185 Entries 24 Words [7Cy7VV1F-s4f .. 7EB8zmtknaqO]/0.03500163873312677 from ycQHe16qwx_t:MoreFreedom/0.5760463, processed in 1510 milliseco
nds, requesting 133/176 URLs, blocked 21 RWIs
I 2008/03/31 14:44:10 MEMORY performed necessary GC, freed 5966 KB (requested/available/average: 6144 / 9279 / 8845 KB)
I 2008/03/31 14:44:12 MEMORY performed necessary GC, freed 5589 KB (requested/available/average: 6144 / 10817 / 5831 KB)
I 2008/03/31 14:44:15 MEMORY performed necessary GC, freed 135 KB (requested/available/average: 6144 / 3748 / 6253 KB)
W 2008/03/31 14:44:15 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 3746 KB, needed: 6144 KB
I 2008/03/31 14:44:16 MEMORY performed necessary GC, freed 2575 KB (requested/available/average: 6144 / 6308 / 5029 KB)
I 2008/03/31 14:44:17 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 1913 / 3814 KB)
W 2008/03/31 14:44:17 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.htEntryStoreJob' runs short memory cycle. Free mem: 1910 KB, needed: 6144 KB
E 2008/03/31 14:44:19 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
        at de.anomic.kelondro.kelondroFullRecords$EcoNode.<init>(kelondroFullRecords.java:133)
        at de.anomic.kelondro.kelondroFixedWidthArray.set(kelondroFixedWidthArray.java:110)
        at de.anomic.kelondro.kelondroCollectionIndex.array_replace(kelondroCollectionIndex.java:484)
        at de.anomic.kelondro.kelondroCollectionIndex.merge(kelondroCollectionIndex.java:790)
        at de.anomic.index.indexCollectionRI.addMultipleEntries(indexCollectionRI.java:183)
        at de.anomic.plasma.plasmaWordIndex.flushCache(plasmaWordIndex.java:314)
        at de.anomic.plasma.plasmaWordIndex.flushCacheSome(plasmaWordIndex.java:274)
        at de.anomic.plasma.plasmaSwitchboard.deQueueProcess(plasmaSwitchboard.java:1822)
        at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:115)
        at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:140)
I 2008/03/31 14:44:19 MEMORY performed necessary GC, freed 89999 KB (requested/available/average: 6144 / 93632 / 3814 KB)
I 2008/03/31 14:44:29 PLASMA Received 131 URLs from peer ycQHe16qwx_t:MoreFreedom/0.5760463 in 16854 ms, Blocked 2 URLs
I 2008/03/31 14:48:28 PLASMA Received 50 Entries 22 Words [3t7JF7vgFTPg .. 3uB1zlqZ0epx]/0.08711020194767372 from c4BEB_Yvqi78:fss_i_yacy5/0.5760461, processed in 464 millisecond
s, requesting 17/50 URLs, blocked 0 RWIs
I 2008/03/31 14:48:28 PLASMA Received 74 Entries 20 Words [4mEGyXp-pKQ6 .. 4mFImrlCQppm]/0.0734149472452774 from a99T3NEA3TFh:127-0-0-1-4308dpnoe64/0.55004144, processed in 790 m
illiseconds, requesting 56/74 URLs, blocked 0 RWIs
D 2008/03/31 14:48:29 KELONDRO file '/yacy/5/DATA/YACYDB/newsProcessed1.stack' closed.
D 2008/03/31 14:48:29 KELONDRO file '/yacy/5/DATA/YACYDB/newsPublished1.stack' closed.
I 2008/03/31 14:48:29 YACY rulebasedUpdateInfo: not an automatic update selected
I 2008/03/31 14:48:29 PLASMA Received 266 Entries 1 Words [6NhlTBl-ezvu .. 6NhlTBl-ezvu]/0.04815797960793755 from yINQXuGxGbtp:badheizer/0.5760463, processed in 1718 milliseconds
, requesting 76/266 URLs, blocked 0 RWIs
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Huppi » Fr Mai 23, 2008 7:25 pm

Ich habe jetzt wieder 3 PDFs, die seit Tagen in der Indexing Queue hängen.
Initiator Depth Modified Date Anchor Name URL Size Delete
MotoYaCy 5 Wed Apr 23 22:01:00 CEST 2008 Racers Story - ungeschminkte Hardcore-Infos http://www.25sekunden.de/../../../image ... iekl15.pdf 29.46 KB
MotoYaCy 5 Tue Aug 07 23:44:18 CEST 2007 "Und siehe da..." http://www.25sekunden.de/../../../../.. ... ehe_da.pdf 48.83 KB
MotoYaCy 5 Tue Aug 07 23:43:07 CEST 2007 Motograndprix-Magazin, Februar 06, "Bald schon ..." http://www.25sekunden.de/../../../files/bald_schon.pdf 49.3 KB


Kann das an den merkwürdigen Pfadangaben liegen?
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Huppi » Di Jun 03, 2008 7:18 am

Dieses Mal hängen ein paar mehr PDFs in der Queue:

Indexing Queue

There are 21 entries in the indexing queue. Showing 21 entries with a total size of 7.07 MB.

Initiator Depth Modified Date Anchor Name URL Size Delete
MotoYaCy 4 Tue Mar 14 23:36:52 CET 2006 http://www.tt600s.de/PDF/TT/Renthal-Len ... achten.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 21:55:48 CET 2006 http://www.tt600s.de/PDF/TT/abe_Sebring ... XT_600.pdf 764.2 KB
MotoYaCy 4 Tue Mar 14 23:41:03 CET 2006 http://www.tt600s.de/PDF/TT/RF_Heidenau_XTZ750_Web.pdf 422.49 KB
MotoYaCy 4 Tue Mar 14 23:41:26 CET 2006 http://www.tt600s.de/PDF/TT/sanremo.pdf 352.34 KB
MotoYaCy 4 Tue Mar 14 23:40:36 CET 2006 http://www.tt600s.de/PDF/TT/RF_Heidenau_XTZ660_Web.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 22:10:01 CET 2006 http://www.tt600s.de/PDF/TT/Drosselguta ... _25_KW.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 21:56:37 CET 2006 http://www.tt600s.de/PDF/TT/abe_Sebring ... XT_600.pdf 786.85 KB
MotoYaCy 4 Sun Mar 18 14:07:09 CET 2007 http://www.tt600s.de/PDF/TT/Gutachten%2 ... istung.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 23:34:55 CET 2006 http://www.tt600s.de/PDF/TT/nocke_Tornado.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 23:19:07 CET 2006 http://www.tt600s.de/PDF/TT/Mefo_Sport_TT_X59.pdf 369.17 KB
MotoYaCy 4 Thu Mar 16 15:31:14 CET 2006 http://www.tt600s.de/PDF/TT/USD-Gabel_S ... echsel.pdf 247.14 KB
MotoYaCy 4 Tue Mar 14 22:10:55 CET 2006 http://www.tt600s.de/PDF/TT/ebc_XT_350_ ... heiben.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 23:06:14 CET 2006 http://www.tt600s.de/PDF/TT/K_N_Filter_reinigen.pdf 0 Bytes
MotoYaCy 4 Fri Apr 07 12:56:35 CEST 2006 http://www.tt600s.de/PDF/TT/Drosselgutachten_TT600R.pdf 925.93 KB
MotoYaCy 4 Thu Mar 16 15:30:57 CET 2006 http://www.tt600s.de/PDF/TT/Unbedenklic ... _TK80C.pdf 391.43 KB
MotoYaCy 4 Tue Mar 14 22:08:40 CET 2006 http://www.tt600s.de/PDF/TT/BRIDGESTONE ... igaben.pdf 428.97 KB
MotoYaCy 4 Tue Mar 14 23:37:46 CET 2006 http://www.tt600s.de/PDF/TT/RF_Heidenau_TT600R_Web.pdf 424.7 KB
MotoYaCy 4 Tue Mar 14 23:05:56 CET 2006 http://www.tt600s.de/PDF/TT/HE_Bremssch ... achten.pdf 0 Bytes
MotoYaCy 4 Tue Mar 14 23:39:17 CET 2006 http://www.tt600s.de/PDF/TT/RF_Heidenau ... _3aj__.pdf 602.23 KB
MotoYaCy 4 Wed Nov 01 15:50:44 CET 2006 Testbericht TT 600S/E http://www.tt600s.de/PDF/TT/Testbericht%20TT600S-E.pdf 1.24 MB
MotoYaCy 4 Tue Mar 14 23:35:27 CET 2006 http://www.tt600s.de/PDF/TT/Olwechsel_a ... TT_600.pdf 256.98 KB
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Orbiter » Di Jun 03, 2008 11:02 am

ich denke es ist so dass das Parsen der entsprechenden Dokumente wo der indexierer 'hängt' eine Exception wirft, der Thread darauf stirbt und nicht mehr in die Control-Queue schreibt das er fertig ist. Daraufhin erscheint der Entrag in der Queue permanent und das sieht so aus als würde er hängen. Bitte mal alle gucken ob ihr einen Exception im Log habt, dann könnte man die dort fangen und den Fall entsprechend bearbeiten. Wenn nicht: bitte mal gucken ob der Parser Exceptions 'lazy' verwirft.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: PDFs mit falscher Größenangabe, Indexer hängt

Beitragvon Huppi » Di Jun 03, 2008 3:34 pm

Nach einem Neustart des Peers waren die PDFs auf jeden Fall nicht mehr in der Liste.
Die Anzeige war auch "0 Einträge in der Indexing Queue", aber die PDFs wurden dann trotzdem aufgelistet.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste