[closed] Blob-Merge läuft nicht durch...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[closed] Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 2:51 pm

Ich hab mal wieder ein Problem, welches leider zufällig zur Laufzeit auftritt. Ich kann es nicht reproduzieren :cry:

Folgendes: Wie es aussieht, findet eine Merge zweier Blob-Dateien statt. Das erkennt man an der vorhandenen prt-Datei. Dieser läuft jedoch nicht vollständig durch. Sonst wäre die Datei ja auch weg. ;)
Nach diesem fehlgeschlagenen Merge wird der RWI-Cache jedoch weiterhin regelmäßig geleert, idx- und auch gap werden für jeden Blob erzeugt. Diese Dateien werden jedoch anschließend nicht geladen, dann wär ja auch wieder idx+gap verschwunden. Ende vom Lied sind dann die vielen kleinen Blob-Dateien, die das Verzeichnis anschwellen lassen.

Der fehlerhafte Merge kann ja dann vielleicht auch der Auslöser für .. /TEXT/RICELL/ 66'080 Files (Blob) sein. Bei so vielen Dateien geht die prt-Datei mal schnell unter.

Kann deshalb vielleicht der Merge-Prozess mal auf Fehler durchleuchtet bzw. mehr Logging eingebaut werden?
Zuletzt geändert von PCA42 am Sa Jun 20, 2009 6:23 am, insgesamt 1-mal geändert.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 3:03 pm

PCA42 hat geschrieben:Ich kann es nicht reproduzieren :cry:

:D Ich hab den Peer gerade neu gestartet und siehe da: gleiches Problem beim Bereinigen der vielen Blobs. Die prt-Datei hat wieder ca. 65 MB, kann aber auch Zufall sein.

Edit: Kein Zufall, der hängt immer wieder mit 65 MB. *Grummel*
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon Orbiter » Fr Jun 19, 2009 3:52 pm

hab mal mehr logs eingebaut.
SVN 6095
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob-Merge läuft nicht durch...

Beitragvon dulcedo » Fr Jun 19, 2009 4:20 pm

Hängt das hier zusammen? Auch wieder nur ein kleines Update und Neustart.
6089 auf 93 ist das.
Code: Alles auswählen
S 2009/06/19 14:26:45 STARTUP Java version: 1.6.0_07
S 2009/06/19 14:26:45 STARTUP Operation system: Linux
S 2009/06/19 14:26:45 STARTUP Application root-path: /home/vmadmin/yacy
S 2009/06/19 14:26:45 STARTUP Time zone: UTC+0200; UTC+0000 is 1245414405745
S 2009/06/19 14:26:45 STARTUP Maximum file system path length: 65535
I 2009/06/19 14:26:45 PLASMA This is the pro-version of YaCy
I 2009/06/19 14:26:46 HeapReader saturation of seed.new.heap.lBWBCci4yKkO.idx: keylength = 11, vallength = 2, possible saving: 0 MB
I 2009/06/19 14:26:46 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/seed.new.heap.
I 2009/06/19 14:26:46 kelondroBLOBHeap BLOB seed.new.heap: merged 0 free records
I 2009/06/19 14:26:46 HeapReader saturation of seed.old.heap.8x1t37o9Wkb2.idx: keylength = 2, vallength = 3, possible saving: 0 MB
I 2009/06/19 14:26:46 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/seed.old.heap.
I 2009/06/19 14:26:46 kelondroBLOBHeap BLOB seed.old.heap: merged 0 free records
I 2009/06/19 14:26:46 HeapReader saturation of seed.pot.heap.q_2gwvoM_Txi.idx: keylength = 9, vallength = 3, possible saving: 0 MB
I 2009/06/19 14:26:46 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/seed.pot.heap.
I 2009/06/19 14:26:46 kelondroBLOBHeap BLOB seed.pot.heap: merged 0 free records
I 2009/06/19 14:26:46 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/news.db: available RAM: 5603MB, allocating space for 57396 entries
I 2009/06/19 14:26:46 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/news.db: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/NETWORK/news.db has table copy ENABLED
I 2009/06/19 14:26:46 ECOTABLE initializing RAM index for EcoTable news.db, please wait.
I 2009/06/19 14:26:47 PLASMA Initializing Segment '/home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT', word hash cache size is 568667.
I 2009/06/19 14:27:45 HeapReader saturation of index.20090529114212500.blob.cPjziS9Uf2yw.idx: keylength = 7, vallength = 5, possible saving: 100 MB
I 2009/06/19 14:27:45 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090529114212500.blob.
I 2009/06/19 14:27:45 kelondroBLOBHeap BLOB index.20090529114212500.blob: merged 0 free records
I 2009/06/19 14:27:45 HeapReader saturation of index.20090619122334053.blob.fSGzC6cHBov3.idx: keylength = 5, vallength = 3, possible saving: 0 MB
I 2009/06/19 14:27:45 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619122334053.blob.
I 2009/06/19 14:27:45 HeapReader generating index for /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619012404271.blob, 9483 MB. Please wait.
I 2009/06/19 14:30:14 HeapReader finished index generation for /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619012404271.blob, 6193260 entries, 10 gaps.
I 2009/06/19 14:30:14 kelondroBLOBHeap BLOB index.20090619012404271.blob: merged 0 free records
I 2009/06/19 14:30:14 HeapReader generating index for /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090614134614421.blob, 15860 MB. Please wait.
I 2009/06/19 14:33:56 HeapReader finished index generation for /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090614134614421.blob, 10106355 entries, 25752 gaps.
I 2009/06/19 14:33:56 kelondroBLOBHeap BLOB index.20090614134614421.blob: merged 0 free records
I 2009/06/19 14:34:00 HeapReader saturation of index.20090527145226502.blob.PHt5ODRhiIHW.idx: keylength = 7, vallength = 5, possible saving: 64 MB
I 2009/06/19 14:34:01 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090527145226502.blob.
I 2009/06/19 14:34:01 kelondroBLOBHeap BLOB index.20090527145226502.blob: merged 0 free records
I 2009/06/19 14:34:09 HeapReader saturation of index.20090608224125525.blob.3QzWUcpOHm8T.idx: keylength = 8, vallength = 5, possible saving: 84 MB
I 2009/06/19 14:34:10 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090608224125525.blob.
I 2009/06/19 14:34:10 kelondroBLOBHeap BLOB index.20090608224125525.blob: merged 0 free records
I 2009/06/19 14:34:10 HeapReader saturation of index.20090619050315906.blob.iJT3PscYP8DM.idx: keylength = 5, vallength = 4, possible saving: 0 MB
I 2009/06/19 14:34:10 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619050315906.blob.
I 2009/06/19 14:34:10 kelondroBLOBHeap BLOB index.20090619050315906.blob: merged 0 free records
I 2009/06/19 14:34:17 HeapReader saturation of index.20090527140218462.blob.EByfVc5kuWDD.idx: keylength = 7, vallength = 5, possible saving: 91 MB
I 2009/06/19 14:34:17 HeapReader using a dump of the index of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090527140218462.blob.
I 2009/06/19 14:34:17 kelondroBLOBHeap BLOB index.20090527140218462.blob: merged 0 free records
I 2009/06/19 14:34:17 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090101000002119.table
I 2009/06/19 14:34:17 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090101000002119.table: available RAM: 2644MB, allocating space for 11628245 entries
I 2009/06/19 14:34:18 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090101000002119.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090101000002119.table has table copy DISABLED
I 2009/06/19 14:34:18 ECOTABLE initializing RAM index for EcoTable urls.20090101000002119.table, please wait.
I 2009/06/19 14:35:02 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000007249.table
I 2009/06/19 14:35:02 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000007249.table: available RAM: 3322MB, allocating space for 9802064 entries
I 2009/06/19 14:35:02 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000007249.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000007249.table has table copy DISABLED
I 2009/06/19 14:35:02 ECOTABLE initializing RAM index for EcoTable urls.20090201000007249.table, please wait.
I 2009/06/19 14:35:43 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090301000003704.table
I 2009/06/19 14:35:43 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090301000003704.table: available RAM: 3089MB, allocating space for 6742886 entries
I 2009/06/19 14:35:43 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090301000003704.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090301000003704.table has table copy DISABLED
I 2009/06/19 14:35:43 ECOTABLE initializing RAM index for EcoTable urls.20090301000003704.table, please wait.
I 2009/06/19 14:36:11 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000009601.table
I 2009/06/19 14:36:11 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000009601.table: available RAM: 2186MB, allocating space for 6463354 entries
I 2009/06/19 14:36:12 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000009601.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090201000009601.table has table copy DISABLED
I 2009/06/19 14:36:12 ECOTABLE initializing RAM index for EcoTable urls.20090201000009601.table, please wait.
I 2009/06/19 14:36:43 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090525191342795.table
I 2009/06/19 14:36:43 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090525191342795.table: available RAM: 2401MB, allocating space for 4971027 entries
I 2009/06/19 14:36:43 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090525191342795.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090525191342795.table has table copy DISABLED
I 2009/06/19 14:36:43 ECOTABLE initializing RAM index for EcoTable urls.20090525191342795.table, please wait.
I 2009/06/19 14:37:09 kelondroSplitTable opening partial eco table /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090603210849030.table
I 2009/06/19 14:37:09 ECOTABLE initialization of /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090603210849030.table: available RAM: 2951MB, allocating space for 4437892 entries
I 2009/06/19 14:37:09 ECOTABLE /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090603210849030.table: EcoTable /home/vmadmin/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090603210849030.table has table copy DISABLED
I 2009/06/19 14:37:09 ECOTABLE initializing RAM index for EcoTable urls.20090603210849030.table, please wait.
E 2009/06/19 14:37:27 STARTUP FATAL ERROR: -96
java.lang.ArrayIndexOutOfBoundsException: -96
   at de.anomic.kelondro.order.Base64Order.compares(Base64Order.java:504)
   at de.anomic.kelondro.order.Base64Order.compare0(Base64Order.java:433)
   at de.anomic.kelondro.order.Base64Order.compare(Base64Order.java:426)
   at de.anomic.kelondro.index.RowCollection.compare(RowCollection.java:853)
   at de.anomic.kelondro.index.RowCollection.partition(RowCollection.java:639)
   at de.anomic.kelondro.index.RowCollection.sort(RowCollection.java:499)
   at de.anomic.kelondro.index.ObjectIndexCache.removeDoubles(ObjectIndexCache.java:149)
   at de.anomic.kelondro.index.HandleMap.removeDoubles(HandleMap.java:231)
   at de.anomic.kelondro.table.EcoTable.<init>(EcoTable.java:178)
   at de.anomic.kelondro.table.SplitTable.init(SplitTable.java:200)
   at de.anomic.kelondro.table.SplitTable.<init>(SplitTable.java:109)
   at de.anomic.kelondro.table.SplitTable.<init>(SplitTable.java:93)
   at de.anomic.kelondro.text.MetadataRepository.<init>(MetadataRepository.java:68)
   at de.anomic.kelondro.text.Segment.<init>(Segment.java:117)
   at de.anomic.plasma.plasmaSwitchboard.<init>(plasmaSwitchboard.java:346)
   at yacy.startup(yacy.java:224)
   at yacy.main(yacy.java:1058)
S 2009/06/19 14:37:27 SHUTDOWN goodbye. (this is the last line)
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 4:52 pm

dulcedo hat geschrieben:Hängt das hier zusammen?

Nein, das ist ein Fehler in den URLs. Die haben eine andere Datenbank-Struktur.

@Orbiter:
Das letzte Lebenszeichen des Merge:
Code: Alles auswählen
I 2009/06/19 17:36:30 IODispatcher appended merge job of files index.20090619111602779.blob, index.20090619131902946.blob to index.20090619153630283.blob
... viele Zeilen für den Crawler ...
I 2009/06/19 17:36:30 RICELL-shrink1 unmountBestMatch(2.0, 268435456)
I 2009/06/19 17:36:37 IODispatcher terminating run job


Die beiden zu Quell-Dateien haben zusammen keine 65 MB. Der scheint also über ein Dateiende hinaus zu laufen. Und hat dann wahrscheinlich ein Problem, weil die entstehende Datei über die erwartete Größe hinaus geht. Wenn Bedarf besteht, stell ich die beiden Dateien zum Testen bereit.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 5:05 pm

Edit: Und was ich vergessen hab: dann läuft auch die Indexing-Queue zu. Vielleicht haben also andere "Bugs" ihren Ursprung drin.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon Orbiter » Fr Jun 19, 2009 6:04 pm

ei des gibts net. Ich habe genau kontrolliert dass es loggings gibt für alle Fälle des dump-schreib scheiterns und rename-scheiterns. Dazu nochmal ein Update SVN 6098. Vielleicht ist vorher noch was im Log durchgerutscht. Bitte nochmal damit probieren. Irgendwo muss doch was stehen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 6:31 pm

Wieder nix konkretes im Log. :cry:

Code: Alles auswählen
I 2009/06/19 19:18:12 RICELL-shrink1 unmountBestMatch(2.0, 268435456)
I 2009/06/19 19:18:12 IODispatcher appended merge job of files index.20090619111721717.blob, index.20090619132418782.blob to index.20090619171812217.blob
I 2009/06/19 19:18:12 BLOBArray merging index.20090619111721717.blob with index.20090619132418782.blob
I 2009/06/19 19:18:12 RICELL-shrink1 unmountBestMatch(2.0, 268435456)
I 2009/06/19 19:18:12 IODispatcher appended merge job of files index.20090619111602779.blob, index.20090619131902946.blob to index.20090619171812236.blob
I 2009/06/19 19:18:12 RICELL-shrink1 unmountBestMatch(2.0, 268435456)
I 2009/06/19 19:18:17 IODispatcher terminating run job

Zeilen vom Crawler hab ich gelöscht.

Ich vermute, das Problem liegt beim Einlesen der Quellen statt beim Schreiben. Er versucht mehr zu schreiben, als an Daten vorhanden ist.

Btw: Die Millisekunden mit Dateinamen sind wirklich notwendig ;)
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon Orbiter » Fr Jun 19, 2009 6:47 pm

bin ratlos.
Hier fällt mir nun nur noch ein, das was mit dem logging nicht stimmt, ich hab ja letztens einen Scheduler für das Logging gebaut. Damit ich sehen kann das es doch geht, habe ich extra logSevere loggings mit forcierten Exceptions eingebaut und ausprobiert: funktioniert. Wenn du nun die ganzen logSevere Meldungen nicht siehst, obwohl es welche gibt, hast du vielleicht was am logging kaputt? Probier mal das DATA/LOG zu löschen, das ist jetzt alles was mir noch einfällt.

Bitte alle mal zusammen nachdenken was sein kann, egal wie blöd der Gedanke auch ist, ich weiss hier nichts mehr. Auch schon deswegen weil ich und niemand sonst aktuell was am merge gemacht hat, ansonsten würde mir sicher ein Licht aufgehen. Oder es ist der linuxtag-Stress.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob-Merge läuft nicht durch...

Beitragvon dulcedo » Fr Jun 19, 2009 7:22 pm

Sorry dass ichs hier weiterschreibe aber der Fehler legt den Peer lahm und ich weg ab morgen. Mehrere Startversuche exakt das selbe Log, was könnte ich da machen?
Gab da nie Probleme die letzten Wochen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Fr Jun 19, 2009 8:35 pm

Hab ein bischen rumprobiert, ich hoffe jetzt kommen wir näher an die Lösung: der wahre Übeltäter waren der Merge davor. Unter der alten SVN 6033 habe ich beim Merge dann auch einen Fehlertext provozieren können:

Code: Alles auswählen
E 2009/06/19 21:09:33 IODispatcher main run job had errors (2), dump to /home/yacy/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619190922909.blob failed. Input files are /home/yacy/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090619
java.lang.ArrayIndexOutOfBoundsException
        at de.anomic.kelondro.index.RowSet.importRowSet(RowSet.java:85)
        at de.anomic.kelondro.text.ReferenceContainerCache$blobFileEntries.next(ReferenceContainerCache.java:188)
        at de.anomic.kelondro.text.ReferenceContainerCache$blobFileEntries.next(ReferenceContainerCache.java:161)
        at de.anomic.kelondro.blob.BLOBArray.merge(BLOBArray.java:697)
        at de.anomic.kelondro.blob.BLOBArray.mergeWorker(BLOBArray.java:647)
        at de.anomic.kelondro.blob.BLOBArray.mergeMount(BLOBArray.java:616)
        at de.anomic.kelondro.text.IODispatcher$MergeJob.merge(IODispatcher.java:246)
        at de.anomic.kelondro.text.IODispatcher.run(IODispatcher.java:159)

Ich hoffe, du kannst das auf die aktuelle SVN übertragen. Warum die den Fehler nicht auch ins Log bringt: ???
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob-Merge läuft nicht durch...

Beitragvon Orbiter » Fr Jun 19, 2009 10:39 pm

hm, möglich dass ein BLOB dump durch einen Fehler korrupt ist, und dies das Mergen verhindert. Da du da ja schon eine Fehlerstelle gefunden hast, die offensichtlich durch falsche Daten im BLOB entstand, habe ich die Stelle gepatcht: mehr Toleranz im Falle von fehlerhaften Daten. Wenn du aber die asserts an hast, wird es weiter dort knallen. Wenn die asserts aus sind, wirds toleriert. SVN 6099
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Sa Jun 20, 2009 6:22 am

Gut, hat funktioniert. Danke!
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon cfr34x » Sa Jun 20, 2009 1:05 pm

Hallo,

ich habe leider das gleiche Problem (auch noch mit SVN 6099 :( ).

Das Ganze ist absolut reproduzierbar (es scheitert immer an den gleichen 2 BLOBs und die .prt-Datei hat danach immer die gleiche Größe).
Im Log kann ich auch nichts auffälliges finden.

Hab es auch mit SVN 6056 (ne ältere Version hab ich leider nicht) getestet: Gleiches Verhalten, keine Einträge im Log.

Die Asserts habe ich nicht aktiviert, soweit ich weiß (wo kann man das nachschauen?).

Viele Grüße
cfr34x
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon PCA42 » Sa Jun 20, 2009 3:51 pm

cfr34x hat geschrieben:Die Asserts habe ich nicht aktiviert, soweit ich weiß (wo kann man das nachschauen?).

Asserts werden durch einen Start von yacy mit den Parametern -d bzw. -l aktiviert.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon cfr34x » Sa Jun 20, 2009 9:16 pm

Ok, dann liegt es nicht an den asserts.

Was ich noch festgestellt habe:
Die liegengeblieben .prt-Datei ist wirklich bei jedem Durchlauf (also Neustart von YaCy) exakt gleich. Hab das per MD5-Checksumme getestet.

Jetzt läuft hier wieder Version 0.80, hier tritt das Problem nicht auf. Kann aber auch daran liegen, dass die nur bis 1GB merged (in der anderen Version hab ich 4GB eingestellt).
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon Lotus » So Jun 21, 2009 9:51 am

cfr34x hat geschrieben:Kann aber auch daran liegen, dass die nur bis 1GB merged (in der anderen Version hab ich 4GB eingestellt).

Bitte einmal testen, hier wurde schon vermutet, dass es in Java vielleicht Probleme mit der Adressierung der Files gibt.
Du kannst ja erstmal 3 und dann 2GB testen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon cfr34x » So Jun 21, 2009 12:25 pm

Ok, das mit den 1GB war etwas unklar ausgedrückt.
Ich hab gemeint, in der Version fasst YaCy die Blobs nicht an, weil sie schon groß genug sind (780MB und 1,3GB).
Allerdings hat YaCy es auch schonmal geschafft, einen 4GB-Blob zu produzieren, also kann es an der Adressierung eigentlich nicht liegen.

Hab das Runterstellen des Limits trotzdem mal ausprobiert, hat aber auch nichts gebracht. Sobald die beiden Blobs gemerged werden, bricht er wieder an der gleichen Stelle ab. Die .prt-Datei hat danach 871MB.
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon Orbiter » So Jun 21, 2009 12:29 pm

bitte irgendein Mittel posten damit ich gucken kann woran es liegt: logs, dumps etc. Der Dump-Bereich habe ich ja stark mit genauem Logging für den Fall ausgebaut. Ohne einen Hinweis komme ich nicht an den Fehler ran.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon cfr34x » So Jun 21, 2009 3:42 pm

Hab mal den kompletten Log bis zu der Stelle, wo der Dump abbricht, angehängt.

Hier ein Threaddump während des Mergens der Blobs:
Code: Alles auswählen
************* Start Thread Dump Sun Jun 21 14:31:24 CEST 2009 *******************

YaCy Version: 0.850/06106
Total Memory = 799145984
Used  Memory = 728780056
Free  Memory = 70365928


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= Session_194.204.30.253:51358#0 id=128 RUNNABLE
Thread= Session_84.38.74.230:40505#0 id=138 RUNNABLE
Thread= Session_85.10.210.99:48017#2 id=139 RUNNABLE
Thread= Session_195.202.180.115:45470#0 id=141 RUNNABLE
Thread= Session_85.181.210.98:33047#0 id=143 RUNNABLE
Thread= Session_85.178.81.231:60291#0 id=144 RUNNABLE
Thread= Session_189.24.143.137:60350#0 id=145 RUNNABLE
Thread= Session_70.89.67.161:52196#0 id=151 RUNNABLE
Thread= Session_127.0.0.1:17360#8 id=155 RUNNABLE
Thread= Session_127.0.0.1:17361#6 id=156 RUNNABLE
Thread= Session_127.0.0.1:17362#6 id=157 RUNNABLE
Thread= Session_127.0.0.1:17382#0 id=177 RUNNABLE
Thread= Session_94.221.187.110:4038#1 id=161 RUNNABLE
Thread= Session_212.117.110.167:17811#3 id=179 RUNNABLE
Thread= Session_194.204.33.6:60593#0 id=178 RUNNABLE
Thread= Session_212.117.110.167:12035#1 id=184 RUNNABLE
Thread= Session_91.36.166.135:52126#1 id=181 RUNNABLE
Thread= Session_91.65.247.205:3377#1 id=185 RUNNABLE
at java.io.PushbackInputStream.read(Unknown Source)
at de.anomic.server.serverCore.receive(serverCore.java:836)
at de.anomic.server.serverCore$Session.readLine(serverCore.java:566)
at de.anomic.server.serverCore$Session.listen(serverCore.java:673)
at de.anomic.server.serverCore$Session.run(serverCore.java:620)


Thread= storeDocumentIndex_pool-1-thread-17 id=45 RUNNABLE
at java.io.BufferedInputStream.read(Unknown Source)
at org.apache.commons.httpclient.ContentLengthInputStream.read(ContentLengthInputStream.java:170)
at java.io.FilterInputStream.read(Unknown Source)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:108)
at java.io.FilterInputStream.read(Unknown Source)
at de.anomic.http.httpdByteCountInputStream.read(httpdByteCountInputStream.java:75)
at de.anomic.kelondro.util.FileUtils.copy(FileUtils.java:96)
at de.anomic.kelondro.util.FileUtils.read(FileUtils.java:269)
at de.anomic.kelondro.util.FileUtils.read(FileUtils.java:253)
at de.anomic.http.httpResponse.getData(httpResponse.java:97)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:282)
at de.anomic.yacy.yacyClient.transferURL(yacyClient.java:1038)
at de.anomic.yacy.yacyClient.transferIndex(yacyClient.java:927)
at de.anomic.yacy.dht.Transmission$Chunk.transmit(Transmission.java:200)
at de.anomic.yacy.dht.Dispatcher.storeDocumentIndex(Dispatcher.java:354)
at sun.reflect.GeneratedMethodAccessor18.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.server.serverInstantBlockingThread.job(serverInstantBlockingThread.java:87)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= Thread-4 id=26 RUNNABLE
at java.lang.String.getBytes(Unknown Source)
at de.anomic.kelondro.text.ReferenceContainerCache$blobFileEntries.next(ReferenceContainerCache.java:187)
at de.anomic.kelondro.text.ReferenceContainerCache$blobFileEntries.next(ReferenceContainerCache.java:160)
at de.anomic.kelondro.blob.ArrayStack.merge(ArrayStack.java:779)
at de.anomic.kelondro.blob.ArrayStack.mergeWorker(ArrayStack.java:738)
at de.anomic.kelondro.blob.ArrayStack.mergeMount(ArrayStack.java:704)
at de.anomic.kelondro.text.IODispatcher$MergeJob.merge(IODispatcher.java:246)
at de.anomic.kelondro.text.IODispatcher.run(IODispatcher.java:159)


Thread= Session_127.0.0.1:17363#7 id=158 RUNNABLE
at java.lang.Thread.getAllStackTraces(Unknown Source)
at Threaddump_p.respond(Threaddump_p.java:92)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1171)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:751)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:240)
at de.anomic.http.httpd.GET(httpd.java:490)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.server.serverCore$Session.listen(serverCore.java:741)
at de.anomic.server.serverCore$Session.run(serverCore.java:620)


Thread= AWT-Windows daemon id=12 RUNNABLE
at java.lang.Thread.run(Unknown Source)


Thread= httpd:8080 id=126 RUNNABLE
at java.net.ServerSocket.accept(Unknown Source)
at de.anomic.server.serverCore.job(serverCore.java:331)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)



THREADS WITH STATES: TIMED_WAITING

Thread= de.anomic.plasma.plasmaSwitchboard.cleanupJob id=116 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.publishSeedList id=121 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:199)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:104)


Thread= de.anomic.crawler.CrawlQueues.remoteCrawlLoaderJob id=119 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob id=118 TIMED_WAITING
Thread= de.anomic.plasma.plasmaSwitchboard.dhtTransferJob id=125 TIMED_WAITING
Thread= de.anomic.data.bookmarksDB.autoReCrawl id=76 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.coreCrawlJob id=120 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.peerPing id=123 TIMED_WAITING
Thread= de.anomic.plasma.plasmaSwitchboard.deQueueProcess id=117 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:199)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:164)


Thread= Thread-1 id=10 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverProfiling.run(serverProfiling.java:64)



THREADS WITH STATES: WAITING

Thread= MultiThreadedHttpConnectionManager cleanup daemon id=60 WAITING
at java.lang.ref.ReferenceQueue.remove(Unknown Source)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$ReferenceQueueThread.run(MultiThreadedHttpConnectionManager.java:1122)


Thread= Finalizer daemon id=3 WAITING
at java.lang.ref.Finalizer$FinalizerThread.run(Unknown Source)


Thread= Log Runner id=8 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(Unknown Source)
at de.anomic.yacy.logging.Log$logRunner.run(Log.java:316)


Thread= AWT-EventQueue-0 id=16 WAITING
at java.awt.EventDispatchThread.run(Unknown Source)


Thread= storeDocumentIndex_pool-1-thread-21 id=53 WAITING
Thread= parseDocument_pool-1-thread-43 id=115 WAITING
Thread= parseDocument_pool-1-thread-39 id=107 WAITING
Thread= webStructureAnalysis_pool-1-thread-33 id=95 WAITING
Thread= parseDocument_pool-1-thread-40 id=109 WAITING
Thread= storeDocumentIndex_pool-1-thread-22 id=55 WAITING
Thread= job_pool-1-thread-30 id=89 WAITING
Thread= storeDocumentIndex_pool-1-thread-19 id=49 WAITING
Thread= condenseDocument_pool-1-thread-37 id=103 WAITING
Thread= condenseDocument_pool-1-thread-38 id=105 WAITING
Thread= webStructureAnalysis_pool-1-thread-34 id=97 WAITING
Thread= storeDocumentIndex_pool-1-thread-32 id=93 WAITING
Thread= job_pool-1-thread-26 id=81 WAITING
Thread= job_pool-1-thread-25 id=79 WAITING
Thread= job_pool-1-thread-31 id=91 WAITING
Thread= storeDocumentIndex_pool-1-thread-15 id=41 WAITING
Thread= condenseDocument_pool-1-thread-36 id=101 WAITING
Thread= storeDocumentIndex_pool-1-thread-24 id=59 WAITING
Thread= job_pool-1-thread-29 id=87 WAITING
Thread= parseDocument_pool-1-thread-41 id=111 WAITING
Thread= job_pool-1-thread-27 id=83 WAITING
Thread= storeDocumentIndex_pool-1-thread-20 id=51 WAITING
Thread= storeDocumentIndex_pool-1-thread-23 id=57 WAITING
Thread= storeDocumentIndex_pool-1-thread-18 id=47 WAITING
Thread= storeDocumentIndex_pool-1-thread-16 id=43 WAITING
Thread= parseDocument_pool-1-thread-42 id=113 WAITING
Thread= webStructureAnalysis_pool-1-thread-35 id=99 WAITING
Thread= job_pool-1-thread-28 id=85 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(Unknown Source)
at de.anomic.server.serverProcessor.take(serverProcessor.java:97)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:55)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= Java2D Disposer daemon id=11 WAITING
Thread= urls_pool-1-thread-46 id=149 WAITING
Thread= urls_pool-1-thread-44 id=147 WAITING
Thread= AWT-Shutdown id=13 WAITING
Thread= urls_pool-1-thread-45 id=148 WAITING
at java.lang.Thread.run(Unknown Source)


Thread= main id=1 WAITING
at java.lang.Object.wait(Object.java:485)
at de.anomic.server.serverSemaphore.P(serverSemaphore.java:63)
at de.anomic.plasma.plasmaSwitchboard.waitForShutdown(plasmaSwitchboard.java:2272)
at yacy.startup(yacy.java:422)
at yacy.main(yacy.java:1058)


Thread= Reference Handler daemon id=2 WAITING
at java.lang.ref.Reference$ReferenceHandler.run(Unknown Source)



THREADS WITH STATES: NEW


THREADS WITH STATES: TERMINATED


************* End Thread Dump Sun Jun 21 14:31:24 CEST 2009 *******************

Und nach dem Abbruch:
Code: Alles auswählen
************* Start Thread Dump Sun Jun 21 14:33:32 CEST 2009 *******************

YaCy Version: 0.850/06106
Total Memory = 799145984
Used  Memory = 706711456
Free  Memory = 92434528


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= Session_195.202.180.115:45470#0 id=141 RUNNABLE
Thread= Session_85.178.81.231:60291#0 id=144 RUNNABLE
Thread= Session_70.89.67.161:52196#0 id=151 RUNNABLE
Thread= Session_127.0.0.1:17360#10 id=155 RUNNABLE
Thread= Session_127.0.0.1:17361#8 id=156 RUNNABLE
Thread= Session_127.0.0.1:17362#8 id=157 RUNNABLE
Thread= Session_127.0.0.1:17382#0 id=177 RUNNABLE
Thread= Session_94.221.187.110:4038#6 id=161 RUNNABLE
Thread= Session_212.117.110.167:17811#3 id=179 RUNNABLE
Thread= Session_194.204.33.6:60593#0 id=178 RUNNABLE
Thread= Session_212.117.110.167:12035#3 id=184 RUNNABLE
Thread= Session_91.36.166.135:52126#3 id=181 RUNNABLE
Thread= Session_85.183.157.4:54496#1 id=211 RUNNABLE
Thread= Session_91.65.247.205:3377#1 id=185 RUNNABLE
Thread= Session_141.52.175.20:35063#1 id=229 RUNNABLE
Thread= Session_84.143.87.116:55086#2 id=227 RUNNABLE
Thread= Session_62.75.214.113:12891#0 id=230 RUNNABLE
Thread= Session_87.145.25.7:47180#0 id=245 RUNNABLE
Thread= Session_127.0.0.1:17480#0 id=243 RUNNABLE
Thread= Session_85.181.210.98:32811#1 id=252 RUNNABLE
Thread= Session_130.75.2.39:44370#1 id=249 RUNNABLE
Thread= Session_85.10.210.99:55870#0 id=253 RUNNABLE
at java.io.PushbackInputStream.read(Unknown Source)
at de.anomic.server.serverCore.receive(serverCore.java:836)
at de.anomic.server.serverCore$Session.readLine(serverCore.java:566)
at de.anomic.server.serverCore$Session.listen(serverCore.java:673)
at de.anomic.server.serverCore$Session.run(serverCore.java:620)


Thread= storeDocumentIndex_pool-1-thread-23 id=57 RUNNABLE
at java.io.BufferedInputStream.read(Unknown Source)
at org.apache.commons.httpclient.ContentLengthInputStream.read(ContentLengthInputStream.java:170)
at java.io.FilterInputStream.read(Unknown Source)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:108)
at java.io.FilterInputStream.read(Unknown Source)
at de.anomic.http.httpdByteCountInputStream.read(httpdByteCountInputStream.java:75)
at de.anomic.kelondro.util.FileUtils.copy(FileUtils.java:96)
at de.anomic.kelondro.util.FileUtils.read(FileUtils.java:269)
at de.anomic.kelondro.util.FileUtils.read(FileUtils.java:253)
at de.anomic.http.httpResponse.getData(httpResponse.java:97)
at de.anomic.yacy.yacyClient.wput(yacyClient.java:282)
at de.anomic.yacy.yacyClient.transferRWI(yacyClient.java:995)
at de.anomic.yacy.yacyClient.transferIndex(yacyClient.java:889)
at de.anomic.yacy.dht.Transmission$Chunk.transmit(Transmission.java:200)
at de.anomic.yacy.dht.Dispatcher.storeDocumentIndex(Dispatcher.java:354)
at sun.reflect.GeneratedMethodAccessor18.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.server.serverInstantBlockingThread.job(serverInstantBlockingThread.java:87)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= Session_127.0.0.1:17363#9 id=158 RUNNABLE
at java.lang.Thread.getAllStackTraces(Unknown Source)
at Threaddump_p.respond(Threaddump_p.java:92)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1171)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:751)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:240)
at de.anomic.http.httpd.GET(httpd.java:490)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.server.serverCore$Session.listen(serverCore.java:741)
at de.anomic.server.serverCore$Session.run(serverCore.java:620)


Thread= AWT-Windows daemon id=12 RUNNABLE
at java.lang.Thread.run(Unknown Source)


Thread= httpd:8080 id=126 RUNNABLE
at java.net.ServerSocket.accept(Unknown Source)
at de.anomic.server.serverCore.job(serverCore.java:331)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)



THREADS WITH STATES: TIMED_WAITING

Thread= de.anomic.plasma.plasmaSwitchboard.cleanupJob id=116 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:199)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:104)


Thread= de.anomic.crawler.CrawlQueues.remoteCrawlLoaderJob id=119 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob id=118 TIMED_WAITING
Thread= de.anomic.plasma.plasmaSwitchboard.dhtTransferJob id=125 TIMED_WAITING
Thread= de.anomic.data.bookmarksDB.autoReCrawl id=76 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.coreCrawlJob id=120 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.peerPing id=123 TIMED_WAITING
Thread= de.anomic.plasma.plasmaSwitchboard.deQueueProcess id=117 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.publishSeedList id=121 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverAbstractBusyThread.ratz(serverAbstractBusyThread.java:199)
at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:164)


Thread= Thread-1 id=10 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at de.anomic.server.serverProfiling.run(serverProfiling.java:64)



THREADS WITH STATES: WAITING

Thread= MultiThreadedHttpConnectionManager cleanup daemon id=60 WAITING
at java.lang.ref.ReferenceQueue.remove(Unknown Source)
at org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$ReferenceQueueThread.run(MultiThreadedHttpConnectionManager.java:1122)


Thread= Finalizer daemon id=3 WAITING
at java.lang.ref.Finalizer$FinalizerThread.run(Unknown Source)


Thread= Log Runner id=8 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(Unknown Source)
at de.anomic.yacy.logging.Log$logRunner.run(Log.java:316)


Thread= AWT-EventQueue-0 id=16 WAITING
at java.awt.EventDispatchThread.run(Unknown Source)


Thread= storeDocumentIndex_pool-1-thread-21 id=53 WAITING
Thread= parseDocument_pool-1-thread-43 id=115 WAITING
Thread= parseDocument_pool-1-thread-39 id=107 WAITING
Thread= webStructureAnalysis_pool-1-thread-33 id=95 WAITING
Thread= parseDocument_pool-1-thread-40 id=109 WAITING
Thread= storeDocumentIndex_pool-1-thread-22 id=55 WAITING
Thread= job_pool-1-thread-30 id=89 WAITING
Thread= storeDocumentIndex_pool-1-thread-19 id=49 WAITING
Thread= condenseDocument_pool-1-thread-37 id=103 WAITING
Thread= condenseDocument_pool-1-thread-38 id=105 WAITING
Thread= webStructureAnalysis_pool-1-thread-34 id=97 WAITING
Thread= job_pool-1-thread-26 id=81 WAITING
Thread= job_pool-1-thread-25 id=79 WAITING
Thread= job_pool-1-thread-31 id=91 WAITING
Thread= storeDocumentIndex_pool-1-thread-15 id=41 WAITING
Thread= condenseDocument_pool-1-thread-36 id=101 WAITING
Thread= storeDocumentIndex_pool-1-thread-24 id=59 WAITING
Thread= storeDocumentIndex_pool-1-thread-17 id=45 WAITING
Thread= job_pool-1-thread-29 id=87 WAITING
Thread= parseDocument_pool-1-thread-41 id=111 WAITING
Thread= job_pool-1-thread-27 id=83 WAITING
Thread= storeDocumentIndex_pool-1-thread-20 id=51 WAITING
Thread= storeDocumentIndex_pool-1-thread-18 id=47 WAITING
Thread= storeDocumentIndex_pool-1-thread-16 id=43 WAITING
Thread= parseDocument_pool-1-thread-42 id=113 WAITING
Thread= webStructureAnalysis_pool-1-thread-35 id=99 WAITING
Thread= job_pool-1-thread-28 id=85 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(Unknown Source)
at de.anomic.server.serverProcessor.take(serverProcessor.java:97)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:55)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= storeDocumentIndex_pool-1-thread-32 id=93 WAITING
at java.util.concurrent.ArrayBlockingQueue.put(Unknown Source)
at de.anomic.kelondro.text.IODispatcher.dump(IODispatcher.java:88)
at de.anomic.kelondro.text.IndexCell.cleanCache(IndexCell.java:303)
at de.anomic.kelondro.text.IndexCell.add(IndexCell.java:114)
at de.anomic.kelondro.text.Segment.addPageIndex(Segment.java:183)
at de.anomic.kelondro.text.Segment.storeDocument(Segment.java:289)
at de.anomic.plasma.plasmaSwitchboard.storeDocumentIndex(plasmaSwitchboard.java:1786)
at de.anomic.plasma.plasmaSwitchboard.storeDocumentIndex(plasmaSwitchboard.java:1768)
at sun.reflect.GeneratedMethodAccessor15.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at de.anomic.server.serverInstantBlockingThread.job(serverInstantBlockingThread.java:87)
at de.anomic.server.serverAbstractBlockingThread.run(serverAbstractBlockingThread.java:64)
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
at java.util.concurrent.FutureTask.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)


Thread= Java2D Disposer daemon id=11 WAITING
Thread= urls_pool-1-thread-46 id=149 WAITING
Thread= urls_pool-1-thread-44 id=147 WAITING
Thread= AWT-Shutdown id=13 WAITING
Thread= urls_pool-1-thread-45 id=148 WAITING
at java.lang.Thread.run(Unknown Source)


Thread= main id=1 WAITING
at java.lang.Object.wait(Object.java:485)
at de.anomic.server.serverSemaphore.P(serverSemaphore.java:63)
at de.anomic.plasma.plasmaSwitchboard.waitForShutdown(plasmaSwitchboard.java:2272)
at yacy.startup(yacy.java:422)
at yacy.main(yacy.java:1058)


Thread= Reference Handler daemon id=2 WAITING
at java.lang.ref.Reference$ReferenceHandler.run(Unknown Source)



THREADS WITH STATES: NEW


THREADS WITH STATES: TERMINATED


************* End Thread Dump Sun Jun 21 14:33:32 CEST 2009 *******************
Dateianhänge
yacy00_head.log.gz
Log bis zum Abbruch
(32.93 KiB) 36-mal heruntergeladen
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: [closed] Blob-Merge läuft nicht durch...

Beitragvon cfr34x » Mo Jun 22, 2009 10:00 pm

Ich glaube ich kann für diesen Bug (vorerst) Entwarnung geben. Es scheint an mangelndem Speicher zu liegen.

Ich habe folgendes Experiment gemacht:
- auf Robinson-Modus umgestellt
- Alle URL-Dateien aus METADATA verschoben (danach hat der Peer ca. 400/750MB RAM frei, sonst nur ~50MB)
- Einen der verdächtigen Blobs weggeschoben
- YaCy gestartet
=> der eine Blob wurde mit den anderen gemerged.

Leider versucht YaCy seitdem nicht mehr, den zweiten Verdächtigen zu mergen (es scheint keinen dazu passenden zu geben), ich kann das ganze also vorerst nicht reproduzieren.
Deswegen kann ich noch nicht endgültig sagen, ob es wirklich "nur" an Speichermangel liegt.

Ich melde mich wieder, falls das Problem nochmal auftritt.
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 1 Gast

cron