zero columns; strong failure in db collection.kca 0.59->0.7

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

zero columns; strong failure in db collection.kca 0.59->0.7

Beitragvon Copro » Do Feb 26, 2009 1:58 am

Mhm,
Da noch einen anderen Rechner einen alten Index hatte wollte ich den auch gleich wiederbeleben, aber hier gab es nach dem Update von 0.59 auf 0.7 ebenfalls ein Problem und yacy startet gar nicht mehr.

:~/yacy> ./startYACY.sh
****************** YaCy Web Crawler/Indexer & Search Engine *******************
**** (C) by Michael Peter Christen, usage granted under the GPL Version 2 ****
**** USE AT YOUR OWN RISK! Project home and releases: http://yacy.net/ ****
** LOG of YaCy: DATA/LOG/yacy00.log (and yacy<xx>.log) **
** STOP YaCy: execute stopYACY.sh and wait some seconds **
** GET HELP for YaCy: see http://www.yacy-websearch.net/wiki and forum.yacy.de **
*******************************************************************************
>> YaCy started as daemon process. Administration at http://localhost:9999 <<
[ YaCy v0.7, build 20090121 by Michael Christen / http://www.yacy.net ]
-------------------------------------------------------------------------------
STARTUP: Trying to load logging configuration from file /home/copro/yacy/DATA/LOG/yacy.logging
S 2009/02/26 01:40:32 STARTUP Java version: 1.5.0_14
S 2009/02/26 01:40:33 STARTUP Operation system: Linux
S 2009/02/26 01:40:33 STARTUP Application root-path: /home/copro/yacy
S 2009/02/26 01:40:33 STARTUP Time zone: UTC+0100; UTC+0000 is 1235608833398
S 2009/02/26 01:40:33 STARTUP Maximum file system path length: 65535
I 2009/02/26 01:40:33 PLASMA This is the pro-version of YaCy
I 2009/02/26 01:40:36 indexContainerRAMHeap restoring dump for rwi heap 'index.dhtout.heap'
I 2009/02/26 01:40:36 indexContainerRAMHeap finished rwi heap restore: 0 words, 0 word/URL relations in 9 milliseconds
I 2009/02/26 01:40:36 indexContainerRAMHeap restoring dump for rwi heap 'index.dhtin.heap'
I 2009/02/26 01:40:36 indexContainerRAMHeap finished rwi heap restore: 0 words, 0 word/URL relations in 3 milliseconds
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.00.00.kca with 889904 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.00.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.01.00.kca with 97918 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.01.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.03.00.kca with 14225 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.03.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.02.00.kca with 39009 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.02.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.04.00.kca with 4741 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.04.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.05.00.kca with 1475 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.05.00.kca' closed.
D 2009/02/26 01:40:36 STARTUP opened array file /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.06.00.kca with 320 RWIs
D 2009/02/26 01:40:36 KELONDRO file '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.06.00.kca' closed.
E 2009/02/26 01:40:36 STARTUP FATAL ERROR: init: zero columns; strong failure in db '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.07.00.kca'
de.anomic.kelondro.kelondroException: init: zero columns; strong failure in db '/home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.04.0028.07.00.kca'
at de.anomic.kelondro.kelondroAbstractRecords.initExistingFile(kelondroAbstractRecords.java:562)
at de.anomic.kelondro.kelondroAbstractRecords.<init>(kelondroAbstractRecords.java:385)
at de.anomic.kelondro.kelondroFullRecords.<init>(kelondroFullRecords.java:43)
at de.anomic.kelondro.kelondroFixedWidthArray.<init>(kelondroFixedWidthArray.java:45)
at de.anomic.kelondro.kelondroCollectionIndex.openArrayFile(kelondroCollectionIndex.java:297)
at de.anomic.kelondro.kelondroCollectionIndex.<init>(kelondroCollectionIndex.java:148)
at de.anomic.index.indexCollectionRI.<init>(indexCollectionRI.java:49)
at de.anomic.plasma.plasmaWordIndex.<init>(plasmaWordIndex.java:153)
at de.anomic.plasma.plasmaSwitchboard.<init>(plasmaSwitchboard.java:311)
at yacy.startup(yacy.java:224)
at yacy.main(yacy.java:1037)
S 2009/02/26 01:40:36 SHUTDOWN goodbye. (this is the last line)
:~/yacy> ls -l /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/
insgesamt 1098392
-rw-r--r-- 1 copro users 165522446 2009-02-26 01:40 collection.04.0028.00.00.kca
-rw-r--r-- 1 copro users 65215022 2009-02-26 01:40 collection.04.0028.01.00.kca
-rw-r--r-- 1 copro users 100877576 2009-02-26 01:40 collection.04.0028.02.00.kca
-rw-r--r-- 1 copro users 146034152 2009-02-26 01:40 collection.04.0028.03.00.kca
-rw-r--r-- 1 copro users 194355914 2009-02-26 01:40 collection.04.0028.04.00.kca
-rw-r--r-- 1 copro users 241866518 2009-02-26 01:40 collection.04.0028.05.00.kca
-rw-r--r-- 1 copro users 209723822 2009-02-26 01:40 collection.04.0028.06.00.kca
-rw-r--r-- 1 copro users 0 2008-04-11 09:59 collection.04.0028.07.00.kca
-rw-r--r-- 1 copro users 419 2009-02-26 01:00 collection.04.0028.properties


Kann man da noch etwas anderes probieren ausser die Dateien / Datenbanken die defekt gemeldet werden zu löschen ?
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: zero columns; strong failure in db collection.kca 0.59->0.7

Beitragvon thq » Do Feb 26, 2009 2:06 am

collection.04.0028.07.00.kca ist nur 0 Bytes groß. Entweder diese Datei löschen oder wenn vorhanden von einem Backup wiederherstellen.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: zero columns; strong failure in db collection.kca 0.59->0.7

Beitragvon Copro » Do Feb 26, 2009 2:46 am

Jau, da bin ich wohl nach müdem Hinsehen in der Zeile verrutscht. Bin felsenfest davon ausgegangen ich habe die collection.04.0028.06.00.kca als Fehlerquelle in den Logs gesehen :oops:
Jetzt geht es weiter und er lädt gerade die anderen Indexe. Ich denke zum Frühstück ist der Knoten wieder online ;-)
Danke für den Denkanstoß zu so später Stunde o.ob

Kleiner Nachtrag:
Auch hier wieder die Meldung der Dubletten:
I 2009/02/26 03:05:57 ECOTABLE /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: WARNING - EcoTable /home/copro/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index has 51534 doubles


Kleiner Nachtrag 2:
Auch hier extreme Probleme mit der aktuellen Version 0.7 5495 weil yacy gar nicht mehr startet. Die letzten Einträge in der Logdatei lauten:
I 2009/02/27 07:42:52 YACY BOOTSTRAP: 43 seeds from seed-list URL http://www.lulabad.de/seed.txt, AGE=0h
I 2009/02/27 07:42:52 YACY BOOTSTRAP: 10 new seeds while bootstraping.
I 2009/02/27 07:44:32 BOOKMARKS autoReCrawl - reading schedules from /home/copro/yacy/DATA/SETTINGS/autoReCrawl.conf
I 2009/02/27 07:44:33 BOOKMARKS autoReCrawl - processing: /autoReCrawl/hourly
I 2009/02/27 07:44:33 BOOKMARKS autoReCrawl - processing: /autoReCrawl/daily
I 2009/02/27 07:44:33 BOOKMARKS autoReCrawl - processing: /autoReCrawl/weekly
I 2009/02/27 07:44:33 BOOKMARKS autoReCrawl - processing: /autoReCrawl/monthly

Danach passiert dann gar nichts mehr und der Prozess schläft. Keine weitere Einträge in der Logilfe, Webinterface nicht erreichbar, stopYACY.sh wirkungslos, kill -3 PID wirkungslos.

Thread Dump per jstack aus dem JDK:
Debugger attached successfully.
Server compiler detected.
JVM version is 1.5.0_17-b04
Thread 10780: (state = BLOCKED)


Thread 10875: (state = BLOCKED)
- java.lang.Object.wait(long) @bci=0 (Interpreted frame)
- java.lang.ref.ReferenceQueue.remove(long) @bci=44 (Interpreted frame)
- java.lang.ref.ReferenceQueue.remove() @bci=2 (Interpreted frame)
- org.apache.commons.httpclient.MultiThreadedHttpConnectionManager$ReferenceQueueThread.run() @bci=10, line=1122 (Interpreted frame)


Thread 10872: (state = BLOCKED)
- java.lang.Thread.sleep(long) @bci=0 (Interpreted frame)
- de.anomic.server.serverAbstractBusyThread.ratz(long) @bci=1, line=198 (Interpreted frame)
- de.anomic.server.serverAbstractBusyThread.run() @bci=554, line=163 (Interpreted frame)


Thread 10817: (state = BLOCKED)
- java.lang.Thread.sleep(long) @bci=0 (Interpreted frame)
- de.anomic.server.serverProfiling.run() @bci=22, line=61 (Interpreted frame)


Thread 10784: (state = BLOCKED)


Thread 10783: (state = BLOCKED)
- java.lang.Object.wait(long) @bci=0 (Interpreted frame)
- java.lang.ref.ReferenceQueue.remove(long) @bci=44 (Interpreted frame)
- java.lang.ref.ReferenceQueue.remove() @bci=2 (Interpreted frame)
- java.lang.ref.Finalizer$FinalizerThread.run() @bci=3 (Interpreted frame)


Thread 10782: (state = BLOCKED)
- java.lang.Object.wait(long) @bci=0 (Interpreted frame)
- java.lang.Object.wait() @bci=2 (Interpreted frame)
- java.lang.ref.Reference$ReferenceHandler.run() @bci=46 (Interpreted frame)



Ich werde bei Gelegenheit mal versuchen wie im Thread Speichermangel und Startschwierigkeiten auch geraten auf eine aktuelle SVN Version zu wechseln.

Kleiner Nachtrag 3 mit Erfolgsmeldung:
-> Mit dev 0.72/5658 startet yacy wieder und läuft ... mal schauen wie lange :lol:
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron