[gelöst] Wichtig: Peer beendet bei Start mit Exception

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[gelöst] Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » Sa Apr 25, 2009 8:09 am

Als heute morgen mein Peer nicht mehr lief, habe ich mal ins Log geschaut wieso: Exception. Ich hab ihn daraufhin nochmal neu gestartet, aber er bleibt wieder bei der Exception hängen (=wird beendet). Was nun?

Code: Alles auswählen
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165837969.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165842642.blob, 148 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165842642.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165853008.blob, 156 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165853008.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165854849.blob, 148 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165854849.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165859911.blob, 167 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165859911.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165904437.blob, 148 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165904437.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165905115.blob, 137 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165905115.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165907938.blob, 143 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165907938.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165910340.blob, 147 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165910340.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165913333.blob, 149 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165913333.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165922193.blob, 181 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165922193.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165925683.blob, 151 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165925683.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165929889.blob, 160 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165929889.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:58 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165936766.blob, 187 kbytes. Please wait.
I 2009/04/25 07:03:58 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165936766.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165941519.blob, 156 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165941519.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165943315.blob, 160 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165943315.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165949158.blob, 162 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165949158.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165953690.blob, 163 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165953690.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165956365.blob, 158 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424165956365.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170002317.blob, 169 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170002317.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170006070.blob, 154 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170006070.blob, 2001 entries, 0 gaps.
I 2009/04/25 07:03:59 HeapReader generating index for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170012525.blob, 169 kbytes. Please wait.
I 2009/04/25 07:03:59 HeapReader finished index generation for /var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090424170012525.blob, 2001 entries, 0 gaps.
E 2009/04/25 07:03:59 STARTUP FATAL ERROR: null
java.lang.NullPointerException
        at de.anomic.kelondro.blob.HeapWriter.fingerprintFileHash(HeapWriter.java:123)
        at de.anomic.kelondro.blob.HeapReader.initIndexReadDump(HeapReader.java:102)
        at de.anomic.kelondro.blob.HeapReader.<init>(HeapReader.java:69)
        at de.anomic.kelondro.blob.BLOBHeapModifier.<init>(BLOBHeapModifier.java:54)
        at de.anomic.kelondro.blob.BLOBArray.<init>(BLOBArray.java:160)
        at de.anomic.kelondro.text.ReferenceContainerArray.<init>(ReferenceContainerArray.java:66)
        at de.anomic.kelondro.text.IndexCell.<init>(IndexCell.java:78)
        at de.anomic.kelondro.text.IndexCollectionMigration.<init>(IndexCollectionMigration.java:68)
        at de.anomic.plasma.plasmaWordIndex.<init>(plasmaWordIndex.java:157)
        at de.anomic.plasma.plasmaSwitchboard.<init>(plasmaSwitchboard.java:325)
        at yacy.startup(yacy.java:223)
        at yacy.main(yacy.java:1038)
S 2009/04/25 07:03:59 SHUTDOWN goodbye. (this is the last line)


// Edit: Auch ein Update von 5857 auf 5870 hat nichts geholfen.
Zuletzt geändert von freq.9 am Di Apr 28, 2009 4:57 pm, insgesamt 1-mal geändert.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon bluumi » Sa Apr 25, 2009 9:00 am

was passiert nach dem erneuten starten? gleich sofort eine Exeption oder wie. Kannst Du ein Log posten wie es ist nach dem Upgrade?
Zusätzliche "dumme" frage, wiviele Blobb Dateien hast Du, hast DU vielleicht den Bug als es übermässig Blobb's erzeugt hat [?] [/var/yacy/DATA/INDEX/freeworld/TEXT/RICELL/...]
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » Sa Apr 25, 2009 9:56 am

Die Exception tritt auch nach dem Update genau so auf, wie ich sie oben gepostet habe. Ich habe aber nun nur oben das gepostet, was ich in der konsole noch gesehen habe.

Code: Alles auswählen
-bash-3.2$ ls -l DATA/INDEX/freeworld/TEXT/RICELL/ | egrep blob$ | wc -l
3254
-bash-3.2$ ls -l DATA/INDEX/freeworld/TEXT/RICELL/ | egrep idx$ | wc -l
2242
-bash-3.2$ ls -l DATA/INDEX/freeworld/TEXT/RICELL/ | egrep gap$ | wc -l
2242
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » Sa Apr 25, 2009 2:27 pm

Weiss denn niemand was ich nun machen kann?
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » So Apr 26, 2009 9:39 am

Das Problem scheint doch, zumindest interpretiere ich das Posting von bluumi so, bekannt zu sein. Gibt es denn da wirklich keinen von den Entwicklern oder so, der da in irgendeiner Weise was zu sagen kann. Ich hätts halt gern wieder, dass mein Peer läuft, aber wenn mir hier keiner weiterhelfen kann, läuft mein Peer nicht :(
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon Orbiter » So Apr 26, 2009 10:05 am

der Fehler tritt an einer Stelle auf, an der der MD5 String, der von einer blob-Datei berechnet wurde, verwendet wird. Der md5 ist aber dort offenbar null. Das kann aber nur bei IOExceptions beim Lesen der blob-Datei passieren, oder wenn du gar keinen md5-digest Berechnung im eingebauten Java hast. Da das aber schon mal bei dir funktioniert hat, muss man es ausschliessen. Alle andere Gründe, ein null zurück zu geben, schreiben weitere stack traces, die aber nicht im Log sind. Ich bin hier ein wenig ratlos. Vielleicht läuft noch ein anderer Prozess, der ein Handle auf die Datei hat. gucke bitte mal ob wirklich kein anderer java Prozess läuft und ob die Platte noch Platz hat. Und bitte einen Restart des OS probieren.

ausserdem würde helfen: asserts aktivieren. Das zeigt vorzeitig wo es klemmen würde (es crasht früher an einer relevanteren stelle)
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » So Apr 26, 2009 10:28 am

Vorab: Ich habe mal alle *.blob Dateien verschoben, die keine entsprechenden *.idx und *.gap Dateien haben, aber das hat auch nicht geholfen.

Orbiter hat geschrieben:gucke bitte mal ob wirklich kein anderer java Prozess läuft und ob die Platte noch Platz hat.


Aktuell ist YaCy das einzige, was ich neben einem sshd am laufen habe, von daher sollte das auszuschliessen sein.

Orbiter hat geschrieben:Und bitte einen Restart des OS probieren.


Wie ich diese Aussage hasse :) Aber eher nur, weil unsere Systemadministratoren in der Firma diese Aussage immer als erste Maßnahme bei einem Problem nennen. Aber ich werde es mal versuchen.

Orbiter hat geschrieben:ausserdem würde helfen: asserts aktivieren. Das zeigt vorzeitig wo es klemmen würde (es crasht früher an einer relevanteren stelle)


Das muss man bei Java explizit aktivieren? Ich habe gestern Abend noch mit einem Arbeitskollegen gesprochen, dass es mir sehr komisch vorkommt, dass eine NullPointerException auftritt, obwohl vorher eine Assertation stattfindet, die explizit auf NULL prüft. Das kam mir etwas komisch vor. Wir hatten schon gerätselt, ob irgendein Thread zwischen der Assertation und dem eigentlich Call das Handle kaputt machen kann, aber das das sicherlich Millisekunden sind ist das wohl eher unwahrscheinlich und dann schon garnicht bei jedem Start erneut.

Wenn man die Assertationen aber erst explizit einschalten muss, würde das erklären, warum die Assertation da nicht schon einen Fehler schmeisst, da die Variable (fp) ja NULL ist.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon bluumi » So Apr 26, 2009 10:55 am

freq.9 hat geschrieben:Das Problem scheint doch, zumindest interpretiere ich das Posting von bluumi so, bekannt zu sein.

Es gab mit einer Version das Problem, dass ich diese nicht mehr starten lies wenn man mehr als ~700 "blobb" hatte, desshalb fragte ich.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » So Apr 26, 2009 11:13 am

bluumi hat geschrieben:
freq.9 hat geschrieben:Das Problem scheint doch, zumindest interpretiere ich das Posting von bluumi so, bekannt zu sein.

Es gab mit einer Version das Problem, dass ich diese nicht mehr starten lies wenn man mehr als ~700 "blobb" hatte, desshalb fragte ich.


Okay, es sieht sehr nach dem selben Problem aus, aber irgendwie werde ich nicht wirklich schlau daraus, was ihr da nun gemacht habt, um das Problem zu lösen. Vielleicht kannst du das nochmal genauer erklären.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon bluumi » So Apr 26, 2009 12:19 pm

Die Blobs haben ja ein Datum im Dateinamen.
index.20090424165904437.blob 2009-04-24 Uhrzeit 16:59...
Die alten habe ich im Verzeichnis gelassen, die neuen habe ich rausverschoben. Dann habe ich jeweils ~500 Stk zurück verschoben, Yacy gestartet, Yacy hat diese re-integriert, Yacy beendet, weitere "500" zurückverschoben u.s.w.
Falls es derselbe Fehlker gewesen währe müsste Yacy aufstarten, wenn Du nur die alten Blobs drin hast und die Gesamtzahl unter 700 ist.
Ah so, Du hast bei deinem Versuch alle Alten auch verschoben .. "Vorab: Ich habe mal alle *.blob Dateien verschoben, die keine entsprechenden *.idx und *.gap Dateien haben, aber das hat auch nicht geholfen." Denn die ältesten hatten bei mir KEINE *idx/gap.
Ich hatte damals einige wenige Blobs (~20-30) von einem viel älteren Datum, und tausende von den folgenden Tagen. Diese alten, habe ich Yacy wie gesagt gelassen.

Ich hoffe Du hast es verstanden was ich kompliziert sagen wollte. Dann wünsche ich Dir mal viel Glück.

Nur klingt mir Orbiters erklährung mit den MD5'ern nicht nach "meinem" Fehler, sondern dass Du eher einen anderen Fehler hast.. (?)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon Orbiter » So Apr 26, 2009 12:30 pm

kurze Erklärung zu idx/gap: die beschleunigen nur den Startup, sind aber nicht notwendig. Der md5 der blob wird nur gecheckt, um zu sehen ob die idx/gap wirklich zu den Dateien gehören. Man könnte nun auch probieren, alle idx/gap zu löschen. Es sollte dann auf gar keinen Fall mehr zu dem Fehler kommen, da der ja beim check der md5 passiert, dafür dauert es länger bis YaCy up ist. Beim nächsten Beenden werden die gap/idx wieder geschrieben.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » So Apr 26, 2009 8:08 pm

Es hat einige Zeit gedauert, aber es hat funktioniert :) Danke. Mein Peer läuft wieder.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » So Apr 26, 2009 8:26 pm

Wie ich sehe, ich durch das ganze hin und her mein "Words"-Wert drastisch gesunken. Von ~5,3Mio auf ~600k. Habe ich da was falsch gemacht?
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Wichtig: Peer beendet bei Start mit Exception

Beitragvon freq.9 » Di Apr 28, 2009 1:16 pm

Mein Peer läuft nun scheinbar sehr stabil :) Habe nach dem Aufräumen der blob-Dateien auch mal den RAM auf 1GB erhöht. Seitdem läuft der Peer ohne Probleme :)
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: [gelöst] Wichtig: Peer beendet bei Start mit Exception

Beitragvon Copro » Mo Aug 03, 2009 12:18 am

Selbes Problem nachdem sich deutlich mehr als 700 blobs angesammelt hatten:
yacy/DATA/INDEX/freeworld/TEXT/RICELL> ls -l *blob | wc
1302

Jeweils etwa 500 zurückgeschoben und dann mergen lassen hat das Problem beseitigt.
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste