SVN 6263 - Peer erhängt sich beim aufstarten

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon bluumi » Mi Aug 26, 2009 10:53 pm

Mein Peer hat mal wieder tausende (14'6xx) Blobs. Beim Aufstarten erhängt er sich nach genau 15 min. Egal ob ich diese 14'000 oder 1600 Blobs im Verzeichnis habe.

Code: Alles auswählen
I 2009/08/26 21:00:21 HeapReader finished index generation for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806225604751.blob, 20000 entries, 0 gaps.
E 2009/08/26 21:00:21 HeapReader cannot generate a fingerprint for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806225806329.blob: null
I 2009/08/26 21:00:21 HeapReader generating index for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806225806329.blob, 3 MB. Please wait.
I 2009/08/26 21:00:21 HeapReader finished index generation for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806225806329.blob, 20000 entries, 0 gaps.


Die dritt letzte Zeile ist jeweils "HeapReader cannot generate a fingerprint for " , je nach Anzahl Files ist es einfach ein anderes File. Auffällig ist war einfach, dass
- Yacy noch immer "läuft", rund 4500Mbyte Ram belegt
- es 14.5 - 15.5 Minuten geht bis die Letzte Zeile ins Log geschrieben wird, ab da passtiert "nichts" mehr, laut log, auch nach vielen Stunden.
- sowohl vor dem start, als auch nach dem kill es genau gleich viele Files sind.

Hab nun auf letzte SVN updated und hoffe dass es ein Wunder bewirkt :)

Falls letzte SVN nichts bringt löschte ich mal alle idx und gap Files, die sollte es ja wieder erzeugen.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon Orbiter » Mi Aug 26, 2009 10:54 pm

was sagt denn ein kill -3 ?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon bluumi » Mi Aug 26, 2009 11:24 pm

sagen tut der nichts :)
Jedenfalls ist die letzte Zeile auch dann noch immer von 0:16, während es 0:22 war als ich jetzt den Kill -3 ausgeführt habe, und er läuft weiterhin und sitzt vergnügt im Speicher. :)
Code: Alles auswählen
I 2009/08/27 00:16:44 HeapReader finished index generation for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806230102903.blob, 20000 entries, 0 gaps.

Nächstes mal versuche ich es mit '-l' oder '-d' zu starten .. :)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon bluumi » Mi Aug 26, 2009 11:48 pm

So, ich denke "-d" hat es gesagt :(

Code: Alles auswählen
I 2009/08/27 00:43:29 HeapReader finished index generation for /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806225604751.blob, 20000 entries, 0 gaps.
java.io.FileNotFoundException: /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806230102903.blob (Too many open files)
        at java.io.RandomAccessFile.open(Native Method)
        at java.io.RandomAccessFile.<init>(Unknown Source)
        at de.anomic.kelondro.order.Digest.fastFingerprintRaw(Digest.java:304)
        at de.anomic.kelondro.order.Digest.fastFingerprintB64(Digest.java:265)
        at de.anomic.kelondro.blob.HeapWriter.fingerprintFileHash(HeapWriter.java:121)
        at de.anomic.kelondro.blob.HeapReader.initIndexReadDump(HeapReader.java:102)
        at de.anomic.kelondro.blob.HeapReader.<init>(HeapReader.java:69)
        at de.anomic.kelondro.blob.HeapModifier.<init>(HeapModifier.java:57)
        at de.anomic.kelondro.blob.ArrayStack.<init>(ArrayStack.java:183)
        at de.anomic.kelondro.text.ReferenceContainerArray.<init>(ReferenceContainerArray.java:66)
        at de.anomic.kelondro.text.IndexCell.<init>(IndexCell.java:80)
        at de.anomic.kelondro.text.Segment.<init>(Segment.java:91)
        at de.anomic.search.Switchboard.<init>(Switchboard.java:349)
        at yacy.startup(yacy.java:220)
        at yacy.main(yacy.java:1031)
Exception in thread "main" java.lang.AssertionError: file = /srv/bscw/server/data/lvm_data/YACY/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090806230102903.blob
        at de.anomic.kelondro.blob.HeapWriter.fingerprintFileHash(HeapWriter.java:122)
        at de.anomic.kelondro.blob.HeapReader.initIndexReadDump(HeapReader.java:102)
        at de.anomic.kelondro.blob.HeapReader.<init>(HeapReader.java:69)
        at de.anomic.kelondro.blob.HeapModifier.<init>(HeapModifier.java:57)
        at de.anomic.kelondro.blob.ArrayStack.<init>(ArrayStack.java:183)
        at de.anomic.kelondro.text.ReferenceContainerArray.<init>(ReferenceContainerArray.java:66)
        at de.anomic.kelondro.text.IndexCell.<init>(IndexCell.java:80)
        at de.anomic.kelondro.text.Segment.<init>(Segment.java:91)
        at de.anomic.search.Switchboard.<init>(Switchboard.java:349)
        at yacy.startup(yacy.java:220)
        at yacy.main(yacy.java:1031)


^^ schätze das too Funny äh too many open Files ist schuld es :(

Würde der doch besser etwas mergen und files closen als zu versuchen 1092 Files zu öffnen :(

So einen kurzen Thread Dump hat ich ja schon lange nimmer:
Code: Alles auswählen
Full thread dump Java HotSpot(TM) 64-Bit Server VM (14.1-b02 mixed mode):

"DestroyJavaVM" prio=10 tid=0x00002aabd4f01000 nid=0x337c waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Thread-2" prio=10 tid=0x00002aabd4b1f000 nid=0x3399 waiting on condition [0x0000000041b43000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00002aaad22affd8> (a java.util.concurrent.Semaphore$NonfairSync)
        at java.util.concurrent.locks.LockSupport.park(Unknown Source)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(Unknown Source)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(Unknown Source)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(Unknown Source)
        at java.util.concurrent.Semaphore.acquire(Unknown Source)
        at de.anomic.kelondro.text.IODispatcher.run(IODispatcher.java:133)

"Thread-1" prio=10 tid=0x00002aabd441d000 nid=0x338e waiting on condition [0x000000004143c000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at de.anomic.server.serverProfiling.run(serverProfiling.java:64)

"Log Runner" prio=10 tid=0x00002aabd4408800 nid=0x338d waiting on condition [0x000000004133b000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00002aaad22b0270> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(Unknown Source)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(Unknown Source)
        at java.util.concurrent.LinkedBlockingQueue.take(Unknown Source)
        at de.anomic.yacy.logging.Log$logRunner.run(Log.java:316)

"Low Memory Detector" daemon prio=10 tid=0x00002aabd4154000 nid=0x338b runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"CompilerThread1" daemon prio=10 tid=0x00002aabd4151000 nid=0x338a waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"CompilerThread0" daemon prio=10 tid=0x00002aabd414d000 nid=0x3389 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" daemon prio=10 tid=0x00002aabd414b000 nid=0x3388 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" daemon prio=10 tid=0x00002aabd4126000 nid=0x3387 in Object.wait() [0x0000000040d35000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00002aaab3670450> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(Unknown Source)
        - locked <0x00002aaab3670450> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(Unknown Source)
        at java.lang.ref.Finalizer$FinalizerThread.run(Unknown Source)

"Reference Handler" daemon prio=10 tid=0x00002aabd4124800 nid=0x3386 in Object.wait() [0x0000000040c34000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00002aaab3670530> (a java.lang.ref.Reference$Lock)
        at java.lang.Object.wait(Object.java:485)
        at java.lang.ref.Reference$ReferenceHandler.run(Unknown Source)
        - locked <0x00002aaab3670530> (a java.lang.ref.Reference$Lock)

"VM Thread" prio=10 tid=0x00002aabd3ee4000 nid=0x3385 runnable

"GC task thread#0 (ParallelGC)" prio=10 tid=0x000000004011c000 nid=0x337d runnable

"GC task thread#1 (ParallelGC)" prio=10 tid=0x000000004011d800 nid=0x337e runnable

"GC task thread#2 (ParallelGC)" prio=10 tid=0x000000004011f800 nid=0x337f runnable

"GC task thread#3 (ParallelGC)" prio=10 tid=0x0000000040121800 nid=0x3380 runnable

"GC task thread#4 (ParallelGC)" prio=10 tid=0x0000000040123000 nid=0x3381 runnable

"GC task thread#5 (ParallelGC)" prio=10 tid=0x0000000040125000 nid=0x3382 runnable

"GC task thread#6 (ParallelGC)" prio=10 tid=0x0000000040127000 nid=0x3383 runnable

"GC task thread#7 (ParallelGC)" prio=10 tid=0x0000000040128800 nid=0x3384 runnable

"VM Periodic Task Thread" prio=10 tid=0x00002aabd4156800 nid=0x338c waiting on condition

JNI global references: 700

Heap
PSYoungGen      total 1379072K, used 1088334K [0x00002aab73120000, 0x00002aabd2e70000, 0x00002aabd2e70000)
  eden space 1179968K, 89% used [0x00002aab73120000,0x00002aabb389ec80,0x00002aabbb170000)
  from space 199104K, 16% used [0x00002aabc6c00000,0x00002aabc8b54c18,0x00002aabd2e70000)
  to   space 191040K, 0% used [0x00002aabbb170000,0x00002aabbb170000,0x00002aabc6c00000)
PSOldGen        total 3140288K, used 2391250K [0x00002aaab3670000, 0x00002aab73120000, 0x00002aab73120000)
  object space 3140288K, 76% used [0x00002aaab3670000,0x00002aab455a4820,0x00002aab73120000)
PSPermGen       total 21248K, used 7276K [0x00002aaaae270000, 0x00002aaaaf730000, 0x00002aaab3670000)
  object space 21248K, 34% used [0x00002aaaae270000,0x00002aaaae98b080,0x00002aaaaf730000)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon bluumi » Mi Aug 26, 2009 11:57 pm

Gibt es inzwischen eigentlich ein automatisches prozedere, dass es nur noch häppchenzurück verschiebt?
Also z. 300 - 500 blobs pro Aufstart. *zähneknirsch*
Bis morgen.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon Orbiter » Do Aug 27, 2009 12:07 pm

der -d - log war ziemlich aufschlussreich. Dir sind die file pointer ausgegangen. Ich habe hier einen schönen hack gemacht:

Nach dem initialen Öffnen eines blobs wird dieser in einer Hashtable abgelegt, und erst wieder angefasst wenn ein Index darin gesucht wird. Das referenzierte File wird erst wieder angefasst, wenn der RAM-Index sagt dass es da einen blob-record drin gibt. Da hatte ich die Idee, dass man das File dann doch auch einfach wieder schliessen kann, und erst wieder öffnet wenn man es denn dann braucht, dann bleibt es aber aus Performancegründen offen.

Der Hack ist in SVN 6267 drin. Damit solltest du eigentlich eine beliebig grosse Anzahl von blobs öffnen können. Bin gespannt ob das klappt.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 6263 - Peer erhängt sich beim aufstarten

Beitragvon LA_FORGE » Sa Okt 17, 2009 11:05 am

Bei mir das gleiche Problem bei der SVN 6419:

Code: Alles auswählen
E 2009/10/17 11:57:29 HTTPDFiles ERROR: path to configuration file or configurat
ion invalid
java.io.FileNotFoundException: D:\YACY (Zugriff verweigert)
S 2009/10/17 11:57:29 SHUTDOWN Shutdown via shutdown hook.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast