yacy-"Hänger"

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

yacy-"Hänger"

Beitragvon wsb » Mo Jun 16, 2008 10:01 am

Bei allen unseren yacy-Peers passiert es immer wieder, dass yacy "hängt", d.h. es kommen keine Antworten mehr, Abfragen enden im Timeout. Besonders misslich ist das, wie gerade eben geschehen, bei dem yacy-Peer, der metager feedet, denn damit laufen auch alle metager-Abfragen ins Timeout. Mit anderen Worten: der yacy-Peer "bremst dann metager aus" (metager wird langsam).

In DATA/LOG/yacy00.log findet man in dieser Situation als letzte Zeile immer:
Code: Alles auswählen
java.lang.OutOfMemoryError: Java heap space


Dabei ist gerade dieser Peer mit Memory "reich gesegnet": 1 GB nur für yacy. Ich hänge mal die letzten Zeilen aus DATA/LOG/yacy00.log hier dran, vielleicht gibt das einen Hinweis auf das Problem:

Code: Alles auswählen
W 2008/06/16 10:19:03 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 3763 KB, needed: 4096 KB
W 2008/06/16 10:19:02 PLASMA Thread 'de.anomic.plasma.plasmaSwitchboard.dhtTransferJob' runs short memory cycle. Free mem: 3327 KB, needed: 6144 KB
I 2008/06/16 10:19:18 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 6144 / 3165 / -1415 KB)
W 2008/06/16 10:19:39 PLASMA Thread 'de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob' runs short memory cycle. Free mem: 3137 KB, needed: 6144 KB
I 2008/06/16 10:19:13 LOCAL_SEARCH INIT WORD SEARCH: Steuertabelle:[N5VxXyrsnl_6] - 10 links to be computed, 10 lines to be displayed
I 2008/06/16 10:19:12 MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 4096 / 2028 / -1415 KB)
W 2008/06/16 10:19:44 PLASMA Thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' runs short memory cycle. Free mem: 3028 KB, needed: 4096 KB
I 2008/06/16 10:19:07 LOCAL_SEARCH INIT WORD SEARCH: Presto Page Manager:[HQJYwkQKjRnn, HpVHcYEyENpW, cYYMd8Z0U3mw] - 10 links to be computed, 10 lines to be displayed
I 2008/06/16 10:22:00 LOCAL_SEARCH INIT WORD SEARCH: homepage xxx yyy:[JiU8UHQfqpwu, Ov6qxy1VICWT, ujmI2woxZwk7] - 10 links to be computed, 10 lines to be displayed
I 2008/06/16 10:21:58 LOCAL_SEARCH INIT WORD SEARCH: aaa GmbH:[djWiwJvW9NTa, wKJ6KKLemAbg] - 10 links to be computed, 10 lines to be displayed
E 2008/06/16 10:22:38 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/yacy/yacy/htroot/yacysearch.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:585)
        at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1032)
        at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:634)
        at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:262)
        at de.anomic.http.httpd.GET(httpd.java:493)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:585)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:756)
        at de.anomic.server.serverCore$Session.run(serverCore.java:637)
Caused by: java.lang.OutOfMemoryError: Java heap space

wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy-"Hänger"

Beitragvon wsb » Mo Jun 16, 2008 10:24 am

wsb hat geschrieben:Bei allen unseren yacy-Peers passiert es immer wieder, dass yacy "hängt", d.h. es kommen keine Antworten mehr, Abfragen enden im Timeout. Besonders misslich ist das, wie gerade eben geschehen, bei dem yacy-Peer, der metager feedet, denn damit laufen auch alle metager-Abfragen ins Timeout. Mit anderen Worten: der yacy-Peer "bremst dann metager aus" (metager wird langsam).


Der gleiche Fehler ist gerade wieder aufgetreten - ich muss den yacy-Peer erstmal wieder rausnehmen als metager-Feed.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy-"Hänger"

Beitragvon Orbiter » Mo Jun 16, 2008 11:23 am

ich gehe davon aus das die hohe Suchfrequenz irgendwo mehr Speicher und Caches belegt, als durch die regelmäßigen Vorgänge in YaCy wieder frei gegeben werden können. Ich vermute hier speziell ein Problem im RWI RAM-Cache, hier gibt es ebenfalls ein Problem bei der Anzeige der Anzahl der Suchergebnisse. Muss ich mal schauen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy-"Hänger"

Beitragvon wsb » Mo Jun 16, 2008 1:45 pm

Orbiter hat geschrieben:ich gehe davon aus das die hohe Suchfrequenz irgendwo mehr Speicher und Caches belegt, als durch die regelmäßigen Vorgänge in YaCy wieder frei gegeben werden können. Ich vermute hier speziell ein Problem im RWI RAM-Cache, hier gibt es ebenfalls ein Problem bei der Anzeige der Anzahl der Suchergebnisse. Muss ich mal schauen.


Was diese Vermutung unterstützt, sind zwei Beobachtungen:
1) Am Wochenende, als die Suchfrequenz deutlich geringer war, trat dieses Problem nicht auf.
2) Wenn ich in so einer Hänge-Situation yacy schnell genug aus metager rausnehme, und ein paar Minuten warte, dann "fängt" sich yacy wieder uhd läuft normal weiter. Da wird wohl wirklich nicht schnell genug wieder Speicher freigegeben.

Ich werde dem metager yacy-Peer jetzt mal 2 GB RAM geben, dann müsste es ja auch stabiler laufen - mal sehen ...
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy-"Hänger"

Beitragvon Orbiter » Mo Jun 16, 2008 2:17 pm

ich habe eben mal ein paar tests lokal gemacht, und dabei festgestellt dass YaCy an der von mir oben vermuteten Stelle richtig funktioniert, dafür aber der Such-Cache auffällig viel RAM beansprucht. Dieser RAM wird regelmäßig wieder frei gegeben, das passt mit deiner Beobachtung zusammen. Jetzt müsste ich schauen das die Freigabe nicht nur periodisch, sondern auch durch zu wenig vorhandenem RAM gesteuert wird. Sollte nicht schwer sein, mal gucken vielleicht schaffe ich es heute Nacht...
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy-"Hänger"

Beitragvon Orbiter » Mo Jun 16, 2008 10:47 pm

ist drin, svn 4933
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy-"Hänger"

Beitragvon wsb » Di Jun 17, 2008 9:53 am

Orbiter hat geschrieben:ist drin, svn 4933


WOW, und das auch noch gerade vor Mitternacht :-) Ich werd jetzt ALLE unsere Peers (rrzn und suma-ev) darauf upgraden.

Die Erhöhung des RAM auf 2 GB für die JVM bei dem metager-feed-Peer hat übrigens auch gewirkt: danach gab es keine Hänger mehr.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy-"Hänger"

Beitragvon ribbon » Di Jun 17, 2008 2:14 pm

hallo, was ist den mit der idee einer zweiten backup machine, und was mit der idee, die urls der metager zu crawlen für yacy? kann man nicht mal einen test machen, die suchanfragen ins netzwerk zu leiten?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy-"Hänger"

Beitragvon Orbiter » Di Jun 17, 2008 3:01 pm

Antwort passt hier besser: viewtopic.php?p=8543#p8543
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron