Yacy nicht mehr ansprechbar

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Sa Sep 26, 2009 5:08 pm

Da ich festgestellt habe, Yacy bleibt ab und an (meist nach 2 Tagen) einfach stehen und lässt sich auch nicht mehr per WebGUI ansprechen, habe ich des öfteren einen Neustart von Yacy durchgeführt. Nach dem ich letztens ein Update auf die aktuelle für Debian verfügbare Version durchgeführt habe, geht gar nichts mehr. Der java-Prozess läuft, braucht auch ab und an etwas mehr Speicher und erzeugt CPU-Last. Aber per Browser kein Zugriff.
kann keine Verbindung zu dem Server unter venus:8080 aufbauen.


Und das hier sind die letzten Zeilen aus dem aktuellen Logfile:
Code: Alles auswählen
I 2009/09/26 17:54:46 HeapReader using a dump of the index of /usr/share/yacy/DATA/INDEX/freeworld/TEXT/RICELL/index.20090923211246292.blob.
I 2009/09/26 17:54:46 kelondroSplitTable opening partial eco table /usr/share/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090913020311921.table
I 2009/09/26 17:54:46 TABLE initialization of urls.20090913020311921.table. table copy: no, available RAM: 234MB, needed: 6400MB, allocating space for 4971039 entries
I 2009/09/26 17:54:46 TABLE /usr/share/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090913020311921.table: TABLE /usr/share/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090913020311921.table has table copy DISABLED
I 2009/09/26 17:54:46 TABLE initializing RAM index for TABLE urls.20090913020311921.table, please wait.
I 2009/09/26 17:56:18 kelondroSplitTable opening partial eco table /usr/share/yacy/DATA/INDEX/freeworld/TEXT/METADATA/urls.20090910191557358.table
I 2009/09/26 17:56:19 TABLE initialization of urls.20090910191557358.table. table copy: no, available RAM: 100MB, needed: 6400MB, allocating space for 4970970 entries
I 2009/09/26 17:56:19 MEMORY performed necessary GC, freed 102830 KB (requested/available/average: 118555 / 205676 / 0 KB)


Ich hoffe ich bekomme das irgendwie wieder in den griff, ohne die Daten löschen zu müssen.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Vega » Mo Sep 28, 2009 8:34 am

Wie viel Speicher steckt in Deinem PC und noch viel wichtiger :) - wie viel hast Du Yacy zugewiesen ????

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Mo Sep 28, 2009 8:35 pm

Speicher im Rechner: 2GB
Momentan für Yacy freigegeben: 256MB

Mehr als 1,5GB realen RAM könnte ich Yacy nicht zur Verfügung stellen, ausser ich nutze Swap mit, da komme ich auf max. 3,5GB.
Das ist immer noch weit von den im Log benötigten 6,4GB entfernt.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Vega » Di Sep 29, 2009 7:02 am

Welche Version ist für Debian verfügbar ? Es gab vor kurzer Zeit mal einen BUG, der zufolge hatte das die Ram-Kopien der Tabellen nicht funktioniert haben.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Yacy nicht mehr ansprechbar

Beitragvon dulcedo » Di Sep 29, 2009 9:18 am

Man kann alle Versionen einsetzen wenn man von Hand installiert, tar.gz runterladen, entpacken und herkömmlich über startYACY.sh
Daten und Programme sind dann aber an anderen Orten abgelegt als bei start über init.d
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Di Sep 29, 2009 5:31 pm

Bei mir die Version 0.91svn634 installiert.

Ich mag es nicht immer per Hand nachzuschauen, ob es eine neue Version verügbar ist. Deshalb habe ich die deb-Quelle in mein Paketmanagement eingebunden und bei einem Update wird dann das gleich mit geprüft.

Egal, ich würde die Einstellung für RAM versuchsweise in der yacy.conf auf 1,5GB erhöhen. Welche Position ist da prädestiniert dafür und wie müsste ich das Umrechnen?
Code: Alles auswählen
60_remotecrawlloader_memprereq=

oder
Code: Alles auswählen
30_peerping_memprereq=

oder
Code: Alles auswählen
40_peerseedcycle_memprereq=

oder
Code: Alles auswählen
62_remotetriggeredcrawl_memprereq=

oder
Code: Alles auswählen
70_surrogates_memprereq=

oder
Code: Alles auswählen
50_localcrawl_memprereq=


Ich sehe gerade, es gibt einen Punkt "ramcopy=false". Was passiert, wenn ich den auf "true" setze?

Ich hoffe auf eure Hilfe.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Orbiter » Di Sep 29, 2009 11:14 pm

keins von denen, du gehst auf localhost:8080/Performance_p.html und trägst dort in den Speicher Einstellungen den RAM für die JVM ein, danach musst du neu starten.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Mi Sep 30, 2009 11:27 am

Und da sind sie wieder meine Probleme. Ich kann die WebGUI nicht aufrufen.

Fehlermeldung Firefox:
Verbindung fehlgeschlagen

Firefox kann keine Verbindung zu dem Server unter venus.mainz:8080 aufbauen.

Obwohl die Website gültig erscheint, konnte keine Verbindung aufgebaut werden.

* Könnte die Website temporär nicht verfügbar sein? Versuchen Sie es später nochmals.
* Können Sie auch andere Websites nicht aufrufen? Überprüfen Sie die Netzwerk-Konfiguration des Computers.
* Wird Ihr Computer oder Netzwerk durch eine Firewall oder einen Proxy geschützt? Falsche Einstellungen können den Web-Zugriff stören.


Fehlermeldung links:
Error loading http://localhost:8080/Performance_p.html:

Bad URL syntax


Anmerken möchte ich noch, dass ich nur remote zugreife. Yacy läuft auf einem Server, der weder Tastatur noch Monitor hat.

Es muss doch eine andere Möglichkeit geben den benutzbaren Speicher einzustellen.

Ach so, mit neu starten ist doch hoffentlich nur der Yacy- bzw. Java-Prozess gemeint und nicht der ganze Rechner.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Low012 » Mi Sep 30, 2009 11:55 am

RadioCarbon hat geschrieben:Ach so, mit neu starten ist doch hoffentlich nur der Yacy- bzw. Java-Prozess gemeint und nicht der ganze Rechner.

Ja, den kompletten Server neu zu starten sollte im Zusammenhang mit YaCy nie notwendig sein.

Es gibt noch die Möglichkeit, dass du YaCy stoppst, die Konfigurationsdatei von Hand änderst und dann YaCy wider startest.

Die Konfigurationsdatei findest du unter DATA/SETTINGS/yacy.conf. Dort musst du nach den beiden Zeilen suchen, in denen Xmx bzw. Xms vorkommt und dort jeweils eintragen, wieviel Speicher du YaCy zuweisen möchtest.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Mi Sep 30, 2009 12:12 pm

Danke, das hat erst einmal geholfen. Yacy ist wieder per GUI ansprechbar. Mal sehen ob es jetzt durchläuft oder wieder alle 2 Tage neu gestartet werden möchte.

Nun muss ich nur noch rausfinden, wie ich kontrollieren kann, ob der java-Prozess auf die CPUs und deren Kerne verteilt wird.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Orbiter » Mi Sep 30, 2009 12:55 pm

das skalieren geht automatisch.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy nicht mehr ansprechbar

Beitragvon RadioCarbon » Mi Sep 30, 2009 7:47 pm

Ah, danke für die Auskunft. Eine Sorge weniger.
RadioCarbon
 
Beiträge: 12
Registriert: Fr Sep 11, 2009 9:26 pm

Re: Yacy nicht mehr ansprechbar

Beitragvon Orbiter » So Nov 08, 2009 11:55 pm

hast du schon mit aktuellem SVN 6470 probiert?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy nicht mehr ansprechbar

Beitragvon dulcedo » Mo Nov 09, 2009 7:41 am

6470 ist auf längere Laufzeit wesentlich stabiler als die anderen 0.92er Versionen vorher. Wer eine andere Subversion nutzt, und Probleme hat, sollte auf jeden Fall updaten.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Yacy nicht mehr ansprechbar

Beitragvon bluumi » Do Nov 12, 2009 8:12 pm

dulcedo hat geschrieben:6470 ist auf längere Laufzeit wesentlich stabiler als die anderen 0.92er Versionen vorher.

SVN 6470+73 kann ich Deine Aussage bestätigen. Mit 6476 stürzt es mir innerhalb einer Stunde ab ... 45 min. läuft das LogFile brav voll, dann verschluckt es sich. OOM sehe ich jedoch nicht.
yacy01.zip
19:35 Stacktrace null
(42.06 KiB) 16-mal heruntergeladen

Gestern
Code: Alles auswählen
19:35:27 StackTrace null
java.util.ConcurrentModificationException
   at java.util.HashMap$HashIterator.nextEntry(Unknown Source)
   at java.util.HashMap$EntryIterator.next(Unknown Source)
   at java.util.HashMap$EntryIterator.next(Unknown Source)
   at java.util.HashMap.putAll(Unknown Source)
   at de.anomic.yacy.yacySeed.toString(yacySeed.java:837)
   at de.anomic.yacy.yacySeed.genSeedStr(yacySeed.java:852)
   at de.anomic.yacy.yacySeed.genSeedStr(yacySeed.java:844)
   at hello.respond(hello.java:206)
   at sun.reflect.GeneratedMethodAccessor16.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1199)
   at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:757)
   at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:254)
   at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:628)
   at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:733)
   at de.anomic.server.serverCore$Session.run(serverCore.java:627)


ich bin nicht ganz sicher ob dies der Fehler ist, oder es nicht bereits etwas früher (unauffälliger) passiert.
bis Gestern 19:28 sind erfolgreiche "INDEX-TRANSFER-DISPATCHER " zu finden, später keiner mehr. Ob zu dieser Zeit der Peer noch ansprechbar weiss ich jedoch auch nicht.

Peer vor 10 min gekillt neu gestartet.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Yacy nicht mehr ansprechbar

Beitragvon bluumi » Fr Nov 13, 2009 4:09 pm

Nanu, nun bin ich platt. Nach killen und restarten, wollte updaten und vergass es, läuft dieselbe Kiste, mit demselben Job (nämlich kein Job als DHT-out machen) seit 20Std und ist noch immer erreichbar.
Zwar habe ich alle paar Minuten einen OOM im Log, aber das kann ich verstehen / akzeptieren, da der Peer weiterhin erreichbar für Suchanfragen ist, was mir deutlich wichtiger ist.
Code: Alles auswählen
W 2009/11/13 15:59:02 StackTrace null
java.lang.reflect.InvocationTargetException
   at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:98)
   at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:145)
Caused by: java.lang.OutOfMemoryError: Java heap space

W 2009/11/13 15:59:02 StackTrace Java heap space
java.lang.OutOfMemoryError: Java heap space

E 2009/11/13 15:59:02 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.search.Switchboard.dhtTransferJob': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Yacy nicht mehr ansprechbar

Beitragvon dulcedo » Fr Nov 13, 2009 5:28 pm

Das Problem ist dass bei mir einige Stunden danach die Speicherkurve zur geraden Linie wird und der peer ausser den core-jobs nichts mehr macht. Er ist dann auch immer zäher erreichbar bis nach eine Tag ca. gar nicht mehr.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Yacy nicht mehr ansprechbar

Beitragvon dulcedo » Sa Nov 14, 2009 8:44 am

Warum lässt er sich in diesem Zustand auch per stopYACY nicht herunterfahren?
Ich mache mir regelmässig über kiills die Datenbank kaputt, oder er braucht dann Stunden zum hochfahren. Also wenn man dem hängen schon nicht auf die Spur kommt. könnte man ihn dann nicht wenigstens hier sauber herunterfahren?
Code: Alles auswählen
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/daily
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-11-05T12:21:02Z] http://www.indymedia.org/de
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-10-29T11:25:23Z] http://piratenpartei.de/
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-09-01T02:52:43Z] http://liberale.de/
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-08-31T17:00:43Z] http://www.cdu.de/
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/weekly
I 2009/11/14 05:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/monthly
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - reading schedules from /home/yacy/yacy-b/DATA/SETTINGS/autoReCrawl.conf
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/hourly
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/daily
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-11-05T12:21:02Z] http://www.indymedia.org/de
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-10-29T11:25:23Z] http://piratenpartei.de/
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-09-01T02:52:43Z] http://liberale.de/
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - checking schedule for: [2009-08-31T17:00:43Z] http://www.cdu.de/
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/weekly
I 2009/11/14 06:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/monthly
I 2009/11/14 07:04:49 BOOKMARKS autoReCrawl - reading schedules from /home/yacy/yacy-b/DATA/SETTINGS/autoReCrawl.conf
I 2009/11/14 07:04:49 BOOKMARKS autoReCrawl - processing: /autoReCrawl/hourly
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/daily
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-10-29T11:25:23Z] http://piratenpartei.de/
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-09-01T02:52:43Z] http://liberale.de/
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-08-31T17:00:43Z] http://www.cdu.de/
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/weekly
I 2009/11/14 07:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/monthly
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - reading schedules from /home/yacy/yacy-b/DATA/SETTINGS/autoReCrawl.conf
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/hourly
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/daily
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-11-05T12:21:02Z] http://www.indymedia.org/de
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-10-29T11:25:23Z] http://piratenpartei.de/
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-09-01T02:52:43Z] http://liberale.de/
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - checking schedule for: [2009-08-31T17:00:43Z] http://www.cdu.de/
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/weekly
I 2009/11/14 08:04:50 BOOKMARKS autoReCrawl - processing: /autoReCrawl/monthly

Er zeigt 800MB freien Speicher in der JVM an, im Dump sagt er aber folgendes:
Code: Alles auswählen
Heap
PSYoungGen      total 2143040K, used 1736587K [0x00007f13226e0000, 0x00007f13bc980000, 0x00007f13bc980000)
  eden space 1749632K, 99% used [0x00007f13226e0000,0x00007f138c6c2f38,0x00007f138d380000)
  from space 393408K, 0% used [0x00007f13a4950000,0x00007f13a4950000,0x00007f13bc980000)
  to   space 382784K, 0% used [0x00007f138d380000,0x00007f138d380000,0x00007f13a4950000)
PSOldGen        total 5051776K, used 4903256K [0x00007f11ee180000, 0x00007f13226e0000, 0x00007f13226e0000)
  object space 5051776K, 97% used [0x00007f11ee180000,0x00007f13195d63f0,0x00007f13226e0000)
PSPermGen       total 29312K, used 29003K [0x00007f11e3980000, 0x00007f11e5620000, 0x00007f11ee180000)
  object space 29312K, 98% used [0x00007f11e3980000,0x00007f11e55d2df8,0x00007f11e5620000)

dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste