Shutdown/logging/java.lang.OutOfMemoryError

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon muixirt » Di Jul 16, 2013 9:59 am

Ich benutze Yacy 1.5 mit Oracle JDK unter Linux. Nach rund 20min. Betrieb ist das Webinterface nicht mehr ansprechbar und kann auch mit stopYACY.sh nicht mehr herunter gefahren werden. Mehr Speicher zuzuweisen bringt auch keine Abhilfe (mittlerweile 1300MB). Welche Schritte kann ich unternehmen um dies zu korrigieren. Es ist wirklich sehr nervig das YACY weiter wurstelt ohne dass man es sauber herunterfahren kann.
Kann man das Logging (yacy00.log) abschalten oder weniger geschwätzig machen? Für Normaluser ist dieser Wust an Informationen nicht so nützlich und oft werden Megabytes an Text pro Minute auf die Festplatte gespült.
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon Orbiter » Di Jul 16, 2013 2:52 pm

in den letzten Wochen habe ich einiges gefunden, was das verursachen könnte, u.a. auch notwendige Solr Optimize Aufrufe nach 6 Stunden. Bitte gucke mal ob ein aktuelles Dev-Release immer noch so krass schnell weg ist.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon muixirt » Di Jul 16, 2013 4:26 pm

Sofern sich seit gestern nichts an den 'dev' Versionen geändert hat brauche ich das nicht aus zu probieren, da ich erst gestern auf 1.5/9000 "downgegradet" hatte :-) (vorher dev 1.51 9132)

Vielleicht ist ist in /DATA/* irgendetwas kaputt gegangen.

Habe jetzt Yacy noch einmal mit mehr RAM-Zuweisung gestartet (1800MB).
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon muixirt » Di Jul 16, 2013 10:00 pm

Mehr Speicher hat nicht geholfen :-(
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon Vega » Mi Jul 17, 2013 8:43 am

Wie groß ist der Index, wieviel Speicher hat Dein Rechner ?

Thomas

muixirt hat geschrieben:Mehr Speicher hat nicht geholfen :-(
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon muixirt » Mi Jul 17, 2013 10:21 am

Der PC hat 4GB RAM, der Index hat 8,3 Mio. Dokumente.

Noch mehr Speicher zu zuweisen macht für mich weniger Sinn, da ich den PC auch für andere Dinge verwende, häufige GC Läufe mit Heaps >=2GB werden da schnell lästig ;-)
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon Vega » Mi Jul 17, 2013 2:43 pm

Ups - ich denke Dein Index hat jetzt einfach eine Größe wo es "knallt" - also einfach der Speicher nicht mehr reicht.
Mehr als 3 GB würde ich auch nicht zuweisen, damit für das OS noch was übrigbleibt.
Ich würde also einmalig mehr Speicher zuweisen, soviel wie möglich - das kannst Du händisch in der yacy.conf (irgendwo im DATA Verzeichnis) Datei machen oder unter Unix/Linux mit der Datei ./reconfigureYACY.sh. Dann mit ./startYACY.sh -d hochfahren und das Log beobachten. Dann (Teil) des Indexes Löschen, Ram wieder einstellen in YaCy und neu starten.
Damit die Kiste nicht so schnell "volläuft das hier gesagte machenhttp://forum.yacy-websuche.de/viewtopic.php?f=5&t=4708

Thomas

muixirt hat geschrieben:Der PC hat 4GB RAM, der Index hat 8,3 Mio. Dokumente.

Noch mehr Speicher zu zuweisen macht für mich weniger Sinn, da ich den PC auch für andere Dinge verwende, häufige GC Läufe mit Heaps >=2GB werden da schnell lästig ;-)
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon muixirt » Do Jul 18, 2013 11:06 am

Teile des Index löschen und dafür sorgen dass möglichst wenig in den Index aufgenommen wird? Wirklich? Da gibt es wohl einige Zielkonflikte...

Zugegebenermaßen habe ich nicht die geringste Ahnung ob sich dieses Problem technisch lösen lässt.
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Shutdown/logging/java.lang.OutOfMemoryError

Beitragvon Vega » Mo Jul 22, 2013 10:22 am

Wieso Zielkonflikte ? Dem YaCy Netzwerk nutzen kleinere Peers, die schnell Antworten genauso wie große. Ziel ist es in YaCy in Ressourcenmanagement zu integrieren was dafür sorgt das der "normale" Desktop" Benutzer keine Einschränkungen in seiner täglichen Arbeit/Nutzung des Computers erfährt.
Leider ist genau das nicht so ganz einfach und kann aktuell nur durch Händisches Eingreifen mehr oder weniger gewährleistet werden.

Thomas

muixirt hat geschrieben:Teile des Index löschen und dafür sorgen dass möglichst wenig in den Index aufgenommen wird? Wirklich? Da gibt es wohl einige Zielkonflikte...

Zugegebenermaßen habe ich nicht die geringste Ahnung ob sich dieses Problem technisch lösen lässt.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast