Http Server funzt nicht

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Http Server funzt nicht

Beitragvon u-tx » Di Nov 03, 2009 4:43 am

Hallo,

ich bin seit neuem dabei als Peer, erstmal hallo an alle. Ich finde euer Projekt toll und werde euch unterstützen, ein Peer laufen lassen kann ich gerne, soweit das mein Server nicht zu viel beansprucht und alles ohne viel Aufwand meinerseits weiter läuft.

Ich habe ein Problem mit dem Http Server, gelegentlich bekomme ich ein weißes Blatt, wenn ich eine Seite abrufe, nach mehreren Versuchen funktionierte es bisher immer wieder. Nur jetzt geht überhaupt nichts mehr, ich kann auf keine Seite zugreiffen. Das Programm scheint weiterhin zu laufen. Wenn ich mich mit telnet u-tx.net 8080 einlogge, wird die Verbindung vom Server angenommen aber sofort geschlossen, eher ich überhaupt eine Anfrage versenden kann.

Das Programm läuft auf einem von mir angemieteten Server (server4you) auf Debian GNU/Linux (Lenny), 512 MB für die Java VM.

Grüße,

Francesc
u-tx
 
Beiträge: 4
Registriert: Di Nov 03, 2009 4:34 am
Wohnort: Büdingen, Hessen

Re: Http Server funzt nicht

Beitragvon Vega » Di Nov 03, 2009 10:34 am

Hm, Du kannst Dich nur mittels SSH mal auf dem Server anmelden, und an der Konsole nachsehen ob der entsprechende Prozess noch läuft, bzw.mal im Yacy Verzeichniss unter /DATA/LOG nachsehen was im Log steht.... dann sehen wir weiter.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Http Server funzt nicht

Beitragvon u-tx » Di Nov 03, 2009 8:04 pm

Danke für die Antwort.
Ja, der Prozess läuft nach wie vor und er reagiert auf das Port 8080 (obwohl die Verbindung sofort vom Server abgeschlossen wird), die log-Einträge werden laufend gemacht, allerdings fallen mir da diese Einträge aus:
francesc@u-tx:/usr/share/yacy/DATA/LOG$ grep -i memory yacy00.log|tail
java.lang.OutOfMemoryError: GC overhead limit exceeded
I 2009/11/03 19:59:24 PLASMA dhtTransferJob: no selection, too less memory available : 15 MB
java.lang.OutOfMemoryError: GC overhead limit exceeded
I 2009/11/03 19:59:39 PLASMA dhtTransferJob: no selection, too less memory available : 12 MB
java.lang.OutOfMemoryError: GC overhead limit exceeded
I 2009/11/03 19:59:54 PLASMA dhtTransferJob: no selection, too less memory available : 1 MB
java.lang.OutOfMemoryError: GC overhead limit exceeded
java.lang.OutOfMemoryError: GC overhead limit exceeded
java.lang.OutOfMemoryError: GC overhead limit exceeded
I 2009/11/03 20:00:41 PLASMA dhtTransferJob: no selection, too less memory available : 21 MB

Habe ich da zu wenig Speicher? Ich hatte die Java-VM-Grenze auf 512 MB gesetzt.
u-tx
 
Beiträge: 4
Registriert: Di Nov 03, 2009 4:34 am
Wohnort: Büdingen, Hessen

Re: Http Server funzt nicht

Beitragvon bluumi » Di Nov 03, 2009 8:08 pm

Jep, es sagt dass Dein Memory ausgegangen sei. Wie schnell ist denn Dein Peer schon gross geworden, oder in deutsch: Wieviele URL/Wörter hat er?
Ich hab jetzt schon länger keinen Peer mehr mit nur 512MB, aber eigentlich dürfte Dir da nicht schon bei Beginn deiner Yacy Karriere der "Saft" ausgehen. Hast Du riesige CrawlJobs angesetzt oder wird Dein Peer massig belastet?
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Http Server funzt nicht

Beitragvon u-tx » Di Nov 03, 2009 8:39 pm

Hallo, laut yacystats.de habe ich 7 Mio Links (das ist wohl Stand zu Gestern), in meinem Server kann ich dies nicht sehen, da die Webseiten nicht funktionieren, auch nach einem Neustart von yacy nicht.
Ich habe gestern ein Crawl angestoßen, das schon viele URL verursachen wird, denn er ging direkt von einer Seite aus dmoz.org aus. Aber: spielt das eine Rolle? Ich dachte das ganze dauer halt länger, ich dachte nicht, das würde das Programm belasten. Oder muss man dem das Futter in kleinen Mengen geben?
512 MB ist wenig? Na ja, den Server möchte ich auch für andere Zwecke einsetzen! :-)
Wie kann ich diese Grenze erhöhen ohne die Weboberfläche benutzen zu können? Gibt es da eine Konfig-Datei?
u-tx
 
Beiträge: 4
Registriert: Di Nov 03, 2009 4:34 am
Wohnort: Büdingen, Hessen

Re: Http Server funzt nicht

Beitragvon Low012 » Di Nov 03, 2009 11:16 pm

Du kannst in DATA/SETTINGS/yacy.conf nach Xmx und Xms suchen. Dort jeweils angeben, wieviel Speicher du zur Verfügung stellen möchtest.

Also für 640MB zum Beispiel:

javastart_Xmx=Xmx640m
javastart_Xms=Xms640m

Damit die Änderung wirksam wird, ist ein Neustart fällig.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Http Server funzt nicht

Beitragvon bluumi » Mi Nov 04, 2009 6:52 pm

u-tx hat geschrieben:Ich habe gestern ein Crawl angestoßen, das schon viele URL verursachen wird, Oder muss man dem das Futter in kleinen Mengen geben?
512 MB ist wenig? Na ja, den Server möchte ich auch für andere Zwecke einsetzen! :-)

Hab mich da unglücklich ausgedrückt. Ich meinte nicht, dass 512MB "grundsätzlich" wenig ist, aber ich habe zwei Peers welche schon länger laufen und mittlerweile auf über 100 Mio Links und je 6.5Gbyte Ram angewachsen sind ;)
Mir kam es schon sehr so vor, dass er natürlich wenn er VIEL im Crawl/Index puffer hat, dass er dann auch deutlich mehr Speicher benötigt. Irgendwo muss er sich sowohl Dinge zum Job als auch anderes Cachen. Und umso mehr URLS/Wörter "im kopf" behalten muss, umso mehr RAM. Kurzum, ich denke schon dass es deutlich wenig RAM braucht wenn er nur ein paar dutzend tausende URLs im Puffer hat, als wenn er auf einen tiefe 7 Crawl aus ist.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Http Server funzt nicht

Beitragvon u-tx » Mi Nov 04, 2009 8:36 pm

Hallo,
ok, Danke. Jetzt scheint es bei mir zu funktionieren, nachdem ich es auf 768 MB erhöht habe. (Ich hatte es zuerst auf 1024 MB gesetzt, das Problem bestand aber weiterhin und hat den Server fast lahm gelegt.)

Grüße,
Francesc
u-tx
 
Beiträge: 4
Registriert: Di Nov 03, 2009 4:34 am
Wohnort: Büdingen, Hessen


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste