Server nicht erreichbar, aber arbeitet

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Server nicht erreichbar, aber arbeitet

Beitragvon Halborinda » Fr Jun 27, 2008 4:06 pm

Hi,

seit letzter Zeit arbeitet bei mir YaCy sehr instabil. Bisher hat er nach einer längeren Laufzeit (~1 Tag) einen sehr introvertierten Zustand erreicht.

Mittlerweile ist es wohl so, dass er zwar definitiv arbeitet (laut logs), aber nicht richtig mehr mit der Außenwelt kommuniziert.

Direkte Anfragen endeten mit einem Timeout (nicht mit einer Blockade) und YaCyStats hat jetzt auch seit 18 Stunden keine Daten mehr von dem Server aufgezeichnet. Ich musste alle Prozesse killen.

releaseVersion=0.591
releaseNr=$Revision: 4957 $

Hat jemand eine Idee?

Grüße
Zuletzt geändert von Halborinda am Di Jul 01, 2008 6:46 am, insgesamt 1-mal geändert.
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erriechbar, aber arbeitet

Beitragvon thq » Fr Jun 27, 2008 4:20 pm

Da die DB's in der Regel ja eher größer werden ist jetzt vielleicht der Punkt erreicht wo YaCy mehr Speicher braucht !?
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Server nicht erriechbar, aber arbeitet

Beitragvon Halborinda » Fr Jun 27, 2008 5:05 pm

Nun ich gebe ihm 2560MB. Mehr ist mir nicht möglich. Wenn das nicht reicht, dann kann ich den Server nicht mehr betreiben :-/

Wobei ich das nicht ganz verstehe. Er arbeiet und indiziert ja laut Logs, reagiert nur nicht mehr auf externe Anfragen. Es läuft ja auch immer eine Zeitlang gut, aber dann wird er ungesprächig...

Mein YaCy belegt 44 GB Festplattenplatz, umfasst knapp 10 Millionen Links und mehr als 16 Millionen RWIs.
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erriechbar, aber arbeitet

Beitragvon thq » Fr Jun 27, 2008 6:05 pm

Hier ist Orbiter jetzt eigentlich der richtige Ansprechpartner. Ein Problem ist meiner Meinung nach die zu niedrigen Werte für "Stop Grow" und "Start Shrink". Nach dem ich die bei mir auf 50MB und 25MB erhöht habe habe ich viel weniger Probleme (durch andere Umbauten habe ich eigentlich überhaupt keine Probleme mehr, mal gucken wie lange noch ;) ). Wenn der Peer auch noch Crawlen soll würde ich die noch höher setzen, erst recht wenn man so viel Speicher hat. Das Problem ist alt und dürfte immer noch daran liegen das der GC in extrem Situationen nicht schnell genug Speicher frei gibt. Aber wie gesagt, hier muss dir ein anderer helfen.

Zum Vergleich, mein Peer "thq" hat 1400MB.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Server nicht erriechbar, aber arbeitet

Beitragvon Huppi » Fr Jun 27, 2008 9:35 pm

Bei mir laufen auch Peers mit ca. 10 Millionen URLs und Words mit 512MB RAM (460 MB für YaCy) noch ordentlich. Die können wg. Speicher nicht mehr crawlen, machen aber DHT, reagieren auf Suchanfragen und auf das Webinterface.
Bei >2GB RAM sollte Deine DB-Größe noch kein Problem darstellen.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Server nicht erriechbar, aber arbeitet

Beitragvon datengrab » Fr Jun 27, 2008 10:02 pm

Mir scheint es das die GCs - ich habe / hatte schon IBMs als auch SUNs Java im Gebrauch - noch nicht ausgereift sind. Der Speicher läuft mit der Zeit einfach voll. Am besten sieht man es daran, das in den meisten Fällen nach eimen Neustart von yacy wieder ausreichd Speicher vorhanden ist und damit das System wieder einige Zeit problemlos läuft. Beschleunigt wird der Prozess durch intensive Nutzung, z.B. massives crawlen. Allerdings muss man sagen, dass dies durch einige Änderungen in letzter Zeit weit besser geworden ist!
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: Server nicht erriechbar, aber arbeitet

Beitragvon Orbiter » Fr Jun 27, 2008 11:24 pm

Wie kommt ihr immer nur auf Speicherprobleme? Halborinda schreibt nichts dazu, im Gegenteil, er schreibt das sein YaCy arbeitet. Wir wissen das YaCy bei Speichermangel korrekterweise nichts mehr macht, aber das Webinterface ist deswegen selten ausgefallen.

Ich nehme hier eher an dass die Schutzmechanismen fälschlicherweise anspringen könnten, warum auch immer.
Bitte guck mal ob du ein "SLOWING DOWN ACCESS FOR BRUTE-FORCE PREVENTION" im log hast. Oder irgendwas anderes verdächtiges.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Server nicht erriechbar, aber arbeitet

Beitragvon lulabad » Sa Jun 28, 2008 7:17 am

Die Diskussion über die Speicherprobleme bitte da weiterführen: viewtopic.php?f=5&t=1293
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: Server nicht erriechbar, aber arbeitet

Beitragvon Halborinda » Di Jul 01, 2008 6:45 am

Hi!

Ich hatte das ganze Log durchgeschaut und nichts auffälliges gefunden. Das "SLOWING DOWN ACCESS FOR BRUTE-FORCE PREVENTION" kenne ich schon und war auch nicht drinnen.

Aber jetzt habe ich seit einigen Tagen keine Probleme mehr. Hat sich was verändert? Gab es komische Seiten? Ich weiß es nicht...

Nur zur Vollständigkeit... Mein vorheriges Progblem war Server ist nicht erreichbar und tut nichts.

Grüße
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Halborinda » Di Jul 01, 2008 6:43 pm

Tja typischer Fall von "Zu früh gefreut..."

Kein Slowing down, aber dafür ein Timeout beim Verbinden... Der Server läuft seit gut 11 Stunden und seit ca. 15 Minuten ist er nicht mehr erreichbar, aber craweled ganz fleißig...
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Halborinda » Di Jul 08, 2008 7:52 pm

Heute ist es wieder passiert... Nach zwei Stunden meldete er sicht nicht mehr, aber arbeitet trotzdem seit 10 Stunden fleißig. Bei Connection-Versuchen kommt es zu einem TImeOut nicht zu einem Reject.
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Halborinda » Mi Jul 30, 2008 8:26 pm

Nun... Es passiert schon wieder... :-/
YaCy reagiert auch nicht auf Shutdowns...

Revision: 5027
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erreichbar, aber arbeitet

Beitragvon DanielR » Do Jul 31, 2008 1:34 pm

Halborinda hat geschrieben:YaCy reagiert auch nicht auf Shutdowns...

kann ich nicht bestätigen (mit etwas modifizierter 5028)
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Lotus » Do Jul 31, 2008 8:00 pm

DanielR hat geschrieben:
Halborinda hat geschrieben:YaCy reagiert auch nicht auf Shutdowns...

kann ich nicht bestätigen (mit etwas modifizierter 5028)

Mit 5028 habe ich sowohl unter Windows als auch unter Ubuntu keine Probleme.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Halborinda » Do Jul 31, 2008 8:05 pm

War wohl ein einmaliges Vorkommnis. Nach einen Kill und Start ging es wieder... In den Logs war aber nichts über einen Shutdown-Anstoß zu finden...
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Lotus » Do Jul 31, 2008 8:08 pm

Halborinda hat geschrieben:In den Logs war aber nichts über einen Shutdown-Anstoß zu finden...

So sollte es aussehen:
SHUTDOWN caught termination signal
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Server nicht erreichbar, aber arbeitet

Beitragvon ChrisJ » Sa Aug 02, 2008 4:15 pm

Also ich habe bei mir festgestellt das, mein Rechner es nicht verkraftet wenn der Crawler zuuuuviele Seiten durchsucht.

Gleich zu beginn habe ich 6 Internetseiten mit = Start Crawling, initialisiert. Ergebnis: Yacy Reagiert nach 3-5 Minuten nicht mehr.

Local Crawler Pausiert => Stabil
Local Crawler Continue => Freeze
Set PPM Max 10 => Stabil (Werde da noch steigern...)

Vermutung: Denke es liegt an meiner (Hardware), Vielleicht ist es aber doch ein Bug, oder noch nicht ausreichend getestetes Verhalten unter hoher Last mit dem Crawler etc? Ich verwende immer noch die "Stabel Version".

Chris
ChrisJ
 
Beiträge: 8
Registriert: So Jul 27, 2008 5:19 pm

Re: Server nicht erreichbar, aber arbeitet

Beitragvon Lotus » Sa Aug 02, 2008 5:41 pm

ChrisJ hat geschrieben:Gleich zu beginn habe ich 6 Internetseiten mit = Start Crawling, initialisiert. Ergebnis: Yacy Reagiert nach 3-5 Minuten nicht mehr.

Behalte einmal die Speicherauslastung um Auge. Auf der Seite zum Einstellen kannst du den Graphen auch automatisch aktualisieren lassen.
Mein spontaner Verdacht ist zu wenig Speicherzuweisung, da die Warteschlangen sich schnell füllen bei 6 Startpunkten.
Orbiter hat geschrieben:Wir wissen das YaCy bei Speichermangel korrekterweise nichts mehr macht, aber das Webinterface ist deswegen selten ausgefallen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron