Crawler wird immer wieder angehalten, ohne Platzmangel

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon BododasBroetchen » Di Mär 25, 2014 9:33 am

Liebe Leute,
bei mir wird der Crawler immer wieder angehalten und ich werde aufgefordert, den Festplattenplatz zu überprüfen. Der ist aber nicht das Problem, es sind noch 36 GB frei auf der Partition auf der Yacy seine Daten ablegt. In der Crawler-Überwachung heißt es dann in roter Schrift "no memory space available". Bezieht sich das auf RAM? Wenn ja ist die vorher genannte Aufforderung irreführend.

Wenn es sich auf RAM bezieht - was soll man da machen? Mehr als die 600 MByte will ich Yacy wirklich nicht abtreten, da ich insegesamt nur 4 GByte RAM zur Verfügung habe und ja auch noch Arbeit geschafft bekommen muss.
BododasBroetchen
 
Beiträge: 5
Registriert: Di Mär 25, 2014 9:26 am

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon kosmonaut pirx » Di Mär 25, 2014 9:54 am

Mahlzeit,
du kannst afaik in den Einstellungen angeben, wieviel Plattenplatz frei gehalten werden soll. Da mal nachschauen, bei "Crawler" glaube ich.

Und Thema RAM. 600MB ist zum Crawlen vielleicht ein wenig mau. Im Wiki steht was von "mindestens 1024 MB Arbeitsspeicher erforderlich, empfehlenswert sind 2 GB oder mehr." Meiner persönlichen Meinung nach solltest du die Intention zum Crawlen bei unter 1Gig überdenken.

gruß
kosmonaut pirx
 
Beiträge: 3
Registriert: Fr Feb 28, 2014 3:01 pm

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon BododasBroetchen » Di Mär 25, 2014 10:22 am

kosmonaut pirx hat geschrieben:Mahlzeit,
du kannst afaik in den Einstellungen angeben, wieviel Plattenplatz frei gehalten werden soll. Da mal nachschauen, bei "Crawler" glaube ich.


Ja, aber das ist wie gesagt nicht das Problem. Es sind über 30 GB frei.

kosmonaut pirx hat geschrieben:Und Thema RAM. 600MB ist zum Crawlen vielleicht ein wenig mau. Im Wiki steht was von "mindestens 1024 MB Arbeitsspeicher erforderlich, empfehlenswert sind 2 GB oder mehr." Meiner persönlichen Meinung nach solltest du die Intention zum Crawlen bei unter 1Gig überdenken.


Wenn das so ist, dann wird yacy mit Voreinstellungen ausgeliefert, die für den Zweck des Programms untauglich ist. 600 MB ist ja die Voreinstellung.
Zuletzt geändert von BododasBroetchen am Mi Mär 26, 2014 11:26 pm, insgesamt 1-mal geändert.
BododasBroetchen
 
Beiträge: 5
Registriert: Di Mär 25, 2014 9:26 am

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon kosmonaut pirx » Di Mär 25, 2014 10:32 am

Wenn in den EInstellungen steht: "lasse 30GB frei", dann ist das ein Problem. Aber wird vermutlich nicht so sein, zugegeben.

Wenn das so ist, dann wird yacy mit Voreinstellungen ausgeliefert, die für den Zweck des Programms untauglich ist. 600 MB ist ja die Voreinstellung.


Ist die Frage, was jeder unter Zweck des Programms versteht. Du bist der Meinung, der Zweck von Yacy wird nur mit Crawlen erfüllt. Ok.
kosmonaut pirx
 
Beiträge: 3
Registriert: Fr Feb 28, 2014 3:01 pm

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon Orbiter » Di Mär 25, 2014 5:35 pm

ich weiss nicht wer diese Werte ins Wiki geschrieben hat, Crawlen sollte bei weit unter 600MB RAM möglich sein, vor allem mit den Änderungen in den letzten drei Monaten.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon Vega » Mi Mär 26, 2014 11:14 am

Hallo Michael,

ich habe diese Werte in Wiki geschrieben - wie man in der Historie auch leicht sehen kann ;). Ich habe ja diese Werte nicht willkürlich festgelegt, sondern ausgelotet mit welchen Ram mein Peer stabil lief. Das es mit weniger als 700 MB "knallt" haben wir in Chemnitz auf dem Cubietruck Board gesehen. Es mag Fälle geben wo YaCy durchaus mit 512 MB Ram läuft, aber dieser Wert ist für die allgemeine Nutzung nicht Praxistauglich.

Thomas

Orbiter hat geschrieben:ich weiss nicht wer diese Werte ins Wiki geschrieben hat, Crawlen sollte bei weit unter 600MB RAM möglich sein, vor allem mit den Änderungen in den letzten drei Monaten.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon lux » Do Mär 27, 2014 8:04 am

Hi
... folglich sind doch dann alle Bestrebungen, Yacy auf dem RaspberryPi laufen zu lassen hinfällig - oder gibt es dafür vielleicht ein workaround?

Gruß
lux
lux
 
Beiträge: 42
Registriert: Sa Jun 01, 2013 9:49 am

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon Vega » Fr Mär 28, 2014 11:22 am

Hallo,

nein, hinfällig sind sie nicht, zum Linuxtag hab ich folgendes beobachten können: 90 Prozent der Zeit lief YaCy mit einer Speicherauslastung von 128 MB sehr gut, und plötzlich gab es Peaks die bis über 700 MB reichen. Das muss man anlysieren, sollte es eine Solr Funktion sein die dies verursacht muss das jemand als Bug in die entsprechende Mailing-Liste melden.... Wir sind da also drann....

Thomas

lux hat geschrieben:Hi
... folglich sind doch dann alle Bestrebungen, Yacy auf dem RaspberryPi laufen zu lassen hinfällig - oder gibt es dafür vielleicht ein workaround?

Gruß
lux
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon Orbiter » Fr Mär 28, 2014 2:02 pm

also ich muss hier nochmal ein paar Sachen gerade rücken:

- "no memory space available" - die Meldung kenne ich nicht. Der Crawler wird entweder ganz angehalten wenn der Plattenplatz ausgeht (dann gibt es eine Meldung, aber eine andere) oder es gibt bei zu geringem RAM ein Throttling, d.h. es werden Pausen gemacht bis wieder Speicher da ist.
- Den beim Linuxtag beobachteten Effekt von zu viel Speichernutzung entstand durch die kaputten Performanceeinstellungen, die Thomas, ohne zu wissen dass sie kaputt sind, benutzt hat. Diese Performance-Funktionen sind schwer zu beschreiben, unvollständig und unmaintained. Anstatt sie zu flicken habe ich sie deswegen gestern entfernt. Die Strategie sollte sein: wenn es ein Problem gibt, muss das Programm sie lösen, nicht der User.
- insofern bleibe ich bei der Behauptung, dass YaCy bei weit weniger als 600MB laufen sollte.
- Die Gründe für die Peaks müssen gefunden werden. Bitte im Threaddump_p.html ausschau halten was da läuft, wenn wegen Speichermangel alles festhängt.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon BododasBroetchen » Di Apr 08, 2014 8:29 am

Also, ich habe Yacy jetzt schweren Herzens wieder deinstalliert, denn es bremst mir meine Kiste einfach zu sehr aus, außerdem sind die Antwortzeiten unglaublich lang. In den letzten Tagen habe ich beobachtet, dass Yacy nach relativ kurzer Zeit reproduziertbar komplett aufhört, Anfragen zu beantworten, bis ich das Programm beende und neu starte.

Außerdem waren die Suchergebnisse weitgehend nutzlos. Es scheint kein funktionierendes Ranking zu geben, jedenfalls hat die Reihenfolge, in der Ergebnisse angezeigt werden keine erkennbare Beziehung zu dem, was ich suche. Und es waren triviale Suchen, mit denen ich das versucht habe.

Meine lokalen Ergebnisse waren übrigens komplett anders als unter search.yacy.net. Zu manchen Suchen, für die ich unter search.yacy.net relativ viele Hits bekommen habe, habe ich lokale überhaupt keine Resultate. Ich dachte, die Peers helfen sich da gegenseitig aus.

Wie auch immer, ich denke, Yacy ist ein tolles und wichtiges Projekt, aber mich hat der Versuch, mich da zu beteiligen, ernsthaft in meiner Arbeit behindert, weil der Rechner ständig ausgebremst war, deshalb mache ich erst einmal Pause...
BododasBroetchen
 
Beiträge: 5
Registriert: Di Mär 25, 2014 9:26 am

Re: Crawler wird immer wieder angehalten, ohne Platzmangel

Beitragvon otter » Sa Apr 19, 2014 3:09 pm

Zurück zum Thema :-)
Ich habe das gleiche Problem wie Bodo. Auch bei mir hält der Crawler unvermittelt an.
Folgendes sehe ich im Log:
I 2014/04/19 15:56:01 RESOURCE OBSERVER pausing local crawls
W 2014/04/19 15:56:01 SWITCHBOARD Crawl job '50_localcrawl' is paused: resource observer: not enough memory space

Ich habe noch ca. 100GB auf der Platte frei und eingestellt, dass er erst bei 4GB anhalten soll.
Oder liegt es doch am RAM?

Das habe ich seit ca. 1.69xxxx .Ich kann das auch gerne als Bug-Meldung aufmachen.
otter
 
Beiträge: 16
Registriert: Mo Feb 10, 2014 9:33 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron