DISK benutzt: (etwa) 0 Bytes

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

DISK benutzt: (etwa) 0 Bytes

Beitragvon TmoWizard » Mo Jun 12, 2017 7:20 pm

Guten Abend zusammen!

Wie >hier< geschrieben habe ich heute einen neuen Crawl gestartet mit der Crawl-Tiefe 6. Das ging wohl irgendwie daneben und ich mußte gerade meinen Server neu starten, denn es ging wirklich gar nichts mehr! Nach diesem Neustart habe ich nun folgendes sehr merkwürdiges Phänomen hier:

Es wird mir beim Status die im Betreff stehende Meldung gezeigt, obwohl ich laut YaCy über 7,3 Millionen Dokumente im Index habe! Das sieht derzeit so aus:

Documents: 7.311.792
DHT Words: 12.319.295
Typ: Principal

Der Crawl ist nun angehalten mit folgender Meldung:

* Es steht weniger als 50 MB Arbeitsspeicher zur Verfügung. DHT Empfang wurde deaktiviert. Bitte beheben Sie dieses Problem so schnell wie möglich und starten Sie YaCy neu.

* Crawling wurde pausiert! Wenn das Crawling automatisch pausiert wurde, prüfen Sie bitte Ihrer Festplattenspeicher.


Problem dabei:

RAM benutzt: 2,28 GB
RAM maximal: 2,9 GB
DISK benutzt: (etwa) 0 Bytes
DISK frei: 211,94 GB


Hier kann also irgendwas ganz und gar nicht stimmen, nur was?!? :? Arbeitsspeicher ist genügend frei, Festplatte erst recht und 7.311.792 Dokumente benötigen mit Sicherheit mehr Platz wie 0 Bytes! Ansonsten läuft YaCy aber einwandfrei, nur der Crawl steht nun still.

Ich beende diesen Versuch/Crawl nun, aber es würde mich trotzdem interessieren, was da denn schief gelaufen ist!

...

..

.

Oh, zumindest eines stimmt nun wieder:

DISK benutzt: (etwa) 63,9 GB


Die Meldung mit dem zu geringen Festplattenspeicher steht aber immer noch da und die stimmt ganz bestimmt nicht!

Ich würde mich freuen, wenn mir hier jemand was dazu sagen könnte, denn ohne Hilfe komme ich diesmal wohl nicht weiter.


Viele abendliche Grüße aus Augsburg

Mike, TmoWizard
TmoWizard
 
Beiträge: 125
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: DISK benutzt: (etwa) 0 Bytes - Selbstheilung?

Beitragvon TmoWizard » Mo Jun 12, 2017 8:24 pm

Nochmal ich!

Äußerst merkwürdig! Nachdem ich den OP abgeschickt hatte fing auf einmal mein YaCy wieder zum Arbeiten an. Der Crawl geht also wieder weiter, ohne daß ich auch nur eine Kleinigkeit geändert habe! :shock: Hat YaCy Selbstheilungskräfte, oder was?

Trotzdem würde mich interessieren, was die obigen Meldungen bedeuten sollen. Antworten sind Informationen und somit jederzeit willkommen!
TmoWizard
 
Beiträge: 125
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: DISK benutzt: (etwa) 0 Bytes

Beitragvon promocore » Mo Jun 12, 2017 10:33 pm

Nach einem Absturz, wie in deinem Fall, ließt Yacy alles neu ein und gibt danach erst den Speicherplatz aus. Bis dahin steht da 0 byte.

Wenn der RAM Speicher kanp wird, kann es sein, dass einzelne Prozesse nicht mehr funktionieren, abstürzen oder erst garnicht erst gestartet werden können. Somit kann durchaus Speicher aktuell frei sein, aber im PEAK für alle Prozesse nicht ausreichen.

Genaueres bekommst du aus den Logs raus.
im Folder /DATA/LOG liegen die Logs.
suche mal "GC overhead limit exceeded"

Code: Alles auswählen
grep "GC overhead limit exceeded" yacy00.log


Natürlich kann man auch mal in ältere Logs schauen. Falls du die Fehlermeldung siehst, dann hast du definitiv zu wenig RAM für Anwendung.
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: DISK benutzt: (etwa) 0 Bytes

Beitragvon TmoWizard » Di Jun 13, 2017 7:50 am

Guten Morgen @promocore,

danke für deine Antwort! Nun... YaCy ist ja in dem Fall nicht wirklich abgestürzt, das hatte ich früher mal mit einer älteren Version und dort waren dann sämtliche Daten weg. Der Crawl läuft bis jetzt weiter, nur scheint er immer wieder für einige Zeit zu pausieren, in welcher dann diese Meldungen kommen.

Natürlich sind die 4 GB RAM und der alte AMD 64 nicht gerade viel für solch ein Projekt, aber es scheint zu genügen. Einzig eine Suche hier von meinem Arbeitstier aus dauert nun etwas länger, aber das stört mich nicht wirklich, denn Zeit habe ich ja wahrlich genug! :mrgreen:

Den Logfile werde ich mir bei Zeiten mal ansehen, wobei ich mich mit sowas bisher nicht befassen mußte. Ich verwende zwar schon seit einigen Jahren ausschließlich Linux auf meinen Systemen, hatte aber noch nie großartig Ärger damit, so daß ein Blick in die Logfiles bis heute nicht notwendig war! Linux (in meinem Fall Kubuntu 14.04.5 LTS auf dem Arbeitstier und Ubuntu 16.04.2 LTS Server) läuft hier einfach so, da ich von vorne herein auf die passende Hardware geachtet habe! ;)


Viele sonnige Grüße aus Augsburg

Mike, TmoWizard
TmoWizard
 
Beiträge: 125
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: DISK benutzt: (etwa) 0 Bytes

Beitragvon luc » Di Jun 13, 2017 8:46 am

Hallo,
ResourceObserver ist YaCy Selbstheilungskräfte ;)

Or in English : the YaCy ResourceObserver background job is the one responsible for crawl pausing when resources (disk, memory) are too low, and also for self-healing and crawl resume when resources are again sufficient.
Hope this answer your question, and sorry again for the English!
luc
 
Beiträge: 285
Registriert: Mi Aug 26, 2015 1:04 am

Re: DISK benutzt: (etwa) 0 Bytes

Beitragvon TmoWizard » Di Jun 13, 2017 9:17 am

Hi @luc,

thanks for your answer!

luc hat geschrieben:Hallo,
ResourceObserver ist YaCy Selbstheilungskräfte ;)

Or in English : the YaCy ResourceObserver background job is the one responsible for crawl pausing when resources (disk, memory) are too low, and also for self-healing and crawl resume when resources are again sufficient.
Hope this answer your question, and sorry again for the English!


Ok... My english is very bad, but i understand this. Now it is clear for me, why my old version of YaCy have destroy his Index!

Jetzt wieder in deutsch, denn das kann ich sonst nicht erklären! :mrgreen:

Das mit dem Pausieren klappt einwandfrei. Nun bin ich jedoch am Überlegen, wie lange mein YaCy dadurch für diesen Crawl wohl benötigen wird. Ist aber eigentlich auch egal, da beide Rechner (Server und Arbeitstier) 24/7 durchlaufen!

Grüße aus TmoWizard's Castle zu Augsburg

Mike
TmoWizard
 
Beiträge: 125
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron