Platte voll != Platte voll

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Platte voll != Platte voll

Beitragvon LA_FORGE » Di Jan 05, 2016 11:34 pm

Hi,

Code: Alles auswählen
W 2016/01/05 23:23:16 RESOURCE OBSERVER Volume /mnt/1800gb/yacy2/DATA: used space (1183373 MB) is too high (> 1048576 MB)


Ich hab aber noch 512 GB frei auf dem Volume. Ist das ein Bug? v1.82/9000


VG

Stefan
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon TmoWizard » Mi Jan 06, 2016 10:38 am

Guten Morgen, oder so! :D

LA_FORGE hat geschrieben:Hi,

Code: Alles auswählen
W 2016/01/05 23:23:16 RESOURCE OBSERVER Volume /mnt/1800gb/yacy2/DATA: used space (1183373 MB) is too high (> 1048576 MB)


Ich hab aber noch 512 GB frei auf dem Volume. Ist das ein Bug? v1.82/9000


Nanu, das ist ja gerade mal etwas über 1 GB! Mein YaCy benötigt derzeit ~4,43 GB auf der Platte, absolut kein Problem. Könnte das an deiner veralteten Version liegen? Hier läuft (unter Kubuntu 14.04.3) YaCy Version 1.83/9616 aus der Quelle "deb http://debian.yacy.net ./", müßte also relativ aktuell sein.


Grüße aus Augsburg

Mike, TmoWizard

Edit: Was ist denn mit der Uhrzeit hier im Forum los? Dein Beitrag ist "Beitrag von LA_FORGE » Mi Jan 06, 2016 12:34 am" und meine Antwort darauf "Beitrag von TmoWizard » Mi Jan 06, 2016 11:38 am", also eine Stunde früher! Außerdem ist es jetzt erst "10:43 Uhr am", da stimmt also etwas ganz und gar nicht. :shock:
TmoWizard
 
Beiträge: 111
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » So Jan 10, 2016 1:42 pm

Vielen Dank. Ja, ich sollte wirklich mal auf eine neuere Build upgraden.

@Zeit:

Ich nutze für die Zeitsynchronisation folgendes Skript, was ich per crontab eingebunden habe:

Code: Alles auswählen
#! /bin/sh
netdate udp ntp1.ptb.de
netdate udp ntp2.ptb.de
hwclock -uw
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Mi Jan 13, 2016 2:23 pm

In der 1.83/9644 ist der "Fehler" anscheinend immer noch drin:

Code: Alles auswählen
W 2016/01/13 14:19:39 RESOURCE OBSERVER Volume /mnt/3200gb/yacy2/DATA: used space (1171423 MB) is too high (> 1048576 MB)


Obwohl ich

Code: Alles auswählen
root@endeavour:/# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        95G   28G   63G  31% /
udev             10M     0   10M   0% /dev
tmpfs            19G  9.3M   19G   1% /run
tmpfs            48G     0   48G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            48G     0   48G   0% /sys/fs/cgroup
tmpfs           9.5G     0  9.5G   0% /run/user/0
/dev/sdb1       3.2T  1.7T  1.4T  56% /mnt/3200gb


Noch 1,4 TB frei hab auf dem Volume.

@devs #off-topic: Vor dem Release einer neuen Version unbedingt nochmal die Solr-Felder des Schemas prüfen, wenn man auf 'Reset selection to default' drückt und danach einen Reindex macht hagelt es NPEs. Soweit ich die Logs verstehe weil ein paar obligatorische Felder (noch) nicht im Schema-Editor aktiviert wurden, was ich damit sagen will: Die Reindex-Funktion will Felder indexieren, die im Standardschema zwar vonhanden, aber noch nicht aktiviert sind.

Viele Grüße

LA_FORGE
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon sixcooler » Mi Jan 13, 2016 8:19 pm

Hi LA_FORGE,

wegen 'Platte voll' guck mal nach dem Wert zu resource.disk.used.max.overshot
in der yacy.conf oder unter /ConfigProperties_p.html
> TB hat man, als ein Default Wert hierzu gesucht, wurde einfach nicht vorgesehen :-)

cu, sixcooler.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Do Jan 14, 2016 6:49 pm

Vielen Dank!! Dann ist das wahrscheinlich auch der Grund, warum die Anzahl meiner RWIs nicht mehr gestiegen ist?
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon sixcooler » Do Jan 14, 2016 10:00 pm

DHT-in gibt es dann auch nicht mehr - richtig.
Aber es gibt noch ein paar andere Parameter die die Menge der RWI beinflussen.
Merke: die angegeben Anzahl ist nur die des größten Blobs.
Genauer sieht man es unter /PerformanceMemory_p.html als DATA/INDEX/freeworld/SEGMENTS/default/text.index.xxx.blob.xxx
Es wird nur das größte angegeben weil doubletten in unterschiedlichen Blobs sein könnten.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Fr Jan 15, 2016 10:22 am

Vielen Dank für die ausführliche Erklärung.

Auf welchen Wert soll ich resource.disk.used.max.overshot setzen? Ich habe noch 1,4 TB frei :-)

I 2016/01/15 10:16:56 RESOURCE OBSERVER Volume /mnt/3200gb/yacy2/DATA: used space (1185348 MB) is high, but nominal (> 524288 MB)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Fr Jan 15, 2016 3:35 pm

Was ich noch dazu sagen mus: Es ist eine 4 TB Platte die ich vollständig für YaCy nutzen möchte. Er soll erst dann meckern und aufhören mit DHT-in und Crawlen wenn nur noch 800 MB frei sind, wie muss ich

Code: Alles auswählen
resource.disk.used.max.overshot
resource.disk.free.min.steadystate
resource.disk.free.min.undershot
resource.disk.used.max.steadystate


dann einstellen?
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon sixcooler » Sa Jan 16, 2016 1:54 pm

4TB * 1024GB/TB * 1024MB/GB - 800MB = 4193504MB

DHT-In deaktivieren bei >4193504MB
resource.disk.used.max.overshot = 4193504

Crawls deaktivieren bei <800MB
resource.disk.free.min.steadystate = 800

DHT-In deaktivieren bei <800MB
resource.disk.free.min.undershot = 800

Crawls deaktivieren bei >4193504MB
resource.disk.used.max.steadystate = 4193504
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Sa Jan 16, 2016 2:20 pm

Großartig! Vielen Dank! Jetzt hab sogar ich's verstanden :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon LA_FORGE » Fr Jan 22, 2016 9:34 am

sixcooler hat geschrieben:DHT-in gibt es dann auch nicht mehr - richtig.
Aber es gibt noch ein paar andere Parameter die die Menge der RWI beinflussen.
Merke: die angegeben Anzahl ist nur die des größten Blobs.
Genauer sieht man es unter /PerformanceMemory_p.html als DATA/INDEX/freeworld/SEGMENTS/default/text.index.xxx.blob.xxx
Es wird nur das größte angegeben weil doubletten in unterschiedlichen Blobs sein könnten.


Kann ich die RWI-Blobs irgendwie mergen? Ähnl. wie die Solr-Merge-Funktion die ihr auf der Seite IndexControlURLs_p.html eingebaut habt
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Platte voll != Platte voll

Beitragvon sixcooler » Fr Jan 22, 2016 6:35 pm

einfach die Blobs von einem Peer zum anderen kopieren - den Zielpeer neu starten - fertig
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron