Wie verhält sich Yacy bei voller Festplatte?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lilirasa » So Sep 14, 2008 11:34 am

Hallo zusammen,
Habe mir vor einigen Wochen einen Yacy-Peer zusammengebastelt. Nun liegt die Festplattenbelegung bei 77%. Nun würde ich gerne wissen, was genau geschieht, wenn die HD voll ist? Hört Yacy dann automatisch auf zu crawlen oder muss ich händisch eingreifen?

Danke für die Hilfe.

Grüsse
Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Orbiter » So Sep 14, 2008 11:42 am

es gibt jetzt einen resourcencheck, der den crawler abschaltet wenn die Platte voll wird. Ich weiss aber nicht ob das schon in 0.59 drin war, im aktuellen 0.597 ist das aber da.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lilirasa » So Sep 14, 2008 12:14 pm

Danke Orbiter für die schnelle Antwort. Die 0.597 ist aber noch als dev gekennzeichnet, kann ich die trotzdem bedenkenlos installieren oder ist die instabil?
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon miTreD » So Sep 14, 2008 2:42 pm

Lilirasa hat geschrieben:kann ich die trotzdem bedenkenlos installieren oder ist die instabil?
In der Regel haben wir wenig Probleme mit den Dev-Versionen. So richtig was kaputt gegangen ist noch nichts. Ich fahre meinen Peer schon von Anfang an immer auf den aktuellen Dev-Versionen aus dem SVN.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » So Sep 14, 2008 8:46 pm

Bei weniger als 100MB (zur Zeit fest Programmiert) freiem Speicher wird Crawlen pausiert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon DanielR » Mo Sep 15, 2008 6:49 pm

Lotus hat geschrieben:zur Zeit

Ist wörtlich zu nehmen (Uhrzeit ;) )
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » Mo Sep 15, 2008 7:01 pm

DanielR hat geschrieben:
Lotus hat geschrieben:zur Zeit

Ist wörtlich zu nehmen (Uhrzeit ;) )

:ugeek:

Zur Ergänzung: ist nun über die Option disk.free in MiB einstellbar, Standard 3000MiB. Erreichbar über Advanced Properties (Erweitertes Verhalten).
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lilirasa » So Okt 12, 2008 2:53 pm

Hallo,
Ich muss das Thema nochmal aufgreifen, da der Ressourcen-Check wohl nicht funktioniert hat. Ich habe YACY auf die Version 0.61 aktualisiert und bin danach in den Urlaub gefahren.
Als ich heute wieder nach Hause kam, stellte ich fest, das YACY die Platte vollständig gefüllt hat. Da waren noch ganze 36Kb frei. :)
Yacy lies sich nur noch über "Kill" beenden. Seither kriege ich es nicht mehr zum laufen. Da steht zwar, das Yacy nun im Daemon Modus startet, sonst tut sich aber rein gar nichts. Nicht mal Log Einträge gibt es.

Ich habe versucht ein bisschen Platz zu schaffen indem ich den Index vom Oktober (/opt/yacy/DATA/INDEX/freeworld/TEXT/urls.200810 gelöscht habe, dennoch startet YACY nicht mehr.

Was kann ich tun? Yacy läuft bei mir übrigens auf einem Debian 4 System, ist vielleicht relevant für den Ressourcen-Check (?).

Falls weitere Daten benötigt werden einfach Fragen. ;)

Grüsse
Andi

edit:
Ich habe ./startYACY.sh -t aufgerufen. Dabei kommt folgendes heraus:
Code: Alles auswählen
****************** YaCy Web Crawler/Indexer & Search Engine *******************
**** (C) by Michael Peter Christen, usage granted under the GPL Version 2  ****
****   USE AT YOUR OWN RISK! Project home and releases: http://yacy.net/   ****
**  LOG of       YaCy: DATA/LOG/yacy00.log (and yacy<xx>.log)                **
**  STOP         YaCy: execute stopYACY.sh and wait some seconds             **
**  GET HELP for YaCy: see www.yacy-websearch.net/wiki and forum.yacy.de     **
*******************************************************************************
>> YaCy started as daemon process. Administration at http://localhost: <<
D 2008/10/12 14:43:21 CRAWLER remoteCrawlLoaderJob: the remote-triggered crawl job queue is filled, omitting processing
D 2008/10/12 14:43:31 CRAWLER remoteCrawlLoaderJob: the remote-triggered crawl job queue is filled, omitting processing
E 2008/10/12 14:43:34 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: kelondroEcoFS.put(1056524) outside bounds (1001686)
java.lang.IndexOutOfBoundsException: kelondroEcoFS.put(1056524) outside bounds (1001686)
   at de.anomic.kelondro.kelondroEcoFS.put(kelondroEcoFS.java:271)
   at de.anomic.kelondro.kelondroBufferedEcoFS.flushBuffer(kelondroBufferedEcoFS.java:57)
   at de.anomic.kelondro.kelondroBufferedEcoFS.put(kelondroBufferedEcoFS.java:105)
   at de.anomic.kelondro.kelondroEcoTable.remove(kelondroEcoTable.java:489)
   at de.anomic.crawler.Balancer.pop(Balancer.java:483)
   at de.anomic.crawler.NoticedURL.pop(N

Danach passiert gar nichts mehr...
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » Mo Okt 13, 2008 10:15 am

Ich habe eine Erweiterung des Resourcen-Checks auf DHT vorbereitet, muss jedoch noch getestet werden.
Es scheint wohl nötig zu sein, DHT-in auch rechtzeitig abschalten zu müssen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon PCA42 » Mo Okt 13, 2008 3:10 pm

Lotus hat geschrieben:Es scheint wohl nötig zu sein, DHT-in auch rechtzeitig abschalten zu müssen.

Wenn du DHT-In abschaltest, kann nicht mehr global gesucht werden. Kann da nicht vielleicht ein Busy als Antwort auf das DHT-In kommen?
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon bluumi » Di Okt 28, 2008 2:05 pm

Also auf meinem PC hat sich gezeigt dass es wohl noch nicht klappt :(
Yacy 0.611 5283 hat sich der PC (WindowsXP) in den Suspend Modus versetzt .. War ich etwas erstaunt... als ich Ihn aus dem Suspend holte stand 16kbyte free :mrgreen: von 80Gbyte.
Hab nun noch 1GB Platz geschafft durch löschen von i386 (WindowsCD). Aber ich weiss nicht was ich nun mit Yacy anstellen soll, wenn ich es starte wird es ja vermutlich sehr sehr bald wieder über die Grenze wollen.
Hab nun auch noch auf 5307 updated, vielleicht nützt das ja etwas ..
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » Di Okt 28, 2008 3:49 pm

@bluumi
Ist der PC automatisch auf Standby gegangen?
Wo stand 16kb free? War die Platte tatsächlich voll und du hast noch etwas Platz geschafft?

Was hat nicht geklappt? DHT wird noch nicht deaktiviert. PCA's Einwand ist natürlich richtig. Andererseits kann auch nicht mehr gesucht werden, wenn YaCy oder der PC crasht. Dieser Punkt wird durch diese Option in die stabile Phase geschoben. Insofern und in Anbetracht der Menge an Festplattenspeicher finde ich sinnig, DHT in zweiter Stufe ebenfalls abzuschalten.
Ich werde wohl am Wochenende endlich dazu kommen das zu testen und einzuchecken.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon bluumi » Di Okt 28, 2008 6:56 pm

Lotus hat geschrieben:Ist der PC automatisch auf Standby gegangen?

jo, der PC lief nun seit deutlich über 2 Wochen. Als ich in der Mittagspause auf den Rechner via Web zugriff sah ich den Status.. und ~30-90Min später wollte ich wieder auf die Status Page zugreifen -> Nichts. Via VNC war der Pc auch nicht mehr erreichbar. Als ich aus dem Mittag zurück zum Arbeitsplatz kam, stand der PC (nicht meine Arbeitsstation) im Standby, was sie bisher nicht getan hat, da Standby "sonst" aus ist. (Kein EnergySave)

Lotus hat geschrieben:Wo stand 16kb free? War die Platte tatsächlich voll und du hast noch etwas Platz geschafft?

Nach dem Drücken auf den PowerKnopf wachte der DELL wieder aus dem Standby auf und ich suchte im EreignisLog ob ich was finde -> keine Merkwürdigen Einträge.
Arbeitsplatz, Drive C: -> Status 16kb free :mrgreen:


Aber nun kommts ;) *ICH* bin schuld :evil:

Erst als ich das Forum durch blätterte fiel es mir wie "schuppen" von den Augen ... Da ! In dem ersten Check, 30-90Min vor dem Crash .. hatte ich "ganz-automatisch" den Crawler von Pause auf "crawling" umgestellt, da ich das bei meinem anderen Peer 1x täglich mache (Off während arbeiten / On in der Pause) .. Ich bin mir also inzwischen sicher, dass ich wohl weil ich in der Pause war, den "falschen" Peer wieder zum Crawlen überredet habe :(

Das würde dann aber bedeuten, dass er nach dem reaktivieren innerhalb von ~30-90min sich endgültig gefüllt hat, ohne sich erneut zu selbst-deaktivieren.

Inzwischen habe ich jedoch nochmals weitere 34Gigabyte entdeckt, welche Windows in ein verstecktes System (hidden) File gepackt hat. Somit schätze ich komme ich dann doch eher auf 20mio Links / 20Mio Words (aktuell 10Mio)

Trotz allem würde mich noch immer interessieren was man mit so einem Peer macht, wenn er voll ist. Ohne Crawlen und DHT ist der doch gar nichts mehr "wert", oder läuft DHT out dann doch noch?
Kann man auch "unwichtige Daten auslagern", oder benötigt der (wie ich fürchte) immer alles.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » Mi Okt 29, 2008 2:45 pm

bluumi hat geschrieben:Das würde dann aber bedeuten, dass er nach dem reaktivieren innerhalb von ~30-90min sich endgültig gefüllt hat, ohne sich erneut zu selbst-deaktivieren.

Er sollte sich eigentlich wieder selbst deaktivieren.
In deinem Fall scheint es wohl eher an diesem ominösen System-File zu liegen.

bluumi hat geschrieben:Trotz allem würde mich noch immer interessieren was man mit so einem Peer macht, wenn er voll ist. Ohne Crawlen und DHT ist der doch gar nichts mehr "wert", oder läuft DHT out dann doch noch?
Kann man auch "unwichtige Daten auslagern", oder benötigt der (wie ich fürchte) immer alles.

Ohne Crawlen kann der empfangene Index noch auf dem Peer abgespeichert werden. Ich betreibe meinen Peer ausschließlich so.
Ohne DHT-in ist es natürlich suboptimal, da der Peer dann aus der regulären Such-Selektion ausgenommen ist und momentan nur bei >1Mio. Links gefragt wird. Andererseits ist das ein Fall vor dem Stabilitäts-Limit. Konkret halte ich 200MB für sinnvoll. Ich behaupte einfach, dass der Peer ohne Abschalten ohnehin in 2 Tagen gecrasht sei. Das wäre weniger nützlich.
DHT-out abschalten hat keinen Zweck.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Phiber » Mi Okt 29, 2008 3:21 pm

Grundsätzlich macht es sicher Sinn einen YaCy-Peer ohne Crawl zu betreiben. Klar fehlt so das crawlen neuer Seiten sowie das Recrawlen, um den Index von YaCy zu vergrössern, verbessern usw. Aber eben es geht ja nicht nur ums Crawlen/Indexieren sondern auch um die DHT-Verteilung und um die Suchanfragen (welche zwar im Moment sicher noch eher wenig existent sind)

Irgendwann wird wohl bei den meisten Peers eh die Platte voll sein, wenn man nicht extra für YaCy aufrüstetet. So sicher auch bei mir in 3-5 Monaten. Drum wäre es schön eine Lösung zu erarbeiten, YaCy soll ja eben auch eine Software sein die jedermann mit nem normalen PC (sagen wir so 512MB RAM, 10GB Platte) betreiben kann, ohne dass er das ganze nach nem Monat wieder abschaltet weil es zuviel Perfomance, Speicher, etc. frisst. Wer natürlich mehr geben will soll das auch können, aber das ist ja bei YaCy im momentanen Stadium nicht schwer ;)
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon bluumi » Mi Okt 29, 2008 5:31 pm

Lotus hat geschrieben:
bluumi hat geschrieben:Das würde dann aber bedeuten, dass er nach dem reaktivieren innerhalb von ~30-90min sich endgültig gefüllt hat, ohne sich erneut zu selbst-deaktivieren.

Er sollte sich eigentlich wieder selbst deaktivieren.
In deinem Fall scheint es wohl eher an diesem ominösen System-File zu liegen.


Ganz so ominös ist das File auch wieder nicht :) Wenn Du es genauer wissen willst, erläuter ich das gerne :)
http://www.microsoft.com/windows/produc ... fault.mspx
Die Station war ein Clone einer Station, welche mit Obiger Software eingerichtet ist, diese erzeugt ein "50%" des freien Festplattenplatzes grosses CacheFile, in welches der Computer Änderungen an der Installation temporär zwischenspeichert, bis der PC neu gestartet wird. Und je nach einstellungen verliehrt es diese Änderungen oder nicht. Nah der De-Installation der Software hinterliess mir diese jedoch das 30Gbyte CacheFile und ich musste es erst von Hand löschen. Ich hatte erwartet, dass es dieses File selbst löscht. Das Cache File war zwar daran schuld, dass Yacy weniger Platz hatte, aber das CacheFile hat eine konstante Grösse. Schlussendlich hat sich der PC so verhalten als hät er eine 40Gbyte Hdd statt einer 80er.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Lotus » Fr Okt 31, 2008 12:36 pm

In r5310 wird nun entweder bei 100MB freiem Speicher oder weniger als 1/5 des eingestellten Speichers in der Option disk.free (in MB) DHT-in deaktiviert. Wer seinen Peer weiterhin crashen lassen will kann disk.free auf 0 setzen. ;)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon apfelmaennchen » So Nov 02, 2008 7:30 pm

Vielleicht könnte der Resource Observer anbieten, die Commons zu löschen oder zumindest komprimieren (gehen locker auf 40% zusammen).
Bei meinem Peer machen die Commons immerhin 27 GB von 118 GB , dafür dass YaCy diese Daten momentan nicht benutzt finde ich das recht üppig.

OT: Was genau spricht eigentlich dagegen die Commons on the fly im laufenden Betrieb zu komprimieren?

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Orbiter » So Nov 02, 2008 7:35 pm

ich halte nichts vom Komprimieren, ich bin fürs Löschen oder nicht-schreiben. Die Commons existieren nur aufgrund lautem Protest, die nicht verwertbaren Referenzen zu löschen. Ich habe bislang keine Möglichkeit gesehen, diese performant zu verarbeiten. Aber noch bis 0.62 werde ich die vertikale DHT-Verteilung bauen, so das es zu einer Kapazitätserweiterung von bis zu 8-fachem für das gesamte Netz geben wird, und dann werden manche Daten die bislang in den Commons sind eben auch verteilt. Aber ein Verwerten der bisherigen Daten in den Commons sehe ich auch dann nicht. Ich bin für Löschen, es sind eh nur Referenzen drin die bei einer 1-Wort Suche durch das Ranking-Raster fallen würde.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon apfelmaennchen » So Nov 02, 2008 7:46 pm

Dann würde vorschlagen das "Nicht-Schreiben" über eine Option zu regeln. Damit können die lautstarken unter uns weiterhin ihre Platten vollknallen und ein normaler User hat zumindest Zeit gewonnen, bis die Platte überläuft.

"Datenmüll" auch noch übers Netzwerk zu verteilen und neben Plattenplatz auch noch Bandbreite zu verschwenden kann hier sicher nicht die richtige Antwort sein. Aufheben und Verteilen lohnt nur dann, wenn wir die Daten später noch nutzen möchten/können, daher mein Vorschlag wenigstens zu komprimieren.....

Mein Peer hat noch über 100GB Luft auf der Platte, aber ein Backup anzulegen ist mittlerweile kein Spaß mehr...

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon Orbiter » Mo Nov 03, 2008 12:32 am

ok, hab eine property in 5315 eingebaut:
mit index.storeCommons=false werden alle commons gelöscht die momentan da sind und keine weiteren geschrieben.
Default ist nun erst mal index.storeCommons=true, aber das kann ja jeder ändern. In Zukunft setzte ich das wohl auf false. Wer will kann es dann bei true lassen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wie verhält sich Yacy bei voller Festplatte?

Beitragvon bluumi » Di Nov 04, 2008 8:27 am

:)
Supi, und vielen Dank. Wieder ein guter Grund für eine Updaterunde meiner Peer. Vorallem die kleinen mit 20gb.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron