platte voll - :-) again

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

platte voll - :-) again

Beitragvon liebel-lab » Di Nov 03, 2009 9:23 am

Guten Morgen,
vermutlich bereits mehrfach diskutiert..
habe heute morgen in unserem monitoring tool gesehen, dass 3 unserer freeworld rechner mit 100% disk full jammerten..yacy war weg..
habe die platten geputzt.
soweit ich das sehen kann ist das 3GB crawl limit zwar effektivc aber die DHT nicht...(vermutlich auch das ist bereits 10x diskutiert worden)..nur nochmal als info :-)
@michael: habe die 3 geputzten rechner geupdated und als "custom" markiert...darfst sie also gerne fuer "show-cases" verschrauben...
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: platte voll - :-) again

Beitragvon Orbiter » Di Nov 03, 2009 1:01 pm

ich muss zugeben dass ich jetzt hier keine Antwort parat habe: wird das DHT-Receive Flag auf false gesetzt wenn der Resource Observer 'full' meldet?

Ansonsten: einen der geputzen Rechner würde ich gerne als OAI-PMH Demo-Server nehmen, der wäre aber im Sciencenet perfekt drin. Da kommen solche Resourcen rein: http://www.openarchives.org/Register/BrowseSites
Das sind dann die Bibliografie-Verzeichnisse der Bibliotheken weltweit! Das wird fett!
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: platte voll - :-) again

Beitragvon Vega » Di Nov 03, 2009 3:46 pm

Erst ab SVN-6441 kann das nun eingestellt werden: disk.free.hardlimit - siehe auch: http://forum.yacy-websuche.de/viewtopic.php?f=5&t=2435

Orbiter hat geschrieben:ich muss zugeben dass ich jetzt hier keine Antwort parat habe: wird das DHT-Receive Flag auf false gesetzt wenn der Resource Observer 'full' meldet?

Ansonsten: einen der geputzen Rechner würde ich gerne als OAI-PMH Demo-Server nehmen, der wäre aber im Sciencenet perfekt drin. Da kommen solche Resourcen rein: http://www.openarchives.org/Register/BrowseSites
Das sind dann die Bibliografie-Verzeichnisse der Bibliotheken weltweit! Das wird fett!
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: platte voll - :-) again

Beitragvon PCA42 » Di Nov 03, 2009 3:50 pm

Ich les seit einer Weile nur noch mit. Aber wie es aussieht, ist das Problem "Resource Observer" ein wiederkehrender Punkt. Die Ursache ist das Ausführen externer Befehle in Java.

>Hier< hatte ich das schonmal beschrieben. Der Peer benötigt während der Ausführung den doppelten JVM-Speicher - was leider vielfach scheitert und dazu führt, das externe Befehle für das Update ("chmod") oder eben halt für den Resource Observer ("df") garnicht laufen. Hier ist also ein Workaround außerhalb der JVM notwendig (z.B. externes Skript, das über eine Datei gesteuert wird).
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: platte voll - :-) again

Beitragvon Lotus » Di Nov 03, 2009 5:05 pm

Orbiter hat geschrieben:ich muss zugeben dass ich jetzt hier keine Antwort parat habe: wird das DHT-Receive Flag auf false gesetzt wenn der Resource Observer 'full' meldet?

Vor 6441 bei (1/5)*disk.free (Standard also 600MB). Seitdem Standard 1000MB. Der Observer kann leer, mittel und voll melden. :)

Unter Linux u.u. auch gar nicht, Stichwort Forking, siehe PCA42.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Orbiter » Fr Nov 06, 2009 9:12 pm

PCA42, Lotus: wenn das df tatsächlich wegen unix-fork der killer ist, dann müssten wir überlegen ob es nicht vielleicht doch einen Ersatz gibt, beispielsweise File.getUsableSpace() aus Java 1.6
Man könnte im Resource Observer gucken ob das aktuelle Java ein Java 1.6 ist und dann per reflection das getUsableSpace() aufrufen. Kann das jemand von euch versuchen?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: platte voll - :-) again

Beitragvon dulcedo » Fr Nov 06, 2009 10:52 pm

Wie lange dauert denn unter Java die Neuanlage grosser Dateien? (open, seek, put, close, delete) So könnte man sich auch innerhalb der JVM an ein HD-Limit herantasten.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: platte voll - :-) again

Beitragvon Lotus » Sa Nov 07, 2009 10:19 am

Reflection ist eine gute Idee, mit der nativen Methode wird der ganze Code auch schlanker. Ich werde mir das ansehen, kann aber keinen Termin nennen, da meine Zeit momentan sehr verplant ist.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Lotus » So Jan 31, 2010 4:52 pm

Ich habe mir den ResourceObserver nun für eine Reflection-Implementierung angesehen.
Der ist so komplex und fehlersicher, dass er wegen DiskSpace.isUsable() schon abbrechen würde, da bei der Initialisierung schon viel checkt. Eine Möglichkeit dort Reflection ohne viel Aufwand reinzuhacken sehe ich auch nicht. Das beste wäre eine komplette Neuimplementierung mit Java 6 (Reflection). Dann wird das ein Zweizeiler im Vergleich zur jetzigen Lösung.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Lotus » Mi Feb 03, 2010 9:02 pm

Ich werde einmal eine saubere Implementierung in Java 6 (Reflection) vornehmen. Das haben aktuell 96% der freeworld-Peers laufen.
Hier habe ich inzwischen schonwieder ein Opfer der derzeitigen Lösung identifiziert (kein Fork-Problem): viewtopic.php?f=5&t=2544

PS: Mich wundert es, dass ich weniger Beschwerden über das automatische Update und Restart wahrnehme, da gibt es nämlich auch Probleme mit dem Fork.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon PCA42 » Mi Feb 03, 2010 10:35 pm

Wenn Yacy nicht automatisch auf den neuesten Stand gebracht wird, fällt das wahrscheinlich weniger auf, als wenn es sich wegen Resourcen-Mangel weghängt.
Und ich denke mal, von den Leuten die jede SVN einspielen, machen das viele via eigenem Build.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: platte voll - :-) again

Beitragvon Lotus » Sa Feb 06, 2010 7:52 pm

SVN 6652 beseitigt nun alle möglichen Bugs, die es gegeben haben könnte. Man, wieso haben wir das nicht eher so gemacht.
Unter Java 1.5 muss darauf nun verzichtet werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Vega » Mo Feb 15, 2010 9:45 am

@Lotus

Dann eröffne ich mal hiermit mal die Beschwerden dazu.....der Ressurce Observcer funktioniert jetzt echt gut, aber wenn ich über das Webinterface neu-starte kommt die Kiste dann nicht wieder. Der Peer ist eine kleine Kiste, Intel Atom, 2 GB Ram - Yacy sind 512Mb Ram zugewiesen, den Observer habe ich konfiguriert das bei 90MB freien Speicher DHT abgeschaltet wird. Wenn ich den Wert kleiner wähle, schmiert Kiste vorher ab - also Webinterface ist weg, aber Metager wird noch gefedet .... (Ich vermute der HTTP Server stürzt dann aus Speichermangel ab). Wenn Ihr also testen wollt - ich habe jetzt eine Kiste die am Limit ist.
Kann man den Neustart auch irgendwie anders lösen ?

Gruß,
Thomas

PS: Mich wundert es, dass ich weniger Beschwerden über das automatische Update und Restart wahrnehme, da gibt es nämlich auch Probleme mit dem Fork.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: platte voll - :-) again

Beitragvon Vega » Mo Feb 22, 2010 10:02 am

Nochmal zum Thema knappe Ressourcen - ich habe mittlerweile einen Peer http://85.125.223.86:44444/Status.html der am Limit ist, das ganze ist ein kleiner Server mit Intel-Atom CPU und 2 GB Ram, Yacy sind 512 MB zugewiesen - mehr geht nicht, da der Server noch für andere Dinge benötigt wird.
Aktuell läuft Version 0.93/6663 auf der Kiste, der Ressourceserver ist mittlerweile so eingestellt das er bei weniger als bei 100000 KIB freien Speicher DHT abschaltet - das funktioniert auch zuverlässig. Im Webinterface werden mir nach eine Betriebszeit von 8:47 noch 85 MB frei angezeigt, trotzdem stürzt die Kiste oft so ab das auf das Webinterface nicht mehr zugegriffen werden kann, wenn ich Metager mit feede passiert das ganze noch viel schneller.

Also aktuelles Fazit ist also festzustellen das ein Yacy-Betrieb mit so begrenzen Ressurcen aktuell problematisch ist, es wäre schön wenn hier nocheinmal Zeit und Energie hineingesteckt würde. Es nützt nichts, 1000 neue Funktionen einzubauen wenn das Grundsystem noch an ein paar Stellen krankt, wir sollten erstmal ganz verstärkt (auch in Hinblick auf den Linuxtag) Bug-fixing betreiben.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: platte voll - :-) again

Beitragvon Lotus » Mo Feb 22, 2010 11:07 am

Der Observer ist im Hinblick auf die Resourcenerkennung ziemlich ausgereizt. Da kann nur noch die RAM-Heuristik agressiver eingestellt werden.
Denkbar wäre auch eine Einstellung, die die Links/Wörter fest limitiert. Vielleicht kann man den Speicherbedarf auch rechnerisch ermitteln und dann anders herum herangehen: wenn [123] MB benutzt werden, ist Schluss. Der Maximalwert ist aus den Einstellungen bekannt.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Vega » Mo Apr 26, 2010 8:55 pm

@Lotus - ich glaube ich habe hier noch einen einen Bug gefunden, ich auf meinen Peer den Observer so eingestellt das er ab ca. 5 GB freien Festplattenplatz das Crawls deaktiviert und ab 2,5 GB freien Speicher den Indexempfang deaktiviert. Das funktioniert auch prima, zuerst wurde Crawling deaktiviert und mittlerweile auch der Indexempfang - zumindest auf der Network.html Seite wird angezeigt das der Indexempfang aus ist - aber unter Adminkonsole >> Leistung wird "DHT-Umschalter" als nicht ausgelöst angezeigt. Kann es ein das wenn eine Bedingung zutrifft die zweite nicht mehr angezeigt wird - obwohl der Observer das ja brav macht... Könnntet ihr euch das nochmal ansehen ?

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: platte voll - :-) again

Beitragvon Lotus » Mi Apr 28, 2010 6:10 am

Der DHT-Umschalter bezieht sich auf die RAM-Auswertung. Gucke ich mir nochmal an, was da am besten gemacht werden kann!
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: platte voll - :-) again

Beitragvon Vega » Sa Nov 27, 2010 3:00 pm

@Lotus....

ich hole diesen Thread mal wieder hoch - wäre es möglich im Zuge eines einheitlichen Benutzerinterfaces, die Angaben für den Arbeitsspeicher und den Festplattenspeicher in MIB vornehmen zu können ? Aktuell ist das ja MIB für Festplattenspeicher und KIB für Arbeitsspeicher - was dazu führt das man beim Arbeitsspeicher immer so lange Zahlen eintippen muss ;) .....

Ebenso Diskussionswürdig - finde ich zumindest - ist das festhalten an Java 1.5 als Codebasis...gerade der Observer zeigt ja sehr schön was 1.6 teilweise für Vorteile bringt.

Gruss,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: platte voll - :-) again

Beitragvon Lotus » Sa Nov 27, 2010 5:34 pm

Ja, Arbeitsspeicher sollte auch in MB eingegeben werden können. Blöd ist nur, dass das nicht mit einer einfachen Umstellung getan ist, sondern auch alte Werte in die neuen umgerechnet werden müssen. Danke für die Erinnerung.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste