Anfängerfragen: Speicherverbrauch einstellen, ...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Anfängerfragen: Speicherverbrauch einstellen, ...

Beitragvon Irdran » Di Feb 19, 2008 6:51 pm

Hallo,

ich hab mir gestern Yacy installiert und habe jetzt ein paar Fragen:

Yacy läuft auf meinem Notebook. Das läuft unter Linux (Ubuntu 7.10) und hat 2 GB RAM, 200 GB Festplatte, Dual-Core-CPU mit 2 GHz, 2 MBit DSL.

Wie viel Speicher verwendet Yacy? Es kann auf jeden Fall 500 MB RAM benutzen, aber auch bis zu 1 GB wenn ich grad nichts mache. Wo stelle ich das ein? Die Englische Anleitung im Wiki hat mir da nicht geholfen, da ich den angegebenen Menüpunkt nicht gefunden habe. Ist vielleicht "Admin Konsole"->"Performanceeinstellungen für Speicher"->"Für JVM reservierter Speicher" gemeint? Wenn nicht, was sollte ich hier einstellen?

Ich hab mal ein paar Seiten gecrawlt. Dabei hat Yacy kaum die CPU belastet, aber nur 50-100 PPMs geschafft. Was bremst das aus? Und wie kann ich es schneller machen? Der "RWI RAM" war meistens fast leer, aber dann auch mal fast voll. Sollte ich dessen Größe anpassen?

Als ich meine RSS-Feeds aktualisert habe (über den Yacy-Proxy) hat er nur noch 5 PPMs geschafft. Zeitweise sogar nur eine einzige! Woran kann das gelegen haben?

Was macht Yacy, wenn ich den Rechner ausschalte während es gerade crawlt? Macht es später dort weiter? Startet es ganz von vorne? Oder kann es sogar zu Schäden an den Datensätzen kommen?

Mein Notebook läuft manchmal tagelang durch, manchmal aber auch nur über Nacht, während es tagsüber aus ist oder kein Internet hat. Kommt Yacy damit klar? Oder destabilisiert das das Netzwerk?

Wenn ich eine Liste von URLs habe, die es täglich nach neuen Seiten durchsuchen soll, wie mache ich das am besten? (Nachrichtenportale)

Was ist mit "Limit Crawler" gemeint, wenn ich beim crawlen zuschaue? ("Crawler Puffer")
Irdran
 
Beiträge: 30
Registriert: Di Feb 19, 2008 12:33 pm

Re: Anfängerfragen: Speicherverbrauch einstellen, ...

Beitragvon Vega » Di Feb 19, 2008 9:38 pm

Ist vielleicht "Admin Konsole"->"Performanceeinstellungen für Speicher"->"Für JVM reservierter Speicher" gemeint?


Genau - Volltreffer, damit stellst Du ein wieviel Speicher die Java-VM belegen darf.

Ich hab mal ein paar Seiten gecrawlt. Dabei hat Yacy kaum die CPU belastet, aber nur 50-100 PPMs geschafft. Was bremst das aus? Und wie kann ich es schneller machen? Der "RWI RAM" war meistens fast leer, aber dann auch mal fast voll. Sollte ich dessen Größe anpassen?


Das ist doch gut-ich denke die Nootebook-Festplatte bremst da.

Was macht Yacy, wenn ich den Rechner ausschalte während es gerade crawlt? Macht es später dort weiter? Startet es ganz von vorne? Oder kann es sogar zu Schäden an den Datensätzen kommen?


Das letztere....Yacy ist ja im Prinzip eine Datenbank, sowas im laufenden Betrieb einfach auszuschalten erzeugt auch gern mal eine richtig kaputte Datenbank, wo nur noch löschen hilft.
Mein Notebook läuft manchmal tagelang durch, manchmal aber auch nur über Nacht, während es tagsüber aus ist oder kein Internet hat. Kommt Yacy damit klar? Oder destabilisiert das das Netzwerk?

Damit kommt Yacy klar, dem Netzwerk schadet es nicht, wobei ein Peer der oft online ist natürlich auch nicht schlecht ist... ;)

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Anfängerfragen: Speicherverbrauch einstellen, ...

Beitragvon miTreD » Mi Feb 20, 2008 8:38 am

Irdran hat geschrieben:Was macht Yacy, wenn ich den Rechner ausschalte während es gerade crawlt? Macht es später dort weiter? Startet es ganz von vorne? Oder kann es sogar zu Schäden an den Datensätzen kommen?
Wenn Du YaCy ordentlich beendest machst er beim nächsten Start wieder genau dort weiter wo er aufgehört hat. Schaltest Du aber einfach das Laptop aus, gilt Thomas' Hinweis von oben.

Irdran hat geschrieben:Wenn ich eine Liste von URLs habe, die es täglich nach neuen Seiten durchsuchen soll, wie mache ich das am besten? (Nachrichtenportale)
Ich habe mir im Firefox ein paar Bookmarks gemacht, die ich dann einfach einmal täglich über den Proxy aufrufe. Geht ja im Firefox ziemlich einfach. Rechtsklick auf den Bookmark-Ordner und dann alle in Tabs öffnen o.ä.
Zur Spezialisierung gibt es auch im Wiki einen Eintrag:
http://yacy-websuche.de/wiki/index.php/De:Spezialisierung
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Anfängerfragen: Speicherverbrauch einstellen, ...

Beitragvon DanielR » Mi Feb 20, 2008 7:03 pm

Irdran hat geschrieben:[...] während es tagsüber aus ist oder kein Internet hat. Kommt Yacy damit klar? Oder destabilisiert das das Netzwerk?

Dass kein Internetzugriff möglich ist, kann IMHO dazu führen, dass yacy alle URLs im Puffer für ungültig erklärt, da sie nicht erreicht werden können.
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Anfängerfragen: Speicherverbrauch einstellen, ...

Beitragvon PCA42 » Mi Feb 20, 2008 7:23 pm

DanielR hat geschrieben:
Irdran hat geschrieben:[...] während es tagsüber aus ist oder kein Internet hat. Kommt Yacy damit klar? Oder destabilisiert das das Netzwerk?

Dass kein Internetzugriff möglich ist, kann IMHO dazu führen, dass yacy alle URLs im Puffer für ungültig erklärt, da sie nicht erreicht werden können.

Das stellt grundsätzlich kein Problem dar. Wenn man natürlichen einen Crawl angeschoben hat und die Internetverbindung verschwindet, wir Yacy alle im Stack vorhandenen Seiten weiter versuchen zu crawlen und als fehlerhaft aussortieren. Am besten Yacy einfach runterfahren, wenn du dein heimisches WLAN verlässt.

Die vorhandenen Datenbestände werden durch eine fehlende Internetverbindung nicht gefährdet .
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste