Resourcenhunger von YaCy bremsen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Resourcenhunger von YaCy bremsen?

Beitragvon kiney » So Apr 20, 2008 2:52 pm

Moin,

so langsam versteh ich warum so wenig Leute YaCy tatsächlich eine längere Zeit laufen lassen. Der Resourcenhunger wird doch ganz ordentlich. Ich fahr YaCy schon mit niedrigerer cpu-prio. Aber irgendwie bremst das doch noch ganz gut...ich verwende überigends Linux.
Und wie kann man den Traffic-verbrauch von YaCy begrenzen/reduzieren? ich hab in diesem Monat so viel Traffic wie nie zuvor....

Und noch eine Frage die damit nichts zu tun hat: kann man den YaCy Ordner einfach auf einen anderen Rechner verschieben und da weiterfahren? Also eine ganze YaCy installation mit Datenbank und allem umziehen?
kiney
 
Beiträge: 14
Registriert: Di Apr 08, 2008 10:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon Low012 » So Apr 20, 2008 3:59 pm

kiney hat geschrieben:Und noch eine Frage die damit nichts zu tun hat: kann man den YaCy Ordner einfach auf einen anderen Rechner verschieben und da weiterfahren? Also eine ganze YaCy installation mit Datenbank und allem umziehen?


Ja, das sollte problemlos gehen. Ich habe schon öfter mal meinen DATA-Ordner von einem Rechner auf den anderen und auch schon von Linux nach Solaris und wieder zurück transportiert, ohne dass es Probleme gab.
Zuletzt geändert von Low012 am So Apr 20, 2008 4:54 pm, insgesamt 1-mal geändert.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon kiney » So Apr 20, 2008 4:19 pm

@low12: ok, danke für den hinweis. Wenn mein Desktop-Rechner wieder hier ist, kommt mir YaCy nämlich da drauf.
kiney
 
Beiträge: 14
Registriert: Di Apr 08, 2008 10:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon miTreD » So Apr 20, 2008 5:06 pm

kiney hat geschrieben:Und wie kann man den Traffic-verbrauch von YaCy begrenzen/reduzieren? ich hab in diesem Monat so viel Traffic wie nie zuvor....
Weniger crawlen, z.B. nur Remote-Crawls annehmen und die dann auf wenige pro Minuten begrenzen. Dürfte sich auch direkt auf die Perfomance Deines Rechners auswirken. Du kannst das Crawling auch komplett deaktivieren und machst nur DHT.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Resourcenhunger von YaCy bremsen?

Beitragvon kiney » So Apr 20, 2008 7:08 pm

Die crawl-geschwindigkeit zu begrenzen hab ich irgendwie nicht hinbekommen. Ich nahm an dass das dieses Eingabefeld auf der Crawl-übersicht ist wo die Knöpfe "Minimum, Benutzerdefiniert, Maximum" sind. Aber irgendwie zeigt das keine Wirkung wenn ich da was eintrage.

ps: kann man YaCy vielleicht irgendwie nen crawl-stundenplan geben? also dass der nur Nachts crawlt?
kiney
 
Beiträge: 14
Registriert: Di Apr 08, 2008 10:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon datengrab » So Apr 20, 2008 7:13 pm

kiney hat geschrieben:Die crawl-geschwindigkeit zu begrenzen hab ich irgendwie nicht hinbekommen. Ich nahm an dass das dieses Eingabefeld auf der Crawl-übersicht ist wo die Knöpfe "Minimum, Benutzerdefiniert, Maximum" sind. Aber irgendwie zeigt das keine Wirkung wenn ich da was eintrage.
Da warst du schon ganz richtig. Wenn du aber einen Wert keiner zehn einträgst, wird der Wert automatisch auf zehn gesetzt. Warum das so ist habe ich hier auch schon mal gefragt, aber noch keine Antwort drauf bekommen.
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon Low012 » So Apr 20, 2008 8:02 pm

kiney hat geschrieben:ps: kann man YaCy vielleicht irgendwie nen crawl-stundenplan geben? also dass der nur Nachts crawlt?


Mit Bordmitteln nicht, aber mittels WGET und CRON ging das mal: http://www.yacy-websearch.net/wiki/index.php/De:OnTime
Allerdings gibt es die Seite mittlerweile nicht mehr. Wo ist denn die Möglichkeit zum Pausieren des Crawlens hin gewandert? Die Wiki-Seite müsste mal angepasst werden und meine Perl-Schnittstelle müsste ich dann auch mal ändern.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon DanielR » So Apr 20, 2008 9:10 pm

Ich vermute dass man mit den Timings YaCy ganz gut bremsen kann. Einfach für Crawler, Indexer und Stacker als Busyzeit, statt 0 sowas wie 5000 (ms = 5 Sekunden) eintragen. Dann macht YaCy nach jedem Durchlauf eine kleine Pause. In der kann der Rechner dann etwas anderes machen. Wie gesagt "Ich vermute", habe das nicht getestet und weiß auch nicht ob das mit den ganzen Threads so hinhaut, wie ich mir das vorstelle.
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon miTreD » Mo Apr 21, 2008 8:52 am

DanielR hat geschrieben:Einfach für Crawler, Indexer und Stacker als Busyzeit, statt 0 sowas wie 5000 (ms = 5 Sekunden) eintragen.
Den Stacker kannst Du auf 0ms lassen, den Indexer auf Default. Am besten änderst Du den Busy Cycle für den Crawler. Wenn Du hier 10000 einträgst, crawlt YaCy nurnoch maximal 6 Seiten pro Minuten. Natürlich kannst Du auch den Indexder begrenzen statt des Crawlers, aber dann wird die Indexierwarteschlange vollaufen und Du hast dauernd entsprechende Meldungen im Log :-) Am besten spielst Du einfach mal damit rum. Kaputtgehen kann nix.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Resourcenhunger von YaCy bremsen?

Beitragvon kiney » Mo Apr 21, 2008 12:38 pm

Moin,

das mit dem cron+curl klingt ganz interessant. Sonst richte ich halt mit beschriebenen tricks ne dauerbremse ein. Kann ich leider erst testen wenn mein YaCy wieder tut...
kiney
 
Beiträge: 14
Registriert: Di Apr 08, 2008 10:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon Low012 » Mo Apr 21, 2008 1:05 pm

OK, ich habe eben nochmal geschaut und es müsste möglich sein, statt über die im Wiki angegebenen Links über

http://localhost:8080/Status.html?pause ... localCrawl
http://localhost:8080/Status.html?pause ... geredCrawl

http://localhost:8080/Status.html?conti ... localCrawl
http://localhost:8080/Status.html?conti ... geredCrawl

Crawls (lokale bzw. von remote angestoßene) zu pausieren. Die Links sind auch sichtbar, wenn du eingeloggt die Statusseite http://localhost:8080/Status.html aufrufst.

Ich habe das nict ausprobiert und auch noch nicht im Wikii geändert. Wenn es jemand ausprobiert hat, wäre es gut, wenn er das im Wiki ändern würde.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Resourcenhunger von YaCy bremsen?

Beitragvon Lotus » Mo Apr 21, 2008 3:04 pm

Vorschläge zu Anti-Performance Einstellungen bitte hier rein: viewtopic.php?f=15&t=981 :)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron