Performance Verzweiflung

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Performance Verzweiflung

Beitragvon GEESUZ » Do Jan 15, 2015 1:36 pm

Hallo,

ich komm einfach nicht weiter, egal was ich einstelle der Crawler kommt einfach nicht über seine durchschnittlichen 50 PPM

ich habe die Performance Wiki gelesen und folgende Einstellungen gemacht:
Ram von 600 auf 2500 erhöht
Maximale Wortzahl im Cache: von 50000 auf 90000
Crawler Pool: von 200 auf 400
httpd Session Pool: von 9 auf 18

trotzdem hat sich kaum bis garnichts geändert in der Geschwindigkeit.

JA ich habe die Suchfunktion benutzt und nahezu alles möglich versucht
GEESUZ
 
Beiträge: 9
Registriert: Do Jan 10, 2013 12:13 pm

Re: Performance Verzweiflung

Beitragvon Low012 » Do Jan 15, 2015 1:57 pm

Wie sieht denn dein Crawl-Auftrag aus? YaCy bremst das Crawling, wenn nur innerhalb einer oder weniger Domains gecrawlt wird, um nicht fremde Server zu überlasten.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Performance Verzweiflung

Beitragvon GEESUZ » Do Jan 15, 2015 2:14 pm

na ich habe so an die 200 links
die ich in 10 crawljobs aufteile gleichzeitig

also je weniger links desto langsamer das crawling?
GEESUZ
 
Beiträge: 9
Registriert: Do Jan 10, 2013 12:13 pm

Re: Performance Verzweiflung

Beitragvon Low012 » Fr Jan 16, 2015 1:23 pm

Das kommt drauf an! ;) Wenn du Crawljobs hast die innerhalb einer oder weniger Domains bleiben, wird zwischen den einzelnen Zugriffen auf diese Domain gewartet. Wenn du so eine Einschränkung nicht hast, dann gibt es weniger Wartezeiten und die PPM sollten ansteigen.

Wenn alles richtig läuft, müsste also ein Crawljob, der de.wikipedia.org abarbeitet und dort bleibt (Crawl_Start über http://localhost:8090/CrawlStartSite.html), relativ langsam sein. Wenn du dagegen de.wikipedia.org abarbeitest und die Verzweigung außerhalb der Wikipedia zulässt (Crawl_Start über http://localhost:8090/CrawlStartExpert.html ohne Filter), dann sollte die Geschwindigkeit höher sein, als in deinem Ursprungsposting angegeben.

Es könnte also durchaus sein, dass du höhere Geschwindigkeiten erreichts, wenn du alle Links gelichzeitig als Crawlstart angibst, weil YaCy dann halt mehr Domains zur Auswahl hat und weniger wartet.
Zuletzt geändert von Low012 am Fr Jan 16, 2015 1:27 pm, insgesamt 1-mal geändert.
Grund: Tippfehler...
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Performance Verzweiflung

Beitragvon GEESUZ » Mi Jan 21, 2015 3:27 pm

aaah jetzt habe ich es verstanden :)

vielen Dank !
GEESUZ
 
Beiträge: 9
Registriert: Do Jan 10, 2013 12:13 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste