Yacy beschleunigen bzw schneller machen

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Yacy beschleunigen bzw schneller machen

Beitragvon ab29 » Sa Jun 07, 2014 3:22 pm

Guten Tag Forum,

ich teste euer Programm nun ein paar Stunden und muss sagen mir gefällt das sehr.
Habe es so nebenbei am Rechner laufen und Crawle so paar Seiten vor mich hin.

Jetzt habe ich zb solche Werte:
Bild

Irgendwie kommt mir das aber wenig vor, weil Ram bis auf die 5400, noch genug zur verfügung steht.
Die Anbindung ist nicht am Limit.
SSD sowie RamDisk haben nichts gebracht, liegt jetzt wieder auf der HDD.

Ich verstehe das nicht so ganz, von was hängt das ab, ich habe sogar viele URL zum Crawlen eingegeben mit etwas Tiefe damit die Server der Seiten mich nicht blocken oder ausbremsen.

Kann man da was in der Config anpassen oder habt Ihr ein paar Vorschläge?
ab29
 
Beiträge: 2
Registriert: Sa Jun 07, 2014 3:08 pm

Re: Yacy beschleunigen bzw schneller machen

Beitragvon Orbiter » Mo Jun 09, 2014 9:04 pm

YaCy läd pro Domäne nicht mehr als 120 Dokumente pro Minute um nicht 'versehentlich' ein (D)DoS auf den gecrawlten Seiten zu machen.
Bei mehr Domänen im Crawler steigt der Durchsatz aber an, weil diese round-robin durchgegangen werden. Je mehr Domänen gleichzeitig im Crawler sind, desto schneller kann das werden, muss aber nicht weil auch noch die robots.txt und die durchschnittliche Antwortzeit der Server zusätzliche Bremsen in YaCy triggern können.
Die Bremse ist aber im Intranet nicht da.
Orbiter
 
Beiträge: 5778
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy beschleunigen bzw schneller machen

Beitragvon ab29 » Di Jun 10, 2014 10:40 am

Das habe ich nun im Forum nachgelesen und es mit 50 Adressen versucht, doch leider musste ich feststellen das es einen Bug gibt.
Wen der Crawler eine zeit lang läuft steigt das PPM sagen wir mal auf 15k obwohl die grenze bei 10k liegt und das System läuft nicht mehr.
Weder die Ram/Disk Sparte zeigt noch was noch lässt sich der Crawler pausieren.
Unter Peer to Peer habe ich riesige Ringe um meinen roten Punkt herum und viele Verbindungen.

Aber das habe ich beim ersten mal gelöst indem ich den gesamten Index gelöscht habe.
ab29
 
Beiträge: 2
Registriert: Sa Jun 07, 2014 3:08 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron