forcing fetch delay of 9937 millisecond

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

forcing fetch delay of 9937 millisecond

Beitragvon lulabad » Mo Sep 29, 2008 9:04 pm

Code: Alles auswählen
I 2008/09/29 22:03:29 CRAWLER LOCALCRAWL[279, 0, 0, 0]: enqueued for load http://piratenpartei.de/comment/reply/234/4733 [V77rgtGdLX5C]
D 2008/09/29 22:03:29 CRAWLER Crawling of URL 'http://piratenpartei.de/comment/reply/234/4733' disallowed by robots.txt.
I 2008/09/29 22:03:29 BALANCER forcing fetch delay of 9937 millisecond for piratenpartei.de


10 Sekunden?
Warum?
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: forcing fetch delay of 9937 millisecond

Beitragvon Lotus » Mo Sep 29, 2008 9:16 pm

http://piratenpartei.de/robots.txt hat geschrieben:User-agent: *
Crawl-delay: 10

Deshalb.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: forcing fetch delay of 9937 millisecond

Beitragvon lulabad » Mo Sep 29, 2008 9:18 pm

Ach mist. :oops:
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: forcing fetch delay of 9937 millisecond

Beitragvon Orbiter » Di Sep 30, 2008 8:20 am

ja das erzwungene Warten war schon länger da, nur nicht eine entsprechende Meldung im Log. Das sah manchmal so aus als wenn der Indexierer stecken geblieben sei, dabei ist dann schon mal so ein crawl-delay schuld.

Das einzige was man hier machen kann, ist den Balancer weiter intelligent zu machen. Ich stelle mir das so aus, das der Balancer so eine Art Simulation vernanstaltet, um in der Zukunft sehen zu können welche Kombination von URLs das geringste erzwungene Crawl-Delay erzeugt. Bisher sind es nur so über-den-daumen-peilen Funktionen, die eine nächste URL auswählt.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: forcing fetch delay of 9937 millisecond

Beitragvon lulabad » Di Sep 30, 2008 8:24 am

Man könnte vielleicht noch mit ins Log schreiben dass das Delay aus der robots.txt stammt und nicht von yacy selber kommt.
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste