Frage robots.txt

Ereignisse, Vorschläge und Aktionen

Frage robots.txt

Beitragvon Huppi » Di Okt 14, 2008 8:47 pm

Wie vollständig unterstützt YaCy eigentlich die Robots.txt?

User-agent: *
Crawl-delay: 5
Request-rate: 1/10
Disallow: /icons/
Disallow: /pix/


Disallow sollte klar sein, werden auch Crawl-delay und Request-rate berücksichtigt? Was sagen die Werte genau aus? 5 Sekunden Pause zwischen Seitenabrufen? Was ist die Request-rate?
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Frage robots.txt

Beitragvon Orbiter » Di Okt 14, 2008 9:17 pm

crawl-delay: ja, sind 5 Sekunden und wird unterstützt. In 0.61 wird dieses Delay auch im Balancer benutzt, um optimal zu agieren (wenns auch noch nicht optimal ist). Wird aber schon lange beachtet, nur bis 0.60 konnte ein langes crawl-delay zur Blockade des Crawlers führen.

request-rate: kannte ich noch nicht. Ich denke das wird noch nicht beachtet. wie passt das mit crawl-delay zusammen?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Frage robots.txt

Beitragvon Huppi » Di Okt 14, 2008 11:05 pm

Keine Ahnung. War ein konkreter Praxisfall, spektrum.de
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste