robot.txt

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

robot.txt

Beitragvon Micki » So Mär 01, 2015 3:18 pm

Beachtet YaCy den Eintrag:
User-agent: yacybot
Crawl-delay: 5

?
Schon mal wer getestet?
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: robot.txt

Beitragvon Orbiter » So Mär 01, 2015 8:44 pm

das crawl-delay wird beachtet, kannst das gerne testen. Das sind übrigends Sekunden! Mit crawl-delay: 5 bekommt man dann nur maximal 20 Seiten pro Minute durch.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron