robots.txt wird nicht beachtet, warum?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

robots.txt wird nicht beachtet, warum?

Beitragvon lulabad » Di Apr 21, 2009 9:33 pm

Die folgende robots.txt wird von yacy nicht beachtet:
User-Agent: *
Disallow: /cgi-bin/
Disallow: /i2p/javadoc/
Disallow: /hosts.txt
Disallow: /newhosts.txt

User-agent: ia_archiver
Disallow: /

Warum ist das so?
Hinweis. yacy läuft im intranet modus, hat das was damit zu tun?
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: robots.txt wird nicht beachtet, warum?

Beitragvon Orbiter » Di Apr 21, 2009 9:46 pm

kommt die robots.txt dann auch aus dem intranet?
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: robots.txt wird nicht beachtet, warum?

Beitragvon lulabad » Di Apr 21, 2009 9:48 pm

Ja, muss sie doch auch oder? Also liebt auf der selben Domain.
Kann man denn irgendwie überprüfen, ob yacy die robots.txt für eine URL geladen hat und kann man da reinschauen was da drin steht?
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron