robots.txt

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

robots.txt

Beitragvon feuervogel » Di Sep 01, 2009 4:17 pm

Kann man irgendwo in Yacy einstellen, dass Yacy robots.txt Dateien einfach übergeht und nicht darauf achtet? Es wird ja auch nicht gesetzlich vorgeschrieben, dass sich eine Suchmaschiene and die robots.txt halten muss oder?
feuervogel
 

Re: robots.txt

Beitragvon Vega » Di Sep 01, 2009 4:29 pm

Das ist keine gute Idee, das würde bei vielen Web-Administratoren nicht für Begeisterung sorgen. Das ist ein defacto-Standard an den sich alle gängigen Suchmaschinen halten - http://de.selfhtml.org/diverses/robots.htm.

Gruß
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: robots.txt

Beitragvon Low012 » Di Sep 01, 2009 7:24 pm

Wenn du das machen solltest, bitte auf jeden Fall auch den User Agent ändern, sonst tauchen hier bestimmt einige Webmaster auf, die ziemlich sauer sind. ;)

Im Ernst: Ich finde auch, dass das keine so gute Idee ist.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron