Googles Umgang mit robots.txt

Allgemeines und Nachrichten zu Suchmaschinen-Themen

Googles Umgang mit robots.txt

Beitragvon Lotus » Mo Sep 23, 2013 4:42 pm

Zur allgemeinen Information:
Google findet sehr wohl Links, die per robots.txt ausgeschlossen wurden. Dabei wird dann nicht der Inhalt berücksichtigt, sondern die Adresse.

Hier ein Beispiel:
https://www.google.de/#filter=0&q=site: ... .google.de

In der robots.txt steht:
Code: Alles auswählen
Disallow: /complete

Dazu schreibt Google:
https://support.google.com/webmasters/a ... 6449?hl=de
Zwar werden die Inhalte der Seiten, die durch die Datei "robots.txt" blockiert sind, weder gecrawlt noch indexiert, möglicherweise erfolgt jedoch dennoch eine Indexierung der URLs, falls diese auf anderen Webseiten gefunden werden. Folglich können die URL der Seite und eventuell auch andere öffentlich verfügbare Informationen wie z. B. der Ankertext in Links zu der Website oder der Titel des Open Directory Project (http://www.dmoz.org) in den Google-Suchergebnissen angezeigt werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Googles Umgang mit robots.txt

Beitragvon Orbiter » Di Okt 22, 2013 2:02 pm

hm, wir haben seit ein paar Tagen auch die Anchor Texte zu den Links im Index, jedoch werden die noch nicht zur Suche benutzt. Könnten wir aber....
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Suchmaschinen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast