robots.txt: Allow folgen

Ideen und Vorschläge sind willkommen.

robots.txt: Allow folgen

Beitragvon hendi » Mo Jul 14, 2008 1:40 pm

In manchen robots.txt werden bestimmte Ordner und Seiten explizit mit Allow gekennzeichnet. Wenn ein Crawl-Auftrag auf eine solche Domain gestartet wird, dann sollte YaCy auch diese dort genannten Links in die Crawl-Queue mit aufnehmen.
hendi
 
Beiträge: 35
Registriert: Mi Jun 27, 2007 11:50 am

Re: robots.txt: Allow folgen

Beitragvon miTreD » Mo Jul 14, 2008 6:54 pm

Folgt YaCy nicht grundsätzlich allem, solange es nicht verboten ist?
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: robots.txt: Allow folgen

Beitragvon hendi » Mo Jul 14, 2008 6:55 pm

Zumindest Google folgt den Allow-Einträgen, daher packen manche Webmaster dort eine Art Sitemap rein. Für Benutzer ist sie nicht interessant (und daher auch nirgendwo verlinkt!), aber eben für Suchmaschinen.
hendi
 
Beiträge: 35
Registriert: Mi Jun 27, 2007 11:50 am

Re: robots.txt: Allow folgen

Beitragvon Orbiter » So Jul 20, 2008 12:44 am

kann man machen. Hat jemand eine Beispiel-Domain?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: robots.txt: Allow folgen

Beitragvon hendi » So Jul 20, 2008 6:59 pm

hendi
 
Beiträge: 35
Registriert: Mi Jun 27, 2007 11:50 am


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast