Google-Bot will Nodes manuell hinzufuegen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Google-Bot will Nodes manuell hinzufuegen?

Beitragvon Quix0r » Sa Jun 20, 2009 9:43 pm

Hab hier den Google-Bot Crawler auf folgende und aehnliche URLs erwischt:

- /Network.html?page=4&peerHash=6qCw2nCuTAuk&peerIP=88.152.45.20&peerPort=8081&addPeer=add+Peer
- /Bookmarks.html?edit=GwvbiQM64iHS

Ein paar Fragen:
- Wie kommt Google auf solch URLs? [scherz]Angriff auf YaCy-Nodes?[/scherz] ;-) Die Zugriffszeiten sind noch vertraeglich.
- Sind diese als "Gast" aufrufbar, also ohne Login? Nein, kommt Aufrufschutz

Revision ist 6091. Diese produziert beim Runterfahren eine NPE: viewtopic.php?f=6&t=2180&hilit=&p=15981#p15981
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Google-Bot will Nodes manuell hinzufuegen?

Beitragvon Lotus » So Jun 21, 2009 9:47 am

Google bedient neuerdings auch GET-Formulare:
http://www.golem.de/0804/58977.html
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Google-Bot will Nodes manuell hinzufuegen?

Beitragvon Quix0r » So Jun 21, 2009 12:47 pm

Naja, ist ja noch vertraeglich. Oder wollen wir die auch per Default ausklammern? (Wieder ein-/ausschaltbar per robots.txt-Interface)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron