Remote Crawls

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Remote Crawls

Beitragvon auser » Fr Okt 10, 2008 9:54 am

Was mich daran stört ist, das mein Peer wenn er sich die Crawls holt noch die robot.txt laden und auswerten muss. Wieso macht das nicht der crawlende Peer bevor der Link zum crawlen freigegeben wird ?
auser
 

Re: Remote Crawls

Beitragvon Low012 » Fr Okt 10, 2008 9:57 am

Ich denke, das ist so gelöst, weil man nicht sicher sein kann, dass der Peer, von dem die Crawlaufträge freigegeben werden, nicht manipuliert sein könnte und auch URLs zum Crawlen verschickt, die durch die robots.txt nicht zum Crawlen freigegeben sind.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Remote Crawls

Beitragvon auser » Fr Okt 10, 2008 10:03 am

Ein bisschen Paranoid ;)

Danke für die schnelle Antwort.
auser
 

Re: Remote Crawls

Beitragvon Orbiter » Fr Okt 10, 2008 10:19 am

es wird beides gemacht: der crawlende und der remote-crawlende Peer überprüfen dir robots.txt
Das hat zur Folge, das in dem Fall wo eine robots.txt nicht existiert dieser Fall für den remote-crawlenden Peer auch schnell abgehandelt ist, da nichts zu überprüfen ist. In den meisten Fällen ist es also nicht besonders großer Overhead das man zwei mach checkt. Dafür kann man YaCy auch nicht als DoS Spam-bot missbrauchen, bzw. es kann niemand durch einen Angriff YaCy in misskredit ziehen.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron