Referer = "Homepage-URL" - freshmeat.net Kommentar

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Referer = "Homepage-URL" - freshmeat.net Kommentar

Beitragvon Quix0r » Mi Feb 17, 2010 12:31 am

Das hier hat mich nachdenklich gestimmt:
http://freshmeat.net/projects/yacy/comments

Die URL yacy.net ist ja standartmaessig voreingetragen:
http://localhost:8080/ConfigPortal.html

Kann dies nicht in "Basic Configuration" einfach aufgenommen werden, um solch "Debakel" zu verhindern? YaCy ist ja ein braver Bot, der sich an robots.txt haelt und kein "Referer-$p@mm!ng-T00l" (habe ich codiert), wie es pgregg dort behauptet.

Okay, wir alle wissen das. Wenn das aber im Netz die Runde macht, ist das nicht gut fuer YaCy... Und dann ist YaCy ruckzuck auf den .htaccess-Listen mit den Robotbezeichnungen.

Edit: Ach, jetzt sehe ich das, was er meint. Ich dachte, YaCy wuerde die eingestellte Homepage uebertragen. :( Erst lesen... ;) Und kein Schnupfen, der ein die Konzentration mindert...
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Referer = "Homepage-URL" - freshmeat.net Kommentar

Beitragvon Lotus » Mi Feb 17, 2010 2:26 pm

Was dort geschrieben wurde, wurde dort ja schon hinreichend klargestellt.

Das bringt mich jedoch gerade auf eine andere Idee:
YaCy könnte explizit für YaCy bestimmte robots-Einträge loggen, sodass eventuell mit den Seitenbetreibern in Dialog über Verbesserungen gestartet werden kann. Wir hatten ja einmal den Fall, dass heise YaCy gesperrt hat, woraufhin ein bisher unentdeckter Fehler behoben werden konnte.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Referer = "Homepage-URL" - freshmeat.net Kommentar

Beitragvon Quix0r » Mi Feb 17, 2010 6:31 pm

Hmmm, Heise war da wirklich sehr kooperativ, da kann man sich gluecklich schaetzen. :) In Rahmen von "Debug-Sessions" waere das von dir vorgeschlagene Logging von solch Eintraegen....
Code: Alles auswählen
User-agent: yacybot
Disallow: /

... mit Sicherheit von Vorteil. Vielleicht kann YaCy dort eine Nachricht an die eigene Node senden: Hi, this is your yacybot. I have found the following Disallow line explicitly for myself. Please investigate.", oder so aehnlich. :) Plus Log.logWarning() oben drauf, damit es im Logfile auftaucht. Die Message an sich selbst dient dann einfach der Langzeitspeicherung, da das Log ja rotiert wird.

Frage: Wuerde das gehen? Ich denke mal, dass eine Nachrichten-Versende-Methode da ist...
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste