Remote Crawl -> Initiator bannen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Remote Crawl -> Initiator bannen

Beitragvon Bbig » Di Jan 07, 2014 10:07 pm

Servus zusammen,
der lokale Crawler "meiner Seiten" läuft; dachte aber so bei mir, andere Menschen andere Vorlieben und so habe ich den Remote-Crawler angemacht.

Irgendwie ist es ja interessant, was andere so crawlen; also den Abend über mal ab und zu geschaut:
Darunter ist ein Initiator, der halb-ilegale und ilegale Seiten indiziert, den möchte ich entfernen.

==> Wie (absolut keine Lust einzelne Seite auf die Blacklist zu setzten) "blackliste" ich einen Initiator, der bei mir "remote-crawled"?


P.S.: Sry, ich weiß, sehr viel Denglish, :ugeek:
Bbig
 
Beiträge: 2
Registriert: Di Jan 07, 2014 9:59 pm

Re: Remote Crawl -> Initiator bannen

Beitragvon David » Do Jan 09, 2014 8:52 pm

Hallo!

So weit ich weiss, gibt es in Yacy keine Funktion, mit der man andere Peers blockieren kann. Dafür könntest du aber rein theoretisch eine Firewall bzw. IP-Blocker benutzten. Nur solltest du beachten, dass nicht nur via "Remote Crawling" potenziell unerwünschte Webseiten in deinen Index geraten können, sondern auch via DHT, sofern du dass in den Yacy-Netzwerkeinstellungen eingeschaltet hast. http://localhost:8090/ConfigNetwork_p.html
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Remote Crawl -> Initiator bannen

Beitragvon Bbig » Fr Jan 10, 2014 12:08 am

Hallo David, danke für deine Antwort.

Irgendwie hatte ich gehofft, dass ich die Funktion, einen Peer zu blocken, übersehen hatte.
Es gibt so viele Einstellmöglichkeiten, aber daran hat keiner gedacht? Schade, :cry:.

Prinzipiell geht es mir nicht darum, was schon im Index ist, sondern was von meiner IP aus gecrawled wird.
Warez && P0rn sind auch Internetseiten, und wer diese will, kann sie auch (einfach) finden. Aber bitte ohne meine (feste) IP; traurig aber wahr, in der Internetära nach Snowden sollte sich jeder bewusst sein, das alles, wirklich alles im Internet auf den Inhaber zurückfällt und gespeichert wird. (Gerade auch mit einer festen IP).

IP-Blacklistung würde zwar gehen, könnte man auch mit sowas wie PeerGuardian / eventuell Easylist verbinden, aber ehrlich, ein einfacher Blacklist eines Peers wäre mir viel lieber. Klar, auch einfacher für mich.
Der Index soll ja ruhig viel vom Internet abdecken, nur ich mag nicht diese Seiten durchsuchen.

So bleibt für mich das Remote Crawlen erstmal aus und jeder, der es an hat, sollte sich gut überlegen, ob ihm das recht ist.
Gruß Bbig
Bbig
 
Beiträge: 2
Registriert: Di Jan 07, 2014 9:59 pm

Re: Remote Crawl -> Initiator bannen

Beitragvon Low012 » Fr Jan 10, 2014 9:22 am

Ich weiß nicht, wie nützlich es wäre, Peers sperren zu können, weil man ja die Identität des eigenen Peers relativ einfach ändern kann. Wenn man will, sollte das mit wenig Aufwand (ein kleines Shell-Skript und cron sollten reichen) sogar automatisch möglich sein. Man muss ja eigentlich nur den Peer-Hash und den Namen regelmäßig ändern und die Blacklist-Maßnahme würde ins Leere laufen.

Ich habe letztens mal (aus einem anderen Grund) eine Abuse-Meldung meines Hosters bekommen, die ursprünglich von einem Honeypot-Betreiber kam. Um bei diesem Betreiber aus der Blacklist zu kommen, konnte man als Begründung auch angeben, dass der eigene Server ein Tor-Exit-Node ist. Es wäre schön, wenn das mit YaCy irgendwann genauso einfach wäre (und außerdem auch Rechtssicherheit gegeben wäre).
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Remote Crawl -> Initiator bannen

Beitragvon Orbiter » Fr Jan 10, 2014 10:28 am

Low012 hat geschrieben:...die Identität des eigenen Peers relativ einfach ändern kann.

ich hatte beim 30c3 ein langes Gespräch mit, ich sage mal einem (auch) Krypto-Guru (zur Zeit will ich nicht sagen wer), der die Idee hatte, die YaCy Peer-hashes ähnlich wie bitcoins zu berechnen und damit etwas zu schaffen das nicht so einfach austauschbar ist. Damit neue Peers nicht ewig herumrechnen müssen, bekommen diese die Hashes von einem anderen Peer, der das schon auf Vorrat gemacht hat. Damit würde so etwas wie eine 'Abstammung' und somit ein Vertrauensnetz aufgebaut werden. Das würde zumindest eine Metrik vorgeben, wie sehr ich einer Identität vertrauen kann.

Aber das nur am Rand. Ich kann schon verstehen dass Bbig 'was einfaches' genügen würde. Meist spammen die Peers ja nicht derart agressiv herum sondern sind ggf. einfach nur 'skurril' in ihrer Auswahl des Crawls. Da würde eine ganz einfache Peer-Hash-Liste (ein csv-Eintrag im config) reichen, um das zu filtern. Ist einfach, hat nur noch keiner gemacht...
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Remote Crawl -> Initiator bannen

Beitragvon LA_FORGE » Fr Jan 10, 2014 11:44 am

@Orbiter
das ist ja genial mit der neuen Methodik der Hash-Kalkulation. Baut ihr das bald ein?

@Bbig
Empfehlenswert wäre hier ein VPN-Provider (z. B. BTGuard oder ExpressVPN), dann braucht man sich auch keine Sorgen machen, was (remote) gecrawlt wird.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Remote Crawl -> Initiator bannen

Beitragvon Orbiter » Fr Jan 10, 2014 12:42 pm

LA_FORGE hat geschrieben:das ist ja genial mit der neuen Methodik der Hash-Kalkulation. Baut ihr das bald ein?

Das ist ein Unterthema eines Topics, das ich gerade aufbereite und hier bald zur Diskussion stelle.

LA_FORGE hat geschrieben:Empfehlenswert wäre hier ein VPN-Provider (z. B. BTGuard oder ExpressVPN), dann braucht man sich auch keine Sorgen machen, was (remote) gecrawlt wird.

..oder mullvad.net :mrgreen:

Übrigens kann man in YaCy ja auch einen remote Proxy definieren, das kann dann der vidalia tor-Proxy (lokal) sein. Besser noch: tor-über-vpn :twisted:
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste