Suchanfragen-Flooding

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Suchanfragen-Flooding

Beitragvon Orbiter » Sa Sep 04, 2010 11:54 am

ich hab hier auf meinem privaten Peer pro Tag schon mal 900 Suchanfragen, alle im Themenbereich Biotechnologie, die auch remote beantwortet werden, also durchs ganze Netz gehen. Kommt von einer Telekom Enduser-IP (91.35.xx.xx) und ist somit auch eine private Adresse.
Die Anfragen kommen schön über den Tag verteilt und werden offenbar aus einem Wörterbuch automatisch zusammengesetzt. Habt ihr das auch?

Wie wollen wir mit automatischen Anfragen, die hier offenbar nicht bös gemeint sind (ist ja offenbar so konstruiert dass sie mit rund 30 Sekunden Abstand kommen) umgehen? Wenn hinter dem Ding ein sinnvoller Zweck steht warum nicht? Aber wie will man das immer Bewerten?

Mir schwebt da sowas wie eine automatische Begrenzung der Suchanfragen von einer einzelner IP vor, die dann bei Überschreitung einer ersten Grenze erst mal keine Remote Suche mehr zuläßt (um das Netz zu entlasten) und dann in einer zweiten Grenze keine Ergebnisse mehr generiert. Das ganze aber nicht um automatische Anfragen ganz zu bannen sondern nur um das Netz vor Überlastung zu schützen. Jeder soll dabei die Grenzen selber festlegen können.
Wie seht ihr das?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Suchanfragen-Flooding

Beitragvon yacytest » Sa Sep 04, 2010 3:18 pm

Das sperren einer IP wäre ungerecht da die meisten Benutzer wechselnde IPs benutzen. Der Flooder würde einfach seine Adresse wechseln und bestraft würden die anderen.

Googel setzt bei zu häufigen Abfragen eine Captcha Lösung ein. Ich würde das auch begrüßen. Es könnte sich ja um einen Test handeln das Netzwerk stillzulegen. Ich denke daß 20 Suchabfragen pro IP reichen sollten. Es sollte also nach jeder 20. Suchabfrage eine Captchameldung angezeigt werden. Wichtig ist nur daß die Dinger tatsächlich leicht lesbar sind, es würden sonst zu viele die Lust an Yacy verlieren. Und jeder Peer Betreiber sollte selber entscheiden können ob er Captchas möchte oder nicht.
yacytest
 
Beiträge: 14
Registriert: Mi Sep 01, 2010 12:16 pm

Re: Suchanfragen-Flooding

Beitragvon Orbiter » So Sep 05, 2010 12:39 pm

yacytest hat geschrieben:Das sperren einer IP wäre ungerecht da die meisten Benutzer wechselnde IPs benutzen. Der Flooder würde einfach seine Adresse wechseln und bestraft würden die anderen.

Ja aber wenn wir nicht über Sperren bei schwerem Missbrauch nachdenken sind wir zahnlose Tieger. Es darf natürlich nicht den falschen treffen. Das geeignete Mittel wäre ggf. eine automatische Ablaufzeit von IP-Sperren die unterhalb der Wiedervergabezeit der IP beim Hoster liegt. Die kann man natürlich nicht kennen, aber ich denke dass eine benutze IP nicht sofort wieder vergeben wird weil das ja bei allen Protokollen zu Problemen führen würde, nicht nur bei P2P.

yacytest hat geschrieben:Googel setzt bei zu häufigen Abfragen eine Captcha Lösung ein. Ich würde das auch begrüßen. Es könnte sich ja um einen Test handeln das Netzwerk stillzulegen. Ich denke daß 20 Suchabfragen pro IP reichen sollten. Es sollte also nach jeder 20. Suchabfrage eine Captchameldung angezeigt werden. Wichtig ist nur daß die Dinger tatsächlich leicht lesbar sind, es würden sonst zu viele die Lust an Yacy verlieren. Und jeder Peer Betreiber sollte selber entscheiden können ob er Captchas möchte oder nicht.

Mal abgesehen von den Default-Einstellungen finde ich die Captcha-Idee ganz sinnvoll. Wir haben ja schon Captcha-Code in YaCy, der aber momentan nicht genutzt wird.

Insgesamt finde ich dass so eine Massenabfrage per se nicht als 'böse' betrachtet werden sollte. Vielleicht wollen das die Peer-Owner ja, wer weiss? Ich wäre für Transparenz, also dass ein Peer in seiner Seed mit Publiziert wieviel er ohne Captcha und ohne Sperre akzeptiert (als queries/second, queries/minute und queries/hour jeweils für
- Limit bis ein Captcha erfragt wird
- Limit bis Globale Suche untersagt wird
- Limit bis Suche gesperrt wird.
Oh je das macht 9 Parameter... und das ganze noch mal für die p2p-Suche (dann ohne Untersagen von globaler Suche und ohne Captcha, das macht ja im p2p-Protokoll kaum sinn.)
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Suchanfragen-Flooding

Beitragvon yacytest » So Sep 05, 2010 2:53 pm

Ich würde das Protokoll erstmal so lassen wie es ist. Wenn eine IP mehr als 20 Abfragen macht soll er ein Captcha lösen. Das reicht. Falls nicht kann man darauf immer noch reagieren.
Man könnte ja auch eine Mitteilungsfunktion machen indem Personen die einen Grund für viele Abfragen nennen eben freigeschaltet werden.
Oder man könnte über ein Belohnungssystem wie bei Edonkey nachdenken. Wer viele Suchanfragen beantwortet darf auch viel fragen. Aber der Aufwand dürfte erstmal Zeitverschwendung sein. Es gibt sicherlich wichtigeres zu tun.
yacytest
 
Beiträge: 14
Registriert: Mi Sep 01, 2010 12:16 pm

Re: Suchanfragen-Flooding

Beitragvon Vega » Mo Sep 06, 2010 7:44 am

@Michael - erstmal so lassen wie es ist, ins berühmte "schwarze Buch" schreiben 8-) und auf später verschieben..... Lass uns in Berlin mal drüber "spinnen".

Gruss
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Suchanfragen-Flooding

Beitragvon Quix0r » Di Sep 07, 2010 6:54 pm

Das mit dem Captcha wuerde ich auch eher begruessen, die IP-Sperren versuchen gerade unsere Herren und Damen aus Berlin und da sollte YaCy nicht mitziehen... Denn ist einmal solch ein System (Sperrsystem von IPs) im Prpgrammcode etabliert, rufen schon die Missbraucher danach und wollen auch IPs gesperrt sehen... Nur so als Gedankenansatz gegen IP-Sperren (sei es dass sie [erstmal] nur tempoaere gesperrt werden).

Klar, sperren von IPs sollte man vermeiden (freier Wissenszugang). Ein CAPTCHA macht da also mehr Sinn. Die Anzahl "freien" Suchanfragen gehen da auch in die verkehrte Richtung und sind eher hinderlich. Sollen sie doch halt suchen, nur nicht massig pro IP. Dann kann die YaCy-Node nicht mehr so leicht Angriffsopfer von Denial-Of-Service-Attacken werden.

My 2 cents. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast