Vorbereitung auf agressives Peer-Wachstum

Ereignisse, Vorschläge und Aktionen

Vorbereitung auf agressives Peer-Wachstum

Beitragvon Orbiter » Fr Jan 10, 2014 12:52 pm

..heisst nicht dass da aus meiner Sicht was bald kommt, aber, hm, sagen wir mal, es kann ja immer mal so was geben. Wie damals als YaCy 1.0 zu 8000 Peers geführt hat. Da war dann der Effekt da, dass diese Netz total leer war und remote suche nicht so toll funktionierte. Wir sollten uns wappnen für so einen Fall, damit die Suchergebnisse da dann auch funktionieren.

Dazu bitte hier eure Ideen. Ein Punkt von mir wäre:

- Alter eines Peers zur Peer-Auswahl hinzuziehen, ganz neue in der DHT-Auswahl nicht berücksichtigen, da diese ja noch nichts haben können

fallen euch dazu Metriken zur Bewertung ein? Ein Maß oder eine Heuristik die aussagt ob es sich lohnt einen remote Peer bei der Suche zu fragen?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon sixcooler » Fr Jan 10, 2014 4:25 pm

Haben wir in Solr-Anfragen schon einen Schutz gegen Massenanfragen?
Ich hab da länger nicht reingeschaut - mir war aber so als wäre das nicht eingebaut.
(ich meine das analog zu den 'klassischen' remote-Anfragen)
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Yududi » Fr Jan 10, 2014 10:29 pm

Orbiter hat geschrieben:
- Alter eines Peers zur Peer-Auswahl hinzuziehen, ganz neue in der DHT-Auswahl nicht berücksichtigen, da diese ja noch nichts haben können

fallen euch dazu Metriken zur Bewertung ein? Ein Maß oder eine Heuristik die aussagt ob es sich lohnt einen remote Peer bei der Suche zu fragen?


Mal angenommen es wird eine Metrik dergleichen eingeführt.
Wir legen also eine Ordnung auf alle Peers auf Grund des Alters.
Dann greifen im besten Fall alle circa 8.000 genannten Peers auf immer den/die gleichen zu.
Stellt das hier kein Problem in genau dem Sinne dar wie man es umgehen möchte oder was ist damals genau mit den 8.000 Peers passiert?
Evtl. kannst Du mal kurz den Flaschenhals genauer beschreiben an dem es gehakt hat.
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Lotus » Sa Jan 11, 2014 8:51 pm

Man könnte einen Selektor bauen, der aktiv wird, sobald das Median-Alter der Peers gleich oder nur wenige Tage älter ist als das Median-Alter der Peers in der unteren Hälfte.

Ob es sich lohnt, einen Peer anzufragen, könnte man auch aus dem Wert er empfangenen Links/Wörter generieren. Die zählt ja jeder Peer für sich. Wenn ein Mindestmaß empfangen wurde, lohnt es sich, ihn abzufragen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Orbiter » Mo Jan 13, 2014 12:28 am

Sehr gute Ideen! fasse kurz zusammen:
- solr DOS-Schutz
- Vermeidung dass eine Alters-Regel sich als ein DOS auf 'alte' Peers auswirkt
- Erkennung dass ein agressives Peer-Wachstum stattfindet anhand einer Median-Heuristik
- erweiterte geschätzte Kosten/Nutzen-Heuristik bei der Anfrage eines Remote Peers anhand Indexgröße.

Apropos agressives Wachstum: was ist denn heute Abend passiert? lt. http://www.yacystats.de/network,location48.html sind da ausschliesslich aus dem Bereich GMT+08:00 viele Peers dazugekommen. Und es sind alles 'frische' compiles, und alle die gleichen. Und mein piwik meldet keine Besonderheit. Das ist merkwürdig. NSA?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Yududi » Mo Jan 13, 2014 10:37 am

Orbiter hat geschrieben:
Apropos agressives Wachstum: was ist denn heute Abend passiert? lt. http://www.yacystats.de/network,location48.html sind da ausschliesslich aus dem Bereich GMT+08:00 viele Peers dazugekommen. Und es sind alles 'frische' compiles, und alle die gleichen. Und mein piwik meldet keine Besonderheit. Das ist merkwürdig. NSA?


Ich würde das nicht GMT+08:00 zuordnen.

Bildschirmfoto 2014-01-13 um 10.30.23.png
Bildschirmfoto 2014-01-13 um 10.30.23.png (64.09 KiB) 3022-mal betrachtet


Ich muss sagen ganz genau kann ich es auch nicht bestimmen. Ich habe es gerade mit einer Farbsonde probiert aber finde die Farbe des Bereichs mit der Flanke nicht exakt in der Legende wieder. Ich würde an der Stelle raten und auf Europe/es tippen.

In meinen Logs sehe ich sehr viele Domengo-Server zum Teil mit der Nummer 109 (höchste). Gut möglich Domengo hat aufgestockt zumal unter https://www.domengo.de/fragen.asp jetzt was von 52 steht waren das nichtmal um die 30-34? Kann sein die Zahl ist auch nicht mehr aktuell und jetzt doppelt so groß.
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Lotus » Mo Jan 13, 2014 9:38 pm

Orbiter hat geschrieben:- Erkennung dass ein agressives Peer-Wachstum stattfindet anhand einer Median-Heuristik

Ich habe das gerade noch einmal gelesen, und das sollte noch erweitert werden.
Wenn die Heuristik so aktiv wird, und die Peers online bleiben, bleibt die Situation für lange Zeit erhalten, weil es viele Peers mit gleichem Alter gibt.
Deshalb sollte da noch eine absolute Komponente eingebaut werden, dann klappt es zumindest einmal.
Neuer Versuch: Wenn das Durchschnittsalter der Peers mit Alter < 15 Tagen, < 5 Tage ist, dann ist das Netz stärker am Wachsen als vorher. Wenn das Netz aber 10 Tage (Schätzung) mit der gleichen Geschwindigkeit wächst, liefert das Kriterium, alles sei normal.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Lotus » Do Jan 16, 2014 10:00 am

Noch eine Rückmeldung.
Ich habe mir einfach mal am Montag Abend das Alter aus der Peer-Liste genommen, und statistisch ausgewertet.
Das Ergebnis ist, dass das Alter, wie von mir vorgeschlagen, nicht zur "aktivierung" genutzt werden kann, weil die Verteilung dazu nicht passt.

Aus einer Liste von gut 200 Peers ist das Median 12 Tage, und der Mittelwert 156 Tage.
Von den unteren 100 ist das Median 2 Tage und der Mittelwert 3.7 Tage.

Die Mehrzahl der Peers ist also relativ jung. Man könnte spitz behaupten, nach 2 Wochen Einsatz wird YaCy nicht mehr gestartet.

Nach meiner Meinung wäre das einzig sinnvolle Kriterium die Anzahl der empfangenen Links/Wörter eines Peers. Daraus kann man abschätzen, ob auf dem Peer an der richtigen DHT-Position schon was liegt.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon Orbiter » Do Jan 16, 2014 5:50 pm

schöne Statistiken!

Lotus hat geschrieben:Die Mehrzahl der Peers ist also relativ jung. Man könnte spitz behaupten, nach 2 Wochen Einsatz wird YaCy nicht mehr gestartet.

das ist ja gleichzeitig dramatisch und phantastisch. Jetzt müssen wir 'nur' noch hinbekommen, dass die Dinger länger laufen...

Ich habe eben ein commit zur Auswahl der remote DHT targets eingebaut, darin ist nun ein Blocker der zu junge Peers < 3 Tage aus der DHT-Suche ausschliesst, wogegen genau diese ausgeschlossenen Peers aber zu einer gewissen Wahrscheinlichkeit (ja da ist ein random drin) wieder in die Liste der 'extra'-Peers (vormals robinson/node) aufgenommen werden, welche nicht über die DHT-API gesucht werden sondern über die Solr-API.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Vorbereitung auf agressives Peer-Wachstum

Beitragvon ribbon » Mi Mär 05, 2014 8:13 pm

weniger Marketing ?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron