DHT-Verteilung beschleunigen

Ideen und Vorschläge sind willkommen.

DHT-Verteilung beschleunigen

Beitragvon Lotus » Sa Okt 03, 2009 3:09 pm

Neben schnell Crawlen und wiederfinden muss YaCy die Daten auch im DHT speichern können.
Ich brauche um 100 MB zu verteilen ca. 45 Minuten an einer Leitung bei der der Upload keine Begrenzung darstellt (Busy-Delay 1ms). Bei Redundanz 3 wären das (Milchmädchenrechnung) gerade einmal 33MB Nutzdaten.
Ich schreibe das nur, um es in Erinnerung zu rufen. Crawlspeed ist mit Sicherheit mehr werbewirksam.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Verteilung beschleunigen

Beitragvon Seitenreiter » Mi Okt 07, 2009 6:07 pm

Genau schließlich sind wir ja nur zusammen stark. Und gerade das Verteilungs/Speicherungs Problem ist es das mich persönlich zur Zeit ein wenig Yacy fern bleiben lässt.
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: DHT-Verteilung beschleunigen

Beitragvon Orbiter » Mi Okt 07, 2009 10:00 pm

Echt das zu langsame Verteilen ist ein Problem? Ich gehe an solche Dinge ja einerseits moderat heran, damit es den Leuten nicht zu viel wird, und andererseits hatten wir ja erst ein Problem dass es sowieso nicht schnell ging, bis Anfang des Jahres eine neue Verteilungstechnik kam. Damit sollte es eigentlich möglich sein, die Datenmengen zu erhöhen.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: DHT-Verteilung beschleunigen

Beitragvon bluumi » Do Okt 08, 2009 10:11 am

Orbiter hat geschrieben:Echt das zu langsame Verteilen ist ein Problem? Ich gehe an solche Dinge ja einerseits moderat heran, damit es den Leuten nicht zu viel wird,

;)
Nun, die Frage ist halt ob man es als der verteilende oder als der Empfänger anschaut :)
Als verteiler möchte man logischerweise schnell dass es auch anderswo erhältlich ist, aber als Empfänger heisst das dass man von den anderen 60 - ? Peers da draussen "Post" bekommt :)
Und ich geb Dir da recht, dass es schnell wieder zu schnell werden kann, wenn die kleinen Peers mit DHT geflutet werden. Für mich käm dann da halt die Frage des Ressourcen abhänigen Flutens :)
Also wer eine Terra Platte zu verfügung hat etwas mehr abbekommen darf, als der wo nur 20 Gb für Yacy investieren möchte.
Aber ob das realisierbar ist (?) - Zudem hat man dann wieder das Problem dass wenige sehr sehr viel "puffern" als andere.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: DHT-Verteilung beschleunigen

Beitragvon Orbiter » Do Okt 08, 2009 2:43 pm

Die Verteilungsgeschwindigkeit ist offenbar keine Sache, die ein Sender dem Empfänger einfach so auferlegen kann, denn hier sind ja mehr User beteiligt, die sich über die Last einig werden müssen. Ich halte daher eine Einstellmöglichkeit eher für eine Sache der Netzdefinition, nicht eine persönliche Konfiguration. Aber damit herumspielen zu können wäre auch nicht so schlecht. Ich stelle mir beispielsweise vor, dass man die Transportmenge im Sciencenet recht hoch stellt, im freeworld dagegen moderat so wie wir uns ggf. durch Versuche noch abstimmen.

Nun hat Stephan heute morgen noch recht gute Sachen zum DHT eingecheckt: Stephan, könntest du gucken welche Stellschrauben sinnvoll wären und die ggf. als Konfigurationsparameter vorsehen, die wir dann in die Netzdefinition einstellen?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: DHT-Verteilung beschleunigen

Beitragvon Lotus » Do Okt 08, 2009 3:40 pm

Definitiv cool wäre ja ein Upload-Limit einzustellen, welches dann ausgereizt wird solange es etwas zu verteilen gibt.

Orbiter hat geschrieben:Echt das zu langsame Verteilen ist ein Problem? Ich gehe an solche Dinge ja einerseits moderat heran, damit es den Leuten nicht zu viel wird,


Mit der jetzigen Geschwindigkeit ist es durchaus möglich eine <0,5MBit/s Upload-Leitung auszubremsen wegen der Upload-Peaks. 1 MBit/s geht auch noch einigermaßen merkbar zu bremsen.

Als "Problem" sehe ich eher die Optimierfähigkeit bei wirklich harten Einstellungen wie 1ms Busy-Delay. Die jüngsten Änderungen habe ich noch nicht getestet.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Verteilung beschleunigen

Beitragvon Quix0r » So Feb 07, 2010 7:15 pm

Pasend dazu moechte ich gerne das Thema "Bandbreiten-Limitierung" im allgmeinen ansprechen. Vielleicht kann man das auch in einem seperaten Thread besprechen. Bitte nicht gleich vorweg schreiben, dass dies nicht moeglich sei. Z.B. Azureus und I2P haben solch Limitierer, mit einstellbaren maximalem Peek pro Up- und Down-Stream.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: Yahoo [Bot] und 1 Gast

cron