Peer voll

Ideen und Vorschläge sind willkommen.

Peer voll

Beitragvon datengrab » Mi Apr 16, 2008 5:00 pm

Wir haben ja immer noch das Problem, dass der Ressourcenhunger eines Peers konstant am wachsen ist. Irgendwann kommt dann bei den meisten der Punkt, wo es auf Grund von Speichermangel heißt "Game over", nichts geht mehr.

Würde hier nicht ein einfaches "peer full" flag helfen? Ich stelle mir das folgendermaßen vor:

Jedem Peer wird in der Konfiguration ja schon mitgegeben, wieviel RAM die virtuelle Maschine sich genemigen darf. Wenn dieser Wert erreicht ist und auch ein GC-Lauf nix mehr bringt (minus10% als Sicherheitsreserve) wird das Flag gesetzt. Das setzt folgendes in Gang:
- Auf der Status- und er Suchseite erscheint ein Hinweis, dass der Peer keine Daten mehr aufnehmen kann und was man ggfs. dagegen tun kann.
- Allen anderen Peers im Netz wird mitgeteilt, dass dieser Peer voll ist
- DHT-Eingang wird abgeleht
- Crawlaufträge werden pausiert, remotecrawls abgelehnt und neue Crawls nicht mehr zugelassen.
- der Indexer wird pausiert
Dadurch wird sichergestellt, dass der Speicherplatzbedarf nicht mehr weiter wachsen kann.

Dies alles wird erst wieder rückgängig gemacht, wenn:
- der Benutzer die maximal zu nutzende RAM-Menge hoch gesetzt hat
- der Peer durch DHT signifikant an Platzt gewonnen hat

Für die anderen Peers heißt das:
- beim DHT-Versand werden volle Peers nicht einmal in Erwägung gezogen
- bei der Suche wird für jeden vollen Peer ein weiterer mit in die Suche einbezogen

Was heißt das für alte Peers, die volle Peers noch nicht kennen?:
- Beim DHT kommt eine Meldung zurück, dass die Annahme verweigert wurde, ählich als wenn momentan die Worte in der blacklist des Empfängers stehen
- Beim suchen fallen die Ergebnisse mit unter etwas magerer aus - Pech gehabt

Was hat es für Nachteile?:
- Es könnten sich Schnorrer einschleichen, die nur die Suche nutzen wollen und deshalbe ihre Peers absichtlich vom Speicher her einschränken

Das Konzept könnte man auch noch auf den bewilligten Festplattenplatz ausdehnen, was für Notebook-Besitzer interessant sein könnte.
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: Peer voll

Beitragvon kiney » Fr Apr 18, 2008 11:00 am

ich find die Idee gut.
Auch für Festplattenplatz wär das nicht schlecht, ich betreibe YaCy auch auf meinem Notebook, und das frisst schon arg Plattenplatz. Wenn man da irgendwann ne Grenze setzten könnte wär das nicht schlecht.
kiney
 
Beiträge: 14
Registriert: Di Apr 08, 2008 10:11 pm

Re: Peer voll

Beitragvon Orbiter » Fr Apr 18, 2008 11:15 am

das ist eine gute Idee und alles ganz sinnvoll. Ich ziehe das mal um in die Wunschliste.
Die genaue Feststellung wann ein Peer diesen Status bekommen soll ist ggf. nicht so ganz einfach, muss mal nachdenken.
Über eine breite Mitwirkung bei der Umsetzung solcher Ideen würde ich mich freuen, sonst sieht es schlecht aus bei der Menge an Ideen die wir hier haben.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron