Res.-Beschränkung über Wortanzahl

Ideen und Vorschläge sind willkommen.

Res.-Beschränkung über Wortanzahl

Beitragvon Lotus » Sa Apr 03, 2010 10:10 am

Um die genutzten Resourcen wirkungsvoll zu beschränken stelle ich mir ein Wortlimit vor, über dem kein Index mehr angenommen wird. Das ist einfach zu realisieren. Ich möchte es jedoch erst Diskutieren.

Ich stelle es mir so vor:
Bei erreichen er Wörter, wird DHT-in abgeschaltet. Es werden Wörter versendet. Irgendwann wird die große Datei an der gezählt wird mit einer kleineren zusammengeführt, und es sollte wieder Kapazität frei sein, sodass DHT-in eingeschaltet wird. Kann das (merge) einigermaßen zuverlässig funktionieren?

Nachteilig wirkt es sich aus, wenn auf einmal alle Peers in diesen Modus gehen. Dann kann nichts mehr versendet werden.
Wenn dieser Modus aktiv ist, will ich auch noch global suchen können. (->Hintertür)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Res.-Beschränkung über Wortanzahl

Beitragvon sixcooler » Di Apr 06, 2010 12:12 pm

Hallo,

die DHT-Abschaltung ist sicher noch verbesserungswürdig.

Bevor wir hier damit anfingen hatte ich schon Versuche mit einer Beschränkung
der Wortzahl probiert. Das klappte zwar relativ fein, aber ich beschränkte meinen
Peer auch über die Notwendigkeit hinaus.
(was ja irgendwie eine Verschwendung meiner (Speicher-)ressourcen ist)

Da es bei der Abschaltung ja darum geht genügend freien Speicher (z.b. zum mergen)
zur Verfügung zu haben, hielt ich es für viel besser auch an der sich diesem
Paramter (freier Speicher) zu Orientieren.

Die jetzige DHT-Abschaltung funktioniert ja recht fein - nur ist der Wert gegen
den wir prüfen (memory.acceptDHT) zu oft nicht optimal, weil statisch.

Wie wäre es statt dessen den frei zu haltenden Speicher anhand der vorhandenen
Blobs zu bestimmen - die ja früher oder später mal gemerged werden,
was (bei mir) leider manchmal an Speicherknappheit scheitert.

cu, sixcooler.

PS.: Sorry das ich mich in letzter zeit hier so rar gemacht habe.
Hatte einfach zu viel um die Ohren und hoffe das ich nun mehr zeit für yacy finde.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Res.-Beschränkung über Wortanzahl

Beitragvon Orbiter » Di Apr 06, 2010 1:22 pm

Lotus, keine schlechte Idee. Eigentlich müsste man sogar ausrechnen können wie die Beschränkung aussehen muss, damit die DHT funktioniert (mathematisch gesehen). Eine Beschränkung nur zum Zweck der Resourcenschonung dürfte dann aber nicht unter diese berechenbare Grenze gehen, sonst wird die DHT inkorrekt (sie leistet nicht das was sie soll).
Wenn es aber ganz alleine nur um eine Resourcenbeschränkung geht müsste man nochmal auf den httpc gucken, ich glaube nämlich der macht irgendwie nicht alle Verbindungen wieder zu und dass zehrt dann schon sehr an den Resourcen (des Routers..).
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron