Wort/RWI Hash

Forum for developers

Wort/RWI Hash

Beitragvon thq » Sa Aug 16, 2008 10:50 am

Würde es nicht reichen hier nur 6 Bytes anstatt 12 Bytes zu benutzen ?

Auch die 12 Bytes bei den URLs finde ich etwas viel. Wir könnten hier eine Menge Speicher sparen.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Wort/RWI Hash

Beitragvon Orbiter » Sa Aug 16, 2008 11:12 am

ich hab hier schon bedenken gehabt ob die Länge des hashes für die URLs reicht. Bei den Wörtern sieht es besser aus, da sind die 72 bit (12 * 6, wegen b64-encoding) wahrscheinlich ein wenig viel. Allerdings ist alles in YaCy auf diese Länge eingerichtet, das zu ändern wäre schwierig. Die größte Einsparung würde sich durch einen kürzeren URL-hash ergeben, da dieser aber schon knapp ist, kann man hier wohl nicht viel machen.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wort/RWI Hash

Beitragvon thq » Sa Aug 16, 2008 11:22 am

Also ich würde dadurch beim collection.index ~40Mb einsparen und YaCy müsste weniger vergleichen.

Ob YaCy wirklich mal so viele URLs verkraften kann ? Zur Zeit würde YaCy glaube ich mehr davon profitieren wenn die Hashlänge kleiner ist.

Stellt sich die Frage ob man das ohne DB-Reset ändern kann.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron