Yacy Datenbanken komprimieren ?

Ereignisse, Vorschläge und Aktionen

Yacy Datenbanken komprimieren ?

Beitragvon CraWler » Fr Okt 05, 2012 10:59 pm

Hallo,

Mir ist aufgefallen das sich bei Yacy viel Platz einsparen lässt duch Datenkompression. Schon allein die sehr schwache NTFS Datenkompression unter windoofs macht den Yacy Ordner deutlich kleiner und veringert somit die Datenmenge die geschrieben/gelesen werden muss. Bei ausreichender CPU Leistung würde das theorethisch sogar einen Performance Gewinn mit sich bringen da weniger Daten von der HDD geholt werden müssen. Zudem steigt die Kapazität des Lokal verfügbaren Index deutlich an.

Wäre es da nicht sinvoll wenn die Entwickler das schon von anfang an mit in Yacy einbauen das der gesamte Index komprimiert wird ? So würde die Datenmenge welches das gesamte P2P Netz verarbeiten kann deutlich steigen. Da gerade auf die Festplatten von Privatpersonen welche ohnehin nicht soviel Storage haben mehr Daten passen würden.

Wäre das eine Option um das gesamtnetz leistungsfähiger zu machen, was denkt ihr ?
CraWler
 
Beiträge: 4
Registriert: Fr Okt 05, 2012 10:41 pm

Re: Yacy Datenbanken komprimieren ?

Beitragvon Lotus » Sa Okt 06, 2012 1:37 pm

Das ist eine gute Idee. Ich habe früher YaCy auch mit NTFS-Kompression auf einer alten Festplatte laufen gehabt, und habe zumindest subjektiv dein Eindruck gehabt, dass es dadurch performanter war.

Der Engpass ist allerdings oft nicht der Festplattenplatz, sondern eher der verfügbare Arbeitsspeicher.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast