Gzip

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Gzip

Beitragvon soleil » Fr Jan 23, 2009 10:56 pm

Hallo,

in den Release-Notes zu Version 0.7 findet sich folgendes Feature:

BLOB entries can be compressed using gzip and causes smaller storage size which causes that more documents can be

Wie kann man das aktivieren? Auf den "Admin"-Seiten habe ich dazu keinen Eintrag gefunden. Oder reicht es, bestimmte Dateien mit gzip zu komprimieren?

Das Speicherformat der Dateien in DATA/INDEX/freeworld/TEXT/RICOLLECTION/, die den Großteil von Yacys Festplattenspeicher ausmachen, ist recht redundant: Ein Backup wird mit bzip2 um etwa den Faktor 5 verkleinert. Schafft das obige Gzip-Feature da Abhilfe?

Beste Grüße,

Thomas
soleil
 
Beiträge: 22
Registriert: Di Jan 13, 2009 11:36 pm

Re: Gzip

Beitragvon Orbiter » Sa Jan 24, 2009 12:52 am

das ist default aktiv für Einträge in dem HTCACHE. Das kann man nirgends steuern, es ist einfach ein Feature der Datenstruktur das dort genutzt wird.
Der Index nutzt nicht die gleichen BLOBs, sondern was anderes. Das wird sich in (hoffentlich nicht allzu ferner) Zukunft ändern, dann werden tatsächlich die gleichen BLOBs, die ihre Daten zippen können, auch für den Index arbeiten. Ob das Sinn macht muss man dann sehen, schliesslich geht es da auch um Zeit.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot] und 2 Gäste