Blob-Dateigrösse unter Windows

Forum for developers

Blob-Dateigrösse unter Windows

Beitragvon dulcedo » Mo Jul 20, 2009 10:48 am

Ich habe ein paar Experimente mit Dateigrössen über den unter Win voreingestellten 2GB gemacht, das ist insofern wichtig weil es sich spürbar auf den RAM-Bedarf auswirkt. Der belegte Platz in RICELL müsste relativ konstant bleiben, unabhängig von der Grösse einzelner Blobs. Als Testreferenz.

Ich habe Werte unter 8GB als sicher getestet, damit verringert sich der RAM-Bedarf von beispielsweise 1,2GB auf 0,8GB, jedenfalls spürbar, je nach Art der Daten. Darüber hinaus gibt es Schwierigkeiten, die Gesamtgrösse der blobs nimmt radikal ab, also verschwinden Worte. So viel Redundanz kann eigentlich nicht entstanden sein dass aus 50GB nur noch 5GB werden? Das war ein Extremfall bei Vergrösserung auf 32GB blobs.

Ich habe keine Zeit es weiter zu testen, wer mag: Backup des ganzen peers dann unter Win(64) die blob-Grösse von 8GB schrittweise erhöhen und die Gesamtgrösse aller blobs in RICELL beobachten, ihn dabei 1-2 Tage langsam crawlen lassen, das mergen der blobs benötigt Rechenleistung und vor allem RAM. Ob reiner DHT-Betrieb ausreicht weiss ich nicht, am Anfang sind jedenfalls ein paar manuelle Neustarts erforderlich.

Interessant wäre natürlich auch was da scheinbar auf 8GB begrenzt. es müsste die JVM sein, ich habe aber nichts in dieser Richtung an Hinweisen gefunden.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste