possible saving: 99 MB

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

possible saving: 99 MB

Beitragvon gaston » Mi Jul 25, 2012 3:56 pm

Code: Alles auswählen
I 2012/07/25 16:52:24 HeapReader BLOB Z:\yacy\DATA\INDEX\freeworld\SEGMENTS\default\text.index.20120710225612985.blob: merged 4 free records
I 2012/07/25 16:52:28 HeapReader saturation of text.index.20120712045833877.blob.mJW3dzilkt1Z.idx: keylength = 7, vallength = 4, possible saving: 99 MB

Wieso werden die 99 MB nicht freigegeben?
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon Orbiter » Mi Jul 25, 2012 8:35 pm

es gibt eine Möglichkeit index Daten in komprimierter Form anders abzulegen, nicht mit dieser Datenstruktur aber rein theoretisch mit einer komprimierten. Diese Zahl ist eine Abschätzung was man im RAM dann sparen würde.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: possible saving: 99 MB

Beitragvon gaston » Mi Jul 25, 2012 10:58 pm

Wieso wird es den nicht getestet oder als Wahlmöglichkeit angeboten? Mein Peer könnte 280MB einsparen, vielleicht sogar mehr, ist ja bis jetzt nur Theorie ;)
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon Orbiter » Do Jul 26, 2012 7:43 am

wenn ich schreibe "es gibt eine Möglichkeit" so heisst das nicht dass diese Möglichkeit als Datenstruktur in YaCy existiert sondern als alternativer Algorithmus....
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: possible saving: 99 MB

Beitragvon gaston » Do Jul 26, 2012 7:55 am

Das das jetzt noch nicht vorhanden ist war mir klar. Aber da Speicher bei vielen ein Problem ist würde es sich da nicht anbieten es umzusetzen, oder ist der Aufwand/Umbau zu groß?
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon Orbiter » Do Jul 26, 2012 8:52 am

ich hab nochmal in den Code geschaut um zu sehen ob die Berechnung einer möglichen Sparmaßnahme richtig ist; kann das momentan nicht komplett nachvollziehen :oops:
Es wurde die Summe aus zwei Sparmaßnahmen kalkuliert: index-key compression im best case und überlflüssige Bytes in der Value-Length. Beim letzten Wert kann man ggf. schneller was machen, beim index-key compression wirds sehr kompliziert.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: possible saving: 99 MB

Beitragvon gaston » Do Jul 26, 2012 1:01 pm

So sieht das bei mir mit Version 9046 aus
Code: Alles auswählen
keylen = 7, vallen = 4, size = 6350124, maximum saving for index-compression = 42 MB, exact saving for value-compression = 24 MB
*keylen = 7, vallen = 4, size = 11583141, maximum saving for index-compression = 77 MB, exact saving for value-compression = 44 MB
keylen = 7, vallen = 4, size = 4984334, maximum saving for index-compression = 33 MB, exact saving for value-compression = 19 MB
keylen = 6, vallen = 4, size = 4767721, maximum saving for index-compression = 27 MB, exact saving for value-compression = 18 MB
keylen = 6, vallen = 4, size = 1913456, maximum saving for index-compression = 10 MB, exact saving for value-compression = 7 MB
keylen = 5, vallen = 4, size = 350339, maximum saving for index-compression = 1 MB, exact saving for value-compression = 1 MB
keylen = 7, vallen = 4, size = 3806190, maximum saving for index-compression = 25 MB, exact saving for value-compression = 14 MB
keylen = 7, vallen = 4, size = 1618582, maximum saving for index-compression = 10 MB, exact saving for value-compression = 6 MB
Zuletzt geändert von gaston am Do Jul 26, 2012 10:28 pm, insgesamt 1-mal geändert.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon Orbiter » Do Jul 26, 2012 10:03 pm

ok, zwischenfrage: "vallen = 4" müsste bedeuten dass keine deiner Datein über 2GB groß ist; stimmt das?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: possible saving: 99 MB

Beitragvon gaston » Do Jul 26, 2012 10:14 pm

Fast, eine ist 2,64 GB groß, ich habe die oben mit ein * markiert.
Code: Alles auswählen
22.07.2012  20:18       236.277.492 citation.index.20120722181837862.blob
22.07.2012  20:18                 0 citation.index.20120722181837862.blob.T8OO-O_Xw3wu.gap
22.07.2012  20:18        76.123.800 citation.index.20120722181837862.blob.T8OO-O_Xw3wu.idx
26.07.2012  14:12        99.977.884 citation.index.20120726121217837.blob
26.07.2012  14:12                 0 citation.index.20120726121217837.blob.yEphttf_xBDc.gap
26.07.2012  14:12        32.378.440 citation.index.20120726121217837.blob.yEphttf_xBDc.idx
26.07.2012  18:07     1.671.633.410 text.index.20120710225612985.blob
26.07.2012  18:17            19.992 text.index.20120710225612985.blob.UiLw4L2cf_nQ.gap
26.07.2012  18:17       127.002.480 text.index.20120710225612985.blob.UiLw4L2cf_nQ.idx
26.07.2012  12:53     2.837.851.560 text.index.20120712045833877.blob
26.07.2012  18:17            29.424 text.index.20120712045833877.blob.mJW3dzilkt1Z.gap
26.07.2012  18:17       231.662.820 text.index.20120712045833877.blob.mJW3dzilkt1Z.idx
26.07.2012  12:53     1.477.151.080 text.index.20120716194129455.blob
26.07.2012  18:17             3.132 text.index.20120716194129455.blob.Z7OzE33oUf55.gap
26.07.2012  18:17        31.368.800 text.index.20120716194129455.blob.Z7OzE33oUf55.idx
26.07.2012  12:53     1.671.183.350 text.index.20120725180625134.blob
26.07.2012  18:17             1.044 text.index.20120725180625134.blob.Csg9mobBgjSF.gap
26.07.2012  18:17        95.354.420 text.index.20120725180625134.blob.Csg9mobBgjSF.idx
26.07.2012  12:51       502.258.920 text.index.20120726084332629.blob
26.07.2012  18:17               276 text.index.20120726084332629.blob.w8L4yyHGD_GH.gap
26.07.2012  18:17        38.269.120 text.index.20120726084332629.blob.w8L4yyHGD_GH.idx
26.07.2012  15:04       133.386.610 text.index.20120726130401549.blob
26.07.2012  18:17                 0 text.index.20120726130401549.blob.XfmCO19bpnDM.gap
26.07.2012  18:17         7.794.460 text.index.20120726130401549.blob.XfmCO19bpnDM.idx
26.07.2012  17:53        22.798.380 text.index.20120726155355972.blob
26.07.2012  17:53                 0 text.index.20120726155355972.blob.RI45JhONH14L.gap
26.07.2012  17:53         1.137.320 text.index.20120726155355972.blob.RI45JhONH14L.idx
26.07.2012  18:17            28.420 text.index.20120726161707780.blob
26.07.2012  18:17                 0 text.index.20120726161707780.blob.N-fLBdwUg_L0.gap
26.07.2012  18:17             1.160 text.index.20120726161707780.blob.N-fLBdwUg_L0.idx
26.07.2012  12:51     1.131.314.688 text.urlmd.20111129041720815.table
26.07.2012  12:51     2.001.192.480 text.urlmd.20120103010440250.table
26.07.2012  12:51     2.078.454.816 text.urlmd.20120124102410124.table
26.07.2012  16:50     1.995.842.592 text.urlmd.20120220152310771.table
26.07.2012  16:59     2.069.768.160 text.urlmd.20120322104200170.table
26.07.2012  17:33     1.697.703.840 text.urlmd.20120329183530585.table
26.07.2012  16:50     2.110.813.776 text.urlmd.20120430092120837.table
26.07.2012  17:49     2.141.684.064 text.urlmd.20120517143300535.table
26.07.2012  16:50     2.143.017.648 text.urlmd.20120608204100531.table
26.07.2012  16:50     2.147.466.384 text.urlmd.20120629135820536.table
26.07.2012  18:17       691.254.000 text.urlmd.20120721203320660.table
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon Orbiter » Fr Jul 27, 2012 11:42 am

ok zwei Sachen: ich muss gucken ob was an der Berechnung von "vallen = 4" nicht stimmt denn ansonsten dürfte keine Datei über 2GB groß sein.
Das andere: jetzt hast du mich tatsächlich motiviert über die Datenstruktur nachzudenken und als ersten Schritt habe ich die entsprechenden Klassen abstrahiert, ist schon in git drin. Da nun aber tatsächlich einen Ersatz zu bauen wird ein wenig dauern.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: possible saving: 99 MB

Beitragvon gaston » Fr Jul 27, 2012 2:45 pm

Ich habe mal mit den maximalen Dateigröße experimentiert (4 GB), jetzt wieder 2 GB, ist das vielleicht der Grund!?

Wollte die Größe ja gerne auf 1 GB ändern, aber wen YaCy damit vielleicht Probleme hat, warte ich lieber erst mal damit.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: possible saving: 99 MB

Beitragvon gaston » So Aug 05, 2012 12:13 pm

Ich habe die Log-Ausgabe mal von MB auf KB geändert um zu sehen was den 0 MB genau sind. Bei mir sind es um die 150-300 KB.

Wie und wann geht es hier weiter?
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast