Memory: Transmission.Chunk

Forum for developers

Memory: Transmission.Chunk

Beitragvon sixcooler » Sa Okt 20, 2012 2:23 pm

Hallo,

seit dem commit von Orbiter (ccc3760...) lliegen TreeMap von <byte[], URIMetadataNode> zum DHT-out super fett im Speicher und lassen mir die Peers sterben.

Da oft nicht mal alle Referenzen übertragen werden (müssen) und im Fulltext eh schon viel gecached wird, denke ich das der Cache von URIMetadataNodes nicht mal wirklich gebraucht wird.

Experimenteller Weise hab ich auf einem Peer nun mal darauf verzichtet und lade erst zum übertragen die URIMetadataNodes.
Das Speicherproblem ist damit mehr als gelöst und die evtl. auftretende mehrlast ist ist angesichts dessen zu verschmerzen.

Anderer Ansatz: Wir verwenden recht viele TreeMaps - dabei sind diese ja nun nicht sehr schlank.
Wie wäre es die byte[]-keys in eine Art wrapper zu packen, das man schlankere <key, value> Konstrukte verwenden kann?

Ich freue mich auf anregenden Gedankenaustausch dazu!

cu, sixcooler.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Memory: Transmission.Chunk

Beitragvon Orbiter » So Okt 21, 2012 12:49 am

also wir sind hier tatsächlich in einer neuen Erfahrungssammlungsphase, weil ganz unklar ist vor welchen neuen Problemen wir mit Solr stehen. Dass hier die URIMetadataNode Objekte recht groß sein können habe ich tatsächlich noch nicht beachtet. Die Lösung von dir sieht ganz ok aus, kannst du das reinmachen?
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Memory: Transmission.Chunk

Beitragvon sixcooler » So Okt 21, 2012 7:12 pm

Hallo,

klar - is up.

Da es etwas da mit hineinspielt wie warscheinlich die Referenzen noch im Cache sind, habe ich auch noch die dhtDispatcher-cloud-size Verkleinerung mit comitted.
@Orbiter: ist zwar schon etwas her aber ich hatte mal danach gefragt ob das nicht auch langen sollte.
Da das bei mir nun schon so lange läuft scheint es zu mindest nicht groß zu stören.
Wenn ich damit falsch lag setze das bitte infach wieder zurück.

cu, sixcooler.
sixcooler
 
Beiträge: 487
Registriert: Do Aug 14, 2008 5:22 pm

Re: Memory: Transmission.Chunk

Beitragvon Orbiter » Mo Okt 22, 2012 2:39 pm

ah danke, ja das ist sehr gut so. Die Cloud-Size Verkleinerung auch, ich weiss jetzt nicht mehr so genau warum ich den Faktor 2 davor gemacht habe.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast