Festplatten-Nutzung anstelle von RAM?

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Festplatten-Nutzung anstelle von RAM?

Beitragvon David » Fr Jul 19, 2013 5:32 pm

Abgesehen von einem Geschwindigkeitsverlust, was spricht eigentlich dagegen, dass man dem Benutzer die Möglichkeit gibt, ein RAM-Limit zu definieren, und sobald das Limit erreicht wird, der Peer genau gleich weiterarbeitet, aber halt die dazukommenden Daten direkt auf die Festplatte schreibt und von dort auch wieder liest?

Ich bin zwar kein Softwareentwickler, mich würde aber trotzdem interessieren, ob es tatsächlich unausweichlich und unvermeidbar ist, dass ein wachsender Peer früher oder später immer mehr RAM benötigt. Ich bin mir sicher, es gäbe bestimmt eine ganze Menge Benutzer, die einen Performance-Verlust in Kauf nehmen würden, damit sie ihren Index weiterbenutzen können und ihn nicht teilweise löschen, oder sogar von vorn anfangen müssen.

Es wäre ja bestimmt auch kein Ding der Unmöglichkeit, Yacy dazu zu bringen, dass der RAM "intelligenter" benutzt wird, und sich dort immer nur die am häufigsten benutzten Indexdaten befinden. Also das Yacy sozusagen lernt, für welche Themen sich der Benutzer bzw. die Community am meisten interessiert, und damit den RAM füllt. Indexdaten, die nur selten oder nie benutzt werden, würden erst gar nicht in den RAM geladen (was aber nicht bedeuten müsste, dass sie unauffindbar wären, sondern nur eine längere Ladezeit benötigen).
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Festplatten-Nutzung anstelle von RAM?

Beitragvon Orbiter » Mo Jul 22, 2013 8:39 pm

im Prinzip ist es ja so wie du es gerne hättest! Trotzdem muss eine effiziente Datenablage immer ein Stück Daten im RAM haben, um möglichst schnell an die auf der Festplatte abgelegten Daten ranzukommen. Wir sind mit YaCy hier auch aussergewöhnlich RAM-sparsam, vergleichbare, kommerzielle Software im 6-stelligen Kostenbereich (dollar) für bis zu (nur) 10 Millionen Dokumente wollen Hardware mit 64 GB RAM haben. Da sind wir sehr wesentlich drunter. Der RAM-Verbrauch mag, dafür das er im 1-2 GB Bereich für mehrere millionen Dokumente liegt für den Privatanwender viel erscheinen (weil: was brauch halt sonst so viel) trotzdem ist es nur ein Bruchteil von dem, was ein 300€ PC heute schon drin hat (8GB RAM). Der RAM-Verbrauch von YaCy ist eigentlich schon ein kleines Wunder, die Aufgaben sind höllisch komplex und es liegt weder an Verschwendung noch an ineffezienz oder schlechten Algorithmen das wir im unteren GB-Bereich sind.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Festplatten-Nutzung anstelle von RAM?

Beitragvon biolizard89 » Di Jul 23, 2013 10:53 pm

Orbiter hat geschrieben:im Prinzip ist es ja so wie du es gerne hättest! Trotzdem muss eine effiziente Datenablage immer ein Stück Daten im RAM haben, um möglichst schnell an die auf der Festplatte abgelegten Daten ranzukommen. Wir sind mit YaCy hier auch aussergewöhnlich RAM-sparsam, vergleichbare, kommerzielle Software im 6-stelligen Kostenbereich (dollar) für bis zu (nur) 10 Millionen Dokumente wollen Hardware mit 64 GB RAM haben. Da sind wir sehr wesentlich drunter. Der RAM-Verbrauch mag, dafür das er im 1-2 GB Bereich für mehrere millionen Dokumente liegt für den Privatanwender viel erscheinen (weil: was brauch halt sonst so viel) trotzdem ist es nur ein Bruchteil von dem, was ein 300€ PC heute schon drin hat (8GB RAM). Der RAM-Verbrauch von YaCy ist eigentlich schon ein kleines Wunder, die Aufgaben sind höllisch komplex und es liegt weder an Verschwendung noch an ineffezienz oder schlechten Algorithmen das wir im unteren GB-Bereich sind.

That's interesting to know; I was unaware of how thoroughly optimized YaCy is.

That said, I feel like there may be some improvements that could be made to how YaCy handles low RAM. For example, would it be possible to include an option so that when RAM usage approaches the limit, YaCy would start deleting the oldest entries in its local index? I think deleting old index entries would be preferable (at least to some users) over the current situation where it simply hangs (eating huge amounts of CPU) when it runs out of RAM.

Thanks.
biolizard89
 
Beiträge: 61
Registriert: Do Jan 03, 2013 12:42 am

Re: Festplatten-Nutzung anstelle von RAM?

Beitragvon Orbiter » Di Jul 30, 2013 3:50 pm

you actually got the right idea, limitation of RAM must mean that the index + document size is limited as well and that means the oldest data must be deleted if fresh data is wanted.

Well this is actually comlex in many ways: first, people will be scared by the idea that YaCy deletes on itself. second: deletion does not mean that immediately memory is free because that needs an optimization step as well and that should be done not too frequently; its complex.
And of course, that should not be switched on by default.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 1 Gast