RWI-Cache wird nicht geleert während merge

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

RWI-Cache wird nicht geleert während merge

Beitragvon PCA42 » Mo Mai 25, 2009 8:30 pm

Wie es aussieht wird während einer Merge-Operationen zweier Blobs der RWI-Cache nicht geleert. Das sollte doch möglich sein. Die Datenbestände können sich doch meines Erachtens nicht in die Quere kommen, da die im Merge befindlichen Blobs doch offline bearbeitet werden und anschließend das Ergebnis wieder "eingehängt" wird. Gerade wenn jetzt unter Linux größere Operationen laufen blockiert das Yacy.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: RWI-Cache wird nicht geleert während merge

Beitragvon Orbiter » Mo Mai 25, 2009 8:44 pm

Es gibt ja seit den Änderungen im Kontext mit den RICELL Daten nicht nur eben die BLOBs, sondern auch eine Organisation der Schreibvorgänge mit dem IODispatcher. Ich wollte nach den Erfahrungen mit den IO-Problemen ganz konsequent sein, und nie mehr als einem Prozess Schreibvorgänge erlauben, erst recht nicht wenn diese sequentiell schreiben und dabei sehr effizient sind. Daher wird der Cache-Flush und Merge-Vorgang beide im IODispatcher erledigt, und zwar in einer Queue, so dass nie ein Merge und ein Cache Flush gleichzeitig ablaufen. Nun ist es so, dass ein Merge nicht unbedingt viel Speicher braucht, eigentlich fast gar keinen, und daher würde es auch nicht unbedingt helfen einen Cache vorher zu flushen, zumal das ja auch in einer rekursiven Katastrophe enden würde:
- vor einem Merge muss geflusht werden, d.h.:
- pro Merge entsteht ein neuer BLOB
- dadurch entsteht ein neuer Bedarf für ein Merge
- u.s.w.
Ich sehe hier kein Problem, den Cache zu haben während dem Merge. Und umgekehrt.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: RWI-Cache wird nicht geleert während merge

Beitragvon PCA42 » Mo Mai 25, 2009 8:57 pm

Ok, ich mach den Cache dann halt mal größer, hab ja jetzt wieder etwas Speicher in der Hinterhand. ;)
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 1 Gast

cron