Blob: .idx und .gap bei jeder Transaktion ergänzen

Ideen und Vorschläge sind willkommen.

Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon PCA42 » Mo Feb 21, 2011 7:47 pm

So, um das Beenden von Yacy mal auf Trab zu bringen: die beiden Dateien sollten zur Laufzeit weiter existieren und bei jeder Transaktion ergänzt werden. Bei einem Neustart von Yacy können die Transaktionen dann ausgewertet werden und die Dateien dann neu erstellt werden.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon Orbiter » Mo Feb 21, 2011 8:24 pm

das Ergänzen geht aufgrund der besonderen Struktur der Dateien nicht gut. Aber man kann theoretisch das Löschen verhindern was bei den meisten Datenbankdateien unkritisch ist weil die damit verbundene Datendatei sich auch nicht ändert wenn sie ein mal geschrieben wurde. Das wollte ich 'irgendwann' mal machen, mal gucken obs jetzt so weit wäre...
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon Orbiter » Mi Feb 23, 2011 12:30 pm

hier ist nun das feature: SVN 7516

das ergänzt zwar die idx und gap files nicht (das wäre wirklich so komplex dass der IO overhead sich nicht lohnen würde) aber löscht sie immerhin nicht so dass sie nicht neu geschrieben werden müssen falls der heap nicht geändert wurde. Bei einer ganzen Menge von heap Dateien ist das wirklich so, so dass die Hoffnung bestehen kann dass dieses Feature oft greift.

Das ist aber so eine Sache: wenn hier was falsch läuft werden alte idx/gap files als referenz zu geänderten heaps benutzt. Das sollte zwar aufgrund des fingerprint hashes ausgeschlossen sein, aber weil der fingerprint den heap nicht vollständig erfasst gibt es noch eine kleine Möglichkeit zu Fehlern. Also bitte vorsichtig verwenden und erst mal gucken obs bei irgendwem rappelt...
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon PCA42 » Do Mär 03, 2011 3:41 pm

Dadurch das die .idx und .gap jetzt nicht mehr im laufenden Betrieb gelöscht werden, bleiben die beim Merge von zwei Blobs stehen. Die Funktion muss da noch ergänzt werden, dass nach einem erfolgreichen Merge die .idx und .gap der beiden Quellen gelöscht werden.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon PCA42 » Mi Mär 16, 2011 3:30 pm

Push... Der Fehler beim Mergen besteht immer noch.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Blob: .idx und .gap bei jeder Transaktion ergänzen

Beitragvon Orbiter » Do Mär 17, 2011 6:09 pm

fix in svn 7605
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste