Anzahl der Worte nimmt ständig ab - teilweise dramatisch

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Anzahl der Worte nimmt ständig ab - teilweise dramatisch

Beitragvon gack » Sa Feb 25, 2012 9:31 pm

Bei meinen Peer nimmt die Anzahl der Worte ständig ab:
Häufig mehrere Hundert pro Stunde und heute nach einem Neustart mehr als 300000 innerhalb einer Stunde.
Der Peer indiziert etwa 10000 Seiten pro Stunde und die Anzahl der URLs nimmt entsprechend zu.
Aber warum werden die Worte immer weniger und wie kann es zu einen Verlust von mehr als 300000 auf einen Schlag kommen?
gack
 
Beiträge: 5
Registriert: Sa Feb 18, 2012 2:11 pm

Re: Anzahl der Worte nimmt ständig ab - teilweise dramatisch

Beitragvon Jazzy » So Feb 26, 2012 4:59 pm

Soweit ich weiss, liegt das daran, dass die Indexdaten automatisch häppchenweise unter den Peers verteilt werden, und sobald so ein Häppchen erfolgreich an drei andere Netzwerkteilnehmer gesendet wurde, wird es von deinem Index gelöscht.

Wenn ich mich nicht irre, geschieht das Löschen zum Schutz der Privatsphäre. Damit anhand von deinem Index dein Surfverhalten bzw. deine Interessengebiete nicht rekonstruiert werden können.
Jazzy
 
Beiträge: 36
Registriert: Mo Okt 31, 2011 5:29 pm

Re: Anzahl der Worte nimmt ständig ab - teilweise dramatisch

Beitragvon gack » So Feb 26, 2012 7:13 pm

Danke für die Info, das würde den langsamen Schwund erklären.
Allerdings fürchte ich, dass bei der seit mehr als 2 Monaten vorherrschenden Fluktuation der Peers, die dreimalige Speicherung nicht reicht, damit nicht ein Teil der Daten ins Nirwana verschwindet.
Weiß jemand, ob diesbezüglich im Verteil-Algorithmus Vorkehrungen getroffen wurden?
(Z. B. Bevorzugung von Peers bei der Verteilung, die eine gewisse Zuverlässigkeit unter Beweis gestellt haben.)

Übrigens sind die mehr als 300000 Worte, die gestern früh plötzlich weg waren, heute früh ebenso plötzlich wieder aufgetaucht. Seltsam!
gack
 
Beiträge: 5
Registriert: Sa Feb 18, 2012 2:11 pm

Re: Anzahl der Worte nimmt ständig ab - teilweise dramatisch

Beitragvon PCA42 » So Feb 26, 2012 7:32 pm

Die Schwankungen können auch bei normalen Datenbankoperationen entstehen. Innerhalb von Yacy werden die Daten in mehreren, unterschiedlich großen Dateien verwaltet. Diese werden von Zeit zu Zeit zusammengefügt. Dabei werden jedoch Teile der Datenbank für diese Operation "offline"-genommen. Damit soll sichergestellt werden, dass während die Dateien umkopiert werden keine Probleme auftauchen. Dieses Herausnehmen von einzelnen Teilen läßt für diese Zeit natürlich auch die Wortanzahl schwanken.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 3 Gäste