"Deleting chunk" frisst CPU-Zeit

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

"Deleting chunk" frisst CPU-Zeit

Beitragvon Lotus » Mi Jul 23, 2008 7:09 am

Wenn der Status nach einem Index-Transfer auf "Deleting chunk" wechselt, ist die CPU einige Sekunden voll ausgelastet. Vielleicht gibt es dort eine unglückliche Schleife die ersetzt werden kann.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: "Deleting chunk" frisst CPU-Zeit

Beitragvon Lotus » Fr Dez 12, 2008 12:48 pm

Habe ich gerade bei der Suche nach einem Thread wiedergefunden. Michael, du optimierst ja gerade viel.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: "Deleting chunk" frisst CPU-Zeit

Beitragvon Orbiter » Fr Dez 12, 2008 1:19 pm

uuää

Natürlich hast du Recht. Das Problem ist, dass ich hier gewaltige Architekturänderungen plane, um etwas richtig performantes mit großartigem Datendurchsatz beim RWI Versenden auf die Beine zu stellen. Ich arbeite mich hier in Form von 'Grundlagenforschung' heran, aber es gibt einen Masterplan:

- die bisherige Caching-Struktur (RWI RAM Cache -> Collections) wird durch eine weitere Hierarchie ergänzt: RWI Dumps. Diese Dumps sollen so funktionieren wie Lucenes Merge-Operationen beim Indexieren, nur mit dem Unterschied das wir hier eine Strukturierung entsprechend unserer DHT nutzen.
- Dadurch kann man teile des Dump Caches nehmen und ohne weitere Selektion in die DHT verschicken. Dazu braucht es aber:
- einen Dump target Balancer
- einen Scheduler mit Transmission-Historie um die gewünschte Redundanz zu erzeugen und die genutzten Targets tracken
- Damit das ganze mal transparent wird brauchen wir eine DHT transmission monitor Seite, und:
- eine DHT-Admin Seite mit der man manuell Wörter selektieren, dessen Versendung monitoren und das Wiederauffinden testen kann

Mein bisheriger Stand ist:
- das die 'neue' DHT berechnet werden kann (multi-targets für vertikale DHT -> mehr performance bei der Suche). Das ganze ist natürlich kompatibel mit der 'alten' DHT. Methoden sind vor einigen Wochen committet worden
- die neuen RWI Dumps für die 'mittlere' Caching Struktur sollen die BLOBHeaps sein. Damit diese performant geschrieben werden können habe ich in den letzten Tagen viel gebastelt. Das kam allen Datenstrukturen, die nun schon BLOBHeaps einsetzten zugute (beispielsweise der neue HTCache nutzt die BLOBHeaps)

Wie du siehst gehe ich hier nicht den Weg, das alte zu patchen, sondern ich will was ganz neues bauen das grundsätzlich besser funktioniert.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: "Deleting chunk" frisst CPU-Zeit

Beitragvon PCA42 » Fr Dez 12, 2008 5:46 pm

/offtopic on
Bin echt mal gespannt, was da rauskommt. Meiner Meinung nach ist inzwischen der DHT-Versand der größte Flaschenhals. Was der jetzt noch verschwindet.... *träum*
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast