Grösse der einzelnen Mediaindexe herausfinden?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Grösse der einzelnen Mediaindexe herausfinden?

Beitragvon lulabad » So Jul 15, 2007 6:08 pm

Gibt es eine Möglichkeit herauszufinden, wie gross die einzelnen Mediaindexe sind, bzw. wieviele Wörter einem Mediaindex (Bilder, Videos ...) zugeordnet sind?
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: Grösse der einzelnen Mediaindexe herausfinden?

Beitragvon Orbiter » So Jul 15, 2007 10:56 pm

ich wollte die verschiedenen Medien ja mal in verschiedene Indexe unterbringen, was aber momentan nicht geht weil die Index-Generierung immer noch nicht generalisiert wurde, so dass man beliebige verschiedene Indexe unterbringen kann. Daher sind Text- und Medien-Indexe miteinander vermischt.

Das sieht so aus: ein RWI-Eintrag (zu einem Wort) enthält die Referenzen zu diesem Wort, also URL-Hashes mit Properties. Die Properties beinhalten die Ranking-Paramenter und auch Flags ob das Wort innerhalb der betreffenden Referenz innerhalb eines Medien-Bereiches (bsp. einem Link auf ein mp3) vorkommt oder nicht. Mischungen sind auch möglich (bsp. das Wort kommt im Dateinamen des mp3 und ansonsten auch im Text vor).

Um nun herauszufinden wieviele Referenzen auf Medien und bestimmte Typen existieren, müssten alle RWI-Entries durchiteriert werden, und jeweils dazu auch die Referenzen des RWI-Entries ebenfalls durchiteriert werden. Mit anderen Worten: alles muss komplett durchgeschaut werden, und das ist nicht praktikabel.

Lösung dazu: separate DB's, wie man am Pfad des jetzigen Index sieht ist das auch vorgesehen, aber eine Realisierung sehe ich momentan in weiter Ferne.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot] und 6 Gäste