Entfernen von URLs, wenn kein Match beim Snippetfetching

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Entfernen von URLs, wenn kein Match beim Snippetfetching

Beitragvon flori » Mo Nov 15, 2010 2:59 pm

Hi,

ich habe gerade das Problem, dass viele Seiten gefunden werden, obwohl auf den Seiten das Wort nicht vorkommt. Wenn Snippetfetching an ist, erscheinen kaum Ergebnisse, obwohl in der Navigation viele angezeigt werden. Kann man nicht die URL-Referenzierungen für die Wörter sofort lokal löschen und damit bewirken, dass in Zukunft die Anzeige korrekt ist?
Im Fall von Timeouts und 500-Fehler löscht man die Referenzen nicht, in der Hoffnung, der Server kommt irgendwann wieder online.

Ich frage mich, ob das nicht schonmal implementiert war oder ob etwas anderes dagegen spricht, was ich gerade übersehe.
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: Entfernen von URLs, wenn kein Match beim Snippetfetching

Beitragvon Orbiter » Mo Nov 15, 2010 5:16 pm

da ein referenz-löschen io-lastig war, wurde das löschen auf den cleanup thread verschoben wo es dann zeitverzögert statt findet. du kannst ja mal probieren den abhängig von der indexgröße sofort vorzunehmen. FAST ESP macht übrigens das als nightly job, benutzt aber zwischenzeitlich eine löschliste als ausschlusskriterium um die suchergebnisse korrekt anzuzeigen. da wir diese löschliste ja auch für das zeitverzögerte löschen bereits haben könnte man die auch für ein ausschluss nehmen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste