Wie werden alte Einträge gelöscht?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Wie werden alte Einträge gelöscht?

Beitragvon bbtuxi » Do Mai 26, 2011 3:14 pm

Hi,


hab seit langem mal wieder Yacy am laufen, was mir jetzt mal wieder aufgefallen ist, als ich nach meiner eigenen Homepage gesucht habe.
Wie werden alte Einträge gelöscht oder überprüft? Ich habe da ganz viele Links gefunden die nicht mehr gültig sind?
Eigentlich müßte doch immer ein Crawler langsam im Hintergrund laufen und alle Links die älter als 2 Wochen sind überprüfen ob Sie noch verfügbar sind?

grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Wie werden alte Einträge gelöscht?

Beitragvon Orbiter » Do Mai 26, 2011 3:23 pm

die Einträge werden nur bei der Suche gelöscht wenn sie nicht verifiziert werden können.
Das Löschen durch Verifizieren kann man auch ausschalten in /ConfigPortal.html durch das Flag "If verification fails, delete index reference"

das Umgekehrte: wie bekommt man frische Links rein machst du mit neu-Crawls über die API Steuerung: /Table_API_p.html und dort den Scheduler aktivieren (Drop-Down Feld)
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wie werden alte Einträge gelöscht?

Beitragvon bbtuxi » Do Mai 26, 2011 4:31 pm

Der zweite Punkt ist mir soweit klar. Da kann man ja auch einiges Einstellen, wenn man einen Crawl startet.
Habe eben mal einen Crawl gestartet, alle 5 Stunden news.google.com mit einer Tiefe von 2:)

Das heißt wenn ich jetzt nach meiner Webseite Suche "burningboard" überprüft er die gefundenen Links ob Sie erreichbar sind?

Aber wie erkennt er das er Links wie diesen löscht:
http://www.burningboard.net/board.php?b ... f2ad4d335d


grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Wie werden alte Einträge gelöscht?

Beitragvon Orbiter » Do Mai 26, 2011 5:31 pm

wie gesagt dass fällt erst bei einer Suche auf -- oder nie.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wie werden alte Einträge gelöscht?

Beitragvon Lindenblatt » Fr Mai 27, 2011 9:24 am

Orbiter hat geschrieben:wie gesagt dass fällt erst bei einer Suche auf -- oder nie.

Zumindest für die Leute, die YaCy für die eigene Website einsetzen (und somit wissen, wann z.B. nach einem Relaunch der Website alte Links zu einem überwiegenden Teil veraltet sind) sollte mittelfristig ein Re-Crawl mit Überprüfen und ggf. Löschen alter Links eingebaut werden. So könnte man z.B. ein Re-Crawl für neue Seiten alle zwei Stunden machen, und einmal im Monat ein Prüfen aller Links.
Lindenblatt
 
Beiträge: 20
Registriert: Mi Mai 18, 2011 1:28 am

Re: Wie werden alte Einträge gelöscht?

Beitragvon Lotus » Fr Mai 27, 2011 10:54 am

Aber veraltete Links werden ja gar nicht erst gefunden (angezeigt), wenn sie verifiziert werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Wie werden alte Einträge gelöscht?

Beitragvon Lindenblatt » Fr Mai 27, 2011 11:37 am

Lotus hat geschrieben:Aber veraltete Links werden ja gar nicht erst gefunden (angezeigt), wenn sie verifiziert werden.

Das ist schon klar (deswegen schrieb ich „mittelfristig“, denn es hat keine besondere Eile), aber schleppt das YaCy-Netzwerk dann nicht mit der Zeit zuviel Ballast an toten Links herum, die erst nach und nach gelöscht werden? (Wenn überhaupt, denn es muß ja jemand nach etwas suchen, in dem diese Links vorkämen!)
Lindenblatt
 
Beiträge: 20
Registriert: Mi Mai 18, 2011 1:28 am

Re: Wie werden alte Einträge gelöscht?

Beitragvon bbtuxi » Fr Mai 27, 2011 1:10 pm

Aber veraltete Links werden ja gar nicht erst gefunden (angezeigt), wenn sie verifiziert werden.


Was bedeutet den genau verifiziert?
Also ich hatte nach meiner Seite gesucht und habe ein paar Alte Links gefunden in den Suchergebnissen! Es scheint aber so das diese Links nur einmal angezeigt werden, bei späteren Suchanfragen sind diese nicht mehr aufgetaucht?

grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Wie werden alte Einträge gelöscht?

Beitragvon Lotus » Fr Mai 27, 2011 7:27 pm

bbtuxi hat geschrieben:Was bedeutet den genau verifiziert?

Das bezieht sich auf den "verify" Operator.
Alle Möglichkeiten für diesen sind hier erklärt und kann bestimmt auch das beschriebene Verhalten erklären: http://www.yacy-websuche.de/wiki/index. ... parameters
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron