Alte Links/ Einträge / Blacklist

Ideen und Vorschläge sind willkommen.

Alte Links/ Einträge / Blacklist

Beitragvon peer1 » So Nov 24, 2013 3:30 pm

Ich würde mir wünschen, dass alte Links zu Webseiten, die nicht mehr existieren automatisch gelöscht werden. So, dass Yacy den Index regelmäßig überprüft und dann die Links automatisch rausgibt. Auch super wäre es, wenn alte Links regelmäßig aktualisiert werden, ohne dass man extra einen neuen Crawl starten muss.

Außerdem wäre super, wenn Links, die in der Blackliste nicht auch nicht mehr in den Suchergebnissen angezeigt werden bzw. aus dem Index gelöscht werden.
peer1
 
Beiträge: 4
Registriert: Sa Dez 31, 2011 2:46 pm

Re: Alte Links/ Einträge / Blacklist

Beitragvon Orbiter » Sa Nov 30, 2013 1:27 am

man kann nur überprüfen ob Webseiten noch existieren indem man alle links, die man kennt, wieder versucht zu laden. Das ist zwar vorstellbar, aber strategisch nicht unbedingt sinnvoll. Beispielsweise gehen Nutzer so vor, um wöchentlich alle Webseiten neu zu erfassen und abei alles, was älter als zwei wochen ist und nicht mehr existiert zu löschen:
- bestimmte Webseiten sollen regelmäßig neu gecrawlt werden
- damit das nicht so aufwendig ist, wird dabei im Crawl Start inden "Double-Check Rules" das Flag "Re-load" aktiviert und auf 7 Tage gestellt.
- damit alles was älter als 14 Tage ist und nicht mehr existiert, wird im Feld "Clean-Up before Crawl Start" das Flag "Delete only old" aktiviert und auf 14 Tage gestellt.

Dabei ist zu vermerken, dass ein Überprüfen von allen Links, wie du vorschlägst nicht so effizient ist, wie ein Neuladen von allen Links, die nicht im Cache sind und beim Löschen von älteren Dateien übrig geblieben sind.

Das ganze funktioniert so natürlich nur innerhalb der Zielsetzung, einzelne Domänen zu crawlen. Wenn du den gesamten Index ohne Crawlerziel 'auffrischen' willst, dann muss man das tatsächlich so machen wie du vorschlägst.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste