Domains nochmal Crawlen?

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Domains nochmal Crawlen?

Beitragvon bbtuxi » Mi Aug 29, 2012 6:11 pm

Man kann ja einstellen bei bei einem Crawl-Auftrag wie oft die Seite besucht werden soll, z.b alle 7 Tage.
Wenn ich jetzt auf den Auftrag gelöscht habe und später einen neuen erstelle mit der gleichen Start Adresse bekommt man ja folgende Meldung:
Fehler mit URL Eingabe "http://golem.de/": java.io.IOException: CRAWLER Redirection of URL=http://golem.de/ ignored. The url appears already in db loaded



Wie kann ich trotzdem einen Crawl von der Domain aus starten? Und kann man nicht generell sagen, alle Domains die älter als X Tage sind sollen neu gecrawlt werden?


grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Domains nochmal Crawlen?

Beitragvon Orbiter » Sa Nov 03, 2012 2:24 pm

bin gerade dran das einzubauen, derweil kannst du über den neuen Host Browser auch ganze Domänen wieder rauslöschen. Einfach erst die Domäne eingeben und dann den Löschknopf drücken. Eine automatische Variante für den Crawler kommt demnächst.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron