Werden empfangene URL's noch mal gecrawled?

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Werden empfangene URL's noch mal gecrawled?

Beitragvon Micki » Di Jun 14, 2016 8:41 am

Werden empfangene URL's noch mal gecrawled oder einfach übernommen?
Frage deshalb weil sich das ja auch auf die Qualität des Index auswirkt!
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: Werden empfangene URL's noch mal gecrawled?

Beitragvon Orbiter » Mi Jul 06, 2016 10:28 am

Sie werden nicht wieder geladen. Das würde ja auch das Verteilungskonzept ein wenig schräg machen: je mehr man verteilt, desto mehr Arbeit hätten die Peers wenn sie die URLs neu laden müssen.
Die URL-Verteilung findet ja nur im Kontext mit Index Sharing statt, und da geht es ja (auch) darum dass die Arbeit eines Peers (der, der verteilt) als Zuarbeit bei den anderen ankommt, nicht als deren Mehrarbeit.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Werden empfangene URL's noch mal gecrawled?

Beitragvon Micki » Fr Jul 08, 2016 4:28 am

Also ich will das Indexsharing nicht in Frage stellen. Aber ich fände es durchwegs für Sinnvoll mit einem delay von x Tagen oder Wochen die empfangenen URL's neu zu crawlen.
Wie ich schon ausgeführt habe zum einen der Grund, dass man ja den Index aktuell halten möchte, zum anderen ja auch Peers regelmäßig ausfallen was die Zahl der im gemeinsamen Index vorhandenen Dokumente ja doch sehr schwanken lässt.Beide "Probleme" würden so gelöst, so meine Überlegung.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste