Crawler

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Crawler

Beitragvon Micki » Mi Mär 11, 2015 8:11 pm

Was ist der Limitierter Crawler ?
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: Crawler

Beitragvon ScRe » So Mai 17, 2015 7:09 am

In dieser Queue landen alle Crawls, die z.B. durch Suchanfragen getriggert wurden.
Wenn z.B. die Einstellung " Suchergebnis: crawl Links aller angezeigten Suchergebnisse" aktiviert ist, und landen diese Crawls der Ergebnisse in der Limitierter Crawler Queue?
ScRe
 
Beiträge: 2
Registriert: So Mai 17, 2015 6:44 am

Re: Crawler

Beitragvon Orbiter » Mo Mai 18, 2015 1:50 pm

der 'Limitierte Crawler' ist offensichtlich eine Fehlübersetzung. Das heisst im Original 'Limit Crawl' und meint 'am Limit'. Limit meint hierbei die größte Tiefe im Crawlbaum, wenn ein Crawl mit Tiefenangabe limitiert wurde. Diese Queue sollte eigentlich nur dann gefüllt werden, wenn man remote indexing angeschaltet hat. Dann stehen alle URLs im limit Crawl für andere Peers zum Download zur Verfügung, die URLs von einer kleineren Crawl-Tiefe werden ausschliesslich vom Peer geladen, wo der Crawl gestartet wurde. Auf diese Art ist es möglich, den Doublettencheck vollständig durchzuführen, die 'Limit Crawl' Queue ist das technische Mittel dazu.
Orbiter
 
Beiträge: 5771
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste