Bot Spalterei

Forum for developers

Bot Spalterei

Beitragvon Micki » Fr Mär 13, 2015 8:16 pm

Mal an unsere Entwickler, wäre es evtl. nicht effizienter den yacy-Bot zum Crawlen zu spalten ich meine so in der Art einen Domainbot, kümmert sich nur um die Startseiten von Domains und einen Deepbot der sich um alles darunter kümmert und neue Domains an den Domainbot meldet?

Ergänzend vielleicht noch daß man die Reihenfolge der Abarbeitung festlegen kann. Damit meine ich als erstes werden alle crawljobs abgearbeitet, danach werden die gefundenen Links zu anderen Domains abgearbeitet wobei man die Reihenfolge z. B. nach tdl festlegen kann. Bspl.: erst .de dann .com, dann .net, dann .com , dann .eu usw.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron