Seite 1 von 1

Bremsliste

BeitragVerfasst: Di Feb 24, 2015 10:38 am
von Micki
Ich hätte gerne so was wie eine Bremsliste. Was soll das sein: Ich habe festgestellt das manche Domains ultra groß und Umfangreich sind, so daß sie beim Crawlen 1000ende von Einträge produzieren und das crawlen anderen Domains fast auf Null runter bremsen. Es wäre jetzt schön, wenn man diese Domains auf eine Liste setzen könnte und das die dann nur quasi Häppchen weiße z. B. 1000 Links und dann Pause für andere Domains und dann wieder 1000 Links gecraweled werden. Vielleicht gibt es ja so was schon und ich hab es nur nicht gefunden? Was ich nicht mein ist die Link Anzahl zu limitieren.