Bremsliste

Ideen und Vorschläge sind willkommen.

Bremsliste

Beitragvon Micki » Di Feb 24, 2015 10:38 am

Ich hätte gerne so was wie eine Bremsliste. Was soll das sein: Ich habe festgestellt das manche Domains ultra groß und Umfangreich sind, so daß sie beim Crawlen 1000ende von Einträge produzieren und das crawlen anderen Domains fast auf Null runter bremsen. Es wäre jetzt schön, wenn man diese Domains auf eine Liste setzen könnte und das die dann nur quasi Häppchen weiße z. B. 1000 Links und dann Pause für andere Domains und dann wieder 1000 Links gecraweled werden. Vielleicht gibt es ja so was schon und ich hab es nur nicht gefunden? Was ich nicht mein ist die Link Anzahl zu limitieren.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron