Tröpfchencrawle beim Crawlen einer Domain

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Tröpfchencrawle beim Crawlen einer Domain

Beitragvon r.bircher » Di Jun 02, 2009 3:21 pm

Hallo zusammen

Ich bin grad dran, eine Suchmaschine für OpenOffice.org zu erstellen. Leider ist die Crawle geschwindigkeit sehr sehr lasch. Ich weiss, dass es irgendwo einen Blocker hat, damit gleiche Domains nicht zu oft dran kommen, wo kann ich den Raushauen. Ansonsten komme ich hier wirklich nicht voran.

Gruss Raphael
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Tröpfchencrawle beim Crawlen einer Domain

Beitragvon Orbiter » Di Jun 02, 2009 3:47 pm

hast du denn viel weniger als 120ppm?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Tröpfchencrawle beim Crawlen einer Domain

Beitragvon r.bircher » Di Jun 02, 2009 3:54 pm

Damit wäre ich schon ganz Happy

max so 10 - 15 ppm
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Tröpfchencrawle beim Crawlen einer Domain

Beitragvon Orbiter » Di Jun 02, 2009 3:59 pm

120 PPM ist das Limit für einen host. Wenn du die nicht erreichst, bringt ein delay-hack, den ich sowieso nicht empfehlen würde, nichts. Das hat andere Gründe.

Welche Version betreibst du? Wie lange schon? Wieviel ist im Index? Wieviel Ram hat der Rechner, wieviel zugewiesen? Welches OS? Migrierte DB? Was steht im Log? Kannst du ein Log und einen Thread Dump posten?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron