Limit Crawler?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Limit Crawler?

Beitragvon Lotus » Fr Nov 28, 2008 11:59 am

Ich habe nun überwiegend Links mit maximaler Tiefe in meiner Local Crawl Queue, wobei vereinzelt auch Links vorletzter Tiefe vorhanden sind.
Ist das beabsichtigt? Die maximal tiefen Links wären nach meiner Ansicht auf dem Limit Crawler viel besser aufgehoben. Wenn die Local Crawl Queue dann leer ist, können die Links von dort geholt werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Limit Crawler?

Beitragvon Orbiter » Fr Nov 28, 2008 12:30 pm

wenn du keinen global crawl gesetzt hast ist das so ok. Wenn du global crawl gesetzt hast ist das nicht ok.
Sind denn links in der global crawl queue?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Limit Crawler?

Beitragvon Lotus » Fr Nov 28, 2008 4:40 pm

Ja, dort sind auch Links. Ich habe noch einmal das Crawl-Profil gecheckt. Dort ist remote Indexing eingeschaltet.
In irgend einer Routine hat sich also ein Fehler eingeschlichen. Ist übrigens r5365.
Oder könnte es auch sein, dass sich das Verhalten mit der größe der Queues ändert?
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Limit Crawler?

Beitragvon Lotus » Sa Nov 29, 2008 9:34 am

Ich habe gerade einmal entsprechenden Code angesehen. Es kann natürlich sein, dass mein Peer einmal nicht errreichbar und Junior war. Von daher ist das Thema nun für mich abgehakt.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron