Aus lokal Crawl mehr remote Crawl machen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Aus lokal Crawl mehr remote Crawl machen?

Beitragvon bluumi » Fr Nov 07, 2008 8:39 pm

Andere Frage .. Am Beginn eines Jobs, macht er ja remote und lokal anteil.. Aus meinem 500'000 Link Job sind nun aber noch immer 200'000 in der lokal Crawl queue und 0 im remote.. Nehme ich das recht an, dass man ihm nicht mehr sagen kann, dass er doch noch ein paar abtretten soll :) ?
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Aus lokal Crawl mehr remote Crawl machen?

Beitragvon Orbiter » Fr Nov 07, 2008 8:44 pm

da ja nur die Blätter des local Crawl als remote crawl abgegeben werden (und diese ein 20faches der lokalen Links sind - geschätzt), muss der local crawl beim Crawlen die maximale Crawl Tiefe erreichen, damit die Blätter gefunden werden. Das wird dadurch unterstützt, dass ein depth-first gemacht wird. Wenn die Tiefe aber sehr Tief ist, wird das erschwert.
Wie tief hast du den Crawl denn eingestellt?
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Aus lokal Crawl mehr remote Crawl machen?

Beitragvon bluumi » Fr Nov 07, 2008 8:47 pm

Orbiter hat geschrieben:Wie tief hast du den Crawl denn eingestellt?

500 :) lach ... Nein im ernst 5.

Aber ich hab es nun erkannt.. er hat sich an der einen Domain "tot" gearbeitet und nachdem ich die nun lösche geht es wieder weiter mit Remote Crawls ... Schade dass der sich da verschlucken kann ... :|
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Aus lokal Crawl mehr remote Crawl machen?

Beitragvon Orbiter » Fr Nov 07, 2008 8:51 pm

wenn er sich tatsächlich an der einen Domain 'totgearbeitet' hat, ist das ein Defizit des Balancers. Vielleicht kann man dem beibringen 'tiefe' Links zu bevorzugen .. hm ..
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron