Local Crawl Queue wächst zu stark

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Local Crawl Queue wächst zu stark

Beitragvon Seitenreiter » So Nov 24, 2013 7:48 pm

Hi, ich habe etwa 50 laufende Crawls plus etwa 20 RSS Feeds. Das führt dazu, dass meine Local queue > 1.8 Mio Links angewachsen ist und nicht wirklich abbaut. Mein Gefühl ist, dass Yacy dadurch arg zu kämpfen hat.

Gibt es da eine Möglichkeit Yacy beizubringen etwas weniger Aufträge auf einmal zu bearbeiten bzw. raus zu kriegen wie weit die Aufträge abgearbeitet sind?
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Local Crawl Queue wächst zu stark

Beitragvon Seitenreiter » Di Nov 26, 2013 6:48 pm

2.2 Mio Links :(
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Local Crawl Queue wächst zu stark

Beitragvon Orbiter » Di Nov 26, 2013 8:38 pm

in /CrawlProfileEditor_p.html kannst du die Crawl Tiefe verstellen, ganz unten ein Profil auswählen und editieren. Welche Tiefe hast du eingestellt? Über den Daumen gepeilt sind das ca. 20^<depth> Links bei <depth> Tiefe, also bei <depth> = 8 ungefähr das ganze Internet.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Local Crawl Queue wächst zu stark

Beitragvon Seitenreiter » Mi Nov 27, 2013 2:45 pm

Bei vielen steht da 99, wobei ich aber meine die nirgendwo so extrem eingestellt zu haben. Ok, werde sie mal auf 3..5 runterdrehen
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Local Crawl Queue wächst zu stark

Beitragvon Orbiter » Mi Nov 27, 2013 3:30 pm

die 99 kommt automatisch bei site-crawl starts, das sollte schon ok sein ausser du hast da hosts, die unendlich viele Seiten automatisch generieren, was z.B. bei einem Kalender ganz natürlich wäre.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Local Crawl Queue wächst zu stark

Beitragvon Micki » Fr Jul 08, 2016 5:02 am

Kann man denn Yacy zum gezielten Abarbeiten der Queue Lokaler Crawler überreden. Bei mir sind da mittlerweile 5,5 Mio Einträge drin. Wäre doch für den Index vorteilhaft wenn sie im Dokumentenbestand wären statt in einer Queue vor sich hin dümpeln!
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron