[PATCH] Inkonsistenz in Crawlerbenennung

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[PATCH] Inkonsistenz in Crawlerbenennung

Beitragvon Quix0r » Fr Jan 22, 2010 10:58 am

Erstmal muss ich vorweg sagen, dass mir das folgende aufgefallen ist, weil ich mal den lokalen und Remote-Crawler abgeschaltet habe und DHT komplett ausgeschaltet habe.

Ich wollte naemlich wissen, wieso der "Limit Crawler" aka. "Global Crawler" so dermassen voll ist, wobei die anderen "kaum" Eintraege haben:
Code: Alles auswählen
Local Crawler     602,335       Continue this queue       unlimited
Limit Crawler    4,666,261    Pause this queue    unlimited
Remote Crawler    103    Continue this queue    unlimited

Dabei ist mir bei diesem Quellcode (SVN 6609) eine Inkonsistenz aufgefallen, die erstmal zu ewigen Quellcode-Suchen gefuehrt hat:
Code: Alles auswählen
        //global crawl queue
        prop.putNum("limitCrawlSize", Integer.toString(sb.crawlQueues.limitCrawlJobSize()));
        prop.put("limitCrawlState", STATE_RUNNING);
        stackSize = sb.crawlQueues.noticeURL.stackSize(NoticedURL.STACK_TYPE_LIMIT);

Das sollte vielleicht mal gerade gezogen werden, ich spreche da aus Erfahrung mit Inkonsistenten im Quellcode. :)

Dann zum eigentlichen Problem, bzw. Problemen:
1.) Ich kann den Limit-Crawler aka. Global-Crawler nicht pausieren. (Klick auf diesen Link zeigt keine Wirkung)
2.) Er crawlt kaum, obwohl die anderen beiden abgeschaltet und 600 PPM maximal eingestellt ist.
3.) Beim Wechsel vom Peer-Typ P2P->Robison ist wohl die Einstellung PPM beschaedigt worden, jedenfalls stand urploetzlich 60 drinne, obwohl ich 400 eingestellt hatte: Ich meine diesen Wert auf http://localhost:8080/Crawler_p.html (Custom)

Wie kann man diesen nun beschleunigen? Der Crawler ist ja nun der einzige noch aktive.
Zuletzt geändert von Quix0r am Mi Jun 16, 2010 2:50 pm, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Inkonsistenz in Crawlerbenennung?

Beitragvon Quix0r » Mi Jun 16, 2010 2:50 pm

Ich habe mal alles was "Limit Crawler" hiess umbenannt nach "Global Crawler", siehe angehaengtes Patch.

Das folgende Patch ist wegen seiner Groesse und zu vielen Inhaltes (unrelevanten) aufgeteilt in zwei Teile und sollte immer auf die aktuelle Revision (HEAD) passen, wenn nicht bitte kurz mitteilen und die rej-Dateien mir zusenden:
PART 1: http://free-search.yacy/repository/yacy ... .patch.bz2
PART 2: http://free-search.yacy/repository/yacy ... .patch.bz2

Oder alternativ:
PART 1: http://www.mxchange.org/downloads/yacy/ ... .patch.bz2
PART 2: http://www.mxchange.org/downloads/yacy/ ... .patch.bz2
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: [PATCH] Inkonsistenz in Crawlerbenennung

Beitragvon Quix0r » Mo Dez 06, 2010 7:46 pm

Ich aktualisiere immer gegen HEAD, also sollten alle meine Patches immer zur neusten Revision passen. Wollte ich nur dazu notiert haben und habe entsprechend meine Beitraege geaendert (damit keine Verwirrung entsteht, ist die Revisionsnummer raus).
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast