Einstellungen paraplell search, useragent

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Einstellungen paraplell search, useragent

Beitragvon F6F » So Feb 08, 2009 12:10 pm

Hi ich wollte ein paar settungs machen bzw. wissen ob es möglich ist diese Einstellungen
überhaupt zu tätigen.

Das 1. Problem ist dass mein Client nicht über 10PPM raus kommt.
Mir wurde schon gesagt das habe mit der flood protection zu tun,
und dass man die crawls paralellisieren kann um auf mehr als 10ppm
zu kommen.

Wo geht das?

Problem 2. ich würde gerne YaCy veranlassen meinen Persönlichen
User Agent string im Apachelog zu hinterlassen ist das möglich?

Und die 3. frage ist sind so einstelleungen wie mit dem Floodcontroll
und der robots.txt umgegangen wird fix?
F6F
 
Beiträge: 3
Registriert: So Feb 08, 2009 1:06 am

Re: Einstellungen paraplell search, useragent

Beitragvon Lotus » So Feb 08, 2009 12:26 pm

Erst einmal Willkommen im Forum!
Wer hat dir das denn erzählt?
Pro Internet-Host ist YaCy standardmäßig auf 120ppm limitiert. Die Geschwindigkeit kannst du detailliert unter "Advanced Settings > Performance Settings of Busy Queues" als Verzögerungswerte einstellen. Was in der robots.txt steht wird natürlich beachtet. Einen eigenen User Agent kannst du erhalten, wenn du den Source Code änderst.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Einstellungen paraplell search, useragent

Beitragvon F6F » So Feb 08, 2009 12:38 pm

Danke ... :-)
vornweg für die Begrüßung und die Schnelle antwort
mit der Paralellen crawlen hab ich was falsch verstanden.

Ich wundere mich gerade darüber warum ich nicht über 10PPMs komme.
YaCY läugt hier auf nem C2D der load liegt auch nur bei 0.23
Urls hätte er noch genug (imo) und die leitung 16k DSL scheint
auch noch nicht aus den näten zu platzen... gibt es da ne möglichket
die sache zu beschleunigen?
F6F
 
Beiträge: 3
Registriert: So Feb 08, 2009 1:06 am

Re: Einstellungen paraplell search, useragent

Beitragvon Lotus » So Feb 08, 2009 12:55 pm

Bei 10ppm bremst bestimmt eine robots.txt die Geschwindigkeit. Das kannst du im Log sehen. Ansonsten unterbricht auch der Aufruf der Suche oder Proxy-Nutzung die Crawls für kurze Zeit. Mit Standard-Einstellungen sollten zumindest deutlich mehr ppm möglich sein.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 2 Gäste