yacy crawler tut nichts

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

yacy crawler tut nichts

Beitragvon m1k3ga » Do Jun 19, 2008 3:50 pm

Auf meiner yacy-Kiste läuft Version (0.591/04937), also noch DEV-Zweig.
Die Kiste hat erst meinen vorhandenen Index unter ~/DATA nicht mehr gefunden.
Da hab ich den gelöscht und yacy neu gestartet und zwei crawl-Prozesse initiiert.
Leider tut er einfach nichts.

95% der Exec time liegen bei "HTTPD Server/Proxy", steht auf der "Performance Settings of Queues" Seite.
Ich habe zirka 1000 Anfragen in 10 Minuten auf die Kiste (laut Access Tracker).
Es werden halt keine Ergebnisse zurück geliefert, weil er keine hat.

Ich hab daraufhin die letzte stable Version (0.59/4890) installiert, hat aber am Verhalten (kein crawlen findet statt) nichts geändert.
Also bleib ich gerade beim DEV-Zweig (wegen der neuen Option verify=false).

Was kann ich tun bzw. wo muß ich dran drehen, daß das crawling läuft?
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy crawler tut nichts

Beitragvon Orbiter » Do Jun 19, 2008 4:02 pm

was sagt denn das log? Oder was steht auf der Seite zur Indexing-Queue, da gibt es eine Liste warum Seiten verworfen wurden.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy crawler tut nichts

Beitragvon Lotus » Do Jun 19, 2008 6:35 pm

Wurde nicht einmal ein Feature gebaut, dass beim Aufruf der Suchseite die Crawls pausiert? Für Portale taugt das natürlich nicht. ;)

@m1k3ga: danke für dein geduldiges Testen!
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: yacy crawler tut nichts

Beitragvon Orbiter » Do Jun 19, 2008 6:46 pm

Lotus hat geschrieben:Wurde nicht einmal ein Feature gebaut, dass beim Aufruf der Suchseite die Crawls pausiert? Für Portale taugt das natürlich nicht. ;)

aaah, ja klar das isses. Hatte ich vergessen. :oops:

Das kann man konfigurieren: "Queues Performance Settings", bzw. PerformanceQueues_p.html; ganz unten auf der Seite:
"Online Caution Delay for Local Search", da eine 0 eintragen oder was du denkst. eine 0 habe ich übrigens noch nie probiert, hoffe es gibt kein division by zero Bug.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy crawler tut nichts

Beitragvon m1k3ga » Fr Jun 20, 2008 4:42 pm

>Das kann man konfigurieren: "Queues Performance Settings", bzw. PerformanceQueues_p.html; ganz unten auf der Seite:
>"Online Caution Delay for Local Search", da eine 0 eintragen oder was du denkst. eine 0 habe ich übrigens noch nie probiert, hoffe es gibt kein
>division by zero Bug.
Hab ich mal angewählt, ändert aber nichts.
Sobald halt Suchanfragen reinkommen, hört das crawling auf.
Wenn keine Suchanfragen mehr rein kommen, gehts weite rmit dem crawlen auf zirka 100ppm.

Die Werte für "dely between busy loops" bei "local crawl" und "Indexing" liegen bei 10ms.
Die eingesetzte Version für diese Kiste ist die (0.591/04935).
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 2 Gäste

cron