Crawler crawlt nicht

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Crawler crawlt nicht

Beitragvon m1k3ga » Fr Dez 11, 2009 4:00 pm

tach,

Ich habe gerade yacy neu installiert

ich wollte gerade mal dmoz.org (als Beispiel) über yacy "crawlen" lassen.
Den Auftrag für das crawling nimmt er an.
Die Crawler queues Seite aktualisiert alle 5 Sekunden die Seite, aber zeigt keine Liste mit Seiten, die indiziert werden.
Auf der Übersichtsseite in der Admin-Console habe ich 0 Links, 0 Words.
Und ich krieg seltsamerweise dazu noch angezeigt:
"Your Web Page Indexer is idle. You can start your own web crawl here."

yacy läuft auf ner eigenen Kiste, die Administration erledige ich über einen Browser.

yacy version: 0.91/6388

Was mach ich da falsch?
Worauf ist da zu achten?
Zuletzt geändert von m1k3ga am Fr Dez 11, 2009 4:44 pm, insgesamt 1-mal geändert.
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Crawler crawlt nicht

Beitragvon m1k3ga » Fr Dez 11, 2009 4:07 pm

noch als Ergänzung.
Im yacy log steht z.B.:

I 2009/12/11 16:06:32 LOCAL_SEARCH ACCECC CONTROL: WHITELISTED CLIENT FROM 10.0.11.28 gets no search restrictions
I 2009/12/11 16:06:32 LOCAL_SEARCH INIT WORD SEARCH: russian foods:Eett0vnc9XaGXVskQTCfEdq8 - 10 links to be computed, 10 lines to be displayed
I 2009/12/11 16:06:32 LOCAL_SEARCH EXIT WORD SEARCH: russian foods - 0 links found, 1 ms
I 2009/12/11 16:06:32 SEARCH resultWorker thread 0 terminated
I 2009/12/11 16:06:33 LOCAL_SEARCH ACCECC CONTROL: WHITELISTED CLIENT FROM 10.0.11.29 gets no search restrictions
I 2009/12/11 16:06:33 LOCAL_SEARCH INIT WORD SEARCH: Витая пара:uADo6xEGHtXe25uD3aaIpNE4 - 10 links to be computed, 10 lines to be displayed
I 2009/12/11 16:06:33 LOCAL_SEARCH EXIT WORD SEARCH: Витая пара - 0 links found, 1 ms

0 links found steht bei fast allem was ich gesehen hab?!?

Das betrifft wohl nur die Suche.

Für CRAWL hab ich Einträge der Form:
I 2009/12/11 16:06:18 CRAWLER omitting de-queue/local: online caution: localsearch
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: Crawler crawlt nicht

Beitragvon Orbiter » Sa Dez 12, 2009 10:25 am

wenn du lokal suchst wird das crawlen für ein paar Sekunden pausiert damit die Suche ein wenig CPU- und IO-Zeit mehr bekommt. Wenn bei dir jede Sekunde eine Suchanfrage rein geht blockiert das quasi den Crawler. Du kannst diese Zwangspause, 'online caution' genannt auch umkonfigurieren unter localhost:8080/Performance_p.html ganz unten.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron