0.700/05494: Kann keine Crawls mehr starten

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Sa Jan 24, 2009 9:35 pm

Hi,

kann unter der 0.700/05494 unter Mac OS X Leopard 9.6.0 keine Crawls mehr starten :-( der frisch gestartete Crawl erscheint nicht im Crawl Profile Editor. An der robots.txt der Gegenseite liegts nicht :-(
Was ist da los? Habe an den Settings nichts verändert (frisch aufgesetzter peer)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Sa Jan 24, 2009 11:39 pm

Error with file input "": URL not parseable: 'file://'

Das erscheint auf der Crawler Queues Seite
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Sa Jan 24, 2009 11:46 pm

Nachtrag 23:45 Uhr: Bei der 0.710/05516 funktioniert es wieder!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » So Jan 25, 2009 11:43 am

Nach ein paar Stunden problemlosen Betrieb friert das Crawling einfach ein (kann auch die Seite mit der Crawling Queue nicht mehr aufrufen) und dashier erscheint im Log:

I 2009/01/25 11:34:11 YACY PeerPing: No data, staying at myType: junior

Was ist da los? Shutdown funktioniert auch nicht mehr :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » So Jan 25, 2009 1:00 pm

D 2009/01/25 12:58:08 CRAWLER CoreCrawl: too many processes in loader queue, dismissed (cacheLoader=30)

Welchen Parameter kann ich anpassen um das zu verhindern?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Mi Jan 28, 2009 9:09 pm

LA_FORGE hat geschrieben:D 2009/01/25 12:58:08 CRAWLER CoreCrawl: too many processes in loader queue, dismissed (cacheLoader=30)

Welchen Parameter kann ich anpassen um das zu verhindern?


Hilfe!!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon PCA42 » Do Jan 29, 2009 5:58 am

Das ist wohl keine Frage der Parameter, sondern ein Bug.
Schaust du hier: http://forum.yacy-websuche.de/viewtopic.php?f=6&t=1763
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Do Jan 29, 2009 1:10 pm

Vielen Dank!

Was mir auch aufgefallen ist, dass die robots.txt unter Mac OS X Leopard anscheinend garnicht berücksichtigt wird beim crawlen. Unter Ubuntu erscheint im Log immer dann

Code: Alles auswählen
I 2009/01/29 13:08:42 BALANCER forcing crawl-delay of 2783 milliseconds for ...


Das habe ich bei Mac OS X Leopard nie im Log gelesen, obwohl die YaCy-Version die Gleiche war und die Seite die gecrawlt wurde auch.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Sa Feb 07, 2009 9:17 am

Seitdem ich die 0.710/05582 drauf habe kann ich wieder Crawls starten und alles funktioniert einwandfrei. Dafür hat sich jetzt mein andere Peer (Vaisheshika) verabschiedet :-(

Code: Alles auswählen
S 2009/02/06 12:57:50 STARTUP Java version: 1.5.0_16
S 2009/02/06 12:57:51 STARTUP Operation system: Linux
S 2009/02/06 12:57:51 STARTUP Application root-path: /media/disk/yacy
S 2009/02/06 12:57:51 STARTUP Time zone: UTC+0100; UTC+0000 is 1233921471104
S 2009/02/06 12:57:51 STARTUP Maximum file system path length: 65535
E 2009/02/06 12:57:51 STARTUP WARNING: the file /media/disk/yacy/DATA/yacy.running exists, this usually means that a YaCy instance is still running
I 2009/02/06 12:57:51 PLASMA This is the pro-version of YaCy
I 2009/02/06 12:57:52 PLASMA restoring dump for rwi heap 'index.dhtout.heap'
I 2009/02/06 12:57:52 PLASMA finished rwi heap restore: 2215 words, 22859 word/URL relations in 0 seconds
I 2009/02/06 12:57:53 PLASMA restoring dump for rwi heap 'index.dhtin.heap'


Danach geht's nicht mehr weiter :-( Gibt's noch eine andere Möglichkeit den Peer wiederzubeleben außer den Index zu löschen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon dulcedo » Sa Feb 07, 2009 1:39 pm

Das heisst doch nur dass die selbe Instanz (angeblich) schon läuft, es gab/gibt unter Linux das Problem dass man Firefox gleichzeitig mit dem Herunterfahren und Neustart auch beenden muss. Ansonsten läuft yacy einfach weiter.
Versuche mal den Rechner sauber ganz herunterzufahren und vorher ein StopYACY.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: 0.700/05494: Kann keine Crawls mehr starten

Beitragvon LA_FORGE » Sa Feb 07, 2009 2:41 pm

Vielen Dank.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Yahoo [Bot] und 4 Gäste

cron