Crawler sitzt fest auf ftp.funet.fi

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Mo Apr 18, 2011 7:31 pm

Hallo,

irgendwie hat sich mein Crawler auf ftp.funet.fi festgefressen und hängt in einer Schleife. Ich habe schon den Crawler angehalten und versucht über den Crawler Monitor unter dem Punkt 'Local Queue' die noch abzuarbeitenden Verzeichnisse sowie alles wo 'funet' drin vorkommt (Sowohl bei URL als auch bei Anchor Name) per regex rausgeworfen, aber irgendwie hängt der immer noch fest :-(

Kann ich in irgendeiner Datei in der lokalen YaCy-Verzeichnisstruktur oder so per sed oder einem anderem Tool nochmal alle URLs in der Warteschleife rauswerfen oder hat jemand eine Idee was ich machen könnte?

Vielen Dank für die Hilfe
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon Lotus » Mo Apr 18, 2011 7:52 pm

Ist das der http oder ftp-Crawler? Die Seite hat beides verfügbar.
Wie sieht die Schleife aus? Ist es eine "gleiche" URL die immer länger wird?
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Mo Apr 18, 2011 7:56 pm

ist natives ftp wo der gerade Crawlt.

Genau, es ist immer die gleiche URL wo das Verzeichnis mit /ftp/index/CPAN/ anfängt und dann taucht er immer tiefer ab und verhängt sich irgendwann
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » So Mai 01, 2011 2:28 pm

Hab das gleiche Problem jetzt auf ftp.kernel.org

Er verfängt sich in einer Endlosschleife:

Code: Alles auswählen
I 2011/05/01 15:25:22 PLASMA *Indexed 17 words in URL ftp://ftp.kernel.org/pub/dist/knoppix/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/DVD/CD/knoppix-dvd/CD/knoppix-dvd/CD/knoppix-dvd/KNOPPIX_V6.4.3DVD-2010-12-20-DE.iso.md5 [H0_v2f0wMuNw]
   Description:  KNOPPIX_V6.4.3DVD-2010-12-20-DE.iso.md5
   MimeType: application/octet-stream | Charset: null | Size: 310 bytes | Anchors: 0
   LinkStorageTime: 0 ms | indexStorageTime: 1 ms


Wurde das schon gefixt und wenn ja in welcher SVN? Aktuell habe ich die 0.99/7509 laufen.

Danke
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon Lotus » So Mai 01, 2011 7:24 pm

Hast du vielleicht auch noch ein Beispiel aus dem ersten Server? YaCy verhält sich hier ja formal korrekt. Es muss für diese Fälle also mehr oder weniger intelligente Randbedingungen geben wann einem Pfad gefolgt wird.
Ohne hier detaillierte Randbedingungen zu betrachten wäre eine universelle Idee, zu jeder indizierten Seite einen Hash über den Inhalt zu berechnen und diesen immer mit schon vorhandenen Seiten zu vergleichen. Bei den FTP-Verzeichnissen würde dies das Problem beheben.
Eine andere Methode ginge über den Verzeichnis-Aufbau der URL.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Mo Mai 16, 2011 6:37 pm

hm sorry, kann den Fehler aus dem ftp.funet.fi Problem nicht mehr reproduzieren. Aber bei dem obigen Beispiel mit Knoppix hängt der mindestens 2 Tage in einer Endlosschleife, "befreit" sich aber dann irgendwie doch noch ohne dass ich den Crawl killen muss.
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Di Mai 17, 2011 3:07 pm

Das hilft evtl. beim Finden des Bugs:

[img]
http://www.picpaste.de/Parse_Errors-vAxP4VKQ.jpg
[/img]

Ich habe auch schon den Crawl angehalten und auf der 'Local Crawl Queue' alles mit REGEX .*knoppix.* und .*kernel.* aus der Queue rausgeworfen, aber das behebt das Problem nicht :-(
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon Orbiter » Di Mai 17, 2011 6:31 pm

das erklärt es! Die Pfade aus deinem Screenshot kann man nachvollziehen wenn man da sich manuell auf dem ftp server einloggt: deren Pfade sind zyklisch. Offenbar haben die das DVD und CD Verzeichnis zirkulär miteinander verlinkt. Der FTP Crawler folgt diesen Links .. ergibt unendlich viele Adressen und damit hängt der Crawler fest.

Das dumme ist dass der Crawler ja eigentlich das richige macht. Wie erkennt man denn so eine zyklische Verlinkung?
Als Heuristik könnte man das Wiederkehren von einzelnen Pfadabschnitten erkennen, aber das kann es auch geben ohne Zyklus. Dann würde der Crawler unvollständig aber terminierend sein. Ideen?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Di Mai 17, 2011 7:24 pm

Die Idee mit der Heuristik fände ich sehr gut. Kann leider nicht viel dazu beisteuern, da mir programmiertechnisch der Background & das Fachwissen fehlt :-(

Eine Idee von mir wäre

Code: Alles auswählen
lrwxrwxrwx    1 536      536            14 Feb 01 18:21 DVD -> ../knoppix-dvd


eine Option einzubauen 'Don't follow symlinks'. Wäre das auch eine Möglichkeit eine Endlosschleifen zu umgehen?
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon PCA42 » Di Mai 17, 2011 7:52 pm

Die Idee mit dem Symlink kann vielleicht noch verfeinert werden. Wenn der Symlink mit "../" beginnt, ist definitiv was faul :-)
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon r.bircher » Mi Mai 18, 2011 3:57 pm

Kann jemand dazu nen Bug-Report verfassen, bevor hier weiter diskutiert wird, oder muss ich das tun?

Gruss Raphael
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon r.bircher » Do Mai 19, 2011 2:56 pm

Hab ich jetzt gemacht

ist http://bugs.yacy.net/view.php?id=32
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Do Mai 19, 2011 7:33 pm

Sehr gute Fehlerbeschreibung!! Vielen Dank!!
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Do Mai 19, 2011 8:00 pm

PCA42 hat geschrieben:Die Idee mit dem Symlink kann vielleicht noch verfeinert werden. Wenn der Symlink mit "../" beginnt, ist definitiv was faul :-)


Ja, da läuft wahrscheinlich ein FTP-Daemon von Micro$oft auf dem Server :-D der sich nicht an die Spezifikationen hält. Finde auch dass dann was faul ist wenn nicht der relative Pfad angezeigt wird.
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon r.bircher » Do Mai 19, 2011 8:06 pm

Hallo

War ja auch nicht mehr wirklich schwehr, denn der Bug war ja schon eingegrenzt. Von daher haben die Vorarbeit andere geleistet. Und Bugreport schreiben ist ja nichts neues für mich. Und ich geniesse es, solange die Bug Zahlen noch unterhalb des vierstelligen Bereichs ist.

Gruss Raphael
r.bircher
 
Beiträge: 36
Registriert: Mo Sep 15, 2008 8:52 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon Orbiter » Di Mai 24, 2011 11:08 am

fix in svn 7736
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Sa Jun 04, 2011 12:45 pm

@Orbiter: Vielen Dank

W 2011/06/04 13:37:34 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/autho ... /CHECKSUMS - not pushed: double occurrence in double_push_check

W 2011/06/04 13:37:34 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/autho ... 68.tar.bz2 - not pushed: double occurrence in double_push_check


Ist das der Fix?
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Sa Jun 04, 2011 12:55 pm

Code: Alles auswählen
I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Cisco-Management-0.04.readme - double in: crawler

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Cisco-Management-0.04.tar.gz - double in: crawler

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Cisco-Management-0.04.tar.gz - double in: crawler

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Cisco-Management-0.04.readme - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-SNMPTrapd-0.04.meta - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-SNMPTrapd-0.04.meta - not pushed: double occurrence in double_push_check

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-SNMPTrapd-0.04.readme - double in: crawler

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-SNMPTrapd-0.04.tar.gz - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-Syslogd-0.04.meta - not pushed: double occurrence in double_push_check

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-Syslogd-0.04.readme - double in: crawler

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Net-Syslogd-0.04.tar.gz - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Win32-LockWorkStation-0.01.meta - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Win32-LockWorkStation-0.01.readme - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VINSWORLD/Win32-LockWorkStation-0.01.tar.gz - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/CHECKSUMS - not pushed: double occurrence in double_push_check

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.03.meta - double in: crawler

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.03.readme - not pushed: double occurrence in double_push_check

I 2011/06/04 13:48:29 Rejected URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.03.tar.gz - double in: crawler

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.04.meta - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.04.readme - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIORELS/WebService-YQL-0.04.tar.gz - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIOSCA/CHECKSUMS - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIOSCA/LabFrameFmt.pm - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIOSCA/LabelFmt.pm - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIOSCA/LabelTimer.pm - not pushed: double occurrence in double_push_check

W 2011/06/04 13:48:29 STACKCRAWL CrawlStacker.stackCrawl of URL ftp://ftp.funet.fi/ftp/index/CPAN/authors/id/V/VI/VIOSCA/LabelWgs.pm - not pushed: double occurrence in double_push_check

LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » Mi Aug 24, 2011 8:36 pm

Hmm.. trotz des Fix besteht das Problem anscheinend immer noch (SVN 7882)

Code: Alles auswählen
I 2011/08/24 21:28:45 PLASMA CRAWL: ADDED 0 LINKS FROM ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E, STACKING TIME = 0, PARSING TIME = 0

I 2011/08/24 21:28:45 PLASMA *Indexed 17 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E [4rZ5uKZUvAUg]
   Description:  Microsoft E
   MimeType: application/octet-stream | Charset: null | Size: 332 bytes | Anchors: 0
   LinkStorageTime: 1 ms | indexStorageTime: 0 ms

I 2011/08/24 21:28:45 PLASMA Excluded 0 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA *Indexed 17 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E [yOsbqKZUvAUg]
   Description:  Microsoft E
   MimeType: application/octet-stream | Charset: null | Size: 332 bytes | Anchors: 0
   LinkStorageTime: 0 ms | indexStorageTime: 0 ms

I 2011/08/24 21:28:45 CrawlQueues placed NOLOAD URL on indexing queue: ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA CRAWL: ADDED 0 LINKS FROM ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E, STACKING TIME = 0, PARSING TIME = 0

I 2011/08/24 21:28:45 PLASMA Excluded 0 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA *Indexed 17 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E [nKxCQKZUvAUg]
   Description:  Microsoft E
   MimeType: application/octet-stream | Charset: null | Size: 332 bytes | Anchors: 0
   LinkStorageTime: 1 ms | indexStorageTime: 0 ms

I 2011/08/24 21:28:45 CrawlQueues placed NOLOAD URL on indexing queue: ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA CRAWL: ADDED 0 LINKS FROM ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E, STACKING TIME = 0, PARSING TIME = 0

I 2011/08/24 21:28:45 PLASMA Excluded 0 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA *Indexed 17 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E [2RO2vKZUvAUg]
   Description:  Microsoft E
   MimeType: application/octet-stream | Charset: null | Size: 332 bytes | Anchors: 0
   LinkStorageTime: 0 ms | indexStorageTime: 1 ms

I 2011/08/24 21:28:45 CrawlQueues placed NOLOAD URL on indexing queue: ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA CRAWL: ADDED 0 LINKS FROM ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E, STACKING TIME = 0, PARSING TIME = 0

I 2011/08/24 21:28:45 PLASMA Excluded 0 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E

I 2011/08/24 21:28:45 PLASMA *Indexed 17 words in URL ftp://ftp.econ.unavarra.es/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Pub/Users/invhe/FTPRoot/Pub/Pub/Pub/Users/invhe/FTPRoot/Users/invhe/FTPRoot/Aplicaciones%20Mac/Microsoft%20Office%202004/Office/Microsoft%20E [7y1UHKZUvAUg]
   Description:  Microsoft E
   MimeType: application/octet-stream | Charset: null | Size: 332 bytes | Anchors: 0
   LinkStorageTime: 0 ms | indexStorageTime: 1 ms
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Crawler sitzt fest auf ftp.funet.fi

Beitragvon LA_FORGE » So Aug 28, 2011 1:16 am

... aber dieses mal auf

ftp.econ.unavarra.es

ftp.funet.fi & ftp.kernel.org machen keine Probleme mehr seitdem ihr den Fix eingecheckt habt.

Bitte das Ticket auf dem Bugtracker nochmal aufmachen und das o. g. Beispiel von 'ftp.econ.unavarra.es' da posten.

Danke
LA_FORGE
 
Beiträge: 556
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast