RSS Crawlen

Ereignisse, Vorschläge und Aktionen

RSS Crawlen

Beitragvon ribbon » So Dez 02, 2012 9:51 pm

yacyrss.rar
rar in txt umbenennen !!
(3.38 KiB) 139-mal heruntergeladen


Hallo kann jemand regelmäßig diese RSS crawlen? Danke
rar in txt umbenennen !!
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: RSS Crawlen

Beitragvon Low012 » Mo Dez 03, 2012 9:03 am

Habe es eben probiert, aber http://news.google.com/robots.txt lässt mich nicht. :(
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: RSS Crawlen

Beitragvon ribbon » Mo Dez 03, 2012 9:54 pm

hä? du sollst ja nicht die Url des RSS Feed crawlen, sondern die URl des Feed-item.
Da ist ein google-präfix vor, aber der leitet ja sofort auf die Webseite der Zeitung weiter. Die kann man crawlen.
Dann ist entweder was im RSS lesegerät in yacy nicht richtig oder Du hast die google Feed-Url in den Crawler eingegeben.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: RSS Crawlen

Beitragvon Low012 » Di Dez 04, 2012 9:47 am

ribbon hat geschrieben:Dann ist entweder was im RSS lesegerät in yacy nicht richtig oder Du hast die google Feed-Url in den Crawler eingegeben.

Das Zweite! Wenigstens weiß ich jetzt aber, dass der Crawl aus einer Datei heraus wieder ordentlich funktioniert. ;)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: RSS Crawlen

Beitragvon ribbon » So Jan 06, 2013 12:32 am

Also so ideal ist das crawlen aus einer Datei mit Urls noch nicht.
Naja irgendwie hat er dennoch angefangen zu starten mit der Neuinstallation von der HP.
Ich dachte immer, dass erstmal die 1000 Urls der Datei geladen werden, wenn ich eine Crawl Tiefe von 0 eingebe, müssten ja genau 1000 Urls im Index sein.
Um dann bei der ersten URl wieder beginnend weiterzucrawlen.

Zudem die Frage: Kann man die Robots Exclusion umgehen?

Will jemand mal die angehangene Datei crawlen? Die kann ein guter Startpunkt sein, weil es Newszeitungen sind, die auch Google in den Nachrichtenseiten verwendet.
Dateianhänge
urlttable.txt-perline.zip
(41.68 KiB) 132-mal heruntergeladen
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast