Umgang mit RSS-/Atom-Feeds?

Ideen und Vorschläge sind willkommen.

Umgang mit RSS-/Atom-Feeds?

Beitragvon Halborinda » Mi Jun 04, 2008 6:04 am

Morgen.

Ich wollte fragen, wie YaCy mit RSS- und Atom-Feeds umgeht.

Werden diese einmal indiziert und dann nicht mehr? Oder werden diese immer wieder neuindiziert, z.B. wenn ich meinen Feed-Reader benutze und YaCy als Proxy einsetze?

Das ist insofern interessant, da Feeds als wunderbare Quelle von neuen Informationen/Seiten dienen und wenn man Proxy mit Indixierungstiefe benutzt, so immer die neuesten Informationen inziert werden können.

Es gibt zwar den Vorschlag, YaCy als Feed-Reader zu nutzen, aber ich würde es befürworten, wenn YaCy sich auf seinen Kern konzentriert und nicht zu viele Baustellen aufreisst: viewtopic.php?f=9&t=39&p=86

Grüße
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Umgang mit RSS-/Atom-Feeds?

Beitragvon miTreD » Mi Jun 04, 2008 7:44 am

Halborinda hat geschrieben:Werden diese einmal indiziert und dann nicht mehr?
Ich glaube gen au so ist es. Ich komme drauf, weil irgendwann mal Vorgeschlagen wurde, dass die einzige Möglichkeit regelmäßig Feed über den Proxy zu ziehen sei die dynamischen Lesezeichen im Firefox zu nutzen. Wenn die aktualisiert werden, läufts über den Proxy (falls YaCy gerade als Proxy verwendet wird). Aber nagel mich darauf bitte nicht fest. Vielleicht ist mittlerweile auch alles ganz anders.

Wir warten ja immer noch auf einen automatischen recrawl. Da würde das sicher auch reinpassen.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Umgang mit RSS-/Atom-Feeds?

Beitragvon DanielR » Mi Jun 04, 2008 8:18 am

imho werden Feeds nicht besonders behandelt. Also wie jede andere Seite, welche durch den Proxy gecrawlt wird.
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Umgang mit RSS-/Atom-Feeds?

Beitragvon Halborinda » Mi Jun 04, 2008 3:54 pm

miTreD hat geschrieben:Ich glaube gen au so ist es. Ich komme drauf, weil irgendwann mal Vorgeschlagen wurde, dass die einzige Möglichkeit regelmäßig Feed über den Proxy zu ziehen sei die dynamischen Lesezeichen im Firefox zu nutzen. Wenn die aktualisiert werden, läufts über den Proxy (falls YaCy gerade als Proxy verwendet wird). Aber nagel mich darauf bitte nicht fest. Vielleicht ist mittlerweile auch alles ganz anders.

Wir warten ja immer noch auf einen automatischen recrawl. Da würde das sicher auch reinpassen.


Nun aber der Proxy indiziert trotzdem dann die XML Datei und die neuen Links nicht mehr, weil die XML Datei ja schon indiziert ist. UNd alle Reader holen sich Titel/Betreff und auch in der Regel den Body aus dieser XML-Datei direkt.

Daher würde ich das gerne als Feature Request einfügen.
Kann jemand diesen Thead dorthin verschieben bitte?

Also alle Feeds sollen immer neu indiziert werden können und auch deren Links ggf. falls noch nicht indiziert, ganz normal behandelt werden. So kann YaCy immer aktuelle Informationen indizieren.

Das soll NICHT bedeuten, dass YaCy selbsttätig dies Feed reindiziert, aber es soll einfach die Information setzen: "Beim nächsten Mal wieder indizieren." So was gibt es ja schon beim Crawln, nur setzt man da das manuell.

Wenn man dann einen normalen Feed-Reader nutzt und den über YaCy laufen lässt, indiziert YaCy gleich auch alles neue.

Diese Logik mit der Reiundizierungs-Information könnte ja bspw. über dem MIME-Type Parser gesetzt werden für:

Rich Site Summary/Atom Feed Parser V0.1:
application/atom+xml
text/rss
application/rss+xml
application/rdf+xml


Ich habe bspw. in guter Hoffnung ein paar Feeds abonniert, nur damit YaCy diese indiziert.
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am

Re: Umgang mit RSS-/Atom-Feeds?

Beitragvon miTreD » Mi Jun 04, 2008 4:00 pm

Halborinda hat geschrieben:Daher würde ich das gerne als Feature Request einfügen.
Kann jemand diesen Thead dorthin verschieben bitte?
[x] done
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Umgang mit RSS-/Atom-Feeds?

Beitragvon Halborinda » Do Jun 12, 2008 6:09 am

Danke!

Ich würde mich freuen, wenn dieses Feature umgesetzt werden kann.

Mittlerweile habe ich schon ein paar Feeds abonniert, in der Hoffnung das YaCy dann immer aktuelle Neuigkeiten indiziert. So kann YaCy immer das neueste an Seiten immer bekommen.

Grüße
Halborinda
 
Beiträge: 217
Registriert: Sa Jul 07, 2007 7:58 am


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast