Suchergebnisse in Datei umleiten

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Suchergebnisse in Datei umleiten

Beitragvon Zounadire » Fr Jan 16, 2009 10:51 am

Hallo liebe Yacy Community!

Beschäftige mich nun schon seit 1-2 Wochen mit YaCy und bin durchweg begeistert (Nochmal mein Kompliment an die Entwickler :D ).
Momentan frage ich mich, ob es eine Möglichkeit gibt Suchanfragen (sowohl Lokal als auch Globall) über den Datenbestand Zeitgesteuert zu stellen
und die Ergebnisse dieser Suchanfragen dann in eine Datei oder in eine andere Datenbank umzuleiten.

Wenn so was nicht Möglich ist, würde ich gerne wissen an welcher Stelle im Code ich ansetzen müsste um so eine Funktionalität zu implementieren, bzw. wo ich eine ausführlichere Dokumentation finden kann der den Aufbau von YaCy beschreibt.

Schon mal danke im Voraus ;)


Gruß Zounadire
Zounadire
 
Beiträge: 3
Registriert: Fr Jan 16, 2009 10:35 am

Re: Suchergebnisse in Datei umleiten

Beitragvon Low012 » Fr Jan 16, 2009 11:28 am

Fertig eingebaut gibt es sowas nicht, aber es sollte relativ einfach zu programmieren sein.

Brauchst du einfach nur die Links? Dann wäre es wahrscheinlich am einfachsten, ein kleines Shell-, Perl- oder PHP-Skript zu schreiben, das regelmäßig (unter Linux mit cron, unter Windows gibt es ja auch irgendwas mit grafischer Oberfläche) aufgerufen wird, Anfragen an deine Installation schickt und das Ergebnis ggf. parst und in eine Datei schreibt.

YaCy bietet die Möglichkeit, sich Suchergebnisse als RSS ausgeben zu lassen. Du kannst das ausprobieren, indem du einfach mal eine normale Suche startest und dann im Adressfeld im Browser das yacysearch.html durch yacysearch.rss ersetzt.

Informationen per HTTP-Requests aus YaCy abzufragen finde ich recht bequem und wenn du ein Update machst, musst du nicht wieder deine Änderungen einbauen.

Wir sind grad dabei, auf http://www.yacy-websuche.de/wiki/index.php/Dev:API alle Möglichkeiten zu dokumentieren, die es gibt, um so an Daten zu kommen. Noch ist nicht alles dokumentiert, aber es wird... ;)

Und weil ich immer gern Werbung dafür mache: Unter http://ismael.audioattack.de/ gibt es ein fertiges Perl-Modul, um halbwegs bequem Anfragen an YaCy zu schicken oder um zu schauen, wie es geht und es dann selbst besser zu machen.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Suchergebnisse in Datei umleiten

Beitragvon Zounadire » Fr Jan 16, 2009 12:43 pm

Moin Low012,

Danke für die schnelle Antwort!
Hab mir mal kurz Ismael angeschaut und muss sagen das kommt dem was ich vorhabe schon ziemlich nahe.

Ich hab vor so eine Art privates Web-Monitoring zu betreiben, in dem ich nur bestimmte Quellen nach wörten durchsuche die zu einem Thema passen.

Ein kleines Beispiel soll verdeutlichen was ich meine:
Nehmen wir mal an ich will die neusten News/Gerüchte zum neuen Corei7 bekommen, will aber nur Quellen durchsuchen die meiner Meinung nach relevanten Input haben(Fachzeitschriften, IT-Foren ect...).
Um dies zu realisieren crawle und durchsuche ich nur diese Quellen und füge sie in einen eigenen Datenbestand ein.
Beim nächsten Crawl- und Suchvorgang will ich die Ergebnisse der bisherigen Suche mit den neuen vergleichen und somit eine Schnittmenge bilden,
die immer nur die neusten Ergebnisse enthält.

Deswegen wäre es für mich auch noch interessant zu wissen, ob ich über eine der APIs zu jedem Suchergebniss, wenn möglich, alle dazugehörigen Daten(URL,Content, gefunden am, ect ...) aus der lokalen Yacy DB herausfiltern kann.

Desweiteren hatte ich geplannt auch eine Negativsuche einzurichten, die dann alle Seiten durchsucht die NICHT in meinem Quellenbestand sind,
um hier eventuell weitere für meine suche interessante Artikel/News zu finden und somit eventuell dann aus diesen weitere für mich interessante Quellen zu finden.

Das ganze wollte ich eventuell als eine Zusätzliche Überwachungs/Suchfunktion in yacy implementiern...
(du merkst die Liste wird länger ^_^ )

Zusammenfassend ergeben sich folgende Fragen:
Liefert mir das von yacy erstellte RSS alle Suchergebnisse oder nur die ersten paar Einträge? (Hat sich erledigt habs gerade getestet)
Wenn nur die ersten Paar wie extrahiere ich die Daten am besten?
Gibt es Schnittstellen um so ein Plugin zu integrieren? wenn ja gäbe es dann auch die Möglichkeit das Webinterface zu erweitern?

gruß

Zounadire
Zounadire
 
Beiträge: 3
Registriert: Fr Jan 16, 2009 10:35 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Yahoo [Bot] und 4 Gäste

cron