Yacy nur als Crawler und Parser?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy nur als Crawler und Parser?

Beitragvon ts77 » Sa Okt 09, 2010 1:04 pm

Hallo,

ich habe ein paar eigene Routinen auf semantischer Basis, mit denen ich eine Art Suchmaschine aufbauen will.
Dazu gehört natürlich auch ein Crawler und Parser ;-).

Ist es daher möglich, YaCy rein als Crawler und Parser zu nutzen und die zu den URLs extrahierten Wörter zur Weiterverarbeitung zu erhalten?


Danke,

Thomas
ts77
 
Beiträge: 2
Registriert: Sa Okt 09, 2010 1:02 pm

Re: Yacy nur als Crawler und Parser?

Beitragvon Orbiter » Sa Okt 09, 2010 1:16 pm

ja..
Man kann nach dem Crawlen Link-Listen exportieren:
Unter /IndexControlURLs_p.html gibt es einen URL export. Da bekommt man die Links per Text-Datei oder xml oder html in ein Verzeichnis auf der Platte gespeichert.

Wenn man dann den Crawl-Cache hoch genug eingestellt hat ( /ProxyIndexingMonitor_p.html ganz unten) hat man dann die gecrawlten Dateien im Cache und kann sie per Web-Interface in YaCy wieder abrufen:
/CacheResource_p.html?url=<url>
bsp
/CacheResource_p.html?url=http://yacy.net

Nur als Parser: naja, indem man eine Seite aus dem Cache vom Parser abfragt, das geht so:
/ViewFile.html?url=<url>
bsp:
/ViewFile.html?url=http://yacy.net

Aber das ist nur ein Viewer für den Parser. Um das als API zu definieren müsste man da noch eine XML-Ausgabe oder ähnliches drumherumbasteln was nicht so schwierig sein sollte
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy nur als Crawler und Parser?

Beitragvon ts77 » Sa Okt 09, 2010 1:43 pm

Wow, nicht schlecht. Ich würd sagen verdammt coole Sache :-).
Danke Dir!

Dann werde ich es mir mal weiter anschauen ...
ts77
 
Beiträge: 2
Registriert: Sa Okt 09, 2010 1:02 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast