Gemeinsamer Index von Raspberry Pi + Tower

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon SILVA » Di Jun 25, 2013 10:32 pm

Ich bin erst seit kurzem dabei und habe eine Frage zu Solr.
Ich möchte meinen Peer 24/7 auf einem RaspberryPi betreiben, dort aber nur zur Suche oder höchstens einem "kleinen" Crawl nutzen, weil der Pi für das Crawlen ein wenig zu schwach ist. Diese Arbeit soll mein Tower leisten, der hat genug Power dafür, das im Hintergrund zu machen. Allerdings will ich den nicht laufen lassen, wenn ich ihn nicht brauche.
Ideal wäre für mich ein gemeinsamer Index, der auf dem Pi liegt, der aber auch von meinem großen PC ergänzt und genutzt werden kann. Orbiter hat in einem anderen Thread geschrieben, dass das mit Solr möglich ist.
Wie aufwändig ist das und wo kann ich mich, falls es kompliziert ist am besten zu Solr etc. informieren?
SILVA
 
Beiträge: 5
Registriert: Di Jun 25, 2013 10:23 pm

Re: Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon Vega » Di Jun 25, 2013 11:15 pm

Hallo,

am Einfachsten sollte das gehen indem man das /DATA Verzeichnis repliziert - also auf den entsprechenden Rechner der gerade läuft kopiert.
Richtig sauber ist das aber nicht - man kann auch noch unter "IndexControlURLs_p.htm" einen Dump des Solr-Indexes erzeugen und ein/ausspielen.
Allerdings glaube ich nicht das dies auf einem Raspberry Pi allzuviel Spaß/Sinn macht - der Pi ist ein nettes Teil, hat aber für diesen Anwendungszweck einfach viel zu wenig Ram.

Thomas


SILVA hat geschrieben:Ich bin erst seit kurzem dabei und habe eine Frage zu Solr.
Ich möchte meinen Peer 24/7 auf einem Raspberry Pi betreiben, dort aber nur zur Suche oder höchstens einem "kleinen" Crawl nutzen, weil der Pi für das Crawlen ein wenig zu schwach ist. Diese Arbeit soll mein Tower leisten, der hat genug Power dafür, das im Hintergrund zu machen. Allerdings will ich den nicht laufen lassen, wenn ich ihn nicht brauche.
Ideal wäre für mich ein gemeinsamer Index, der auf dem Pi liegt, der aber auch von meinem großen PC ergänzt und genutzt werden kann. Orbiter hat in einem anderen Thread geschrieben, dass das mit Solr möglich ist.
Wie aufwändig ist das und wo kann ich mich, falls es kompliziert ist am besten zu Solr etc. informieren?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon SILVA » Mi Jun 26, 2013 9:10 am

Ok, danke für den Hinweis.
Wäre 1GB RAM genug um YaCy "sinnvoll" zu betreiben? Dann würde ich mir einfach ein Cubieboard zulegen. Das Teil hat 1GHz und 1GB RAM, schluckt aber auch nicht viel Strom.
SILVA
 
Beiträge: 5
Registriert: Di Jun 25, 2013 10:23 pm

Re: Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon Orbiter » Mi Jun 26, 2013 11:11 am

Zur Zeit ist YaCy auf RPi nur 'Spielkram' weils ein bisschen, aber nicht wirklich gut funktioniert.
SILVA hat geschrieben:Ideal wäre für mich ein gemeinsamer Index, der auf dem Pi liegt, der aber auch von meinem großen PC ergänzt und genutzt werden kann. Orbiter hat in einem anderen Thread geschrieben, dass das mit Solr möglich ist.

Deine Idee, nur Solr dort zu installieren hat mich aber inspiriert und daraufhin habe ich erst mal die Doku für den externen Solr geupdated:
http://www.yacy-websuche.de/wiki/index.php/Dev:Solr
Für den RPi würde ich es vorziehen, das unter einem Jetty zu deployen. Die example-Installation von Solr benutzt das, und die Beschreibung sollte damit erst mal gehen. Schöner wäre aber ein sauberes deployen in einem 'frischen' Jetty, das muss ich mal selbst erst ausprobieren, oder wenn du willst probier mal mit Hilfe von http://wiki.apache.org/solr/SolrInstall und helfe das YaCy Wiki zu ergänzen...
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon fherb » So Jan 05, 2014 11:31 pm

Also ich habe das gerade mal probiert. Entweder ich habe etwas falsch gemacht oder die geparsten Webseiten werden nicht an solr des anderen YaCy-Peers weitergegeben.

Bei dem crawlenden Peer werden aber auch keine gesammelten URLs angezeigt. Kann man das irgendwo beobachten, ob der Datenaustausch mit dem entfernten YaCy funktioniert, an dessen solr die URLs und DHTs gehen sollen? Dort wird die Anzahl der URL's für die gecrawlte Domain nämlich nicht größer.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Gemeinsamer Index von Raspberry Pi + Tower

Beitragvon Orbiter » Fr Jan 10, 2014 12:55 pm

bitte gucke mal ins log, ob da was drin steht, und zwar bei YaCy und beim remote Solr
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste