Master/Slave Topologie

Ereignisse, Vorschläge und Aktionen

Master/Slave Topologie

Beitragvon testdriver » Di Jul 05, 2011 8:47 am

Hallo!

Ich hatte irgendwoe in Netz gelesen, dass man mit Yacy auch eine Master/Slave Cluster (bald) bauen kann.
Also der Master speichert die gecrawlten Daten, die Slaves durchsuchen das Netz.
Wie sieht es damit aus?
testdriver
 
Beiträge: 17
Registriert: So Feb 17, 2008 10:31 am

Re: Master/Slave Topologie

Beitragvon Lotus » Di Jul 05, 2011 9:34 am

Man kann einen Robinson Cluster erstellen, das ist dem ähnlich. (Beschreibung auf /ConfigNetwork_p.html)

Master speichert Daten / Slaves durchsuchern das Netz ist auch etwas diffus formuliert um da genau drauf antworten zu können.
Wenn die Daten beim Master liegen muss der Master immer die Suche ausführen um die Daten finden zu können.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Master/Slave Topologie

Beitragvon testdriver » Di Jul 05, 2011 10:46 am

ich meine das hier: http://mxchange.org/yacy-modi.html

Genau sowas brauch ich, wir wollen eine stadtbezogene Suchmaschine bauen. Das crawlen soll von zu hause über DSL laufen. Das spart Servertraffic und CPU.
testdriver
 
Beiträge: 17
Registriert: So Feb 17, 2008 10:31 am

Re: Master/Slave Topologie

Beitragvon Lotus » Di Jul 05, 2011 7:55 pm

Folgendes geht:
Zentral einen Crawl starten mit der Option für remote Crawls. Die Crawl-Geschwindigkeit kann ja herabgesetzet werden, dann wird mehr verteilt. Die Ergebnisse des remote Crawls werden an den Initiator zurückgesandt und verbleiben gleichzeitig (die passenden Teile) auf dem Peer der gecrawlt hat.

Das hört sich nach einem Fall für ein getrenntes Netz an.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Master/Slave Topologie

Beitragvon testdriver » Mi Jul 06, 2011 10:40 am

Das muss ich mir noch mal genauer ansehen.
Leider holen sich die Seniors vom Principal bei mir keine remote crawls, ob wohl es aktiviert ist.
testdriver
 
Beiträge: 17
Registriert: So Feb 17, 2008 10:31 am


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste