Yacy Cluster?

Ideen und Vorschläge sind willkommen.

Yacy Cluster?

Beitragvon liebel-lab » Fr Apr 17, 2009 8:07 am

Guten Morgen,
da wir endlich durch unsere grosse Evaluierung durch sind ...hier schnell die infos bevor es zum eigentlichen Thema geht :-)

* YaCy wird nun die offizielle Suchmaschine für das BioInterfaces Programme am KIT
* Biointerfaces wird in den nächstens 5 Jahren viele 100 TByte screening mikroskopdaten und etlichen reine Texbasierte wissenschaftliche Daten generieren. Die Metadaten sollen von einem zusätzlichen Yacy cluster indiziert werden und etwa 300 aktiven Wissenschaftlern am campus jederzeit zur Verfügung stehen

YaCy Cluster: aus dem sciencenet haben wir schon jede Menge Erfahrung wie aufwendig "maintenance" ist...derzeit ca 30mins am Tag.

Wie komplex ist es eurer Meinung nach ein image zu bauen was es ermöglicht :
* Einen "neuen leeren" Rechner ans netz zu hängen ... und...das wars :-)

* Knifflig: Wir kaufen nicht 100 Rechner auf einmal welche alle die gleiche hardware haben sondern immer 2-3 dazu...ferner wird es in zukunft etliche unis geben die sich dem sciencenet anschliessen (wie immer gilt: Rechner ans netz ok..manpower nur um 1x am tag nach dem rechten zu sehen wird es an den anderen unis kaum geben :-( ...daher ist so eine Art

* Knifflig 2: Die neueren Rechner bekommen natuerlich nach und nach mehr RAM....schnellerere Prozessoren usw
Ergo: muessten sich die YaCy Parameter entsprechend anpassen.
Positiv: Alle Rechner sind dedicated Rechner -> man kann eine minimal distribution verwenden und alles RAM resourcen yacy zuschieben

* Wartung: fuer diese "enterprise version" wäre auch ein monitoring tool sinnvoll...wenn man z.bsp einen parameter auf allen maschinen verändern will (z.bsp die blacklist oder den filter aktivieren oder oder...

so und nach all den "wünschen" natuerlich noch die info, dass wir auch ein paar Mark (pardon Euro) Entwicklungsgelder erbettelt haben... :-)
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: Yacy Cluster?

Beitragvon Quix0r » Fr Apr 17, 2009 10:20 am

Zum Stichwort "Monitoring" fällt mir auf Anhieb Nagios ein. Das soll zum Überwachen von Servern sehr gut sein und ist auch frei erhältlich.

Als Image kann ich mir eine GNU Linux-Live-Distro gut vorstellen, soll ja als Node und nicht Arbeitsplatzmaschine fungieren. Ich würde zum ersten Testlauf eine Live-CD mit direktem vorinstallierten YaCy probieren (SquashFS mit UnionFS zusammen, um Plattenplatz und nicht beschreibbare CD-Dateien zu kompensieren). Da YaCy ohne Grafikoberfläche läuft, braucht ihr diese auch nicht... Aber das sollte ja bekannt sein. ;-)

Das mit den angepassten Parametern für jede neuere Node mit mehr RAM usw. halte ich für etwas utopisch aber durchaus machbar, da dies bedeuten würde, dass eine Java-Klasse (oder auch mehr) bzw. Shell-Scripte erstmal das System analysieren müssten... Machbar wäre es bestimmt. Vielleicht könnt ihr ja eure Entwicklung hierzu unter selbiger Lizenz stellen?

Eine weitere Idee hierzu wären Java-Klassen, die das Verteilen der Konfiguration übernehmen. Wartet dazu am besten Orbiter's Meinung oder eine der anderen Devs ab.

Das erstmal von einem YaCy-User.
Zuletzt geändert von Quix0r am Do Feb 18, 2010 7:42 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Yacy Cluster?

Beitragvon Orbiter » Fr Apr 17, 2009 12:14 pm

Hallo Urban, herzlichen Glückwunsch, du hast deine Evaluierung erfolgreich durch!

liebel-lab hat geschrieben:* YaCy wird nun die offizielle Suchmaschine für das BioInterfaces Programme am KIT
* Biointerfaces wird in den nächstens 5 Jahren viele 100 TByte screening mikroskopdaten und etlichen reine Texbasierte wissenschaftliche Daten generieren. Die Metadaten sollen von einem zusätzlichen Yacy cluster indiziert werden und etwa 300 aktiven Wissenschaftlern am campus jederzeit zur Verfügung stehen

Für uns sieht das ja auch gut aus..
wir bräuchten unbedingt ein Plakat wo das, was oben steht, drauf steht, damit wir damit den Linuxtag-Stand dekorieren können. A0 oder so.

liebel-lab hat geschrieben:* Einen "neuen leeren" Rechner ans netz zu hängen ... und...das wars :-)

Konfektionierung: sag deinem Lieferanten, er soll die neuen Rechner gleich mit eingespieltem Image liefern. Das sollten die doch können?
Jetzt brauchen wir nur noch so ein Image.

liebel-lab hat geschrieben:* Knifflig: Wir kaufen nicht 100 Rechner auf einmal welche alle die gleiche hardware haben sondern immer 2-3 dazu...ferner wird es in zukunft etliche unis geben die sich dem sciencenet anschliessen (wie immer gilt: Rechner ans netz ok..manpower nur um 1x am tag nach dem rechten zu sehen wird es an den anderen unis kaum geben :-( ...daher ist so eine Art

Die sollten alle einen ssh-key drauf haben, und mit eingespieltem YaCy melden die sich gleich im YaCy-Netz an, wo man sie über Skripte administrieren kann. Ein Beispiel dazu, das ist so ähnlich bereits bei dir drauf (siehe emails..)

Code: Alles auswählen
#!/bin/sh
cd "`dirname $0`"
t=/tmp/down$$
yacy/bin/down.sh | cut -d: -f1 > $t
echo asking the following hosts:
cat $t
for N in `cat $t`; do
  echo --- starting peer $N
  ssh -n -q user@$N yacy/startYACY.sh &
done
rm -f $t

Sowas kann man auch per cronjob starten (ist bei dir so, nur etwas komplexer, die Geheimnisse dazu verrate ich hier aber nicht)

liebel-lab hat geschrieben:* Knifflig 2: Die neueren Rechner bekommen natuerlich nach und nach mehr RAM....schnellerere Prozessoren usw
Ergo: muessten sich die YaCy Parameter entsprechend anpassen.
Positiv: Alle Rechner sind dedicated Rechner -> man kann eine minimal distribution verwenden und alles RAM resourcen yacy zuschieben

Bei der Parameteranpassung würde ein Analysescript helfen, das man in yacy/bin legt, und das System lokal patcht. Dann kann man dieses Script ebenfalls remote aufrufen und Anpassungen machen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy Cluster?

Beitragvon Huppi » Fr Apr 24, 2009 2:43 am

Das riecht nach "FAI", "Fully Automatic Installation". Ich habe letztes Jahr beim Linux-Tag mit Thomas Lange, dem Projekt-Initiator, gesprochen und nachher auch per E-Mail ein paar Aspekte besprochen. Jetzt müßte sich jemand drum kümmern, der ein "bißchen" mehr Zeit und Ahnung hat als ich ;-P

http://FAI-Cluster.de
Plan your installation, and FAI installs your plan.


http://www.informatik.uni-koeln.de./fai
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste