YaCy auf experimentellem Cluster?

Ereignisse, Vorschläge und Aktionen

YaCy auf experimentellem Cluster?

Beitragvon liebel-lab » Fr Aug 01, 2008 8:38 am

Guten Morgen,
wir würden gerne einen Versuch starten YaCy auf weiteren ~100 Maschinen (bei Erfolg mehr) hier am KIT zu installieren.
Die Idee: Auf dem Cluster so eine Art Grundlast zu erzeugen. (Sofern Fragen/Problemchen siehe unten geklaert sind)
Details müssen natuelrich noch geklaert werden...

Fragen/Herausforderungen:
Die Nodes sind computing nodes und daher nicht mit beliebig viel Plattenplatz ausgestattet.
* ? Laesst sich Yacy einschraenken um z.Bsp pro Rechner nicht mehr als 20 GByte HD zu konsumieren ? Macht das überhaupt Sinn?
(Wieviel Platte würde Sinn machen wenn 20GB zu wneig sind?
* ?
* ? Haette YaCy etwas davon wenn ein zentraler Hadoop Speicher genutzt werden könnte? (dann "etwas" mehr als 20GByte :)
* ? Wir könnten z.Bsp den Test auf ca 4 wochen beschraenken um Erfahrung zu sammeln und entsprechend reagieren ...
* ? Ziel: Zu testen wie sinnvoll ein "yacy crawling core" zur Netzstabilität beitragen kann....
* ? Wie könnte man die sciencenet ergebnisse in freeworld einbinden? Würde es sinn machen ein "Metaportal zu errichten?"


Gruss aus KA

UL
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: YaCy auf experimentellem Cluster?

Beitragvon Huppi » Fr Aug 01, 2008 5:41 pm

* ? Wie könnte man die sciencenet ergebnisse in freeworld einbinden? Würde es sinn machen ein "Metaportal zu errichten?"


Darüber habe ich auch schon einmal nachgedacht.
Ein einfacher (aber vermutlich nicht ganz sinnvoller) Weg wäre, regelmäßig eine Kopie der DB durch einen Freeworld-Peer per DHT verteilen zu lassen.
Sinnvoller ist vermutlich, Anfragen gleichzeitig an verschiedene Netze schicken zu können. Ich weiß nicht, inwieweit das umsetzbar ist.

Mit 20GB HDD sollte man schon einiges machen können, zumindest bei sehr kleinem HTCACHE. Ich habe einen Peer mit einer 40GB HDD und auf der sind noch >60% frei, trotz 10 Millionen Links und Words.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf experimentellem Cluster?

Beitragvon daburna » So Aug 03, 2008 10:08 am

Ich hab hier auch nur eine 20GB Platte dran und bei 1 Mio URLs und 2,5 Mio RWIs bei Ext3 Formatierung noch 12GB frei. Das sollte schon einen Monat reichen.
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast