Großer Peer vs. 4 kleine Peers auf einer Quad-Core-Maschine

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Großer Peer vs. 4 kleine Peers auf einer Quad-Core-Maschine

Beitragvon gack » Sa Feb 25, 2012 10:41 am

Hallo YaCy-Speziallisten,
derzeit betreibe ich einen im Laufe der letzten Wochen ziemlich fett gewordenen YaCy-Peer auf einem gemieteten Root-Server (Intel i7 2600 mit 16 GB RAM und 100MBit-Internet-Anbindung).
Das DATA-Verzeichnis ist mittlerweile mehr als 180 GB groß und die Sicherung desselben dauert fast 1,5 Stunden.
Der Start des YaCy-Prozesses dauert derzeit etwa 20 Minuten.
Ich frage mich, ob es nicht besser wäre, auf dem Root-Server stattdessen mehrere kleinere Peers zu betreiben.
Ich denke dabei an 2-4 eigenständige YaCy-Installationen mit jeweils eigenen DATA-Verzeichnis.
Ist das sinnvoll?
Ist das technisch möglich?
Was muss ich dabei beachten?
Kann ich bzw. wie kann ich den vorhandenen Index aufteilen?
Ist es vorteilhaft, zusätzliche IP-Adressen zu verwenden oder reicht es unterschiedliche Ports zu konfigurieren?
Wie konfiguriere ich eine YaCy-Instanz für eine bestimmte IP-Adresse und was muss ich dabei sonst noch beachten?
Wer kann mir weiterhelfen?

Schöne Grüße
Leo
gack
 
Beiträge: 5
Registriert: Sa Feb 18, 2012 2:11 pm

Re: Großer Peer vs. 4 kleine Peers auf einer Quad-Core-Masch

Beitragvon Quix0r » Sa Feb 25, 2012 3:50 pm

Technisch machbar ist alles, solange genuegend RAM/HDD vorhanden ist. Beispielsweise kann Peer1 auf Port 8090, Peer2 auf 8091 usw. lauschen. Das wuerde gehen. Du darfst dann nur nicht DATA/INDEX/freeworld/NETWORK/mySeed.txt ueberall mitkopieren, das kann zu Kollisionen im Netz fuehren, da dann mehrere Peers den gleichen Seed (gleichen Peer-Hash) haben. Auch solltest du dir dann ein Naming deiner Peers ueberlegen (mypeer001, mypeer002 z.B., anstelle "mypeer" dann etwas passenderes?)

Den Index aufteilen ist denke ich mal nicht direkt moeglich, da die Blob-Dateien nicht ohne weiteres (wie auch immer) aufteilbar sind. Auch wuerde ein eigenes, vom freeworld abgetrenntes Netz (wie das Science-Net eines ist, mit eigenen Seed-Peers) nicht den gewuenschten Effekt bewirken, da dann der Index auf deine anderen Peers nur dupliziert werden wuerde (3x sollte der Index im gesamten Netz vorhanden sein).

Eine Moeglichkeit waere das Zuschieben vom Index, wobei dann der empfangene Peer den sendenen Peer anhand des Peer-Hashes freischalten muesste. Dann koennte dieses Feature auch nicht missbraucht werden, um einen Peer mit Index-Zusenden zu ueberfluten (was Orbiter als Ablehngrund hier mal nannte). Dies ist aber (noch?) nicht in YaCy eingebaut.

Aktuell bleibt dir nur eines uebrig, wieder alle deine Peers von vorne crawlen zu lassen oder halt deinen grossen Peer behaelst, aber bessere Blacklists verwendest, um unnoetigen Ballast rauszuwerfen. Meine sind da fuer den Anfang ganz gut.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Großer Peer vs. 4 kleine Peers auf einer Quad-Core-Masch

Beitragvon gack » So Feb 26, 2012 7:38 pm

Danke für Infos.
Technisch geht es also - sinnvoll scheint es aber nicht zu sein:
Die Index-Daten kann man nicht einfach aufteilen und ausmisten will ich eigentlich nicht, da ich den Peer gezielt gefüttert habe.
An das ungewollte Duplizieren der Indexdaten zwischen den eigenen Peers hatte ich auch nicht gedacht.
Ich werde also erst einmal meinen Peer so belassen, wie er ist.
gack
 
Beiträge: 5
Registriert: Sa Feb 18, 2012 2:11 pm

Re: Großer Peer vs. 4 kleine Peers auf einer Quad-Core-Masch

Beitragvon Quix0r » Mo Feb 27, 2012 1:03 am

Das Duplizieren des Indexes hast du nur im DHT-Modus, nicht Robinson. :) Nur zur Info.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste