Festplatten/Dateisystem-Optimierung für YaCy

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Festplatten/Dateisystem-Optimierung für YaCy

Beitragvon Master One » Mo Feb 23, 2009 10:14 am

Ich bin gerade am Überlegen, den DATA Ordner auf ein eigenes eSATA Laufwerk (oder eSATA SoftRaid1) auszulagern. Laut Wiki soll sich ja das Dateisystem XFS für YaCy gut machen, aber es steht auch dabei, daß für DATA/HTCACHE ReiserFS optimal sein soll, wegen der vielen kleinen Dateien.

Wie sieht denn nun die optimale Festplatten Konfiguration aus?

DATA auf eine eigene Festplatte mit XFS, und DATA/HTCACHE ebenfalls auf eine eigene Festplatte mit ReiserFS?

Wieviel Platz sollte man dann für DATA und DATA/HTCACHE vorsehen (Betrieb im normalen Peer-to-Peer Modus als Senior)?

Derzeitiger Stand:
YaCy 0.720/05632 hat geschrieben:Der lokale Index enthält im Moment 4.211.805 inverse Wort Indexe
Der lokale Index enthält im Moment 9370662 URL-Referenzen

~# du -sh /home/yacy/DATA/
11G /home/yacy/DATA/
~# du -sh /home/yacy/DATA/HTCACHE/
1,1G /home/yacy/DATA/HTCACHE/
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: Festplatten/Dateisystem-Optimierung für YaCy

Beitragvon thq » Mo Feb 23, 2009 10:38 am

Ich würde sagen die Informationen sind noch aus Tagen wo YaCy viele kleine Dateien hatte und damit veraltet. Wenn YaCy eine eigene Platte/Partition bekommen soll würde ich kein XFS, JFS ... benutzen sondern zum einfach nur Ext2. Ich finde XFS ... sind zuviel des guten für YaCy. Ich selber benutze ReiserFS mit noatime weil mein System das auch benutzt, so spare ich etwas Speicher.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Festplatten/Dateisystem-Optimierung für YaCy

Beitragvon Master One » Mo Feb 23, 2009 10:55 am

Tatsächlich, keine kleinen Dateien mehr drin, sondern hauptsächlich ein paar große. Dann sollte doch eigentlich XFS dafür ideal sein.

Ergibt es denn dennoch Sinn, DATA und DATA/HTCACHE auf getrennte Festplatten zu legen, im die Performance des Proxies zu steigern?
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: Festplatten/Dateisystem-Optimierung für YaCy

Beitragvon thq » Mo Feb 23, 2009 11:11 am

Kannst du mir einen Link geben der belegt das XFS besser geigent ist ? Denn ich sehe da keine Vorteile für YaCy, eher Nachteile.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Festplatten/Dateisystem-Optimierung für YaCy

Beitragvon Master One » Mo Feb 23, 2009 11:30 am

Welche Nachteile kann das denn haben? XFS soll doch eine sehr gute Performance bieten, insb. bei großen Daten, weswegen es oft auch für Multimedia/Video-Anwendungen empfohlen wird. Einen Link zu mehr Info oder einem Vergleich mit ReiserFS bzw. ext2/3 habe ich jetzt nicht zu Hand, ich erinnere mich nur, früher mal in der Installationsanleitung von Gentoo eine ausführliche Liste mit den Dateisystemempfehlungen gesehen zu haben.
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron