Disk-Performance

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Disk-Performance

Beitragvon rzkh » Mo Jan 12, 2009 8:53 pm

Moin Leute,
ich habe mal angefangen, in meinen Laptops die Platten durch SSD zu ersetzen. Kleine 32GB SSDs sind inzwischen recht günstig, und wenn man mehr Daten hat, nimmt man eine externe Platte... hat schon was für sich, so ein fast geräuschloses Laptop, und die Reaktionsgeschwindigkeiten haben sich merkbar verbessert, obwohl ich die günstigsten MLC-Drives von Transtec nehme.

In Kürze: der erste laptop ist ein IBM X21 mit 384MB RAM und 700Mhz. Nicht gerade ein Monster, aber der Wechsel von einer 40er Seagate Platte auf die 32GB SSD brachte eine knackige verdreifachung der PPM mit sich, und nun ist die CPU am Daueranschlag... Werde gleich mal einen A31 mit 1GB RAM und 1800MHz in Angriff nehmen...

Also - wenn Ihr YaCy auf einem Server beschleunigen wollte und kein Geld für ein gutes RAID-System investieren, nehmt eine kleine 2.5" SSD mit Adapter auf 3.5" Man braucht in der Regel ja nicht viel Plattenplatz, aber die IOs kriegen wir damit schon recht gut weg...

Happy krauling :)

-h
rzkh
 
Beiträge: 127
Registriert: Do Aug 16, 2007 10:25 pm

Re: Disk-Performance

Beitragvon Nighthawk » Mo Jan 12, 2009 10:48 pm

Bei aller Begeisterung für die SSDs, mal an die Lebenszeit gedacht?

Soweit ich weiss sind gerade IO-lastige Aufgaben, besonders die mit vielen Schreibzugriffen reine SSD-Mörder. ;)
Nighthawk
 
Beiträge: 25
Registriert: Do Jun 28, 2007 12:14 am

Re: Disk-Performance

Beitragvon Phiber » Di Jan 13, 2009 12:53 am

Da stellen sich mir gerade noch paar Fragen:

-Wieviel kostet denn so ein Ding nun etwa? 10,50 oder 100 Euro? ;)
-Ein grosser Index >20Mio Links sprengt die 32GB ja auch schon wieder. Würde man es mit etwas pfuschen auf die Schnelle hinkriegen das ganze auf 2 Flashs zu verteilen, oder müsste es ein 64GB SSD werden?
-Wegen der Lebenszeit sollen die Dinger ja wohl in der Anzahl Schreibzugriffe längerfristig beschränkt sein. Müsste man vielleicht mal ausrechnen wie lange die erwartete Lebensdauer wäre, oder man lässt es einfach drauf ankommen.

Mein Hauptinteresse an so nem Ding ist eigentlich auch wegen der Lautstärke, vorallem deswegen. Man kriegt fast alles am PC leise und alles sonst ist eigentlich "lautlos", also RAM/CPU/Graka, nur die Lüfter erzeugen Geräusche, woran man natürlich was ändern kann. Aber Festplatten, welche in heutigen Gehäusen sowieso entkoppelt sind, machen trotzdem nen Saulärm.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Disk-Performance

Beitragvon Orbiter » Di Jan 13, 2009 10:42 am

Nighthawk hat geschrieben:Bei aller Begeisterung für die SSDs, mal an die Lebenszeit gedacht?

Soweit ich weiss sind gerade IO-lastige Aufgaben, besonders die mit vielen Schreibzugriffen reine SSD-Mörder. ;)

Ich habe mal gehört das die so ein intelligentes re-paging im Flash read/write eingebaut haben, so dass die physischen Speicherzellen möglichst gleich oft geschrieben/gelöscht werden, damit nicht das Schreiben immer der gleichen Datei ein Überschreiben der immer gleichen physischen Speicherzellen zur Folge hat, und damit die Lebenszeit der SSDs 'ungerecht' verkürzt. Vielleicht ist das aber auch nur eine Lösung mancher Hersteller, und nicht ein generelles Konzept im Umgang mit SSDs.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Disk-Performance

Beitragvon thq » Di Jan 13, 2009 12:13 pm

Ich sehe YaCy als unproblematisch, beim schreiben werden in der Regel die Dateien nicht verändert sondern vergrößert und lesen ist ja sowieso kein Problem. Würde mich wundern wenn eine aktuelle SSD keine 5 Jahre hält.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Disk-Performance

Beitragvon rzkh » Di Jan 13, 2009 6:30 pm

Nighthawk hat geschrieben:Bei aller Begeisterung für die SSDs, mal an die Lebenszeit gedacht?
Soweit ich weiss sind gerade IO-lastige Aufgaben, besonders die mit vielen Schreibzugriffen reine SSD-Mörder. ;)


Deswegen teste ich das erst mal und hab mir 3 SSDs zum Spielen besorgt... bei den MLC soll ja angeblich nach einem halben Jahr "Dauerbeschuss" schon eine Grenze erreicht sein. Mal guggen. Im normalen Laptopbetrieb dürfte man es vernachlässigen können, aber grade Yacy dürfte ein herber Test sein mit den immer noch recht hohen Schreibraten.

Wenn ich also laut schreie, weisst Du Bescheid ;-)

-h
rzkh
 
Beiträge: 127
Registriert: Do Aug 16, 2007 10:25 pm

Re: Disk-Performance

Beitragvon rzkh » Di Jan 13, 2009 6:32 pm

Phiber hat geschrieben:Mein Hauptinteresse an so nem Ding ist eigentlich auch wegen der Lautstärke, vorallem deswegen. Man kriegt fast alles am PC leise und alles sonst ist eigentlich "lautlos", also RAM/CPU/Graka, nur die Lüfter erzeugen Geräusche, woran man natürlich was ändern kann. Aber Festplatten, welche in heutigen Gehäusen sowieso entkoppelt sind, machen trotzdem nen Saulärm.


Das Problem der vielen Schreibzugriffe ist Gegenstand des Tests. Für normalen Betrieb sind die Dinger aber gut. Ich hab hier einige ältere IBM X-Series, da hört man den Lüfter so gut wie nicht, nur die Festplatte. Mit SSD ists seeehr angenehm. Dann habe ich noch einen alten Toshiba Libretto, der hat nun endlich keine bewegten Teile mehr.

Interessant an den SSDs ist halt die Zugriffszeit, ein IBM A31 mit 1.8GHz bootet von der SSD sein XP weitaus flotter als z.B. ein P4-3GHz von einer 80G SATA-Platte bei sehr ähnlicher Konfiguration. Das macht schon Spass, da braucht man den Hibernation-Modus kaum noch.

-h
rzkh
 
Beiträge: 127
Registriert: Do Aug 16, 2007 10:25 pm

Re: Disk-Performance

Beitragvon Nighthawk » Di Jan 13, 2009 8:35 pm

rzkh hat geschrieben:
Nighthawk hat geschrieben:Bei aller Begeisterung für die SSDs, mal an die Lebenszeit gedacht?
Soweit ich weiss sind gerade IO-lastige Aufgaben, besonders die mit vielen Schreibzugriffen reine SSD-Mörder. ;)


Deswegen teste ich das erst mal und hab mir 3 SSDs zum Spielen besorgt... bei den MLC soll ja angeblich nach einem halben Jahr "Dauerbeschuss" schon eine Grenze erreicht sein. Mal guggen. Im normalen Laptopbetrieb dürfte man es vernachlässigen können, aber grade Yacy dürfte ein herber Test sein mit den immer noch recht hohen Schreibraten.

Wenn ich also laut schreie, weisst Du Bescheid ;-)

-h


Das würde mich sehr interessieren, gerade im Zusammenhang mit YaCy, danke. :)
Nighthawk
 
Beiträge: 25
Registriert: Do Jun 28, 2007 12:14 am

Re: Disk-Performance

Beitragvon dulcedo » Fr Jan 16, 2009 3:17 am

Ich habe seit ein paar Tagen einen "peer" per persistentem Ubuntu Live-System auf einem 8GB-Stick laufen, stöpsle den einfach immer mal an einen vernetzten Rechner der nix zu tun hat und boote vom Stick.
Das funktioniert erstaunlich flott, selbst auf einem 1,6ghz Atom komme ich auf ca. 100-150ppm beim crawlen.
System läuft wirklich nur im RAM, bzw. der Index natürlich auf dem Stick.
Auf einer SD-Card oder SSD wäre die Performance naturgemäss noch besser.

Wer probieren mag: entweder selbst basteln, unter Linux nur ein Script und ein freier Stick >4GB nötig, oder Bescheid geben, dann kopier ich welche und per guter alter Warensendung. (die wären dann auch entsprechend flott)

Ist vielleicht auch nett als Demo zum verschenken?
Denke mal mit 7GB freiem Stick-Speicher könnte man durchaus auf einen 5-10mio Index kommen.

Problem bei der Sache mit dem Wandern zwischen verschiedenen Rechnern ist natürlich die Portfreigabe, da dürfte wohl keine Lösung in Sicht sein ohne Routerfreigabe?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Disk-Performance

Beitragvon Nighthawk » Fr Jan 16, 2009 3:39 am

Hm ... Auf USB-Stick, nicht schlecht. Wie sieht es mit der Lebenszeit des Sticks aus?
Habe so im Hinterkopf das die Speicherzellen nach ca. 16 Mio Schreibzugriffen einen Burnout haben (sprich kaputt sind).

Demoversion auf USB? Nicht schlecht. Könnte man prima als Vorführung für interessierte Teilnehmer nehmen (Vorführung bei DV-Verantwortlichen bei öffentlichen Trägern wie Schulen, Unis, Behörden, etc). Bin, bedingt durch meinen Beruf, eh am überlegen in wieweit sich YaCy sinnvoll an Schulen und eventuell auch Behörden als Proxy und SuMa einsetzen lässt und wie man dort ernsthaftes Interesse bei den Verantwortlichen wecken kann.

[etwas Off Topic]
Was mir bei der Gelegenheit einfällt: Wie wäre es eine funktionsfähige Version von YaCy als vorkonfigurierten DL für einen USB zur Verfügung zu stellen? Installiertes Java (mit Angabe der benötigten Version) und das jeweilige OS sollten dann schon vorgegeben seien, eine Kurzanleitung zur lauffähigen USB-Version wäre auch sehr von Vorteil.[]
Nighthawk
 
Beiträge: 25
Registriert: Do Jun 28, 2007 12:14 am

Re: Disk-Performance

Beitragvon dulcedo » Fr Jan 16, 2009 4:47 am

Nighthawk hat geschrieben:Hm ... Auf USB-Stick, nicht schlecht. Wie sieht es mit der Lebenszeit des Sticks aus?
Habe so im Hinterkopf das die Speicherzellen nach ca. 16 Mio Schreibzugriffen einen Burnout haben (sprich kaputt sind).

Deswegen probiere ichs aus, weil das wohl niemand so genau weiss. Benutze einen recht guten Stick (Sandisk-Cruzer ) der seit ca. einer Woche an einem alten Router läuft, soll er mal ein paar Monate mit DHT beschäftigt vor sich hinwerkeln.
Angeblich werden auch bei modernen Sticks die Zellen "gecycled" also versucht immer an anderen Stellen zu schreiben. Ausserdem benutzt Orbiter seit kurzem eine "Dump"-Methode für den Cache, d.h. es wird sowieso immer blockweise geschrieben. Das einzig wirklich belastetende wäre Swapping, das muss man natürlich vermeiden.

Was mir bei der Gelegenheit einfällt: Wie wäre es eine funktionsfähige Version von YaCy als vorkonfigurierten DL für einen USB zur Verfügung zu stellen? Installiertes Java (mit Angabe der benötigten Version) und das jeweilige OS sollten dann schon vorgegeben seien, eine Kurzanleitung zur lauffähigen USB-Version wäre auch sehr von Vorteil.[]


Für das BS alleine (Intrepid) gibt es ein Shellscript, gleich beim Erstellen Anwenderdaten draufzukopieren ist kniffelig, das sollte man in 2 Schritten lösen:
Stick erstellen, booten, java per Paketverwaltung installieren lassen und dann URL für ein gz oder rpm anwählen, YaCy installieren lassen.

Für ein Demo sind die Standardwerte prima, man kann höchstens RAM auf ca. 30-50% des verfügbaren Speichers setzen, aber nicht mehr, läuft ja alles im RAM. Und swapping auf Stick sollte man natürlich vermeiden.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Disk-Performance

Beitragvon Lotus » Fr Jan 16, 2009 9:02 am

Nighthawk hat geschrieben:Hm ... Auf USB-Stick, nicht schlecht. Wie sieht es mit der Lebenszeit des Sticks aus?
Habe so im Hinterkopf das die Speicherzellen nach ca. 16 Mio Schreibzugriffen einen Burnout haben (sprich kaputt sind).

Die c't versucht im Dauertest USB-Sticks kaputtzuschreiben. Ich habe bisher noch nicht gelesen dass sie es geschafft haben. SSD-Hersteller sind jedoch ehrlich und geben an, dass diese Disks bei vielen Schreibzugriffen schneller defekt sind.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Disk-Performance

Beitragvon Orbiter » Fr Jan 16, 2009 1:53 pm

weil ich vom Thread hier ein wenig wegen vorkonfigurierten USB-Sticks abgewichen bin, habe ich den abgetrennt, der ist jetzt hier:
viewtopic.php?p=12087#p12087
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Disk-Performance

Beitragvon dulcedo » So Jan 25, 2009 6:58 am

rzkh hat geschrieben:
Phiber hat geschrieben:Interessant an den SSDs ist halt die Zugriffszeit, ein IBM A31 mit 1.8GHz bootet von der SSD sein XP weitaus flotter als z.B. ein P4-3GHz von einer 80G SATA-Platte bei sehr ähnlicher Konfiguration. Das macht schon Spass, da braucht man den Hibernation-Modus kaum noch.
-h


Ich benutze seit einiger Zeit Consumer-MLCs von Transcend oder besser OCZ, die liegen für 64GB so um die 100€ gerade.
Die Anwender(Wartungstechnik) mögens wegen der Unempfindlichkeit und dem subjektiv flüssigeren Arbeiten.
Das betrifft aber das Betriebssystem, eine Anwendung wie Yacy hätte da vor einem halben Jahr profitieren können als die IO-Anforderungen noch höher waren (viele 'kleine' Zugriffe), aber jetzt ja auf blockweisen Transfer optimiert, also einer SSD gerade entgegen.

Ein BS das hauptsächlich Bibliotheken nachlädt, und mit genug RAM nicht allzu oft swappt, arbeitet sehr gut auf solchen Disks. Ein Netbook mit 64GB MLC ist unter Win32 sehr, sehr flott, da merkt man kaum dass die Transferrate (R:120MB/s / W:80MBs) sehr gemächlich, die Zugriffszeit (0,6ms!) ist halt unschlagbar.

Für YaCy aber, zumindest mit MLC-Speicher, überhaupt kein Gewinn, egal ob das gesamte System oder nur Yacy auf der Solid-State läuft.
Sinnvoll wäre sowas in kleinen "Drohnen", aber das dort meistens verwendeten Embedded-Linux ist ja eh schon für Flash-Speicher ausgelegt, da reichen dann auch langsame MLC.

SLC hatte ich nur mal eine 16er in der Hand, schon ein Unterschied spürbar dann, aber in der Praxis dann so geringfügig dass es den hohen Preisunterschied nicht gerechtfertigt. Wie immer bei Highend und Benchmarks.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Disk-Performance

Beitragvon Nighthawk » Mo Jan 26, 2009 12:19 pm

Zum Thema SSDs habe ich noch einen interessanten Artikel gefunden:

http://www.hartware.de/report_423.html

Bei deren Einschätzung zur Lebensdauer komme ich allerdings sehr ins Grübeln, ob die Einschätzung realistisch ist?
Nighthawk
 
Beiträge: 25
Registriert: Do Jun 28, 2007 12:14 am

Re: Disk-Performance

Beitragvon bluumi » Mo Jan 26, 2009 11:47 pm

Laut OCZ, bieten sie auf Ihre SSD 2 Jahre Garantie und einen MTF von 1.5 Mio Stunden. Also nur 171 Jahre ;) - Also wer schafft es in 100?
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Disk-Performance

Beitragvon thq » Di Jan 27, 2009 1:23 pm

Also wegen der Haltbarkeit würde ich mir keine Sorgen mehr machen. Es sei den man macht keine Backups, weil jede Festplatte kaputt gehen kann.

Ich habe zur Zeit eine Transcend 64GB TS64GSSD25S-M zum testen und muss sagen Finger weg, damit ist YaCy langsamer als auf einer normalen langsamen 2,5" Festplatte. Zumindest sind die Suchzeiten (Remote Search) jetzt alle höher und der traurige Rekord liegt bei 1.353.184 ms mit 2 Wörtern :(

Habe schon optimiert und nur noch das DATA\INDEX\freeworld\TEXT Verzeichnis auf der SSD, hilft aber auch nicht.

Also wenn SSD dann muss man richtig Geld ausgeben oder warten ;)
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Disk-Performance

Beitragvon bluumi » Di Jan 27, 2009 9:29 pm

thq hat geschrieben: damit ist YaCy langsamer als auf einer normalen langsamen 2,5" Festplatte.
Also wenn SSD dann muss man richtig Geld ausgeben oder warten ;)

Jep, hat auch ein paar sehr erschreckende Performance Tests gefunden, welche mich nicht (mehr) dazu verleiten eine zu kaufen. Ich frage mich einfach wieso es nicht möglich isat, dass ich eine RAM/Flash Mixtur kaufen kann.. z.b. 4GB Ram+64GB Flash. Und einer Steuerlogik, welche vor dem "entfernen" des Stroms das ganze auf die 64GB Flash zurückschreibt. Bzw. nen kleinen Akku damit das zurückschreiben beim "stromausfall" passiert. Aber vermutlich ist ja genau diese Idee zu teuer oder gar schon realisiert in den super teuren FlashSSD.

[Ein Moment später] Ahm, da ist ja so eine. Hmm .. 1GB Ram - 64GB Flash - $1,090 :roll:
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron