Yacy und Flashcache

Ereignisse, Vorschläge und Aktionen

Yacy und Flashcache

Beitragvon botec » Sa Jan 12, 2013 12:06 am

Hallo,

ich habe seit einigen Monaten flashcache (SSD Cache fuer Festplatten) laufen und kann nur Gutes in Verbindung mit Yacy berichten.

Da man damit recht günstig ein sehr potentes I/O Subsytem bauen kann, dachte ich schreibe mal schnell eine Wiki Seite wie man das am einfachsten einrichtet.

Ein Storage nur aus SSDs ist zwar sehr schnell, aber auch sehr teuer. Die Kombination von billiger Festplatte und SSD Cache ist aber eine ganz passable Lösung.

Vielleicht gefällt es ja dem ein oder anderen...

Ciao, Botec
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy und Flashcache

Beitragvon Orbiter » Do Jan 17, 2013 1:57 am

ahhh das ist eine super Sache. Ich habs noch nicht ausprobiert aber nehme mir das mal vor.
Kleiner Haken dabei ist aber noch: meistens passt der Index aber relativ leicht noch in die SSD rein. Gibts da auch eine Beschleunigung bei USB-Sticks oder schnellen SD Karten?
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy und Flashcache

Beitragvon botec » Sa Jan 19, 2013 2:07 am

Man kann ja eine alte 32GB SSD nehmen um eine lahme 200GB Platte zu beschleunigen. Einen Index groesser 32GB hat man ja schnell... :)

Ja man kann mit flashcache alles beschleunigen was ein Blockdevice ist. Es muss auch keine SSD sein. Eine schnelle Platte mit 15k RPM kann z.B. auch eine 5k4 RPM Platte beschleunigen. Oder ein schneller USB Stick/SDHC Karte eine Platte. Der Fantasie sind da kaum Grenzen gesetzt...

Ciao, Botec
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy und Flashcache

Beitragvon Orbiter » Mo Jan 28, 2013 6:05 pm

dein Wiki-Artikel ist echt super, ich fürchte aber das kann man nur nachvollzielen wenn man ein Linux-System ganz neu aufzieht. Ich hab hier einen gut konfigurierten Server laufen den ich dafür nicht platt machen will, aber im keller steht noch ein ganz altes Ding was ich mal wiederbeleben könnte...

Daher mal ein Aufruf an alle die gerade mal dabei sind einen Server platt zu machen und neu zu konfigurieren: könnt ihr das mal ausprobieren?
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy und Flashcache

Beitragvon davide » Fr Sep 18, 2015 1:33 pm

Can't understand the whole machine translation, but here's my experience with flashcache.

The hardware configuration at the time I tested flashcache was:
  • 16GB ram
  • raid 1, 1TB 7200 rpm
  • 4-core xeon from 2008 (model L5420)

Yacy searches were too slow, with disks overloaded by the amount of I/O ops, so I thought of setting up flashcache.
Unfortunately, I was virtualizing Yacy under Openvz on kernel 3.6.32; flashcache was incompatible with that, so I had to move to KVM instead and upgrade the kernel.
After that, I bought a cheap Kingspec SSD, 64GB, and configured flashcache to cache the raid 1 (/dev/md0) in writethrough mode toward the SSD.

It worked very well on its first days, with read speeds in the magnitude of 100s MB/s, but after less than two weeks of intense abuse on this overloaded server, the SSD looked like damaged, with write performance dropped down to 300÷500 ĸB/s. The write speed on the SSD were so low that the md0 device would have been faster without the flashcache writethrough. And so I took off the SSD and stopped using flashcache.

I then found out that, apparently, all Kingspec SSDs models don't support the trim command and thus lose write performance as soon as all the memory locations are occupied. Any subsequent write on the SSD must then be preceded by an erase to prepare the memory for writing, and this kills the performance. Once a Kingspec is full, its write performance is not recoverable.

Also, flashcache didn't support trim at the time I tested it, so even a branded SSD (is Kingspec a real brand?) with trim support would have dropped its performance, unless a regular trim was scheduled to run at boot.

After all, flashcache looked quite nonfunctional to me.
davide
 
Beiträge: 78
Registriert: Fr Feb 15, 2013 8:03 am


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast