Yacy Optimierungen für VM

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Yacy Optimierungen für VM

Beitragvon Vertux » So Feb 05, 2017 11:34 am

Ich habe jetzt seit einigen Tagen Yacy (als Senior) in einer VM (2 CPU, 2GB Mem, 35GB Disk, Ubuntu 16.04 LTS Server 64bit,
mit Oracle JAVA v1.8.0_121) auf einem HPE ProLiant MicroServer Gen8 laufen.

So weit funktioniert alles prima, was mich allerdings massiv stört sind die teilweise extrem langsamen Antwortzeiten, sei es
beim Arbeiten mit der Admin GUI als auch bei Suchanfragen, das macht einfach keinen Spass. Ich arbeite mit den Standard-Einstellungen
und habe lediglich den Speicher (Memory reserved for JVM) schrittweise auf jetzt 1536 MB angehoben. Es laufen max. 9 Crawls gleichzeitig,
meist sind es nur 3-4. Was mich etwas stutzig macht, sind die massiven Einbrüche der "words in indexing cache" Kurve, die kontinuierlich
bist zu einem Maximum ansteigt, aber in regelmäßigen Abständen diese Einbrüche aufweist - ist das normal ? Hier mal ein kleines Beispiel (Einbrüche rot markiert):

Bildschirmfoto 2017-02-05 um 11.18.25.png
Bildschirmfoto 2017-02-05 um 11.18.25.png (17.81 KiB) 1120-mal betrachtet

Da die Konfigurationsmöglichkeiten sehr komplex sind, wollte ich mich erst einmal hier schlau machen, welche Stellschrauben sich zur Optimierung in meinem "speziellen" Fall anbieten. Über Tips und Konfigurations-Empfehlungen wäre ich sehr dankbar.

EDIT: Nicht dass ich zu faul wäre zu suchen, aber man findet nur sehr schwer handfeste, aktuelle Einstellungshinweise. Eine beispielhafte Optimierung eines Systems wäre sehr hilfreich für eigene Experimente - ich muss gestehen, dass ich im Moment den Wald vor lauter Bäumen nicht sehe. Bei vielen Einstellwerten hat man als Einsteiger gar keine Vorstellung welche Auswirkung (Wechselwirkungen) sie haben und wie stark man sie verändern kann/soll. Nicht falsch verstehen, Yacy ist ein tolles Projekt, komme mir gerade nur etwas hilflos vor :?

Gruß
Vertux
Vertux
 
Beiträge: 5
Registriert: So Feb 05, 2017 11:02 am

Re: Yacy Optimierungen für VM

Beitragvon Palulukas » So Feb 05, 2017 5:58 pm

Hallo Vertux,

ich würde mich deinem Anliegen gerne anschließen. Ich habe Yacy ebenfalls virtualisiert, allerdings unter Proxmox.
Jedoch zeigt es diegleichen Symptome und ich suche ebenfalls nach einer Lösung.


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: Yacy Optimierungen für VM

Beitragvon promocore » So Feb 05, 2017 7:47 pm

Schlimm ist es bestimmt nicht. Ist ja nur der cache. Dieser wird sowieso bei erreichen von max. geleert und auf Platte geschrieben.
Wie sind eure Crawlsettings? - irgendwas mit remote Crawl drinne?
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Yacy Optimierungen für VM

Beitragvon Vertux » So Feb 05, 2017 8:44 pm

Palulukas hat geschrieben:ich würde mich deinem Anliegen gerne anschließen.

Aber gerne. Ich habe zwischenzeitlich ein paar Änderungen vorgenommen. Unter anderem habe ich für Yacy einen Remote-Proxy (Squid) konfiguriert, der in einer separaten VM läuft - subjektiv scheint das zu einer etwas besseren Performance geführt zu haben. Zusätzlich habe ich den Speicher der Yacy VM auf 4GB erhöht und Yacy 2560 MB gegönnt. Ich werde das jetzt mal eine Zeit lang beobachten.

VG
Vertux
Vertux
 
Beiträge: 5
Registriert: So Feb 05, 2017 11:02 am

Re: Yacy Optimierungen für VM

Beitragvon Vertux » So Feb 05, 2017 11:38 pm

promocore hat geschrieben:Schlimm ist es bestimmt nicht. Ist ja nur der cache. Dieser wird sowieso bei erreichen von max. geleert und auf Platte geschrieben.
Wie sind eure Crawlsettings? - irgendwas mit remote Crawl drinne?

Alles Default-Einstellungen und keine Remote Crawls. Mit den beschriebenen Anpassungen läuft Yacy momentan sehr flott, so flott, dass ich mir gerade Sorgen mache,dass die Festplatte bald voll ist :roll:
Vertux
 
Beiträge: 5
Registriert: So Feb 05, 2017 11:02 am


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron