RAM zu knapp, Gegenmaßnahmen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

RAM zu knapp, Gegenmaßnahmen?

Beitragvon juvalos » So Apr 19, 2015 4:12 pm

Seit einigen Wochen betreibe ich einen YaCy-Server.
YaCy version 1.83/9090
Java version: 1.7.0_75
xubuntu 14.04 LTS

Die Maschine hat 2 GB RAM, mehr geht nicht. Das beinhaltet auch den Videospeicher!

8090/Performance_p.html
Speicher Einstellungen
Für JVM reservierter Speicher 1400 MByte

Die CPU-Auslastung ist nahezu immer bei 100%, auch wenn keine Crawls laufen.

Anscheinend reicht der Speicher für YaCy nicht aus:
Code: Alles auswählen
I 2015/04/15 21:23:54 SWITCHBOARD postprocessing deactivated: no enough ram (221683264), needed 436870912, to force change field postprocessing.minimum_ram

http://localhost:8090/ConfigProperties_p.html
geändert auf 100000000
Code: Alles auswählen
E 2015/04/16 22:47:50 ReferenceIterator lost entry 'nvNE4Or2DoVC' because of too low memory: net.yacy.cora.util.SpaceExceededException: 55200 bytes needed for importRowSet: OutOfMemoryError: 163992560 free at Thu Apr 16 22:47:32 CEST 2015

"change field postprocessing.minimum_ram" ist also keine Lösung.
Nach spätestens 20 Stunden ist YaCy der Arbeitspeicher zu klein und es steigt einfach aus: SWITCHBOARD postprocessing deactivated

Der LOG quillt über mit Meldungen wie:
Code: Alles auswählen
ConcurrentLog * java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: GC overhead limit exceeded
org.apache.solr.util.ConcurrentLRUCache ConcurrentLRUCache was not destroyed prior to finalize(), indicates a bug -- POSSIBLE RESOURCE LEAK!!!

Wie kann ich den Speicherverbrauch von YaCy reduzieren, damit es endlich stabil läuft?
Den DHT-Empfang habe ich bereits ausgeschaltet.

Weiteres Problem:
Code: Alles auswählen
HTTP ERROR: 503
Problem accessing /ConfigHTCache_p.html. Reason:
max. server connections reached (increase /PerformanceQueues_p.html -> httpd Session Pool).

:8090/PerformanceQueues_p.html#ThreadPoolSettings
Eine Erhöhung bringt zwar etwas, nach dem nästen Start ist jedoch der Wert wieder auf 50 gesetzt. Ein dauerhaftes Speichern ist nicht möglich. Eigentlich tendiere ich dazu, den Wert zu verringern, um die Last zu reduzieren.

Unter Cache Einstellungen: Maximale Wortzahl im Cache: 30000 habe ich die Vorgabe von 50000 schon verringert. War das der richtige Weg? Soll ich noch weiter runtergehen?

Laut Taskmanager verwendet java 1,4 GiB.
Speichernutzung0001.jpg
Speichernutzung 19:35
Speichernutzung0001.jpg (172.64 KiB) 762-mal betrachtet
juvalos
 
Beiträge: 5
Registriert: So Apr 19, 2015 1:40 pm

Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron