YaCy auf vServer - Debian4/Plesk

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Mi Jul 30, 2008 12:41 am

fss_i@vs148030:~/subdomains/YaCy/httpdocs/yacy$ W 2008/07/29 23:28:24 DISK USAGE logpoint 0 java.io.IOException: Cannot allocate memory
W 2008/07/29 23:28:24 RESOURCE OBSERVER Disk usage returned: found no volumes
E 2008/07/29 23:31:32 YACY yacyClient.queryUrlCount error asking peer 'FindenStattSuchen':java.net.UnknownHostException: null
E 2008/07/29 23:31:44 SERVER receive interrupted - exception 2 = Socket closed
E 2008/07/29 23:31:44 SERVER receive interrupted - exception 2 = Socket closed
E 2008/07/29 23:31:44 SERVER receive interrupted - exception 2 = Socket closed
E 2008/07/29 23:31:44 SERVER receive interrupted - exception 2 = Socket closed
E 2008/07/29 23:31:44 SERVER receive interrupted - exception 2 = Socket closed


Frische Installation auf einem frisch aufgesetzten Server4You vServer (Debian 4, Plesk 8.4), Sun Java 5
Der Peer schießt sich dann selbst ab.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Mi Jul 30, 2008 7:39 am

Wenn ich innerhalb eines kurzes Zeitfensters die Speicherwerte von 120MB auf 80MB reduziere und Remote Crawling ausschalte, dann bleibt daer Peer am Leben.
Der Speicherverbrauch erscheint mir allerdings zu gering:
Memory used: 13 MB

Das wären ja Traumwerte ...
Dateianhänge
PerformanceGraph.png
PerformanceGraph.png (4.2 KiB) 1048-mal betrachtet
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon DanielR » Mi Jul 30, 2008 11:24 am

versuch mal den default-GarbageCollector zu nutzen. In der startYACY.sh die Zeilen so ändern dass es so aussieht:
Code: Alles auswählen
JAVA_ARGS="";
#JAVA_ARGS="-server -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:+UseAdaptiveSizePolicy -XX:+UseLargePages";
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Mi Jul 30, 2008 1:41 pm

Versuche ich mal. Danke.

Gibt es denn eine Idee, weshalb der Peer scheinbar so wenig Speicher braucht? Wer hat sonst noch YaCy unter Debian 4 laufen?
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Mi Jul 30, 2008 6:36 pm

Der Peer ist Junior, die Firewall auf dem vServer muß ich mir mal ansehen.
Leider verliert der Peer auf Dauer den Kontakt zu anderen Peers.
Ich kann mich daran erinnern, daß wir so etwas früher schon mal diskutiert hatten, habe aber über die Suche noch nichts gefunden. War vielleicht im alten Form.

Wer sich das selbst ansehen will: http://findenstattsuchen.info:8080
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon thq » Mi Jul 30, 2008 7:46 pm

Also ich finde immer noch das YaCy nicht auf einen V-Server gehört, es sei denn er soll nur ein paar Seiten der eigenen Domain hosten oder er hat mindesten 256MB sicher.

Hat der Server dynamische Speicherzuteilung und wenn wie viel MB sind sicher vorhanden ?

Wenn es keine 120MB sind und YaCy mit 120MB gestartet wird glaube ich nicht das das jemals vernünftig läuft weil das Swappen einfach zu lange dauert.

Aber wenn es unbedingt sein muss wurde ich als erstes gucken wie viel Speicher vom System benutzt wird (ohne YaCy), dass und 4MB für den Datei-Cache dann von maximal möglichen Speicher (wirklich vorhandenen Speicher) abziehen und diesen Wert für YaCy benutzen.

Dann alles deaktivieren und erstmal YaCy-Core (Ping) zum laufen bringen, obwohl ich mich frage wie das besser werden soll wenn noch Daten dazu kommen ;)
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Lotus » Mi Jul 30, 2008 8:02 pm

Bei mir läuft YaCy auf Debian 4 mit Sun Java 5 spitze.
Vielleicht hilft ein Start mit der Option -d oder -l das Problem anzuzeigen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » So Aug 03, 2008 4:04 pm

Uptime: 4 days 14:53


Der Peer läuft also problemlos mit den ursprünglichen Einstellungen. Der vServer hat 512MB garantiert, nutzt selbst für Apache und Co. ca. 120MB. Auf einer solchen Kiste sollte YaCy problemlos laufen. Tut's ja prinzipiell auch, s. Uptime.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon thq » So Aug 03, 2008 4:32 pm

Wenn die 512MB sicher sind, hast du es dann schon mal mit 256MB versucht ?

Ansonsten kann es daran liegen das YaCy mit 80MB so gut wie keinen RAM-Cache benutzt, was die Speicherverwaltung stark vereinfacht. Die RAM-Caches sind die Objekte die sich oft in der Größe ändern, besonders wenn wenig Speicher vorhanden ist werden diese oft gelöscht. Dadurch entstehen dann die ganzen GC Objekte (teilweise sehr große) und die Sägezahnbilder auf der PerformanceMemory Seite, wodurch dann auch mal kurzzeitig der Speicher "ausgehen" kann wenn der GC zu spät reagiert.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Mo Aug 04, 2008 6:34 pm

Ich versuche gleich zunächst mal die geänderte startYACY.sh

Server4You sagt noch:
10.000 MB Webspace (SCSI)
256 MB RAM
512 MB FlexRAM*
750 GB Datentransfer/Monat


Allerdings zeigt mir Plesk immer 512MB verfügbaren Speicher an und S4Y hat angekündigt, die vServer leistungsfähiger ausgestattet zu haben (Ende Juli), dies nur noch nicht zu bewerben.

Natürlich ist YaCy auf einem richtigen Rootserver besser aufgehoben, aber der vServer ist halt da und noch nicht vollständig ausgelastet ;-)
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: YaCy auf vServer - Debian4/Plesk

Beitragvon Huppi » Do Aug 07, 2008 11:10 pm

W 2008/08/07 22:01:02 DISK USAGE logpoint 0 java.io.IOException: Cannot allocate memory
W 2008/08/07 22:01:02 RESOURCE OBSERVER Disk usage returned: found no volumes


Nach Neustart auf der Konsole mit den geänderten Java-Args:
fss_i@vs148xyz:~/subdomains/YaCy/httpdocs/yacy$ Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:574)
at de.anomic.tools.diskUsage.getConsoleOutput(diskUsage.java:397)
at de.anomic.tools.diskUsage.dfUnixExec(diskUsage.java:231)
at de.anomic.tools.diskUsage.dfUnixGetVolumes(diskUsage.java:181)
at de.anomic.tools.diskUsage.init(diskUsage.java:106)
at de.anomic.crawler.ResourceObserver.<init>(ResourceObserver.java:75)
at de.anomic.plasma.plasmaSwitchboard.<init>(plasmaSwitchboard.java:553)
at yacy.startup(yacy.java:219)
at yacy.main(yacy.java:994)

Der Peer ist dann tot.
Mit den ursprünglichen Java-Args startet der Peer dann wieder problemlos.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste