Dauernd Speicherknappheit.

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Dauernd Speicherknappheit.

Beitragvon bluumi » Fr Jan 16, 2009 6:22 pm

Einer meiner Peers läuft inzwischen andauernd in Speicherknappheit. "java.lang.OutOfMemoryError: Java heap space:Java heap space"
24 Mio Links / 13 Mio Words / Yacy 90Gbyte Platten Belegung / 1.4Gbyte RAM für Yacy von 3 Gbyte Physikalisch Ram, 32Bit WinXP
Was mich diesesmal speziell irritiert ist dass er dies meldet aber anderseits noch 160MB Frei anzeigt im Status.
(während ich das tippe sind es bereits über 170Mbyte frei und noch immer "java.lang.OutOfMemoryError: Java heap space:Java heap space" - Fehler

EcoTabelle RAM Index: zeigt mittlerweile ein Total von 920Mbte an. Muss ich manuel eingreifen und Files löschen? [DATA\INDEX\freeworld\TEXT\urls.200810 - 280Mbyte ] ?

Ich fände es traurig, wenn man von Hand eingreifen muss und Files löschen, wenn Yacy so einen Punkt erricht, ist das so?
Mehr RAM kann ich dem YACY Task nun nicht mehr zuteilen ...

Code: Alles auswählen
E 2009/01/16 18:03:18 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at C:\YACY\htroot\yacy\transferURL.class: java.lang.OutOfMemoryError: Java heap space:Java heap space
java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1180)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:761)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:260)
   at de.anomic.http.httpd.POST(httpd.java:629)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.OutOfMemoryError: Java heap space

W 2009/01/16 18:03:18 FILEHANDLER Unexpected error while processing query.
Session: Session_84.60.237.198:52103#1
Query:   /yacy/transferURL.html
Client:  84.60.237.198
Reason:  java.lang.reflect.InvocationTargetException
java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1180)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:761)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:260)
   at de.anomic.http.httpd.POST(httpd.java:629)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.OutOfMemoryError: Java heap space

D 2009/01/16 18:03:18 CRAWLER remoteCrawlLoaderJob: a local crawl is running, omitting processing

E 2009/01/16 18:03:19 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space

D 2009/01/16 18:03:19 CRAWLER remoteCrawlLoaderJob: a local crawl is running, omitting processing

D 2009/01/16 18:03:21 CRAWLER remoteCrawlLoaderJob: a local crawl is running, omitting processing

E 2009/01/16 18:03:21 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space

E 2009/01/16 18:03:21 YACY yacyClient.queryUrlCount error asking peer 'lachisatan':java.net.ConnectException: Connection timed out: connect

E 2009/01/16 18:03:22 kelondroAbstractRecords/C:\YACY\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.01.00.kca INTERNAL ERROR (DATA INCONSISTENCY): USAGE.FREEH.index = 1093486677, entryFile.length() = 980953034; wrong FREEH has been patched, lost 1 records.

E 2009/01/16 18:03:24 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space

W 2009/01/16 18:03:25 YACY yacyClient.publishMySeed thread 'PublishSeed_RZKH_PC700' exception: Connection timed out: connect; retry = 2

E 2009/01/16 18:03:26 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space

D 2009/01/16 18:03:28 CRAWLER remoteCrawlLoaderJob: a local crawl is running, omitting processing

E 2009/01/16 18:03:28 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'de.anomic.plasma.plasmaSwitchboard.deQueueProcess': null; target exception: Java heap space
java.lang.OutOfMemoryError: Java heap space
Dateianhänge
ksba-yacy.JPG
Anzeige RAM Status
ksba-yacy.JPG (54.91 KiB) 575-mal betrachtet
Mthreaddump.rar
MultiThread Dump
(4.74 KiB) 18-mal heruntergeladen
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Dauernd Speicherknappheit.

Beitragvon thq » Fr Jan 16, 2009 6:38 pm

Ich habe genau das gleiche System und heute mein Speicher von 1400 auf 1440 erhöht, mehr geht leider nicht. Außerdem habe ich den Wert bei "Maximum number of words in cache" von 400.000 auf 100.000 reduziert. Bei 100.000 sind es immer noch fast 200MB. Irgendwann steht der dann auf 20.000--.

Wie ich schon woanders geschrieben habe würde ich bei den URLs auch DHT einführen, die sind für YaCy was den Speicherverbrauch angeht das größte Problem wie ich finde.

Allerdings baut Orbiter zur Zeit ja was (vertikale Verteilung), wie sich das auf den Speicherverbrauch auswirkt/auswirken kann nur er uns sagen ;)
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Dauernd Speicherknappheit.

Beitragvon bluumi » Fr Jan 16, 2009 11:49 pm

Unerklährlicherweise sind die "java.lang.OutOfMemoryError: Java heap space:Java heap space" Fehler im Moment aus dem ServerLog verschwunden. Es zeigt jedoch nicht mehr Speicher an als zuvor, nur einfach ist jetzt kein Fehler mehr im LogFile. Die grösse der EcoTabelle ist um 30MB gesunken, der gesamt freie Speicher ist jetzt jedoch auch nur noch bei 50MB.
Ich hoffe die Kiste hält noch eine Weile ducrh, bzw kann noch eine Weile mitmachen.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Dauernd Speicherknappheit.

Beitragvon dulcedo » Sa Jan 17, 2009 5:17 am

Welche BS benutzt du denn?

Falls 32 bit-Windows solltest du mal Win7 versuchen, kann man parallel installieren, geht sehr schonend mit den Ressourcen um, ohne Grafikspielkram ca 400MB fürs BS.
Damit hab ich dem dulcedo-peer erstmal wieder eine Weile wieder Luft verschafft, läuft auch stabil, nur unbedingt in den Ergiesparoptioenen Standy ausschalten. Er rennt sonst unter Vollast in den Ruhezustand. Wacht erstaunlicherweise brav wieder auf, aber nicht im Sinne des Erfinders, denke ist ein MS-Bug.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Dauernd Speicherknappheit.

Beitragvon bluumi » Sa Jan 17, 2009 5:34 pm

dulcedo hat geschrieben:Welche BS benutzt du denn?
Falls 32 bit-Windows solltest du mal Win7 versuchen,

Also ich nutze WinXP-32, das steht in meinem Beitrag zu oberst :)
Aber ich kann mir an der Kiste schon WinBeta besorgen, wenn Das was bringt.

Mein Momentanes Hauptproblem ist jedoch vorallem, dass die Kiste in der letzten Woche fast täglich "runterfährt", und dies auch ohne aktivierte Standby Funktion ... dies macht die Kiste seit der Speicher so massiv knapp wird. Keine Ahnung ob das eine Schutzfunktion dieses DELL Gerätes ist, damals als er an HDD Platz zu knapp wurde hat er es jedenfalls auch gemacht. Und es fährt die Kiste dann auch nicht komplett runter sondern landet in so einem art Standby. Währe die Kiste @Home würde es mich weniger störend, als wenn ich dazu jedesmal in den Keller @work gehen muss :)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Dauernd Speicherknappheit.

Beitragvon dulcedo » So Jan 18, 2009 6:10 am

Das kommt mir irgendwie bekannt vor, nicht von YaCy aber einem anderen etwas älteren Rechner mit spezieller Serverhardware. Der stand auf dem Speicher und das Monitoring meinte mit 5 Grad wäre es ihm zu kalt, definitiv zu kalt, Luft war trocken...

Ich teste das Win7 natürlich auch nur, und speziell lass ichs auf einer kleinen Kiste testen (max 1,5 GB), weil das mit den Ressourcen erstaunt mich: ohne Grafikschnickschnack lediglich 400MB fürs BS, und wenn es auf einem Atom am Anschlag läuft lässt sich sogar noch fast ruckelfrei Video schauen.
Das wäre die ideale (dedizierte) Kiste fürs Bücherregal die das LAN nach z.b. Medien scannt und gleichzeitig proxy/suma/nas/webserver spielt, nur Netzstrom, mehr Anschlüsse braucht so ein Ding für den Betrieb nicht, und ist momentan für 250€ zu haben.

Denke mal genau die Vorteile (mehr res für Anwendung) könnte win7s auch bei dir ausspielen, der dulcedo-peer ist ja von der Grösse her ähnlich und ich denke kann den jetzt noch 1-2 Monate unter win7/32 laufen lassen.
Ich habs testweise installiert, verkriecht sich in die Datenpartition und per Bootmenu wechselbar, wäre eigentlich sogar möglich yacy von beiden BS aus erreichbar zu machen, habe ich mich aber bei dem Peer nicht getraut, wäre schade um den Index.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron