[CLOSE] 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[CLOSE] 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Fr Jan 29, 2010 8:37 pm

Hier meine Einstellungen, die ich geaendert hatte (waren voher 2048m):
javastart_Xms=Xms3172m
javastart_Xmx=Xmx3172m

Und seitdem nur noch dies:
Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.

Obwohl "free" 7 GB freien RAM anzeigt? Feature? ;)

Hier der gesamte Java-Aufruf:
nice -n 20 /usr/bin/java -Xms3172m -Xmx3172m -server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=2 -XX:MaxPermSize=45m -XX:ReservedCodeCacheSize=25m -Djava.awt.headless=true -classpath .:htroot:lib/J7Zip-modified.jar:lib/activation.jar:lib/bcmail-jdk14-139.jar:lib/bcprov-jdk14-139.jar:lib/bzip2.jar:lib/commons-codec-1.3.jar:lib/commons-fileupload-1.2.1.jar:lib/commons-httpclient-3.1.jar:lib/commons-io-1.4.jar:lib/commons-jxpath-1.3.jar:lib/commons-logging-1.1.1.jar:lib/fontbox-0.8.0-incubating.jar:lib/jakarta-oro-2.0.7.jar:lib/jsch-0.1.21.jar:lib/log4j-1.2.9.jar:lib/mysql-connector-java-5.1.7-bin.jar:lib/pdfbox-0.8.0-incubating.jar:lib/poi-3.5-FINAL-20090928.jar:lib/poi-scratchpad-3.5-FINAL-20090928.jar:lib/servlet-api.jar:lib/webcat-0.1-swf.jar:lib/xerces.jar:lib/yacycore.jar: net.yacy.yacy >/dev/null 2>/dev/null & echo $! > yacy.pid

Hat mit den Sondereinstellungen fuer den GC zuvor prima geklappt.

Edit: 2048m klappen? :?: Woran kann das liegen?
Zuletzt geändert von Quix0r am Do Sep 23, 2010 4:16 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Lotus » Fr Jan 29, 2010 9:33 pm

Vielleicht hast du gar keine 64 Bit VM ("java -version").
Bei mir funktioniert es komischerweise bis "java -Xms9619m", das ist mehr als RAM + Swap zusammen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Fr Jan 29, 2010 9:50 pm

java version "1.6.0_0"
OpenJDK Runtime Environment (IcedTea6 1.7pre) (6b17~pre3-1)
OpenJDK Server VM (build 16.0-b10, mixed mode)

Okay, daran hatte ich einfach nicht gedacht. :( Und wo bekomme ich dann her? Per aptitude jedenfalls nicht.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 3:12 am

Bin weiter gekommen. Ich musste noch 64-Bit im Kernel aktivieren:
make ARCH=x86_64 menuconfig
make ARCH=x86_64 all modules_install install

Wichtig ist, dass ARCH=x86_64 bei jedem Aufruf von "make" mit angegeben wird.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 5:04 am

Bin weitegkommen! Falls ihr auch solch ein Problem habt, dass sich Linux nicht entscheiden kann, ob er die SATA-Platte als sda oder den USB-Stick als sda setzen soll, dies hat mir mit einer Debian Live Distri (vom USB-Stick gebootet) geholfen:

- USB-Stick im Boot-Menue (F11-Taste) auswaehlen
- Im Boot-Loader auf z.B. Live 686 gehen und TAB-Taste druecken
- Nun wird es systemspezifisch: "ata_generic ata_piix usb-storage" anhaengen! Wobei piix das systemspezifische ist.
- Dann sollte immer die SATA-Platte als erste kommen und dann der USB-Stick

Jetzt haenge ich noch mit der NVIDIA-Kernelmodul-Installation rum, er kann die Module nicht laden:
dlopen: /usr/lib/xorg/modules/drivers/nvidia_drv.so: wrong ELF class: ELFCLASS64

Dazu sollte aber mehr im Netz stehen (YaCy kann ich ja leider nicht dafuer nutzen, um Suchergebnisse zu erhalten, siehe ersten Post!)
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 5:34 am

Jetzt haenge ich mit dem selben Bug wie voher rum, nur dass ich jetzt 64-Bit habe, also schon etwas vorangekommen. ;)

Kompilierung von OpenJDK6 endet damit:
make[4]: *** No rule to make target `/home/quix0r/hq/icedtea6/openjdk-ecj/build/linux-i586/hotspot/import/jre/lib/i386/server/libjvm.so', needed by `/home/quix0r/hq/icedtea6/openjdk-ecj/build/linux-i586/lib/i386/server/libjvm.so'. Stop.

Wer eine Idee, woran es liegen kann? Das wuerde mir 64-Bit vielleicht geben (Debian hat keine 64-Bit Packages).
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon dulcedo » Sa Jan 30, 2010 8:35 am

Das dürfte am OpenJDK liegen, zumindest vor einem halben Jahr lief YaCy wegen exakt dieses Fehlers (Forensuche) damit unter Ubuntu/Debian nicht. Warum habe ich nicht weiter recheriert.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 10:22 am

@dulcedo: Nein, kaputte Makefile, tippe ich eher. Und OpenJDK solltet ihr immer unterstuetzen, da es der "offizielle" Nachfolger vom SunJDK ist.

Scheint mit der Groesse/Aufbau des Blobs zusammenzuhaengen und wie viele Blobs er schon zu vor eingelesen hat. Wie ich bereits oben schrieb, es lief bis ich wegen RAM-Aufruestung neustarten musste und er >1000 Blobs generiert hat. Mergen tut er enweder gar nicht (auch wenn ich ihm 100 kleine Blobs gebe, alle mit ~80000 Eintraege, was der Groesse des RWI-Caches entspricht) oder auch ein Misschmasch aus kleinen und grossen Blobs.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Lotus » Sa Jan 30, 2010 10:39 am

Vielleicht hilft dir das weiter: http://packages.debian.org/lenny/sun-java6-jdk
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 10:41 am

Hab hier Unstable und ein AMD64-Package fuer OpenJDK gibt es auch. Aber wieso wird hier staendig das 32-Bit Paket installiert? Bin ich mit meinen 10 Jahren Linux-Erfahrungen am Ende? :shock: :?

Ah, bei mir werden z.B. folgende Paketlisten geladen:
http://localhost:9978/ftp2.de.debian.org/debian/dists/unstable/main/binary-i386/Packages.gz

Wie bekomme ich da amd64 hin? Hatte ich noch nie machen muessen (da ich noch nie eine 64-Bit CPU hatte).

Ahhh, schon besser:
Code: Alles auswählen
echo "APT::Architecture \"amd64\";">/etc/apt.conf.d/00amd64
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon dulcedo » Sa Jan 30, 2010 1:14 pm

Wenn lenny als 64-bit Version installiert wurde hatte ich auch immer die amd64-pakete verfügbar. Mit einem apt-get install sun-java6-[sdk/jre] bekommt man dann automatisch die 64-bit JVM, zumindest in den Standardinstallationen bei verschiedenen Hostern.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: SVN 6631: Kein Startup mehr, seitem 3 GB RAM Java hat?

Beitragvon Quix0r » Sa Jan 30, 2010 3:19 pm

Habe ich nun auch. War muehevolles Wechseln, nun laeuft das Laden der Blobs...

Edit: Laeuft wieder an, waren 1 GB RAM aber mehr noetig, ich lasse nun die Node erstmal mergen, Crawler ist aus, damit maximale Geschwindigkeit in das Mergen geht. Ich hoffe, nach einem Neustart der Node - wenn sie fertig ist - braucht sie dann wieder 2 GB RAM. :)

Edit2: Auffallend ist beim Mergen, dass der GC immer mehr Speicher freischauffeln kann. Vielleicht sollte an dieser Stelle mal mein Thread erwaehnt werden, wo ich einen intelligenteren Merger vorgeschlagen hatte. Es sollten gruppenweise (alle 100 z.B.) Blobs gemergt werden, was auf meinem damaligen System zur enormen Geschwindigkeitssteigerung und nicht so hohen Speicherverbrauch gefuehrt hatte. Ich hatte das halb-manuell gemacht.

PerformanceGraph009.png
GC schauffelt mehr und mehr frei
PerformanceGraph009.png (6.59 KiB) 943-mal betrachtet

Leider finde ich den Beitrag nicht mehr wieder. :( Wer ihn findet, bitte hier anhaengen!

Edit3: Nach zwei Stunden Mergens kann ich nun endlich neustarten... :geek: ... und er mergt immer noch... :mrgreen:

Edit4: Das Mergen ist wohl abgeschlossen. Bei Leerlauf (private Robison-Node, keine Crawls) 1600 MB RAM Verbrauch, da ich nun mehr gegeben habe (1 GB mehr), scheint er wohl diese auch fast voll auszunutzen, nach Leeren des RWI-Caches sind wieder nur 1600 MB verbraucht. Mir faellt aber noch zudem auf, dass beim besagten Leerlauf komischerweise nicht gemergt wurde, aber dann erst losging, wo ich das Crawlen/DHT startete... Seltsam? Feature? ;)

Edit5: Hier ist der Beitrag mit meiner vorgeschlagenem "intelligenten Merge-Strategie":
viewtopic.php?f=6&t=2147&hilit=#p15443

Das hat hinsichtlich Gesamtdauer sehr viel Zeit "damals" eingesparrt und wuerde es auch heute noch tun.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron