Java beendet sich spontan unter Debian4

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Java beendet sich spontan unter Debian4

Beitragvon dulcedo » Mo Jul 13, 2009 10:36 am

Ohne erkennbare Fehlermeldungen im Log, der java-prozess ist einfach weg, voher auch keine Auffäligkeiten zu sehen. Eine Headless-Installation auf einem Debian4/64 root-Server, deshalb die Analyse nicht einfach.
Er bricht entweder beim laden der Seeds oder später dann beim Crawl oder DHT ab, noch nie beim Startup. Ich habe bisher ca. 10 Versuche gestartet, auch ein 2 Wochen altes Backup (mit selber YaCy-Version) versucht, mittweile ist 6200 am laufen, aber nie länger als eine Stunde.
Bis letzte Woche lief er wochenlang problemlos, Core2duo, 4GB.
Irgendjemand eine Idee?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » Mo Jul 13, 2009 2:33 pm

Hier ein Auszug aus dem LOG, das Ende das vielleicht Aufschluss geben könnte, nach der letzten Zeile ist der Java-Prozess dann beendet. Lief ca 5 Stunden.

Code: Alles auswählen
D 2009/07/13 15:12:19 CRAWLER REMOTETRIGGEREDCRAWL[422859, 0, 0, 90]: URL=http://caml.inria.fr/pub/ml-archives/caml-list/2001/01/c6ca880fdeada7c039372fd73dff472e.en.html, initiator=tp19kt5tj_DF, crawlOrder=false, depth=0, crawlDepth=0, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422859, 0, 0, 89]: URL=http://www.baconbuzz.com/, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422859, 0, 0, 89]: URL=http://www.kicker.de/home/artikel/316443, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=4, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422858, 0, 0, 89]: URL=http://yahoosports.teamfanshop.com/NCAA_University_of_Colorado, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422857, 0, 0, 89]: URL=http://www.vbs.tv/playlist_items/create_with_get?brief=0&context=show&video_id=plo-boy-scouts-of-beirut, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
I 2009/07/13 15:12:19 PLASMA Excluded 0 words in URL http://tourismus.meinestadt.de/muenchen/markt/unterkunft
W 2009/07/13 15:12:19 STARTUP Peer 'ubuntu': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Cichliden': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Spotlight': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Lordy': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Motorrad-Suche': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'free-search2': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'famgrl': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Knallfrosch': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Konstantinn': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Tigma_2': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer '127001-1': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'Hasenjagd': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer '4o4': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'cfr34x': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'myacy': wrong format of version-string: ''. Using default string 'dev/00000' instead
W 2009/07/13 15:12:19 STARTUP Peer 'bigbird': wrong format of version-string: ''. Using default string 'dev/00000' instead
I 2009/07/13 15:12:19 PLASMA *Indexed 356 words in URL http://tourismus.meinestadt.de/muenchen/markt/unterkunft [LEGx78-6-pKB]
   Description:  Hotel München, Unterkunft München - meinestadt.de
   MimeType: text/html | Charset: UTF-8 | Size: 5920 bytes | Anchors: 124
   LinkStorageTime: 209 ms | indexStorageTime: 1 ms
I 2009/07/13 15:12:19 PLASMA Excluded 0 words in URL http://autos.yahoo.com/carfinder/?driveline=4WD&sort=msrp&sortdir=asc&num=15&dvd=1
I 2009/07/13 15:12:19 PLASMA *Indexed 345 words in URL http://autos.yahoo.com/carfinder/?driveline=4WD&sort=msrp&sortdir=asc&num=15&dvd=1 [OJMBXEHZx1FY]
   Description:  Car Finder - Yahoo! Autos
   MimeType: text/html | Charset: UTF-8 | Size: 7018 bytes | Anchors: 193
   LinkStorageTime: 17 ms | indexStorageTime: 1 ms
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422858, 0, 0, 89]: URL=http://www.youtube.com/watch?v=LTeXWOUMDIw&feature=related, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
I 2009/07/13 15:12:19 PLASMA Excluded 0 words in URL https://www.ettlingen.de/servlet/PB/menu/1247852_psitemap_l2/index.html
I 2009/07/13 15:12:19 PLASMA *Indexed 31 words in URL https://www.ettlingen.de/servlet/PB/menu/1247852_psitemap_l2/index.html [KztY2IiD4YMh]
   Description:  Inhalt / Ãœbersicht / Sitemap
   MimeType: text/html | Charset: ISO-8859-15 | Size: 233 bytes | Anchors: 11
   LinkStorageTime: 104 ms | indexStorageTime: 0 ms
I 2009/07/13 15:12:19 PLASMA Excluded 0 words in URL http://www.sectorpages.com/index.html?page=2&query=friendly-society
I 2009/07/13 15:12:19 PLASMA *Indexed 342 words in URL http://www.sectorpages.com/index.html?page=2&query=friendly-society [KO8bFQVirWMZ]
   Description:  friendly society - Business Directory - Sectorpages - YELLOW PAGES - Companies Profiles, Maps, Search
   MimeType: text/html | Charset: UTF-8 | Size: 6644 bytes | Anchors: 72
   LinkStorageTime: 1 ms | indexStorageTime: 1 ms
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422858, 0, 0, 89]: URL=http://www.hotelchatter.com/hotels/country/sn/, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422859, 0, 0, 89]: URL=http://www.favit.de/search.php?search=technik%2C+bienen%2C+paarung%2C+flug&tag=true, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:19 CRAWLER LOCALCRAWL[422858, 0, 0, 89]: URL=http://www.favoriten.de/tag/kochsendungen.html, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=4, crawlDepth=5, must-match=.*, must-not-match=, permission=true
I 2009/07/13 15:12:20 PLASMA Excluded 0 words in URL http://backseatcuddler.com/2009/02/08/51st-annual-grammy-award-winners/
I 2009/07/13 15:12:20 PLASMA *Indexed 461 words in URL http://backseatcuddler.com/2009/02/08/51st-annual-grammy-award-winners/ [VVSkYUu3T14a]
   Description:  51st Annual Grammy Award Winners--Backseat Cuddler
   MimeType: text/html | Charset: UTF-8 | Size: 5545 bytes | Anchors: 148
   LinkStorageTime: 5 ms | indexStorageTime: 1 ms
D 2009/07/13 15:12:20 CRAWLER problem loading http://yahoosports.teamfanshop.com/NCAA_University_of_Colorado: REJECTED URL http://yahoosports.teamfanshop.com/NCAA_University_of_Colorado because file size '318367' exceeds max filesize limit of 262144 bytes.
D 2009/07/13 15:12:20 CRAWLER LOCALCRAWL[422860, 0, 0, 89]: URL=http://www.mister-wong.ru/tags/digital/, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:20 CRAWLER REMOTETRIGGEREDCRAWL[422859, 0, 0, 89]: URL=https://blogs.msdn.com/jmstall/archive/tags/This%2Bshould%2Bbe%2Bin%2BMSDN/FuncEval/default.aspx, initiator=tp19kt5tj_DF, crawlOrder=false, depth=0, crawlDepth=0, must-match=.*, must-not-match=, permission=true
I 2009/07/13 15:12:20 PLASMA Excluded 0 words in URL http://blog.wired.com/wiredscience/2009/01/fertilizethis.html
I 2009/07/13 15:12:20 PLASMA *Indexed 1436 words in URL http://blog.wired.com/wiredscience/2009/01/fertilizethis.html [9_y_ONJ6Z2dY]
   Description:  U.N. Says ‘No,’ Climate Hackers Say, ‘Yes We Can’
   MimeType: text/html | Charset: UTF-8 | Size: 35783 bytes | Anchors: 209
   LinkStorageTime: 1 ms | indexStorageTime: 5 ms
I 2009/07/13 15:12:20 PLASMA Excluded 0 words in URL http://stylenews.peoplestylewatch.com/2009/07/10/
I 2009/07/13 15:12:20 PLASMA *Indexed 461 words in URL http://stylenews.peoplestylewatch.com/2009/07/10/ [k1IZGojiO2ka]
   Description:  2009  July  10
   MimeType: text/html | Charset: UTF-8 | Size: 7128 bytes | Anchors: 116
   LinkStorageTime: 2 ms | indexStorageTime: 2 ms
D 2009/07/13 15:12:20 CRAWLER LOCALCRAWL[422860, 0, 0, 88]: URL=http://www.drive2day.de/index.php?sprache=fr_FR, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=4, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:21 CRAWLER LOCALCRAWL[422859, 0, 0, 88]: URL=http://www.engadget.com/profile/2673967/, initiator=cJHDuEvHnnAA, crawlOrder=false, depth=5, crawlDepth=5, must-match=.*, must-not-match=, permission=true
D 2009/07/13 15:12:21 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=42)
D 2009/07/13 15:12:21 CRAWLER GlobalCrawl: too many processes in indexing queue, dismissed (sbQueueSize=44)
D 2009/07/13 15:12:22 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=46)
D 2009/07/13 15:12:23 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=47)
D 2009/07/13 15:12:25 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=47)
D 2009/07/13 15:12:25 CRAWLER GlobalCrawl: too many processes in indexing queue, dismissed (sbQueueSize=47)
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon Orbiter » Mo Jul 13, 2009 4:00 pm

WSB hat ein ähnliches Problem: Prozess einfach Weg, kein Eintrag im Log. Das Log verrät mir nichts. Hat jemand eine Idee was man machen könnte um die Ursache zu finden?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Java beendet sich spontan unter Debian4

Beitragvon Lotus » Mo Jul 13, 2009 6:03 pm

Meine klassiche Idee: wäre es möglich, dass es einen so üblen OOM gibt, dass dieser nicht einmal mehr geloggt wird?
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Java beendet sich spontan unter Debian4

Beitragvon Low012 » Mo Jul 13, 2009 7:08 pm

Wirft die JVM noch eine Thread-Dump aus oder stirbt sie sofort komplett? Irgendwelche hs_err_pid*.log-Dateien im YaCy-Verzeichnis?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » Mo Jul 13, 2009 7:56 pm

Das ist YACY und DATA ich habe ihn seit heut Mittag stehenlassen, die Threaddumps wären in den genannten Dateien?
Code: Alles auswählen
~/yacy_sik$ ls -l
insgesamt 220
drwxr-xr-x  5 yacy yacy  4096 2009-04-29 15:07 addon
-rw-r--r--  1 yacy yacy   834 2009-07-13 09:35 AUTHORS
drwxr-xr-x  2 yacy yacy  4096 2009-06-25 13:10 bin
-rw-r--r--  1 yacy yacy   496 2009-07-13 09:35 build.properties
-rw-r--r--  1 yacy yacy 33314 2009-07-13 09:35 build.xml
-rw-r--r--  1 yacy yacy  5189 2009-07-13 09:35 ChangeLog
drwxr-xr-x  3 yacy yacy  4096 2009-04-29 15:07 classes
-rw-r--r--  1 yacy yacy   630 2009-07-13 09:35 COPYRIGHT
drwxr-xr-x 15 yacy yacy  4096 2009-07-13 11:43 DATA
drwxr-xr-x  2 yacy yacy  4096 2009-04-29 15:07 defaults
-rw-r--r--  1 yacy yacy   154 2009-07-13 09:35 getWin32MaxHeap.bat
-rw-r--r--  1 yacy yacy 18349 2009-07-13 09:35 gpl.txt
drwxr-xr-x 10 yacy yacy 20480 2009-06-16 21:34 htroot
-rw-r--r--  1 yacy yacy  3671 2009-07-13 09:35 httpd.mime
-rwxr-xr-x  1 yacy yacy   252 2009-07-13 09:35 killYACY.sh
drwxr-xr-x  2 yacy yacy  4096 2009-04-29 15:29 langstats
drwxr-xr-x  2 yacy yacy  4096 2009-07-09 04:25 lib
drwxr-xr-x  3 yacy yacy  4096 2009-04-29 15:07 libbuild
drwxr-xr-x  2 yacy yacy  4096 2009-04-29 15:29 libx
drwxr-xr-x  2 yacy yacy  4096 2009-04-29 15:07 locales
-rw-r--r--  1 yacy yacy   327 2009-07-13 09:35 NOTICE
drwxr-xr-x  3 yacy yacy  4096 2009-01-21 00:14 ranking
-rw-r--r--  1 yacy yacy  3124 2009-07-13 09:35 readme.txt
drwxr-xr-x  2 yacy yacy  4096 2009-05-18 03:06 skins
drwxr-xr-x  3 yacy yacy  4096 2009-04-29 15:07 source
-rw-r--r--  1 yacy yacy  2239 2009-07-13 09:35 startYACY.bat
-rwxr-xr-x  1 yacy yacy   810 2009-07-13 09:35 startYACY.command
-rw-r--r--  1 yacy yacy  2720 2009-07-13 09:35 startYACY_debug.bat
-rwxr-xr-x  1 yacy yacy  5576 2009-07-13 09:35 startYACY.sh
-rw-r--r--  1 yacy yacy   519 2009-07-13 09:35 stopYACY.bat
-rwxr-xr-x  1 yacy yacy   402 2009-07-13 09:35 stopYACY.command
-rwxr-xr-x  1 yacy yacy  1144 2009-07-13 09:35 stopYACY.sh
-rwxr-xr-x  1 yacy yacy   723 2009-07-13 09:35 updateYACY.sh
-rw-r--r--  1 yacy yacy   908 2009-07-13 09:35 yacy.badwords.example
-rw-r--r--  1 yacy yacy  2935 2009-07-13 09:35 yacy.logging
-rw-r--r--  1 yacy yacy     5 2009-07-13 11:43 yacy.pid
-rw-r--r--  1 yacy yacy     0 2009-07-13 09:35 yacy.stopwords
-rw-r--r--  1 yacy yacy   160 2009-07-13 09:35 yacy.yellow

~/yacy_sik/DATA$ ls -l
insgesamt 52
drwxr-xr-x 3 yacy yacy 4096 2009-07-13 09:41 HTCACHE
drwxr-xr-x 6 yacy yacy 4096 2009-04-29 15:08 HTDOCS
drwxr-xr-x 4 yacy yacy 4096 2009-04-29 16:28 INDEX
drwxr-xr-x 2 yacy yacy 4096 2009-04-29 15:07 LISTS
drwxr-xr-x 3 yacy yacy 4096 2009-04-29 15:08 LOCALE
drwxr-xr-x 2 yacy yacy 4096 2009-07-13 15:10 LOG
drwxr-xr-x 2 yacy yacy 4096 2009-07-09 04:20 PLASMADB
drwxr-xr-x 3 yacy yacy 4096 2009-04-29 15:15 RANKING
drwxr-xr-x 3 yacy yacy 4096 2009-07-13 09:33 RELEASE
drwxr-xr-x 2 yacy yacy 4096 2009-07-13 12:01 SETTINGS
drwxr-xr-x 2 yacy yacy 4096 2009-05-18 03:11 SKINS
drwxr-xr-x 4 yacy yacy 4096 2009-04-29 15:29 SURROGATES
drwxr-xr-x 2 yacy yacy 4096 2009-07-13 09:41 WORK
-rw-r--r-- 1 yacy yacy    0 2009-07-13 11:43 yacy.running
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon Low012 » Mo Jul 13, 2009 8:13 pm

Ja, ich glaube, wenn welche da wären, würden sie direkt im YaCy-verzeichnis landen.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Java beendet sich spontan unter Debian4

Beitragvon LA_FORGE » Mo Jul 13, 2009 9:05 pm

Welche JRE-Version verwendest du? Und welcher Kernel? Eigenbau oder Debian Standard?
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » Di Jul 14, 2009 6:30 am

Code: Alles auswählen
java version "1.5.0_14"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_14-b03)
Java HotSpot(TM) 64-Bit Server VM (build 1.5.0_14-b03, mixed mode)

Das ist aus den Standardquellen von Debian, die Debian Version ist Etch LTS.
Also absolut nichts was nicht funktionieren dürfte weil so von jedem Webhoster angeboten. Da nicht alle schon Debian Lenny als 64-bit anbieten dürfte das eine recht verbreitete Installation sein.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » Do Jul 16, 2009 2:59 am

Orbiter hat geschrieben:WSB hat ein ähnliches Problem: Prozess einfach Weg, kein Eintrag im Log. Das Log verrät mir nichts. Hat jemand eine Idee was man machen könnte um die Ursache zu finden?


Hat WSB vielleicht einen Workaround? Bei mir ist das einer von den Portalservern die endlich mal laufen sollten und ausserdem kostet er Geld.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » So Jul 19, 2009 12:47 pm

Eine Neuinstalltion von YaCy auf dem alten debian-system läuft nun seit 2 Tagen, SVN6163.
Also vermute ich liegt es nicht am System und wenn dann nur bei viel Javaspeicher, momentan hat 2GB.
Die zeigt er in YacY auch an benutzt aber nur eines so dass die blaue kurve nun fast waagerecht oben am Anschlag ist. Er hat 12 mio Wörter und 7mio Links gesammelt.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Java beendet sich spontan unter Debian4

Beitragvon dulcedo » So Jul 19, 2009 4:42 pm

Ist reproduzierbar, also der Fehler dass er bei ca. einem GB belegtem Speicher keinen weiteren anfordert obwohl unter Java nochmal fast ein GB frei wäre.
Nachdem er nun ca. 3 Stunden mit Speicherkurve flach ganz oben irgendwas gemacht hat belegt er nun plötzlich das RAM das er auch zur Verfügung hat und arbeitet weiter.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 2 Gäste

cron