Shutdown-Zeit

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Shutdown-Zeit

Beitragvon Beechbone » Mo Okt 06, 2008 3:38 pm

Ohne Worte:

Code: Alles auswählen
S 2008/10/02 18:39:34 SHUTDOWN server has terminated
I 2008/10/02 18:39:36 PLASMA DEQUEUE: Shutdown detected.
...
I 2008/10/02 18:40:15 STACKCRAWL Shutdown. Flushing remaining 1878 crawl stacker job entries. please wait.
W 2008/10/02 18:42:24 PLASMA BALANCER double-check has failed for urlhash DGV9slo-R3yY in urlNoticeCoreStack - fixed
W 2008/10/06 12:39:42 PLASMA BALANCER double-check has failed for urlhash FEb24Q2kkXHQ in urlNoticeCoreStack - fixed
...
I 2008/10/06 16:30:57 STACKCRAWL Shutdown. Closing stackCrawl queue.
...
S 2008/10/06 16:32:23 SHUTDOWN goodbye. (this is the last line)


Man beachte das Datum...
Beechbone
 

Re: Shutdown-Zeit

Beitragvon miTreD » Mo Okt 06, 2008 6:52 pm

:o
Ich glaube Du bist der erste, der da mal vier Tage gewartet hat. Jeder andere hätte den Prozess gekillt. Hatte das hier auch schon hin und wieder, war dann aber nicht so geduldig wie Du.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Shutdown-Zeit

Beitragvon Beechbone » Mo Okt 06, 2008 10:00 pm

Naja, gewartet hab ich nicht wirklich, das war der Rechner auf der Arbeit. Ich wollte ihn eigentlich übers lange Wochenende runterfahren, bin dann aber irgendwie abgelenkt worden....
Beechbone
 

Re: Shutdown-Zeit

Beitragvon DanielR » Di Okt 07, 2008 10:25 am

Ich gehe davon aus, dass es eine aktuelle Version war?! Unter Windows?!
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Shutdown-Zeit

Beitragvon Orbiter » Di Okt 07, 2008 10:35 am

merkwürdig, kann man das reproduzieren? Dann wäre ein kill -3 hilfreich (yacy mit startYACY.sh -l starten, dann die id raussuchen, und den Kill mit -3 auf die ID setzen). Dann haben wir einen Thread dump und wissen wo das so lange hing.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Shutdown-Zeit

Beitragvon Beechbone » Di Okt 07, 2008 7:23 pm

Ne 604 unter Windows. Ich probiers mal zu reproduzieren.

Mmmh, aber der kill -3 auf ne nicht-cygwin Anwendung wird nicht gehen, oder?
Beechbone
 

Re: Shutdown-Zeit

Beitragvon Low012 » Di Okt 07, 2008 7:27 pm

Wie es unter Windows geht, ist auf http://www.yacy-websuche.de/wiki/index.php/Thread_Dump beschrieben.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Shutdown-Zeit

Beitragvon Phiber » Do Okt 16, 2008 10:40 am

Hum ich habe im moment auch ein gröberes Problem mit YaCy. Ich habe keine Ahnung an was das liegt, aber er nutzt permanent extrem viel CPU-Zeit (50-100% auf nem CoreDuo E8400, was schon eher viel ist) ohne dabei wirklich was zu tun, scheinbar auch nichts YaCy-Eigenes. Selbst wenn ich in den Performance Settings alle Werte auf astronomische Höhen setze wird genauso viel Rechenleistung verbraucht.
Wichtig anzumerken wäre noch, dass ein relativ hoher Remote Crawl Job noch da ist, ca 60k Links die abgebaut werden müssen von der Community (werden sie auch aber saulangsam). Ich komme aber nicht auf die entsprechende Seite um diese zu löschen.

Das ganze setzt sich natürlich auch fort wenn ich YaCy beenden will. Es sollte sich nun schon seit nem halben Tag (noch nicht 4 wie beim Threadersteller *g) beenden aber es geht weiter. 50% CPU-Belastung, kein Webinterface mehr aber eben er schliesst sich auch nicht.

Die letzten spannenden Shutdownmeldungen ausm Log:
Code: Alles auswählen
I 2008/10/16 09:33:36 PLASMA Closing main socket of thread 'Session_141.52.175.25:44115#3'
I 2008/10/16 09:33:36 PLASMA Closing server socket ...
I 2008/10/16 09:33:36 PLASMA Closing server sessions ...
W 2008/10/16 09:33:38 HTTPC wget(http://localhost:8080/) failed: Connection refused: connect
S 2008/10/16 09:33:38 SHUTDOWN sent termination signal to server socket
W 2008/10/16 09:33:38 YACY yacyClient.publishMySeed thread 'PublishSeed_dulcedo' exception: socket closed; retry = 0
W 2008/10/16 09:33:38 YACY yacyClient.publishMySeed thread 'PublishSeed_dulcedo' exception: Connection factory has been shutdown.; retry = 1
W 2008/10/16 09:33:38 YACY yacyClient.publishMySeed thread 'PublishSeed_dulcedo' exception: Connection factory has been shutdown.; retry = 2
W 2008/10/16 09:33:38 YACY yacyClient.publishMySeed thread 'PublishSeed_dulcedo' exception: Connection factory has been shutdown.; retry = 3
I 2008/10/16 09:33:38 YACY publish: disconnected senior peer 'dulcedo' from 92.205.35.183:8080: peer ping to peer resulted in error response (added < 0)
I 2008/10/16 09:33:38 YACY PeerPing: I am accessible for 38 peer(s), not accessible for 2 peer(s).
I 2008/10/16 09:33:38 YACY PeerPing: myType is senior
S 2008/10/16 09:33:38 SHUTDOWN server has terminated
E 2008/10/16 09:33:38 YACY yacyClient.permissionTransfer error:The host did not accept the connection within timeout of 60000 ms
I 2008/10/16 09:33:38 PLASMA RankingDistribution - error transmitting file G:\YaCy\DATA\RANKING\GLOBAL\014_othercr\CRG-A-20081010164921774.yPwWYMMAB2gB.cr.gz to 85.178.71.166:8080: no connection to remote address 85.178.71.166:8080; phase 1
E 2008/10/16 09:33:38 YACY yacyClient.permissionTransfer error:Connection factory has been shutdown.
I 2008/10/16 09:33:38 PLASMA RankingDistribution - error transmitting file G:\YaCy\DATA\RANKING\GLOBAL\014_othercr\CRG-A-20081010164921774.yPwWYMMAB2gB.cr.gz to 85.25.147.200:8080: no connection to remote address 85.25.147.200:8080; phase 1
E 2008/10/16 09:33:38 YACY yacyClient.permissionTransfer error:Connection factory has been shutdown.
I 2008/10/16 09:33:38 PLASMA RankingDistribution - error transmitting file G:\YaCy\DATA\RANKING\GLOBAL\014_othercr\CRG-A-20081010164921774.yPwWYMMAB2gB.cr.gz to 80.134.231.76:8091: no connection to remote address 80.134.231.76:8091; phase 1
E 2008/10/16 09:33:38 YACY yacyClient.permissionTransfer error:Connection factory has been shutdown.
I 2008/10/16 09:33:38 PLASMA RankingDistribution - error transmitting file G:\YaCy\DATA\RANKING\GLOBAL\014_othercr\CRG-A-20081010164921774.yPwWYMMAB2gB.cr.gz to 88.76.213.204:8080: no connection to remote address 88.76.213.204:8080; phase 1
I 2008/10/16 09:33:38 PLASMA cleanupJob: Shutdown detected
S 2008/10/16 09:33:41 THREAD-CONTROL thread 'java.lang.reflect.Method.parseDocument.9' terminated.
S 2008/10/16 09:33:41 THREAD-CONTROL thread 'java.lang.reflect.Method.parseDocument.10' terminated.
S 2008/10/16 09:33:41 THREAD-CONTROL thread 'java.lang.reflect.Method.parseDocument.11' terminated.
S 2008/10/16 09:33:45 THREAD-CONTROL thread 'java.lang.reflect.Method.condenseDocument.8' terminated.
S 2008/10/16 09:33:45 THREAD-CONTROL thread 'java.lang.reflect.Method.condenseDocument.6' terminated.
S 2008/10/16 09:33:45 THREAD-CONTROL thread 'java.lang.reflect.Method.condenseDocument.7' terminated.
S 2008/10/16 09:33:48 THREAD-CONTROL thread 'java.lang.reflect.Method.webStructureAnalysis.4' terminated.
S 2008/10/16 09:33:48 THREAD-CONTROL thread 'java.lang.reflect.Method.webStructureAnalysis.5' terminated.
S 2008/10/16 09:33:48 THREAD-CONTROL thread 'java.lang.reflect.Method.webStructureAnalysis.3' terminated.
S 2008/10/16 09:33:50 THREAD-CONTROL thread 'java.lang.reflect.Method.storeDocumentIndex.0' terminated.
S 2008/10/16 09:33:50 THREAD-CONTROL thread 'java.lang.reflect.Method.storeDocumentIndex.1' terminated.
S 2008/10/16 09:33:50 THREAD-CONTROL thread 'java.lang.reflect.Method.storeDocumentIndex.2' terminated.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\wiki.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\wiki-bkp.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\blog.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\SETTINGS\user.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\bookmarks.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\bookmarkTags.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\bookmarkDates.db' closed.
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\WORK\message.db' closed.
I 2008/10/16 09:33:51 STACKCRAWL Shutdown. Flushing remaining 0 crawl stacker job entries. please wait.
I 2008/10/16 09:33:51 STACKCRAWL Shutdown. Closing stackCrawl queue.
I 2008/10/16 09:33:51 PLASMA Saving Web Structure File
D 2008/10/16 09:33:51 KELONDRO file 'G:\YaCy\DATA\PLASMADB\urlNoticeCoreStack9.stack' closed.


Dann habe ich aber mal noch nen Threaddump gemacht, vielleicht hilft das mehr weil aus dem Log sieht man ja nichts spannendes heraus. Das ganze mit jstack, da der Threaddump auch gut 12k Zeilen umfasst. Es scheint immer die gleiche Meldung zu sein, in dieser Art:

Code: Alles auswählen

"Session_141.52.175.25:54672#2" prio=10 tid=0x3c9b0400 nid=0x1260 waiting for monitor entry [0x4934e000..0x4934fb14]
   java.lang.Thread.State: BLOCKED (on object monitor)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:218)
   - waiting to lock <0x10d84b58> (a de.anomic.crawler.Balancer)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:190)
   at urls.respond(urls.java:67)
   at sun.reflect.GeneratedMethodAccessor17.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:994)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:598)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:249)
   at de.anomic.http.httpd.POST(httpd.java:626)
   at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
   at java.lang.reflect.Method.invoke(Unknown Source)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:737)
   at de.anomic.server.serverCore$Session.run(serverCore.java:618)

bzw http://philoptik.dyndns.org/dump.txt - 740KB


Vielleicht ist das Problem was ganz einfaches, vielleicht hab ich aber auch irgendwie was mit der ganzen Datenbank versaut? Habe halt eher wenig bis überhaupt keine Ahnung von Java und Co, vielleicht werdet ihr aus den gelieferten Daten schlauer ;)
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Shutdown-Zeit

Beitragvon Orbiter » Do Okt 16, 2008 11:07 am

nach genauer Analyse deines thread dumps glaube ich das jemand einen DoS auf das remote crawl interface fährt!

um das Problem kurzfristig zu lösen bitte ich darum das File htroot/yacy/urls.xml zu löschen

Ich muss dazu einen DoS-Attack Schutz bauen und du bekommst die gelöschte Datei dann wieder über das auto-update wieder.
Mal gucken ob ich das nachher nach der Arbeit in der S-Bahn hinbekomme..
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Shutdown-Zeit

Beitragvon Phiber » Do Okt 16, 2008 11:25 am

Danke für die schnelle Antwort.

Ich habe jetzt mal die urls.xml gelöscht sowie den Port 8080 zugemacht. D.h. kein DHT und keine Remotecrawls mehr.

CPU-Belastung immer noch bei 50%, im Performance-Menü sieht man jetzt halt dass 99% der Zeit für YaCy-Core draufgeht (da ja auch kein dht/crawl mehr).

Ob das ganze an ner Dos-Attacke liegt? Vielleicht eher intern dass sich YaCy/Java selbst aufhängt weil der Crawl-Monitor nicht erreichbar ist?
Vielleicht ist ja auch mal was kaputt gegangen, habe YaCy jetzt immerhin schon 4-5 mal abgeschossen usw.

Danke schonmal für die Hilfe und falls ich noch was machen/posten soll einfach sagen, nochn Threaddump, Einstellungen, Logs oder ähnliches.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Shutdown-Zeit

Beitragvon Orbiter » Do Okt 16, 2008 12:36 pm

da dein thread dump mit den blockierten urls-Zugriffen voll war, und das nun nicht mehr so sein kann, muss was anderes nun deine Performance fressen. Kannst du bitte nochmal einen Thread dump machen?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Shutdown-Zeit

Beitragvon Phiber » Do Okt 16, 2008 12:58 pm

Joah er ist deutlich kleiner geworden und es sieht auch vielseitiger aus ;)

http://philoptik.dyndns.org/dump2.txt
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Shutdown-Zeit

Beitragvon Phiber » Fr Okt 17, 2008 5:33 pm

Hum nachdem ich gerade nach Hause kam läuft jetzt wieder alles. Cpu Belastung ist auf 0, alle Remote Crawljobs sind abgearbeitet. Threaddump sieht auch gut aus, http://philoptik.dyndns.org/dump3.txt

Werde jetzt mal auf die neueste Version updaten und den Port wieder aufmachen, mal schauen.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste