Peer verliert alle Verbindungen und kann auch keine Aufbauen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon PCA42 » Mo Mai 11, 2009 3:12 pm

Heute ist es mir bereits zum zweiten Mal passiert, dass es meinem Peer (Root-Server) nicht mehr gelingt, Verbindungen selbst aufzubauen. Dieser Effekt ist nach ca. 1 1/2 Stunden Laufzeit aufgetreten. Der Peer war dabei mit Crawlen etc. beschäftigt. Er läßt sich sauber beenden. Ein Neustart behebt das Problem.

Im Log finde ich als markanten Punkt nur folgendes:
Code: Alles auswählen
W 2009/05/11 06:47:35 HTTPC cleanUp ConnectionInfo interrupted by ConcurrentModificationException

Danach sind finde ich keine Verbindung mehr, die durch den Peer angestoßen wurde.

Da meine Logs inzwischen auf 10 MB gesetzt sind, hab ich hier mal nur einen Link zu gz-Version davon: http://www.yacy-suche.de/yacy01.log.gz (Yacy als Web-Server ist auch nett ;))
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon Orbiter » Mo Mai 11, 2009 3:21 pm

setzt du deinen YaCy Webserver denn auch massiv ein? Ich meine sind da viele Hits drauf? Ich hab da mal ein ähnliches Problem gehabt, aber nur nachdem ich meine eigene YaCy Instanz zum Hosten von vielen Dateien für ein Intranet-Indexing eingesetzt habe.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon PCA42 » Mo Mai 11, 2009 3:31 pm

Nein, das hab ich jetzt nur für das Log gemacht.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon PCA42 » Di Mai 26, 2009 8:27 pm

Das Problem ist wieder aufgetreten. Das sind die letzte beiden Lebenszeichen für selbst etablierte ausgehende Verbindungen:
Code: Alles auswählen
D 2009/05/26 18:06:27 ROBOTS Trying to download the robots.txt file from URL 'http://bernard-henri-levy.blogspot.com/robots.txt'.
I 2009/05/26 18:06:28 BALANCER forcing crawl-delay of 58613 milliseconds for www.greekbdsmcommunity.com (forced latency)
D 2009/05/26 18:06:28 CRAWLER problem loading http://mek.oszk.hu/02400/02470/02470.pdf: REJECTED URL http://mek.oszk.hu/02400/02470/02470.pdf because file size '8259199' exceeds max filesize limit of 262144 bytes.
D 2009/05/26 18:06:28 ROBOTS Robots.txt successfully loaded from URL 'http://bernard-henri-levy.blogspot.com/robots.txt' in 196 ms.

Danach kann Yacy selbst keine Verbindung mehr anstoßen, nimmt aber noch Verbindungen von anderen Peers an:
Code: Alles auswählen
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Der_kleine_Prinz: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/members/7913: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/members/3791: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.stimme.de/sport/fussball/hoffenheim/Sinsheim-Rhein-Neckar-Arena-1899-Hoffenheim-Fussball-Bundesliga;art879%2C1436973: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Maryla_Rodowicz: Socket closed
E 2009/05/26 18:06:30 YACY yacyClient.crawlReceipt error:Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/blogs/9034/: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.donaukurier.de/lokales/polizei/ingolstadt/archiv353%2C20081026%2C0%2C10?fCMS=8b59445989797bfe94308c368af4a428: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.schwaebische-zeitung.de/lokales/sigmaringen/?SZONSID=988b03e803b9ec9db6ec2c0908fe6ac4: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Bohne: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/t16148/: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/t16258/: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/members/6405: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Benutzer:SonniWP: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Adjungierte_Matrix: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/members/4925: Socket closed
E 2009/05/26 18:06:30 YACY yacyClient.crawlReceipt error:Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Benutzer:Uwe_Gille: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Kategorie:Forschungsminister_(Deutschland): Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Willi_Betz: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/members/11595: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.lamiaterraladifendo.it/wp-login.php: Socket closed
E 2009/05/26 18:06:30 YACY yacyClient.crawlReceipt error:Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.greekbdsmcommunity.com/forums/t16149/: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Wirtschaftswissenschaft: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Spezial:Linkliste/Soziologie: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Ferdinand_T%C3%B6nnies: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Fl%C3%A4chenregel: Socket closed
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Portal:Italien: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/K%C3%BCrzung: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Chemie: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Spezial:Linkliste/Gel%C3%A4nde: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Numerische_Integration: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Laub_(Botanik): Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Portal:Brasilien: Connection factory has been shutdown.
D 2009/05/26 18:06:30 CRAWLER problem loading http://www.de.wikipedia.org/wiki/Holomorph: Connection factory has been shutdown.

Code: Alles auswählen
I 2009/05/26 18:06:31 PLASMA crawlReceipt: RECEIVED RECEIPT from oZalEwe62wAA:kit-0000-4008/0.8000596 for URL LJc_0WNVHMNR:http://www.de.wikipedia.org/wiki/Hieroglyphen
I 2009/05/26 18:06:31 PLASMA crawlReceipt: RECEIVED RECEIPT from yLgVQQlyRI0U:swissyacy/0.8100597 for URL RfwZGWNVHMNR:http://www.de.wikipedia.org/wiki/Vereinigte_Republik_Tansania
I 2009/05/26 18:06:31 PLASMA crawlReceipt: RECEIVED RECEIPT from YPPL8FIjhg4-:tp-guybrush242/0.8100597 for URL r22NuWNVHMNR:http://www.de.wikipedia.org/wiki/Multidimensionale_Datenbank
E 2009/05/26 18:06:31 YACY yacyClient.queryRemoteCrawlURLs error asking peer 'fsim-ev':java.io.IOException: Connection factory has been shutdown.
E 2009/05/26 18:06:31 YACY yacyClient.queryRemoteCrawlURLs error asking peer 'myacy':java.io.IOException: Connection factory has been shutdown.
E 2009/05/26 18:06:31 YACY yacyClient.queryRemoteCrawlURLs error asking peer 'tp-guybrush242':java.io.IOException: Connection factory has been shutdown.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon dulcedo » Do Mai 28, 2009 2:57 pm

Ist das das selbe wie im Indexer: "cannot load: load error - Connection factory has been shutdown."?
Das hat mir hier den Peer komplett zum Stillstand gebracht, er crawlt weder remote noch lokal, die Speicherkurve bewegt sich allerdings.
Im Log dieselben Meldungen, DHT macht er noch. Keinerlei blockierte Threads.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Peer verliert alle Verbindungen und kann auch keine Aufbauen

Beitragvon dulcedo » Fr Jun 12, 2009 2:00 pm

Hier eine neue Variante, ich denke das gehört hierher, das Log komplett gefüllt hiermit. DHT macht er wohl noch, aber diese Debugmeldung überschreibt alles. stopYACY ist mittlerweile eine Viertelstunde her.
Code: Alles auswählen
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.
D 2009/06/12 14:57:21 ROBOTS Trying to download the robots.txt file from URL 'http://digg.com/robots.txt'.

...
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron