[CLOSE] 6758: InterruptedException wenn DHT+Crawler ...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[CLOSE] 6758: InterruptedException wenn DHT+Crawler ...

Beitragvon Quix0r » So Mär 21, 2010 2:24 am

Ist die Node mit lokalen und Remote-Crawls + DHT beschaeftigt, kommen haeufiger die InterruptedException, wo fuer es wohl noch keine Erklaerung gibt. Ich bin da einen Schritt weiter gekommen. :)

Wie [code=http://forum.yacy-websuche.de/viewtopic.php?f=5&t=2690]hier[/code] angedeutet, hatte ich meine Node tagelang nur Crawlen lassen. Waehrend dieser Zeit kamen zwar noch ein paar SocketExceptions wegen abgerissener Verbindungen, aber die InterruptedException im Loader kamen nicht mehr.

Dazu hier eine: (von sehr vielen!)
Code: Alles auswählen
W 2010/03/21 02:17:44 StackTrace null
java.lang.InterruptedException
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireInterruptibly(AbstractQueuedSynchronizer.java:1135)
        at java.util.concurrent.locks.ReentrantLock.lockInterruptibly(ReentrantLock.java:312)
        at java.util.concurrent.LinkedBlockingQueue.put(LinkedBlockingQueue.java:241)
        at net.yacy.kelondro.workflow.WorkflowProcessor.enQueue(WorkflowProcessor.java:154)
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1226)
        at de.anomic.crawler.CrawlQueues$crawlWorker.run(CrawlQueues.java:567)

Ich hatte weiter rausbekommen, dass je mehr Loader aktiv sind, auch mehr die IEs kommen, sind aber zu wenig einstellt, hat sich die Node beim Crawlen oefters "festgefressen", also hat einfach aufgehoert zu Crawlen, bis die IE wieder kam.

Waehrend dieser DHT-freien Zeit kamen ja wie bereits gesagt keine einzige (!) IE. Nun habe ich DHT wieder aktiviert (rein und raus + Remote-Crawls akzeptiert) und ploetzlich kommen die IEs wieder haeufiger.

Es muss hier somit ein Missverstaendnis zwischen dem DHT-Code und dem Crawler vorliegen. Leider kann ich das nicht einfacher erklaeren, da diese Situation sehr komplex ist.

Edit: Nach einigen Stunden guten Crawlens (~1000 PPM!) war dann Schluss:
Code: Alles auswählen
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
I 2010/03/21 16:09:17 INDEX-TRANSFER-DISPATCHER STORE: Chunk A-Qqu2Ozjd__ has failed to transmit index; marked peer as busy
Zuletzt geändert von Quix0r am Do Sep 23, 2010 4:48 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Orbiter » Mo Mär 22, 2010 10:16 am

ich sehe hier keinen Zusammenhang mit DHT, denn das Problem tritt vor allem bei einem local crawl auf. Die Ursache der Interruption konnte ich ebenfalls nicht finden, es gibt hier aber einen internen Steuermechanismus der Blocking Queue die ich verwende die sich selbst diese Interruption zuwirft. Es ist offenbar eine Eigenart dieser Blocking Queue. Um das ganze zu Catchen hab ich es umbaut, fix ist in SVN 6759
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Quix0r » Mo Mär 22, 2010 3:47 pm

Bei mir liefen lokale Crawls - Robinson-Mode, public node - ohne einer IE, sobald ich DHT aktiviert habe (Peer-2-Peer Mode), kamen die IEs und Einfrierer wie im ersten Posting gezeigt (ab Edit).

Hier ein Screenshot von den haengenden Loadern: SVN 6760
screenshot-20100322_1636.png
Haengende Loader
screenshot-20100322_1636.png (115.89 KiB) 760-mal betrachtet
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Quix0r » Di Mär 23, 2010 4:56 am

Hmmm, leider muss ich mittlerweile YaCy fast im Stundentakt neustarten, da die Crawler nun einfach wegfrieren. :( Ich teste es mal mit 30, 100 und dann in 100-Schritte bis 500 aus, wie es sich auswirkt.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Quix0r » So Mär 28, 2010 11:09 pm

Keine Wirkung! Nur das gesamte Abschalten des DHT (Robinson-Mode, public peer) schaffte Abhilfe. Dafuer aber crawlt YaCy nun mit meistens ~50 PPM, selten kommt er an die hundert ran. Sowohl lokaler als auch der Global-Stack sind mit je 3 Mio. bzw. 9 Mio. URLs befuellt. Kann also nicht an gezwungenen Delays liegen.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Orbiter » Mo Mär 29, 2010 9:22 am

dann gucke doch mal im log ob du nicht doch vielleicht extra delays hast. ich wüsste nämlich keinen Zusammenhang mit DHT an/aus.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 6758: InterruptedException wenn DHT+Crawler aktiv sind

Beitragvon Quix0r » Mo Mär 29, 2010 12:22 pm

Schau dir mal bitte dazu mein Patch an: viewtopic.php?f=6&t=2629&hilit=&p=19722#p19722

Aber das ist Off-Topic und wird bitte dann dort getrackt/diskutiert. :)
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron