[Closed] Probleme mit der Crawling-Queue

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[Closed] Probleme mit der Crawling-Queue

Beitragvon PCA42 » Do Mär 03, 2011 4:59 pm

Ich wusste nicht so recht, wie ich das Problem beschreiben soll: mein Peer führt derzeit kein DHT-Out aus, auch werden keine Remote-Crawl-Jobs geholt. Die entsprechenden Einstellungen sind jedoch alle vorhanden. Verwendet wird die aktuelle SVN 7544. Ich kann leider nicht sagen, mit welcher SVN das Problem aufgetreten ist, da ich mit dem Server eh einige Probleme hatte und den gestern neu aufgesetzt habe.
Zuletzt geändert von PCA42 am Di Mär 22, 2011 3:54 pm, insgesamt 2-mal geändert.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Komisches Verhalten

Beitragvon sixcooler » Do Mär 03, 2011 5:09 pm

Hallo,

funktionert das crawlen noch?
ist der Peer Senior/Junior?
Gibt es evtl. etwas im Log?

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Komisches Verhalten

Beitragvon PCA42 » Do Mär 03, 2011 6:38 pm

Also der Peer läuft als Senior. Aber das mit Crawler hat uns vielleicht der Lösung näher gebracht. Der Peer hatte nämlich in der lokalen Crawling-Queue noch einen Eintrag, der aber nirgends angezeigt wird. Sobald ein lokaler Crawling-Auftrag kommt, scheint er die Queue zu resetten. Danach läuft auch wieder DHT-Out und Remote-Crawling.

Im Log ist vorher kein Fehler zu sehen, hier mal ein Threaddump:
Code: Alles auswählen
************* Start Thread Dump Thu Mar 03 18:20:48 CET 2011 *******************

YaCy Version: 0.99/7544
Assigned   Memory = 3728277504
Used       Memory = 1001180760
Available  Memory = 2727096744


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= httpd:8090 id=137 RUNNABLE
at java.net.ServerSocket.accept(ServerSocket.java:430)
at de.anomic.server.serverCore.job(serverCore.java:320)
at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)


Thread= Session_79.232.141.210:49421#0 id=20532 RUNNABLE
at java.lang.Thread.getAllStackTraces(Thread.java:1530)
at Threaddump_p.respond(Threaddump_p.java:90)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1223)
at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:809)
at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:237)
at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:409)
at sun.reflect.GeneratedMethodAccessor15.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:732)
at de.anomic.server.serverCore$Session.run(serverCore.java:629)



THREADS WITH STATES: TIMED_WAITING

Thread= Thread-1 id=10 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at net.yacy.kelondro.util.MemoryTracker.run(MemoryTracker.java:57)


Thread= Thread-6 id=26 TIMED_WAITING
at java.lang.Object.wait(Native Method)
at net.yacy.cora.protocol.http.HTTPClient$IdledConnectionEvictor.run(HTTPClient.java:649)


Thread= de.anomic.crawler.CrawlQueues.coreCrawlJob id=133 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.remoteCrawlLoaderJob id=132 TIMED_WAITING
Thread= de.anomic.crawler.CrawlQueues.remoteTriggeredCrawlJob id=131 TIMED_WAITING
Thread= de.anomic.search.Switchboard.cleanupJob id=129 TIMED_WAITING
Thread= de.anomic.search.Switchboard.dhtTransferJob id=136 TIMED_WAITING
Thread= de.anomic.search.Switchboard.surrogateProcess id=130 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.peerPing id=135 TIMED_WAITING
Thread= de.anomic.yacy.yacyCore.publishSeedList id=134 TIMED_WAITING
at java.lang.Thread.sleep(Native Method)
at net.yacy.kelondro.workflow.AbstractBusyThread.ratz(AbstractBusyThread.java:218)
at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:182)



THREADS WITH STATES: WAITING

Thread= main id=1 WAITING
at java.util.concurrent.Semaphore.acquire(Semaphore.java:286)
at de.anomic.search.Switchboard.waitForShutdown(Switchboard.java:2578)
at net.yacy.yacy.startup(yacy.java:382)
at net.yacy.yacy.main(yacy.java:1017)


Thread= Java2D Disposer daemon id=148 WAITING
Thread= partition_pool-1-thread-1 id=27 WAITING
Thread= partition_pool-1-thread-2 id=28 WAITING
Thread= partition_pool-1-thread-7 id=33 WAITING
Thread= partition_pool-1-thread-8 id=34 WAITING
Thread= sorting_pool-1-thread-3 id=29 WAITING
Thread= sorting_pool-1-thread-4 id=30 WAITING
Thread= sorting_pool-1-thread-5 id=31 WAITING
Thread= sorting_pool-1-thread-6 id=32 WAITING
at java.lang.Thread.run(Thread.java:662)


Thread= Thread-18 id=57 WAITING
Thread= Thread-19 id=58 WAITING
Thread= Thread-20 id=59 WAITING
Thread= Thread-21 id=60 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:399)
at net.yacy.kelondro.blob.Compressor$Worker.run(Compressor.java:111)


Thread= Thread-5 id=25 WAITING
at java.util.concurrent.Semaphore.acquire(Semaphore.java:286)
at net.yacy.kelondro.rwi.IODispatcher.run(IODispatcher.java:149)


Thread= Reference Handler daemon id=2 WAITING
at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:116)


Thread= condenseDocument_pool-1-thread-33 id=110 WAITING
Thread= condenseDocument_pool-1-thread-34 id=112 WAITING
Thread= condenseDocument_pool-1-thread-35 id=114 WAITING
Thread= condenseDocument_pool-1-thread-36 id=116 WAITING
Thread= condenseDocument_pool-1-thread-37 id=118 WAITING
Thread= job_pool-1-thread-19 id=82 WAITING
Thread= job_pool-1-thread-20 id=84 WAITING
Thread= job_pool-1-thread-21 id=86 WAITING
Thread= job_pool-1-thread-22 id=88 WAITING
Thread= job_pool-1-thread-23 id=90 WAITING
Thread= job_pool-1-thread-24 id=92 WAITING
Thread= job_pool-1-thread-25 id=94 WAITING
Thread= parseDocument_pool-1-thread-38 id=120 WAITING
Thread= parseDocument_pool-1-thread-39 id=122 WAITING
Thread= parseDocument_pool-1-thread-40 id=124 WAITING
Thread= parseDocument_pool-1-thread-41 id=126 WAITING
Thread= parseDocument_pool-1-thread-42 id=128 WAITING
Thread= storeDocumentIndex_pool-1-thread-10 id=38 WAITING
Thread= storeDocumentIndex_pool-1-thread-11 id=40 WAITING
Thread= storeDocumentIndex_pool-1-thread-12 id=42 WAITING
Thread= storeDocumentIndex_pool-1-thread-13 id=44 WAITING
Thread= storeDocumentIndex_pool-1-thread-14 id=46 WAITING
Thread= storeDocumentIndex_pool-1-thread-15 id=48 WAITING
Thread= storeDocumentIndex_pool-1-thread-16 id=50 WAITING
Thread= storeDocumentIndex_pool-1-thread-17 id=52 WAITING
Thread= storeDocumentIndex_pool-1-thread-18 id=54 WAITING
Thread= storeDocumentIndex_pool-1-thread-26 id=96 WAITING
Thread= storeDocumentIndex_pool-1-thread-27 id=98 WAITING
Thread= storeDocumentIndex_pool-1-thread-9 id=36 WAITING
Thread= webStructureAnalysis_pool-1-thread-28 id=100 WAITING
Thread= webStructureAnalysis_pool-1-thread-29 id=102 WAITING
Thread= webStructureAnalysis_pool-1-thread-30 id=104 WAITING
Thread= webStructureAnalysis_pool-1-thread-31 id=106 WAITING
Thread= webStructureAnalysis_pool-1-thread-32 id=108 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:399)
at net.yacy.kelondro.workflow.WorkflowProcessor.take(WorkflowProcessor.java:104)
at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:57)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)


Thread= Finalizer daemon id=3 WAITING
at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:159)


Thread= Log Runner id=9 WAITING
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:399)
at net.yacy.kelondro.logging.Log$logRunner.run(Log.java:322)



THREADS WITH STATES: NEW


THREADS WITH STATES: TERMINATED


************* End Thread Dump Thu Mar 03 18:20:48 CET 2011 *******************
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Komisches Verhalten

Beitragvon Lotus » Do Mär 03, 2011 7:24 pm

PCA42 hat geschrieben:Also der Peer läuft als Senior. Aber das mit Crawler hat uns vielleicht der Lösung näher gebracht. Der Peer hatte nämlich in der lokalen Crawling-Queue noch einen Eintrag, der aber nirgends angezeigt wird. Sobald ein lokaler Crawling-Auftrag kommt, scheint er die Queue zu resetten. Danach läuft auch wieder DHT-Out und Remote-Crawling.

Das habe ich auch jüngst schon beobachtet, war aber irgendwann wieder weg.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Komisches Verhalten

Beitragvon PCA42 » Do Mär 03, 2011 8:03 pm

Tja, mein Peer scheint öfter hinzubekommen. Ist halt was besonderes der Kleine ;-)

Ich hab nochmal die Logs durchgesehen: als erstes verweigert der Index-Dispatcher die Arbeit und DHT-Out findet nicht mehr statt. Remote-Crawling hält danach noch ein paar Minuten durch bevor der Peer dann auch das nicht mehr haben will.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Komisches Verhalten

Beitragvon Orbiter » Fr Mär 04, 2011 12:04 pm

ich hab das nicht. Kannst du mal verschiedene alte Versionen durchtesten und schauen ab welcher Version das auftritt? Kann ja noch nicht so lange her sein.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Komisches Verhalten

Beitragvon Lotus » Mo Mär 07, 2011 9:58 pm

Ich habe nun wieder einen unsichtbaren Eintrag in der Queue. Welche Datei ist interessant? Log ist völlig unauffällig. (own search portal config) Antwort von mir gibt es erst morgen wieder.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Komisches Verhalten

Beitragvon PCA42 » Di Mär 08, 2011 5:34 am

Orbiter hat geschrieben:ich hab das nicht. Kannst du mal verschiedene alte Versionen durchtesten und schauen ab welcher Version das auftritt? Kann ja noch nicht so lange her sein.

Kurzer Zwischenbericht: bin derzeit dei der SVN 7472. Auch dort besteht bereits das Problem. Ich kämpfe mich weiter rückwärts durch.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Komisches Verhalten

Beitragvon PCA42 » Mi Mär 09, 2011 3:52 pm

SVN 7456 besteht das Problem auch. Ich werde aber aufgrund der erfolgten Änderungen jetzt erstmal die aktuelle SVN testen. Vielleicht hat sich das Problem durch die Arbeiten an der Crawler-Queue erledigt.

Edit: die nicht sichtbare URL hängt wie es aussieht im Noload-Queue. In der entsprechenden urlNoticeNoLoadStack9.db ist genau 1 Eintrag. Die URL ist sehr lang (278 Zeichen). Ist das vielleicht das Problem???
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Komisches Verhalten

Beitragvon Orbiter » Mi Mär 09, 2011 6:04 pm

fix in SVN 7576
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Komisches Verhalten

Beitragvon Quix0r » Mi Mär 09, 2011 11:18 pm

Zuletzt geändert von Quix0r am Do Mär 10, 2011 5:56 pm, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Komisches Verhalten

Beitragvon PCA42 » Do Mär 10, 2011 4:25 pm

Mal ein Moderationsvorschlag: den Beitrag von Quix0r als separaten Thread mit Thema "Self-Ping" abtrennen. Mein Thema hab ich mal passender benannt.

Nun zum Thema:
Orbiter hat geschrieben:fix in SVN 7576

Leider hab ich nach ca. 24 Stunden wieder einen toten Eintrag im NoLoader-Stack. Das ist vielleicht nur ein Resultat eines Problems an einer anderen Stelle. Ich mach mich dann mal wieder an das Testen von alten Versionen.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Probleme mit der Crawling-Queue

Beitragvon Quix0r » Do Mär 10, 2011 5:57 pm

Danke @PCA42. Hab das schnell mal selbst gemacht. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Probleme mit der Crawling-Queue

Beitragvon PCA42 » Di Mär 22, 2011 3:54 pm

Das Problem scheint sich durch die zahlreichen Änderungen und Hacks der letzten Zeit erledigt zu haben. Seit mehr als einer Woche läuft der Peer stabil und mit Crawler gemütlich vor sich hin.

Deshalb: /closed
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron