[INVALID] CoreCrawl stockt und keine Seitenaufrufe mehr ...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[INVALID] CoreCrawl stockt und keine Seitenaufrufe mehr ...

Beitragvon Quix0r » Sa Apr 11, 2009 6:50 pm

Ich erhalte derzeit massig viele dieser Meldungen:
CRAWLER CoreCrawl: too many processes in loader queue, dismissed (cacheLoader=200)


Habe ich zu viele Crawler-Profile erstellt? Oder muss ich wo die Grenze anheben?

Ich kann derzeit nicht mehr die Proxy-Funktion verwenden.

VG,
Roland

Edit: Die Slot-Einstellungen sind wohl mittlerweile deprecated.
Zuletzt geändert von Quix0r am Di Feb 02, 2010 8:44 pm, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Quix0r » Sa Apr 11, 2009 7:05 pm

Okay, ein paar Slot-Eintraege und Anzahl Threads mussten angehoben werden. Hat sich erstmal erledigt.

PS: Sauber Runterfahren klappte nicht. Ich musste per "killall java" alles rauskillen. Ueberarbeitet das mal bitte.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Quix0r » Sa Apr 11, 2009 7:06 pm

I 2009/04/11 20:10:28 INDEX TRANSFER DISPATCHER STORE: Chunk YGY0TibDAc__ has failed to transmit index; marked peer as busy


Hat das auch damit zu tun?

Oder:
I 2009/04/11 20:15:22 PLASMA dhtTransferJob: no selection, too many entries in transmission cloud: 69
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Orbiter » So Apr 12, 2009 1:44 am

ich hab das auch beobachtet, weiss aber nicht wo das jetzt her kommt. Ursache ist, dass die loader queue tatsächlich voll ist, und nach einem kill -3 sieht man das es daran liegt dass im apache http client ein deadlock ist. Ich muss jetzt erst mal rausfinden wie dieser deadlock provoziert wurde und wie man das wieder abstellen kann. wer sich mit dem apache http client auskennt bitte melden!
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Orbiter » Mo Apr 13, 2009 10:22 pm

ich glaube ich habe das Problem gefunden, fix in SVN 5801
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Quix0r » Di Apr 21, 2009 10:53 am

Hab mir das als Mail nach Hause geschickt. Werde das heute Abend nachsehen, ob die letzten beiden Meldungen noch kommen. Jedenfalls stockt es nun nicht mehr. Lag wohl zum einem an deinem Fix, zum anderen an den wenigen, vergebenen Slots.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Low012 » Mo Apr 27, 2009 10:04 am

Bei mir tritt das Problem weiter auf, wenn ich stark crawle (PPM > 250). Ich habe hier vor einiger Zeit mal einen Threaddump gepostet (war da wohl etwas OT und ist deshalb zu Recht dort untergegangen) . Der Threaddump stammt (IIRC) noch von einem Zeitpunkt vor der Änderung, aber auch danach habe ich das gleiche Problem öfter gehabt. Bei Bedarf kann ich aktuelle Threaddumps erzeugen, ein Deadlock lässt sich in vertretbarer Zeit provozieren.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Quix0r » Mo Apr 27, 2009 12:38 pm

@Low012: Wie sehen deine Slot-Einstellungen aus, sprich wenn du unter http://localhost:8080/ConfigProperties_p.html slots eingibst?

Bei mir:
indexer.slots=200
stacker.slots=2000

Wobei ich ersteren nach oben korregiert habe und damit besser zurecht komme.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Low012 » Mi Apr 29, 2009 5:00 pm

Sorry, ich habe eine etwas verzögerte Reaktionszeit. Dienstreise...

80 und 2000 sind die Werte bei mir. Ich denke mal, das ist Standard, weil ich mich nicht erinnern kann, da mal was dran geändert zu haben.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: CoreCrawl stockt und keine Seitenaufrufe mehr moeglich durch

Beitragvon Quix0r » Do Mai 28, 2009 9:58 am

In diesem Posting habe ich eine config mit angehängt, die bei mir sehr performant arbeitet. Vielleicht mag sich der eine odere sie sich ansehen? :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste