großere queues legen alle peers lahm

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

großere queues legen alle peers lahm

Beitragvon iqualfragile » Mi Jul 11, 2012 7:20 pm

mir ist aufgefallen dass zum einen einer meiner peers regelmäsig einknickt wenn er viel zu crawln hat, zum anderen ist mir aufgefallen, dass kaum mehr remotegecrawlt wird.
das liegt daran dass der kontakt zu jedem peer der was zum crawln freigibt sofort passiv wird (ich habe das auch mal mit 2 eigenen peers durchgespielt)
zudem crawln die überladenen peer auch selbst kaum mehr bis garnicht und sind von außen kaummehr bis garnicht zu erreichen.

es ist naturlich unvorteilhaft für ne dezentrale suchmaschiene wenn kaum mehr gecrawlt wird und man die jobs nicht an willige abnehmer verteilen kann.
kann man da irgendwas an den einstellungen schrauben (und jetzt kommt mir nicht mit mehr ram, 9,5 gb sollten reichen) oder ist das ein bug?

reproduzieren:
1. auf /Network.html?page=1 gibt es nie welche mit „URLs zum Remote Crawlen“, auf /Network.html?page=2 schon
2. einfach mal nen unbegrenzten crawl auf dmoz.org starten und sich die logfile betrachten, da die weboberfläche abstürtzt. man wird sehen dass kaum bis garnicht gecrawlt wird
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon bbtuxi » Mi Jul 11, 2012 7:37 pm

Kann ich bestätigen, eine "frische Installation" ist um ein vielfaches schneller beim crawlen als ein peer der schon 5-6 Milllionen Links hat und bei dem die Crawler Warteschlange voll ist....

grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Mi Jul 11, 2012 8:44 pm

nur um den einen Fall auszuschliessen: Das crawlen von einzelnen Domänen verlangsamt sich pro domäne automatisch (in YaCy sog. 'Flux' Kompensation :) damit die gleichen Targets nicht über Tage 'behämmert' werden). Ein Neustart entfern die Kompensation.
was wird denn beim Crawlen lahmgelegt, das http Interface?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Mi Jul 11, 2012 9:10 pm

nein, das ist es deeefinitiv nicht, 1. hab ich mindestens 300 domains und 2. halfen auch stündliche neustarts nichts


wie bereits geschrieben: die gesammte interaktion mit der außenwelt bis auf das logschreiben
kaum bis keine interaktion mit anderen peers, das http-interface* ist down/ seeehr langsam und gecrawlt wird auch nicht mehr.

*bei dem mir übrigens ein kleiner fehler aufgefallen ist: auf Status.html müsste 2 mal Puffer durch Queue ersetzt werden.
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Do Jul 12, 2012 1:24 am

so blöd es sich anhört aber ich glaube ich hab eine mögliche lösung schon gefunden weil ich hier bei einem Testcrawl ein memory leak im logging entdeckt habe: wird der log schneller geschrieben als eine queue im logger die wieder leer schreiben kann, wird die immer größer und macht dann irgenwann ein Speicherproblem welches sich auch durch einen Ausfall des httpd bemerkbar macht. Ich hab das hier beobachtet jedenfalls. Dazu ist ein Bugfix raus. Bitte damit probieren.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Do Jul 12, 2012 10:22 am

ok, ich teste
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Do Jul 12, 2012 12:52 pm

jetzt ist es ein wenig besser, er reagiert zwar immernoch recht langsam (weboberfläche) aber er reagiert
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Do Jul 12, 2012 2:06 pm

und der peer ist auch von anderen peers erreichbar
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Do Jul 12, 2012 5:47 pm

hm, 'ein wenig besser' werte ich noch nicht als Erfolg. Muss noch was anderes sein. Was sagt denn so ein mehrfach-Threaddump? (aus dem Interface)
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Fr Jul 13, 2012 12:04 am

ich weiß zwar nicht genau worauf ich achten soll aber hier ein 1000 facher threaddump, momentane symptome/status:
der peer hat 114.196 urls in der lokalen und 299.978 urls in der globalen warteschlange, dabei darf er 1200mb arbeitsspeicher nutzen
er crawlt zwar lustig vor sich hin hat aber kaum „Ergebnisse der Remote Crawl Rückmeldungen“ (6)
und wird auch von meinem anderen peer als offline angesehen (dieser idelt und wartet auf remotecrawls, die ihn aber nicht erreichen weil alle peers die was zur verfügung stellen passiv oder offline zu sein erscheinen)

(wieso will dieses naziforum unbedingt eine dateiendung haben?)
"Die Dateierweiterung txt ist nicht erlaubt." was?
aber 7z ist ok oder wie -.-
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Fr Jul 13, 2012 6:59 am

also ich muss meinen hoster schon ein wenig schützen und hab deine schindluderanleitung ersatzlos entfernt. Ich gucke mir das log aber an.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Fr Jul 13, 2012 9:20 am

das war nicht offensiv gemeint, ich wollte da lediglich ne nettere zahl bei den downloads stehen haben :D
(und ich war genervt dass dieses forum eine pseudosicherhet durch verbotenen textdateien aufbaut, das ist aber eher nebesächlich)
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Fr Jul 13, 2012 9:28 am

auserdem war da immernoch ne pause, man hätte auch irgendwas wie for (( ibealeintrae )); do wget iaeuiaeuiae6; done machen können
zurück zum thema: meldest du dich wen ich nochmal testen soll?
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Sa Jul 14, 2012 12:13 pm

ja; dein dump war interessant und hat noch einen overhead in den datenbank-coreroutinen offenbart. Ausserdem ein patch für mögliche Probleme beim Balancer der helfen sollte wenn man extrem viele verschiedene hosts in der crawl queue hat. Ich vermute mal das war bei dir so?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » Sa Jul 14, 2012 12:29 pm

kommt drauf an was du mit extrem viele meinst, zum testen habe ich einen crawl mit tiefe 8 auf dmoz gestartet
und normalerweise werte ich squidlogs eines größeren netzwerkes aus
also ja, wahrscheinlich vergleichsweise viele domains
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » So Jul 15, 2012 1:03 pm

und wie läufts nun?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: großere queues legen alle peers lahm

Beitragvon iqualfragile » So Jul 15, 2012 5:02 pm

schwankend, mal klappt es mal nicht
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: großere queues legen alle peers lahm

Beitragvon Orbiter » Mo Jun 24, 2013 10:25 am

welche Sperre?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast