peer sichtbarkeit bei starkem crawl

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

peer sichtbarkeit bei starkem crawl

Beitragvon liebel-lab » Do Nov 26, 2009 9:08 am

folgendes ist schon seit einiger zeit im sciencenet (svn: 6469) auffaellig:

startet ein peer starke crawlaktivitaet (ab 400-1200ppm) "verschwindet er fuer die anderen peers. Die sehen ihn dann rot. geht die crawlaktivitaet runter oder endet sie taucht der peer wieder auf...da etliche peers im sciencenet oefters "gas geben" fehlen dann ploetzlich 3-5 peers im netz...
feature? :-)
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Sa Jan 16, 2010 5:47 am

Sie sind zu stark belastet, um auf Anfragen rechtzeitig reagieren zu koennen. Das war auch u.a. der Grund, weshalb ich YaCy verbannt hatte (bitte tue das nicht). Ich denke, das mit Feature von dir war wohl ironisch gemeint... :mrgreen:
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Di Jan 19, 2010 11:58 am

So, jetzt meine ernsthaftere Antwort.

Versuche bitte diese Einstellungen. Sie sind als experimentell markiert. Ich kann das Interface und den Proxy bei Crawls jenseits 400 PPM (800 PPM war mal das hoechste) noch immer sehr gut erreichen, auch die Suche ist sehr schnell.

Bei Problemen solltest du wieder zurueckwechseln auf die Standart-Einstellungen (hatten bei mir Trouble gemacht). (Backup von yacy.conf bitte machen).

Und vorher vielleicht mal updaten. :) Die Einstellungen sind nur mit neueren Revisionen (ab 6591) getestet worden.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Orbiter » Di Jan 19, 2010 12:33 pm

wenn der Crawler arbeitet bleibt dem Server offenbar nicht genug Zeit oder bandbreite um zu antworten. Das wirkt sich dann auch auf den Peer-Ping aus, der wohl nicht zeitnah genug beantwortet wird. So wirklich übel ist das nicht, so werden tatsächlich beschäftigte Peers aus dem Netz ausgeblendet, aber beabsichtigt ist der Effekt eigentlich nicht.

In SVN 6596 habe ich daher mal an der Thread Priority gearbeitet und den Crawler Threads weniger Priority gegeben, was auch generell ok ist. Die Server Threads haben im Gegenzug mehr Priorität bekommen was ebenfalls generell für die Responsiveness gut ist. Beides zusammen sollte den oben beschriebenen Effekt mildern können, ob er ihn ganz verhindert weiss ich nicht.

Quix0rs Einstellungen gehen in die Richtung den Crawler zu bremsen, was ebenfalls den Effekt mildern kann. Dabei muss man sich aber fragen ob man genau das auch will, vielleicht ist es ja mal ok mit full speed zu crawlen und ein Abtauchen des Peers in der Zeit zu akzeptieren.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Di Jan 19, 2010 5:47 pm

Hmmm, das ganze koennte man mal versuchen, auf leistungsstaerkeren Systemen zu probieren, ich habe ja "nur" ein Quad-Core und "nur" eine IDE-Festplatte mit UDMA-133. :) Denn wenn ich hier mit >700 PPM (maximal waren mal 1000 PPM eingestellt), kommt meine Festplatte nicht mehr hinterher, was normal ist (zu viel IO).

Auch sollte der passende IO-Scheduler zusammen mit dem "Preemption Model" gewaehlt werden, ich habe meine Node als Desktop-System primaer in Verwendung und YaCy laeuft so "nebenbei" drauf. Somit unterziehe ich YaCy einer kleinen Feuertaufe. ;)

Den IO-Scheduler findet man unter "Enable the block layer" -> "IO Schedulers". Bei mir ist Deadline ausgewaehlt, ob das eine gute Wahl ist, weiss ich nicht, bis jetzt keine Probleme.

Dann kann noch unter "Processor type and features" -> "Preemption Model" No Forced Preemption (Server) ausgewaehlt werden, was fuer besseren IO-Durchlass sorgt (wichtig fuer Server). Bei Desktop-Systemen wuerde sich diese Einstellung z.B. beim Abspieln von DVDs stark negativ durch Sound-"Hickser" bemerkbar machen), der Voluntary Kernel Preemption (Desktop) ist bei mir ausgewaehlt und erlaubt z.B. Spielen ein "fluessigeres" Laufen, trotzdessen diese viel IO-Last erzeugen, da die Events eher bearbeitet werden.

Debian hat hier die Standart-Einstellungen, was wirklich zu Soundaussetzern fuehrte, waehrend IO-Last drauf war.

Extended-4 soll laut einem nun mittlerweile verschwundenen Heise-Artikel (nur noch kaeuflich erwerbbar) wegen der Extens performanter sein, was mal wirklich mit YaCy gebenchmarkt werden sollte. Hat wer Zeit/Lust? :)

Edit: Das Journal schreiben kostet ebenfalls IO und sollte vielleicht auf eire andere physikalische Platte verschoben werden, ist bei mir derzeit so. :)

Edit2: Hier ist der besagte Heise-Artikel zu Ext4: http://www.heise.de/open/artikel/Das-Li ... 21262.html
Zuletzt geändert von Quix0r am Sa Jan 30, 2010 4:34 pm, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: peer sichtbarkeit bei starkem crawl

Beitragvon dulcedo » Di Jan 19, 2010 9:53 pm

Quix0r hat geschrieben:Hmmm, das ganze koennte man mal versuchen, auf leistungsstaerkeren Systemen zu probieren, ich habe ja "nur" ein Quad-Core und "nur" eine IDE-Festplatte mit UDMA-133. :) Denn wenn ich hier mit >700 PPM (maximal waren mal 1000 PPM eingestellt), kommt meine Festplatte nicht mehr hinterher, was normal ist (zu viel IO).

Ich wage zu behaupten dass das bei dir in der Hauptsache am Hauptspeicher liegt, auch wenn nur ein Linux-Kernel läuft. Ich habe sogar unter Windows 2 sehr grosse YaCy-Instanzen gleuchzeitig auf meinem Arbeitsplatz neben Anwendungen wie Photoshop in Betrieb. Da kann eine nebenher mit 1000ppm crawlen, wenn sie denn den richtigen gut durchmischten Crawl zu bearbeiten hat. In 16GB Arbeitsspeicher auf einem AMDquad@3GHz. 12GB würden auch reichen, mit einer YaCy-Instanz 8.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Di Jan 19, 2010 10:31 pm

Quad-Core Intel 2.5 GHz und 6 GB RAM (1066 MHz, obwohl laut BIOS nur 6xx MHz erkannt wurden?)=, MSI-Board dass aber 1066 machen sollte. Sollte doch reichen? Na, bald kommen ja 4 GB dazu. :)

Und hier laufen auch eine Menge nebenher: Lighttd, MySQL, Pidgin, Mailer-Programm, Firefox (verbraucht laut htop 480 MB), BOINC-Client (braucht auch aehnlich viel wie Firefox, laut htop 387 MB). Der Rest verbraucht je 120-160 MB. Entwickle halt nebenbei. :) Und genau hier soll ja YaCy auch hauptsaechlich eingesetzt werden: Crawlen waehrend des ganz normalen Betriebes.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: peer sichtbarkeit bei starkem crawl

Beitragvon dulcedo » Mi Jan 20, 2010 7:25 am

Dann kann es ja nur am Hauptspeicher oder der gesamten Festplatten-IO liegen.
Sogar auf einem Atom N330 läuft YaCy sehr flüssig (last 50%), mit genügend RAM, soviel dass der insgesamt vor Prozessstart zugewiesene Speicher nicht mehr als der verfügbare beträgt.
Hast du mal beobachtet wie schnell deine platte schreibt wenn yacy auf grosse Dateien zugreift (./saidar beim shutdown ist aufschlussreich)? Normal sollten bei Desktop-Platten 60-90Mbyte/s möglich sein, kann dein System das (wegen swapping) nicht über längere Zeit am Stück dann können sich Vorgänge wie (neu)schreiben von Indexdateien oder auch GCs im RAM extrem in die Länge ziehen.In diesen Zeiten ist YaCy oft gar nicht erreichbar; Dann könnte schon eine eigene Festplatte (nicht Partition, das bewirkt das Gegenteil), auf der nur YaCy läuft Abhilfe schaffen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Mi Jan 20, 2010 8:58 am

Das ist hier wie folgt aufgebaut:
/dev/sda - SATA-Platte: (Debian mit system-optimierten Kernel, Swap per Loop-AES, Journal fuer /dev/hda per Loop-AES)
ata1.00: ATA-8: WDC WD1600AAJS-00M0A0, 01.03E01, max UDMA/133

/dev/hda - IDE-Platte: (/home/, wo auch YaCy drauf ist, ist per Loop-AES verschluesselt)
hda: Maxtor 6L200P0, ATA DISK drive
hda: host max PIO5 wanted PIO255(auto-tune) selected PIO4
hda: UDMA/133 mode selected

quix0r@quix0r:~/yacy$ free
total used free shared buffers cached
Mem: 6167020 5331356 835664 0 35996 2221072
-/+ buffers/cache: 3074288 3092732
Swap: 10000448 425484 9574964

Swapping passiert also schon, daher habe ich einen weiteren 4 GB RAM-Riegel geordert. Normalerweise wollte ich das Geld fuer Urlaub aufheben. :(
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: peer sichtbarkeit bei starkem crawl

Beitragvon dulcedo » Mi Jan 20, 2010 9:57 am

OT: Bei den Preisen momentan für die 4er lohnt schon fast ein neues Board mit 4 oder mehr DDR2 RAM-Steckplätzen, bei mehr als 4GB momentan am besten AM2+, bestes Preis/Leistungsverhältnis beim geringstem Stromverbrauch (rennt ja sicher 24/365). Erst bei Dauerlast ab 70% sind die Intel-Boards oder modernere Prozessoren wieder besser.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: peer sichtbarkeit bei starkem crawl

Beitragvon Quix0r » Mi Jan 20, 2010 3:00 pm

Ist eine Spiele- und Hobby-Maschine. Abgespeckte Prozessoren oder RAM-Module kommen nwegen Performance-Einbuessen nicht in Frage. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste