Multi-CPU unter Linux

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Multi-CPU unter Linux

Beitragvon Tommek » Fr Mär 26, 2010 11:06 am

Moin,
ich betreibe einen neuen Yacy-Server unter Ubuntu mit Kernel 2.6.31-19
Die Maschine hat 8 Cores, wie bekomme ich yacy respektive die Java-VM dazu mehrere Cores auszulasten.

sprich ist Yacy multicore fähig?

grüße
Tommek
 
Beiträge: 18
Registriert: Fr Mär 26, 2010 10:50 am

Re: Multi-CPU unter Linux

Beitragvon Vega » Fr Mär 26, 2010 12:12 pm

Hallo,

nach der Anmeldung als Admin in Yacy sollteten Dir in der rechten Sidebar unter "Systemressourcen:Prozessoren" erst einmal die Anzahl der CPU-Cores angezeigt werden die in Deinem Rechner vorhanden sind, wenn ja ist alles gut - Yacy ist Multicore fähig, und einige Funktionen in Yacy nutzen diese auch aus, genaueres kann Dir Michael (Orbiter) dazu sagen.

Gruß,
Thomas

Tommek hat geschrieben:Moin,
ich betreibe einen neuen Yacy-Server unter Ubuntu mit Kernel 2.6.31-19
Die Maschine hat 8 Cores, wie bekomme ich yacy respektive die Java-VM dazu mehrere Cores auszulasten.

sprich ist Yacy multicore fähig?

grüße
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Multi-CPU unter Linux

Beitragvon Tommek » Fr Mär 26, 2010 12:16 pm

ich sehe meine 8 cores dort auch, es wird aber nur einer ausgelastet.
Tommek
 
Beiträge: 18
Registriert: Fr Mär 26, 2010 10:50 am

Re: Multi-CPU unter Linux

Beitragvon Quix0r » Fr Mär 26, 2010 12:17 pm

Nach meinem Verstaendnis her sollte YaCy wegen des Multi-Threadings Multi-Core koennen, empfehlenswert - mindestens mal ausprobiert haben, wie es sich mit der Performance verhaelt - ist das Einstellen von Vega's GC-Einstellungen (Siehe Wiki, habe gerade den Link nicht zur Hand), dann werden mehr Kerne fuer den GC verwendet, mehr als die Haelfte sollten es aber nicht sein.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Multi-CPU unter Linux

Beitragvon Quix0r » Fr Mär 26, 2010 12:23 pm

Tommek hat geschrieben:ich sehe meine 8 cores dort auch, es wird aber nur einer ausgelastet.

Dann hat YaCy vermutlich gerade nicht so viel zu tun. Oder geb ihm mal ein paar unterschiedliche Crawl-Startpunkte.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Multi-CPU unter Linux

Beitragvon Orbiter » Fr Mär 26, 2010 12:26 pm

Tommek, skalieren auf multi-core sollte kein Problem sein, ist in YaCy rundum Pflichtprogramm. Hab daheim einen 16-Core und hab immer ein Auge drauf dass es skaliert und alle Cores auslastet. Es ist aber tatsächlich schwer so ein multi-core Monster richtig auszulasten weil die Rechenpower die du mit 8 Core hast schon enorm ist. Mit normalen Webcrawls kommst du da kaum hin weil der Crawler ja absichtlich bremst um die Zielserver nicht zu stark zu belasten. Am ehesten schaffst du das noch wenn du einen möglichs breiten Crawl über sehr viele Domänen machst, also einen Startpunkt nimmst der sehr stark verzweigt.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Multi-CPU unter Linux

Beitragvon Tommek » Fr Mär 26, 2010 12:35 pm

Ah ok das war der richtige Tipp.

Habe ihm mal 4 Startpunkte gegeben und er arbeitet jetzt sehr schön.
Verstehe ich nicht ganz, ich gab ihm zunächst einen Startpunkt mit Tiefe 4, dachte er verteilt die sub-pages selbst?
Tommek
 
Beiträge: 18
Registriert: Fr Mär 26, 2010 10:50 am

Re: Multi-CPU unter Linux

Beitragvon Orbiter » Fr Mär 26, 2010 1:23 pm

macht er wenn du ihn dort nicht beschränkst mit einem Filter. Ich nehme an das hast du nicht gemacht, vielleicht hattest du dort nur pech dass es andere Hinderungsgründe gab, wie bsp. durch robots.txt erzwungene delays. Muss man im Detail sehen; ggf. findest du im Log dazu was, grep nach crawl-delay
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Multi-CPU unter Linux

Beitragvon Tommek » Fr Mär 26, 2010 2:15 pm

Ahja da waren einige Einträge durch Robots.txt Danke.
Tommek
 
Beiträge: 18
Registriert: Fr Mär 26, 2010 10:50 am

Re: Multi-CPU unter Linux

Beitragvon Tommek » Fr Mär 26, 2010 5:02 pm

Hmm seltsam, jetzt ist er wieder konstant bei nur einer voll ausgelasteten CPU.

Ich habe mehrere Crawls laufen, ein weiteres Problem: Möchte ich jetzt einen Crawl starten oder einen laufenden beenden, dann läd die Seite und läd und läd... ohne das etwas passiert. :|

Auch springen die PPMs ständig von 0 auf etwas höheres (z.B. 155) und wieder auf 0.
Tommek
 
Beiträge: 18
Registriert: Fr Mär 26, 2010 10:50 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste