Performance-Einstellungen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Performance-Einstellungen

Beitragvon awitte » So Sep 26, 2010 1:11 pm

hi,

ich hab aus purem Interesse jetzt mal einen crawler auf meinem ehem. "Spielserver" aufgesetzt.

Aber irgendwie dümpelt das Teil mit 10 bis 40 PPM herum.

Was mach ich beim indizieren falsch?, weil eigentlich ist das ein gar nicht so schlechter Gameserver gewesen. (Rootserver, 100Mbits Anbindung, Dualcore, 2GB Arbeitsspeicher)

Da müsste doch eigentlich mehr gehen, oder?
(auch wenn's unter Debian 4.0 mit JRE 5 läuft)

Zumindest sind noch ewig Resourcen frei, weil die CPU kommt nicht über 15% (von 200%) und übers Netz geht auch nicht so viel (1,5 Mbits von 100) und auh sonst nichts auf der Maschine läuft...

Vielen Dank für sachdienliche Hinweise.
Andreas
awitte
 
Beiträge: 4
Registriert: Sa Sep 25, 2010 11:40 pm

Re: Performance-Einstellungen

Beitragvon Orbiter » So Sep 26, 2010 1:45 pm

kommt drauf an was du crawlst. Wenn du bsp. nur eine Domäne drin hast kann es nicht über 120PPM sein (Schutzbremse) und wenn der Server auch noch langsam antwortet noch weniger. Der Crawler macht nämlich mindestens eine Pause von dem 2-fachen der Antwortzeit des remote servers um den nicht zu überlasten.
Wenn also der Server den du crawlst 1 Sekunde zum antworten braucht, kommst du nicht über 30PPM.

Ist aber nur ein Beispiel, kann auch ein anderer Grund sein.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Performance-Einstellungen

Beitragvon awitte » So Sep 26, 2010 1:50 pm

Naja,

Ich hab ja aus dem Grund mehrere Crawls gestartet.

Ohne dass sich signifikant die Geschwindigkeit erhöht hätte.
awitte
 
Beiträge: 4
Registriert: Sa Sep 25, 2010 11:40 pm

Re: Performance-Einstellungen

Beitragvon awitte » Mo Sep 27, 2010 1:24 am

hmm...

Wenn ich alle gefundenen RSSfeeds zu schedular hizufüge, gehen auch 500 PPM spielend.

Kann der loader denn zwischen Servern unterscheiden?

weil auf Dauer ist mir das dann mit 20 PPM zu langsam...
awitte
 
Beiträge: 4
Registriert: Sa Sep 25, 2010 11:40 pm

Re: Performance-Einstellungen

Beitragvon Orbiter » Mo Sep 27, 2010 10:55 am

- hast du das aktuelle dev-release drauf? (über System Update einspielen) welches?
- was steht denn im log, was auffälliges? (DATA/LOG/yacy00.log)
- welche PPM hast du eingestellt (Crawler Monitor -> Speed)
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Performance-Einstellungen

Beitragvon awitte » Mo Sep 27, 2010 1:15 pm

Es ist meines Wissens das aktuelle Yacy drauf.
Wie ich jetzt die aktuelle Version unter System-Update rausfinden wollte hat mir der Yacy nen 500er gegeben:

Code: Alles auswählen
500 Internal Server Error

Unexpected error while processing query.
Session: Session_88.217.136.154:53760#0
Query: /ConfigUpdate_p.html
Client: 88.217.136.154
Reason: null

Exception occured: java.lang.reflect.InvocationTargetException

TRACE:
      java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:585)
    at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1202)
    at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:780)
    at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:238)
    at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:410)
    at sun.reflect.GeneratedMethodAccessor21.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:585)
    at de.anomic.server.serverCore$Session.listen(serverCore.java:729)
    at de.anomic.server.serverCore$Session.run(serverCore.java:628)
Caused by: java.lang.NoSuchMethodError: java.io.IOException: method (Ljava/lang/Throwable;)V not found
    at net.yacy.repository.LoaderDispatcher.load(LoaderDispatcher.java:169)
    at net.yacy.repository.LoaderDispatcher.parseResource(LoaderDispatcher.java:326)
    at de.anomic.yacy.yacyRelease.allReleaseFrom(yacyRelease.java:237)
    at de.anomic.yacy.yacyRelease.getReleases(yacyRelease.java:219)
    at de.anomic.yacy.yacyRelease.allReleases(yacyRelease.java:196)
    at ConfigUpdate_p.respond(ConfigUpdate_p.java:198)
    ... 13 more


Würde ich aber nichts drauf geben, kann auch an Java JRE 5 liegen.


--------------

Nachdem ich letzte Nacht noch einiges dadran rumgespielt habe, läuft der mit 80-250 PPM.

Das Problem ist aber die lokale indizierung. Die dümpelt weiterhin nur daher, wärend das mein yacy für alle möglichen anderen Server die Seiten nur so durchaut...

--------------

Crawler-Monitor steht auf 3000 - also den Wert, den man bekommt, wenn man auf Maximum klickt.
Achso... Remote darf er 600 PPM machen, was er auch hin und wieder tut...
awitte
 
Beiträge: 4
Registriert: Sa Sep 25, 2010 11:40 pm

Re: Performance-Einstellungen

Beitragvon Quix0r » Mo Sep 27, 2010 10:18 pm

Das mit dem Invocation sieht nach einer fehlenden Methode aus, aktuelle Releases kannst du direkt hier beziehen:
http://www.yacystats.de/yacybuild/

Dort sollte immer der neuste Tar-Ball runterladbar sein. Diesen kannst du mit z.B. WinZIP oder WinRAR entpacken. Dabei wird ein Verzeichnis "yacy" erzeugt, dass du genau (nachdem du YaCy heruntergefahren hast) ueber dein altes Verzeichnis druberkopierst und dabei alle Dateien ersetzt.

Ich hoffe, dir hilft es etwas weiter. :)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron