99,9% JAVA CPU Last..??

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

99,9% JAVA CPU Last..??

Beitragvon RudiOnTheAir » Mi Aug 28, 2013 6:12 am

Ist es möglich, das yacy auf einem Debian 6 VServer der unteren Preisklasse nicht sinnvoll nutzbar ist.?

Bei jeder Suchanfrage sehe ich via TOP 99,9% Java, der das Webinterface auch extrem langsam macht und weitere
oder geänderte Suchanfragen wegen "warten auf Server" unmöglich macht.!

Ich hatte angenommen, das die gute Anbindung des Server ein Vorteil für das Projekt ist. Wenn da aber nichts zu "optimieren"
ist, macht es keinen Sinn.

Könnte dann auf meinem lokalen ESXi ein System aufsetzen. Dann auch mit jedem anderen Linux, wobei mein 3500 DSL eher
lahm ist und ich bedenken habe das der Traffic, den man in der Admionconsole sieht, mein Netz zu sehr belastet...!!!??

Kann da jemand was zu sagen.?

--
Rüdiger
RudiOnTheAir
 
Beiträge: 19
Registriert: So Aug 25, 2013 1:16 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon sixcooler » Mi Aug 28, 2013 12:27 pm

Hallo Rüdiger,

ich habe zwar keine Erfahrung mit Vservern und YaCy - aber das sollte durchaus locker gehen.
Die Anforderungen an die CPU von YaCy sind eigentlich eher gering.

Was sagt denn die Thread-Dump-Statistik, womit sich Dein Peer derart ausgiebig beschäftigt?

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon RudiOnTheAir » Do Aug 29, 2013 7:28 am

Mist, zu spät.

Hab zwischenzeitlich das ganze auf meinen lokalen ESXi5 umgezogen. Der hat mehr Rechnenleitung, und da fällt es nicht so
ins Gewicht. Aber auch da geht Java lt. top dann auf 50 - 99%. Aber nur wenn man Suchanfragen startet.

Hab jetzt mal meine neue Installation mit einer Anfrage gefüttert und diesen Dump mal kopiert. Die CPU Last steht an, solange
die Seite nicht aufgebaut ist... Beim ESX ist das aber kein Problem, weil der "ingesammt" genug Reserve hat. Der VS ist dann platt...
Hatte das ganze auch zum Test auf einem schon gekündigten VS von S4Y getestet. Der war dann sogar via SSH nicht mehr erreichbar...!

Wenn Du mal schauen magst...

http://pastebin.com/Mrv2SbWS
RudiOnTheAir
 
Beiträge: 19
Registriert: So Aug 25, 2013 1:16 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon RudiOnTheAir » So Sep 01, 2013 12:06 pm

Moin

Hab als weiteren Versuch die Java Version von Oracle mal auf dem Wheezy etabliert.

Ändert aber nichts an der Last... Hätte ja klappen können...

--

MfG

Rüdiger
RudiOnTheAir
 
Beiträge: 19
Registriert: So Aug 25, 2013 1:16 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon smokingwheels » So Sep 01, 2013 3:05 pm

Although I have no experience and have only used it for a day or so.

Put WireShark on you connection and see whats happning.

Is there any Way you can block these addresses eg router or Hosts file this is what I have found so far.

127.0.0.1 localhost
127.0.0.1 clients.l.google.com
127.0.0.1 rbs1.globalcenter.net.au
127.0.0.1 deploy.akamai.com
127.0.0.1 akamaledge.net
127.0.0.1 94.245.21.253
127.0.0.1 157.56.149.60
127.0.0.1 203.123.73.9
127.0.0.1 s.dealply.com
127.0.0.1 akamaihd.net
127.0.0.1 a26.ms.akamai.net

I have noticed if you search something the java is busy for awhile while its downloading from other peers.
smokingwheels
 
Beiträge: 136
Registriert: Sa Aug 31, 2013 7:16 am

Re: 99,9% JAVA CPU Last..??

Beitragvon David » Mo Sep 02, 2013 8:43 pm

smokingwheels hat geschrieben:127.0.0.1 localhost
127.0.0.1 clients.l.google.com
127.0.0.1 rbs1.globalcenter.net.au
127.0.0.1 deploy.akamai.com
127.0.0.1 akamaledge.net
127.0.0.1 94.245.21.253
127.0.0.1 157.56.149.60
127.0.0.1 203.123.73.9
127.0.0.1 s.dealply.com
127.0.0.1 akamaihd.net
127.0.0.1 a26.ms.akamai.net

So, do you mean, if you put this in the hosts file, it might reduce the cpu usage of yacy?
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon smokingwheels » Fr Sep 06, 2013 5:20 am

David hat geschrieben:
smokingwheels hat geschrieben:127.0.0.1 localhost
127.0.0.1 clients.l.google.com
127.0.0.1 rbs1.globalcenter.net.au
127.0.0.1 deploy.akamai.com
127.0.0.1 akamaledge.net
127.0.0.1 94.245.21.253
127.0.0.1 157.56.149.60
127.0.0.1 203.123.73.9
127.0.0.1 s.dealply.com
127.0.0.1 akamaihd.net
127.0.0.1 a26.ms.akamai.net

So, do you mean, if you put this in the hosts file, it might reduce the cpu usage of yacy?


Well maybe not, but I am not removing them just yet.

I had my XP Crash with heaps of DCOM errors and no network.
I went back in time by about 18 months to a backup, I have and restored my OS.
Even then when I was running Yacy and Javaw usage was way too high.

I used The Old Sysinternals Filemon.exe to see what was happening when the CPU when high.

Here is a few lines from the Filemon log when Java was causing High CPU usage.

Description of Log
File event index, Time, Program, PID, What's doing, File, Result,
23754 5:24:18 PM javaw.exe:3056 CLOSE C:\Documents and Settings\Greg\YaCy\lib\xercesImpl.jar SUCCESS
Time and index reference

26235 5:24:19 PM javaw.exe:3056 READ C:\WINDOWS\system32\d3d9.dll SUCCESS Offset: 735744 Length: 512
I think the file is to do with DirectX. number of times in log less than 1 sec 2460

28335 5:24:19 PM javaw.exe:3056 READ C:\PROGRA~1\COMMON~1\SYMANT~1\VIRUSD~1\20121019.022\VIRSCAN7.DAT SUCCESS Offset: 223981844 Length: 65536
I think this is incorrect, whats java got to do with antivirus

28739 5:24:19 PM javaw.exe:3056 SET INFORMATION C:\Documents and Settings\Greg\ntuser.dat.LOG SUCCESS Length: 8192
Not sure

28766 5:24:20 PM javaw.exe:3056 READ C:\Documents and Settings\Greg\YaCy\lib\xercesImpl.jar SUCCESS Offset: 154487 Length: 763
Time and index reference

So thats 5012 file accesses in 1 second when Java =99%

So not happy about what JAVA was Accessing I went to http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
and downloaded Java jdk for my system Windows x86 file jdk-7u25-windows-i586.exe
I installed it and tried again to repeat the problem.

I also found when my Java was bad, if you Shutdown Yacy Java keeps using 99% of CPU until you end its task.

I ran Filemon again the the only things showing up For Java are Files in the Yacy install folder.

My CPU runs fine so far, It does go up and down.

If you would like Filemon Freeware for Windows before MS bought them out then you have to ask for it at http://forum.oldversion.com/showthread.php?3939-Archive-of-most-sysinternals-com-freeware&s=025a5966741a3cace5acabcc8394df10

Hope this helps others.
My System Idle CPU time is 24.5 Hours
Javaw.exe CPU time 2.75 Hours


Translation

[quote = "David" ] [ quote = " smokingwheels "] 127.0.0.1 localhost
127.0.0.1 clients.l.google.com
127.0.0.1 rbs1.globalcenter.net.au
127.0.0.1 deploy.akamai.com
127.0.0.1 akamaledge.net
127.0.0.1 94.245.21.253
127.0.0.1 157.56.149.60
127.0.0.1 203.123.73.9
127.0.0.1 s.dealply.com
127.0.0.1 akamaihd.net
127.0.0.1 a26.ms.akamai.net [/ quote]
So, meinst du , wenn du diese setzen in der hosts-Datei , könnte es die CPU-Auslastung von yacy reduzieren? [/ Quote]

Nun, vielleicht nicht , aber ich bin nicht zu beseitigen, nur noch.

Ich hatte meine XP Absturz mit Haufen von DCOM Fehler und ohne Netz .
Ich ging zurück in die Zeit von etwa 18 Monaten bis zu einem Backup , habe ich mein OS und restauriert .
Selbst dann , wenn ich lief Yacy und Javaw Nutzung war viel zu hoch.

Ich benutzte die Old Sysinternals Filemon.exe zu sehen, was passiert, wenn die CPU , wenn hoch.

Hier ein paar Zeilen aus dem Filemon log , wenn Java verursacht wurde Hohe CPU-Auslastung .

Beschreibung der Log
Datei- Index Ereignis , Zeit, Programm , PID, Was tut , Akte, Ergebnis,
23754 17.24.18 javaw.exe : 3056 ZU C: \ Dokumente und Einstellungen \ Greg \ YaCy \ lib \ xercesImpl.jar ERFOLG
Zeit -und Index- Referenz

26235 05.24.19 javaw.exe : 3056 READ C : \ WINDOWS \ system32 \ d3d9.dll SUCCESS Offset: 735744 Länge: 512
Ich denke, die Datei mit DirectX zu tun. Anzahl von Malen in log weniger als 1 Sek. 2460

28335 05.24.19 javaw.exe : 3056 READ C: \ PROGRA ~ 1 \ COMMON ~ 1 \ SYMANT ~ 1 \ VIRUSD ~ 1 \ 20.121.019,022 \ VIRSCAN7.DAT SUCCESS Offset: 223981844 Länge: 65536
Ich denke, das ist falsch , was ist java bekam mit Antivirus tun

28739 05.24.19 javaw.exe : 3056 SET INFORMATION C: \ Dokumente und Einstellungen \ Greg \ ntuser.dat.LOG SUCCESS Length: 8192
Nicht sicher

28766 17.24.20 javaw.exe : 3056 READ C: \ Dokumente und Einstellungen \ Greg \ YaCy \ lib \ xercesImpl.jar SUCCESS Offset: 154487 Länge: 763
Zeit -und Index- Referenz

Also das ist 5012 Dateizugriffe in 1 Sekunde , wenn Java = 99%

Also nicht glücklich über das, was JAVA wurde Zugreifen Ich ging zu [ url] http://www.oracle.com/technetwork/java/ ... 80260.html [/ url]
und heruntergeladene Java jdk für mein Windows x86 Datei jdk- 7u25 -windows- i586.exe
Ich installierte es und versuchte es erneut , um das Problem zu wiederholen.

Ich fand auch , wenn meine Java war schlecht, wenn man Shutdown Yacy Java hält mit 99% der CPU , bis Sie seine Aufgabe zu beenden.

Ich lief wieder Filemon die die einzigen Dinge, zeigt sich für Java sind Dateien im Installationsverzeichnis Yacy .

Meine CPU läuft gut so weit , tut es rauf und runter gehen .

Wenn Sie Filemon Freeware für Windows möchten , bevor MS kaufte sie aus , dann müssen Sie danach fragen bei

Hoffe, das hilft anderen.
Mein System Idle CPU-Zeit beträgt 24,5 Stunden
Javaw.exe CPU-Zeit 2.75 Stunden
smokingwheels
 
Beiträge: 136
Registriert: Sa Aug 31, 2013 7:16 am

Re: 99,9% JAVA CPU Last..??

Beitragvon David » Fr Sep 06, 2013 4:10 pm

smokingwheels hat geschrieben:I used The Old Sysinternals Filemon.exe to see what was happening when the CPU when high.

Process Lasso is another good windows freeware. It let's you set cpu limits for applications.
http://bitsum.com/processlasso/

smokingwheels hat geschrieben:I had my XP Crash with heaps of DCOM errors and no network.

As far as I know, yacy runs smoother under unix-based operating systems (like linux and mac osx). Maybe yould think about switching. Linux mint works well with yacy, and it's free and easy to handle for ex-windows users. I'm using it on my own computers. http://www.linuxmint.com/

smokingwheels hat geschrieben:Nun, vielleicht nicht , aber ich bin nicht zu beseitigen, nur noch.

LoL, these german translations are hilarious. I think it's enough if you just write in english. I'm sure the most people here understand this language.
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: 99,9% JAVA CPU Last..??

Beitragvon smokingwheels » Sa Sep 07, 2013 3:42 am

Thankyou David for the info.

I have a P4 Server to use. I can run Yacy on in November if I want.
Right now have a few bills coming up..

Process Lasso
I don't mind if I ask Yacy to do something and it takes all my CPU because the process is set to Below Normal priority.

Lol the German translation, google probably had a problem with my English.
smokingwheels
 
Beiträge: 136
Registriert: Sa Aug 31, 2013 7:16 am

Re: 99,9% JAVA CPU Last..??

Beitragvon smokingwheels » Di Nov 26, 2013 4:08 pm

smokingwheels hat geschrieben:I had my XP Crash with heaps of DCOM errors and no network.

As far as I know, yacy runs smoother under unix-based operating systems (like linux and mac osx). Maybe yould think about switching. Linux mint works well with yacy, and it's free and easy to handle for ex-windows users. I'm using it on my own computers. http://www.linuxmint.com/

I found by installing JAVA version 6 u 26 then 7 u25 it runs real smooth on P4 3 G unless its index time. YaCa is About 2% of CPU time at normal operation on Windows XP desktop PC.
smokingwheels
 
Beiträge: 136
Registriert: Sa Aug 31, 2013 7:16 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron