Postprocessing limitieren?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Postprocessing limitieren?

Beitragvon ScRe » Do Mai 21, 2015 7:33 pm

Hallo zusammen,

dass das Postprocessing sehr viele Ressourcen benötigt ist mir klar, aber kann man das irgendwie einschränken?
Wenn das Prostprocessing läuft, ist die Last auf der Platte relativ hoch, im Duschschnitt immer so 60-70MB/s:

Code: Alles auswählen
[root@yaci ~]# iotop -oa
Total DISK READ :      68.12 M/s | Total DISK WRITE :       3.11 K/s
Actual DISK READ:      68.12 M/s | Actual DISK WRITE:       4.08 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
  677 be/6 root        803.94 M     64.00 K  0.00 % 96.40 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  680 be/6 root        604.03 M     60.00 K  0.02 % 96.31 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  681 be/6 root        703.51 M     76.00 K  0.00 % 96.14 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  683 be/6 root        894.52 M     44.00 K  0.00 % 95.99 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  682 be/6 root       1327.94 M     40.00 K  0.00 % 95.91 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  679 be/6 root       1220.15 M    228.00 K  0.00 % 95.90 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  678 be/6 root        610.57 M     56.00 K  0.00 % 95.82 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  676 be/6 root       1199.41 M    236.00 K  0.00 % 95.74 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
5136 be/6 root        475.80 M     12.00 K  0.00 % 41.28 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
5154 be/6 root        528.79 M      8.00 K  0.00 % 35.96 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
5153 be/6 root        259.07 M      8.00 K  0.00 % 14.87 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  661 be/6 root         20.34 M   1060.00 K  0.00 %  6.80 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
5151 be/6 root         70.36 M     20.00 K  0.00 %  2.61 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
28454 be/6 root       1964.00 K     36.00 K  0.00 %  1.75 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
7583 be/6 root         12.05 M      4.00 K  0.00 %  1.92 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  586 be/6 root        396.00 K      0.00 B  0.00 %  0.85 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
2745 be/6 root       1552.00 K     24.00 K  0.00 %  0.84 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
7577 be/6 root       1328.00 K      0.00 B  0.00 %  0.69 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  674 be/6 root          6.00 M      0.00 B  0.00 %  0.39 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  487 be/6 root         88.00 K     52.00 K  0.00 %  0.36 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  668 be/6 root          5.87 M      0.00 B  0.00 %  0.29 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  669 be/6 root          4.00 M      0.00 B  0.00 %  0.25 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  672 be/6 root          6.93 M      0.00 B  0.00 %  0.25 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  671 be/6 root          5.92 M      0.00 B  0.00 %  0.24 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  670 be/6 root          4.00 M      0.00 B  0.00 %  0.15 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  479 be/6 root         11.22 M     24.00 K  0.00 %  0.12 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  673 be/6 root          3.99 M      0.00 B  0.00 %  0.09 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  675 be/6 root          2.00 M      0.00 B  0.00 %  0.08 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  568 be/6 root        692.00 K      0.00 B  0.00 %  0.07 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy
  486 be/6 root          0.00 B     32.00 K  0.00 %  0.00 % java -Xms7000m -Xmx7000m -server -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Dsolr.d~l-apis.jar:lib/xmpcore-5.1.2.jar:lib/yacycore.jar:lib/zookeeper-3.4.6.jar: net.yacy.yacy



Code: Alles auswählen
[root@yaci ~]# top
top - 20:25:47 up 2 days, 21:13,  1 user,  load average: 9.24, 9.62, 10.15
Tasks: 150 total,   2 running, 148 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  1.0 sy,  1.7 ni, 19.7 id, 77.6 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  8011104 total,   146216 free,  7559552 used,   305336 buff/cache
KiB Swap:  4095996 total,  3768508 free,   327488 used.   210424 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
  469 root      30  10 16.522g 6.959g   2884 S  20.6 91.1 256:43.41 java
   75 root      20   0       0      0      0 S   1.7  0.0  96:09.48 kswapd0
7589 root      20   0  130024   1748   1124 R   0.3  0.0   0:00.06 top


Code: Alles auswählen
[root@yaci ~]# cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 0
siblings        : 2
core id         : 0
cpu cores       : 2
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 0
siblings        : 2
core id         : 1
cpu cores       : 2
apicid          : 1
initial apicid  : 1
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 1
siblings        : 2
core id         : 0
cpu cores       : 2
apicid          : 2
initial apicid  : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 1
siblings        : 2
core id         : 1
cpu cores       : 2
apicid          : 3
initial apicid  : 3
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 4
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 2
siblings        : 2
core id         : 0
cpu cores       : 2
apicid          : 4
initial apicid  : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 5
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 2
siblings        : 2
core id         : 1
cpu cores       : 2
apicid          : 5
initial apicid  : 5
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 6
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 3
siblings        : 2
core id         : 0
cpu cores       : 2
apicid          : 6
initial apicid  : 6
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 7
vendor_id       : GenuineIntel
cpu family      : 6
model           : 62
model name      : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz
stepping        : 4
microcode       : 0x427
cpu MHz         : 2500.000
cache size      : 10240 KB
physical id     : 3
siblings        : 2
core id         : 1
cpu cores       : 2
apicid          : 7
initial apicid  : 7
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts nopl xtopology tsc_reliable nonstop_tsc aperfmperf pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx hypervisor lahf_lm arat epb pln pts dtherm
bogomips        : 5000.00
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:


Jemand ne Idee, wie man das etwas "drosseln" kann?
Der Server läuft zwar stabil, aber durch die hohe Last, verzögern sich die Suchanfragen teils um 5-10 Sekunden.
ScRe
 
Beiträge: 2
Registriert: So Mai 17, 2015 6:44 am

Re: Postprocessing limitieren?

Beitragvon Orbiter » Mi Mai 27, 2015 10:50 pm

also das Postprocessing war eine Aktion die zum Thema 'YaCy ist ein Suchmaschinenlabor' gehört und durch default-Einstellungen in den letzten Releases deaktiviert wurde. Das Postprocessing hat verschiedene Funktionen geliefert, darunter 'echtes' (!!!ja!!!) Page Rank mit dem dazugehörigen Aufwand. Das ist aber wie gesagt nun deaktiviert.
Wenn du ein älteres Release bis heute migriert hast, ist es nicht deaktiv. Du kannst es aussschalten, indem du in /IndexSchema_p.html das Feld process_sxt deaktivierst.
Ich empfehle diese Vorgehensweise.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste