Yacy Frontend lädt nicht

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy Frontend lädt nicht

Beitragvon Yududi » Mi Dez 11, 2013 10:58 am

Ich habe YaCy für Linux herunter geladen und entpackt.
Dann gestartet und Wikipedia crawlen lassen.
Nach ca. 40.000 Seiten war das Frontend nicht mehr erreichbar.

YaCy selbst arbeitet noch wenn ich
tail -f ./DATA/LOG/yacy00.log
aufrufe kommen ständig neue Logs rein wie
Code: Alles auswählen
2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target CPezQCO8xAyi/XDo98X1
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER starting new index transmission request to wuQqB1UIY___
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER Index transfer of 4 words [oUtlnVS0x-sp .. wVFIf61AEc__] and 7 URLs to peer _anonw-46199199-0:xQUtnlzXaUUQ in 3 seconds successful (1 words/s)
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target xQUtnlzXaUUQ/_anonw-46199199-0
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER starting new index transmission request to yzUQWtFNNR__
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER Transfer failed of chunk to target 0lx1JH5PgzAq/gack: not_granted
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER STORE: Chunk yzUQWtFNNR__ has failed to transmit index; marked peer as busy
I 2013/12/11 10:52:48 INDEX-TRANSFER-DISPATCHER starting new index transmission request to AuQqB1UIY___
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER Index transfer of 15 words [4thlY7OUbMww .. AuQqB1UIY___] and 22 URLs to peer DOMENGO-026:C19MTdRlmBpf in 0 seconds successful (28 words/s)
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target C19MTdRlmBpf/DOMENGO-026
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER STORE: Chunk AuQqB1UIY___ has FINISHED all transmissions!
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER starting new index transmission request to wVFIf61AEc__
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER Index transfer of 4 words [oUtlnVS0x-sp .. wVFIf61AEc__] and 7 URLs to peer yacy-phenomenon:xjfRb-XNZwlT in 0 seconds successful (29 words/s)
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target xjfRb-XNZwlT/yacy-phenomenon
I 2013/12/11 10:52:49 INDEX-TRANSFER-DISPATCHER starting new index transmission request to yzUQWtFNNR__
I 2013/12/11 10:52:50 SWITCHBOARD dhtTransferJob: no selection, too many entries in transmission cloud: 30
I 2013/12/11 10:52:50 SWITCHBOARD dhtTransferJob: result from dequeueing: true
I


Wenn ich YaCy stoppe mit "./stopYACY.sh" dann tut sich 5 Minuten lang nichts ich muss den Prozess dann mit "kill" killen.
Nach einem erneuten Start geht das Frontend wieder aber keine 5 Minuten später die selbe Geschichte.
Ich habe auch schon alle Crawls deaktiviert in der Zeit wo das Frontend nach einem Neustart geht es läuft immer auf das gleiche hinaus.

Frontend: Hier tut sich nichts
tail -f ./DATA/LOG/yacy00.log: Hier tut sich was

Infos:
YaCy 1.66 für GNU/Linux von http://yacy.net/release/yacy_v1.66_20131205_9294.tar.gz mit 600 MB reservierten Speicher
GNU/Linux 7.2 mit 1 Prozessor
Code: Alles auswählen
top - 10:56:51 up  1:39,  1 user,  load average: 0.16, 0.48, 0.77
Tasks:  35 total,   1 running,  34 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.3 us,  0.3 sy,  2.4 ni, 93.6 id,  3.4 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   4194304 total,  1772880 used,  2421424 free,        0 buffers
KiB Swap:        0 total,        0 used,        0 free,   787064 cached


Edit 1:
Unter viewtopic.php?f=5&t=3411&p=23543&hilit=frontend#p23543 von 2011 habe ich einen Thread gefunden der das gleiche Problem beschreibt.

Edit 2:
Ich habe jetzt mal Open JDK 6 komplett runtergeschmissen
http://www.bennyn.de/webanwendungen/vir ... ieren.html
und Open JDK 7 installiert
http://openjdk.java.net/install/
Bin mal gespannt ob es was bringt.

Edit 3:
Nein hat nichts gebracht.
Neuer Versuch diesmal mit dem offiziellen Paketinstaller.
http://www.yacy-websuche.de/wiki/index. ... ianInstall

Edit 4:
Der offizielle Paketinstaller zeigt das gleiche Verhalten.
Ich habe einen ziemlich hohen Wert bei numproc bei failcnt gefunden.
Code: Alles auswählen
root@server:/usr/share/yacy/htroot/env/grafics# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                377343968            377868288  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0  9223372036854775807  9223372036854775807                    0
            privvmpages                433796               434904  9223372036854775807  9223372036854775807                    0
            shmpages                     9179                 9179  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                       253                  256                  256                  256                  387


root@server:/usr/share/yacy/htroot/env/grafics# /etc/init.d/yacy stop
/etc/init.d/yacy: fork: Cannot allocate memory

Code: Alles auswählen
top - 12:42:48 up  3:25,  2 users,  load average: 0.83, 0.66, 0.71
Tasks:  34 total,   1 running,  33 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.7 sy, 40.4 ni, 58.9 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   4194304 total,  2759308 used,  1434996 free,        0 buffers
KiB Swap:        0 total,        0 used,        0 free,  1456192 cached


Edit 5:
Das System wird einmal komplett neu eingerichtet um zu schauen wo der hohe Wert bei numproc herkommt.
Hier einmal direkt nach der Installation von Debian 7.0 Minimal-System + Update auf Debian 7.2
Sehr komisch an der Stelle: der Wert bei numproc ist bei barrier und limit jetzt bei 9223372036854775807 zum Vergleich weiter oben war er bei 256.
Code: Alles auswählen
root@server:~# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                 19250159             19742720  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                 23534                24398  9223372036854775807  9223372036854775807                    0
            shmpages                     1289                 1289  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                        30                   45  9223372036854775807  9223372036854775807                    0


Nach Einrichtung von YaCy über http://www.yacy-websuche.de/wiki/index. ... ianInstall
mit (x) 1 Freeworld (x) 600 MB reservierter Speicher
Code: Alles auswählen
root@server:~# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                 31200436             31883264  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                303859               304979  9223372036854775807  9223372036854775807                    0
            shmpages                     1290                 1290  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                        77                   96  9223372036854775807  9223372036854775807                    0


Deinstallation von Apache2 was noch bei der Minimalinstallation mit dabei war und Start eines Crawls auf de.wikipedia.org
http: / / xmodulo.com/2013/02/how-to-uninstall-and-remove-apache2-on-ubuntu-debian.html
Code: Alles auswählen
root@server:/var/www# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                 63255429             64172032  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                333305               335127  9223372036854775807  9223372036854775807                    0
            shmpages                     1271                 1607  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                        87                  105  9223372036854775807  9223372036854775807                    0


Nach der Installation von stunnel für HTTPS und circa 40.000 Dokumenten
Code: Alles auswählen
root@server:/etc/stunnel# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                119018650            119668736  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                429995               431181  9223372036854775807  9223372036854775807                    0
            shmpages                     1576                 1576  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                       233                  255  9223372036854775807  9223372036854775807                    0


Nach Einrichtung eines Node.js-Webservers der alle Anfragen von Port 80 auf Port 443 für HTTPS weiterleitet
und mit 70.000 Dokumenten.
Code: Alles auswählen
root@server:~# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                136196302            136880128  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                436321               437825  9223372036854775807  9223372036854775807                    0
            shmpages                     1576                 1576  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                       239                  261  9223372036854775807  9223372036854775807                    0


Edit 6:
Alles läuft wieder bestens. Evtl. hilft der Eintrag hier dem einen oder anderen.
Problem war also das Überschreiten von numproc.
Mein Limit liegt jetzt bei 9223372036854775807.
Code: Alles auswählen
root@server:/usr/local/etc# cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
   136035:  kmemsize                223699647            224407552  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0               524288               524288                    0
            privvmpages                441762               443133  9223372036854775807  9223372036854775807                    0
            shmpages                      965                  965  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                       240                  258  9223372036854775807  9223372036854775807                    0
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron