Yacy Daemon beendet sich immer nach kurzer Zeit

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Bergschreck » So Dez 30, 2012 11:41 am

Hallo,

ich habe auf meinem vserver mit Ubuntu 10 LTS die aktuelle Yacy Version installiert. Klappt auch prinzipiell alles, aber nach wenigen Minuten hat sich der Yacy Daemon immer beendet (abgestürzt?).
In DATA/LOG sehe ich keine Absturzmeldungen. Gibt es noch andere Logs wo man Infos über eine Absturzursache bekommen kann?
Bergschreck
 
Beiträge: 3
Registriert: So Dez 30, 2012 11:32 am

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Bergschreck » So Dez 30, 2012 12:22 pm

Jetzt habe ich das Startscript mal mit -d aufgerufen, dann läuft der Daemon anscheinend im Vordergrund.
Das letzte was er ausgespuckt hat:

Code: Alles auswählen
INFO [job_pool-15-thread-13] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"Rw9uJY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22g5ymVY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=1
INFO [job_pool-15-thread-11] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"g5ymVY_oz9zS"
D 2012/12/30 11:57:35 org.apache.solr.handler.UpdateRequestHandler body
W 2012/12/30 11:57:35 STACKCRAWL CrawlStacker.stackCrawl of URL http://www.lauschangriff.to/user/4137/mietzestrule/ - not pushed: double occurrence in double_push_check
I 2012/12/30 11:57:35 STACKCRAWL URL 'http://www.lauschangriff.to/media/20-h%C3%B6rb%C3%BCcher/' is double registered in 'ERRORS'. Stack processing time:
W 2012/12/30 11:57:35 STACKCRAWL CrawlStacker.stackCrawl of URL http://www.lauschangriff.to/9-media/ - not pushed: double occurrence in double_push_check
INFO [job_pool-15-thread-12] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"jMa2_Y_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22-UxaZY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-11] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"-UxaZY_oz9zS"
W 2012/12/30 11:57:35 STACKCRAWL CrawlStacker.stackCrawl of URL http://www.lauschangriff.to/user/8487/aysena/ - not pushed: double occurrence in double_push_check
I 2012/12/30 11:57:35 STACKCRAWL URL 'http://www.lauschangriff.to/user/17880/yavanna/' is double registered in 'ERRORS'. Stack processing time:
D 2012/12/30 11:57:35 org.apache.solr.handler.loader.XMLLoader SolrCore.update(add)
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22Jll8bY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
D 2012/12/30 11:57:35 org.apache.solr.handler.loader.XMLLoader adding doc...
INFO [job_pool-15-thread-12] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"Jll8bY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22u-9OoY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-13] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"u-9OoY_oz9zS"
W 2012/12/30 11:57:35 STACKCRAWL CrawlStacker.stackCrawl of URL http://www.lauschangriff.to/user/33426/herodes/ - not pushed: double occurrence in double_push_check
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22EFcxUY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-13] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"EFcxUY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22uK8EiY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-11] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"uK8EiY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22ShjWfY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-12] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"ShjWfY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22lfxovQ_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=1
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22JHHRuQ_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=1
INFO [job_pool-15-thread-13] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"lfxovQ_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22pxZzFY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-11] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"JHHRuQ_oz9zS"
INFO [job_pool-15-thread-12] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"pxZzFY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22WcwluY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
INFO [job_pool-15-thread-11] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"WcwluY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.update.processor.LogUpdateProcessor [collection1] webapp=null path=/update params={} {add=[RKY1mQ_oz9zS (1422776132811358208)]} 0 7
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22MO0_aY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=20
INFO [job_pool-15-thread-14] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"MO0_aY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22j-4mIY_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=1
INFO [job_pool-15-thread-13] (EmbeddedSolrConnector.java:201) - 0 results for q=id:"j-4mIY_oz9zS"
I 2012/12/30 11:57:35 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22hfC9kQ_oz9zS%22&rows=1&start=0&fl=load_date_dt} hits=0 status=0 QTime=0
Killed


Das "Killed" am Schluss wundert mich ein bisschen.
Bergschreck
 
Beiträge: 3
Registriert: So Dez 30, 2012 11:32 am

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Bergschreck » So Dez 30, 2012 3:27 pm

So, das ganze sieht mir nach einem Speicherproblem aus. Der vserver hat nur 512MB Speicher, im Yacy war der JVM Speicher auf 600 eingestellt. So konnte das nix werden. Ich habe den dann mal auf 128MB reduziert, aber dann gab es wieder Abbrüche. Nun habe ich ihn auf 256MB und er läuft seit 90 Minuten absturzfrei. Allerdings ist er trotzdem speicherhungriger als eingestellt. Laut top belegt java nun 367MB resident und 2536MB virtuell.

Weiss jemand was die Minimaleinstellungen sind mit der Yacy noch läuft?
Bergschreck
 
Beiträge: 3
Registriert: So Dez 30, 2012 11:32 am

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Orbiter » Mi Jan 02, 2013 9:25 pm

also ich hab YaCy schon mit unter 60MB am laufen gehabt, aber seit Solr an Board ist haben wir wieder so seltsame Effekte. Es gibt ein anderer Forumsthread wo jemand herausgefunden hat, dass Solr sich ausserhalb der jvm auch Speicher besorgt und somit auch noch genügend dort sein muss. Das ist knifflig. Weiss noch jemand weiter?
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon sixcooler » Mi Jan 02, 2013 9:46 pm

Hallo,

wie groß ist denn Dein Index schon?

Ich hatte ähnliche Probleme mit einem YaCy auf einem betagtem P4.

Wie Orbiter schon schrieb, nutzt Solr (virtuellen) Speicher ausserhalb des Heap-Speichers (den wir in YaCy konfigurieren) um auf seinen Index zuzugreifen.
Normalerweise ist das nicht weiter wild, da virtueller Speicher nicht Physisch vorhanden sein muss, aber er muss addressierbar sein.
32bitter sind hier leider benachteiligt was die addressierbare größe angeht.

Leider fällt mir nicht mehr ein wie ich das dann gelöst hatte.
Änderungen am Heap-Volumen zögerten den Absturz immer nur heraus - wie Du ja auch schon bemerkt hast.
Sobald mir wieder einfällt was ich da gemacht hatte melde ich mich hier wieder.

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Low012 » Do Jan 10, 2013 8:49 am

Mein Peer war heute morgen auch weg. Ich habe das Crash-Log angehängt.

Nur kurz zur Erklärung: Mein Peer ist entweder direkt über Port 8090 erreichbar oder über Port 80, wobei dann eine lighttpd-Instanz das Forwarding übernimmt. Solche Requests kommen daher für YaCy von 127.0.0.1. Da mein lighttpd nicht loggt, weiß ich auch nicht, woher die Suchanfrage kam. (Nur falls die Person mitliest, die die Suchanfrage, auf die ich mich gleich beziehe, gestellt hat.)

Wenn man nach "127.0.0.1" im Log sucht, findet man einen solchen Request, der eine Suche darstellt und dazu 8 :o identische SOLR-Queries. (Bitte selbst in der Datei suchen, das wird furchtbar unübersichtlich, wenn ich es hier poste.)

Ist das normal? Trägt das eventuell zu dem Problem bei?
Dateianhänge
hs_err_pid13427.zip
(17.91 KiB) 62-mal heruntergeladen
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Yacy Daemon beendet sich immer nach kurzer Zeit

Beitragvon Orbiter » Di Feb 05, 2013 11:30 am

diese acht identischen Requests sollten sich im offset unterscheiden. Die Solr-Integration in YaCy ist insofern schwierig, als dass man den Zugriff auf Solr dem YaCy Suchschema anpassen muss, und das geht so:
- alle Ergebnis-Referenzen fetchen
- bei der Anzeige aus der URL-DB lesen und verifizieren.
- bei weitergebätterten Seiten kommen die Referenzen aus dem Cache

Beim 'draufsetzen' von Solr liess sich das nicht so leicht nachstellen, weil ich hier nicht zwischen Referenzmenge und URL-DB unterscheiden kann, beides kommt gleichzeitig aus Solr. Hier habe ich einen Kompatibilitätslayer erst mal reingebaut, der 100 Ergebnisse komplett zieht und die in die Zwischenablage legt. Diese 100 wurden (ist jetzt anders) in 10 einzelrequests zu 10 Ergebnissen aus Solr gezogen. Von diesen 10 Requests sind hier wohl noch 8 zu sehen. Inzwischen ist das anders; vom Schema her ähnlich, aber nur noch 2 Requests. Aber insgesamt muss sich das weiter verbessern. Bei der Konsolidierung von externen und internen Ergebnissen ist das aber nicht so einfach: nimmt man zu wenige lokale Ergenisse in einen 'Mischpool', so bekommt man wesentlich mehr externe Ergebnisse. Nimmt man zu viele interne, ist der intere Aufwand zu hoch.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast