YaCy nach hat Update keine Funktion

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

YaCy nach hat Update keine Funktion

Beitragvon TmoWizard » Di Mär 10, 2015 7:56 pm

Hallöchen zusammen!

Folgende Situation:

Ich verwende hier Kubuntu 14.04 LTS und habe YaCy über die entsprechende Paketquelle installiert, das soweit auch ganz gut läuft. Nun gibt es aber seit einiger Zeit immer wieder das Problem, daß YaCy nach einem Update keine Funktion mehr hat. Es benötigt zwar laut Systemmonitor ~2,5 GB und auch ziemlich an CPU, es geht aber gar nichts und nach ca. 20 Minuten oder so baut der RAM-Verbrauch ab auf ~1,7 MB und YaCy macht gar nichts mehr! :o

Mehrmals konnte ich YaCy durch einen Neustart zum Arbeiten überreden und dreimal durch löschen der *.blob-Dateien. Jetzt ist es aber so, daß nur noch ein deinstallieren von YaCy (ohne Daten, die bleiben inklusive Paßwort erhalten!) und eine anschließende Neuinstallation helfen! Das ist zwar nicht wirklich weiter schlimm, da es danach ja wieder funktioniert, aber es ist doch sehr ärgerlich! Bild

Hat hier jemand ähnliche Probleme und woran könnte das liegen?


Grüße aus Augsburg

Mike, TmoWizard
TmoWizard
 
Beiträge: 138
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: YaCy nach hat Update keine Funktion

Beitragvon TmoWizard » Do Mär 12, 2015 2:59 pm

Selbes Spiel, ähnliches Glück! :( Heute früh ging absolut gar nichts mehr, nun kann ich wieder bei NULL anfangen! Einziger Unterschied ist, daß es diesmal kein Update gab (YaCy version 1.83/9090). YaCy lief einfach, benötigte entsprechend RAM, dazu zwischen 50 und 90% CPU, funktioniert hat aber gar nichts mehr. Ich habe YaCy also komplett mit Konfiguration und allem Drum und Dran deinstallieren und neu Installieren müßen, damit es wenigstens wieder läuft. Echt starke Leistung, über 16 Millionen Dokumente im Index sind nun weg! Bild

Zusätzlich zu diesem ganzen Ärger gibt es nun auch noch das Problem, daß der Import von RSS-Feeds (/Load_RSS_p.html) nicht mehr funktioniert. Wenn ich dort einen Feed angebe, dann steht in meiner Statuszeile für ein paar Sekunden die Meldung "Warten auf localhost..." und das war es! Ich kann meinen Index also nicht einmal mehr auf diese einfache Art füllen, es geht einfach nicht.


Edit:

Na toll, das wird ja immer noch übler! Bild Nun wollte ich einen Crawler starten:

Code: Alles auswählen
Crawling von "http://mikespeier.cwsurf.de/ http://www.five-days.de/ http://martina-loder.blogspot.de/ http://andrea-s.cwsurf.de/ " schlug fehl. Grund: scraper cannot load URL: java.io.IOException: Client can't execute: connect timed out duration=30100/scraper cannot load URL: java.io.IOException: Client can't execute: connect timed out duration=30100/scraper cannot load URL: java.io.IOException: Client can't execute: connect timed out duration=30099/scraper cannot load URL: java.io.IOException: Client can't execute: connect timed out duration=30102/


Was kann ich hier jetzt noch machen außer nur noch mit Proxy surfen?


Noch ein EDIT:

Jetzt wird's aber echt krass!

Code: Alles auswählen
Einstellungen angenommen:

Seed Einstellungen wurden geändert, aber etwas stimmt nicht.

SaveSeedList: Seed upload failed (IO error): Unable to download seed file 'http://******.***/yacy/seed.txt'. Client can't execute: connect timed out duration=10049

Seed Upload wurde automatisch deaktiviert. Bitte kehren Sie zu den Einstellungen zurück und modifizieren Sie die Daten.

Sie können nun zurück zu den Einstellungen gehen, um weitere Änderungen vorzunehmen.
TmoWizard
 
Beiträge: 138
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: YaCy nach hat Update keine Funktion

Beitragvon TmoWizard » Do Mär 12, 2015 10:24 pm

Keinen Bock mehr für heute, das wird mir jetzt doch zu viel! Morgen kümmere ich mich um den Rechner, der speziell für YaCy hier ist:

FSC Esprimo E5615 SFF
Athlon 64 3800+ 2,4GHz
(WTF :?: Sollte der eigentlich nicht schneller sein??? :shock: )
4GB
320GB SATA 7200


Festplatte und DVD muß ich noch prüfen, dann wird dieser Rechner nur für YaCy da sein. BS wird wohl ein Ubuntu 14.04 LTS Server und dann schauen wir mal, was aus YaCy und mir wird.
TmoWizard
 
Beiträge: 138
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: YaCy nach hat Update keine Funktion

Beitragvon Cajun » Mi Apr 08, 2015 6:28 pm

Aus eigener, leidvoller Erfahrung:

1.) YaCy und SOLR trennen (je grösser der Index, desto bedeutsamer) !
2.) Einzelne Einstellungen optimieren

1.)
SOLR läuft bei mir nun seit etwa einem Jahr unter Tomcat auf eigenen Servern. Das funktionierte übrigens testweise auch mit virtuellen Servern gut, ich habe sie aber inzwischen in FreeBSD 'jails' verfrachtet, weil die sehr viel schonender mit den Resourcen umgehen. 'FreeBSD-Jails' ähneln übrigens den in der Linux-Welt verbreiteten "Docker Containern"; meine Erfahrungen damit sind allerdings noch zu jung, um bereits verlässliche Aussagen über deren Stabilität in diesem Kontext machen zu können.

Geeignete Tutorials (für debian/ubuntu) finden sich im YaCy Dev-Wiki.

Seitdem traten vergleichbare, ich vermute: das waren Kombinationen aus JVM garbage-collection-, jetty-leakage- sowie YaCy-clean-up Problemen, seeehr viel seltener auf. Und SOLR läuft darüber echt stabil.

Das hat noch weitere Vorteile: die Daten bleiben selbst nach kompletten YaCy-Reinstallationen erhalten. Und die YaCy-Maschine(n) können, im Gegensatz zu SOLR, auf schwächere Server ausgelagert werden.

Diese Strategie hat aber auch ihren Preis, der nicht unerwähnt bleiben soll: die meisten der in die YaCy-GUI eingebauten Tools zum Management des Indexes (Löschen, ReIndexing, etc) funktionieren nur für den eingebauten SOLR. Solches muss nun mit Hilfe der SOLR-Dokumentation und zu Fuss gemanaged werden. Verstehe noch nicht, warum. Aber so isses halt.


2.)
Nach meinen Erfahrungen, eine der wichtigsten Einstellungsverbesserungen betrifft die "Maximale Wortzahl im Cache" auf der GUI-Seite /PerformanceQueues_p.html , sowie ie Einstellung des für die JVM reservierten Speichers auf der /Performance_p.html.

Default bei der Wortzahl ist 50'000. Bereits eine simple Einstellung auf 40'000 verlängerte die Lebensdauer meiner YaCy-Maschinen im Durchschnitt um ein Mehrfaches.

Der für die JVM zu reservierende Speicher hängt sehr stark von der jeweiligen Tätigkeit und dem Einsatzzweck des YaCy-Servers ab. Müssen nur lokale Abfragen beantwortet werden, ohne zugleich DHT und Crawl im Hintergrund laufen zu lassen, reicht auch eine Einstellung von weniger als 1024 MB gut aus. Soll hingegen ein bereits grösserer Index (> 20 Mio Einträge) mit zusätzlichen Crawls, und laufenden Abfragen, bedient werden, stellten sich in meinen Testsituationen 2560 MB als sinnvolles Mittelmass heraus. Ich möchte an dieser Stelle allerdings den Leser zugleich auch davor bewahren, die Vergrösserung des für die JVM verfügbaren RAM-Speichers, als ein Allheilmittel einzusetzen: wenn nicht zugleich auch weitere Parameter, u.a. für die Clean-Up-Prozesse von YaCy (für memory und Priorität), für den Einsatzzweck sowie das eigene Server-Szenario (Parallelität) optimiert werden, kommt auch eine 15GB - Reservierung aufgrund von "Java Heap Space OutOfMemoryErrors" irgendwann zum Stillstand - halt eben nur ein bisschen später.

Letztlich hängen die Einstellungen sehr von dem eigenen Einsatz-Szenario ab - ich kann nur zum Probieren und Testen raten - und es ist vermutlich fast nicht möglich, wirklich allgemein-gültige Empfehlungen zu geben.
Cajun
 
Beiträge: 10
Registriert: Di Nov 19, 2013 9:35 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast