Gedankenaustausch zu neuen Entwicklerversionen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Master One » Mi Feb 18, 2009 10:57 am

Hallo Leute!

Ich habe gestern nun endlich YaCy auf meinem Ubuntu Server installiert, da ich von der Idee hinter YaCy total überzeugt bin. Zuerst habe ich es mit dem aktuellen .deb von f1ori versucht, allerdings hat mir das Konzept mit der Installationsaufteilung auf drei verschiedene Orte (/var/lib/yacy, /usr/share/yacy und /usr/share/java) nicht zugesagt, zumal dies auch die Aktualisierung über das WebGUI verhindert, weswegen ich erstmal selbst Hand anlegen mußte. Hierzu habe ich YaCy nach /home/yacy installiert, das init-Skript (/etc/init.d/yacy) umgeschrieben, sodaß die eigenen Start & Stop Skripte von YaCy verwendet werden, und ein Start-Skript für pppd angelegt. Jetzt läuft alles genau so, wie es sein soll, und ich habe gestern auch sogleich über das WebGUI auf die aktuelle Entwicklerversion 5620 aktualisiert. :)

Heute morgen mußte ich allerdings feststellen, daß YaCy zwar noch lief, aber kein Zugriff über den Webbrowser mehr möglich war. Im Log-File war alles voll mit:
Code: Alles auswählen
I 2009/02/18 09:02:20 YACY PeerPing: I am accessible for 0 peer(s), not accessible for 5 peer(s).
I 2009/02/18 09:02:20 YACY PeerPing: myType is junior
D 2009/02/18 09:02:20 CRAWLER GlobalCrawl: too many processes in indexing queue, dismissed (sbQueueSize=80)

Da blieb nur ein Kill & Neustart übrig.

Nun wollte ich hier nach Info suchen, aber es scheint kein Gedankenaustausch zu den aktuellen Entwicklerversionen stattzufinden. Wo tummeln sich denn die Devs? Vielleicht wäre ein eigenes Subforum "Entwicklerversionen" sinnvoll (das Subforum Bugs ist wohl nur für Bugs im aktuellen Stable-Release gedacht)?

Was mich auf die Schnelle interessieren würde: Wie werden von YaCy die Logfiles verwaltet? YaCy scheint nach jedem Megabyte ein neues Logfile anzulegen, ich habe jetzt seit gestern schon yacy00.log bis yacy019.log in DATA/LOG. Kann betreffend Logging irgendwo irgendwas einstellen?

Ich muß mich jetzt erstmal mit den Konfigurationsmöglichkeiten beschäftigen, und im Wiki schmökern... ;)
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Low012 » Mi Feb 18, 2009 11:38 am

Die Entwickler sind hier im Forum unterwegs. Auch wenn vielleicht nicht sofort auf alles eine Reaktion kommt, denke ich, dass die meisten Entwickler (fast) alle Postings lesen. Wenn etwas in Vergessenheit gerät, einfach nochmal im entsprechenden Thread posten und dran erinnern. Da wir uns alle mehr oder weniger nebenbei mit YaCy beschäftigen und unser Geld anderweitig verdienen oder studieren, kann es mal passieren, dass man erst keine Zeit hat, sich um etwas zu kümmern, die Sache dann aus den Augen verliert und erst später dazu kommt, sich zu kümmern.

Im Bugs-Unterforum sollen auch Bugs in den Entwicklerversionen gepostet werden. Bevor man einen Bug postet, sollte man schauen, ob der nicht schon in der neusten Entwicklerversion behoben ist und immer angeben, welche Version man benutzt (Revisionsnummer!), damit auch ein paar Tage später noch eine Zuordnung eines Fehlers zu einer bestimmten Version möglich ist. Orbiter fragt gerne mal nach einem Threaddump. Siehe dazu: http://www.yacy-websuche.de/wiki/index.php/De:Thread_Dump

Mit dem neuen Logfile nach 1MB hast du Recht. Leider weiß ich aus dem Kopf nicht, ob man das irgendwo einstellen kann oder ob die Schwelle fest im Code eingebaut ist. Wenn ich mich richtig erinnere, werden auch nur maximal 20 Log-Dateien angelegt. Die älteste wird gelöscht, wenn eine neue angelegt wird.

Viel Spaß mit dem Wiki. Da stehen eine Menge nützliche Sachen drin, aber die Entwicklung geht so schnell, dass die Doku manchmal nicht auf dem aktuellen Stand ist. Wenn dir etwas seltsam vorkommt, poste einfach hier im Forum, damit die Stelle ggf. überarbeitet werden kann.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Orbiter » Mi Feb 18, 2009 11:59 am

das "too many processes in indexing queue, dismissed" kommt m.e. davon, dass zu viele http client sessions geöffnet sind, die nicht mehr zu gehen, und daher dann alles verstopft ist. Kann mal jemand der das JakartaCommonsHTTPClient kennt da gucken?

Master One, gucke mal bitte in http://localhost:8080/Connections_p.html (können eigentlich alle mal machen)
das ist auffällig, da ist immer alles voller ungeschlossener alter connections. Die müssen mal weg. Bitte mal gucken.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon thq » Mi Feb 18, 2009 12:32 pm

Master One hat geschrieben:Was mich auf die Schnelle interessieren würde: Wie werden von YaCy die Logfiles verwaltet? YaCy scheint nach jedem Megabyte ein neues Logfile anzulegen, ich habe jetzt seit gestern schon yacy00.log bis yacy019.log in DATA/LOG. Kann betreffend Logging irgendwo irgendwas einstellen
In DATA/LOG/yacy.logging, ich benutze 4x10MB
Code: Alles auswählen
...
java.util.logging.FileHandler.limit = 10485760
java.util.logging.FileHandler.count = 4
...
de.anomic.http.httpdProxyHandler.logging.FileHandler.limit = 10485760
de.anomic.http.httpdProxyHandler.logging.FileHandler.count = 4
...
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Master One » Mi Feb 18, 2009 1:15 pm

Orbiter hat geschrieben:gucke mal bitte in http://localhost:8080/Connections_p.html

Also bei mir pendelt's gerade um die 50 aktive Verbindungen, dazu 0 wartende Verbindungen von max. 200 erlaubten eingehenden Verbindungen. Das scheint wohl in Orndung zu sein, was aber war dann letzte Nacht los, als irgendwann vor Mitternacht plötzlich alles zu war, und auch zu blieb, bis ich YaCy heute morgen neu gestartet habe?

thq hat geschrieben:In DATA/LOG/yacy.logging, ich benutze 4x10MB

Danke, genau was ich gesucht habe. Habe das nun ebenfalls auf 4x10MB gestellt, was irgendwie mehr Sinn ergibt, als diese vielen kleinen Files.
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Master One » Do Feb 19, 2009 2:29 pm

thq hat geschrieben:
Master One hat geschrieben:Was mich auf die Schnelle interessieren würde: Wie werden von YaCy die Logfiles verwaltet? YaCy scheint nach jedem Megabyte ein neues Logfile anzulegen, ich habe jetzt seit gestern schon yacy00.log bis yacy019.log in DATA/LOG. Kann betreffend Logging irgendwo irgendwas einstellen
In DATA/LOG/yacy.logging, ich benutze 4x10MB

Hm, das File yacy.logging gibt es zweimal, einmal in DATA/LOG, und einmal im Hauptverzeichnis. Dummerweise wird DATA/LOG/yacy.logging bei jedem Start von YaCy mit der Version vom Hauptverzeichnis überschrieben, und die Version im Hauptverzeichnis wird mit jedem YaCy-Update überschrieben, d.h. was in DATA/LOG/yacy.logging zu ändern, bringt nichts, und Änderungen in yacy.logging im Hauptverzeichnis halten nur bis zur nächsten Aktualisierung.
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Lotus » Do Feb 19, 2009 2:47 pm

Ja, das ist temporär so gewollt, da ein Update der Datei nötig war und sie sich ansonsten nicht selbst aktualisiert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon thq » Do Feb 19, 2009 2:55 pm

Stimmt, yacy.logging aus dem Hauptverzeichnis sollte man vielleicht nach defaults verschieben. Warum bei dir die Datei immer wieder überschrieben wird weiß ich leider nicht.

Da war einer schneller und jetzt weiß ich dank Lotus auch wieder das ich das gewollte überschreiben bei mir wieder geändert habe :)
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Gedankenaustausch zu neuen Entwicklerversionen?

Beitragvon Orbiter » Do Feb 19, 2009 4:02 pm

das überschreiben habe ich mal gebaut, weil es wegen dem Verschieben der logging-Klassen notwendig war, da neue Werte rein zu schreiben. Bevor hier dann alle schreiben, es geht nicht, was soll ich machen, habe ich das Überschreiben halt eingebaut. Kann dann ja mal wieder allmählich wieder raus.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste