Fragen über Fragen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Fragen über Fragen

Beitragvon freq.9 » Di Apr 21, 2009 7:04 pm

Gelöst: Ich weiss nicht, ob hier ein Forum fehlt, aber kA ob das nun hierher passt.

Ich hab da jedenfalls so einige Fragen. Ich nummeriere die mal durch, zu besseren Beantwortung :)

1) Gibt es irgendwo eine Dokumentation, was die einzelnen Log-Einträge bedeuten?
2) Ich habe den Crawl für Startpunkt-A laufen und habe nun einen Crawl für Startpunkt-B gestartet. Ich Queue sehe ich nur Einträge für den Startpunkt-A. Wieso?
3) [Beantwortet] Irgendwo les ich, dass mein Peer als "senior" läuft, in meinen Logs finde ich immer wieder Einträge, dass mich welche als "junior" melden. Wie kann ich das prüfen und ggf. korrigieren?
4) Was genau machen die "Seeds" und wie konfigurieren ich einen?
5) Ist es möglich das eigentliche YaCy Webinterface zu verbergen? Ich möchte wenn ein eigenes Interface... Also auch kein personalisiertes YaCy-Interface.
6) [Beantwortet] Was für Daten finde ich unter "Access Tracker"? Da werden irgendwelche Hosts gelistet, aber was sind das für welche?
7) [Beantwortet] Offtopic: Wie kommt es, dass "tail -f" nach einer Zeit aufhört das Log weietr anzuzeigen? Gibts da ein Zeit-/Datenlimit?
8) [Beantwortet] Ich habe nun schon öfters im Log gesehen, dass Java meckert, dass zu wenig RAM verfügbar ist. Bei 5GB RAM ist das eher merkwürdig. In den Advanced Settings gibts ne Einstellung, aber irgendwoher habe ich im Hinterkopf, dass das Teil nur 200MB annimmt (also Java).
9) [Beantwortet] Gibt es einen YaCy IRC-Channel?

Ich glaub, die Anzahl an Fragen sollte soweit erstmal reichen. Ich habe da zwar noch eine Frage, aber dafür muss ich erstmal im Interface rumklicken bis ich wieder weiß, was ich denn Fragen wollte :)

Hinweis: Es müssen nicht alle Fragen gleichzeitig beantwortet werden :) Es darf auch nur eine oder ne Hand voll beantwortet werden. Viele lassen sich leider bei sowas zu schnell abschrecken, da da so viele Fragen sind *g*
Zuletzt geändert von freq.9 am Mi Apr 22, 2009 8:53 pm, insgesamt 4-mal geändert.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon lulabad » Di Apr 21, 2009 7:16 pm

Das gehört auf jeden Fall nicht nach off-topic ;) Habs daher verschoben.
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: Fragen über Fragen

Beitragvon freq.9 » Di Apr 21, 2009 10:38 pm

Soooo, ich hab nach langer Suche endlich gefunden, was ich noch fragen wollte :) Man schaue sich bitte mal folgendes Bild an:

Bild

10) Wie kommt es, dass meine Zahl bei "URLs for Remote Crawl" so massiv größer ist, als die der anderen Peers?
11) Wie kommt es, dass "Send Words" und "Send URLs" so wenig sind?
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon sixcooler » Mi Apr 22, 2009 12:19 am

Hallo,

ich habe selber wenig Ahnung - aber irgendwer sollte ja mal Antworten :-)

zu 4:
Die 'Seeds', denke ich, dienenn zum austausch von status-Daten der Peers untereinander.
Schau dir doch mal 'dein Seed' an: yacy/DATA/INDEX/freeworld/NETWORK/mySeed.txt
Darüber informieren sich die Peers über so sinnvolle Dinge wie z.B. die die du in der Tabelle /Network.html?page=1
zu sehen bekommst.
Auf jeden Fall ist es ein genieriertes File. Du solltest es nicht editieren. Und es wird auch nicht konfiguriert.

zu 7:
Das Logfile wird nicht endlos weiter geschrieben, sondern bei Erreichen eines bestimmten Volumen (Vorgabe 1MB)
in einem neuen Fileweitergeführt. (nicht jedes) 'tail' kann dem 'Wechsel' folgen.

zu 8:
Die Menge des in System vorhanden Speichers wird nicht 'autmatisch' auch von yacy verwendet.
unter /Performance_p.html kannst Du die zu verwendende Speichermenge angeben.
Der Wert entspricht den java-Paramter 'Xmx' (und 'Xms') für den Heapspeicher.
Vorgabe bei yacy ist 120MB. Ich habe auch schon bei anderen JavaProgrammen Probleme
mit sehr großen Werten gehabt. Bei Yacy gibt es hierbei aber keine Probleme. Einige betreiben
ihre Peers mit einigen GB.

zu 10:
'URLs for Remote Crawl' ist (glaube ich) die Menge an links/URLs die Du zum remoteCrawl 'anbietest'.
(da hast Du dir/uns ja etwas vorgenommen:-)

zu 11:
'SentWords' und 'SentURLS' erkläre ich mir als Summe der verteilten Worte und URLs im Leben (d)eines peers.
Deiner ist noch nicht soo lange dabei und konnte also noch nicht so viel verteilen.


Da Du jemand mit vielen Fragen bist (und es werden sicherlich noch viele hinzu kommen) enpfehle ich Dir
die Suchfunktion hier im Forum und auch im Wiki fleissig zu nutzen.
(auch wenn es evtl. doof klingt)


In der Hoffnung keinen Quatsch geschrieben zu haben,

sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Fragen über Fragen

Beitragvon Low012 » Mi Apr 22, 2009 8:33 am

zu 3:
Wenn ein Peer deinen Peer aus irgendwelchen Gründen nicht erreichen kann, meldet er auf Anfrage zurück, dass er dich als "Junior" einstuft, was heißt, dass er anninmmt, dass dein Peer generell von außen nicht zu erreichen ist. Das kann aber eine Fehleinschätzung sein, weil es bei der Überprüfung ein Netzwerkproblem gegeben haben kann oder dein Peer nur so beschäftigt war, dass er auf einen Kontaktversuch des anderen Peers an deinen Peer nicht schnell genug antworten konnte. Sowas kann vorkommen, wenn ein Peer zum Beispiel sehr viel crawlt.

zu 6:
Der Access Tracker wurde eingerichtet, um beobachten zu können, ob jemand versucht einen Peer zu missbrauchen, indem er z.B. übermäßig viele Suchanfragen schickt oder sonst den Peer stark belastet. Der Grund, warum das gewünscht wurde war, dass MetaGer YaCy eingebunden hat und es Befürchtungen gab, dass die Belastung zu groß werden könnte, was sich im Nachhinein aber nicht bestätigt hat.

Auf der Übersichtsseite sind alle Rechner zu finden, die in der letzten Stunde auf deinen Peer zugegriffen haben. Das können andere Peers sein oder irgendwelche anderen Rechenr, die auf das Webinterface deines Peers zugegriffen haben.

Bei den Details kann man genauer erkennen, worauf zugegriffen wurde. Die Peers tauschen Nachrichten aus, indem sie HTTP-Requests an andere Peers schicken. Die Namen der aufgerufenen Dokumente weisenm darauf hin, was gemacht wurde.

Connections zeigt die derzeit offenen Verbindungen, die von anderen Rechnern geöffnet wurden (Incoming) oder die von deinem Peer ausgegen (Outgoing).

"Local Search" und "Remote Search" sind änlich, nur dass es einmal um Suchen geht, die von deinem Peer ausgehen und einmal um Suchen, die von anderen Peers ausgingen und bei denen auch dein Peer eingebunden wurde. Unter "Log" kann man die einzelnen Suchanfragen sehen und erkennen, ob und wie schenll dein Peer Ergebnisse liefern konnte. Der "Host Tracker" zeigt, wieviele Anfragen von welchem Rechner gekommen sind. Bei der lokalen Suche kann man sehen, nach welchen Begriffen gesucht wurde, bei der remote Suche sieht man nur Hashwerte der Suchbegriffe, weil die Suchworte nicht im Klartext übetragen werden.

zu 9:
Soweit ich weiß zur Zeit nicht.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Fragen über Fragen

Beitragvon flori » Mi Apr 22, 2009 8:53 am

zu 9) es gibt einen IRC-Channel auf irc.freenode.net: #yacy aber da ist wenig los und von den entwicklern bin nur ich dort zu finden.
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: Fragen über Fragen

Beitragvon Quix0r » Mi Apr 22, 2009 11:24 am

sixcooler hat geschrieben:zu 4:
Die 'Seeds', denke ich, dienenn zum austausch von status-Daten der Peers untereinander.
Schau dir doch mal 'dein Seed' an: yacy/DATA/INDEX/freeworld/NETWORK/mySeed.txt
Darüber informieren sich die Peers über so sinnvolle Dinge wie z.B. die die du in der Tabelle /Network.html?page=1
zu sehen bekommst.
Auf jeden Fall ist es ein genieriertes File. Du solltest es nicht editieren. Und es wird auch nicht konfiguriert.


Dazu noch zwei Anmerkungen:
- Ich meine, die mySeed.txt wird ab und an neu geschrieben
- Du kannst den Upload auf (d)einen Server per FTP/SSH konfigurieren. Beachte dabei, dass bei den meisten Hostern erst ab z.B. htdocs/ per Web auf die Dateien zugreifbar ist. Hier meine Konfiguration: (die Reihenfolge bitte einhalten!)

URL: http://127.0.0.1:8080/Settings_p.html?page=seed
Uploading via FTP: (dieses zuerst einstellen, wenn FTP gewünscht ist)
Server: www.mxchange.org
Path: htdocs/downloads/yacy/seed.txt
Username: foobar
Password: very_secret_pass

Dann abspeichern und oben wie folgt konfigurieren:
Upload Method: FTP -> Submit
URL: http://www.mxchange.org/downloads/yacy/seed.txt

Dann 'Retry Uploading'. Dadurch wird deine Node zu einem Principal Wiki-URL
Zuletzt geändert von Quix0r am Mi Apr 22, 2009 7:53 pm, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Fragen über Fragen

Beitragvon cfr34x » Mi Apr 22, 2009 6:51 pm

Noch ne kleine Anmerkung zu 7:
Auf Ubuntu (und wahrscheinlich auch in vielen anderen Distributionen) und Windows/Cygwin funktioniert folgendes:
Code: Alles auswählen
tail --follow=name yacy00.log

Standardmäßig folgt tail dem Datei-Descriptor, der auf die gleiche Datei zeigt, auch nachdem diese umbenannt wurde (also yacy01.log nach der Log-Rotation).
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: Fragen über Fragen

Beitragvon freq.9 » Mi Apr 22, 2009 8:52 pm

sixcooler hat geschrieben:zu 8:
Die Menge des in System vorhanden Speichers wird nicht 'autmatisch' auch von yacy verwendet.
unter /Performance_p.html kannst Du die zu verwendende Speichermenge angeben.
Der Wert entspricht den java-Paramter 'Xmx' (und 'Xms') für den Heapspeicher.
Vorgabe bei yacy ist 120MB. Ich habe auch schon bei anderen JavaProgrammen Probleme
mit sehr großen Werten gehabt. Bei Yacy gibt es hierbei aber keine Probleme. Einige betreiben
ihre Peers mit einigen GB.


Hab den RAM mal etwas weiter hochgeschraubt und mein Peer läuft nochmal etwas besser :)

sixcooler hat geschrieben:zu 7:
Das Logfile wird nicht endlos weiter geschrieben, sondern bei Erreichen eines bestimmten Volumen (Vorgabe 1MB)
in einem neuen Fileweitergeführt. (nicht jedes) 'tail' kann dem 'Wechsel' folgen.


cfr34x hat geschrieben:Noch ne kleine Anmerkung zu 7:
Auf Ubuntu (und wahrscheinlich auch in vielen anderen Distributionen) und Windows/Cygwin funktioniert folgendes:
Code: Alles auswählen
tail --follow=name yacy00.log

Standardmäßig folgt tail dem Datei-Descriptor, der auf die gleiche Datei zeigt, auch nachdem diese umbenannt wurde (also yacy01.log nach der Log-Rotation).


Danke :)

Aber nun nochmal zu den Seeds. Ich würde meine Liste gerne ins Dateisystem schreiben, also die Datei lokal irgendwo ablegen. Leider kann ich irgendwie keine wirklich hilfreiche Anleitung finden, was ich genau in die einzelnen Felder eintragen muss bzw. was ich machen muss. Kann mir da vllt. einer sagen, was genau ich dabei eintragen muss? Und was ist denn "Upload method: File", wenn das ein "Protocol" verlangt? Dachte erst an FTP oder so, aber dafür gibts ja eigene Auswahlen.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Orbiter » Mi Apr 22, 2009 9:12 pm

upload methode file ist einfach ein Speicher in ein lokales file. Da kannst du beispielsweise einen Pfad angeben, der dann von einem lokalen apache bsp. gehostet wird.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Fragen über Fragen

Beitragvon freq.9 » Mi Apr 22, 2009 9:27 pm

Habe nun /var/www/html/seed.txt eingegeben und "File" ausgewählt und dann kommt folgendes:

Settings Receipt:

Seed Settings changed, but something is wrong.

We have no valid IP address until now


Seed Uploading was deactivated automatically. Please return to the settings page and modify the data.

You can now go back to the Settings page if you want to make more changes.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Orbiter » Mi Apr 22, 2009 9:36 pm

hat dein peer senior-status?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Fragen über Fragen

Beitragvon freq.9 » Mi Apr 22, 2009 9:39 pm

Orbiter hat geschrieben:hat dein peer senior-status?


Ich hab die Frage 3 oben zwar als "Beantwortet" markiert, aber ich weiss nun eher was die Unterschiede zwischen den einzelnen Stati ist, aber wo ich einsehen kann, welchen Status mein Peer hat, weiß ich noch immer nicht. Ich würd ja sagen, dass ich nen senior habe, aber, wie oben schon geschrieben, melden mich andere Peers öfters als "junior".
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Quix0r » Do Apr 23, 2009 8:40 am

Das kommt ab und an vor. So wie die anderen es sagten: Ist deine Node zu stark belastet, kann sie mal den "Hello" nicht beantworten und wird als Junior eingestufft. Einfach etwas geduldig sein...

Deinen aktuellen Status kannst du auf der Status-Seite einsehen:
http://localhost:8080/Status.html

Schau dazu einfach in den unteren Statistik-Banner.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 9:17 am

Mein Peer hatte sich mal wieder aufgehängt. Hier mal die letzten Worte des Peers:

Code: Alles auswählen
I 2009/04/23 06:41:15 YACY hello: responded remote junior peer 'KSBA-253' from 212.117.110.162
D 2009/04/23 06:42:53 CRAWLER remoteCrawlLoaderJob: a local crawl is running, omitting processing
I 2009/04/23 06:43:00 YACY PeerPing: I am accessible for 0 peer(s), not accessible for 0 peer(s).
I 2009/04/23 06:43:00 YACY PeerPing: No data, staying at myType: senior
I 2009/04/23 06:43:26 YACY hello: responded remote peer 'KIT032F-810-' [141.52.175.23] in 546196 milliseconds
E 2009/04/23 06:43:52 SERVER receive interrupted - exception 2 = Read timed out
E 2009/04/23 06:55:46 SERVER receive interrupted - exception 2 = Read timed out


Auf dem Statistikbanner steht, dass mein Peer im "senior" Modus läuft.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 10:07 am

Jetzt läuft mein Peer seit einer Stunde wieder aktiv, aber bei yacystats.de sind scheinbar keine Daten angekommen. Mal schauen, was um 12 Uhr passiert.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 12:19 pm

Ist da wem ein Fehler in einer Version bekannt? Für meinen Peer (der soweit ohne Probleme läuft) kommen einfach keine Daten mehr bei yacystats.de an. Habe aktuell "0.750/05855" installiert.

// Edit: Auch nach einem Update auf die Version "0.760/05857" werden keine Daten bei yacystats.de angezeigt.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Low012 » Do Apr 23, 2009 2:20 pm

Wenn dein Peer nicht auf yacystats.de auftaucht, kann das Problem entweder dort liegen (unwahrscheinlich, aber möglich) oder dein Peer ist für andere aus irgendeinem Grund nicht sichtbar. Ich kann leider grad nicht nachsehen, ob mein Peer deinen sehen kann.

Sind in der Netzwerkübersicht (von der du oben einen Screenshot gepostet hast) zur Zeit die beiden yacystats-Server zu sehen (auf dem Screenshot ganz unten) und wenn ja, welcher Wert steht in der Spalte "Last seen"?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 3:34 pm

Low012 hat geschrieben:Sind in der Netzwerkübersicht (von der du oben einen Screenshot gepostet hast) zur Zeit die beiden yacystats-Server zu sehen (auf dem Screenshot ganz unten) und wenn ja, welcher Wert steht in der Spalte "Last seen"?


Sind beide in der Liste und bei "Last seen" steht jeweils eine "4". Aber vielleicht hat sich mein Peer auch wieder gefangen. Musste den vorhin neustarten, da er sich mal wieder aufgehängt hatte.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 5:48 pm

Wie kommen die yacystats-Peers denn an die Daten? Vielleicht ist bei mir ja irgendwas verstellt.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 6:36 pm

Ha, ich hab den Grund gefunden, wieso meine Statistiken seit gestern 23 Uhr leer sind. Die Daten werden in ein neues Profil gepushed. Aber wieso? Ist mir nur durch Zufall aufgefallen. War eigentlich auf der Suche nach anderen Peers mit der selben Version wie ich sie habe.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Low012 » Do Apr 23, 2009 7:04 pm

Hast du an der Konfigurationsdatei deines Peers gebastelt oder ihn neu aufgesetzt? Der Name eines Peers ist eigentlich nur eine nette Beschreibung für uns Menschen, um sie leichter wiederzuerkennen, die eigentliche Identifikation läuft über den sog. Peer-Hash. Auf http://www.yacystats.de/search.html?s=S ... hen=suchen kann man sehen, dass der sich bei deinem Peer offensichtlich geändert hat.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Fragen über Fragen

Beitragvon freq.9 » Do Apr 23, 2009 7:59 pm

Low012 hat geschrieben:Hast du an der Konfigurationsdatei deines Peers gebastelt oder ihn neu aufgesetzt? Der Name eines Peers ist eigentlich nur eine nette Beschreibung für uns Menschen, um sie leichter wiederzuerkennen, die eigentliche Identifikation läuft über den sog. Peer-Hash. Auf http://www.yacystats.de/search.html?s=S ... hen=suchen kann man sehen, dass der sich bei deinem Peer offensichtlich geändert hat.


Ja, der Hash hat sich geändert und da frage ich mich wieso, denn eigentlich habe ich nichts gemacht. In den Einstellungen übers Interface habe ich gestern soweit eigentlich nichts gemacht und in den Datei aufm Server habe ich ganz sicher nichts gemacht. Die einzige Datei, die ich immer anpassen muss, ist die killYaCy.sh, da "fuser" nicht im PATH liegt und der PATH irgendwie /sbin immer wieder vergisst.
freq.9
 
Beiträge: 77
Registriert: Mo Apr 20, 2009 10:55 am

Re: Fragen über Fragen

Beitragvon Quix0r » Mo Jan 25, 2010 9:32 am

freq.9 hat geschrieben:1) Gibt es irgendwo eine Dokumentation, was die einzelnen Log-Einträge bedeuten?

Das sollte man erst in Angriff nehmen, wenn die Umbauarbeiten abgeschlossen sind, sprich die Meldungen sich nicht sehr stark aendern, oder ist das bereits geschehen? Ich habe da bei einigen auch noch Interpretationsschwierigkeiten und muss dann hier fragen.

Eine Wiki-Seite sollte da Abhilfe schaffen. :) Wenn ich das Wissen hier im Forum sammeln kann, spaeter, dann wuerde ich mich dazu bereit erklaeren. Aber nicht jetzt, wo noch vieles sich vielleicht aendern kann. Da hat man wirklich nur Mehraufwand als Nutzen.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron